JP2002166802A - 車両周辺モニタ装置 - Google Patents
車両周辺モニタ装置Info
- Publication number
- JP2002166802A JP2002166802A JP2000365487A JP2000365487A JP2002166802A JP 2002166802 A JP2002166802 A JP 2002166802A JP 2000365487 A JP2000365487 A JP 2000365487A JP 2000365487 A JP2000365487 A JP 2000365487A JP 2002166802 A JP2002166802 A JP 2002166802A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- control device
- dimensional object
- traveling direction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 車両周辺の状況を運転者に確実に認知させる
ことの可能な車両周辺モニタ装置を提供する。 【解決手段】 複数のカメラ２０で取得した画像を基に
して視点変換と画像合成によって車両１の周辺の状況を
運転者にとって視認しやすく表示させる車両周辺モニタ
装置において、合成時の境界位置（たとえば、カメラ２
０ｃと２０ｄの視点変換画像でいえば境界位置７２）を
図８（ａ）→（ｂ）→（ｃ）→（ｄ）というように周期
的に変更する。
ことの可能な車両周辺モニタ装置を提供する。 【解決手段】 複数のカメラ２０で取得した画像を基に
して視点変換と画像合成によって車両１の周辺の状況を
運転者にとって視認しやすく表示させる車両周辺モニタ
装置において、合成時の境界位置（たとえば、カメラ２
０ｃと２０ｄの視点変換画像でいえば境界位置７２）を
図８（ａ）→（ｂ）→（ｃ）→（ｄ）というように周期
的に変更する。
Description
【０００１】
【発明の属する技術分野】本発明は、運転者にとって死
角となる車両周辺の画像情報を撮像装置を用いて取り込
み、画像処理したうえで表示装置に表示することで運転
者を支援する車両周辺モニタ装置に関する。
角となる車両周辺の画像情報を撮像装置を用いて取り込
み、画像処理したうえで表示装置に表示することで運転
者を支援する車両周辺モニタ装置に関する。
【０００２】
【従来の技術】車両はその構造上、車体自体が運転者の
視線を遮蔽し、死角を生ずることは避けられない。しか
し、障害物の回避や通行者、他車との接触を避けるため
には、こうした死角をできる限り低減することが好まし
い。
視線を遮蔽し、死角を生ずることは避けられない。しか
し、障害物の回避や通行者、他車との接触を避けるため
には、こうした死角をできる限り低減することが好まし
い。
【０００３】死角を低減する方法としては、大型車両な
どにみられるアンダーミラーなどが知られている。さら
に、広い死角範囲をカバーする手法として特開平11−33
4470号公報に開示されているように、車両本体に設置し
た撮像装置を用いて死角部分の画像を取得し、これを所
定の画像処理を施したうえで車内の表示装置に表示する
装置が知られている。こうした装置を用いることで死角
部分を効果的に低減して駐車時等の安全性を高めること
が可能となる。
どにみられるアンダーミラーなどが知られている。さら
に、広い死角範囲をカバーする手法として特開平11−33
4470号公報に開示されているように、車両本体に設置し
た撮像装置を用いて死角部分の画像を取得し、これを所
定の画像処理を施したうえで車内の表示装置に表示する
装置が知られている。こうした装置を用いることで死角
部分を効果的に低減して駐車時等の安全性を高めること
が可能となる。
【０００４】また、複数の撮像装置を用いて車両周辺の
画像情報を取得したうえで、それらを画像処理して同一
視点から見た合成画像に変換する装置が知られている
（WO00/07373号国際公開公報）。この装置によれば、運
転者は車両周辺の情報を視覚的に容易に把握することが
できる。
画像情報を取得したうえで、それらを画像処理して同一
視点から見た合成画像に変換する装置が知られている
（WO00/07373号国際公開公報）。この装置によれば、運
転者は車両周辺の情報を視覚的に容易に把握することが
できる。
【０００５】
【発明が解決しようとする課題】しかしながら、この装
置では、複数の撮像装置から取得した画像情報をそれぞ
れ視点変換し、合成して合成画像を生成するため、複数
の撮像装置で共通する撮像領域内に立体物があると、こ
れが視点変換の際の誤差を生ぜしめ、合成した際に対象
物がボケたり、消失してしまうことがある。こうした立
体物が車両の進路近傍にあると車両の進行に伴って衝
突、接触を起こすおそれがあることから、むしろ情報を
表示する必要性は高い。
置では、複数の撮像装置から取得した画像情報をそれぞ
れ視点変換し、合成して合成画像を生成するため、複数
の撮像装置で共通する撮像領域内に立体物があると、こ
れが視点変換の際の誤差を生ぜしめ、合成した際に対象
物がボケたり、消失してしまうことがある。こうした立
体物が車両の進路近傍にあると車両の進行に伴って衝
突、接触を起こすおそれがあることから、むしろ情報を
表示する必要性は高い。
【０００６】そこで本発明は、車両周辺の状況を運転者
に確実に認知させることの可能な車両周辺モニタ装置を
提供することを課題とする。
に確実に認知させることの可能な車両周辺モニタ装置を
提供することを課題とする。
【０００７】
【課題を解決するための手段】上記課題を解決するた
め、本発明に係る車両周辺モニタ装置は、(1)車両の複
数の箇所にそれぞれ設置され、外界の画像情報を取り込
む撮像装置と、(2)これら撮像装置によって取り込まれ
た画像を処理する制御装置と、(3)制御装置によって処
理された画像を表示する表示装置とを備える車両周辺モ
ニタ装置において、(4)車両周辺に存在する立体物を検
出する立体物検出手段をさらに備え、制御装置は複数の
撮像装置で取り込んだ画像を基にして所定の視点から車
両周辺を見た合成画像を生成するものであって、この立
体物検出手段により検出された立体物の位置情報に基づ
いて合成画像合成時の境界領域を設定することを特徴と
する。
め、本発明に係る車両周辺モニタ装置は、(1)車両の複
数の箇所にそれぞれ設置され、外界の画像情報を取り込
む撮像装置と、(2)これら撮像装置によって取り込まれ
た画像を処理する制御装置と、(3)制御装置によって処
理された画像を表示する表示装置とを備える車両周辺モ
ニタ装置において、(4)車両周辺に存在する立体物を検
出する立体物検出手段をさらに備え、制御装置は複数の
撮像装置で取り込んだ画像を基にして所定の視点から車
両周辺を見た合成画像を生成するものであって、この立
体物検出手段により検出された立体物の位置情報に基づ
いて合成画像合成時の境界領域を設定することを特徴と
する。
【０００８】本発明によれば、検出された立体物の位置
情報に基づいて、各撮像装置で得られた画像のうち重複
している領域を合成処理する際の境界領域を設定するこ
とで、最終的な表示画像中に立体物の存在とその位置を
表示することが可能である。例えば、立体物の位置情報
に基づいて前記立体物位置付近あるいは立体物から離れ
た位置で合成画像が不連続となるよう合成処理を行えば
よい。立体物から離れた位置で合成画像が不連続となる
ような合成処理を行えば、立体物の画像を適切に表示す
ることができ、運転者は立体物を容易に認識することが
できる。一方、立体物付近で合成画像が不連続となるよ
うな合成処理を行えば、運転者はこの不連続部分から立
体物の位置を推定可能である。この合成処理には例えば
視点変換とαブレンディング等を用いることができる。
情報に基づいて、各撮像装置で得られた画像のうち重複
している領域を合成処理する際の境界領域を設定するこ
とで、最終的な表示画像中に立体物の存在とその位置を
表示することが可能である。例えば、立体物の位置情報
に基づいて前記立体物位置付近あるいは立体物から離れ
た位置で合成画像が不連続となるよう合成処理を行えば
よい。立体物から離れた位置で合成画像が不連続となる
ような合成処理を行えば、立体物の画像を適切に表示す
ることができ、運転者は立体物を容易に認識することが
できる。一方、立体物付近で合成画像が不連続となるよ
うな合成処理を行えば、運転者はこの不連続部分から立
体物の位置を推定可能である。この合成処理には例えば
視点変換とαブレンディング等を用いることができる。
【０００９】本発明に係る車両周辺モニタ装置は、(1)
〜(3)を備える車両周辺モニタ装置において、制御装置
は複数の撮像装置で取り込んだ画像を基にして所定の視
点から車両周辺を見た合成画像を生成するものであっ
て、合成画像合成時の境界領域を周期的に変更すること
を特徴とするものでもよい。
〜(3)を備える車両周辺モニタ装置において、制御装置
は複数の撮像装置で取り込んだ画像を基にして所定の視
点から車両周辺を見た合成画像を生成するものであっ
て、合成画像合成時の境界領域を周期的に変更すること
を特徴とするものでもよい。
【００１０】合成時の境界領域を周期的に変更すること
で、合成に伴う立体物の消失やボケ発生が周期中継続し
て起こることがなくなり、立体物の存在とその位置を運
転者が容易に認識することが可能となる。
で、合成に伴う立体物の消失やボケ発生が周期中継続し
て起こることがなくなり、立体物の存在とその位置を運
転者が容易に認識することが可能となる。
【００１１】また、本発明に係る車両周辺モニタ装置
は、(1)〜(3)を備える車両周辺モニタ装置において、
(4')車両挙動から車両の進行方向を予測する進行方向予
測手段をさらに備えており、制御装置はこれら複数の撮
像装置で取り込んだ画像を基にして所定の視点から車両
周辺を見た合成画像を生成するものであって、進行方向
予測手段により予測された進行方向に基づいて合成画像
合成時の境界領域を設定することを特徴とするものでも
よい。
は、(1)〜(3)を備える車両周辺モニタ装置において、
(4')車両挙動から車両の進行方向を予測する進行方向予
測手段をさらに備えており、制御装置はこれら複数の撮
像装置で取り込んだ画像を基にして所定の視点から車両
周辺を見た合成画像を生成するものであって、進行方向
予測手段により予測された進行方向に基づいて合成画像
合成時の境界領域を設定することを特徴とするものでも
よい。
【００１２】進行方向に基づいて合成画像合成時の境界
領域を設定することで、進行方向に存在する立体物の存
在とその位置を優先して表示することができ、接触・衝
突の可能性がある立体物を運転者に的確に認識させるこ
とができ、車両と死角内の立体物の接触、衝突を効果的
に予防することができる。
領域を設定することで、進行方向に存在する立体物の存
在とその位置を優先して表示することができ、接触・衝
突の可能性がある立体物を運転者に的確に認識させるこ
とができ、車両と死角内の立体物の接触、衝突を効果的
に予防することができる。
【００１３】あるいは、本発明に係る車両周辺モニタ装
置は、(1)〜(3)を備える車両周辺モニタ装置において、
(4")運転者が設定した目標移動位置から適切な車両の進
路を設定する進路設定手段をさらに備えており、制御装
置はこれら複数の撮像装置で取り込んだ画像を基にして
所定の視点から車両周辺を見た合成画像を生成するもの
であって、進路設定手段により設定された進路に基づい
て合成画像合成時の境界領域を設定することを特徴とす
るものでもよい。
置は、(1)〜(3)を備える車両周辺モニタ装置において、
(4")運転者が設定した目標移動位置から適切な車両の進
路を設定する進路設定手段をさらに備えており、制御装
置はこれら複数の撮像装置で取り込んだ画像を基にして
所定の視点から車両周辺を見た合成画像を生成するもの
であって、進路設定手段により設定された進路に基づい
て合成画像合成時の境界領域を設定することを特徴とす
るものでもよい。
【００１４】この場合は、先に運転者が進路を設定する
ことで、目標進路上に存在する立体物の存在とその位置
を優先して表示することができ、目標進路を進んだ場合
に接触・衝突の可能性がある立体物を運転者に的確に認
識させることができ、車両と死角内の立体物の接触、衝
突を効果的に予防することができる。
ことで、目標進路上に存在する立体物の存在とその位置
を優先して表示することができ、目標進路を進んだ場合
に接触・衝突の可能性がある立体物を運転者に的確に認
識させることができ、車両と死角内の立体物の接触、衝
突を効果的に予防することができる。
【００１５】ここで、制御装置は、予測手段により予測
された進行方向あるいは進路設定手段により設定された
進路方向が直進以外の場合には、予測した進行方向ある
いは設定された目標進路方向側では車体進行方向あるい
は目標進路方向から離れた位置に設定することが好まし
い。このように設定すると、操舵しながら進行する際に
巻き込みを起こす可能性のある立体物を的確に表示する
ことが可能である。
された進行方向あるいは進路設定手段により設定された
進路方向が直進以外の場合には、予測した進行方向ある
いは設定された目標進路方向側では車体進行方向あるい
は目標進路方向から離れた位置に設定することが好まし
い。このように設定すると、操舵しながら進行する際に
巻き込みを起こす可能性のある立体物を的確に表示する
ことが可能である。
【００１６】
【発明の実施の形態】以下、添付図面を参照して本発明
の好適な実施の形態について詳細に説明する。説明の理
解を容易にするため、各図面において同一の構成要素に
対しては可能な限り同一の参照番号を附し、重複する説
明は省略する。
の好適な実施の形態について詳細に説明する。説明の理
解を容易にするため、各図面において同一の構成要素に
対しては可能な限り同一の参照番号を附し、重複する説
明は省略する。
【００１７】図１は本発明に係る車両周辺モニタ装置の
構成を示すブロック図である。この実施形態の車両周辺
モニタ装置の制御装置は、全体の制御を行う運転支援Ｅ
ＣＵ１０と、画像信号を処理する画像処理ＥＣＵ１１か
らなる。画像処理ＥＣＵ１１には、車両の複数の箇所、
例えば後述する４箇所、に取り付けられているカメラ２
０ａ〜２０ｄそれぞれの画像信号が入力される。一方、
運転支援ＥＣＵ１０には、運転席に設置されている入出
力装置であるタッチパネル３１、表示装置３２、警報器
３３が接続されるとともに、システムスイッチ４１、ス
テアリングセンサ４２、シフト位置センサ４３、各車輪
の車輪速センサ４４ＦＲ、ＦＬ、ＲＲ、ＲＬ、クリアラ
ンスソナー４５の出力信号が入力される。
構成を示すブロック図である。この実施形態の車両周辺
モニタ装置の制御装置は、全体の制御を行う運転支援Ｅ
ＣＵ１０と、画像信号を処理する画像処理ＥＣＵ１１か
らなる。画像処理ＥＣＵ１１には、車両の複数の箇所、
例えば後述する４箇所、に取り付けられているカメラ２
０ａ〜２０ｄそれぞれの画像信号が入力される。一方、
運転支援ＥＣＵ１０には、運転席に設置されている入出
力装置であるタッチパネル３１、表示装置３２、警報器
３３が接続されるとともに、システムスイッチ４１、ス
テアリングセンサ４２、シフト位置センサ４３、各車輪
の車輪速センサ４４ＦＲ、ＦＬ、ＲＲ、ＲＬ、クリアラ
ンスソナー４５の出力信号が入力される。
【００１８】図２はカメラ２０ａ〜２０ｄの車両への搭
載状態を説明する図であり、図３は各カメラ２０ａ〜２
０ｄで撮像する領域（以下、撮像領域と称する。）を説
明する図である。
載状態を説明する図であり、図３は各カメラ２０ａ〜２
０ｄで撮像する領域（以下、撮像領域と称する。）を説
明する図である。
【００１９】本実施形態においては、カメラ２０ａ〜２
０ｄは、それぞれ車両１の前部、左側面、後部、右側面
にそれぞれ１台ずつ配置される広画角カメラである。こ
こでは、水平画角１７５度、垂直画角８９度のカメラを
利用している。なお、カメラの配置は、１箇所に１台ず
つに限られるものではなく、各箇所に水平画角９０度程
度のカメラを２台ずつ組み合わせて配置してもよい。ま
た、車両１の角部分に配置してもよく、角部分と前後お
よび側方の略中央部の双方に配置してもよい。
０ｄは、それぞれ車両１の前部、左側面、後部、右側面
にそれぞれ１台ずつ配置される広画角カメラである。こ
こでは、水平画角１７５度、垂直画角８９度のカメラを
利用している。なお、カメラの配置は、１箇所に１台ず
つに限られるものではなく、各箇所に水平画角９０度程
度のカメラを２台ずつ組み合わせて配置してもよい。ま
た、車両１の角部分に配置してもよく、角部分と前後お
よび側方の略中央部の双方に配置してもよい。
【００２０】図２に示されるようなカメラ配置を採用す
ると、それらの撮像領域を車両１の上から見ると、図３
に示されるようになる。図３から明らかなように、車両
１のごく近傍までの画像情報を取得するためには、各カ
メラ２０ａ〜２０ｄにはできるだけ水平画角の広いカメ
ラを採用する必要がある。一方で、このように水平画角
の広いカメラを用いると、隣り合うカメラ同士（例え
ば、前方カメラ２０ａと左側方カメラ２０ｄ同士）で重
複する撮像領域が生ずる。後述する視点変換において
は、この重複撮像領域の処理が問題となる。
ると、それらの撮像領域を車両１の上から見ると、図３
に示されるようになる。図３から明らかなように、車両
１のごく近傍までの画像情報を取得するためには、各カ
メラ２０ａ〜２０ｄにはできるだけ水平画角の広いカメ
ラを採用する必要がある。一方で、このように水平画角
の広いカメラを用いると、隣り合うカメラ同士（例え
ば、前方カメラ２０ａと左側方カメラ２０ｄ同士）で重
複する撮像領域が生ずる。後述する視点変換において
は、この重複撮像領域の処理が問題となる。
【００２１】本実施形態の車両周辺モニタ装置は、各カ
メラ２０ａ〜２０ｄによって取得した画像から、図３に
示すようなあたかも車両１の上方から見ているかのよう
な画像を生成し表示することで、運転者に車両近傍やそ
の進路上にある障害物、レーン等を視覚情報として呈示
する装置である。この視点変換処理は画像処理ＥＣＵ１
１によって行われる。
メラ２０ａ〜２０ｄによって取得した画像から、図３に
示すようなあたかも車両１の上方から見ているかのよう
な画像を生成し表示することで、運転者に車両近傍やそ
の進路上にある障害物、レーン等を視覚情報として呈示
する装置である。この視点変換処理は画像処理ＥＣＵ１
１によって行われる。
【００２２】本実施形態の具体的な動作を説明する前
に、この視点変換の原理について図４を参照して簡単に
説明する。図４において、実際のカメラの視点をｐc、
変換先となる仮想視点をｐiとする。それぞれの焦点距
離をｆc、ｆiとすると、それぞれの画像は、視点から焦
点距離だけ離れた平面Ｐc、Ｐiで交わる点上に結像した
投影画像である。例えば、各物体上の任意の点の平面投
影Ｐc上に投影された画像ポイントは、その点と視点と
を結んだ線と平面Ｐcの交点である。
に、この視点変換の原理について図４を参照して簡単に
説明する。図４において、実際のカメラの視点をｐc、
変換先となる仮想視点をｐiとする。それぞれの焦点距
離をｆc、ｆiとすると、それぞれの画像は、視点から焦
点距離だけ離れた平面Ｐc、Ｐiで交わる点上に結像した
投影画像である。例えば、各物体上の任意の点の平面投
影Ｐc上に投影された画像ポイントは、その点と視点と
を結んだ線と平面Ｐcの交点である。
【００２３】ここで、カメラで取得した画像中の画像ポ
イントＸcを仮想画像面Ｐi上のＸiへと変換する場合に
ついて考える。このＸcに撮像されている物体が実際に
は地上平面Ｐw上に存在するとすると、その平面Ｐw上の
位置Ｘwは、視点ｐcと平面Ｐ c上の点Ｘcを結んだ線を延
長して平面Ｐwと交差する点となる。そして、このＸwと
仮想視点ｐiとを結ぶ線と仮想画面Ｐiとの交点が仮想画
面Ｐi上へと画像ポイントＸcを変換した位置Ｘiであ
る。
イントＸcを仮想画像面Ｐi上のＸiへと変換する場合に
ついて考える。このＸcに撮像されている物体が実際に
は地上平面Ｐw上に存在するとすると、その平面Ｐw上の
位置Ｘwは、視点ｐcと平面Ｐ c上の点Ｘcを結んだ線を延
長して平面Ｐwと交差する点となる。そして、このＸwと
仮想視点ｐiとを結ぶ線と仮想画面Ｐiとの交点が仮想画
面Ｐi上へと画像ポイントＸcを変換した位置Ｘiであ
る。
【００２４】画像処理ＥＣＵ１１は、さらに、各カメラ
で取得した画像から視点変換により任意の視点、例え
ば、車両１の上方から車両の周囲を見た画像をそれぞれ
生成し、これらとメモリ等に格納されている車両１のそ
の位置から見た画像とを合成することで、あたかも車両
１の上方から撮影したかのような画像を合成して表示装
置３２へと表示するものである。
で取得した画像から視点変換により任意の視点、例え
ば、車両１の上方から車両の周囲を見た画像をそれぞれ
生成し、これらとメモリ等に格納されている車両１のそ
の位置から見た画像とを合成することで、あたかも車両
１の上方から撮影したかのような画像を合成して表示装
置３２へと表示するものである。
【００２５】ここで、実際のカメラで取得した画像情報
からは、実際の物体の画面の奥行き方向の位置を判別す
ることはできない。したがって物体がＸwではなく、Ｘw
と視点ｐcを結ぶ線上の例えばＸw’位置に存在している
場合でも、投影画面Ｐc上では同じＸc上に位置すること
になる。このため、仮想画面Ｐi上では、本来ならＸ i’
位置に投影されるべき画像がＸwと同じＸiに投影される
ことになる。これが視点変換時に立体物がぼけたり、消
失してしまう要因である。
からは、実際の物体の画面の奥行き方向の位置を判別す
ることはできない。したがって物体がＸwではなく、Ｘw
と視点ｐcを結ぶ線上の例えばＸw’位置に存在している
場合でも、投影画面Ｐc上では同じＸc上に位置すること
になる。このため、仮想画面Ｐi上では、本来ならＸ i’
位置に投影されるべき画像がＸwと同じＸiに投影される
ことになる。これが視点変換時に立体物がぼけたり、消
失してしまう要因である。
【００２６】例えば、図５に示されるように、車両１の
右後方に障害物としてポール５が存在する場合を例に考
える。右側方カメラ２０ｄで取得した画像から車両１の
上方から見た画像へと視点変換を行うと図６（ａ）に示
されるように、ポール５の画像は斜線の領域５Ａに示さ
れるように本来のポール５の位置から斜め後ろに伸びて
いる領域の画像として変換される。一方、後方カメラ２
０ｃで取得した画像から車両１の上方から見た画像へと
視点変換を行うと図６（ｂ）に示されるように、ポール
５の画像は斜線の領域５Ｂに示されるように本来のポー
ル５の位置から横方向へと斜めに伸びている領域の画像
として変換される。
右後方に障害物としてポール５が存在する場合を例に考
える。右側方カメラ２０ｄで取得した画像から車両１の
上方から見た画像へと視点変換を行うと図６（ａ）に示
されるように、ポール５の画像は斜線の領域５Ａに示さ
れるように本来のポール５の位置から斜め後ろに伸びて
いる領域の画像として変換される。一方、後方カメラ２
０ｃで取得した画像から車両１の上方から見た画像へと
視点変換を行うと図６（ｂ）に示されるように、ポール
５の画像は斜線の領域５Ｂに示されるように本来のポー
ル５の位置から横方向へと斜めに伸びている領域の画像
として変換される。
【００２７】これらを重ね合わせて表示画像を生成する
際の重複領域の処理方法として従来のように重複領域全
体についていわゆるαブレンディングを用いた場合、図
６（ｃ）に示されるように両カメラ２０ｃ、２０ｄの撮
像領域の重複領域７内には、ポール５を変換した画像５
Ａ、５Ｂがそれぞれ映し出されるとともに、輝度が半分
になるため、いずれも薄く表示されることから、ぼやけ
た画像として表示されることになる。従来は、このた
め、運転者にとって立体物の認識が困難であるという欠
点があった。
際の重複領域の処理方法として従来のように重複領域全
体についていわゆるαブレンディングを用いた場合、図
６（ｃ）に示されるように両カメラ２０ｃ、２０ｄの撮
像領域の重複領域７内には、ポール５を変換した画像５
Ａ、５Ｂがそれぞれ映し出されるとともに、輝度が半分
になるため、いずれも薄く表示されることから、ぼやけ
た画像として表示されることになる。従来は、このた
め、運転者にとって立体物の認識が困難であるという欠
点があった。
【００２８】本実施形態においては表示画像中の立体物
を運転者が認識しやすいような合成処理を行うことを特
徴とする。以下、合成処理の異なる４つの処理手法につ
いてそれぞれ説明する。
を運転者が認識しやすいような合成処理を行うことを特
徴とする。以下、合成処理の異なる４つの処理手法につ
いてそれぞれ説明する。
【００２９】（第１の処理手法）この第１の処理手法に
おいては、クリアランスソナー４５を用いて、車両近傍
にある立体物の位置を検出する。運転ＥＣＵ１０は、検
出された立体物の位置情報を基にして最適な合成位置を
設定し、画像処理ＥＣＵ１１に指示して画像合成を行
う。
おいては、クリアランスソナー４５を用いて、車両近傍
にある立体物の位置を検出する。運転ＥＣＵ１０は、検
出された立体物の位置情報を基にして最適な合成位置を
設定し、画像処理ＥＣＵ１１に指示して画像合成を行
う。
【００３０】例えば、重複領域のうち検出した立体物を
含む一部の領域のみでαブレンディングを実施し、重複
するそれぞれの視点変換画像を用いて合成処理を行う。
重複領域のその他の領域では立体物からみてその領域側
のカメラで取得した画像から得られた視点変換画像のみ
を用いて合成を行う。
含む一部の領域のみでαブレンディングを実施し、重複
するそれぞれの視点変換画像を用いて合成処理を行う。
重複領域のその他の領域では立体物からみてその領域側
のカメラで取得した画像から得られた視点変換画像のみ
を用いて合成を行う。
【００３１】図７（ａ）は、図５に示される状態をこの
第１の処理手法を用いて表示した場合の表示結果の一例
を示す図である。この処理手法では立体物５の位置情報
を基にして立体物から離れた位置に画像合成の境界７１
を設定する。そして、境界７１より前方側の領域７ｄに
ついては２０ｄで取得した画像を視点変換した結果を、
境界７１より後方側の領域７ｃについてはカメラ２０ｃ
で取得した画像を視点変換した結果をそのまま表示す
る。この結果、表示画像中での立体物の消失やぼけが防
止されるとともに、境界７１における領域７ｃ、７ｄの
画像の不連続性から運転者は立体物の存在を容易に認識
し得る。さらに、検出された位置情報を基にして表示画
像中に立体物位置を合わせて表示すれば視認性が向上す
る。
第１の処理手法を用いて表示した場合の表示結果の一例
を示す図である。この処理手法では立体物５の位置情報
を基にして立体物から離れた位置に画像合成の境界７１
を設定する。そして、境界７１より前方側の領域７ｄに
ついては２０ｄで取得した画像を視点変換した結果を、
境界７１より後方側の領域７ｃについてはカメラ２０ｃ
で取得した画像を視点変換した結果をそのまま表示す
る。この結果、表示画像中での立体物の消失やぼけが防
止されるとともに、境界７１における領域７ｃ、７ｄの
画像の不連続性から運転者は立体物の存在を容易に認識
し得る。さらに、検出された位置情報を基にして表示画
像中に立体物位置を合わせて表示すれば視認性が向上す
る。
【００３２】図７（ｂ）は、第１の処理手法の変形手法
による表示表示結果を示す図である。立体物を含む領域
７１’では、カメラ２０ｃ、２０ｄのそれぞれで取得し
た画像を視点変換し、その結果をαブレンディングによ
り重ね合わせて表示する。一方、領域７１’を挟む領域
７ｃ、７ｄについては、それぞれカメラ２０ｃ、２０ｄ
で取得した画像を視点変換した結果をそのまま表示す
る。この結果、立体物は地面に近い部分を除いて消失し
て表示されることになるが、７１’と７ｃ、７ｄの境界
部分の不連続性から運転者は容易に立体物が５ｘ位置に
あることを認識し得る。さらに、検出された位置情報を
基にして立体物位置を合わせて表示すれば視認性が向上
する。
による表示表示結果を示す図である。立体物を含む領域
７１’では、カメラ２０ｃ、２０ｄのそれぞれで取得し
た画像を視点変換し、その結果をαブレンディングによ
り重ね合わせて表示する。一方、領域７１’を挟む領域
７ｃ、７ｄについては、それぞれカメラ２０ｃ、２０ｄ
で取得した画像を視点変換した結果をそのまま表示す
る。この結果、立体物は地面に近い部分を除いて消失し
て表示されることになるが、７１’と７ｃ、７ｄの境界
部分の不連続性から運転者は容易に立体物が５ｘ位置に
あることを認識し得る。さらに、検出された位置情報を
基にして立体物位置を合わせて表示すれば視認性が向上
する。
【００３３】（第２の処理手法）この処理手法は、合成
時の境界領域を周期的に切り替えることで、立体物の視
認を容易にするものである。ここでは、境界領域の幅が
なく、これを重複領域内で周期的に移動させる処理手法
について説明するが、境界領域に重複領域の１／２以下
の幅を持たせて境界領域内ではαブレンディング等によ
る合成処理を行ってもよい。
時の境界領域を周期的に切り替えることで、立体物の視
認を容易にするものである。ここでは、境界領域の幅が
なく、これを重複領域内で周期的に移動させる処理手法
について説明するが、境界領域に重複領域の１／２以下
の幅を持たせて境界領域内ではαブレンディング等によ
る合成処理を行ってもよい。
【００３４】図８は、この処理方法による表示画面の時
間変化を表している。ある時点において、画像合成の境
界位置７２が図８（ａ）に示されるように、後方カメラ
２０ｃの画角の限界位置近くに位置しているとする。こ
の状態では、境界位置７２より後方側の重複領域の大部
分の領域７ｃではカメラ２０ｃで取得した画像から視点
変換により得られた画像が用いられ、境界位置７２より
前方側の領域７ｄでは、カメラ２０ｄで取得した画像か
ら視点変換により得られた画像が用いられる。この場
合、図５に示されるポール５は、領域７ｃ内で車両１に
対して右側に延びる領域５ｃとして表示される。
間変化を表している。ある時点において、画像合成の境
界位置７２が図８（ａ）に示されるように、後方カメラ
２０ｃの画角の限界位置近くに位置しているとする。こ
の状態では、境界位置７２より後方側の重複領域の大部
分の領域７ｃではカメラ２０ｃで取得した画像から視点
変換により得られた画像が用いられ、境界位置７２より
前方側の領域７ｄでは、カメラ２０ｄで取得した画像か
ら視点変換により得られた画像が用いられる。この場
合、図５に示されるポール５は、領域７ｃ内で車両１に
対して右側に延びる領域５ｃとして表示される。
【００３５】境界位置７２をポイント７３を中心に回転
移動させて後方へと移動させて、図８（ｂ）に示される
位置に設定すると、境界位置７２より後方の領域７ｃで
は、図８（ａ）と同様にポール５が車両１に対して右側
に延びる領域５ｃとして表示される。しかし、その延長
の境界位置７２より先の部分の領域７ｄではポール５の
画像位置が本来異なるため、この境界位置７２で画像が
分断され、その先では画像として消失したように表示さ
れる。
移動させて後方へと移動させて、図８（ｂ）に示される
位置に設定すると、境界位置７２より後方の領域７ｃで
は、図８（ａ）と同様にポール５が車両１に対して右側
に延びる領域５ｃとして表示される。しかし、その延長
の境界位置７２より先の部分の領域７ｄではポール５の
画像位置が本来異なるため、この境界位置７２で画像が
分断され、その先では画像として消失したように表示さ
れる。
【００３６】さらに境界位置７２をポイント７３を中心
に回転移動させて後方へと移動させると、図８（ｃ）に
示されるように今度は、前方の領域７ｄ部分では、ポー
ル５が後方へ伸びる領域５ｄとして表示され、境界位置
７２部分で画像が分断されて、その先の領域７ｃでは消
失した形で表示される。
に回転移動させて後方へと移動させると、図８（ｃ）に
示されるように今度は、前方の領域７ｄ部分では、ポー
ル５が後方へ伸びる領域５ｄとして表示され、境界位置
７２部分で画像が分断されて、その先の領域７ｃでは消
失した形で表示される。
【００３７】図８（ｄ）に示されるように境界位置７２
を右側方カメラ２０ｄの画角の限界位置近くに位置させ
ると、重複領域内ではほぼ領域７ｄのみが表示される結
果、ポール５が後方へ伸びる領域５ｄとして表示される
ことになる。
を右側方カメラ２０ｄの画角の限界位置近くに位置させ
ると、重複領域内ではほぼ領域７ｄのみが表示される結
果、ポール５が後方へ伸びる領域５ｄとして表示される
ことになる。
【００３８】これを繰り返すことで、地面上に描かれた
ライン等については、境界位置７２が移動してもその表
示画像に変化が起こらないが、立体物、地面より高い位
置に存在している物体については表示画像が境界位置７
２の移動に応じて変化する。したがって、この変化によ
って運転者は立体物等を容易に認識することができる。
ライン等については、境界位置７２が移動してもその表
示画像に変化が起こらないが、立体物、地面より高い位
置に存在している物体については表示画像が境界位置７
２の移動に応じて変化する。したがって、この変化によ
って運転者は立体物等を容易に認識することができる。
【００３９】この境界位置７２の移動は、図８におい
て、（ａ）→（ｂ）→（ｃ）→（ｄ）→（ａ）…の順で
行っても、（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｃ）…
のように行ってもよい。また、重複領域７２全体を走査
するのではなく、境界位置として複数の箇所を設定し、
これらを周期的に切り換えるようにしてもよい。
て、（ａ）→（ｂ）→（ｃ）→（ｄ）→（ａ）…の順で
行っても、（ａ）→（ｂ）→（ｃ）→（ｄ）→（ｃ）…
のように行ってもよい。また、重複領域７２全体を走査
するのではなく、境界位置として複数の箇所を設定し、
これらを周期的に切り換えるようにしてもよい。
【００４０】切り替え、走査のいずれの場合も元の境界
位置に復帰するまでの１サイクルの時間は１〜数秒程度
に設定することが好ましい。また、画像切替の１サイク
ルの時間を運転者が任意に設定できるようにしたり、車
速に基づいて１サイクルの時間を可変とし、車速が早い
ほど１サイクルの時間が短くなるように自動調整しても
よい。
位置に復帰するまでの１サイクルの時間は１〜数秒程度
に設定することが好ましい。また、画像切替の１サイク
ルの時間を運転者が任意に設定できるようにしたり、車
速に基づいて１サイクルの時間を可変とし、車速が早い
ほど１サイクルの時間が短くなるように自動調整しても
よい。
【００４１】（第３の処理手法）この処理手法は、車両
の進行方向を予測し、その予測進行方向に合わせて合成
時の境界位置を設定するものである。図９は、この処理
の制御のフローチャートを示している。
の進行方向を予測し、その予測進行方向に合わせて合成
時の境界位置を設定するものである。図９は、この処理
の制御のフローチャートを示している。
【００４２】図９に示される制御は主として運転支援Ｅ
ＣＵ１０によって実行されるものであり、この制御ルー
チンは車両のイグニッションキーがオンにされてからオ
フにされるまでの間、所定の間隔で繰り返し実行され
る。
ＣＵ１０によって実行されるものであり、この制御ルー
チンは車両のイグニッションキーがオンにされてからオ
フにされるまでの間、所定の間隔で繰り返し実行され
る。
【００４３】図９に示されるようにまずステップＳ１で
は、ステアリングセンサ４２と車輪速センサ４４の出力
値を読み取ることで操舵角、車速を読み込む。そしてス
テップＳ２では、これらの情報から車両の進行方向の予
測を行う。ステップＳ３ではこうして予測した進行方向
から適切な境界位置の設定を行う。ステップＳ４では、
設定した境界位置に基づいて画像処理ＥＣＵ１１がカメ
ラ２０ａ〜２０ｄで得られた画像の視点変換画像を合成
処理し、ステップＳ５では得られた画像を表示装置３２
に表示する。
は、ステアリングセンサ４２と車輪速センサ４４の出力
値を読み取ることで操舵角、車速を読み込む。そしてス
テップＳ２では、これらの情報から車両の進行方向の予
測を行う。ステップＳ３ではこうして予測した進行方向
から適切な境界位置の設定を行う。ステップＳ４では、
設定した境界位置に基づいて画像処理ＥＣＵ１１がカメ
ラ２０ａ〜２０ｄで得られた画像の視点変換画像を合成
処理し、ステップＳ５では得られた画像を表示装置３２
に表示する。
【００４４】図１０（ａ）（ｂ）は、こうして得られた
画像の一例を示す図である。いずれも図５に示されるよ
うに車両１の右後方に立体物であるポール５が位置して
いる状態から後退する場合であり、図１０（ａ）はポー
ル５側へと右折しながら後退する場合を、図１０（ｂ）
はポール５と反対側へと左折しながら後退する場合を示
している。
画像の一例を示す図である。いずれも図５に示されるよ
うに車両１の右後方に立体物であるポール５が位置して
いる状態から後退する場合であり、図１０（ａ）はポー
ル５側へと右折しながら後退する場合を、図１０（ｂ）
はポール５と反対側へと左折しながら後退する場合を示
している。
【００４５】図１０（ａ）に示されるように、ポール５
側へと右折しながら後退する場合、車両の右側後部がポ
ール５へ最も接近し、接触するおそれがある。まず、ス
テップＳ２においては各車輪の進路を予測する。この場
合、重複領域７に最も入り込むのは右後輪ＲＲであり、
その進路は図中８RRで示すように予測される。運転者に
対してこの右後輪ＲＲの進路８RR上の障害物等を正確に
表示することが望ましいから、進路上の画像情報を取得
しているカメラ２０ｃ側の画像情報を表示するよう境界
位置の設定を行う。すなわち、ステップＳ３では、境界
位置７４をこの予測進路から最も離れた位置（カメラ２
０ｄ側）に設定してステップＳ４で、図１０（ａ）に示
されるような画像を合成する。
側へと右折しながら後退する場合、車両の右側後部がポ
ール５へ最も接近し、接触するおそれがある。まず、ス
テップＳ２においては各車輪の進路を予測する。この場
合、重複領域７に最も入り込むのは右後輪ＲＲであり、
その進路は図中８RRで示すように予測される。運転者に
対してこの右後輪ＲＲの進路８RR上の障害物等を正確に
表示することが望ましいから、進路上の画像情報を取得
しているカメラ２０ｃ側の画像情報を表示するよう境界
位置の設定を行う。すなわち、ステップＳ３では、境界
位置７４をこの予測進路から最も離れた位置（カメラ２
０ｄ側）に設定してステップＳ４で、図１０（ａ）に示
されるような画像を合成する。
【００４６】表示画像中では、立体物であるポール５は
境界位置７４側で車両側方に延びる領域５ｃとして表示
される。一方、右後輪ＲＲの進路８RR上についてはカメ
ラ２０ｃ側で得られた画像を元に生成した視点変換画像
が表示されるので、進路８RR上に障害物等がある場合も
その位置情報を正確に表示することができ、運転者は障
害物を回避するため適切な操舵を行うことができる。
境界位置７４側で車両側方に延びる領域５ｃとして表示
される。一方、右後輪ＲＲの進路８RR上についてはカメ
ラ２０ｃ側で得られた画像を元に生成した視点変換画像
が表示されるので、進路８RR上に障害物等がある場合も
その位置情報を正確に表示することができ、運転者は障
害物を回避するため適切な操舵を行うことができる。
【００４７】逆に、図１０（ｂ）に示されるように、ポ
ール５側と反対側へと左折しながら後退する場合、今度
は車両の右側前部がポール５へ最も接近し、接触するお
それがある。まず、ステップＳ２においては同様に各車
輪の進路を予測する。この場合、重複領域７に最も入り
込むのは右前輪ＦＲであり、その進路は図中８FRで示す
ように予測される。運転者に対してこの右前輪ＦＲの進
路８FR上の障害物等を正確に表示することが望ましいか
ら、進路上の画像情報を取得しているカメラ２０ｄ側の
画像情報を表示するよう境界位置の設定を行う。すなわ
ち、ステップＳ３では、境界位置７４をこの予測進路か
ら最も離れた位置（カメラ２０ｃ側）に設定してステッ
プＳ４で、図１０（ｂ）に示されるような画像を合成す
る。
ール５側と反対側へと左折しながら後退する場合、今度
は車両の右側前部がポール５へ最も接近し、接触するお
それがある。まず、ステップＳ２においては同様に各車
輪の進路を予測する。この場合、重複領域７に最も入り
込むのは右前輪ＦＲであり、その進路は図中８FRで示す
ように予測される。運転者に対してこの右前輪ＦＲの進
路８FR上の障害物等を正確に表示することが望ましいか
ら、進路上の画像情報を取得しているカメラ２０ｄ側の
画像情報を表示するよう境界位置の設定を行う。すなわ
ち、ステップＳ３では、境界位置７４をこの予測進路か
ら最も離れた位置（カメラ２０ｃ側）に設定してステッ
プＳ４で、図１０（ｂ）に示されるような画像を合成す
る。
【００４８】表示画像中では、立体物であるポール５は
境界位置７４側で車両後方に延びる領域５ｄとして表示
される。一方、右前輪ＦＲの進路８FR上についてはカメ
ラ２０ｄ側で得られた画像を元に生成した視点変換画像
が表示されるので、進路８FR上に障害物等がある場合も
その位置情報を正確に表示することができ、運転者は障
害物を回避するため適切な操舵を行うことができる。
境界位置７４側で車両後方に延びる領域５ｄとして表示
される。一方、右前輪ＦＲの進路８FR上についてはカメ
ラ２０ｄ側で得られた画像を元に生成した視点変換画像
が表示されるので、進路８FR上に障害物等がある場合も
その位置情報を正確に表示することができ、運転者は障
害物を回避するため適切な操舵を行うことができる。
【００４９】このように車両１の予測進路に応じて境界
位置を設定することにより、特に操舵を伴う場合に巻き
込みを起こしやすい領域における死角を効果的に低減す
ることが可能である。また、立体物の位置も視認しやす
くなる。
位置を設定することにより、特に操舵を伴う場合に巻き
込みを起こしやすい領域における死角を効果的に低減す
ることが可能である。また、立体物の位置も視認しやす
くなる。
【００５０】ここでは、合成時の境界が幅を有しない例
について説明してきたが、一定の幅を有する境界領域と
して設定し、境界領域内ではαブレンディング等の処理
を行ってもよい。
について説明してきたが、一定の幅を有する境界領域と
して設定し、境界領域内ではαブレンディング等の処理
を行ってもよい。
【００５１】（第４の処理手法）この処理手法は、運転
者が設定した車両の目標進路に合わせて合成時の境界位
置を設定するものである。以下では、縦列駐車の支援を
行う場合を例に説明する。図１１は縦列駐車を開始する
前の駐車位置と車両との関係を説明する図であり、図１
２は目標駐車位置の設定画面例を示す図である。
者が設定した車両の目標進路に合わせて合成時の境界位
置を設定するものである。以下では、縦列駐車の支援を
行う場合を例に説明する。図１１は縦列駐車を開始する
前の駐車位置と車両との関係を説明する図であり、図１
２は目標駐車位置の設定画面例を示す図である。
【００５２】図１１に示されるように既に駐車されてい
る車両１ａと１ｂとの間のスペース９内のスペース９ａ
に自車１を駐車させる場合について説明する。ここで、
スペース９内のスペース９ａの前方の車両１ａとの間の
スペース９ｂは、スペース９ａ内に車両１を駐車させる
ための駐車操作を行うためのスペースである。
る車両１ａと１ｂとの間のスペース９内のスペース９ａ
に自車１を駐車させる場合について説明する。ここで、
スペース９内のスペース９ａの前方の車両１ａとの間の
スペース９ｂは、スペース９ａ内に車両１を駐車させる
ための駐車操作を行うためのスペースである。
【００５３】運転者は車両１を駐車させたいスペース９
ａの右前方に停車させた後、駐車スペース９ａの設定を
行う。具体的には、タッチパネル３１を備える表示装置
３２上で図１２に示されるように駐車目標位置を実際に
表示させつつ、そこに駐車スペース９ａと前後車両１
ａ、１ｂとの余裕や駐車操作に必要なスペース９ｂを含
む全体のスペース９を画像処理ＥＣＵ１１により合成し
て表示させる。そして、運転者はタッチパネル３１上に
表示されたカーソルキーを利用してこのスペース９を移
動させることで目標駐車位置の設定を行う。この目標駐
車位置９ａと現在の車両位置から運転支援ＥＣＵ１０
は、図１３に示されるように駐車操作時の目標進路９０
（ここでは車両重心の移動軌跡として示している）を設
定する。
ａの右前方に停車させた後、駐車スペース９ａの設定を
行う。具体的には、タッチパネル３１を備える表示装置
３２上で図１２に示されるように駐車目標位置を実際に
表示させつつ、そこに駐車スペース９ａと前後車両１
ａ、１ｂとの余裕や駐車操作に必要なスペース９ｂを含
む全体のスペース９を画像処理ＥＣＵ１１により合成し
て表示させる。そして、運転者はタッチパネル３１上に
表示されたカーソルキーを利用してこのスペース９を移
動させることで目標駐車位置の設定を行う。この目標駐
車位置９ａと現在の車両位置から運転支援ＥＣＵ１０
は、図１３に示されるように駐車操作時の目標進路９０
（ここでは車両重心の移動軌跡として示している）を設
定する。
【００５４】図１４は、合成処理の制御のフローチャー
トを示すものであり、この制御は主として運転支援ＥＣ
Ｕ１０によって実行され、目標駐車位置の設定が行われ
てから、実際に駐車操作が終了するまでの間（図１３に
示される目標進路９０の端に到達するまでの間）、所定
の間隔で繰り返し実行されるものである。
トを示すものであり、この制御は主として運転支援ＥＣ
Ｕ１０によって実行され、目標駐車位置の設定が行われ
てから、実際に駐車操作が終了するまでの間（図１３に
示される目標進路９０の端に到達するまでの間）、所定
の間隔で繰り返し実行されるものである。
【００５５】図１４に示されるようにまずステップＳ１
１では、ステアリングセンサ４２と車輪速センサ４４、
シフト位置センサ４３の出力値を読み取ることで操舵
角、車速等を読み込む。そしてステップＳ１２では、こ
れらの情報から車両１の位置、姿勢を演算する。ステッ
プＳ１３では、予測した車両１の位置、姿勢が設定され
た目標進路９０上に位置しているか否かを判定する。目
標進路９０からのずれが大きい場合には、ステップＳ１
４へと移行して目標進路９０の再設定を行う。ずれが大
きいため、切り返し等の運転操作が必要な場合には、表
示装置３２に適切な運転操作を表示するとともに、警報
器３３により運転者に注意を促す。
１では、ステアリングセンサ４２と車輪速センサ４４、
シフト位置センサ４３の出力値を読み取ることで操舵
角、車速等を読み込む。そしてステップＳ１２では、こ
れらの情報から車両１の位置、姿勢を演算する。ステッ
プＳ１３では、予測した車両１の位置、姿勢が設定され
た目標進路９０上に位置しているか否かを判定する。目
標進路９０からのずれが大きい場合には、ステップＳ１
４へと移行して目標進路９０の再設定を行う。ずれが大
きいため、切り返し等の運転操作が必要な場合には、表
示装置３２に適切な運転操作を表示するとともに、警報
器３３により運転者に注意を促す。
【００５６】ステップＳ１３で目標進路９０とのずれが
小さいと判定された場合やステップＳ１４で目標進路９
０の再設定を行った後はステップＳ１５へと移行し、進
路上の車両の位置、姿勢に応じて適切な境界位置の設定
を行う。ステップＳ１６では、設定した境界位置に基づ
いて画像処理ＥＣＵ１１がカメラ２０ａ〜２０ｄで得ら
れた画像の視点変換画像を合成処理し、ステップＳ１７
では得られた画像を表示装置３２に表示する。
小さいと判定された場合やステップＳ１４で目標進路９
０の再設定を行った後はステップＳ１５へと移行し、進
路上の車両の位置、姿勢に応じて適切な境界位置の設定
を行う。ステップＳ１６では、設定した境界位置に基づ
いて画像処理ＥＣＵ１１がカメラ２０ａ〜２０ｄで得ら
れた画像の視点変換画像を合成処理し、ステップＳ１７
では得られた画像を表示装置３２に表示する。
【００５７】具体的に上記の縦列駐車時を例に説明する
と、図１５に示されるように縦列駐車操作の開始当初、
つまり車両重心位置が進路９０上のＡ点にある場合は、
舵を左に切って後退する操作を行う必要がある。この場
合には、車両の後方左側では、左側の画像情報を、後方
右側では後方の画像情報が重要となるため、車両の後方
左側における左側方カメラ２０ｂと後方カメラ２０ｃの
重複領域では後方カメラ２０ｃで取得した画像が優先さ
れるよう境界位置７５Ｌを側方側に設定する。一方、車
両の後方右側における後方カメラ２０ｃと右側方カメラ
２０ｄとの重複領域では右側方カメラ２０ｄで取得した
画像が優先されるよう境界位置７５Ｒを後方側に設定す
る。
と、図１５に示されるように縦列駐車操作の開始当初、
つまり車両重心位置が進路９０上のＡ点にある場合は、
舵を左に切って後退する操作を行う必要がある。この場
合には、車両の後方左側では、左側の画像情報を、後方
右側では後方の画像情報が重要となるため、車両の後方
左側における左側方カメラ２０ｂと後方カメラ２０ｃの
重複領域では後方カメラ２０ｃで取得した画像が優先さ
れるよう境界位置７５Ｌを側方側に設定する。一方、車
両の後方右側における後方カメラ２０ｃと右側方カメラ
２０ｄとの重複領域では右側方カメラ２０ｄで取得した
画像が優先されるよう境界位置７５Ｒを後方側に設定す
る。
【００５８】車両１がさらに後退して図１６に示される
ように位置Ｂに到達したときには、舵を戻しさらに右に
切って後退する操作を行う必要がある。この場合には、
車両の後方左側では、後方の画像情報を、後方右側では
側方の画像情報が重要となるため、車両の後方左側にお
ける左側方カメラ２０ｂと後方カメラ２０ｃの重複領域
では左側方カメラ２０ｂで取得した画像が優先されるよ
う境界位置７５Ｌを後方側に設定する。一方、車両の後
方右側における後方カメラ２０ｃと右側方カメラ２０ｄ
との重複領域では後方カメラ２０ｃで取得した画像が優
先されるよう境界位置７５Ｒを側方側に設定する。
ように位置Ｂに到達したときには、舵を戻しさらに右に
切って後退する操作を行う必要がある。この場合には、
車両の後方左側では、後方の画像情報を、後方右側では
側方の画像情報が重要となるため、車両の後方左側にお
ける左側方カメラ２０ｂと後方カメラ２０ｃの重複領域
では左側方カメラ２０ｂで取得した画像が優先されるよ
う境界位置７５Ｌを後方側に設定する。一方、車両の後
方右側における後方カメラ２０ｃと右側方カメラ２０ｄ
との重複領域では後方カメラ２０ｃで取得した画像が優
先されるよう境界位置７５Ｒを側方側に設定する。
【００５９】車両１がさらに後退して図１７に示される
ように位置Ｃに到達したときには、舵を戻しまっすぐ後
退する操作を行う必要がある。この場合には、車両の後
方左右とも側方の画像情報は重要ではないため、いずれ
の重複領域においても後方カメラ２０ｃで取得した画像
が優先されるよう境界位置７５Ｌ、７５Ｒを側方側に設
定する。
ように位置Ｃに到達したときには、舵を戻しまっすぐ後
退する操作を行う必要がある。この場合には、車両の後
方左右とも側方の画像情報は重要ではないため、いずれ
の重複領域においても後方カメラ２０ｃで取得した画像
が優先されるよう境界位置７５Ｌ、７５Ｒを側方側に設
定する。
【００６０】以上のように進路上の車両の位置および姿
勢に応じて画像合成時の境界位置を設定することによ
り、特に操舵を伴う場合に巻き込みを起こしやすい領域
における死角を効果的に低減することが可能である。ま
た、立体物の位置も視認しやすくなる。
勢に応じて画像合成時の境界位置を設定することによ
り、特に操舵を伴う場合に巻き込みを起こしやすい領域
における死角を効果的に低減することが可能である。ま
た、立体物の位置も視認しやすくなる。
【００６１】ここでは、合成時の境界が幅を有しない例
について説明してきたが、一定の幅を有する境界領域と
して設定し、境界領域内ではαブレンディング等の処理
を行ってもよい。また、ここでは、縦列駐車の場合を例
に説明したが、例えば車庫入れ等の運転操作やクルーズ
コントロール等にも適用可能である。さらに、操舵を自
動化し、駆動操作を運転者が行う自動操舵による駐車支
援システムや操舵、駆動とも完全に自動化した自動駐車
システムに対しても好適に適用可能である。
について説明してきたが、一定の幅を有する境界領域と
して設定し、境界領域内ではαブレンディング等の処理
を行ってもよい。また、ここでは、縦列駐車の場合を例
に説明したが、例えば車庫入れ等の運転操作やクルーズ
コントロール等にも適用可能である。さらに、操舵を自
動化し、駆動操作を運転者が行う自動操舵による駐車支
援システムや操舵、駆動とも完全に自動化した自動駐車
システムに対しても好適に適用可能である。
【００６２】以上の４つの処理方法の２つ以上を組み合
わせて運転操作に対応して切り替えて使用してもよい。
また、以上の説明では、各カメラで取得した画像を同一
の仮想視点から眺めた画像に変換する合成例を説明して
きたが、いわゆるパノラマ画像や展開画像として変換し
てもよい。
わせて運転操作に対応して切り替えて使用してもよい。
また、以上の説明では、各カメラで取得した画像を同一
の仮想視点から眺めた画像に変換する合成例を説明して
きたが、いわゆるパノラマ画像や展開画像として変換し
てもよい。
【００６３】
【発明の効果】以上説明したように本発明によれば、複
数のカメラで取得した画像を基にして視点変換と画像合
成によって車両周辺の状況を運転者にとって視認しやす
く表示させる車両周辺モニタ装置において、立体物を検
出して検出された位置に応じて、あるいは予測した進路
や設定された目標進路に応じて合成時の境界位置を設定
することで立体物の消失やぼけを防ぎ、かつ、重要な画
像情報を効果的に運転者に提供することが可能となる。
数のカメラで取得した画像を基にして視点変換と画像合
成によって車両周辺の状況を運転者にとって視認しやす
く表示させる車両周辺モニタ装置において、立体物を検
出して検出された位置に応じて、あるいは予測した進路
や設定された目標進路に応じて合成時の境界位置を設定
することで立体物の消失やぼけを防ぎ、かつ、重要な画
像情報を効果的に運転者に提供することが可能となる。
【００６４】あるいは本発明によれば、車両周辺モニタ
装置において、合成時の境界位置を周期的に変更あるい
は切り替えることで、運転者が立体物を視認しやすく、
かつ、重要な画像情報を効果的に運転者に提供すること
が可能となる。
装置において、合成時の境界位置を周期的に変更あるい
は切り替えることで、運転者が立体物を視認しやすく、
かつ、重要な画像情報を効果的に運転者に提供すること
が可能となる。
【図１】本発明に係る車両周辺モニタ装置の構成を示す
ブロック図である。
ブロック図である。
【図２】カメラ２０ａ〜２０ｄの車両への搭載状態を説
明する図である。
明する図である。
【図３】各カメラ２０ａ〜２０ｄで撮像する撮像領域を
説明する図である。
説明する図である。
【図４】視点変換の原理を説明する図である。
【図５】車両１と右後方に存在するポール５の関係を示
す斜視図である。
す斜視図である。
【図６】従来の画像合成例を説明する図である。
【図７】第１の処理手法を用いて表示した場合の表示結
果の一例を示す図である。
果の一例を示す図である。
【図８】第２の処理手法を用いて表示した場合の表示結
果の一例を示す図である。
果の一例を示す図である。
【図９】第３の処理手法の制御のフローチャートであ
る。
る。
【図１０】第３の処理手法を用いて表示した場合の表示
結果の一例を示す図である。
結果の一例を示す図である。
【図１１】縦列駐車を開始する前の駐車位置と車両の関
係を説明する図である。
係を説明する図である。
【図１２】目標駐車位置の設定画面例を示す図である。
【図１３】設定された目標進路を説明する図である。
【図１４】第４の処理方法の制御のフローチャートであ
る。
る。
【図１５】第４の処理方法を用いて表示した場合の表示
結果の一例を示す図である。
結果の一例を示す図である。
【図１６】図１５の続きを示す図である。
【図１７】図１６の続きを示す図である。
１…車両、５…立体物（ポール）、１０…運転支援ＥＣ
Ｕ、１１…画像処理ＥＣＵ、２０…カメラ、３１…タッ
チパネル、３２…表示装置、
Ｕ、１１…画像処理ＥＣＵ、２０…カメラ、３１…タッ
チパネル、３２…表示装置、
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２６ Ｂ６０Ｒ 21/00 ６２６Ｇ ６２８ ６２８Ｄ 1/00 1/00 Ａ Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ｂ 3/00 ３００ 3/00 ３００ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ
Claims (7)
- 【請求項１】 車両の複数の箇所にそれぞれ設置され、
外界の画像情報を取り込む撮像装置と、前記撮像装置に
よって取り込まれた画像を処理する制御装置と、該制御
装置によって処理された画像を表示する表示装置とを備
える車両周辺モニタ装置において、 車両周辺に存在する立体物を検出する立体物検出手段を
さらに備え、前記制御装置は前記複数の撮像装置で取り
込んだ画像を基にして所定の視点から車両周辺を見た合
成画像を生成するものであって、前記立体物検出手段に
より検出された立体物の位置情報に基づいて前記合成画
像合成時の境界領域を設定することを特徴とする車両周
辺モニタ装置。 - 【請求項２】 前記制御装置は、前記立体物の位置情報
に基づいて前記立体物から離隔した位置で合成画像が不
連続となるよう合成処理を行う請求項１記載の車両周辺
モニタ装置。 - 【請求項３】 前記制御装置は、前記立体物の位置情報
に基づいて前記立体物位置付近で合成画像が不連続とな
るよう合成処理を行う請求項１記載の車両周辺モニタ装
置。 - 【請求項４】 車両の複数の箇所にそれぞれ設置され、
外界の画像情報を取り込む撮像装置と、前記撮像装置に
よって取り込まれた画像を処理する制御装置と、該制御
装置によって処理された画像を表示する表示装置とを備
える車両周辺モニタ装置において、 前記制御装置は前記複数の撮像装置で取り込んだ画像を
基にして所定の視点から車両周辺を見た合成画像を生成
するものであって、前記合成画像合成時の境界領域を周
期的に変更することを特徴とする車両周辺モニタ装置。 - 【請求項５】 車両の複数の箇所にそれぞれ設置され、
外界の画像情報を取り込む撮像装置と、前記撮像装置に
よって取り込まれた画像を処理する制御装置と、該制御
装置によって処理された画像を表示する表示装置とを備
える車両周辺モニタ装置において、 車両挙動から車両の進行方向を予測する進行方向予測手
段をさらに備えており、前記制御装置は前記複数の撮像
装置で取り込んだ画像を基にして所定の視点から車両周
辺を見た合成画像を生成するものであって、前記予測手
段により予測された進行方向に基づいて前記合成画像合
成時の境界領域を設定することを特徴とする車両周辺モ
ニタ装置。 - 【請求項６】 車両の複数の箇所にそれぞれ設置され、
外界の画像情報を取り込む撮像装置と、前記撮像装置に
よって取り込まれた画像を処理する制御装置と、該制御
装置によって処理された画像を表示する表示装置とを備
える車両周辺モニタ装置において、 運転者が設定した目標移動位置から適切な車両の目標進
路を設定する進路設定手段をさらに備えており、前記制
御装置は前記複数の撮像装置で取り込んだ画像を基にし
て所定の視点から車両周辺を見た合成画像を生成するも
のであって、前記進路設定手段により設定された目標進
路に基づいて前記合成画像合成時の境界領域を設定する
ことを特徴とする車両周辺モニタ装置。 - 【請求項７】 前記制御装置は、前記進行方向予測手段
により予測された進行方向あるいは前記進路設定手段に
より設定された目標進路方向が直進以外の場合には、予
測された進行方向あるいは設定された目標進路方向側で
は車体進行方向あるいは目標進路方向から離れた位置に
前記合成画像合成時の境界領域を設定することを特徴と
する請求項５または６のいずれかに記載の車両周辺モニ
タ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000365487A JP3695319B2 (ja) | 2000-11-30 | 2000-11-30 | 車両周辺モニタ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000365487A JP3695319B2 (ja) | 2000-11-30 | 2000-11-30 | 車両周辺モニタ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002166802A true JP2002166802A (ja) | 2002-06-11 |
| JP3695319B2 JP3695319B2 (ja) | 2005-09-14 |
Family
ID=18836250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000365487A Expired - Fee Related JP3695319B2 (ja) | 2000-11-30 | 2000-11-30 | 車両周辺モニタ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3695319B2 (ja) |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006121587A (ja) * | 2004-10-25 | 2006-05-11 | Nissan Motor Co Ltd | 運転支援装置及び俯瞰画像作成方法 |
| JP2006253872A (ja) * | 2005-03-09 | 2006-09-21 | Toshiba Corp | 車両周辺画像表示装置および車両周辺画像表示方法 |
| JP2007027948A (ja) * | 2005-07-13 | 2007-02-01 | Nissan Motor Co Ltd | 車両周辺監視装置及び車両周辺監視方法 |
| JP2007036668A (ja) * | 2005-07-27 | 2007-02-08 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
| JP2007041791A (ja) * | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
| JP2007064804A (ja) * | 2005-08-31 | 2007-03-15 | Clarion Co Ltd | 車両用障害物検出装置 |
| JP2007087236A (ja) * | 2005-09-26 | 2007-04-05 | Alpine Electronics Inc | 車両周囲監視方法及び装置 |
| JP2007089081A (ja) * | 2005-09-26 | 2007-04-05 | Alpine Electronics Inc | 車両用画像表示装置 |
| JP2007104373A (ja) * | 2005-10-05 | 2007-04-19 | Alpine Electronics Inc | 車両用画像表示装置 |
| JP2007109166A (ja) * | 2005-10-17 | 2007-04-26 | Sanyo Electric Co Ltd | 運転支援システム |
| JP2007124609A (ja) * | 2005-09-28 | 2007-05-17 | Nissan Motor Co Ltd | 車両周囲映像提供装置 |
| JP2007180720A (ja) * | 2005-12-27 | 2007-07-12 | Alpine Electronics Inc | 車両運転支援装置 |
| JP2007233876A (ja) * | 2006-03-02 | 2007-09-13 | Alpine Electronics Inc | 複数カメラ撮影画像処理方法及び装置 |
| JP2007232593A (ja) * | 2006-03-01 | 2007-09-13 | Toyota Motor Corp | 物体検出装置 |
| JP2007251880A (ja) * | 2006-03-20 | 2007-09-27 | Alpine Electronics Inc | 車両用画像表示装置および画像合成方法 |
| US7283679B2 (en) | 2002-06-12 | 2007-10-16 | Kabushiki Kaisha Toshiba | Image processor and method thereof |
| JP2008092459A (ja) * | 2006-10-04 | 2008-04-17 | Toyota Motor Corp | 周辺監視装置 |
| JP2009151524A (ja) * | 2007-12-20 | 2009-07-09 | Alpine Electronics Inc | 画像表示方法および画像表示装置 |
| JP2009286376A (ja) * | 2008-06-02 | 2009-12-10 | Aisin Aw Co Ltd | 駐車支援装置、駐車支援方法及びコンピュータプログラム |
| US7697029B2 (en) | 2006-07-26 | 2010-04-13 | Toyota Jidosha Kabushiki Kaisha | Image display apparatus and method |
| JP2010128951A (ja) * | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | 画像処理装置、画像処理方法及びコンピュータプログラム |
| JP2010287163A (ja) * | 2009-06-15 | 2010-12-24 | Alpine Electronics Inc | 車載用画像表示装置および画像のトリミング方法 |
| CN101976460A (zh) * | 2010-10-18 | 2011-02-16 | 胡振程 | 车载多目摄像机环视系统的虚拟视点图像生成方法 |
| WO2011105106A1 (ja) * | 2010-02-26 | 2011-09-01 | パナソニック株式会社 | 駐車支援装置 |
| JP2013145470A (ja) * | 2012-01-13 | 2013-07-25 | Sumitomo Heavy Ind Ltd | 画像生成装置及び操作支援システム |
| US8503729B2 (en) | 2011-02-24 | 2013-08-06 | Fujitsu Semiconductor Limited | Image processing apparatus, image processing system, and image processing method |
| CN103778617A (zh) * | 2012-10-23 | 2014-05-07 | 义晶科技股份有限公司 | 动态图像处理方法以及动态图像处理系统 |
| JP2014123955A (ja) * | 2014-01-17 | 2014-07-03 | Sumitomo Heavy Ind Ltd | ショベル |
| JPWO2012164712A1 (ja) * | 2011-06-02 | 2014-07-31 | 日立建機株式会社 | 作業機械の周囲監視装置 |
| US9432634B2 (en) | 2010-11-16 | 2016-08-30 | Sumitomo Heavy Industries, Ltd. | Image generation device and operation support system |
| US10046700B2 (en) | 2012-05-22 | 2018-08-14 | Mitsubishi Electric Corporation | Image processing device |
| WO2019131763A1 (ja) * | 2017-12-27 | 2019-07-04 | 株式会社デンソー | 表示処理装置及び表示制御装置 |
| JP2019185381A (ja) * | 2018-04-10 | 2019-10-24 | クラリオン株式会社 | 車両周囲画像生成装置 |
| JP2023076997A (ja) * | 2021-11-24 | 2023-06-05 | 本田技研工業株式会社 | 制御装置、制御方法、及び制御プログラム |
| US20230177790A1 (en) * | 2021-12-03 | 2023-06-08 | Honda Motor Co., Ltd. | Control device, control method, and recording medium |
| JP2025095991A (ja) * | 2023-12-15 | 2025-06-26 | トヨタ自動車株式会社 | 情報処理装置、駐車支援方法、及びプログラム |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0399952A (ja) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | 車両用周囲状況モニタ |
| JPH10244891A (ja) * | 1997-03-07 | 1998-09-14 | Nissan Motor Co Ltd | 駐車補助装置 |
| WO2000007373A1 (en) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for displaying image |
| JP2002019556A (ja) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | 監視システム |
-
2000
- 2000-11-30 JP JP2000365487A patent/JP3695319B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0399952A (ja) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | 車両用周囲状況モニタ |
| JPH10244891A (ja) * | 1997-03-07 | 1998-09-14 | Nissan Motor Co Ltd | 駐車補助装置 |
| WO2000007373A1 (en) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for displaying image |
| JP2002019556A (ja) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | 監視システム |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7283679B2 (en) | 2002-06-12 | 2007-10-16 | Kabushiki Kaisha Toshiba | Image processor and method thereof |
| JP2006121587A (ja) * | 2004-10-25 | 2006-05-11 | Nissan Motor Co Ltd | 運転支援装置及び俯瞰画像作成方法 |
| JP2006253872A (ja) * | 2005-03-09 | 2006-09-21 | Toshiba Corp | 車両周辺画像表示装置および車両周辺画像表示方法 |
| JP2007027948A (ja) * | 2005-07-13 | 2007-02-01 | Nissan Motor Co Ltd | 車両周辺監視装置及び車両周辺監視方法 |
| JP2007036668A (ja) * | 2005-07-27 | 2007-02-08 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
| JP2007041791A (ja) * | 2005-08-02 | 2007-02-15 | Nissan Motor Co Ltd | 俯瞰画像表示システム及び俯瞰画像の表示方法 |
| JP2007064804A (ja) * | 2005-08-31 | 2007-03-15 | Clarion Co Ltd | 車両用障害物検出装置 |
| JP2007087236A (ja) * | 2005-09-26 | 2007-04-05 | Alpine Electronics Inc | 車両周囲監視方法及び装置 |
| JP2007089081A (ja) * | 2005-09-26 | 2007-04-05 | Alpine Electronics Inc | 車両用画像表示装置 |
| JP2007124609A (ja) * | 2005-09-28 | 2007-05-17 | Nissan Motor Co Ltd | 車両周囲映像提供装置 |
| US8174576B2 (en) | 2005-09-28 | 2012-05-08 | Nissan Motor Co., Ltd. | Vehicle periphery video providing apparatus and method |
| JP2007104373A (ja) * | 2005-10-05 | 2007-04-19 | Alpine Electronics Inc | 車両用画像表示装置 |
| JP2007109166A (ja) * | 2005-10-17 | 2007-04-26 | Sanyo Electric Co Ltd | 運転支援システム |
| JP2007180720A (ja) * | 2005-12-27 | 2007-07-12 | Alpine Electronics Inc | 車両運転支援装置 |
| JP2007232593A (ja) * | 2006-03-01 | 2007-09-13 | Toyota Motor Corp | 物体検出装置 |
| JP2007233876A (ja) * | 2006-03-02 | 2007-09-13 | Alpine Electronics Inc | 複数カメラ撮影画像処理方法及び装置 |
| JP2007251880A (ja) * | 2006-03-20 | 2007-09-27 | Alpine Electronics Inc | 車両用画像表示装置および画像合成方法 |
| US7697029B2 (en) | 2006-07-26 | 2010-04-13 | Toyota Jidosha Kabushiki Kaisha | Image display apparatus and method |
| JP2008092459A (ja) * | 2006-10-04 | 2008-04-17 | Toyota Motor Corp | 周辺監視装置 |
| JP2009151524A (ja) * | 2007-12-20 | 2009-07-09 | Alpine Electronics Inc | 画像表示方法および画像表示装置 |
| JP2009286376A (ja) * | 2008-06-02 | 2009-12-10 | Aisin Aw Co Ltd | 駐車支援装置、駐車支援方法及びコンピュータプログラム |
| JP2010128951A (ja) * | 2008-11-28 | 2010-06-10 | Fujitsu Ltd | 画像処理装置、画像処理方法及びコンピュータプログラム |
| US8319618B2 (en) | 2008-11-28 | 2012-11-27 | Fujitsu Limited | Image processing apparatus, image processing method, and recording medium |
| JP2010287163A (ja) * | 2009-06-15 | 2010-12-24 | Alpine Electronics Inc | 車載用画像表示装置および画像のトリミング方法 |
| WO2011105106A1 (ja) * | 2010-02-26 | 2011-09-01 | パナソニック株式会社 | 駐車支援装置 |
| CN101976460A (zh) * | 2010-10-18 | 2011-02-16 | 胡振程 | 车载多目摄像机环视系统的虚拟视点图像生成方法 |
| US9432634B2 (en) | 2010-11-16 | 2016-08-30 | Sumitomo Heavy Industries, Ltd. | Image generation device and operation support system |
| US8503729B2 (en) | 2011-02-24 | 2013-08-06 | Fujitsu Semiconductor Limited | Image processing apparatus, image processing system, and image processing method |
| JPWO2012164712A1 (ja) * | 2011-06-02 | 2014-07-31 | 日立建機株式会社 | 作業機械の周囲監視装置 |
| JP2013145470A (ja) * | 2012-01-13 | 2013-07-25 | Sumitomo Heavy Ind Ltd | 画像生成装置及び操作支援システム |
| US10046700B2 (en) | 2012-05-22 | 2018-08-14 | Mitsubishi Electric Corporation | Image processing device |
| CN103778617A (zh) * | 2012-10-23 | 2014-05-07 | 义晶科技股份有限公司 | 动态图像处理方法以及动态图像处理系统 |
| JP2014086076A (ja) * | 2012-10-23 | 2014-05-12 | Avisonic Technology Corp | 動的画像処理方法および車両画像を処理するシステム |
| US9087256B2 (en) | 2012-10-23 | 2015-07-21 | Avisonic Technology Corporation | Dynamic image processing method and system for processing vehicular image |
| CN103778617B (zh) * | 2012-10-23 | 2016-08-03 | 义晶科技股份有限公司 | 动态图像处理方法以及动态图像处理系统 |
| JP2014123955A (ja) * | 2014-01-17 | 2014-07-03 | Sumitomo Heavy Ind Ltd | ショベル |
| WO2019131763A1 (ja) * | 2017-12-27 | 2019-07-04 | 株式会社デンソー | 表示処理装置及び表示制御装置 |
| JP2019118051A (ja) * | 2017-12-27 | 2019-07-18 | 株式会社デンソー | 表示処理装置 |
| US11465559B2 (en) | 2017-12-27 | 2022-10-11 | Denso Corporation | Display processing device and display control device |
| JP2019185381A (ja) * | 2018-04-10 | 2019-10-24 | クラリオン株式会社 | 車両周囲画像生成装置 |
| JP2023076997A (ja) * | 2021-11-24 | 2023-06-05 | 本田技研工業株式会社 | 制御装置、制御方法、及び制御プログラム |
| JP7366982B2 (ja) | 2021-11-24 | 2023-10-23 | 本田技研工業株式会社 | 制御装置、制御方法、及び制御プログラム |
| US20230177790A1 (en) * | 2021-12-03 | 2023-06-08 | Honda Motor Co., Ltd. | Control device, control method, and recording medium |
| US12045945B2 (en) * | 2021-12-03 | 2024-07-23 | Honda Motor Co., Ltd. | Control device, control method, and recording medium |
| JP2025095991A (ja) * | 2023-12-15 | 2025-06-26 | トヨタ自動車株式会社 | 情報処理装置、駐車支援方法、及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3695319B2 (ja) | 2005-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3695319B2 (ja) | 車両周辺モニタ装置 | |
| JP7159802B2 (ja) | 車両用電子ミラーシステム | |
| US8305204B2 (en) | Vehicle surrounding confirmation apparatus | |
| KR101362496B1 (ko) | 주차 지원 장치 및 주차 지원 방법 | |
| US8576285B2 (en) | In-vehicle image processing method and image processing apparatus | |
| JP5347257B2 (ja) | 車両用周辺監視装置および映像表示方法 | |
| JP5003946B2 (ja) | 駐車支援装置 | |
| JP4907883B2 (ja) | 車両周辺画像表示装置および車両周辺画像表示方法 | |
| JP7067225B2 (ja) | 車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラム | |
| JP2009083764A (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
| WO2013031161A1 (ja) | 運転支援装置 | |
| JP5998496B2 (ja) | 駐車支援装置 | |
| CN110881118B (zh) | 车辆用周边显示装置 | |
| JP2007036668A (ja) | 俯瞰画像表示システム及び俯瞰画像の表示方法 | |
| JP5400316B2 (ja) | 駐車支援装置 | |
| JP7306047B2 (ja) | 後方表示装置 | |
| JP4092479B2 (ja) | 車両用運転支援装置 | |
| JP4479183B2 (ja) | 映像提示装置 | |
| JP5226621B2 (ja) | 車両用画像表示装置 | |
| JP2021111854A (ja) | 車両用電子ミラーシステム | |
| JP2003252151A (ja) | 駐車支援システム | |
| JP4772409B2 (ja) | 画像表示システム | |
| JP3988551B2 (ja) | 車両周囲監視装置 | |
| JP2022148223A (ja) | 表示制御装置 | |
| JP4674814B2 (ja) | 車両用画像表示装置および画像合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040806 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040928 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050620 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080708 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090708 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100708 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110708 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120708 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130708 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |