JP2013183298A - 車両用後方視界支援装置及び車両用後方視界支援方法 - Google Patents

車両用後方視界支援装置及び車両用後方視界支援方法 Download PDF

Info

Publication number
JP2013183298A
JP2013183298A JP2012046011A JP2012046011A JP2013183298A JP 2013183298 A JP2013183298 A JP 2013183298A JP 2012046011 A JP2012046011 A JP 2012046011A JP 2012046011 A JP2012046011 A JP 2012046011A JP 2013183298 A JP2013183298 A JP 2013183298A
Authority
JP
Japan
Prior art keywords
vehicle
side image
image
unit
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012046011A
Other languages
English (en)
Other versions
JP5953824B2 (ja
Inventor
Yoshinori Kusayanagi
佳紀 草柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2012046011A priority Critical patent/JP5953824B2/ja
Publication of JP2013183298A publication Critical patent/JP2013183298A/ja
Application granted granted Critical
Publication of JP5953824B2 publication Critical patent/JP5953824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】自車両の後側方の撮影画像を、撮影画像中における注意対象物に視線を向け易く表示しかつ注意対象物と自車両との距離感を知覚し易く表示することを目的としている。
【解決手段】車両用後方視界支援装置100は、自車両Aと後続車との車間距離が予め設定した距離閾値以上のときは、自車両Aの側面部分の一部を含む後側方の領域を撮影して得られる後側方画像のうち側面部分の一部の画像領域である側面画像領域に対してぼかし処理を実施し、ぼかし処理の施された後側面画像を表示する。一方、車間距離が距離閾値未満のときは、側面画像領域に対するぼかし処理を停止し、ぼかし処理の施されていない後側方画像を表示する。また、自車両Aの走行車線を走行する後続車を検出したときは、側面部分の一部で死角となる領域を含む後方の領域を撮影して得られる後方画像のうち側面画像領域に対応する位置の画像領域を側面画像領域に対して半透明で透過表示する。
【選択図】 図5

Description

本発明は、車両後側方の視界を支援する表示技術に関する。
従来、カメラで撮影した画像に車室内映像を重畳して表示する技術として、例えば、特許文献1に記載された技術がある。
上記従来技術では、車両後方撮影カメラで撮影したルームミラーの反射像に相当する画像を自車両と対象物との距離感が直感的に解るように表示する為に、次の表示処理を行っている。まず、車室内風景で隠れる箇所は車両後方側のウィンドウ外形線画像を重ねて表示する。次に、ウィンドウ外形線画像の内側と外側とで「明度や色調を変えて」、ウィンドウ外形線画像の内側と外側とのコントラストを強調する。
特開平2007−290570号公報
しかしながら、上記従来技術では、車室内、若しくは、車室外の映像の手前と奥とでは実際に距離が離れているにも関わらず、手前と奥のウィンドウ外形線画像の内側の画像を同じ明度で表示するため、距離が掴みづらいといった課題があった。
本発明は、上記課題を鑑みてなされたものであり、自車両の後側方の撮影画像を、撮影画像中における注意対象物に視線を向け易く表示し、かつ、注意対象物と自車両との距離感を知覚し易く表示するのに好適な車両用後方視界支援装置及び車両用後方視界支援方法を提供することを目的としている。
上記課題を解決するために、本発明は、車両に搭載された後側方画像撮影部によって車両の側面部分の一部を撮影範囲に含む車両の後側方の領域を撮影する。この撮影によって得られる後側方画像のうち車両の側面部分の一部を含む画像領域である側面画像領域に対して画像をぼかす処理であるぼかし処理を実施する。一方、後側方画像内に含まれる車両の走行車線に隣接する隣接車線を走行する後続車を検出し、検出した後続車との車間距離を検出する。そして、後続車との車間距離が距離閾値以上であると判定するとぼかし処理を実施し、後続車との車間距離が距離閾値未満であると判定するとぼかし処理を停止する。そして、ぼかし処理を実施しているときに、ぼかし処理の施された後側方画像を表示する。また、ぼかし処理を停止しているときに、ぼかし処理の施されていない後側方画像を表示する。
本発明によれば、後続車が距離閾値以上の距離に存在する場合に、人間の目における遠方注視による近景のぼやけと同じ視覚効果を有するぼかし処理の施された後側方画像を表示する。また、後続車が距離閾値未満の距離に存在する場合に、ぼかし処理の施されていない後側方画像を表示する。これにより、ドライバが、後側方画像内における注意対象物に視線を向け易く、かつ注意対象物との距離感を知覚し易い画像表示を行うことが可能となる。
本発明の実施形態に係る車両用後方視界支援装置の概要構成図である。 カメラ400〜404及びモニタ405〜409の配置例を示す図である。 カメラ400〜404の撮影範囲の一例を示す図である。 車両用後方視界支援装置100の機能構成の一例を示すブロック図である。 後方視界支援処理の処理手順の一例を示すフローチャートである。 ぼかし解除フラグ設定処理の処理手順の一例を示すフローチャートである。 透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。 カメラ400によって撮影される右後側方画像の一例を示す模式図である。 (a)は、右側面画像領域の各分割領域に設定されるぼかし度合の一例を示す模式図であり、(b)〜(d)は、解像度を低下させるぼかし処理を施した画像の一例を示す模式図であり、(e)〜(g)は、ガウシアンぼかしフィルタを用いたぼかし処理を施した画像の一例を示す模式図である。 (a)〜(d)は、後続車との車間距離に応じた各種画像の表示結果の一例を示す模式図である。 第2実施形態の車両用後方視界支援装置100の機能構成の一例を示すブロック図である。 第2実施形態のぼかし解除フラグ設定処理の処理手順の一例を示すフローチャートである。 第2実施形態の透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。 (a)〜(c)は、Rポジションの検出結果に応じた各種画像の表示結果の一例を示す模式図である。 (a)〜(d)は、変形例に係る各種画像の表示結果の一例を示す模式図である。
(第1実施形態)
以下、本発明の第1実施形態を図面に基づき説明する。図1〜図10は、本発明に係る車両用後方視界支援装置及び車両用後方視界支援方法の第1実施形態を示す図である。
(構成)
まず、車両用後方視界支援装置の構成について説明する。
図1は、本実施形態に係る車両用後方視界支援装置の概要構成図である。
本実施形態において、車両用後方視界支援装置100は、車両Aに搭載されている。車両用後方視界支援装置100は、CPU10と、カメラ群11と、RAM12と、ROM13と、モニタ群14とを備える。
カメラ群11は、カメラ400と、カメラ401と、カメラ402と、カメラ403と、カメラ404とを備える。カメラ400〜404は、CCDカメラ、CMOSカメラ等の公知のカメラから構成される。
モニタ群14は、モニタ405(又は407)と、モニタ406(又は408)と、モニタ409とを備える。モニタ405〜409は、液晶モニタ、有機ELモニタ、プラズマモニタ等の公知のモニタから構成される。
図2は、カメラ400〜404及びモニタ405〜409の配置例を示す図である。
なお、本実施形態において、カメラ400〜404及びモニタ405〜409は、従来の車両に搭載された、鏡面に反射する像を表示するドアミラー及びルームミラーの代替となる。
カメラ400は、自車両Aの車室外における、従来の右側ドアミラーの設置位置の付近に設けられ、カメラ401は、自車両Aの車室外における、従来の左側ドアミラーの設置位置の付近に設けられる。カメラ402は、自車両Aの右後端部におけるカメラ400と同じ高さ位置に設けられ、カメラ403は、自車両Aの左後端部におけるカメラ401と同じ高さ位置に設けられる。カメラ404は、自車両Aの後端部中央における後部ウィンドウの上端部に設けられる。
図3は、カメラ400〜404の撮影範囲の一例を示す図である。
具体的に、カメラ400は、従来の右側ドアミラーの反射像に対応する画像を撮影するもので、自車両Aの右側面部分の一部を含む右後側方の領域を撮影可能な位置に設置する。例えば、従来の右側ドアミラーの付近から、右後方のバンパーの後端までの右側面領域を含む、右後側方の領域を撮影可能な位置に設置する。このような位置に設置したカメラ400は、自車両Aの右側面部分の一部を含む右後側方の領域を撮影し、撮影して得た画像データ(以下、右後側方画像データと称す)をCPU10に送信する。
また、カメラ401は、従来の左側ドアミラーの反射像に対応する画像を撮影するもので、自車両Aの左側面部分の一部を含む左後側方の領域を撮影可能な位置に設置する。例えば、従来の左側ドアミラーの付近から、左後方のバンパーの後端までの左側面領域を含む、左後側方の領域を撮影可能な位置に設置する。このような位置に設置したカメラ401は、自車両Aの左側面部分の一部を含む左後側方の領域を撮影し、撮影して得た画像データ(以下、左後側方画像データと称す)をCPU10に送信する。
また、カメラ402は、カメラ400の撮影範囲において自車両Aの右側面部分によって死角となる領域をカバーするものである。本実施形態において、カメラ402は、カメラ400の撮影範囲において自車両Aの右側面部分の一部によって死角となる領域を含む後方の領域(以下、右後方の領域と称す)を撮影可能な位置に設置する。このような位置に設置したカメラ402は、自車両Aの右後方の領域を撮影し、撮影して得た画像データ(以下、右後方画像データと称す)をCPU10に送信する。
また、カメラ403は、カメラ401の撮影範囲において自車両Aの左側面部分によって死角となる領域をカバーするものである。本実施形態において、カメラ403は、カメラ401の撮影範囲において自車両Aの左側面部分の一部によって死角となる領域を含む左後方の領域(以下、左後方の領域と称す)を撮影可能な位置に設置する。このような位置に設置したカメラ403は、自車両Aの左後方の領域を撮影し、撮影して得た画像データ(以下、左後方画像データと称す)をCPU10に送信する。
また、カメラ404は、従来のルームミラーの反射像に対応する画像を撮影するもので、自車両Aの中央後方の領域を撮影可能な位置に設置する。このような位置に設置したカメラ404は、自車両の中央後方を撮影し、撮影して得た画像データ(以下、中央後方画像データと称す)をCPU10に送信する。
なお、図3では、撮影範囲として、一軸方向の範囲しか示していないが、実際は各カメラのレンズ中央を頂点とした円錐状の撮影範囲となる。また、カメラ400〜404の撮影範囲は、各カメラの有するレンズ(広角レンズ)の特性によって決まる画角の範囲となる。
図2に戻って、モニタ405は、自車両Aの車室外における、従来の右側ドアミラーの設置位置の付近に設けられ、モニタ406は、自車両Aの車室外における、従来の左側ドアミラーの設置位置の付近に設けられる。また、モニタ407は、自車両Aの車室内における右側Aピラーの付け根付近(従来の右側ドアミラーと同じ高さ位置付近)に設けられ、モニタ408は、自車両Aの車室内における左側Aピラーの付け根付近(従来の左側ドアミラーと同じ高さ位置付近)に設けられる。モニタ409は、車室内の前側中央上部の従来のルームミラー設置位置の付近に設けられる。
モニタ405は、従来の右側ドアミラーに対応し、カメラ400によって撮影して得られた右後側方画像データと、カメラ402によって撮影して得られた右後方画像データとに基づき生成される画像データの画像を表示する。また、モニタ405は、車室外に設置するため防水加工を施してある。
モニタ406は、従来の左側ドアミラーに対応し、カメラ401によって撮影して得られた左後側方画像データと、カメラ403によって撮影して得られた左後方画像データとに基づき生成される画像データの画像を表示する。また、モニタ406は、車室外に設置するため防水加工を施してある。
モニタ407は、モニタ405と同様に従来の右側ドアミラーに対応し、カメラ400によって撮影して得られた右後側方画像データと、カメラ402によって撮影して得られた右後方画像データとに基づき生成される画像データの画像を表示する。
モニタ408は、モニタ406と同様に従来の左側ドアミラーに対応し、カメラ401によって撮影して得られた左後側方画像データと、カメラ403によって撮影して得られた左後方画像データとに基づき生成される画像データの画像を表示する。
モニタ409は、従来のルームミラーに対応し、カメラ404によって撮影して得られた中央後方画像データの画像を表示する。なお、カメラ404は、車両の後端部に設置されるため、従来のルームミラーの反射像とは違って撮影画像には自車両の車室内が含まれない。従って、CGにより生成された車室内の一部(後部の窓枠等)の画像をカメラ404の撮影画像に重畳表示することが望ましい。
なお、モニタ405及び406と、モニタ407及び408とは、両方を設置することも可能であるが、いずれか一方を設置することが望ましい。
本実施形態では、モニタ405及び406を設置し、モニタ407及び408は設置しない構成とする。
図1に戻って、ROM13は、後述する後方視界支援機能を実現するための専用プログラムや、プログラムの実行に必要な各種データが格納されている。ROM13は、CPU10からの要求に応じて格納された各種データを読み出してCPU10に入力する。
具体的に、ROM13には、後述する車間距離の判定処理において用いられる距離閾値の情報、後述する後続車との車間距離を演算するためのカメラ400〜404の設置位置、設置角度、画角、焦点距離などの情報、後述するぼかし度合の設定処理において用いられるモニタ405〜409の設置位置の情報等を記憶する。
RAM12は、専用のプログラムを実行する際のワークメモリとして活用される。RAM12は、専用のプログラムの実行に必要な各種データ(各種撮影画像データ、各種フラグデータ等)を一時記憶する。
CPU(Central Processing Unit)10は、ROM13に記憶された専用のプログラムを実行して、カメラ400〜403から送信された各種画像データに基づき、従来の左右ドアミラーの反射像に代替するモニタ405及び406の表示画像を生成する。CPU10は、カメラ404から送信された画像データに基づき、従来のルームミラーの反射像に代替するモニタ409の表示画像を生成する。なお、本実施形態において、カメラ400〜404は動画を撮影するデジタルビデオカメラであり、モニタ405〜409には動画像を表示する。
CPU10は、モニタ405及び406の表示画像の生成に際して、左右後側方画像における自車両Aの左右側面部分の一部の画像領域(以下、左側面画像領域、右側面画像領域と称す)に対して画像をぼかす処理であるぼかし処理を施す。そして、CPU10は、左右側面画像領域に対してぼかし処理が施された左右後側方画像をモニタ405及び406に表示する。
また、CPU10は、ROM13に記憶された専用のプログラムを実行して、カメラ400〜404から送信された各種画像データに基づき、自車両Aの走行車線及び隣接車線を走行する後続車を検出し、検出した後続車と自車両Aとの車間距離を演算する。CPU10は、演算した車間距離とROM13に予め記憶された距離閾値とを比較する。そして、車間距離が距離閾値未満であると判定すると、左右側面画像領域のうち後続車が検出された側の領域に対するぼかし処理を停止する。
また、CPU10は、自車両Aの走行車線を走行する後続車を検出したと判定すると、左右後側方画像のうち対応する側の画像に対して、左右後方画像における対応する側の側面画像領域に対応する位置の画像領域を、予め設定された半透明となる透過率で透過表示する。本実施形態では、透過率p(例えば、50<p<70、単位は[%])で透過表示する。
次に、CPU10において専用のプログラムを実行することによって実現される後方視界支援機能の機能構成を説明する。
図4は、車両用後方視界支援装置100の機能構成の一例を示すブロック図である。
図4に示すように、車両用後方視界支援装置100は、後方視界支援機能構成として、側面画像領域検出部101と、消失点検出部102と、消失点距離演算部103と、領域分割部104と、他車両検出部105と、ぼかし処理制御部106と、透過合成制御部107と、ぼかし処理部108とを備える。
側面画像領域検出部101は、カメラ400で撮影して得られる右後側方画像から自車両Aの右側面画像領域を検出する。更に、カメラ401で撮影して得られる左後側方画像から自車両Aの左側面画像領域を検出する。
ここで、側面画像領域の検出方法として、例えば、テンプレートマッチング処理によって、後側方画像から側面画像領域を検出する方法がある。この方法を採用した場合、テンプレートデータを、予めROM13に記憶する。また、別の方法として、例えば、自車両Aのボディカラーと同じ色又は近い色(例えば、予め設定された差分値の範囲以内の色)の画素から構成される領域を側面画像領域として検出する方法がある。本実施形態では、前者の方法を採用することとする。
消失点検出部102は、カメラ400で撮影して得られる右後側方画像から、右側面画像領域の延長線と地平線との交点である消失点を検出する。更に、カメラ401で撮影して得られる左後側方画像から、左側面画像領域の延長線と地平線との交点である消失点を検出する。消失点検出部102は、消失点の座標情報を、消失点距離演算部103に出力する。
消失点距離演算部103は、消失点検出部102で検出した消失点の座標に基づき、後側方画像中における消失点と側面画像領域の各画素との距離を演算する。消失点距離演算部103は、演算した消失点からの距離の情報を領域分割部104に出力する。
領域分割部104は、消失点距離演算部103から取得した消失点からの距離の情報に基づき、側面画像領域検出部101で検出した右側面画像領域及び左側面画像領域を、画像の遠近方向に複数の領域に分割する。以下、分割した各領域を分割領域と称す。領域分割部104は、各分割領域に対応する座標情報並びに右側面画像領域及び左側面画像領域の画像データを、ぼかし度合設定部300に出力する。
なお、自車両Aが、レーザレンジファインダ等の対象物との距離を測定できる装置を備えている場合は、自車両Aの左右側面部分の一部を構成する各画素の距離情報を得ることができる。つまり、右側面画像領域及び左側面画像領域の各画素の3次元座標を得ることができる。従って、消失点を求めることなく、この3次元座標情報に基づき、左右側面画像領域を画像の遠近方向に複数の領域に分割することが可能である。
他車両検出部105は、後続車検出部200と、車間距離検出部201と、車間距離判定部202とを備える。
後続車検出部200は、カメラ400〜404で撮影して得られる各種撮影画像から自車両Aの走行車線を走行する後続車(以下、自車線後続車と称す)を検出する。加えて、自車両Aの右隣接車線を走行する後続車(以下、右車線後続車と称す)と、自車両Aの左隣接車線を走行する後続車(以下、左車線後続車と称す)とを検出する。具体的に、後続車検出部200は、カメラ400〜404からの各種撮影画像データに対してエッジ検出やパターン認識処理などの画像処理を施して、自車両Aの走行車線又は隣接車線を走行する後続車を検出する。後続車検出部200は、自車線、右車線及び左車線後続車の検出結果を車間距離検出部201及び透過合成制御部107にそれぞれ出力する。なお、後続車検出部200は、後続車が検出されなかった場合は、その旨を示す情報を車間距離検出部201及び透過合成制御部107にそれぞれ出力する。
車間距離検出部201は、後続車検出部200からの検出結果に基づき、後続車を検出したと判定すると、ROM13に記憶されたカメラ400〜404の設置位置、設置角度、画角、レンズの焦点距離等の情報に基づき、検出した各種後続車との車間距離を演算する。但し、本実施形態では、同じ車線に複数台の後続車を検出した場合は、先頭の後続車との車間距離のみ演算する。車間距離検出部201は、演算した車間距離を後続車の種別(自車線、右車線又は左車線)に対応付けて車間距離判定部202に出力する。一方、後続車検出部200からの検出結果に基づき、後続車を検出しなかったと判定すると、後続車を検出しなかった旨を示す情報を車間距離判定部202に出力する。
本実施の形態において、車間距離検出部201は、カメラ群11の各カメラの設置位置、設置角度、画角、焦点距離等のカメラの幾何学的情報と、撮影画像中の後続車の位置とに基づいて自車両Aと後続車との車間距離を演算する。つまり、自車両Aの後方又は後側方の領域における後続車の実際の位置とカメラの撮影画像における座標系の位置との関係は、カメラの設置位置や設置角度、画角、焦点距離などから一意に特定できるので、カメラの撮影画像中における後続車の位置から、自車両Aと後続車との間の車間距離を演算することができる。
なお、撮影画像に基づき車間距離を演算する別の方法として、例えば、撮影画像中の後続車の大きさと、その変化とから演算する方法、撮影画像中の後続車のナンバープレートやナンバープレートの文字などの既知の大きさの物体に基づき演算する方法、ステレオカメラを用いて撮影した撮影画像から演算する方法等を用いてもよい。
また、レーザレンジファインダ、車載用ミリ波レーダやレーザレーダなどの物体検出装置を自車両Aに搭載している場合には、この物体検出装置で検出された情報に基づき、後続車との車間距離を演算するようにしてもよい。または、カメラ群11の撮影画像に対する画像処理の結果と物体検出装置で検出された情報との双方に基づき、後続車との車間距離を演算するようにしてもよい。
車間距離判定部202は、車間距離検出部201で検出した車間距離と、ROM13に予め記憶されている距離閾値とを比較し、車間距離が距離閾値以上か否かを判定する。車間距離判定部202は、判定結果を示す情報をぼかし処理制御部106に出力する。また、本実施形態において、車間距離判定部202は、後続車が検出されなかった旨を示す情報を取得した場合、距離閾値以上である判定結果を示す情報をぼかし処理制御部106に出力する。
ぼかし処理制御部106は、車間距離判定部202からの車間距離の判定結果に基づき、RAM12に予め設定されたぼかし解除フラグ用の領域にぼかし解除フラグを設定する。具体的に、ぼかし処理制御部106は、車間距離が距離閾値以上であると判定すると、ぼかし解除フラグをオフ(例えば、「0」)に設定する。一方、車間距離が距離閾値未満であると判定すると、ぼかし解除フラグをオン(例えば、「1」)に設定する。
ここで、ぼかし解除フラグは、ぼかし処理部108が、ぼかし処理を実施するか否かを判断するためのフラグである。
透過合成制御部107は、後続車検出部200の検出結果に基づき、RAM12に予め設定された透過表示フラグ用の領域に透過表示フラグを設定する。具体的に、透過合成制御部107は、後続車検出部200の検出結果に基づき、自車両Aの走行車線を走行する後続車(自車線後続車)を検出したと判定すると、透過表示フラグをオン(例えば、「1」)に設定する。一方、自車両Aの走行車線を走行する後続車を検出しなかったと判定すると、透過表示フラグをオフ(例えば、「0」)に設定する。
ここで、透過表示フラグは、ぼかし処理部108が、透過合成処理(後述)を実施するか否かを判断するためのフラグである。
ぼかし処理部108は、ぼかし度合設定部300と、ぼかし画像生成部301と、画像合成部302とを備える。
ぼかし度合設定部300は、領域分割部104の分割結果と、消失点検出部102の検出結果と、消失点距離演算部103の演算結果とに基づき、側面画像領域の各分割領域に対して、ぼかし度合を設定する。具体的に、ぼかし度合設定部300は、消失点との距離が大きい分割領域ほど強いぼかし度合を設定し、消失点との距離が小さい分割領域ほど弱いぼかし度合を設定する。つまり、画像の遠近方向において、より遠くにある分割領域ほど、より弱いぼかし度合を設定し、より近くにある分割領域ほど、より強いぼかし度合を設定する。
なお、このぼかし度合の強さと距離との関係は、消失点との距離を用いた関係に限らず、モニタ405及び406と自車両Aの側面部分における側面画像領域の各分割領域と対応する部位との距離を用いた関係に置き換えることができる。つまり、モニタ405及び406とより近い側面部位に対応する分割領域ほどより強いぼかし度合を設定し、モニタ405及び406とより遠い側面部位に対応する分割領域ほどより弱いぼかし度合を設定する。また、ぼかし度合の設定にモニタとの距離関係を用いる場合は、例えば、ROM13に後側方画像におけるモニタと側面画像領域との位置関係の情報を予め記憶しておく。
ぼかし画像生成部301は、RAM12に設定されたぼかし解除フラグの設定内容とぼかし度合設定部300のぼかし度合の設定内容とに基づき、側面画像領域に対してぼかし処理を実施する。なお、以下の説明において、右側面画像領域と左側面画像領域とについて区別する必要がない場合に、左右の区別無く単に側面画像領域として説明する。
具体的に、ぼかし画像生成部301は、ぼかし解除フラグに基づき、ぼかし解除フラグがオフであると判定すると、ぼかし処理を実施する。一方、ぼかし解除フラグがオンであると判定するとぼかし処理を停止する。ぼかし画像生成部301は、ぼかし解除フラグがオフであると判定すると、ぼかし度合設定部300で設定されたぼかし度合で、側面画像領域の各分割領域に対してぼかし処理を実施する。そして、ぼかし処理の施された側面画像領域の画像データを画像合成部302に出力する。
なお、ぼかし処理としては、例えば、側面画像領域の画像の解像度を低下する処理、側面画像領域の画像のエッジ部分をぼやかす処理(エッジ部分の色の変化度合を滑らかにする処理)などがある。ここで、例えば、モザイク処理の様に、画像の画素の入れ替え等を行うようなぼかし処理よりも、画素の入れ替え等を行わずに画像内容(形状等)をできるだけ保持したままぼかす処理の方が、人の視覚特性から望ましい。
一方、ぼかし画像生成部301は、ぼかし解除フラグに基づき、ぼかし解除フラグがオンであると判定すると、ぼかし処理を停止する。そして、ぼかし処理の施していない側面画像領域の画像データを画像合成部302に出力する。
また、ぼかし画像生成部301は、RAM12に設定された透過表示フラグに基づき、ぼかし処理を施した側面画像領域データ、又は、ぼかし処理を施していない側面画像領域データの出力先を決定する。以下、ぼかし処理の施されている側面画像領域データをぼかし側面画像領域データと称し、ぼかし処理の施されていない側面画像領域データを鮮明側面画像領域データと称す。
ぼかし画像生成部301は、具体的に、透過表示フラグがオフであると判定すると、ぼかし側面画像領域データ又は鮮明側面画像領域データを、画像合成部302の通常合成部303(後述)に出力する。一方、透過表示フラグがオンであると判定すると、ぼかし側面画像領域データ又は鮮明側面画像領域データを、画像合成部302の透過合成部304(後述)に出力する。
画像合成部302は、通常合成部303と、透過合成部304とを備える。
通常合成部303は、ぼかし画像生成部301からのぼかし側面画像領域データ又は鮮明側面画像領域データを、カメラ群11からの後側方画像データと合成する。つまり、撮影された後側方画像中の側面画像領域以外の画像と、ぼかし画像生成部301からのぼかし側面画像領域データ又は鮮明側面画像領域データの画像とを合成する。以下、この画像合成を通常合成と称す。
通常合成部303は、更に、合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における対応するモニタに出力する。ここで、各モニタの表示画像を、左右ドアミラーの反射像に相当する画像とするため、通常合成部303は、各合成画像を左右反転した画像の画像表示信号を生成する。
透過合成部304は、ぼかし画像生成部301からのぼかし側面画像領域データ又は鮮明側面画像領域データを、カメラ群11からの後側方画像データ及び後方画像データと合成する。具体的に、透過合成部304は、ぼかし側面画像領域データ又は鮮明側面画像領域データの画像に対して、予め設定した半透明となる透過率pで、後方画像データの画像における側面画像領域に対応する位置の画像領域(以下、対応画像領域と称す)を透過表示するように画像合成を行う。つまり、自車両Aの走行車線を走行する後続車を検出した場合に、後方画像には検出した後続車の画像が含まれることになる。この後続車の画像を側面画像領域を半透明にして透過表示する合成画像を生成する。以下、この画像合成を透過合成と称す。
透過合成処理として、例えば、ぼかし側面画像領域データ又は鮮明側面画像領域データの画像をライン単位で間引きし、間引きした部分に対して対応画像領域の間引き位置に対応する画像を表示するように側面画像領域と対応画像領域とを合成する処理がある。また、例えば、側面画像領域を前景とし、対応画像領域を背景として、公知のαブレンディングを用いて、側面画像領域と対応画像領域とを合成する処理がある。αブレンディングでは、側面画像領域(前景)の各画素値に予め設定された透過率に対応する係数α(0<α<1)を乗算し、対応画像領域(背景)の各画素値に(1−α)を乗算する。そして、各対応する画素位置の乗算後の両者の画素値を加算する。
透過合成部304は、更に、透過合成画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における対応するモニタに出力する。なお、透過合成部304は、通常合成部303と同様に各ミラーの反射像に相当する画像をモニタに表示するために、各透過合成画像を左右反転した画像の画像表示信号を生成する。
(後方視界支援処理)
次に、車両用後方視界支援装置100の機能構成部において行われる後方視界支援処理の処理手順について説明する。
図5は、後方視界支援処理の処理手順の一例を示すフローチャートである。
電源がON(イグニッションON)され、CPU10において専用のプログラムが実行されると、図5に示すように、まずステップS100に移行する。
ステップS100では、CPU10において、以降の処理の実行に使用するタイマやカウンタ、フラグを初期設定する初期化処理を実行して、ステップS102に移行する。
ステップS102では、CPU10において、カメラ群11に対して撮影開始指示を送信して、左右後側方画像、左右後方画像及び中央後方画像の撮影を開始して、ステップS104に移行する。
ステップS104では、CPU10において、ぼかし解除フラグ設定処理を実行して、ステップS106に移行する。
ステップS106では、CPU10において、透過表示フラグ設定処理を実行して、ステップS108に移行する。
ステップS108では、側面画像領域検出部101において、カメラ群11において撮影された後側方画像から、側面画像領域を検出して、ステップS110に移行する。
ステップS110では、消失点検出部102において、後側方画像から消失点を検出する。そして、検出した消失点の座標情報を消失点距離演算部103に出力して、ステップS112に移行する。本実施形態では、消失点検出部102は、後側方画像に、側面画像領域の延長線と、水平線とを設定し、これらの交点を消失点として検出する。
ステップS112では、消失点距離演算部103において、側面画像領域の各画素の座標情報と、消失点の座標情報とに基づき、消失点と各画素との距離を演算する。そして、演算した距離の情報を領域分割部104に出力して、ステップS114に移行する。
ステップS114では、領域分割部104において、ステップS112において演算した消失点と各画素との距離の情報に基づき、ステップS108で検出した側面画像領域を画像の遠近方向に複数の領域に論理的に分割する。そして、各分割領域の座標情報を、ぼかし度合設定部300に出力して、ステップS116に移行する。
ステップS116では、ぼかし度合設定部300において、領域分割部104からの各側面画像領域の各分割領域の座標情報に基づき、各側面画像領域の各分割領域に対して、ぼかし度合を設定して、ステップS118に移行する。
ここで、ぼかし度合は、消失点からの距離が小さい分割領域ほど、ぼかし度合を弱くし、消失点からの距離が大きい分割領域ほど、ぼかし度合を強くする。例えば、側面画像領域を3分割し、消失点からの距離が大きい順に第1〜第3の分割領域としたとする。この場合、距離が最も小さい第3の分割領域のぼかし度合を最も弱い度合に設定し、距離が最も大きい第1の分割領域のぼかし度合を最も強い度合に設定する。そして、距離が二番目に小さい第2の分割領域のぼかし度合を第1及び第3の分割領域のぼかし度合の中間の強さの度合に設定する。
ステップS118では、ぼかし画像生成部301において、RAM12に設定されたぼかし解除フラグに基づき、ぼかし解除フラグがオンに設定されているか否かを判定する。そして、ぼかし解除フラグがオンに設定されていると判定した場合(Yes)は、ステップS120に移行し、ぼかし解除フラグがオンに設定されていない場合(No)は、ステップS130に移行する。
ステップS120に移行した場合は、ぼかし画像生成部301において、RAM12に設定された透過表示フラグがオンに設定されているか否かを判定する。そして、透過表示フラグがオンに設定されていると判定した場合(Yes)は、ステップS122に移行し、透過表示フラグがオンに設定されていないと判定した場合(No)は、ステップS126に移行する。
ステップS122に移行した場合は、ぼかし画像生成部301において、側面画像領域検出部101において検出した側面画像領域に対してぼかし処理を実施せずに、鮮明側面画像領域データを透過合成部304に出力して、ステップS124に移行する。
ステップS124では、透過合成部304において、鮮明側面画像領域データの画像と、後方画像データの画像と、後側面画像データの画像とを透過合成する。そして、生成した透過合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS142に移行する。
一方、ステップS120において透過表示フラグがオンに設定されてないと判定してステップS126に移行した場合は、ぼかし画像生成部301において、側面画像領域検出部101において検出した側面画像領域に対してぼかし処理を実施せずに、鮮明側面画像領域データを通常合成部303に出力する。その後、ステップS128に移行する。
ステップS128では、通常合成部303において、鮮明側面画像データの画像と、後側方画像データの画像と、後方画像データの画像とを通常合成する。そして、生成した通常合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS142に移行する。
また、ステップS118において、ぼかし解除フラグがオンに設定されていないと判定してステップS130に移行した場合は、ぼかし画像生成部301において、ぼかし度合設定部300で設定したぼかし度合に基づき、側面画像領域の各分割領域に対してぼかし処理を実施して、ステップS132に移行する。
ステップS132では、ぼかし画像生成部301において、RAM12に設定された透過表示フラグがオンに設定されているか否かを判定する。そして、透過表示フラグがオンに設定されていると判定した場合(Yes)は、ステップS134に移行し、透過表示フラグがオンに設定されていないと判定した場合(No)は、ステップS138に移行する。
ステップS134に移行した場合は、ぼかし画像生成部301において、ぼかし処理の施されたぼかし側面画像領域データを透過合成部304に出力して、ステップS136に移行する。
ステップS136では、透過合成部304において、ぼかし側面画像領域データの画像と、後方画像データの画像と、後側面画像データの画像とを透過合成する。そして、生成した透過合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS142に移行する。
一方、ステップS132において透過表示フラグがオンに設定されていないと判定してステップS138に移行した場合は、ぼかし画像生成部301において、ぼかし側面画像領域データを通常合成部303に出力する。その後、ステップS140に移行する。
ステップS140では、通常合成部303において、ぼかし側面画像データの画像と、後側方画像データの画像と、後方画像データの画像とを通常合成する。そして、生成した通常合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ群14における生成した信号に対応するモニタに出力する。その後、ステップS142に移行する。
ステップS142では、未処理のぼかし解除フラグがあるか否かを判定し、未処理のぼかし解除フラグがあると判定した場合(Yes)は、ステップS118に移行する。一方、未処理のぼかし解除フラグが無いと判定した場合(No)は、ステップS144に移行する。
ここで、ぼかし解除フラグは、左右側面画像領域についてそれぞれ設定される。そのため、このステップにおいて、双方について処理を実施したか否かを判定する。例えば、先に右側面画像領域用のぼかし解除フラグの設定内容に対する処理を実施した場合は、次に、左側面画像領域用のぼかし解除フラグの設定内容に対する処理を実施する。
ステップS144では、モニタ群14の各モニタにおいて、入力された画像表示信号に対応する合成画像を表示して、ステップS146に移行する。
ステップS146では、CPU10において、イグニッションスイッチ(不図示)からの信号に基づき、イグニッションがOFFになったか否かを判定する。そして、OFFになったと判定した場合(Yes)は、一連の処理を終了し、OFFになっていないと判定した場合(No)は、ステップS104に移行する。
(ぼかし解除フラグ設定処理)
次に、ステップS104で行われるぼかし解除フラグ設定処理の処理手順について説明する。
図6は、ぼかし解除フラグ設定処理の処理手順の一例を示すフローチャートである。
ステップS104において、ぼかし解除フラグ設定処理が開始されると、図6に示すように、まず、ステップS200に移行する。
ステップS200では、後続車検出部200において、カメラ群11から、カメラ400〜404で撮影して得られる各種撮影画像データを取得して、ステップS202に移行する。
ステップS202では、後続車検出部200において、ステップS200で取得した各種撮影画像データの画像から後続車を検出する後続車検出処理を実施して、ステップS204に移行する。
ステップS204では、後続車検出部200において、後続車を検出した場合に、検出した後続車の種別(自車線、右車線、左車線)を含む検出結果の情報を車間距離検出部201及び透過合成制御部107にそれぞれ出力して、ステップS206に移行する。一方、後続車を検出しなかった場合は、後続車が存在しないことを示す情報を、車間距離検出部201及び透過合成制御部107にそれぞれ出力して、ステップS206に移行する。
ステップS206では、車間距離検出部201において、後続車検出部200からの検出結果の情報に基づき、後続車が検出されたか否かを判定する。そして、検出したと判定した場合(Yes)は、ステップS208に移行する。一方、検出しなかったと判定した場合(No)は、ステップS222に移行する。
ステップS208に移行した場合は、車間距離検出部201において、予めROM13に記憶されたカメラ400〜404の設置位置、設置角度及び焦点距離と、後続車を含む撮影画像データとに基づき、検出された各後続車と自車両Aとの車間距離を演算する。その後、ステップS210に移行する。
ステップS210では、車間距離検出部210において、ステップS208の車間距離の演算結果を各後続車の種別に対応付けた情報を車間距離判定部202に出力して、ステップS212に移行する。
ステップS212では、車間距離判定部202において、車間距離検出部201からの車間距離の演算結果の情報と、ROM13に記憶された距離閾値の情報とに基づき、検出した各後続車のなかに車間距離が距離閾値未満の後続車が存在するか否かを判定する。そして、車間距離が距離閾値未満である後続車が存在すると判定した場合(Yes)は、ステップS214に移行し、車間距離が距離閾値未満である後続車が存在しないと判定した場合(No)は、ステップS218に移行する。
ステップS214に移行した場合は、車間距離判定部202において、判定結果の情報として、距離閾値未満の後続車が存在することを示す情報を各後続車の種別に対応づけた情報をぼかし処理制御部106に出力して、ステップS216に移行する。
ステップS216では、ぼかし処理制御部106において、ぼかし解除フラグをオンに設定して、一連の処理を終了し元の処理に復帰する。具体的に、RAM12に予め設定されたぼかし解除フラグ用の領域にオンを示す値(例えば「1」)を設定(格納)する。なお、ぼかし解除フラグは、左右側面画像領域に対して、それぞれ独立して設定する。本実施形態では、右車線後続車との車間距離が距離閾値未満の場合に右側面画像領域用のぼかし解除フラグをオンに設定し、左車線後続車との車間距離が距離閾値未満である場合に左側面画像領域用のぼかし解除フラグをオンに設定する。また、自車線後続車との車間距離が距離閾値未満の場合に左右側面画像領域用のぼかし解除フラグを両方ともオンに設定する。従って、右車線後続車との車間距離のみ距離閾値未満の場合は右側面画像領域用のぼかし解除フラグをオンに設定し、左側面画像領域用のぼかし解除フラグをオフに設定する。また、左車線後続車との車間距離のみ距離閾値未満の場合は左側面画像領域用のぼかし解除フラグをオンに設定し、右側面画像領域用のぼかし解除フラグをオフに設定する。
一方、ステップS218に移行した場合は、車間距離判定部202において、判定結果の情報として、距離閾値未満の後続車が存在しないことを示す情報をぼかし処理制御部106に出力して、ステップS220に移行する。
ステップS220では、ぼかし処理制御部106において、ぼかし解除フラグをオフに設定して、一連の処理を終了し元の処理に復帰する。具体的に、RAM12に予め設定されたぼかし解除フラグ用の領域にオフを示す値(例えば「0」)を設定(格納)する。ここでは、左右側面画像領域用のぼかし解除フラグを両方ともオフに設定する。
(透過表示フラグ設定処理)
次に、ステップS106で行われる透過表示フラグ設定処理の処理手順について説明する。
図7は、透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。
ステップS106において、透過表示フラグ設定処理が開始されると、図7に示すように、まず、ステップS300に移行する。
ステップS300では、透過合成制御部107において、後続車検出部200から後続車の検出結果を示す情報を取得したか否かを判定する。そして、検出結果を示す情報を取得したと判定した場合(Yes)は、ステップS302に移行し、検出結果を示す情報を取得していないと判定した場合(No)は、情報を取得するまで判定処理を繰り返す。
ステップS302に移行した場合は、透過合成制御部107において、検出結果を示す情報に基づき、自車線後続車を検出したか否かを判定する。そして、自車線後続車を検出したと判定した場合(Yes)は、ステップS304に移行し、自車線後続車を検出しなかったと判定した場合(No)は、ステップS306に移行する。
ステップS304に移行した場合は、透過合成制御部107において、透過表示フラグをオンに設定して、一連の処理を終了して元の処理に復帰する。具体的に、RAM12に予め設定された透過表示フラグ用の領域にオンを示す値(例えば「1」)を設定(格納)する。
一方、ステップS306に移行した場合は、透過合成制御部107において、透過表示フラグをオフに設定して、一連の処理を終了して元の処理に復帰する。具体的に、RAM12に予め設定された透過表示フラグ用の領域にオフを示す値(例えば「0」)を設定(格納)する。
(動作)
次に、図8〜図10に基づき、本実施形態の車両用後方視界支援装置100の動作を説明する。
図8は、カメラ400によって撮影される右後側方画像の一例を示す模式図である。図9(a)は、右側面画像領域の各分割領域に設定されるぼかし度合の一例を示す模式図であり、(b)〜(d)は、解像度を低下させるぼかし処理を施した画像の一例を示す模式図であり、(e)〜(g)は、ガウシアンぼかしフィルタを用いたぼかし処理を施した画像の一例を示す模式図である。図10(a)〜(d)は、後続車との車間距離に応じた各種画像の表示結果の一例を示す模式図である。
イグニッションスイッチがONされ、電源がONされると、CPU10において専用のプログラムが実行される。プログラムが実行されると、まず、タイマやカウンタの初期化に加えて、プログラムで用いる各種フラグや変数等が初期化される(S100)。また、初期化処理においては、カメラ400〜404の初期設定も行われる。なお、ここでは、カメラ400〜404は、予め設定された位置に予め設定された角度で配設される。そして、この配設された位置において向きや撮影範囲等を固定した状態で撮影を行う。
初期化処理が終了すると、カメラ群11のカメラ400〜404が撮影動作を開始し、カメラ400による右後側方画像の撮影、カメラ401による左後側方画像の撮影が行われる。また、カメラ402による右後方画像の撮影、カメラ403による左後方画像の撮影、カメラ404による中央後方画像の撮影が行われる(S102)。
以下、自車両Aを右ハンドル車として動作を説明する。
カメラ群11による撮影が開始されると、車両用後方視界支援装置100は、まず、ぼかし解除フラグ設定処理を実行する(S104)。
ぼかし解除フラグ設定処理が開始されると、他車両検出部105の後続車検出部200は、カメラ群11で撮影された、右後側方画像、左後側方画像、右後方画像、左後方画像及び中央後方画像を取得する(S200)。そして、これら取得した撮影画像に基づき、後続車を検出する処理を実行する(S202)。
後続車検出部200は、具体的に、予めROM13に記憶されたテンプレートデータを読み出し、読み出したテンプレートデータを用いたマッチング処理によって、撮影画像中の他車両を検出する。ここでは、例えば、図8に示すような、右後側方画像が得られたとする。なお、説明の便宜上、ここでは、撮影画像中に右車線後続車以外の後続車が存在しないこととする。
従って、図8に示すように、右後側方画像中には後続車が存在する。そのため、後続車検出部200は、テンプレートマッチングによって、この後続車を検出する(S206のYes)。これにより、後続車検出部200は、右車線後続車が検出されたことを示す情報を、車間距離検出部201及び透過合成制御部107にそれぞれ出力する。
車間距離検出部201は、検出結果の情報を受信すると、ROM13に予め記憶されたカメラ400の幾何学的情報(設置位置、設置角度、画角、焦点距離等)と、取得した右後側方画像とに基づき、自車両Aと検出した右車線後続車との車間距離を演算する(S208)。車間距離検出部201は、演算した右車線後続車の車間距離の情報を、車間距離判定部202に出力する(S210)。
車間距離判定部202は、車間距離検出部201からの右車線後続車との車間距離を示す情報を受信すると、ROM13に記憶された距離閾値(例えば5[m]とする)を読み出す。そして、読み出した距離閾値と、取得した右車線後続車の車間距離とに基づき、車間距離が距離閾値未満である後続車が存在するか否かを判定する。図8に示す例では、右車線後続車は5[m]以上離れた位置を走行しているため、車間距離判定部202は、距離閾値未満の後続車は存在しないと判定する(S212のYes)。そして、車間距離が5[m]未満の後続車が存在しないことを示す情報を、ぼかし処理制御部106に出力する(S214)。
これにより、ぼかし処理制御部106は、RAM12の左右側面画像領域用のぼかし解除フラグをオフ(「0」)に設定する(S220)。
このようにしてぼかし解除フラグ設定処理が完了すると、車両用後方視界支援装置100は、次に、透過表示フラグ設定処理を実行する(S106)。
透過表示フラグ設定処理が開始されると、透過合成制御部107は、後続車検出部200から、後続車の検出結果を示す情報を取得したか否かを判定する(S300)。ここでは、右車線後続車のみが検出されたことを示す情報を後続車検出部200から取得することになる(S300のYes)。従って、透過合成制御部107は、自車両Aの走行車線を走行する後続車(自車線後続車)が検出されなかったと判定する(S302のNo)。これにより、透過合成制御部107は、RAM12の透過表示フラグをオフに設定する(S306)。
このようにして透過表示フラグ設定処理が完了すると、車両用後方視界支援装置100は、側面画像領域検出部101において、右後側方画像及び左後側方画像から、右側面画像領域及び左側面画像領域を検出する(S108)。側面画像領域検出部101は、ここでは、ROM13に予め記憶されている自車両Aの左右側面画像領域のテンプレートデータを読み出し、読み出したテンプレートデータと左右後側方画像とのテンプレートマッチングによって左右後側方画像から左右側面画像領域を検出する。側面画像領域検出部101は、検出した左右側面画像領域の画像データを領域分割部104に出力する。
一方、消失点検出部102は、左右後側方画像に、左右側面画像領域の延長線と水平線とを設定し、これらの交点を消失点として検出する(S110)。
具体的に、消失点検出部102は、まず、カメラ400〜401で撮影した後側方画像から側面画像領域に沿って自車両Aの進行方向後方(即ち、画像の遠近方向の遠方向)に延長した線の無限遠点を検出する。例えば、カメラ400〜401の撮影軸の向きなどのカメラの設置条件と側面画像領域との位置関係を予めROM13に記憶しておく。そして、現在のカメラの設置条件に対応する位置関係から無限遠点を検出する。または、側面画像領域の近くの路面フロー(オプティカルフロー)から無限遠点を検出する。そして、側面画像領域と無限遠点とを結ぶ直線を演算する。消失点検出部102は、この直線を側面画像領域の延長線として設定する。
次に、消失点検出部102は、カメラ400〜401で撮影した後側方画像から地平線を検出する。例えば、カメラ400〜401の撮影軸の向きなどのカメラの設置条件と地平線との位置関係を予めROM13に記憶しておく。そして、現在のカメラの設置条件に対応する位置の地平線を設定する。または、自車両Aが、平坦路とみなせる路面勾配の少ない道路(例えば、高速道路など)を走行している場合は、路面と風景との境界を検出して地平線を演算しても良い。
上記いずれかの設定方法により、例えば、図8に示すように、右後側方画像に延長線と地平線とを設定する。そして、これらの交点を消失点として検出する。消失点検出部102は、検出した消失点の座標情報と左右側面画像領域の画像データとを消失点距離演算部103に出力する。
消失点距離演算部103は、消失点検出部102からの座標情報と画像データとに基づき、消失点から各側面画像領域の各画素までの距離を演算する(S112)。そして、演算結果を領域分割部104に出力する。
領域分割部104は、側面画像領域検出部101からの左右側面画像領域の画像データと、消失点距離演算部103からの演算結果とに基づき、左右側面画像領域を画像の遠近方向に複数の領域に分割する。ここでは、図9(a)に示すように、例えば、側面画像領域を第1〜第3の分割領域500〜502の3つの領域に分割する。なお、図9(a)中の503は、側面画像領域以外の画像領域を示す。領域分割部104は、第1〜第3の分割領域500〜502の座標情報を、ぼかし度合設定部300に出力する。
ぼかし度合設定部300は、第1〜第3の分割領域500〜502に対して、消失点からの距離に応じたぼかし度合を設定する(S114)。図9(a)に示すように、消失点と第1〜第3の分割領域との距離は、第1の分割領域500が最も大きく、第2の分割領域501が次に大きく、第3の分割領域502が最も小さい。従って、ぼかし度合設定部300は、図9(a)に色の濃さで示すように、第1の分割領域500に対して最も強いぼかし度合を設定し、第2の分割領域501に対して次に強いぼかし度合を設定する。そして、第3の分割領域502に対して最も弱いぼかし度合を設定する(S116)。なお、図9(a)において、色が濃いほどぼかし度合が強いことを示す。ぼかし度合設定部300は、ぼかし度合の設定内容と左右側面画像領域の画像データとを、ぼかし画像生成部301に出力する。
ぼかし画像生成部301は、RAM12に設定されたぼかし解除フラグに基づき、ぼかし解除フラグがオンか否かを判定する(S118)。ここでは、右側面画像領域用のぼかし解除フラグから先に処理を実行する。現在、左右側面画像領域用のぼかし解除フラグは両方ともオフに設定されている。そのため、ぼかし画像生成部301は、右側面画像領域用のぼかし解除フラグがオフに設定されていると判定する(S118のNo)。これにより、ぼかし画像生成部301は、右側面画像領域に対して、ぼかし処理を実施する(S130)。
具体的に、ぼかし画像生成部301は、ぼかし度合設定部300で設定されたぼかし度合と、予め設定されたぼかし処理の処理方法とに従って、右側面画像領域に対してぼかし処理を実施する。例えば、解像度を低下させるぼかし処理方法が設定されている場合、図9(b)に示すように、第1の分割領域500に対して、最も解像度を低くするぼかし処理を施し、第1の低解像度ぼかし領域504を生成する。次に、図9(c)に示すように、第2の分割領域501に対して、二番目に解像度が低くなるぼかし処理を施し、第2の低解像度ぼかし領域505を生成する。最後に、図9(d)に示すように、第3の分割領域502に対して、三番目に解像度が低くなるぼかし処理を施し、第3の低解像度ぼかし領域506を生成する。
一方、ぼかし画像生成部301は、ガウシアンぼかしフィルタを用いたぼかし処理方法が設定されている場合、図9(e)に示すように、第1の分割領域500に対して、最もぼかし度合を大きくしたガウシアンぼかしフィルタを用いてぼかし処理を施し、第1のガウシアンぼかし領域507を生成する。次に、図9(f)に示すように、第2の分割領域501に対して、二番目にぼかし度合を大きくしたガウシアンぼかしフィルタを用いてぼかし処理を施し、第2のガウシアンぼかし領域508を生成する。最後に、図9(g)に示すように、第3の分割領域502に対して、最もぼかし度合を小さくしたガウシアンぼかしフィルタを用いてぼかし処理を施し、第3のガウシアンぼかし領域509を生成する。
なお、左側面画像領域に対しても同様のぼかし処理を実施する。
次に、ぼかし画像生成部301は、RAM12に設定された透過表示フラグに基づき、透過表示フラグがオンか否かを判定する(S132)。ぼかし画像生成部301は、現在、透過表示フラグがオフに設定されているので(S132のNo)、ぼかし右側面画像領域データを通常合成部303に出力する(S138)。ここでは、ぼかし右側面画像領域データは、第1〜第3の低解像度ぼかし領域504〜506の画像データから構成される低解像度ぼかし右側面画像領域データとなる。または、第1〜第3のガウシアンぼかし領域507〜509の画像データから構成されるガウシアンぼかし右側面画像領域データとなる。ぼかし画像生成部301は、これらのうちいずれか一方を通常合成部303に出力する。
通常合成部303は、ぼかし画像生成部301から、低解像度ぼかし右側面画像領域データを取得した場合は、この画像データを、右後側方画像データに合成する(S140)。これにより、通常合成部303は、図10(a)に示すように、右後側方画像における右側面画像領域が、第1〜第3の低解像度ぼかし領域504〜506から構成される低解像度ぼかし右側面画像領域に置き換えられた通常合成画像を生成する。
一方、通常合成部303は、ぼかし画像生成部301から、ガウシアンぼかし右側面画像領域データを取得した場合は、この画像データを、右後側方画像データに合成する(S140)。これにより、通常合成部303は、図10(b)に示すように、右後側方画像における右側面画像領域が、第1〜第3のガウシアンぼかし領域507〜509から構成される低解像度ぼかし右側面画像領域に置き換えられた通常合成画像を生成する。
通常合成部303は、生成した通常合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する。
なお、左後側方画像に対しても同様の通常合成処理を実施する。
上記各フラグの設定内容が同じ間は、上記同様の処理が繰り返し実施される。
次に、上記検出された右車線後続車が、距離閾値未満となる距離まで接近した場合の動作を説明する。
この場合、車間距離判定部202において、車間距離が距離閾値未満の後続車が存在すると判定される(S212のYes)。車間距離判定部202は、距離閾値未満の後続車が存在する判定結果を示す情報を、ぼかし処理制御部106に出力する(S214)。
ぼかし処理制御部106は、車間距離判定部202からの距離閾値未満の後続車が存在する判定結果を示す情報を取得すると、RAM12のぼかし解除フラグをオンに設定する(S216)。
なお、ここでは、自車線後続車が検出されず、透過合成制御部107によって、透過表示フラグがオフに設定されたとする(S306)。
引き続き、上記同様に、側面画像領域の検出処理、消失点の検出処理、消失点からの距離の演算処理、領域分割処理、ぼかし度合の設定処理が行われる(S108〜S116)。
ここで、カメラ群11として、固定カメラを用いる場合は、側面画像領域の検出処理、消失点の検出処理、消失点からの距離の演算処理、領域分割処理、ぼかし度合の設定処理を、電源ONの後に1回だけ行い、各処理結果をRAM12に記憶しておく。そして、ぼかし画像生成部301において、RAM12に記憶された各処理結果を繰り返し用いるように構成することも可能である。
次に、ぼかし画像生成部301は、ぼかし解除フラグがオンになっており(S118のYes)、かつ透過表示フラグがオフになっているので(S120のNo)、ぼかし度合設定部300からの右側面画像領域データの画像に対して実施していたぼかし処理を停止する。そして、ぼかし画像生成部301は、ぼかし処理を施していない鮮明右側面画像領域データを通常合成部303に出力する。
通常合成部303は、ぼかし画像生成部301から、鮮明右側面画像領域データを取得すると、この画像データを、右後側方画像データに合成する。
これにより、図10(c)に示すように、図10(a)又は(b)の通常合成画像において右側面画像領域に施されているぼかし処理が解除され、右側面画像領域がぼけていない通常合成画像を生成する。
通常合成部303は、生成した通常合成画像を左右反転した画像の画像表示信号を生成し、生成した画像表示信号をモニタ405に出力する。
なお、ここでは、ぼかし解除フラグがオンの場合、後側方画像データに対して鮮明側面画像領域データを合成する構成としたが、この構成に限らない。後側方画像データに対して鮮明側面画像領域データを合成せずに、カメラ400〜401から取得した後側方画像をそのまま用いる構成としてもよい。
次に、自車線後続車が検出された場合の動作を説明する。
この場合、後続車検出部200は、自車線後続車が検出されたことを示す情報を含む検出結果の情報を、透過合成制御部107に出力する(S214)。
これにより、透過合成制御部107は、自車線後続車が検出されたと判定し(S302のYes)、透過表示フラグをオンに設定する(S304)。
なお、ここでは、ぼかし解除フラグはオフに設定されているとする。
ぼかし画像生成部301は、ぼかし解除フラグがオフに設定されているので(S118のNo)、側面画像領域にぼかし処理を実施する(S130)。
次に、ぼかし画像生成部301は、透過表示フラグがオンに設定されているので(S132のYes)、ぼかし側面画像領域データを、透過合成部304に出力する(S134)。
透過合成部304は、ぼかし画像生成部301からのぼかし側面画像領域データの画像(以下、ぼかし側面画像領域と称す)と、後方画像データの画像における側面画像領域に対応する位置の画像領域(対応画像領域)とを透過合成する(S136)。
具体的に、右側面画像領域を例に挙げると、透過合成部304は、対応画像領域が、予め設定した透過率p(例えば、p=50[%])でぼかし右側面画像領域に対して透過表示されるように画像合成を行う。次に、透過合成後のぼかし右側面画像領域(以下、ぼかし透過右側面画像領域と称す)を、右後側方画像に合成する。透過合成は、間引き合成を用いてもよいし、αブレンディングを用いてもよい。
これにより、図10(d)に示すように、ぼかし右側面画像領域に対して、右後方画像におけるぼかし右側面画像領域に対応する位置の画像領域が透過率pで透過表示される。図10(d)の例では、自車線後続車が対応画像領域に含まれるため、自車線後続車が透過表示される。
ここで、上記説明において、カメラ400〜401は、後側方画像撮影部を構成する。カメラ402〜403は、後方画像撮影部を構成する。モニタ405〜409は、表示手段を構成する。側面画像領域検出部101は、側面画像領域検出手段を構成する。消失点検出部102は、消失点検出手段を構成する。消失点距離演算部103は、消失点距離演算手段を構成する。領域分割部104は、領域分割手段を構成する。後続車検出部200は、後続車検出手段を構成する。車間距離検出部105は、車間距離検出手段を構成する。車間距離判定部202は、車間距離判定手段を構成する。ぼかし処理制御部106は、ぼかし処理制御手段を構成する。ぼかし処理部108は、ぼかし処理手段を構成する。
(本実施形態の効果)
本実施形態は、次のような効果を奏する。
(1)自車両Aに搭載されたカメラ400〜401が、自車両Aの側面部分の一部を撮影範囲に含む自車両Aの後側方の領域の画像である後側方画像を撮影する。ぼかし処理部108が、カメラ400〜401で撮影した後側方画像のうち側面部分の一部を含む画像領域である側面画像領域に対して画像をぼかす処理であるぼかし処理を実施する。後続車検出部200が、カメラ400〜401で撮影した後側方画像に基づき当該後側方画像内に含まれる、自車両Aの走行車線に隣接する隣接車線を走行する後続車を検出する。車間距離検出部201が、後続車検出部200の検出結果に基づき後続車を検出したと判定すると、検出した後続車と自車両Aとの車間距離を検出する。車間距離判定部202が、車間距離検出部201の検出結果に基づき車間距離が予め設定した距離閾値未満であるか否かを判定する。ぼかし処理制御部106が、車間距離判定部202の判定結果に基づき、後続車との車間距離が距離閾値以上であると判定するとぼかし処理部108にぼかし処理を実施させ、後続車との車間距離が距離閾値未満であると判定するとぼかし処理部108にぼかし処理を停止させる。モニタ405(407)〜406(408)が、ぼかし処理部108がぼかし処理を実施しているときに側面画像領域にぼかし処理の施された後側方画像を表示し、ぼかし処理部108がぼかし処理を停止しているときに側面画像領域にぼかし処理の施されていない後側方画像を表示する。
自車両Aと後続車との車間距離が距離閾値以上の場合にぼかし処理を実施し、側面画像領域にぼかし処理の施された後側方画像を表示する。一方、自車両Aと後続車との車間距離が距離閾値未満の場合にぼかし処理を停止し、側面画像領域にぼかし処理の施されていない後側方画像を表示するようにした。つまり、後続車との車間距離が距離閾値以上の場合に、人間の目における遠方注視による近景のぼやけと同じ視覚効果を有するぼかし処理の施された後側方画像を表示する。一方、後続車との車間距離が距離閾値未満の場合は、後続車と近い被写界深度にある側面画像領域もピントが合った状態となる。従って、後続車との車間距離が距離閾値未満の場合に、側面画像領域にぼかし処理の施されていない後側方画像を表示する。このように、後続車の接近に伴ってぼかし処理を解除することで、ドアミラー相当の距離感の知覚を再現する事が出来る。これにより、ドライバが、後側方画像内における注意対象物に視線を向け易く、かつ注意対象物との距離感を知覚し易い画像表示を行うことが可能となる。
(2)側面画像領域検出部101が、カメラ400〜401で撮影した後側方画像から側面画像領域を検出する。ぼかし処理部108が、側面画像領域検出部101で検出した側面画像領域に対してぼかし処理を実施し、ぼかし処理を施した側面画像領域をカメラ400〜401で撮影した後側方画像に合成する。
これにより、車種毎にカメラ400〜401の設置位置が異なる場合や、カメラの設置角度を変更できる場合などでも、撮影した後側方画像から側面画像領域を検出することができる。従って、プログラムやデータ変更等することなく同じ装置で様々な状況に対応することが可能となる。
(3)自車両Aに搭載されたカメラ402〜403が、カメラ400〜401による後側方画像の撮影において自車両Aの側面部分の一部によって死角となる領域を含む車両後方の領域の画像を撮影する。後続車検出部200が、隣接車線を走行する後続車に加えて、後方画像の画像領域内に含まれる自車両Aの走行車線を走行する後続車を検出する。ぼかし処理部108が、後続車検出部200の検出結果に基づき走行車線を走行する後続車を検出したと判定すると、後側方画像における側面画像領域と、後方画像における側面画像領域に対応する位置の画像領域とを、当該画像領域を予め設定した半透明となる透過率で側面画像領域に対して透過表示可能に合成する。
これにより、自車両Aの側面画像領域によって死角となる自車両Aの走行車線に後続車が存在する場合に、後方画像における後続車を含む画像領域を側面画像領域に対して透過表示することができる。従って、自車両Aの走行車線を走行する後続車をドライバが知覚し易くすることが可能となる。また、側面画像領域を半透明にして透過表示することで後続車との距離感もドライバに直感的に解りやすくすることが可能となる。
(4)領域分割部104が、側面画像領域を画像の遠近方向に複数の領域に分割する。ぼかし処理部108が、領域分割部104で分割した複数の領域に対して遠近方向に段階的にぼかし度合いを変化させたぼかし処理を実施する。
これにより、例えば、側面画像領域における遠くにある部分ほどぼかし度合を弱くし、近くにある部分ほどぼかし度合を強くすることで、後側方画像中の注意対象物との距離感を強調することが可能となる。
(5)消失点検出部102が、カメラ400〜401で撮影した後側方画像から消失点を検出する。消失点距離演算部103が、後側方画像中における消失点検出部102で検出した消失点と側面画像領域との距離を演算する。ぼかし処理部108が、消失点距離演算部103で演算した距離に基づき、側面画像領域に対するぼかし処理のぼかし度合いを、消失点との距離が大きい領域部分ほど強くし、消失点との距離が小さい領域部分ほど弱くする。
つまり、消失点に近い側面画像領域部分ほどより小さくぼやけ、消失点から遠い側面画像領域部分ほどより大きくぼやける画像を表示する。これにより、後側方画像中の注意対象物との距離感を強調することが可能となる。
(6)ぼかし処理部108が、モニタ405(407)〜406(408)の設置位置と自車両Aの側面部分の一部との間の距離に応じて、複数の領域における、設置位置に近い側面部分に対応する領域ほどぼかし度合いを強くし、設置位置から遠い側面部分に対応する領域ほどぼかし度合いを弱くする。
つまり、モニタ405(407)〜406(408)の設置位置に近い側面画像領域部分ほどより大きくぼやけ、405(407)〜406(408)の設置位置から遠い側面画像領域部分ほどより小さくぼやける画像を表示する。これにより、後側方画像中の注意対象物との距離感を強調することが可能となる。
(第2実施形態)
次に、本発明の第2実施形態を図面に基づき説明する。図11〜図14は、本発明に係る車両用後方視界支援装置及び車両用後方視界支援方法の第2実施形態を示す図である。
本実施形態は、自車両Aの備える変速機が後退(R)ポジションにシフトチェンジしたときに、側面画像領域に対するぼかし処理を停止する。加えて、この後側方画像における側面画像領域に対して後方画像の対応画像領域を透過表示する透過合成を行う。そして、この透過合成した後側方画像をモニタに表示する点が上記第1実施形態と異なる。
以下、上記第1実施形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分を詳細に説明する。
(構成)
図11は、本実施形態の車両用後方視界支援装置100の機能構成の一例を示すブロック図である。
本実施形態の車両用後方視界支援装置100は、上記第1実施形態の車両用後方視界支援装置100にインヒビタースイッチ(以下、インヒビターSWと称す)15を追加した構成となる。
更に、図11に示すように、上記第1実施形態の車両用後方視界支援装置100の機能構成部に、後退(R)ポジション検出部109を追加した構成となる。
インヒビターSW15は、自車両Aの備えるシフトレバー(不図示)に配設され、シフトレバーの動きに合わせて動く軸と各ギヤに対応する接点金具とを有する。インヒビターSW15は、各ギヤと接点金具との導通の有無(例えば、12[V]電圧の有無)を検出することで、自車両Aの備える変速機(不図示)のシフトポジションを検出する。インヒビターSW15は、検出信号をCPU10に入力する。
Rポジション検出部109は、インヒビターSW15からの検出信号に基づき、自車両Aの備える変速機のシフトポジションがRポジションにシフトチェンジしたか否かを検出する。Rポジション検出部109は、検出結果の情報を、後続車検出部200と、ぼかし処理制御部106と、透過合成制御部107とにそれぞれ出力する。
ぼかし処理制御部106は、上記第1実施形態の処理に加えて、Rポジション検出部109からの検出結果の情報に基づき、シフトポジションがRポジションにシフトチェンジしたと判定すると、ぼかし解除フラグをオンに設定する。
透過合成制御部107は、上記第1実施形態の処理に加えて、Rポジション検出部109からの検出結果の情報に基づき、シフトポジションがRポジションにシフトチェンジしたと判定すると、透過表示フラグをオンに設定する。
(ぼかし解除フラグ設定処理)
次に、図12に基づき、本実施形態のぼかし解除フラグ設定処理の処理手順を説明する。図12は、本実施形態のぼかし解除フラグ設定処理の処理手順の一例を示すフローチャートである。
ステップS104においてぼかし解除フラグ設定処理が実行されると、まず、ステップS400に移行する。
ステップS400では、Rポジション検出部109において、インヒビターSW15からのシフトポジションの検出信号を受信して、ステップS402に移行する。
ステップS402では、Rポジション検出部109において、ステップS400で受信した検出信号に基づき、検出信号がRポジションを示す信号か否かを判定する。そして、Rポジションを示す信号であると判定した場合(Yes)は、ステップS404に移行し、Rポジションを示す信号ではないと判定した場合(No)は、ステップS408に移行する。
ステップS404に移行した場合は、Rポジション検出部109において、Rポジションへのシフトチェンジが検出されたことを示す情報を、後続車検出部200、ぼかし処理制御部106及び透過合成制御部107にそれぞれ出力する。その後、ステップS406に移行する。
ステップS406では、ぼかし処理制御部106において、Rポジション検出部109からのRポジションにシフトチェンジされたことを示す情報に応じてぼかし解除フラグをオンに設定し、一連の処理を終了して元の処理に復帰する。
一方、ステップS402において、Rポジションを示す信号ではないと判定しステップS408に移行した場合は、Rポジション検出部109において、Rポジションへのシフトチェンジが検出されなかったことを示す情報を、後続車検出部200、ぼかし処理制御部106及び透過合成制御部107にそれぞれ出力する。
ステップS410では、後続車検出部200において、Rポジション検出部109からのRポジションが検出されなかったことを示す情報に応じて、カメラ群11から、カメラ400〜404からの各種撮影画像データを取得する。その後、ステップS412に移行する。
なお、以降のステップS412〜S430の処理は、上記第1実施形態のステップS202〜S224の処理と同様となるので記載を省略する。
(透過表示フラグ設定処理)
次に、図13に基づき、本実施形態の透過表示フラグ設定処理の処理手順を説明する。図13は、本実施形態の透過表示フラグ設定処理の処理手順の一例を示すフローチャートである。
ステップS106において透過表示フラグ設定処理が実行されると、まず、ステップS500に移行する。
ステップS500では、透過合成制御部107において、Rポジション検出部109からシフトポジションの検出結果を示す情報を取得したか否かを判定する。そして、シフトポジションの検出結果を示す情報を取得したと判定した場合(Yes)は、ステップS502に移行する。一方、シフトポジションの検出結果を示す情報を取得していないと判定した場合(No)は、情報を取得するまで判定処理を繰り返す。
ステップS502に移行した場合は、透過合成制御部107において、ステップS500で取得した情報に基づき、シフトポジションがRポジションか否かを判定する。そして、Rポジションであると判定した場合(Yes)は、ステップS504に移行し、Rポジションでは無いと判定した場合(No)は、ステップS506に移行する。
ステップS504に移行した場合は、透過合成制御部107において、透過表示フラグをオンに設定して、一連の処理を終了し元の処理に復帰する。
一方、ステップS506に移行した場合は、透過合成制御部107において、後続車検出部200からの後続車の検出結果を示す情報を取得したか否かを判定する。そして、検出結果を示す情報を取得したと判定した場合(Yes)は、ステップS508に移行する。一方、検出結果を示す情報を取得していないと判定した場合(No)は、情報を取得するまで判定処理を繰り返す。
なお、以降のステップS510〜S512の処理は、上記第1実施形態のステップS304〜306の処理と同様となるので記載を省略する。
(動作)
次に、図14に基づき、本実施形態の車両用後方視界支援装置100の動作を説明する。
図14(a)〜(c)は、Rポジションの検出結果に応じた各種画像の表示結果の一例を示す模式図である。
イグニッションスイッチがONされ、電源がONされると、CPU10において専用のプログラムが実行される。プログラムが実行されると、まず、タイマやカウンタの初期化に加えて、プログラムで用いる各種フラグや変数等が初期化される(S100)。また、初期化処理においては、カメラ400〜404の初期設定も行われる。なお、ここでは、カメラ400〜404は、予め設定された位置に予め設定された角度で配設される。そして、この配設された位置において向きや撮影範囲等を固定した状態で撮影を行う。
初期化処理が終了すると、カメラ群11のカメラ400〜404が撮影動作を開始し、カメラ400による右後側方画像の撮影、カメラ401による左後側方画像の撮影が行われる。また、カメラ402による右後方画像の撮影、カメラ403による左後方画像の撮影、カメラ404による中央後方画像の撮影が行われる(S102)。
以下、自車両Aを右ハンドル車として動作を説明する。
カメラ群11による撮影が開始されると、車両用後方視界支援装置100は、まず、ぼかし解除フラグ設定処理を実行する(S104)。
ぼかし解除フラグ設定処理が開始されると、Rポジション検出部109において、インヒビターSW105の検出信号を受信する(S400)。Rポジション検出部109は、受信した検出信号に基づき、検出信号がRポジションを示す信号か否かを判定する(S402)。ここでは、Rポジションを示す信号では無かったと判定したとする(S402のNo)。これにより、Rポジション検出部109は、Rポジションでは無いことを示す情報を、後続車検出部200、ぼかし処理制御部106及び透過合成制御部107にそれぞれ出力する(S408)。
後続車検出部200は、Rポジションでは無いことを示す情報を取得すると、カメラ群11で撮影された、右後側方画像、左後側方画像、右後方画像、左後方画像及び中央後方画像を取得する(S410)。そして、これら取得した撮影画像に基づき、後続車を検出する処理を実行する(S412)。
以降のぼかし解除フラグの設定処理の動作は、上記第1実施形態と同様となるので一部説明を省略する。
いま、撮影画像中には右車線後続車以外の後続車が存在せず、この右車線後続車との車間距離は距離閾値未満であるとする(S422のNo)。
これにより、ぼかし処理制御部106は、ぼかし解除フラグをオフに設定する(S430)。
ぼかし解除フラグ設定処理が完了すると、車両用後方視界支援装置100は、次に、透過表示フラグ設定処理を実行する(S106)。
透過表示フラグ設定処理が開始されると、透過合成制御部107は、Rポジション検出部109から、シフトポジションの検出結果を示す情報を取得したか否かを判定する(S500)。ここでは、Rポジションが検出されなかったことを示す情報を取得することとなる(S500のYes)。従って、透過合成制御部107は、シフトポジションがRポジションでは無いと判定する(S502のNo)。これにより、透過合成制御部107は、後続車検出部200から、後続車の検出結果を示す情報を取得したか否かを判定する(S506)。ここでは、右車線後続車のみが検出されたことを示す情報を後続車検出部200から取得することになる(S506のYes)。従って、透過合成制御部107は、自車両Aの走行車線を走行する自車線後続車が検出されなかったと判定する(S508のNo)。これにより、透過合成制御部107は、RAM12の透過表示フラグをオフに設定する(S512)。
上記各フラグ設定処理によって、RAM12のぼかし解除フラグがオフに設定され、透過表示フラグがオフに設定される。
これにより、上記第1実施形態と同様の処理が実施され(S108〜S118、S130〜S140)、モニタ405には、図14(a)に示すように、ぼかし処理の施された右側面画像領域を右後側方画像に通常合成した合成画像が表示される。
一方、Rポジション検出部109においてRポジションを検出したとする(S402のYes)。Rポジション検出部109は、Rポジションを検出したことを示す情報を、後続車検出部200、ぼかし処理制御部106及び透過合成制御部107にそれぞれ出力する(S404)。
ぼかし処理制御部106は、Rポジション検出部109からのRポジションを検出したことを示す情報に応じて、RAM12のぼかし解除フラグをオンに設定する(S406)。
一方、透過合成制御部107は、Rポジション検出部109からのRポジションが検出されたことを示す情報を取得すると(S500のYes,502のYes)、RAM12の透過表示フラグをオンに設定する(S504)。
次に、上記第1実施形態と同様の処理を実施し(S108〜S116)、複数の領域に分割した側面画像領域に対してぼかし度合を設定する。
ぼかし画像生成部301は、ぼかし解除フラグがオンになっており(S118のYes)、かつ透過表示フラグがオンになっているので(S120のYes)、ぼかし度合設定部300からの側面画像領域データの画像に対して実施していたぼかし処理を停止する。そして、ぼかし画像生成部301は、ぼかし処理を施していない鮮明側面画像領域データを透過合成部304に出力する(S122)。
透過合成部304は、ぼかし画像生成部301からの鮮明側面画像領域データの画像(以下、鮮明側面画像領域と称す)と、後方画像データの画像における対応画像領域とを透過合成する。
具体的に、鮮明右側面画像領域を例に挙げると、透過合成部304は、対応画像領域が、予め設定した半透明となる透過率p(例えば、p=50[%])で鮮明右側面画像領域に対して透過表示されるように透過合成を行う。透過合成は、間引き合成を用いてもよいし、αブレンディングを用いてもよい。次に、透過合成部304は、透過合成後の鮮明右側面画像領域(以下、鮮明透過右側面画像領域と称す)を、右後側方画像に合成する。
これにより、図14(b)に示すように、鮮明右側面画像領域に対して、右後方画像における鮮明右側面画像領域に対応する位置の画像領域が透過率pで透過表示される。図14(b)の例では、自車両Aの後方に存在する自車線後続車が対応画像領域に含まれるため、この自車線後続車が透過表示される。
なお、本実施形態では、Rポジションが検出されたことに応じて、ぼかし処理を停止し、かつ透過表示する構成としたがこの構成に限らない。例えば、後続車検出部200において、自車両Aの走行車線において、自車両Aの後方に停車している他車両、自車両Aに接近する他車両、また車両以外の物体等の自車両Aの後方に存在する障害物を検出する。そして、障害物を検出した場合に透過表示する(透過表示フラグをオンに設定する)構成としてもよい。この構成において、自車両Aの後方に障害物が存在しない場合、図14(c)に示すように、カメラ400〜401で撮影される右後側方画像をそのまま表示する。または、ぼかし処理の施されていない右側面画像領域を通常合成した右後側方画像を表示する。
ここで、上記説明において、カメラ400〜401は、後側方画像撮影部を構成する。カメラ402〜403は、後方画像撮影部を構成する。モニタ405〜409は、表示手段を構成する。側面画像領域検出部101は、側面画像領域検出手段を構成する。消失点検出部102は、消失点検出手段を構成する。消失点距離演算部103は、消失点距離演算手段を構成する。領域分割部104は、領域分割手段を構成する。後続車検出部200は、後続車検出手段を構成する。車間距離検出部105は、車間距離検出手段を構成する。車間距離判定部202は、車間距離判定手段を構成する。ぼかし処理制御部106は、ぼかし処理制御手段を構成する。ぼかし処理部108は、ぼかし処理手段を構成する。インヒビターSW15は、シフトポジション検出手段を構成する。後退ポジション検出部109は、後退ポジション検出手段を構成する。
(本実施形態の効果)
本実施形態は、上記第1実施形態の効果に加えて、以下の効果を奏する。
(1)インヒビターSW15が、自車両Aの備える変速機のシフトポジションを検出する。Rポジション検出部109が、インヒビターSW15の検出結果に基づき、後退(R)ポジションへのシフトチェンジを検出する。ぼかし処理制御部106が、後退ポジション検出部109の検出結果に基づき後退ポジションへのシフトチェンジを検出したと判定すると、ぼかし処理部108のぼかし処理を停止する。
つまり、自車両Aの備える変速機のシフトポジションが、後退ポジションにシフトチェンジされたと判定すると、ぼかし処理を停止するようにした。そして、側面画像領域にぼかし処理の施されていない後側方画像を表示するようにした。これにより、自車両Aが後退時において、側面画像領域と直近の障害物との位置関係を知覚しやすい画像表示を行うことが可能となる。
(2)自車両Aに配設されたカメラ402〜403が、カメラ400〜401による後側方画像の撮影において自車両Aの側面部分の一部によって死角となる領域を含む車両後方の領域の画像を撮影する。ぼかし処理部108が、後退ポジション検出部109の検出結果に基づき後退ポジションへのシフトチェンジを検出したと判定すると、側面画像領域と、後方画像における側面画像領域に対応する位置の画像領域とを、当該画像領域を予め設定した半透明となる透過率で側面画像領域に対して透過表示可能に合成する。
これにより、自車両Aの側面画像領域によって死角となる自車両Aの後方に他車両等の障害物が存在する場合に、後方画像における障害物を含む画像領域を側面画像領域に対して透過表示することができる。従って、自車両Aの後方に存在する障害物をドライバが知覚し易くすることが可能となる。また、側面画像領域を半透明にして透過表示することで障害物との距離感もドライバに直感的に解りやすくすることが可能となる。
(変形例)
(1)上記実施形態では、側面画像領域検出部101で検出した側面画像領域を領域分割部104で複数の領域に分割する。そして、分割した複数の分割領域に対して画像の遠近方向に、近い分割領域ほどぼかし度合いを強くし、遠い分割領域ほどぼかし度合いを弱くするぼかし処理を施す構成とした。この構成に限らず、側面画像領域を分割せずに、全体に同じ強さのぼかし度合いでぼかし処理を施す構成としてもよい。例えば、図15(a)は、一定のぼかし度合いで解像度を低下させるぼかし処理を施した右側面画像領域を、右後側方画像に合成した場合の合成画像の一例となる。また、図15(b)は、一定のぼかし度合いのガウシアンぼかしフィルタを用いてぼかし処理を施した右側面画像領域を、右後側方画像に合成した場合の合成画像の一例となる。
このような構成とすることで、上記実施形態と同様に、人間の目における遠方注視による近景のぼやけと同じ視覚効果を有するぼかし処理の施された後側方画像を表示することが可能となる。
また、上記第1実施形態における車両用後方視界支援装置100において、消失点検出部102、消失点距離演算部103、領域分割部104を不用とすることができるので、上記第1実施形態と比較して、後側方画像の表示処理にかかる処理負荷を軽減することが可能となる。
(2)上記実施形態では、自車両Aの走行車線を走行する後続車(自車線後続車)を検出した場合に、側面画像領域に対して後方画像における側面画像領域に対応する位置の画像領域(対応画像領域)を半透明で透過表示する構成とした。この構成に限らず、自車線後続車が存在しない場合でも、ぼかし処理と共に、透過表示処理を行う構成としてもよい。例えば、図15(c)は、図15(a)の後側方画像における解像度を低下させるぼかし処理を施した右側面画像領域に対して対応画像領域を半透明で透過表示した例となる。同様に、図15(d)は、図15(b)のガウシアンぼかしフィルタを用いたぼかし処理を施した右側面画像領域に対して対応画像領域を半透明で透過表示した例となる。
このような構成とすることで、上記実施形態と同様に、自車両Aの側面画像領域によって死角となる自車両Aの走行車線に後続車が存在する場合に、後方画像における後続車を含む画像領域を側面画像領域に対して半透明で透過表示することができる。従って、自車両Aの走行車線を走行する後続車をドライバが知覚し易くすることが可能となる。また、側面画像領域を半透明にして透過表示することで後続車との距離感もドライバに直感的に解りやすくすることが可能となる。
(3)上記実施形態では、カメラ400〜401で撮影した後側方画像から側面画像領域を検出し、検出した側面画像領域に対してぼかし処理を施す構成とした。この構成に限らず、次の構成としてもよい。まず、自車両Aへのカメラ400〜401の設置位置、設置角度、撮影範囲等を固定とする。つまり、カメラ400〜401で撮影した後側方画像における側面画像領域の形状、大きさ、位置等を固定する。この設置条件で事前(例えば、工場出荷前)に撮影した後側方画像から側面画像領域を検出し、検出した側面画像領域に対してぼかし処理を施す。このぼかし処理を施した側面画像領域の画像データをROM13に記憶する。また、後側方画像における側面画像領域の位置の情報もROM13に予め記憶する。そして、画像合成部302において、カメラ400〜401で撮影された後側方画像に、ROM13に記憶されたぼかし処理の施された側面画像領域を合成し、この合成した画像をモニタに表示する。
なお、側面画像領域に対するぼかし処理は、上記実施形態と同様に、側面画像領域を複数の領域に分割し、近い分割領域ほどぼかし度合いを強くし、遠い分割領域ほどぼかし度合いを弱くする処理内容とすることができる。また、上記変形例(1)と同様に、一定のぼかし度合いでぼかし処理を施す処理内容とすることができる。また、検出した側面画像領域に対して、これらいずれかのぼかし処理を施すことに加えて、上記変形例(2)と同様に、透過表示する処理を施す構成とすることもできる。また、上記実施形態と同様に、自車線後続車との車間距離が距離閾値未満のときに透過表示を行う構成とすることもできる。
このように、事前にぼかし処理の施された側面画像領域の画像データを用意する構成とすることで、上記実施形態の後方視界支援装置の機能構成を簡易な構成とすることができる。具体的に、本変形例の車両用後方視界支援装置は、最小構成として、上記第1実施形態の車両用後方視界支援装置100の機能構成部から、ぼかし処理部108以外を全て除外し、ぼかし処理部108から画像合成部302以外を全て除外した構成とすることができる。
この構成により、後側方画像の表示処理にかかる処理負荷を大幅に軽減することが可能となる。
(4)上記実施形態では、カメラ400〜401によって、自車両Aの側面部分の一部を含む後側方の領域を撮影する構成とした。この構成に限らず、カメラ402〜403のみを用いる構成としてもよい。この構成とした場合は、カメラ402〜403の撮影画像中に車両の側面部分の一部の画像が含まれないため、予めCG等により側面部分の一部の撮影画像に相当する画像(アイコン等)を生成しておき、この画像をカメラ402〜403の撮影画像に重畳表示する。この構成は、例えば、上記変形例(3)等に適用することができる。
(5)上記実施形態では、ぼかし処理として、側面画像領域の解像度を低下させる処理と、ガウシアンによって側面画像領域のエッジ部分をぼやかす処理とを例に挙げて説明した。この構成に限らず、ぼかし処理として、側面画像領域の明度を下げる処理や、コントラストを下げる処理を行う構成とすることができる。
このような構成とすることで、明度やコントラストを下げて、側面画像領域の明るさや色相の差を小さくすることができる。これにより、側面画像領域のエッジが弱まって画像をぼやけさせることができる。その結果、後続車との距離感を強調することが可能となる。
(6)上記実施形態では、ぼかし処理として、側面画像領域の解像度を低下させる処理と、ガウシアンによって側面画像領域のエッジ部分をぼやかす処理とを例に挙げて説明した。この構成に限らず、ぼかし処理として、透過合成処理を行う構成とすることができる。
つまり、側面画像領域を半透明にして、後方画像の対応画像領域を透過表示する画像合成を行う構成とすることで、側面画像領域の画素と後方画像の画素とが混ざり、画像をぼやけさせることができる。これにより、後続車との距離感を強調することが可能になると共に、側面画像領域を透過して対応画像領域に含まれる後続車を視認することが可能となる。
また、上記実施形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、上記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。また、上記の説明で用いる図面は、図示の便宜上、部材ないし部分の縦横の縮尺は実際のものとは異なる模式図である。
また、本発明は上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良、均等物等は本発明に含まれるものである。
A 自車両
10 CPU
11 カメラ群
12 RAM
13 ROM
14 モニタ群
15 インヒビターSW
100 車両用後方視界支援装置
101 側面画像領域検出部
102 消失点検出部
103 消失点距離演算部
104 領域分割部
105 他車両検出部
106 ぼかし処理制御部
107 透過合成制御部
108 ぼかし処理部
200 後続車検出部
201 車間距離検出部
202 車間距離判定部
300 ぼかし度合設定部
301 ぼかし画像生成部
302 画像合成部
303 通常合成部
304 透過合成部
400〜404 カメラ
405〜409 モニタ
500〜502 第1〜第3の分割領域
503 側面画像領域以外の画像領域
504〜506 第1〜第3の低解像度ぼかし領域
507〜509 第1〜第3のガウシアンぼかし領域

Claims (9)

  1. 車両に搭載され、前記車両の側面部分の一部を撮影範囲に含む前記車両の後側方の領域の画像である後側方画像を撮影する後側方画像撮影部と、
    前記後側方画像撮影部で撮影した前記後側方画像のうち前記側面部分の一部を含む画像領域である側面画像領域に対して画像をぼかす処理であるぼかし処理を実施するぼかし処理手段と、
    前記後側方画像撮影部で撮影した前記後側方画像に基づき当該後側方画像内に含まれる、前記車両の走行車線に隣接する隣接車線を走行する後続車を検出する後続車検出手段と、
    前記後続車検出手段の検出結果に基づき前記後続車を検出したと判定すると、検出した後続車と前記車両との車間距離を検出する車間距離検出手段と、
    前記車間距離検出手段の検出結果に基づき前記車間距離が予め設定した距離閾値未満であるか否かを判定する車間距離判定手段と、
    前記車間距離判定手段の判定結果に基づき、前記後続車との車間距離が前記距離閾値以上であると判定すると前記ぼかし処理手段の前記ぼかし処理を実施し、前記後続車との車間距離が前記距離閾値未満であると判定すると前記ぼかし処理手段の前記ぼかし処理を停止するぼかし処理制御手段と、
    前記ぼかし処理手段が前記ぼかし処理を実施しているときは前記側面画像領域にぼかし処理の施された前記後側方画像を表示し、前記ぼかし処理手段が前記ぼかし処理を停止しているときは前記ぼかし処理の施されていない前記後側方画像を表示する表示手段と、を備えることを特徴とする車両用後方視界支援装置。
  2. 前記後側方画像撮影部で撮影した前記後側方画像から前記側面画像領域を検出する側面画像領域検出手段を備え、
    前記ぼかし処理手段は、前記側面画像領域検出手段で検出した前記側面画像領域に対して前記ぼかし処理を実施し、前記ぼかし処理を施した前記側面画像領域を前記後側方画像撮影部で撮影した後側方画像に合成することを特徴とする請求項1に記載の車両用後方視界支援装置。
  3. 前記車両に搭載され、前記後側方画像撮影部による前記後側方画像の撮影において前記車両の側面部分の一部によって死角となる領域を含む車両後方の領域の画像を撮影する後方画像撮影部を備え、
    前記後続車検出手段は、前記隣接車線を走行する後続車に加えて、前記後方画像内に含まれる前記車両の走行車線を走行する後続車を検出し、
    前記ぼかし処理手段は、前記後続車検出手段の検出結果に基づき前記走行車線を走行する後続車を検出したと判定すると、前記後側方画像における前記側面画像領域と、前記後方画像における前記側面画像領域に対応する位置の画像領域とを、当該画像領域を予め設定した前記側面画像領域が半透明となる透過率で透過表示可能に合成することを特徴とする請求項1又は請求項2に記載の車両用後方視界支援装置。
  4. 前記車両の備える変速機のシフトポジションを検出するシフトポジション検出手段と、
    前記シフトポジション検出手段の検出結果に基づき、後退ポジションへのシフトチェンジを検出する後退ポジション検出手段と、を備え、
    前記ぼかし処理制御手段は、前記後退ポジション検出手段の検出結果に基づき前記後退ポジションへのシフトチェンジを検出したと判定すると、前記ぼかし処理手段の前記ぼかし処理を停止することを特徴とする請求項1乃至請求項3のいずれか1項に記載の車両用後方視界支援装置。
  5. 前記車両に搭載され、前記後側方画像撮影部による前記後側方画像の撮影において前記車両の側面部分の一部によって死角となる領域を含む車両後方の領域の画像を撮影する後方画像撮影部を備え、
    前記ぼかし処理手段は、前記後退ポジション検出手段の検出結果に基づき前記後退ポジションへのシフトチェンジを検出したと判定すると、前記側面画像領域と、前記後方画像における前記側面画像領域に対応する位置の画像領域とを、当該画像領域を予め設定した前記側面画像領域が半透明となる透過率で透過表示可能に合成することを特徴とする請求項4に記載の車両用後方視界支援装置。
  6. 前記側面画像領域を画像の遠近方向に複数の領域に分割する領域分割手段を備え、
    前記ぼかし処理手段は、前記領域分割手段で分割した前記複数の領域に対して前記遠近方向に段階的にぼかし度合いを変化させたぼかし処理を実施することを特徴とする請求項1乃至請求項5のいずれか1項に記載の車両用後方視界支援装置。
  7. 前記後側方画像撮影部で撮影した前記後側方画像から、当該後側方画像に設定した地平線と前記側面画像領域の画像の遠近方向の延長線とに基づき消失点を検出する消失点検出手段と、
    前記後側方画像中における前記消失点検出手段で検出した消失点と前記側面画像領域との距離を演算する消失点距離演算手段と、を備え、
    前記ぼかし処理手段は、前記消失点距離演算手段で演算した前記距離に基づき、前記側面画像領域に対する前記ぼかし処理のぼかし度合いを、前記消失点との距離が大きい領域部分ほど強くし、前記消失点との距離が小さい領域部分ほど弱くすることを特徴とする請求項1乃至請求項6のいずれか1項に記載の車両用後方視界支援装置。
  8. 前記ぼかし処理手段は、前記表示手段の設置位置と前記車両の側面部分の一部との間の距離に応じて、前記複数の領域における、前記設置位置に近い側面部分に対応する領域ほどぼかし度合いを強くし、前記設置位置から遠い側面部分に対応する領域ほどぼかし度合いを弱くすることを特徴とする請求項6又は請求項7に記載の車両用後方視界支援装置。
  9. 車両に搭載された後側方画像撮影部によって前記車両の側面部分の一部を撮影範囲に含む前記車両の後側方の領域を撮影して得られる後側方画像における前記側面部分の一部の画像領域である側面画像領域に対して画像をぼかす処理であるぼかし処理を実施するぼかし処理ステップと、
    前記後側方画像の画像領域内に含まれる、前記車両の走行車線と隣接する隣接車線を走行する後続車を検出する後続車検出ステップと、
    前記後続車検出ステップの検出結果に基づき前記後続車を検出したと判定すると、検出した後続車と前記車両との車間距離を検出する車間距離検出ステップと、
    前記車間距離と予め設定した距離閾値とに基づき、前記後続車との車間距離が前記距離閾値以上であると判定すると前記ぼかし処理を実施し、前記後続車との車間距離が前記距離閾値未満であると判定すると前記ぼかし処理を停止するぼかし処理制御ステップと、
    前記ぼかし処理を実施した場合に前記ぼかし処理の施された前記後側方画像を表示し、前記ぼかし処理を実施しなかった場合に前記ぼかし処理の施されていない前記後側方画像を表示する表示ステップと、を含むことを特徴とする車両用後方視界支援方法。
JP2012046011A 2012-03-02 2012-03-02 車両用後方視界支援装置及び車両用後方視界支援方法 Active JP5953824B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012046011A JP5953824B2 (ja) 2012-03-02 2012-03-02 車両用後方視界支援装置及び車両用後方視界支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012046011A JP5953824B2 (ja) 2012-03-02 2012-03-02 車両用後方視界支援装置及び車両用後方視界支援方法

Publications (2)

Publication Number Publication Date
JP2013183298A true JP2013183298A (ja) 2013-09-12
JP5953824B2 JP5953824B2 (ja) 2016-07-20

Family

ID=49273668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012046011A Active JP5953824B2 (ja) 2012-03-02 2012-03-02 車両用後方視界支援装置及び車両用後方視界支援方法

Country Status (1)

Country Link
JP (1) JP5953824B2 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5562498B1 (ja) * 2014-03-04 2014-07-30 サカエ理研工業株式会社 ルームミラー及びそのルームミラーを用いた車両死角支援装置並びにそのルームミラー又は車両死角支援装置の表示画像の調整方法
JP2015074436A (ja) * 2013-10-11 2015-04-20 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2015136056A (ja) * 2014-01-17 2015-07-27 株式会社デンソー 運転支援装置
JP2015201680A (ja) * 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP5920528B2 (ja) * 2013-03-28 2016-05-18 日産自動車株式会社 駐車支援装置
JP2016199133A (ja) * 2015-04-09 2016-12-01 株式会社東海理化電機製作所 車両用視認装置
JP2017183974A (ja) * 2016-03-30 2017-10-05 マツダ株式会社 電子ミラー制御装置
WO2017169705A1 (ja) * 2016-03-30 2017-10-05 マツダ株式会社 電子ミラー制御装置
JP2017216496A (ja) * 2016-05-30 2017-12-07 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018052215A (ja) * 2016-09-27 2018-04-05 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
CN109413377A (zh) * 2017-08-15 2019-03-01 通用汽车环球科技运作有限责任公司 用于停车距离选择的方法和设备
WO2019111305A1 (ja) * 2017-12-05 2019-06-13 三菱電機株式会社 表示制御装置及び表示制御方法
WO2019155935A1 (ja) * 2018-02-07 2019-08-15 株式会社東海理化電機製作所 車両用視認装置
WO2019177036A1 (ja) * 2018-03-15 2019-09-19 株式会社小糸製作所 車両用映像システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329793A (ja) * 2006-06-09 2007-12-20 Nissan Motor Co Ltd 車両用監視装置
WO2009104675A1 (ja) * 2008-02-20 2009-08-27 クラリオン株式会社 車両周辺画像表示システム
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
JP2011151729A (ja) * 2010-01-25 2011-08-04 Sharp Corp 画像処理装置、画像撮影装置、画像表示装置、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007329793A (ja) * 2006-06-09 2007-12-20 Nissan Motor Co Ltd 車両用監視装置
WO2009104675A1 (ja) * 2008-02-20 2009-08-27 クラリオン株式会社 車両周辺画像表示システム
JP2009206747A (ja) * 2008-02-27 2009-09-10 Nissan Motor Co Ltd 車両用周囲状況監視装置及び映像表示方法
JP2011151729A (ja) * 2010-01-25 2011-08-04 Sharp Corp 画像処理装置、画像撮影装置、画像表示装置、およびプログラム

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014155827A1 (ja) * 2013-03-28 2017-02-16 日産自動車株式会社 駐車支援装置
JP5920528B2 (ja) * 2013-03-28 2016-05-18 日産自動車株式会社 駐車支援装置
JP2015074436A (ja) * 2013-10-11 2015-04-20 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2015136056A (ja) * 2014-01-17 2015-07-27 株式会社デンソー 運転支援装置
JP5562498B1 (ja) * 2014-03-04 2014-07-30 サカエ理研工業株式会社 ルームミラー及びそのルームミラーを用いた車両死角支援装置並びにそのルームミラー又は車両死角支援装置の表示画像の調整方法
JP2015201680A (ja) * 2014-04-04 2015-11-12 富士通株式会社 画像表示装置、画像表示方法及び画像表示プログラム
JP2016199133A (ja) * 2015-04-09 2016-12-01 株式会社東海理化電機製作所 車両用視認装置
JP2017183974A (ja) * 2016-03-30 2017-10-05 マツダ株式会社 電子ミラー制御装置
WO2017169705A1 (ja) * 2016-03-30 2017-10-05 マツダ株式会社 電子ミラー制御装置
WO2017169706A1 (ja) * 2016-03-30 2017-10-05 マツダ株式会社 電子ミラー制御装置
JP2017183971A (ja) * 2016-03-30 2017-10-05 マツダ株式会社 電子ミラー制御装置
US10336258B2 (en) 2016-03-30 2019-07-02 Mazda Motor Corporation Electronic mirror control device
US10596969B2 (en) 2016-03-30 2020-03-24 Mazda Motor Corporation Electronic mirror control device
JP2017216496A (ja) * 2016-05-30 2017-12-07 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018052215A (ja) * 2016-09-27 2018-04-05 株式会社東海理化電機製作所 車両用視認装置及び車両用視認画像表示方法
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
CN109413377A (zh) * 2017-08-15 2019-03-01 通用汽车环球科技运作有限责任公司 用于停车距离选择的方法和设备
CN109413377B (zh) * 2017-08-15 2020-11-24 通用汽车环球科技运作有限责任公司 用于停车距离选择的方法和设备
WO2019111305A1 (ja) * 2017-12-05 2019-06-13 三菱電機株式会社 表示制御装置及び表示制御方法
JPWO2019111305A1 (ja) * 2017-12-05 2020-02-06 三菱電機株式会社 表示制御装置及び表示制御方法
WO2019155935A1 (ja) * 2018-02-07 2019-08-15 株式会社東海理化電機製作所 車両用視認装置
WO2019177036A1 (ja) * 2018-03-15 2019-09-19 株式会社小糸製作所 車両用映像システム
CN111886858A (zh) * 2018-03-15 2020-11-03 株式会社小糸制作所 车辆用影像系统
CN111886858B (zh) * 2018-03-15 2022-06-21 株式会社小糸制作所 车辆用影像系统

Also Published As

Publication number Publication date
JP5953824B2 (ja) 2016-07-20

Similar Documents

Publication Publication Date Title
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
US20220210344A1 (en) Image display apparatus
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JP5233583B2 (ja) 車載用監視装置
US20160044284A1 (en) Vehicle vision system with panoramic view
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP7263731B2 (ja) 画像処理装置
KR102135857B1 (ko) 화상 표시 장치
JP5966513B2 (ja) 車両の後側方撮影装置
JP2018129668A (ja) 画像表示装置
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
JP2019110492A (ja) 画像表示装置
JP7000383B2 (ja) 画像処理装置および画像処理方法
WO2013157184A1 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP2009073250A (ja) 車両後方表示装置
JP2005182305A (ja) 車両走行支援装置
JP5831331B2 (ja) 車両の後側方撮影装置
JP2016136326A (ja) 情報表示装置および情報表示方法
JP2008294616A (ja) 運転支援システム及び車両
JP6555240B2 (ja) 車両用撮影表示装置及び車両用撮影表示プログラム
JP5091882B2 (ja) 画像処理装置並びに視界支援装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151013

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160530

R151 Written notification of patent or utility model registration

Ref document number: 5953824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151