JP2016038268A - 画像生成装置及び画像生成方法 - Google Patents

画像生成装置及び画像生成方法 Download PDF

Info

Publication number
JP2016038268A
JP2016038268A JP2014161018A JP2014161018A JP2016038268A JP 2016038268 A JP2016038268 A JP 2016038268A JP 2014161018 A JP2014161018 A JP 2014161018A JP 2014161018 A JP2014161018 A JP 2014161018A JP 2016038268 A JP2016038268 A JP 2016038268A
Authority
JP
Japan
Prior art keywords
image
contrast
radio wave
region
visible image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014161018A
Other languages
English (en)
Other versions
JP6318962B2 (ja
Inventor
光範 中村
Mitsunori Nakamura
光範 中村
慎一 西岡
Shinichi Nishioka
慎一 西岡
西内 秀和
Hidekazu Nishiuchi
秀和 西内
佐藤 宏
Hiroshi Sato
宏 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2014161018A priority Critical patent/JP6318962B2/ja
Publication of JP2016038268A publication Critical patent/JP2016038268A/ja
Application granted granted Critical
Publication of JP6318962B2 publication Critical patent/JP6318962B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】夜間や逆光等の場合でも車両の走行に必要となる路面の状態を撮像した画像を運転者に提供する。
【解決手段】本発明の画像生成装置1は、車両前方から到来する電磁波の水平偏波成分及び垂直偏波成分を受信して電波画像を生成する電波受信部3と、車両前方の可視画像を撮像する可視画像撮像部5と、電波画像上の物体を水平偏波成分及び垂直偏波成分に基づいて分類し、分類された領域を物体領域と設定する物体分類部7と、可視画像上においてコントラストが低下している低コントラスト領域を検出するコントラスト検出部9と、可視画像上の低コントラスト領域のうち電波画像上の物体領域に対応する領域のコントラストを向上させた出力画像を生成する画像生成部11とを備える。
【選択図】図1

Description

本発明は、車両前方から到来する電磁波を検知して生成された電波画像と車両前方を撮像した可視画像とから画像を生成する画像生成装置及びその方法に関する。
従来では、複数枚の画像を合成して合成画像を生成する技術として特許文献1が開示されている。
特許文献1に開示された撮像装置では、撮像素子の感度が閾値よりも低い低感度である場合に、標準露光よりも少ない露光量で複数回撮像した複数枚の画像を合成して1枚のノイズ軽減用画像を生成していた。
特開2012−239077号公報
しかしながら、上述した従来の撮像装置では、夜間や逆光等の場合には画像を合成しても画像上のコントラストが低下してしまう。そのため、車両に搭載した場合では車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができないという問題点があった。
そこで、本発明は、上述した実情に鑑みて提案されたものであり、夜間や逆光等の場合でも車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することのできる画像生成装置及びその方法を提供することを目的とする。
上述した課題を解決するために、本発明の一態様に係る画像生成装置及びその方法は、車両前方から到来する電磁波の水平偏波成分及び垂直偏波成分を受信して電波画像を生成し、電波画像上の物体を水平偏波成分及び垂直偏波成分に基づいて分類して物体領域を設定する。また、車両前方の可視画像を撮像して可視画像上においてコントラストが低下している低コントラスト領域を検出する。そして、可視画像上の低コントラスト領域のうち電波画像上の物体領域に対応する領域のコントラストを向上させた出力画像を生成する。
本発明によれば、夜間や逆光等で画像上のコントラストが低下した場合でも車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができる。
図1は、本発明の第1実施形態に係る画像生成装置の構成を示すブロック図である。 図2は、本発明の第1実施形態に係る画像生成装置による画像生成処理の処理手順を示すフローチャートである。 図3は、本発明の第1実施形態に係る画像生成装置によって生成及び撮像された電波画像及び可視画像を示す図である。 図4は、本発明の第1実施形態に係る画像生成装置による物体の分類方法を説明するための図である。 図5は、本発明の第1実施形態に係る画像生成装置によって生成された出力画像を示す図である。 図6は、本発明の第2実施形態に係る画像生成装置による画像生成処理の処理手順を示すフローチャートである。 図7は、本発明の第2実施形態に係る画像生成装置によって生成及び撮像された電波画像及び可視画像を示す図である。 図8は、本発明の第2実施形態に係る画像生成装置によって生成及び撮像された電波画像及び可視画像を示す図である。 図9は、本発明の第2実施形態に係る画像生成装置によって撮像された可視画像の画素位置と輝度値との間の関係を示す図である。 図10は、本発明の第2実施形態に係る画像生成装置によって生成された出力画像を示す図である。 図11は、本発明の第2実施形態に係る画像生成装置によって撮像された可視画像の画素位置と輝度値との間の関係を示す図である。 図12は、本発明の第2実施形態に係る画像生成装置によって生成された出力画像を示す図である。 図13は、本発明の第3実施形態に係る画像生成装置の構成を示すブロック図である。 図14は、本発明の第3実施形態に係る画像生成装置による車線推定処理の処理手順を示すフローチャートである。 図15は、本発明の第3実施形態に係る画像生成装置によって生成及び撮像された電波画像及び可視画像を示す図である。 図16は、本発明の第3実施形態に係る画像生成装置によって生成された出力画像を示す図である。
以下、本発明を適用した第1〜第3実施形態について図面を参照して説明する。
[第1実施形態]
[画像生成装置の構成]
図1は、本実施形態に係る画像生成装置の構成を示すブロック図である。図1に示すように、本実施形態に係る画像生成装置1は、電波受信部3と、可視画像撮像部5と、物体分類部7と、コントラスト検出部9と、画像生成部11とを備えている。
ここで、本実施形態に係る画像生成装置1は、車両に搭載されて車両前方の画像を生成して運転者に提供する。この際、夜間や逆光等によって画像のコントラストが低下すると、コントラストが低下した領域のうち路面や立体物が撮像された領域のコントラストを向上させて出力画像を生成する。
電波受信部3は、車両前方から到来する電磁波の主に水平偏波成分を検知する水平偏波アンテナと、車両前方から到来する電磁波の主に垂直偏波成分を検知する垂直偏波アンテナとを備えており、これらのアンテナで受信した水平偏波成分及び垂直偏波成分から電波画像を生成する。ここで、電波受信部3は、電波画像を生成する際に、通常の解像度で生成した基準画像と、高解像度で生成した高解像度画像とを生成することができる。例えば、通常時は1画素ずつ飛ばしてアンテナを走査することで基準画像を生成し、必要なときにはアンテナの全画素を走査することで高解像度画像を生成する。特に、本実施形態では、物体分類部7で路面領域に分類された領域について高解像度の電波画像を生成する。
可視画像撮像部5は、車両前方の可視画像を撮像するための通常の可視カメラである。
物体分類部7は、電波受信部3で生成された電波画像上の物体を水平偏波成分及び垂直偏波成分に基づいて分類する。具体的に説明すると、物体分類部7は、電波受信部3で生成された電波画像上の各画素において、水平偏波成分と垂直偏波成分との比を示す偏波比を算出し、この偏波比と垂直偏波成分の強度とに基づいて電波画像に撮像された物体を分類する。例えば、物体分類部7は、偏波比と垂直偏波成分の強度とに応じて設定されたテーブルを予め備えており、このテーブルを用いて電波画像上の各画素を空や立体物、路面、不整地等に分類する。そして、それぞれ分類された領域を、それぞれの物体領域として設定する。例えば、これらのうち路面に分類された領域を路面領域と設定する。
コントラスト検出部9は、可視画像撮像部5で撮像された可視画像上においてコントラストが低下している低コントラスト領域を検出する。コントラスト検出部9は、可視画像の各画素の輝度を検出し、可視画像の各行において輝度の標準偏差を算出する。そして、この標準偏差が所定値以下となった領域を低コントラスト領域として検出する。
画像生成部11は、可視画像上の低コントラスト領域のうち電波画像上の路面領域に対応する領域のコントラストを向上させて出力画像を生成する。本実施形態では、可視画像上の低コントラスト領域のうち路面領域に対応する領域に、電波受信部3で生成された高解像度の電波画像を合成することで、路面領域のコントラストを向上させた出力画像を生成する。
ここで、画像生成装置1は、マイクロコンピュータ、マイクロプロセッサ、CPUを含む汎用の電子回路と周辺機器から構成されている。そして、特定のプログラムを実行することにより、電波受信部3、可視画像撮像部5、物体分類部7、コントラスト検出部9及び画像生成部11として動作する。
[画像生成処理の手順]
次に、本実施形態に係る画像生成装置1による画像生成処理の手順を図2のフローチャートを参照して説明する。
図2に示すように、まずステップS101において、電波受信部3は、車両前方から到来する電磁波の主に水平偏波成分と垂直偏波成分を受信して電波画像を生成する。例えば、電波受信部3は、図3(a)に示すような電波画像を生成する。図3(a)の電波画像には、空31と、アスファルト等の平坦な路面33と、緑地帯等の不整地35が撮像されている。
ステップS102において、可視画像撮像部5は、車両前方の可視画像を撮像する。例えば、可視画像撮像部5は、図3(b)に示すような可視画像を撮像する。図3(b)の可視画像には、手前側にヘッドライトによって照らされた明るい部分が撮像されており、その先には夜間の暗闇が撮像されている。
ステップS103において、物体分類部7は、電波受信部3で生成された電波画像の各画素において水平偏波成分と垂直偏波成分との比を示す偏波比を算出する。この偏波比は、垂直偏波成分強度に対する水平偏波成分強度の割合を示したものであり、
偏波比=水平偏波成分強度/垂直偏波成分強度 (1)
として表される。
そして、偏波比を算出すると、物体分類部7は、算出した偏波比と垂直偏波成分強度とに基づいて電波画像に撮像された物体を分類する。ここで、物体分類部7は、図4に示すように偏波比と垂直偏波成分強度とに応じて設定されたテーブルを予め備えており、このテーブルを用いて電波画像上の各画素を空や立体物、路面、不整地等に分類する。
まず、物体分類部7は、電波画像上の各画素について、図4(a)のテーブルを用いて条件0〜5のいずれに該当するかを判定する。すなわち、各画素の垂直偏波成分強度が黒体輻射の80%未満の場合には条件0と判定する。同様に、垂直偏波成分強度が黒体輻射の80%以上85%未満の場合には条件1、85%以上90%未満の場合には条件2、90%以上95%未満の場合には条件3、95%以上100%未満の場合には条件4、100%のときには条件5と判定する。
次に、物体分類部7は、電波画像上の各画素について、図4(b)のテーブルを用いて条件a〜eのいずれに該当するかを判定する。すなわち、各画素の偏波比が0.8未満の場合には条件aと判定する。同様に、偏波比が0.9未満0.8以上の場合には条件b、0.9以上1.1以下の場合には条件c、1.1より大きく1.2以下の場合には条件d、1.2より大きい場合には条件eと判定する。
そして、物体分類部7は、電波画像上の各画素について、条件0〜5と条件a〜eの組み合わせを求め、図4(c)のテーブルを用いて物体を分類する。すなわち、条件1かつ条件dの場合にはその画素を立体物であると判定する。同様に、条件3かつ条件aの場合には路面と判定し、条件1〜5かつ条件cの場合には不整地と判定し、条件0かつ条件cの場合には空と判定する。その結果、物体分類部7は、図3(a)の電波画像の各画素を空31と路面33と不整地35にそれぞれ分類し、さらに路面33を含む行、すなわち路面33を含む横方向の領域を路面領域37として設定する。したがって、図3(a)では、路面33を含むS1行目からSn行目までの間が路面領域37として設定される。このようにして物体分類部7は、電波画像上に撮像された物体を分類する。
ステップS104において、コントラスト検出部9は、可視画像上においてコントラストが低下している低コントラスト領域を検出する。まず、コントラスト検出部9は、可視画像の各画素の輝度を検出し、可視画像の横方向、すなわち各行において輝度の標準偏差を算出する。そして、この標準偏差が所定値以下となった行を低コントラスト領域として検出する。例えば、図3(b)の可視画像では、ヘッドライトに照らされた明るい部分より上に位置するSj行目からSx行目までの領域が低コントラスト領域39として検出される。
ステップS105において、画像生成部11は、可視画像上の低コントラスト領域のうち電波画像上の路面領域に対応する領域を検出する。例えば、図3では、低コントラスト領域39のうち路面領域37に対応する領域は、Sj行目からSn行目までの領域41となる。
ステップS106において、電波受信部3は、路面領域37について高解像度の電波画像を生成する。通常、電波受信部3は1画素ずつ飛ばしてアンテナを走査することで基準画像を生成しているが、高解像度の電波画像を生成する場合にはアンテナの全画素を走査して高解像度画像を生成する。尚、路面領域37の全体で高解像度画像を生成するのではなく、領域41についてのみ高解像度画像を生成してもよい。
ステップS107において、画像生成部11は、可視画像に対して、可視画像上の低コントラスト領域のうち電波画像上の路面領域に対応する領域のコントラストを向上させた出力画像を生成する。特に、本実施形態では、可視画像上の低コントラスト領域のうち路面領域に対応する領域に、ステップS106で生成した高解像度の電波画像を合成して路面領域に対応する領域のコントラストを向上させている。例えば、画像生成部11は、図3(b)の可視画像に、図3(a)の電波画像のうち領域41の部分の高解像度画像を合成して、図5に示す出力画像を生成する。これにより、可視画像上でコントラストが低下して見えなくなっていた領域を電波画像で補完して見やすくすることができる。このようにして出力画像が生成されると、本実施形態に係る画像生成処理を終了する。
[第1実施形態の効果]
以上詳細に説明したように、本実施形態に係る画像生成装置1では、可視画像上においてコントラストが低下している低コントラスト領域を検出し、可視画像に対して、低コントラスト領域のうち路面領域に対応する領域のコントラストを向上させた出力画像を生成する。これにより、夜間や逆光等で画像上のコントラストが低下しても車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができる。
また、本実施形態に係る画像生成装置1では、路面領域について高解像度の電波画像を生成し、可視画像上の低コントラスト領域のうち路面領域に対応する領域に高解像度の電波画像を合成して出力画像を生成する。これにより、夜間や逆光等で画像上のコントラストが低下しても高解像度の電波画像によって車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができる。
[第2実施形態]
次に、本発明の第2実施形態に係る画像生成装置について図面を参照して説明する。ただし、本実施形態に係る画像生成装置の構成は第1実施形態と同一なので詳細な説明は省略する。
[画像生成処理の手順]
次に、本実施形態に係る画像生成装置による画像生成処理の手順を図6のフローチャートを参照して説明する。ただし、第1実施形態と同一の処理が行われるステップについては詳細な説明は省略する。
図6に示すフローチャートにおいて、ステップS201、202では、図2のステップS101、102と同一の処理が実行され、電波画像を生成して可視画像を撮像する。
ステップS203において、物体分類部7は、図2のステップS103と同様に電波画像に撮像された物体を分類し、路面に分類された領域を路面領域と設定する。例えば、図7(a)に示すように、電波画像上において路面領域71を設定する。さらに、本実施形態では、電波画像上において立体物に分類された領域に立体物検知領域を設定する。例えば、図8(a)に示すように、電波画像上において立体物検知領域81、83を設定する。
ステップS204において、コントラスト検出部9は、図2のステップS104と同様に可視画像上において各画素の輝度を検出し、コントラストが低下している低コントラスト領域を検出する。そして、本実施形態ではさらにコントラストの高い高コントラスト領域についても検出する。例えば、図7(b)に示すように、可視画像上において低コントラスト領域73と高コントラスト領域75を設定する。さらに、本実施形態では、可視画像上にステップS203で設定された立体物検知領域に対応する領域を設定し、この領域のコントラストを検出する。例えば、図8(b)に示すように、図8(a)の立体物検知領域81、83に対応する領域85、87を可視画像上に設定し、この領域85、87のコントラストを検出する。
次に、ステップS205では、図2のステップS105と同一の処理が実行され、可視画像上の低コントラスト領域のうち電波画像上の路面領域に対応する領域を検出する。
ステップS206において、可視画像撮像部5は、可視画像の低コントラスト領域のうち路面領域に対応する領域の輝度が増大するように露光量を増加させて可視画像を撮像する。ただし、図7では可視画像の低コントラスト領域73は路面領域71にほぼ対応しているので、低コントラスト領域73の輝度が増大するように露光量を増加させて可視画像を撮像すればよい。また、低コントラスト領域の輝度を増大させることができれば、露光量を増加させるのではなく、利得を増加させてもよいし、露光量と利得の両方を増加させてもよい。
ここで、低コントラスト領域73と高コントラスト領域75の輝度を比較すると、図9に示すような結果を得ることができる。図9は、可視画像の行方向の画素位置とその画素位置における輝度値との間の関係を示したグラフであり、低コントラスト領域73では標準偏差が11、高コントラスト領域75では標準偏差が74となっている。
そこで、可視画像撮像部5は、低コントラスト領域73の標準偏差が高コントラスト領域75の標準偏差まで増大するように露光量を増加させて可視画像を撮像する。また、高コントラスト領域の標準偏差まで増大させるのではなく、露光量や利得を予め設定された割合、例えば3倍に増加させて可視画像を撮像してもよい。この結果、撮像された可視画像は、図10に示すような画像となる。通常の方法で撮像した図7(b)の可視画像では、逆光で高コントラスト領域75に合わせて露光量が決められていたため低コントラスト領域73は暗くなっていた。しかし、図10では低コントラスト領域73に合わせて露光量が決められているので、低コントラスト領域73の輝度が増大してコントラストが向上している。
また、可視画像撮像部5は、立体物検知領域に対応する領域の輝度が増大するように露光量を増加させて可視画像を撮像してもよい。ここで、立体物検知領域81に対応する領域85の輝度を図11に示す。図11は、領域85を含む可視画像の行方向の画素位置とその画素位置における輝度値との間の関係を示したグラフであり、符号90で示す範囲内が領域85の輝度値を示している。図11の場合では、領域85の標準偏差は12となる。
そこで、可視画像撮像部5は、領域85の標準偏差が高コントラスト領域の標準偏差まで増大するように露光量を増加させて可視画像を撮像する。この結果、図12に示すような可視画像を撮像することができる。通常の方法で撮像した図8(b)の可視画像では、逆光で高コントラスト領域に合わせて露光量が決められていたため立体物が撮像された領域85は暗くなっていた。しかし、図12では領域85に合わせて露光量が決められているので、領域85の輝度が増大してコントラストが向上している。
こうしてステップS206において可視画像が撮像されると、ステップS207において、画像生成部11は、輝度が増大するように撮像した可視画像(輝度増大可視画像)を出力画像として生成して本実施形態に係る画像生成処理を終了する。
[第2実施形態の効果]
以上詳細に説明したように、本実施形態に係る画像生成装置では、可視画像上の低コントラスト領域のうち路面領域に対応する領域の輝度が増大するように可視画像を撮像し、この可視画像を出力画像として生成する。これにより、夜間や逆光等で画像上のコントラストが低下しても路面領域に対応する領域の輝度を増大させた可視画像(輝度増大可視画像)を撮像することで、車両の走行に必要となる路面の状態を撮像した画像を運転者に提供することができる。
[第3実施形態]
次に、本発明の第3実施形態に係る画像生成装置について図面を参照して説明する。ただし、上述した第1実施形態と同一の構成については同一の番号を付して詳細な説明は省略する。
[画像生成装置の構成]
図13は本実施形態に係る画像生成装置の構成を示すブロック図である。図13に示すように、本実施形態に係る画像生成装置21は、画像生成部11内に車線推定部23をさらに備えたことが第1及び第2実施形態と相違している。
車線推定部23は、可視画像撮像部5で撮像された可視画像上に車線検出領域を設定し、この車線検出領域の画像解析結果から車線の位置を推定する。このとき、画像生成部11は、可視画像上の低コントラスト領域に車線検出領域が少なくとも一部で設定された場合には、少なくとも車線検出領域を含む領域のコントラストを向上させた出力画像を生成し、車線推定部23は、この出力画像上に車線検出領域を設定して車線の位置を推定する。なお、少なくとも車線検出領域を含む領域のコントラストを向上させた出力画像とは、少なくとも車線検出領域を含んだ画像領域で可視画像に電波画像を合成して生成した出力画像であってもよいし、全画像領域で電波画像に置き換えた出力画像であってもよい。
[車線推定処理の手順]
次に、本実施形態に係る画像生成装置21の車線推定部23による車線推定処理の手順を図14のフローチャートを参照して説明する。
図14に示すように、ステップS301において、車線推定部23は、可視画像上に車線検出領域を設定する。例えば、図15(a)に示すように道路の路面があると推定される位置に、矩形上の車線検出領域101を複数設定する。
ステップS302において、車線推定部23は、低コントラスト領域に車線検出領域が少なくとも一部で設定されているか否かを判定する。車線推定部23は、コントラスト検出部9によって低コントラスト領域が検出されているので、その領域に車線検出領域を設定したか否かによって判断する。そして、図15(a)に示すように、低コントラスト領域103に車線検出領域101が少なくとも一部で設定されている場合にはステップS303に進み、設定されていない場合にはステップS304に進む。
ステップS303において、画像生成部11は、少なくとも車線検出領域を含んだ画像領域で可視画像に電波画像を合成して出力画像を生成し、車線推定部23は、電波画像の合成された出力画像上に車線検出領域を設定する。例えば、全画像領域で電波画像に置き換えた場合には、図15(b)に示すように、低コントラスト領域103に対応する電波画像上の領域に車線検出領域105が設定される。
ステップS304において、車線推定部23は、車線の位置を推定して画像生成部11の出力画像上に表示する。ステップS302で低コントラスト領域に車線検出領域が設定されていないと判定された場合には、可視画像上に設定された車線検出領域に対して画像解析を行って車線の位置を推定する。
一方、ステップS302で低コントラスト領域に車線検出領域が設定されていると判定された場合には、可視画像上と出力画像上(電波画像上)に設定された車線検出領域に対して画像解析を行って車線の位置を推定する。例えば、図15(a)の可視画像上に設定された車線検出領域101に対して画像解析を行うとともに、図15(b)の電波画像上に設定された車線検出領域105に対しても画像解析を行って車線の位置を推定する。その結果、図16に示すように、電波画像上で推定した車線位置107を可視画像上に重畳して表示する。また、図16には車線の境界を画像解析で推定した結果である境界点109が表示されている。これにより、低コントラスト領域103の部分でも車線の位置を推定して表示することが可能となる。
こうして車線の位置が表示されると、本実施形態に係る車線推定処理を終了する。この後、画像生成部11は、車線の位置が表示された出力画像を出力する。
[第3実施形態の効果]
以上詳細に説明したように、本実施形態に係る画像生成装置21では、可視画像上に車線検出領域を設定して車線の位置を推定する車線推定部23をさらに備えている。そして、画像生成部11は、可視画像の低コントラスト領域に車線検出領域が少なくとも一部で設定された場合には、少なくとも車線検出領域を含む領域のコントラストを向上させた出力画像を生成し、車線推定部23は、出力画像上に車線検出領域を設定して車線の位置を推定する。これにより、夜間や逆光等によって可視画像上に低コントラスト領域がある場合でも、車線の位置を推定して表示することができる。
なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。
1、21 画像生成装置
3 電波受信部
5 可視画像撮像部
7 物体分類部
9 コントラスト検出部
11 画像生成部
23 車線推定部
31 空
33 路面
35 不整地
37、71 路面領域
39、73、103 低コントラスト領域
41 低コントラスト領域のうち路面領域に対応する領域
75 高コントラスト領域
81、83 立体物検知領域
85、87 立体物検知領域に対応する領域
101、105 車線検出領域
107 車線位置
109 境界点

Claims (5)

  1. 車両前方から到来する電磁波を検知して生成された電波画像と前記車両前方を撮像した可視画像とから画像を生成する画像生成装置であって、
    前記車両前方から到来する電磁波の水平偏波成分及び垂直偏波成分を受信して電波画像を生成する電波受信部と、
    前記車両前方の可視画像を撮像する可視画像撮像部と、
    前記電波受信部で生成された電波画像上の物体を前記水平偏波成分及び前記垂直偏波成分に基づいて分類し、分類された領域を物体領域と設定する物体分類部と、
    前記可視画像撮像部で撮像された可視画像上においてコントラストが低下している低コントラスト領域を検出するコントラスト検出部と、
    前記可視画像に対して、前記可視画像上の低コントラスト領域のうち前記電波画像上の物体領域に対応する領域のコントラストを向上させた出力画像を生成する画像生成部と
    を備えたことを特徴とする画像生成装置。
  2. 前記電波受信部は、前記物体領域について高解像度の電波画像を生成し、
    前記画像生成部は、前記可視画像上の低コントラスト領域のうち前記電波画像上の物体領域に対応する領域に前記電波画像を合成して前記出力画像を生成することを特徴とする請求項1に記載の画像生成装置。
  3. 前記可視画像撮像部は、前記可視画像上の低コントラスト領域のうち前記電波画像上の物体領域に対応する領域の輝度を増大させた輝度増大可視画像を撮像し、
    前記画像生成部は、前記輝度増大可視画像を前記出力画像として生成することを特徴とする請求項1に記載の画像生成装置。
  4. 前記可視画像撮像部で撮像された可視画像上に車線検出領域を設定し、前記車線検出領域の画像解析結果から車線の位置を推定する車線推定部をさらに備え、
    前記画像生成部は、前記可視画像上の低コントラスト領域に前記車線検出領域が少なくとも一部で設定された場合には、少なくとも前記車線検出領域を含む領域のコントラストを向上させた出力画像を生成し、
    前記車線推定部は、前記出力画像上に前記車線検出領域を設定して車線の位置を推定することを特徴とする請求項1〜3のいずれか1項に記載の画像生成装置。
  5. 車両前方から到来する電磁波を検知して生成された電波画像と前記車両前方を撮像した可視画像とから画像を生成する画像生成装置による画像生成方法であって、
    前記画像生成装置は、
    前記車両前方から到来する電磁波の水平偏波成分及び垂直偏波成分を受信して電波画像を生成し、
    前記車両前方の可視画像を撮像し、
    生成された前記電波画像上の物体を前記水平偏波成分及び前記垂直偏波成分に基づいて分類して分類された領域を物体領域と設定し、
    撮像された前記可視画像上においてコントラストが低下している低コントラスト領域を検出し、
    前記可視画像に対して、前記可視画像上の低コントラスト領域のうち前記電波画像上の物体領域に対応する領域のコントラストを向上させた出力画像を生成する
    ことを特徴とする画像生成方法。
JP2014161018A 2014-08-07 2014-08-07 画像生成装置及び画像生成方法 Active JP6318962B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014161018A JP6318962B2 (ja) 2014-08-07 2014-08-07 画像生成装置及び画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014161018A JP6318962B2 (ja) 2014-08-07 2014-08-07 画像生成装置及び画像生成方法

Publications (2)

Publication Number Publication Date
JP2016038268A true JP2016038268A (ja) 2016-03-22
JP6318962B2 JP6318962B2 (ja) 2018-05-09

Family

ID=55529456

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014161018A Active JP6318962B2 (ja) 2014-08-07 2014-08-07 画像生成装置及び画像生成方法

Country Status (1)

Country Link
JP (1) JP6318962B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084535A (ja) * 2016-11-25 2018-05-31 日産自動車株式会社 路面判断方法および路面判断装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1062531A (ja) * 1996-08-14 1998-03-06 Nec Corp 複合画像装置
US20110169943A1 (en) * 2007-02-06 2011-07-14 Aai Corporation Utilizing Polarization Differencing Method For Detect, Sense And Avoid Systems
JP2012073221A (ja) * 2010-08-30 2012-04-12 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2013156794A (ja) * 2012-01-30 2013-08-15 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置
WO2013129380A1 (ja) * 2012-03-01 2013-09-06 日産自動車株式会社 車両検出装置及び車両検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1062531A (ja) * 1996-08-14 1998-03-06 Nec Corp 複合画像装置
US20110169943A1 (en) * 2007-02-06 2011-07-14 Aai Corporation Utilizing Polarization Differencing Method For Detect, Sense And Avoid Systems
JP2012073221A (ja) * 2010-08-30 2012-04-12 Nissan Motor Co Ltd 物体検出装置及び物体検出方法
JP2013156794A (ja) * 2012-01-30 2013-08-15 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置
WO2013129380A1 (ja) * 2012-03-01 2013-09-06 日産自動車株式会社 車両検出装置及び車両検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084535A (ja) * 2016-11-25 2018-05-31 日産自動車株式会社 路面判断方法および路面判断装置

Also Published As

Publication number Publication date
JP6318962B2 (ja) 2018-05-09

Similar Documents

Publication Publication Date Title
US8077204B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP4408095B2 (ja) 車両及び路面標示認識装置
US9378425B2 (en) On-vehicle image processing device
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
US7209832B2 (en) Lane recognition image processing apparatus
KR101367637B1 (ko) 감시장치
US20100141806A1 (en) Moving Object Noise Elimination Processing Device and Moving Object Noise Elimination Processing Program
JP5783279B2 (ja) 画像処理装置
JP6289681B2 (ja) 撮像装置及び方法、並びにプログラム及び記録媒体
JP4433045B2 (ja) 露出制御装置及び露出制御プログラム
JP2011165050A (ja) 白線認識装置
JP5950196B2 (ja) 撮像装置、並びに、これを用いる画像解析装置及び移動装置
JP5071198B2 (ja) 信号機認識装置,信号機認識方法および信号機認識プログラム
JP6750519B2 (ja) 撮像装置、撮像表示方法および撮像表示プログラム
JP6094252B2 (ja) 道路標識認識装置
US20150042806A1 (en) Vehicle vision system with reduction of temporal noise in images
JP2016196233A (ja) 車両用道路標識認識装置
JP2007058318A (ja) 白線検出装置
JP6318962B2 (ja) 画像生成装置及び画像生成方法
JP2012138688A (ja) 車載カメラの露出制御値の決定方法
WO2016121406A1 (ja) 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
JP2010093623A (ja) 画像処理装置
EP3484144B1 (en) Captured image display system, electronic mirror system, and captured image display method
US11048968B2 (en) Placement detection system
JP2010204957A (ja) 作業機械及び後方カメラの映像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180319

R151 Written notification of patent or utility model registration

Ref document number: 6318962

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151