JP2009302715A - 画像処理装置およびこれを適用した車両周辺監視装置 - Google Patents

Abstract

【課題】インターレース方式の撮影装置の撮影映像を湾曲させることによって表示すべき画像を生成する際における干渉縞の発生を回避することができ、視認性に優れた画像を表示することができる「画像処理装置およびこれを適用した車両周辺監視装置」を提供すること。
【解決手段】輝度変換装置１７により、撮影装置１１，１２，１４，１５の撮影映像における所定のラインに属する任意の画素の輝度と、当該任意の画素に隣接する当該所定のラインとは偶奇が異なる他のラインに属する画素の輝度との平均値である平均輝度を算出し、算出された平均輝度を前記任意の画素の新たな輝度とする輝度変換処理を行い、輝度変換処理後の撮影映像を用いて表示画像を生成すること。
【選択図】図１

Description

本発明は、画像処理装置およびこれを適用した車両周辺監視装置に係り、特に、広角レンズを用いて撮影された撮影映像に対する歪み補正処理によって所望の画像を生成して表示するのに好適な画像処理装置およびこれを適用した車両周辺監視装置に関する。

近年、車両の運転操作の安全性を高めることを目的として、車両の周辺を監視するための画像である車両周辺監視画像を生成して車載機のディスプレイに表示する車両周辺監視装置が採用されるようになった。

このような車両周辺監視装置においては、車両に搭載されたカメラによって撮影された路面等の車両の周辺の撮影映像に基づいて、車両周辺監視画像として、車両およびその周辺を車両の上方から見下ろした俯瞰画像や、車両の側方を監視するためのサイドビュー画像をディスプレイに表示するようになっていた。

また、この種の車両周辺監視装置に搭載されるカメラとしては、車両の周辺を広範囲に監視する観点から、魚眼レンズ等の広角レンズを備えたものが一般的であった。

さらに、この種の車両周辺監視装置に搭載されるカメラの中には、車両の周辺を撮影する際に、１フレームを複数行の奇数ラインからなる奇数フィールドと複数行の偶数ラインからなる偶数フィールドとに分割して撮影するインターレース方式（例えば、ＮＴＳＣ方式）のカメラもあった。

このようなインターレース方式のカメラが搭載された車両周辺監視装置においては、奇数フィールドと偶数フィールドとを捕捉して合成した１フレームの撮影映像に対して、広角レンズに起因する映像の歪みを補正するための歪み補正処理を行うことにより、車両周辺監視画像を生成するようになっていた。

特開２００７−２２６３６２号公報

一般に、インターレース方式のカメラは、ちらつきの少ない滑らかな動画を得るために好適とされている。

しかしながら、車両周辺監視画像を生成する場合のように、広角レンズを用いて撮影された撮影映像に対して歪み補正処理を行う場合には、特に、動体が映された映像領域の周囲に、図１１に示すような干渉縞Ｍ（モアレ）が生じてしまい、視認性が悪い画像が得られてしまっていた。

なお、図１１は、車両周辺監視画像の一例として、駐車場に停車している車両の近くを人が通った際における俯瞰画像１を示している。この俯瞰画像１は、自車両を示す略矩形のイラスト画像２と、このイラスト画像２の四辺を囲む前方俯瞰画像３、左側方俯瞰画像５、右側方俯瞰画像６および後方俯瞰画像７とが繋ぎ合わされるようにして形成されている。前方俯瞰画像３は、車両の前部（例えば、エンブレム部）に取り付けられたフロントカメラの撮影映像に基づいて生成されたものである。左側方俯瞰画像５は、車両の左側部（例えば、左ドアミラー部）に取り付けられた左サイドカメラの撮影映像に基づいて生成されたものである。右側方俯瞰画像６は、車両の右側部（例えば、右ドアミラー部）に取り付けられた右サイドカメラの撮影映像に基づいて生成されたものである。後方俯瞰画像７は、車両の後部（例えば、ナンバープレートの取付部）に取り付けられたバックカメラの撮影映像に基づいて生成されたものである。

さて、インターレース方式のカメラにおいては、前述のように、１フレームを奇数フィールドと偶数フィールドとの２回に分けて撮影することになるが、このとき、１回目の撮影時と２回目の撮影時とにおける輝度差は、撮影対象物が静止物であれば光の揺らぎ程度で済むが、動体を撮影する場合やカメラを搭載した車両が走行する場合には、奇数フィールドと偶数フィールドとの間の相対的な位置ずれが大きくなることによって輝度差が激しくなる。

そして、このような輝度差が激しい部分を含む撮影映像に対して、この撮影映像を湾曲させる歪み補正処理を行うことによって、前述したような干渉縞が発生する結果となっていた。

このような干渉縞の発生を回避するためには、例えば、奇数フィールドまたは偶数フィールドの片方だけを用いて画像を生成する方法が考えられる。

しかし、このような方法を用いる場合には、干渉縞の発生をある程度抑えることはできるものの、画面の情報を半分捨ててしまうことになるため、解像度が粗くなり、視認性が悪い画像が得られることに変わりはない。

そこで、本発明は、このような点に鑑みなされたものであり、インターレース方式の撮影装置の撮影映像を湾曲させることによって表示すべき画像を生成する際における干渉縞の発生を回避することができ、視認性に優れた画像を表示することができる画像処理装置およびこれを適用した車両周辺監視装置を提供することを目的とするものである。

前述した目的を達成するため、本発明に係る画像処理装置は、広角レンズを用いて１フレームを奇数ラインからなる奇数フィールドと偶数ラインからなる偶数フィールドとに分割して撮影するように形成されたインターレース方式の撮影装置と、この撮影装置の撮影映像に対する歪み補正処理を行うことによって所望の表示画像を生成する画像生成装置と、この画像生成装置によって生成された前記表示画像を表示する表示装置とを備えた画像処理装置であって、画像処理装置本体は、前記撮影装置の撮影映像における所定のラインに属する任意の画素の輝度と、当該任意の画素に隣接する画素であって前記所定のラインに隣接する当該所定のラインとは偶奇が異なる他のラインに属する画素の輝度との平均値である平均輝度を算出し、算出された前記平均輝度を前記任意の画素の輝度に換わる当該任意の画素の新たな輝度とする輝度変換処理を行う輝度変換装置を備えており、前記画像生成装置は、前記輝度変換装置による前記輝度変換処理が行われた後の前記撮影映像を用いて前記表示画像を生成するように形成されていることを特徴としている。

そして、このような構成によれば、撮影装置の撮影映像における所定のラインに属する任意の画素とこれに隣接する他のラインに属する画素との平均輝度を当該任意の画素の新たな輝度とする輝度変換処理を行い、この輝度変換処理後の撮影映像に対する歪み補正処理を行うことによって、干渉縞の少ない視認性に優れた表示画像を得ることができる。

また、前記輝度変換装置は、前記所定のラインとしての１フレームにおける第Ｎ−１行目（Ｎは、２以上かつ１フレームのライン数以下の任意の自然数）のラインに属する任意の画素の輝度と、当該任意の画素に隣接する画素であって第Ｎ行目のラインに属する画素の輝度との前記平均輝度を、当該任意の画素の新たな輝度とするような前記輝度変換処理を行うように形成されていてもよい。

そして、このような構成によれば、撮影映像における各画素ごとに個別の平均輝度（新たな輝度）を算出することができるので、視認性にさらに優れた表示画像を得ることができる。

さらに、前記輝度変換装置は、前記所定のラインとしての１フレームにおける第２ｎ−１行目（ｎは、１以上かつ２ｎ−１を１フレームの最後の奇数ラインの行番号とするような値以下の任意の自然数）のラインに属する任意の画素の輝度と、前記所定のラインとしての第２ｎ行目のライン（但し、当該第２ｎ行目のラインが存在する場合に限る）に属する任意の画素であって第２ｎ−１行目のラインにおける前記任意の画素に隣接する画素の輝度との前記平均輝度を、第２ｎ−１行目のラインにおける前記任意の画素および第２ｎ行目のラインにおける前記任意の画素のぞれぞれの新たな輝度とするような前記輝度変換処理を行うように形成されていてもよい。

そして、このような構成によれば、互いに隣接する偶奇が異なるラインに属する互いに隣接する２つの画素の平均輝度をこれら２つの画素の双方の新たな輝度とすることができ、平均輝度の算出回数を抑えることができるので、輝度変換装置の処理負担を軽減することができ、ひいては、表示画像を迅速に生成することができる。

さらにまた、前記輝度変換装置は、前記撮影装置の撮影映像における全映像領域を対象とした前記輝度変換処理を行うように形成されていてもよい。

そして、このような構成によれば、全映像領域を対象とした輝度変換処理を行うことによって、干渉縞が少ない表示画像をさらに確実に得ることができる。

また、前記画像処理装置本体は、動体検出装置を備えており、前記輝度変換装置は、前記撮影装置の撮影映像のうちの前記動体検出装置によって検出された前記動体が映された映像領域を対象とした前記輝度変換処理を行うように形成されていてもよい。

そして、このような構成によれば、輝度変換処理を動体が映された映像領域に限定して行うことができるので、輝度変換装置の処理負担を軽減しつつ干渉縞の発生を抑制することができ、ひいては、視認性が良好な表示画像を迅速に生成することができる。

さらに、画像処理装置における前記広角レンズは、魚眼レンズとされていてもよい。

そして、このような構成によれば、魚眼レンズを用いて撮影された撮影映像を用いる場合にも、干渉縞の少ない視認性に優れた表示画像を得ることができる。

さらにまた、本発明に係る車両周辺監視装置は、車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた撮影装置であって、１フレームを奇数ラインからなる奇数フィールドと偶数ラインからなる偶数フィールドとに分割して撮影するように形成されたインターレース方式の撮影装置と、この撮影装置の撮影映像に対する歪み補正処理を行うことによって、前記車両の周辺における所定の監視領域を監視するための車両周辺監視画像を生成する画像生成装置と、この画像生成装置によって生成された前記車両周辺監視画像を表示する表示装置とを備えた車両周辺監視装置であって、車両周辺監視装置本体は、前記撮影装置の撮影映像における所定のラインに属する任意の画素の輝度と、当該任意の画素に隣接する画素であって前記所定のラインに隣接する当該所定のラインとは偶奇が異なる他のラインに属する画素の輝度との平均値である平均輝度を算出し、算出された前記平均輝度を前記任意の画素の輝度に換わる当該任意の画素の新たな輝度とする輝度変換処理を行う輝度変換装置を備えており、前記画像生成装置は、前記輝度変換装置による前記輝度変換が行われた後の前記撮影映像を用いて前記車両周辺監視画像を生成するように形成されていることを特徴としている。

そして、このような構成によれば、撮影装置の撮影映像における所定のラインに属する任意の画素とこれに隣接する他のラインに属する画素との平均輝度を当該任意の画素の新たな輝度とする輝度変換処理を行い、この輝度変換処理後の撮影映像に対する歪み補正処理を行うことによって、干渉縞の少ない視認性に優れた車両周辺監視画像を得ることができる。

また、前記輝度変換装置は、所定のラインとしての１フレームにおける第Ｎ−１行目（Ｎは、２以上かつ１フレームのライン数以下の任意の自然数）のラインに属する任意の画素の輝度と、当該任意の画素に隣接する画素であって第Ｎ行目のラインに属する画素の輝度との前記平均輝度を、当該任意の画素の新たな輝度とするような前記輝度変換処理を行うように形成されていてもよい。

そして、このような構成によれば、撮影映像における各画素ごとに個別の平均輝度（新たな輝度）を算出することができるので、視認性にさらに優れた車両周辺監視画像を得ることができる。

さらに、前記輝度変換装置は、所定のラインとしての１フレームにおける第２ｎ−１行目（ｎは、１以上かつ２ｎ−１を１フレームの最後の奇数ラインの行番号とするような値以下の任意の自然数）のラインに属する任意の画素の輝度と、前記所定のラインとしての第２ｎ行目のライン（但し、当該第２ｎ行目のラインが存在する場合に限る）に属する任意の画素であって第２ｎ−１行目のラインにおける前記任意の画素に隣接する画素の輝度との前記平均輝度を、第２ｎ−１行目のラインにおける前記任意の画素および第２ｎ行目のラインにおける前記任意の画素のぞれぞれの新たな輝度とするような前記輝度変換処理を行うように形成されていてもよい。

そして、このような構成によれば、互いに隣接する偶奇が異なるラインに属する互いに隣接する２つの画素の平均輝度をこれら２つの画素の双方の新たな輝度とすることができ、平均輝度の算出回数を抑えることができるので、輝度変換装置の処理負担を軽減することができ、ひいては、車両周辺監視画像を迅速に生成することができる。

さらにまた、前記輝度変換装置は、前記撮影装置の撮影映像における全映像領域を対象とした前記輝度変換処理を行うように形成されていてもよい。

そして、このような構成によれば、全映像領域を対象とした輝度変換処理を行うことによって、干渉縞が少ない車両周辺監視画像をさらに確実に得ることができる。

また、前記車両周辺監視装置本体は、前記車両の周辺に存在する動体を検出する動体検出装置を備えており、前記輝度変換装置は、前記撮影装置の撮影映像のうちの前記動体検出装置によって検出された前記動体が映された映像領域を対象とした前記輝度変換処理を行うように形成されていてもよい。

そして、このような構成によれば、輝度変換処理を動体が映された映像領域に限定して行うことができるので、輝度変換装置の処理負担を軽減しつつ干渉縞の発生を抑制することができ、ひいては、視認性が良好な車両周辺監視画像を迅速に生成することができる。

さらに、前記車両周辺監視装置本体は、前記車両の速度を検出する車速検出装置を備えており、前記輝度変換装置は、前記車速検出装置の検出結果に基づいて、前記車両が所定の速度以上の速度で走行していることを条件とした前記輝度変換処理を行うように形成されていてもよい。

そして、このような構成によれば、輝度変換処理を車両の所定の速度以上での走行時に限定して行うことができるので、輝度変換装置の処理負担を軽減することができる。

さらにまた、前記車両周辺監視画像は、前記車両およびその周辺を前記車両の上方から見下ろすような画像である俯瞰画像を含んでもよい。

そして、このような構成によれば、視認性に優れた俯瞰画像を得ることができ、ひいては、運転操作の安全性を向上させることができる。

また、前記車両周辺監視画像は、サイドビュー画像を含んでいてもよい。

そして、このような構成によれば、視認性に優れたサイドビュー画像を得ることができ、ひいては、運転操作の安全性を向上させることができる。

さらに、車両周辺監視装置における前記広角レンズは、魚眼レンズとされていてもよい。

そして、このような構成によれば、魚眼レンズを用いて撮影された撮影映像を用いる場合にも、干渉縞の少ない視認性に優れた車両周辺監視画像を得ることができる。

本発明によれば、インターレース方式の撮影装置の撮影映像を湾曲させることによって画像を生成する際における干渉縞の発生を回避することができ、視認性に優れた画像を表示することができる。

以下、本発明に係る画像処理装置およびこれを適用した車両周辺監視装置の実施形態について、図１乃至図７を参照して説明する。

なお、従来と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。

図１は、本発明に係る画像処理装置の適用例としての本発明に係る車両周辺監視装置の実施形態を示したものである。

図１に示すように、本実施形態における車両周辺監視装置１０は、車両における互いに異なる位置に搭載された撮影装置としての合計４台のカメラ１１，１２，１４，１５を有している。これら４台のカメラ１１，１２，１４，１５のうちの１台１１は、車両の前部に取り付けられたフロントカメラ１１とされており、このフロントカメラ１１は、車両の周辺における車両の前方の所定の撮影領域内に存在する物体（路面等）を撮影可能とされている。その他の３台のカメラ１２，１４，１５のうちの１台１２は、車両の左側部に取り付けられた左サイドカメラ１２とされており、この左サイドカメラ１２は、車両の周辺における車両の左側方の所定の撮影領域内に存在する物体を撮影可能とされている。その他の２台のカメラ１４，１５のうちの１台１４は、車両の右側部に取り付けられた右サイドカメラ１４とされており、この右サイドカメラ１４は、車両の周辺における車両の右側方の所定の撮影領域内に存在する物体を撮影可能とされている。残りの１台のカメラ１５は、車両の後部に取り付けられたバックカメラ１５とされており、このバックカメラ１５は、車両の周辺における車両の後方の所定の撮影領域内に存在する物体を撮影可能とされている。

これら４台のカメラ１１，１２，１４，１５は、いずれも、魚眼レンズ等の広角レンズを備えているとともに、ＣＣＤ等の固体撮像素子の撮像面に物体の像を結像させるカメラとされている。

また、各カメラ１１，１２，１４，１５は、車両の周辺を撮影する際に、１フレーム（全画面）を複数行の奇数ラインからなる奇数フィールド（半画面）と複数行の偶数ラインからなる偶数フィールド（半画面）とに分割して撮影するインターレース処理を行うインターレース方式のカメラ１１，１２，１４，１５とされている。なお、ＮＴＳＣ方式においては、１つのフレームを構成するラインの行数は５２５行となる。

各カメラ１１，１２，１４，１５は、１フレームを撮影する際に、インターレース処理として、まず、１フレームにおける奇数フィールドまたは偶数フィールドのうちの一方のフィールド（以下、前半フィールドと称する）を撮影し、その後、１フレームにおける他方のフィールド（以下、後半フィールドと称する）を撮影するようになっている。なお、前半フィールドを偶数フィールド、後半フィールドを奇数フィールドとしてもよいし、あるいは、前半フィールドを奇数フィールド、後半フィールドを偶数フィールドとしてもよい。

各カメラ１１，１２，１４，１５には、輝度変換装置としての輝度変換用画像フィルタ１７が接続されており、この輝度変換用画像フィルタ１７には、半画面バッファ１８および全画面バッファ１９がそれぞれ接続されている。

輝度変換用画像フィルタ１７には、各カメラ１１，１２，１４，１５の撮影映像が入力されるようになっており、このとき、１フレームの撮影映像が、インターレース処理によって前半フィールドと後半フィールドとの２回に分けて順次入力されるようになっている。

輝度変換用画像フィルタ１７は、各カメラ１１，１２，１４，１５から入力された前半フィールドを、半画面バッファ１８に一時的に格納するようになっている。

また、輝度変換用画像フィルタ１７は、各カメラ１１，１２，１４，１５から、半画面バッファ１８に格納されている前半フィールドの次に撮影された後半フィールドが入力された際に、半画面バッファ１８に格納されている前半フィールドを読み出すようになっている。

そして、輝度変換用画像フィルタ１７は、各カメラ１１，１２，１４，１５から入力された後半フィールドと、半画面バッファ１８から読み出された各カメラ１１，１２，１４，１５の前半フィールドとからなる各カメラ１１，１２，１４，１５ごとの１フレームの撮影映像に対して、それぞれ輝度変換処理を行うようになっている。

ただし、輝度変換処理とは、１フレームの撮影映像における所定のラインに属する任意の画素（以下、変換対象画素と称する）の輝度と、当該変換対象画素に行方向において隣接する画素であって前記所定のラインに隣接する当該所定のラインとは偶奇が異なる他のラインに属する画素（以下、隣接画素と称する）の輝度との平均値である平均輝度を算出し、算出された前記平均輝度を変換対象画素の輝度に換わる変換対象画素の新たな輝度とする処理をいう。

ここで、変換対象画素として、奇数フィールドにおける特定の１行の奇数ラインに属する特定の１つの画素（以下、奇数行画素と称する）に着目する。

この奇数行画素に対する輝度変換処理を行うには、まず、奇数行画素の輝度と、この奇数行画素に対する隣接画素として、前記特定の１行の奇数ラインに隣接する（次行または前行の）偶数ラインに属する１つの画素（以下、偶数行画素と称する）の輝度とを抽出する。

そして、抽出された奇数行画素の輝度と、偶数行画素の輝度との平均輝度を算出し、算出された平均輝度を奇数行画素の新たな輝度とすることによって、奇数行画素に対する輝度変換処理を行う。

このような輝度変換処理は、変換対象画素を偶数行画素とした場合においても、この偶数行画素に隣接する奇数行画素を隣接画素とすることによって、奇数行画素を変換対象画素とする場合と同様に行うことができる。

より具体的な輝度変換処理の方法の１つ（以下、第１の輝度変換処理方法と称する）として、輝度変換用画像フィルタ１７は、図２に示すように、前記所定のラインとしての１フレームにおける第Ｎ−１行目のラインに属する変換対象画素の輝度（Ｌ_Ｎ−１）と、第Ｎ行目のラインに属する隣接画素の輝度（Ｌ_Ｎ）との平均輝度（（Ｌ_Ｎ−１+Ｌ_Ｎ）／２）を、変換対象画素の輝度（Ｌ_Ｎ−１）に換わる変換対象画素の新たな輝度とするようにしてもよい。

ただし、Ｎは、２以上かつ１フレームのライン数以下の任意の自然数である。

つまり、第１の輝度変換処理方法においては、例えば、１行目のラインに属する画素を変換対象画素とした場合における隣接画素は、この１行目のラインにおける画素に隣接する２行目のラインに属する画素となり、この２行目のラインに属する画素を変換対象画素とみた場合における隣接画素は、この２行目のラインにおける画素に隣接する３行目のラインに属する画素となる。

このような第１の輝度変換処理方法を適用すれば、変換対象画素の輝度とこの変換対象画素が属するラインの次行のラインに属する隣接画素の輝度との平均輝度を各変換対象画素ごとに個別に算出することによって、各変換対象画素ごとに個別の平均輝度を新たな画素とするような輝度変換処理を行うことができる。

また、第１の輝度変換処理方法とは異なる輝度変換処理の方法の１つ（以下、第２の輝度変換処理方法と称する）として、輝度変換用画像フィルタ１７は、図３に示すように、前記所定のラインとしての１フレームにおける第２ｎ−１行目のラインに属する第１の変換対象画素の輝度（Ｌ_２ｎ−１）と、前記所定のラインとしての第２ｎ行目のラインに属する第２の変換対象画素の輝度（Ｌ_２ｎ）との平均輝度（（Ｌ_２ｎ−１+Ｌ_２ｎ）／２）を、これら第１および第２の変換対象画素のそれぞれの新たな輝度とするようにしてもよい。

なお、図３から分かるように、これら第１の変換対象画素と第２の変換対象画素とは、互いに隣接画素同士の関係を有している。

また、ｎは、１以上かつ２ｎ−１を１フレームの最後の奇数ラインの行番号とするような値以下の任意の自然数である。

ただし、このような第２の輝度変換処理方法は、１フレームの最後の奇数ラインに属する画素については、この最後の奇数ラインの次行に、１フレームの最後の偶数ラインが存在する場合に適用することができる。

このような第２の輝度変換処理方法を適用すれば、互いに隣接する偶奇が異なるラインに属する互いに隣接する２つの画素の平均輝度をこれら２つの画素の双方の新たな輝度とすることができ、平均輝度の算出回数を抑えることができる。

さらに、輝度変換用画像フィルタ１７は、このような図２または図３に示したような輝度変換処理をカメラ１１，１２，１４，１５の撮影映像における全映像領域を対象として行うようにしてもよい。

あるいは、車両周辺監視装置１０が、車両の周辺に存在する動体を検出する動体検出装置を備えるようにした上で、輝度変換用画像フィルタ１７が、カメラ１１，１２，１４，１５の撮影映像のうちの動体検出装置によって検出された動体が映された映像領域を対象とした輝度変換処理を行うようにしてもよい。

この場合に、動体検出装置としては、レーダやカメラ１１，１２，１４，１５の撮影映像を画像認識する手段等を用いるようにしてもよい。

また、このような動体が映された映像領域を対象とした輝度変換処理は、車両が停止していることを条件として行うようにしてもよい。

このようにすれば、輝度変換用画像フィルタ１７の処理負担を軽減しつつ干渉縞の発生を抑制することができる。

そして、本実施形態において、輝度変換用画像フィルタ１７は、輝度変換処理が行われた１フレームの撮影映像を全画面バッファ１９に一時的に格納するようになっている。

全画面バッファ１９には、画像生成装置としての画像生成部２１が接続されており、この画像生成部２１は、全画面バッファ１９に格納された各カメラ１１，１２，１４，１５ごとの輝度変換処理後の１フレームの撮影映像を取得するようになっている。

そして、画像生成部２１は、全画面バッファ１９から取得された各カメラ１１，１２，１４，１５ごとの輝度変換処理後の１フレームの撮影映像を用いることによって、車両周辺監視画像としての俯瞰画像１を生成するようになっている。

具体的には、画像生成部２１は、図４に示すように、輝度変換処理後のカメラ１１，１２，１４，１５の撮影映像２３のうち、図４において破線で囲まれる所定の使用映像領域２４内の映像を切り出し、切り出された使用映像領域２４内の映像に対して、その映像の歪みを補正する歪み補正処理を行うとともに、その映像をあたかも車両の上方の仮想視点から俯瞰したような画像へと変換する視点変換処理を行うようになっている。

このような歪み補正処理には、歪み補正処理前の映像と歪み補正後の映像との座標の対応関係が記述されたいわゆるルックアップテーブル（換言すればマッピングテーブル）を用いるようにしてもよい。

また、視点変換処理においても、視点変換処理前の映像と視点変換処理後の画像との座標の対応関係が記述されたルックアップテーブルを用いるようにしてもよい。

さらに、歪み補正処理と視点変換処理とを、１つのルックアップテーブルを用いて行うようにしてもよい。

これにより、輝度変換処理後のフロントカメラ１１の１フレームの撮影映像から前方俯瞰画像３が生成され、輝度変換処理後の左サイドカメラ１２の１フレームの撮影映像から左側方俯瞰画像５が生成され、輝度変換処理後の右サイドカメラ１４の１フレームの撮影映像から右側方俯瞰画像６が生成され、輝度変換処理後のバックカメラ１５の１フレームの撮影映像から後方俯瞰画像７が生成されるようになっている。

そして、これらの俯瞰画像３，５，６，７が、画像生成部２１によって独自に生成されたイラスト画像２と合成されることによって、俯瞰画像１が生成されるようになっている。

画像生成部２１には、表示装置としてのディスプレイ２２が接続されており、このディスプレイ２２は、画像生成部２１によって生成された俯瞰画像１を表示するようになっている。

ここで、図５は、このような本実施形態における車両周辺監視装置１０によって表示された俯瞰画像１を示したものである。

図５に示すように、本実施形態における俯瞰画像１は、図１１に示した従来のものとは異なり、干渉縞のない視認性が良好な俯瞰画像１となっている。これは、本実施形態における俯瞰画像１が、輝度変換用画像フィルタ１７による輝度変換処理を経て生成されたことによるものである。

したがって、本実施形態によれば、カメラ１１，１２，１４，１５の１フレームの撮影映像に対して、輝度変換用画像フィルタ１７により、変換対象画素と隣接画素との平均輝度を変換対象画素の新たな輝度とする輝度変換処理を行い、輝度変換処理後の撮影映像に対する歪み補正処理を行うことによって、干渉縞の少ない視認性に優れた俯瞰画像１を得ることができる。

なお、本発明は、このような構成に限定されるものではなく、必要に応じて種々の変更が可能である。

例えば、車両周辺監視装置１０が、車両の速度を検出する車速検出装置を備えるように形成するとともに、輝度変換用画像フィルタ１７が、車速検出装置の検出結果に基づいて、車両が所定の速度以上の速度で走行していることを条件とした輝度変換処理を行うように形成してもよい。このような構成によれば、輝度変換処理を車両の走行時に限定して行うことができるので、輝度変換用画像フィルタ１７の処理負担を軽減することができる。

また、車両周辺監視画像として、俯瞰画像１以外の画像を表示するようにしてもよく、例えば、図６に示すような車両の側方を監視可能とされたいわゆるサイドビュー画像２５を表示するようにしてもよい。なお、図６は、左サイドカメラ１２の撮影映像を用いて生成されて表示されたサイドビュー画像２５を示している。本発明をこのようなサイドビュー画像２５の表示に適用する場合においても、左サイドカメラ１２の撮影映像に対して、輝度変換用画像フィルタ１７による輝度変換処理を経て上で歪み補正処理を行うことによって、干渉縞の少ない視認性に優れたサイドビュー画像２５を表示することができる。

さらに、輝度変換用画像フィルタ１７以外の画像フィルタ（例えば、線形補間フィルタ）をさらに追加するようにしてもよい。

ここで、線形補間フィルタを追加する場合における線形補間フィルタによる線形補間法の具体例について説明する。

まず、前提として、一般的な線形補間法について述べると、図７に示すように、ある画像の座標系における行方向または列方向において互いに隣接する４点の整数座標点上に、それぞれ４つの画素Ａ〜Ｄが位置されているものとする。

なお、図７において、画素Ａの座標点に対する次行同列の座標点上には、画素Ｃが位置されている。また、画素Ａの座標点に対する同行次列の座標点上には、画素Ｂが位置されている。さらに、画素Ａの座標点に対する次行次列の座標点上には、画素Ｄが位置されている。

このような前提の下、線形補間法においては、小数点付きの座標点Ｐに画素を生成するにあたり、座標点Ｐを囲む互いに隣接する各画素Ａ〜Ｄを用いる。

すなわち、座標点Ｐから画素Ａ〜Ｄのそれぞれの座標点までの距離に基づいて各画素Ａ〜Ｄの混合率を変化させて座標点Ｐの画素を生成する。

この座標点Ｐの画素情報は、図７に示すように、画素Ａの座標点から座標点Ｐまでの行方向の距離をｍ〔ピクセル〕（但し、０≦ｍ≦１）、列方向の距離をｎ〔ピクセル〕（但し、０≦ｎ≦１）とすると、次式で表される。

（１−ｍ）×｛（１−ｎ）・Ａ+ｎ・Ｂ｝＋ｍ×｛（１−ｎ）・Ｃ+ｎ・Ｄ｝ （１）
但し、（１）式におけるＡ〜Ｄは、各画素Ａ〜Ｄのぞれぞれの画素情報である。

このような線形補間法は、画像の画素の変化を滑らかにして画質を向上させるために行われる場合が多かった。

そして、このような線形補間法を本発明に適用する場合には、以下の２種類の線形補間法が考えられる。

まず、第１の線形補間法は、前述した第１の輝度変換処理方法をともなう画質優先型の線形補間法である。この第１の線形補間法を説明するために、図８に示すように、カメラの撮影映像における同一ラインに属する互いに隣接する画素Ａ、Ｂと、画素Ａに対して次行において隣接する画素Ｃと、この画素Ｃに同一ラインにおいて隣接し、かつ、画素Ｂに対して次行において隣接する画素Ｄと、画素Ｃに対して次行のラインにおいて隣接する画素Ｅと、この画素Ｅに同一ラインにおいて隣接し、かつ、画素Ｄに対して次行において隣接する画素Ｆとを仮定する。

そして、第１の線形補間法においては、まず、これら画素Ａ〜Ｆに、第１の輝度変換処理方法を適用する。すなわち、画素Ａ（変換対象画素）の輝度Ｌ_Ａと、画素Ｃ（隣接画素）の輝度Ｌ_Ｃとの平均輝度（Ｌ_Ａ+Ｌ_Ｃ）／２を、画素Ａの新たな輝度とし、画素Ｂ（変換対象画素）の輝度Ｌ_Ｂと、画素Ｄ（隣接画素）の輝度Ｌ_Ｄとの平均輝度（Ｌ_Ｂ+Ｌ_Ｄ）／２を、画素Ｂの新たな輝度とする。また、画素Ｃ（変換対象画素）の輝度Ｌ_Ｃと、画素Ｅ（隣接画素）の輝度Ｌ_Ｅとの平均輝度（Ｌ_Ｃ+Ｌ_Ｅ）／２を、画素Ｃの新たな輝度とし、画素Ｄ（変換対象画素）の輝度Ｌ_Ｄと、画素Ｆ（隣接画素）の輝度Ｌ_Ｆとの平均輝度（Ｌ_Ｄ+Ｌ_Ｆ）／２を、画素Ｄの新たな輝度とする。

そして、このような第１の輝度変換処理方法が適用された後の画素Ａ〜Ｄに対して、前述した（１）式を適用することによって、図８において画素Ａ〜Ｄに囲まれた座標点Ｐの画素を生成する線形補間を実行する。

このような第１の線形補間法は、後述の第２の線形補間法に比べて画素の変化を滑らかにして画質を高めることにより適した方法とされている。

次に、第２の線形補間法は、前述した第２の輝度変換処理方法をともなう速度優先型の線形補間法である。この第２の線形補間法を説明するために、図９に示すように、カメラの撮影映像における同一ラインに属する互いに隣接する画素Ａ、Ｂと、画素Ａに対して次行において隣接する画素Ｃと、この画素Ｃに同一ラインにおいて隣接し、かつ、画素Ｂに対して次行において隣接する画素Ｄとを仮定する。

そして、第２の線形補間法においては、まず、これら画素Ａ〜Ｄに、第２の輝度変換処理方法を適用する。すなわち、画素Ａの輝度Ｌ_Ａと、画素Ｃの輝度Ｌ_Ｃとの平均輝度（Ｌ_Ａ+Ｌ_Ｃ）／２を、画素Ａおよび画素Ｃの双方の新たな輝度とし、画素Ｂの輝度Ｌ_Ｂと、画素Ｄの輝度Ｌ_Ｄとの平均輝度（Ｌ_Ｂ+Ｌ_Ｄ）／２を、画素Ｂおよび画素Ｄの双方の新たな輝度とする。

そして、このような第２の輝度変換処理が行われた後の画素Ａ〜Ｄに対して、前述した（１）式を適用することによって、図９において画素Ａ〜Ｄに囲まれた座標点Ｐの画素を生成する線形補間を実行する。

このような第２の線形補間法を採用する場合には、第１の線形補間法に比べて線形補間に用いられる画素の個数を削減して線形補間を迅速に行うことにより適した方法とされている。

さらにまた、図１０に示すように車両周辺監視装置２６を構成してもよい。

図１０に示す車両周辺監視装置２６は、大部分の構成が図１に示した車両周辺監視装置１０と同様である。

ただし、図１０に示す車両周辺監視装置２６は、図１に示したように輝度変換用画像フィルタ１７に半画面バッファ１８と全画面バッファ１９とが接続されているのではなく、カメラ１１，１２，１４，１５と輝度変換用画像フィルタ１７との間に１つのバッファ２８が接続されているとともに、輝度変換用画像フィルタ１７の直後に画像生成部２１が接続されている。

また、バッファ２８は、奇数フィールドを格納するための領域２８ａと、偶数フィールドを格納するための領域２８ｂとを有している。

このような構成を用いる場合においても、図１に示した構成と同様に、バッファ２８に格納されたカメラ１１，１２，１４，１５の撮影映像に対して輝度変換用画像フィルタ１７による輝度変換処理を経た上で画像生成部２１による歪み補正処理および視点変換処理を行うことによって、図５に示したものと同様の干渉縞のない良好な俯瞰画像１を表示することが可能である。

また、本発明は、広角レンズを用いて撮影された撮影映像に対する歪み補正処理を行って所望の画像を得るものであれば、車両周辺監視装置以外の画像処理装置に適用するようにしてもよい。

本発明に係る車両周辺監視装置の実施形態を示すブロック図 本発明に係る車両周辺監視装置の実施形態において、第１の輝度変換処理方法を説明するための説明図 本発明に係る車両周辺監視装置の実施形態において、第２の輝度変換処理方法を説明するための説明図 本発明に係る車両周辺監視装置の実施形態において、カメラの撮影映像を示す図 本発明に係る車両周辺監視装置の実施形態において、俯瞰画像の表示状態を示す図 本発明に係る車両周辺監視装置の実施形態において、車両周辺監視画像の一例としてのサイドビュー画像を示す図 一般的な線形補間法を説明するための説明図 本発明に係る車両周辺監視装置の実施形態において、第１の線形補間法を説明するための説明図 本発明に係る車両周辺監視装置の実施形態において、第２の線形補間法を説明するための説明図 本発明に係る車両周辺監視装置の実施形態において、図１とは異なる実施形態を示すブロック図 従来の問題点を示す説明図

符号の説明

１ 俯瞰画像
１０ 車両周辺監視装置
１１ フロントカメラ
１２ 左サイドカメラ
１４ 右サイドカメラ
１５ バックカメラ
１７ 輝度変換用画像フィルタ
２１ 画像生成部
２２ 表示部

Claims (15)

1. 広角レンズを用いて１フレームを奇数ラインからなる奇数フィールドと偶数ラインからなる偶数フィールドとに分割して撮影するように形成されたインターレース方式の撮影装置と、
   この撮影装置の撮影映像に対する歪み補正処理を行うことによって所望の表示画像を生成する画像生成装置と、
   この画像生成装置によって生成された前記表示画像を表示する表示装置と
   を備えた画像処理装置であって、
   画像処理装置本体は、前記撮影装置の撮影映像における所定のラインに属する任意の画素の輝度と、当該任意の画素に隣接する画素であって前記所定のラインに隣接する当該所定のラインとは偶奇が異なる他のラインに属する画素の輝度との平均値である平均輝度を算出し、算出された前記平均輝度を前記任意の画素の輝度に換わる当該任意の画素の新たな輝度とする輝度変換処理を行う輝度変換装置を備えており、
   前記画像生成装置は、前記輝度変換装置による前記輝度変換処理が行われた後の前記撮影映像を用いて前記表示画像を生成するように形成されていること
   を特徴とする画像処理装置。
2. 前記輝度変換装置は、前記所定のラインとしての１フレームにおける第Ｎ−１行目（Ｎは、２以上かつ１フレームのライン数以下の任意の自然数）のラインに属する任意の画素の輝度と、当該任意の画素に隣接する画素であって第Ｎ行目のラインに属する画素の輝度との前記平均輝度を、当該任意の画素の新たな輝度とするような前記輝度変換処理を行うように形成されていること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記輝度変換装置は、前記所定のラインとしての１フレームにおける第２ｎ−１行目（ｎは、１以上かつ２ｎ−１を１フレームの最後の奇数ラインの行番号とするような値以下の任意の自然数）のラインに属する任意の画素の輝度と、前記所定のラインとしての第２ｎ行目のライン（但し、当該第２ｎ行目のラインが存在する場合に限る）に属する任意の画素であって第２ｎ−１行目のラインにおける前記任意の画素に隣接する画素の輝度との前記平均輝度を、第２ｎ−１行目のラインにおける前記任意の画素および第２ｎ行目のラインにおける前記任意の画素のぞれぞれの新たな輝度とするような前記輝度変換処理を行うように形成されていること
   を特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記輝度変換装置は、前記撮影装置の撮影映像における全映像領域を対象とした前記輝度変換処理を行うように形成されていること
   を特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記画像処理装置本体は、動体検出装置を備えており、
   前記輝度変換装置は、前記撮影装置の撮影映像のうちの前記動体検出装置によって検出された前記動体が映された映像領域を対象とした前記輝度変換処理を行うように形成されていること
   を特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
6. 前記広角レンズは、魚眼レンズとされていること
   を特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 車両に搭載され、広角レンズを用いて前記車両の周辺における所定の撮影領域を撮影可能とされた撮影装置であって、１フレームを奇数ラインからなる奇数フィールドと偶数ラインからなる偶数フィールドとに分割して撮影するように形成されたインターレース方式の撮影装置と、
   この撮影装置の撮影映像に対する歪み補正処理を行うことによって、前記車両の周辺における所定の監視領域を監視するための車両周辺監視画像を生成する画像生成装置と、
   この画像生成装置によって生成された前記車両周辺監視画像を表示する表示装置と
   を備えた車両周辺監視装置であって、
   車両周辺監視装置本体は、前記撮影装置の撮影映像における所定のラインに属する任意の画素の輝度と、当該任意の画素に隣接する画素であって前記所定のラインに隣接する当該所定のラインとは偶奇が異なる他のラインに属する画素の輝度との平均値である平均輝度を算出し、算出された前記平均輝度を前記任意の画素の輝度に換わる当該任意の画素の新たな輝度とする輝度変換処理を行う輝度変換装置を備えており、
   前記画像生成装置は、前記輝度変換装置による前記輝度変換が行われた後の前記撮影映像を用いて前記車両周辺監視画像を生成するように形成されていること
   を特徴とする車両周辺監視装置。
8. 前記輝度変換装置は、前記所定のラインとしての１フレームにおける第Ｎ−１行目（Ｎは、２以上かつ１フレームのライン数以下の任意の自然数）のラインに属する任意の画素の輝度と、当該任意の画素に隣接する画素であって第Ｎ行目のラインに属する画素の輝度との前記平均輝度を、当該任意の画素の新たな輝度とするような前記輝度変換処理を行うように形成されていること
   を特徴とする請求項７に記載の車両周辺監視装置。
9. 前記輝度変換装置は、前記所定のラインとしての１フレームにおける第２ｎ−１行目（ｎは、１以上かつ２ｎ−１を１フレームの最後の奇数ラインの行番号とするような値以下の任意の自然数）のラインに属する任意の画素の輝度と、前記所定のラインとしての第２ｎ行目のライン（但し、当該第２ｎ行目のラインが存在する場合に限る）に属する任意の画素であって第２ｎ−１行目のラインにおける前記任意の画素に隣接する画素の輝度との前記平均輝度を、第２ｎ−１行目のラインにおける前記任意の画素および第２ｎ行目のラインにおける前記任意の画素のぞれぞれの新たな輝度とするような前記輝度変換処理を行うように形成されていること
   を特徴とする請求項７に記載の車両周辺監視装置。
10. 前記輝度変換装置は、前記撮影装置の撮影映像における全映像領域を対象とした前記輝度変換処理を行うように形成されていること
    を特徴とする請求項７乃至請求項９のいずれか１項に記載の車両周辺監視装置。
11. 前記車両周辺監視装置本体は、前記車両の周辺に存在する動体を検出する動体検出装置を備えており、
    前記輝度変換装置は、前記撮影装置の撮影映像のうちの前記動体検出装置によって検出された前記動体が映された映像領域を対象とした前記輝度変換処理を行うように形成されていること
    を特徴とする請求項７乃至請求項９のいずれか１項に記載の車両周辺監視装置。
12. 前記車両周辺監視装置本体は、前記車両の速度を検出する車速検出装置を備えており、
    前記輝度変換装置は、前記車速検出装置の検出結果に基づいて、前記車両が所定の速度以上の速度で走行していることを条件とした前記輝度変換処理を行うように形成されていること
    を特徴とする請求項７乃至請求項１０のいずれか１項に記載の車両周辺監視装置。
13. 前記車両周辺監視画像は、前記車両およびその周辺を前記車両の上方から見下ろすような画像である俯瞰画像を含むこと
    を特徴とする請求項７乃至請求項１２のいずれか１項に記載の車両周辺監視装置。
14. 前記車両周辺監視画像は、サイドビュー画像を含むこと
    を特徴とする請求項７乃至請求項１３のいずれか１項に記載の車両周辺監視装置。
15. 前記広角レンズは、魚眼レンズとされていること
    を特徴とする請求項７乃至請求項１４のいずれか１項に記載の車両周辺監視装置。

Images