JP2011181019A - 俯瞰画像生成装置 - Google Patents

Abstract

【課題】感度調整機能を備えた複数カメラを用いて俯瞰画像を生成する場合において、つなぎ合わされた俯瞰画像における境界部分の輝度差を低減させて境界部を目立たなくすることが可能な俯瞰画像生成装置を提供すること。
【解決手段】 俯瞰画像生成装置１において、画像変換手段は、隣接する俯瞰画像の境界部における輝度差を検出し、検出された輝度差が低減されるように、隣接する俯瞰画像を生成するための画像情報を撮影するカメラ手段２〜５のガンマ補正手段１３ａ〜１３ｄにおけるガンマ値を変更する。
【選択図】図１

Description

本発明は俯瞰画像生成装置に関し、より詳細には、周囲の状況を撮影できるように複数のカメラを設置し、カメラにより撮影された画像情報に基づいて周囲の情報を示した俯瞰画像を生成することが可能な俯瞰画像生成装置に関する。

今日では、周囲を撮影することが可能なように複数のカメラを車両などに設置し、このカメラで撮影された画像を画像解析することによって車両上空から俯瞰した画像（俯瞰画像）を作成して、車両の周囲の状況を液晶表示モニタなどに表示させる俯瞰画像生成装置が提案されている（例えば、特許文献１〜特許文献３参照）。

このような俯瞰画像生成装置を用いることにより、運転席に座った状態で車両の周囲の状況を判断することができるので、容易かつ確実に車両を駐車スペース等へと案内することが可能となる。

特開２００７−３６６６８号公報 特開２００７−１５６７９２号公報 特開２００８−３３９０１号公報

ところで、一般的なカメラには、周囲の明るさに応じて撮影感度の調整を行う感度調整機能が設けられている。この感度調整機能によって、撮影環境が明るい場合（光量が多い場合）であっても被写体が白くつぶれて撮影されてしまう現象（いわゆる白飛び）を防ぐことができ、また、撮影環境が暗い場合であっても暗い部分の階調がつぶれて全体的に黒く撮影されてしまう現象（いわゆる黒つぶれ）を防ぐことができるようになっている。

一般的なカメラには、上述したような感度調整機能が設けられているため、個々のカメラで撮影された画像に基づいて俯瞰画像を生成し、生成された俯瞰画像をつなぎ合わせると、つなぎ合わされた俯瞰画像における境界部分の輝度差が顕著になる場合があり得るという問題があった。

本発明は、上記問題に鑑みてなされたものであり、感度調整機能を備えたカメラを用いて周囲の俯瞰画像を生成する場合において、つなぎ合わされた俯瞰画像における境界部分の輝度差を低減させて境界部を目立たなくすることが可能な俯瞰画像生成装置を提供することを課題とする。

上記課題を解決するために、本発明に係る俯瞰画像生成装置は、撮影対象を撮影する撮影手段と、撮影環境の光量に応じて前記撮影手段により撮影された画像情報の感度調整を行う感度調整手段とを有し、前記撮影手段における前記撮影対象が互いに隣接するようにして配設された複数のカメラ手段と、該複数のカメラ手段により撮影されたそれぞれの画像情報に基づいてそれぞれの撮影領域に関する俯瞰画像を生成すると共に、隣接する前記撮影対象に基づいて生成された前記俯瞰画像をつなぎ合わせることにより広範囲の俯瞰画像を生成する画像変換手段とを備え、前記カメラ手段は、前記撮影手段により撮影された画像情報のガンマ補正を行うガンマ補正手段を有し、前記画像変換手段は、前記隣接する俯瞰画像の境界部における輝度差を検出し、検出された該輝度差が低減されるように、前記隣接する俯瞰画像を生成するための画像情報を撮影する前記カメラ手段の前記ガンマ補正手段におけるガンマ値を変更することを特徴とする。

ここで、ガンマ補正とは、画像情報のデータと、そのデータが実際に表示手段などに出力される際の画像信号（出力信号）との相対関係をより自然に近い表示状態とするために、画像の明るさの変化に応じて画像信号の出入力電圧（出入力信号）の変化を補正する処理を意味する。ガンマ補正においてガンマ値を変更することによって、画像信号の強さを輝度に応じて調整することが可能となる。例えば、ガンマ値が１の場合には、入力信号と出力信号との関係が線形関係となるが、ガンマ値が１よりも小さくなるに従って、小さな入力信号の値に対応する出力信号の出力値が、入力信号よりも大きな値に変換され、大きな入力信号の値に対応する出力信号の出力値が、入力信号よりも小さな値に変換されることになる。このように、入力信号と出力信号との関係が調整されることにより、ガンマ値が小さくなればなるほど、輝度の低い部分（暗い部分）が相対的に明るくなるように補正され、輝度の高い部分（明るい部分）が相対的に暗くなるように補正されることになる。

本発明に係る俯瞰画像生成装置では、画像変換手段が、隣接する俯瞰画像の境界部における輝度の差を検出し、検出された輝度差が低減されるように、隣接する俯瞰画像を生成するための画像情報を撮影するカメラ手段のガンマ補正手段におけるガンマ値を変更する。このようにガンマ補正手段のガンマ値を変更することにより、撮影手段により撮影された画像情報に対して感度調整手段による感度調整効果を生かしつつ、輝度の低い部分を比較的に明るくなるように補正し、または輝度の高い部分を低く比較的に暗くなるように補正することができる。

従って、隣接する俯瞰画像との境界部における輝度を比較することにより、境界部の輝度が隣接する俯瞰画像より高い場合にはガンマ値を小さくして隣接する俯瞰画像の輝度に近づくように輝度を低減させることができ、境界部の輝度が隣接する俯瞰画像より低い場合にはガンマ値を大きくすることによって隣接する俯瞰画像の輝度に近づくように輝度を増大させることが可能となる。このようにして境界部の輝度を隣接する俯瞰画像の輝度に近づけることによって、俯瞰画像における隣接領域の境界部の輝度差を低減させて境界部を目立たなくすることができる。このため、俯瞰画像を確認しながら周囲の状況を判断する際において、俯瞰画像に関する違和感を感じにくくなり、周囲の状況を容易かつ確実に認識することが可能となる。

また、上述した俯瞰画像生成装置は、車両の進行方向を検出する車両進行方向検出手段を備え、前記複数のカメラ手段が前記車両の周囲を撮影できるように当該車両に配設され、前記画像変換手段が、前記車両進行方向検出手段により検出された進行方向を撮影するカメラ手段に隣接された他のカメラ手段の前記ガンマ補正手段におけるガンマ値を変更するものであってもよい。

一般的に、車両を駐車スペースなどに停車させようとするときに、車両周囲の状況を俯瞰画像によって液晶表示モニタなどに表示させることが多い。このため、車両が後退している場合には、車両を後退させつつ停車処理を行っていると判断することができ、車両が前進している場合には、車両を前進させつつ停車処理を行っていると判断することができる。ここで、車両を後退させる場合における運転者の注意は、車両後方側の俯瞰画像に注がれやすくなる。このため、車両後方側の様子を撮影するカメラ手段の輝度を基準として、この車両後方側のカメラ手段以外の他のカメラ手段のガンマ値を調整することにより、注意が注がれている車両後方側の俯瞰画像の輝度を維持したまま、隣接する俯瞰画像の輝度を車両後方側の俯瞰画像の輝度に合うように調整することが可能となる。

同様に、車両を前進させる場合、運転者の注意は、車両前方側の俯瞰画像に注がれやすくなるため、車両前方側の様子を撮影するカメラ手段の輝度を基準として、この車両前方側のカメラ手段以外の他のカメラ手段のガンマ値を調整することにより、注意が注がれている車両前方側の俯瞰画像の輝度を維持したまま、隣接する俯瞰画像の輝度を車両前方側の俯瞰画像の輝度に合うように調整することが可能となる。

本発明に係る俯瞰画像生成装置では、画像変換手段が、隣接する俯瞰画像の境界部における輝度の差を検出し、検出された輝度差が低減されるように、隣接する俯瞰画像を生成するための画像情報を撮影するカメラ手段のガンマ補正手段におけるガンマ値を変更する。このようにガンマ補正手段のガンマ値を変更することにより、撮影手段により撮影された画像情報に対して感度調整手段による感度調整効果を生かしつつ、輝度の低い部分を比較的明るくなるように補正し、または輝度の高い部分を低く比較的暗くなるように補正することができる。

従って、隣接する俯瞰画像との境界部における輝度を比較することにより、境界部の輝度が隣接する俯瞰画像より高い場合にはガンマ値を小さくして隣接する俯瞰画像の輝度に近づくように輝度を低減させることができ、境界部の輝度が隣接する俯瞰画像より低い場合にはガンマ値を大きくすることによって隣接する俯瞰画像の輝度に近づくように輝度を増大させることが可能となる。このようにして境界部の輝度を隣接する俯瞰画像の輝度に近づけることによって、俯瞰画像における隣接領域の境界部の輝度差を低減させて境界部を目立たなくすることができる。このため、俯瞰画像を確認しながら周囲の状況を判断する際において、俯瞰画像に違和感を感じにくくなり、周囲の状況を容易かつ確実に認識することが可能となる。

本実施の形態に係る俯瞰画像表示システムの概略構成を示したブロック図である。 本実施の形態に係る第１カメラ〜第４カメラの設置位置および撮影可能範囲を示した図である。 本実施の形態に係るガンマ調整部の入力信号に対する出力信号の出力値状態をガンマ値に応じて示した図である。 （ａ）は、撮影対象の輝度が高い場合における撮影画像の輝度変化を示し、（ｂ）は、撮影対象の輝度が低い場合における撮影画像の輝度変化を示し、（ｃ）は本実施の形態に係る感度調整部において輝度に関する感度の調整を行った後の輝度変化を示した図である。 本実施の形態に係る俯瞰画像表示システムの本体部に関する概略構成を示したブロック図である。 本実施の形態に係る俯瞰画像表示システムによりガンマ補正が行われる前の俯瞰画像を示した図である。 本実施の形態に係る画像変換処理部によるガンマ値の補正処理を示したフローチャートである。 本実施の形態に係る第１カメラおよび第２カメラにおける画像情報の輝度変化を示した図であって、（ａ）は感度調整部による調整が行われない場合を示し、（ｂ）は感度調整部による調整が行われた場合を示し、（ｃ）は第２カメラのガンマ調整部におけるガンマ値の補正を行った場合を示している。 本実施の形態に係る第１カメラおよび第３カメラにおける画像情報の輝度変化を示した図であって、（ａ）は感度調整部による調整が行われない場合を示し、（ｂ）は感度調整部による調整が行われた場合を示し、（ｃ）は第３カメラのガンマ調整部におけるガンマ値の補正を行った場合を示している。 本実施の形態に係る第２カメラ〜第４カメラにおける画像情報の輝度変化を示した図であって、（ａ）は感度調整部による調整が行われない場合を示し、（ｂ）は感度調整部による調整が行われた場合を示し、（ｃ）は第４カメラのガンマ調整部におけるガンマ値の補正を行った場合を示している。 本実施の形態に係る俯瞰画像表示システムによりガンマ補正が行われた後の俯瞰画像を示した図である。

以下、本発明の実施の形態を、添付図面を参照して説明する。

図１は、本発明に係る俯瞰画像生成装置の一例である俯瞰画像表示システムの概略構成を示したブロック図である。

俯瞰画像表示システム（俯瞰画像生成装置）１は、図１に示すように、第１カメラ（カメラ手段）２と、第２カメラ３（カメラ手段）と、第３カメラ（カメラ手段）４と、第４カメラ（カメラ手段）５と、本体部６と、液晶表示モニタ７と、シフト位置センサ（車両進行方向検出手段）８とを備えている。第１カメラ２〜第４カメラ５は、車両の周囲を撮影するために車両の前後左右に設置されており、それぞれ１８０度の画角を備えている。

図２は、車両１０を上方向から示した図であり、第１カメラ２〜第４カメラ５が車両１０の前バンパ、左側ドアミラー、右側ドアミラー、後バンパの各位置に設置された状況およびそれぞれのカメラにより撮影可能な範囲（Ｆ，ＬＳ，ＲＳ，Ｒ）を示している。図２を用いて具体的に説明すると、第１カメラ２は、前方斜め下方向にレンズを向けた状態で車両１０の前側のバンパに設けられており、車両１０の前方範囲Ｆを撮影することが可能となっている。第２カメラ３は、右側斜め下方向にレンズを向けた状態で車両１０の右側ドアミラー近傍に設けられており、車両１０の右側方範囲ＲＳを撮影することが可能となっている。第３カメラ４は、左側斜め下方向にレンズを向けた状態で車両１０の左側ドアミラー近傍に設けられており、車両１０の左側方範囲ＬＳを撮影することが可能となっている。そして、第４カメラ５は、後方斜め下方向にレンズを向けた状態での車両１０の後側のバンパに設けられており、車両１０の後方範囲Ｒを撮影することが可能となっている。

第１カメラ２は、撮影部（撮影手段）１１ａと、Ａ／Ｄ変換部１２ａと、ガンマ調整部（ガンマ補正手段）１３ａと、感度調整部（感度調整手段）１４ａと、Ｄ／Ａ変換部１５ａとを有している。撮影部１１ａは、撮影領域の光学像を電気信号に変換する役割を有し、Ａ／Ｄ変換部１２ａは、撮影部１１ａより出力された電気信号を、アナログ信号からデジタル信号へと変換する役割を有している。Ａ／Ｄ変換部１２ａにおいてデジタル信号化された電気信号は、画像信号としてガンマ調整部１３ａへと出力される。

ガンマ調整部１３ａは、Ａ／Ｄ変換部１２ａにおいてデジタル信号化された画像信号に対するガンマ補正を行う役割を有している。ガンマ補正とは、画像信号などのデータと、そのデータが実際に液晶表示モニタ７などに出力される際の信号との相対関係をより自然に近い表示状態とするために、画像の明るさの変化に応じて画像信号の出入力電圧（出入力信号）の変化を補正する処理を意味し、ガンマ調整部１３ａにおいて設定されるガンマ値（γ）の値によって、Ａ／Ｄ変換部１２ａより取得した画像信号の強さを輝度に応じて調整することが可能となっている。

図３（ａ）〜図３（ｈ）は、ガンマ値が１．０〜０．３（０．１刻みの値）の場合における入力信号と出力信号との関係を示している。出力信号は、入力信号のγ乗の値として求められる。図３（ａ）に示すように、ガンマ値：γ＝１．０の場合には、入力信号と出力信号との関係が線形関係となる。しかしながら、γの値が１．０よりも小さくなる従って、小さな入力信号の値に対応する出力信号の出力値が、入力信号よりも大きな値に変換され、大きな入力信号の値に対応する出力信号の出力値が、入力信号よりも小さな値に変換されることになる。このように、入力信号と出力信号との関係が調整されることにより、ガンマ値が小さくなればなるほど、画像信号において輝度の低い部分（暗い部分）が相対的に明るくなるように補正され、画像信号において輝度の高い部分（明るい部分）が相対的に暗くなるように補正されることになる。

ガンマ調整部１３ａにおけるガンマ値は、所定の値（本実施の形態では、後述するように、γ＝０．６に設定する）に初期値として設定されるが、本体部６（より詳細には、後述する画像変換処理部２３）より受信するガンマ値制御信号に応じて、ガンマ調整部１３ａにおけるガンマ値を変更することが可能となっている。

感度調整部１４ａは、ガンマ調整部１３ａより受信した画像信号に基づいて、撮影画像の感度調整を行う機能を有している。図４（ａ）〜（ｃ）は、撮影部１１ａにより撮影された車両前方の画像における左右方向の輝度分布を示した図である。図４（ａ）〜（ｃ）に示す輝度分布によると、車両の正面位置（図４（ａ）の中央部分の範囲）では輝度が低くなっており（輝度値の変化曲線が低い値となっている）、その左右の範囲における輝度は、正面位置よりも輝度が高く（輝度値の変化曲線が正面位置よりも高い値となっている）なっている。

感度調整部１４ａは、撮影された画像の全体的な輝度の平均値である平均輝度レベルを求め、撮影部１１ａによる撮影に適した信号レベル（以下、この信号レベルを輝度制御目標レベルとする）となるように、輝度の調整を行う。

例えば、図４（ａ）に示すように、撮影環境の全体の輝度レベルが高い場合（撮影環境が明るい場合）、感度調整部１４ａは、撮影画像における、いわゆる白飛びを回避するために、画像全体の平均輝度レベルが輝度制御目標レベルとなるように（図４（ｃ）参照）感度調整を行う。一方で、図４（ｂ）に示すように撮影画像の全体の輝度レベルが低い場合（撮影環境が暗い場合）、感度調整部１４ａは、撮影画像におけるいわゆる黒つぶれを回避するために、画像全体の平均輝度レベルが輝度制御目標レベルになるように（図４（ｃ）参照）感度調整を行う。同様にして、他のカメラ（第２カメラ３〜第４カメラ５）のそれぞれの感度調整部１４ｂ〜１４ｄにおいてカメラ毎に感度調整を行うことよって、撮影された画像の白飛びや黒つぶれの発生を防止することが可能となる。

Ｄ／Ａ変換部１５ａは、感度調整部１４ａにより感度調整が行われた画像信号をアナログ信号に変換する処理を行う。Ｄ／Ａ変換部１５ａによってアナログ信号化された画像信号は、本体部６へと出力される。

また、第２カメラ３、第３カメラ４および第４カメラ５においても、第１カメラ２と同様に、撮影部１１ｂ〜１１ｄ、Ａ／Ｄ変換部１２ｂ〜１２ｄ、ガンマ調整部１３ｂ〜１３ｄ、感度調整部１４ｂ〜１４ｄおよびＤ／Ａ変換部１５ｂ〜１５ｄがそれぞれ設けられている。第２カメラ３〜第４カメラ５の撮影部１１ｂ〜１１ｄ、Ａ／Ｄ変換部１２ｂ〜１２ｄ、ガンマ調整部１３ｂ〜１３ｄ、感度調整部１４ｂ〜１４ｄおよびＤ／Ａ変換部１５ｂ〜１５ｄは、第１カメラ２の撮影部１１ａ、Ａ／Ｄ変換部１２ａ、ガンマ調整部１３ａ、感度調整部１４ａおよびＤ／Ａ変換部１５ａと同様の構成であり、同様の処理を行うことが可能であるため、ここでの詳細な説明は省略する。

図５は、本体部６の概略構成を示したブロック図である。本体部６には、Ａ／Ｄ変換部２０ａ〜２０ｄ、デコード部２１ａ〜２１ｄ、フレームメモリ部２２ａ〜２２ｄ、画像変換処理部（画像変換手段）２３、変換テーブル記録部（画像変換手段）２４、出力用フレームメモリ部２５、エンコード部２６、Ｄ／Ａ変換部２７を有している。

Ａ／Ｄ変換部２０ａ〜２０ｄは、第１カメラ２〜第４カメラ５より入力された画像信号をデジタル信号化する機能を有し、デコード部２１ａ〜２１ｄは、Ａ／Ｄ変換部２０ａ〜２０ｄによりデジタル信号化された画像信号をＲＧＢ信号にデコードする役割を有している。フレームメモリ部２２ａ〜２２ｄは、デコード部２１ａ〜２１ｄにおいてデコードされた画像信号を、第１カメラ２〜第４カメラ５の撮影画像のフレームを構成するデータとして第１カメラ２〜第４カメラ５毎に記録する役割を有している。

変換テーブル記録部２４には、フレームメモリ部２２ａ〜２２ｄに記録された第１カメラ２〜第４カメラ５において撮影された撮影画像を、図６および図１１に示すような俯瞰画像（車両周囲および車両を上方から見降ろしたような視点で描く画像）に変換するために必要な変換テーブル２４ａ〜変換テーブル２４ｄが記録されている。変換テーブル２４ａ〜変換テーブル２４ｄは、それぞれ第１カメラ２〜第４カメラ５の撮影画像の各画素と画像変換処理部２３により生成される俯瞰画像における各画素とに対応付けられた画像変換情報（変換データ）が記録されている。

より詳細に説明すると、俯瞰画像は、図６に示すように車両１０ａの前方部分を示すＡ領域と、車両１０ａの右側方部分を示すＢ領域と、車両１０ａの左側方部分を示すＣ領域と、車両１０ａの後方部分を示すＤ領域とにより構成されている。この俯瞰画像の各領域Ａ〜Ｄに関して、Ａ領域の俯瞰画像は、第１カメラ２によって撮影された撮影画像に基づいて作成され、Ｂ領域の俯瞰画像は、第２カメラ３によって撮影された撮影画像に基づいて作成され、Ｃ領域の俯瞰画像は、第３カメラ４によって撮影された撮影画像に基づいて作成され、Ｄ領域の俯瞰画像は、第４カメラ５によって撮影された撮影画像に基づいて作成される。

俯瞰画像の生成処理において用いられる変換テーブル２４ａには、第１カメラ２の撮影画像の各画素と俯瞰画像のＡ領域の各画素とが対応づけられた画像変換情報（変換データ）が記録されており、第１カメラ２で撮影された車両１０の前方側の撮影画像の各画素を、変換テーブル２４ａに記録される画像変換情報（変換データ）を用いて画像変換することにより、俯瞰画像のＡ領域を構成する画像を生成することが可能となる。同様に、変換テーブル２４ｂには、第２カメラ３の撮影画像の各画素と俯瞰画像のＢ領域の各画素とが対応づけられた画像変換情報（変換データ）が記録されており、第２カメラ３で撮影された車両１０の右側の撮影画像の各画素を、変換テーブル２４ｂに記録される画像変換情報（変換データ）を用いて画像変換することにより、俯瞰画像のＢ領域を構成する画像を生成することが可能となる。

さらに、変換テーブル２４ｃには、第３カメラ４の撮影画像の各画素と俯瞰画像のＣ領域の各画素とが対応づけられた画像変換情報（変換データ）が記録されており、第３カメラ４で撮影された車両１０の左側の撮影画像の各画素を、変換テーブル２４ｃに記録される画像変換情報（変換データ）を用いて画像変換することにより、俯瞰画像のＣ領域を構成する画像を生成することが可能となる。そして、変換テーブル２４ｄには、第４カメラ５の撮影画像の各画素と俯瞰画像のＤ領域の各画素とが対応づけられた画像変換情報（変換データ）が記録されており、第４カメラ５で撮影された車両１０の後方側の撮影画像の各画素を、変換テーブル２４ｄに記録される画像変換情報（変換データ）を用いて画像変換することにより、俯瞰画像のＤ領域を構成する画像を生成することが可能となる。

画像変換処理部２３は、上述した変換テーブル２４ａ〜２４ｄの画像変換情報（変換データ）を用いて、フレームメモリ部２２ａ〜２２ｄに記録される第１カメラ２〜第４カメラ５の撮影画像を、Ａ領域〜Ｄ領域の俯瞰画像の各画素へと変換させる処理を行う。俯瞰画像への変換処理により生成された画像データは、出力用フレームメモリ部２５に出力される。

そして、出力用フレームメモリ部２５に記録された俯瞰画像の画像データは、エンコード部２６においてＲＧＢ信号からコンポジット信号にエンコードされ、さらに、エンコードされた画像信号がＤ／Ａ変換部２７においてアナログ信号化されて液晶表示モニタ７へと出力されることになる。液晶表示モニタ７へ画像信号を出力することにより、運転者は、車両１０の周囲の情報を、液晶表示モニタ７を通して容易に確認することが可能となる。

また、画像変換処理部２３は、俯瞰画像における隣接領域の境界部の輝度差を低減するために、第１カメラ２〜第４カメラ５のガンマ調整部１３ａ〜１３ｄにおけるガンマ値の調整を行う役割を有している。既に説明したように、第１カメラ２〜第４カメラ５には、感度調整部１４ａ〜１４ｄが設けられており、いわゆる白飛びおよび黒つぶれを防止するために感度調整部１４ａ〜１４ｄでカメラ毎に輝度の調整が行われている。このため、画像変換処理部２３において生成された俯瞰画像の輝度分布は、第１カメラ２〜第４カメラ５の感度調整処理の影響を受けることになり、俯瞰画像のＡ領域〜Ｄ領域における境界部の輝度差が顕著に顕れてしまうおそれがあった。このように俯瞰領域の境界部において輝度が大きく異なる部分が生じると、俯瞰画像全体として明るさに不自然な部分が生ずることになり、ユーザに違和感を与えてしまうおそれがあった。

そこで、画像変換処理部２３は、出力用フレームメモリ部２５に記録される俯瞰画像を解析して隣接する俯瞰領域の輝度の差を求め、それぞれの輝度差が低減されるように、第１カメラ２〜第４カメラ５のガンマ調整部１３ａ〜１３ｄのガンマ値の調整を行う。画像変換処理部２３は、ガンマ調整部１３ａ〜１３ｄにおけるガンマ値の調整を行うにあたり、基本とする俯瞰画像の画像領域をＡ領域〜Ｄ領域より決定する。

ここで、画像変換処理部２３には、車両１０に設けられたオートマチックトランスミッションのシフト位置状態を検出するシフト位置センサ８が電気的につながれている。画像変換処理部２３では、オートマチックトランスミッションのシフト位置状態がリバース状態（オートマチックトランスミッションの操作部が後退用のシフト位置（リバース位置）に設定されている状態）に設定されているか否か、あるいはドライブ状態（オートマチックトランスミッションの操作部が前進用のシフト位置（ドライブ位置）に設定されている状態）であるか否かを、シフト位置センサ８より受信するシフト位置信号によって判断することが可能となっている。

一般に、俯瞰画像を液晶表示モニタ７に表示させる操作は、車両１０を駐車スペースに停車させる場合に多く使用される。このため、シフト位置状態がリバース状態である場合には、車両を後退させつつ停止させるための操作（運転）を行っていると判断することができ、シフト位置状態がドライブ状態である場合には、車両を前進させつつ停車させるための操作（運転）を行っていると判断することができる。車両を後退させる場合、運転者の注意は、車両後方側の俯瞰画像（Ｄ領域）に注がれやすくなるため、車両後方側（俯瞰画像のＤ領域）の様子を撮影する第４カメラ５の輝度を基準として、第４カメラ５以外の各カメラ（第１カメラ２〜第３カメラ４）のガンマ値が調整される。一方で、車両を前進させている場合、運転者の注意は、車両前方側の俯瞰画像（Ａ領域）に注がれやすくなるため、車両前方側（俯瞰画像のＡ領域）の様子を撮影する第１カメラ２の輝度を基準として、第１カメラ２以外の各カメラ（第２カメラ３〜第４カメラ５）のガンマ値が調整される。

図７は、画像変換処理部２３が、第１カメラ２〜第４カメラ５のガンマ調整部１３ａ〜１３ｄにおけるガンマ値を調整する処理を示したフローチャートである。なお、図７に示す処理は、車両１０のインストルメントパネルやカーナビゲーションシステムなどに設けられる操作部（図示省略）の操作により、液晶表示モニタ７に車両の周囲の状況を示した俯瞰画像図（図６に示したような画像）を表示させるための操作が行われた後の処理を示している。

まず画像変換処理部２３は、第１カメラ２〜第４カメラ５のガンマ調整部１３ａ〜１３ｄに対して、ガンマ値の初期値に関する情報（ガンマ値に関する情報の信号をガンマ値制御信号とする）を出力する（ステップＳ．１）。本実施の形態では、ガンマ値の初期値としてγ＝０．６の値を設定して、各カメラ（第１カメラ２〜第４カメラ５）のガンマ調整部１３ａ〜１３ｄに対して初期値に関するガンマ値制御信号を出力する。

各カメラ（第１カメラ２〜第４カメラ５）では、ガンマ調整部１３ａ〜１３ｄにおいて設定されるガンマ値を、受信したガンマ値制御信号のガンマ値に変更して、車両１０の周囲の状況を撮影し、本体部６へと出力する。本体部６では、受信された画像信号に基づいて、画像変換処理部２３が俯瞰画像を作成し、作成された俯瞰画像が出力用フレームメモリ部２５に記録される。

次に、画像変換処理部２３は、シフト位置センサ８よりシフト位置信号を受信して（ステップＳ．２）、シフト位置がリバース状態であるか否か（車両１０が後退状態であるか否か）の判断を行う（ステップＳ．３）。シフト位置がリバース状態である場合（ステップＳ．３においてＹｅｓの場合）、画像変換処理部２３は、ガンマ値設定の優先順位を、車両後方領域を撮影する第４カメラ５を基準として、車両右側領域を撮影する（１）第２カメラ３、車両左側領域を撮影する（２）第３カメラ４、車両前方領域を撮影する（３）第１カメラ２の順番（（１）〜（３）の順番）で、ガンマ調整部１３ｂ、１３ｃ、１３ａのガンマ値の調整を行うことを決定する（ステップＳ．４）。

一方で、シフト位置がリバース状態でない場合（ステップＳ．３においてＮｏの場合）、画像変換処理部２３は、ガンマ値設定の優先順位を、車両前方領域を撮影する第１カメラ２を基準として、車両右側領域を撮影する（１）第２カメラ３、車両左側領域を撮影する（２）第３カメラ４、車両後方領域を撮影する（３）第４カメラ５の順番（（１）〜（３）の順番）で、ガンマ調整部１３ｂ、１３ｃ、１３ｄのガンマ値の調整を行うことを決定する（ステップＳ．５）。

次に、画像変換処理部２３は、出力用フレームメモリ部２５に記録された俯瞰画像のうちステップＳ．４または、ステップＳ．５において輝度判断の基準とされた俯瞰画像の領域（ステップＳ．５の場合にはＡ領域、ステップＳ．４の場合にはＤ領域）と、この領域に隣接する俯瞰画像のＢ領域との輝度差に基づいて、Ｂ領域に関する画像を撮影した第２カメラ３のガンマ調整部１３ｂにおけるガンマ値を調整する（ステップＳ．６）。

図８（ａ）〜（ｃ）は、俯瞰画像のＡ領域とＢ領域との輝度変化を示した図である。なお、図８（ａ）〜（ｃ）は、図６に示す俯瞰画像の矩形枠に沿って、Ｐ８点から右回りにＰ４点まで（Ｐ８〜Ｐ１〜Ｐ２〜Ｐ３〜Ｐ４）の範囲の輝度変化を示しており、Ｐ３点が、俯瞰画像のＡ領域とＢ領域との境界部分に該当する。

図８（ａ）は、第１カメラ２の感度調整部１４ａによる感度調整と、第２カメラ３の感度調整部１４ｂによる感度調整とが行われない場合における、俯瞰画像のＡ領域とＢ領域との輝度変化を示している。図８（ａ）では、便宜上、輝度の値が高い部分も低い部分も図示された状態を示しているが、実際には、第１カメラ２および第２カメラ３の撮影部１１ａ，１１ｂの性能（ダイナミックレンジの範囲など）により、明るい部分に関しては白飛びが生じ、暗い部分に関しては黒つぶれが生ずる可能性が有る。

図８（ａ）に示すように、第１カメラ２の感度調整部１４ａによる感度調整と、第２カメラ３の感度調整部１４ｂによる感度調整とが行われない場合、俯瞰画像の境界部（Ｐ３点）におけるＡ領域の輝度とＢ領域の輝度とが等しくなり、輝度差が生じない状態となる（図８（ａ）のＰ−ＡＢ１参照）。しかしながら、既に図４を用いて説明したように、第１カメラ２の感度調整部１４ａでは、第１カメラ２に適した感度調整が行われ、第２カメラ３の感度調整部１４ｂでは、第２カメラ３に適した感度調整が行われる。このため、全体的な輝度の平均値（平均輝度レベル）と輝度制御目標レベルとが一致するように第１カメラ２と第２カメラ３とで別々に輝度の調整が行われた後に、Ａ領域とＢ領域との俯瞰画像が別々に作成されて、俯瞰画像の境界部におけるＡ領域の輝度とＢ領域の輝度とに差が生じることになる。

俯瞰画像のＡ領域の輝度と俯瞰画像のＢ領域の輝度とが、それぞれ感度調整部１４ａおよび感度調整部１４ｂにおいて調整されているため、図８（ａ）において一致していたＰ３点におけるＡ領域の輝度とＢ領域の輝度とがそれぞれ異なった値となり（図８（ｂ）におけるＰ−ＡＢ２参照）、それぞれの輝度の値にＬ−ＡＢ１だけ輝度差が生じている。

図６は、図８（ｂ）に示した状態における俯瞰画像を示している。図８（ｂ）に示すように、Ｐ３点においてＡ領域の輝度とＢ領域の輝度とには、Ｌ−ＡＢ１だけ輝度差が生じているため、Ａ領域とＢ領域との境界部分の輝度差が顕著に際立った状態となる。このため、画像変換処理部２３は、Ａ領域の輝度とＢ領域の輝度との差が緩和されるように、第２カメラ３のガンマ値の調整を行う。具体的には、図３を示して説明したように、ガンマ値が１．０より小さな値になればなるほど、高い値の輝度が低く抑えられ、低い値の輝度が高めに増大される。このため、画像変換処理部２３は、Ｂ領域を撮影する第２カメラ３のガンマ値を、初期値（本実施の形態ではγ＝０．６）よりも小さな値に変更することによって、Ｐ３点におけるＢ領域側の輝度を、Ａ領域側の輝度に近づけるような調整を行う。

図８（ｃ）に示す場合においては、第２カメラ３のガンマ調整部１３ｂのガンマ値を０．４に変更して、Ｐ３点におけるＢ領域の輝度値を増大させることにより、Ａ領域とＢ領域との境界部分の輝度差をＬ−ＡＢ２まで低減させている（図８（ｃ）のＰ−ＡＢ３、図１１に示すガンマ値変更後の俯瞰画像）。このように、画像変換処理部２３は、Ａ領域とＢ領域との境界部Ｐ３点の輝度差が低減されるようなガンマ値を求めて、第２カメラ３のガンマ調整部１３ｂに対してガンマ値制御信号を出力する。ガンマ調整部１３ｂでは、画像変換処理部２３よりガンマ値制御信号を受信してガンマ値の設定を変更する。

次に、画像変換処理部２３は、出力用フレームメモリ部２５に記録された俯瞰画像のうちステップＳ．４または、ステップＳ．５において輝度判断の基準とされた俯瞰画像の領域と、この領域に隣接する俯瞰画像のＣ領域との輝度差に基づいて、Ｃ領域に関する画像を撮影した第３カメラ４のガンマ値を調整する（ステップＳ．７）。

図９（ａ）〜（ｃ）は、俯瞰画像のＡ領域とＣ領域との輝度変化を示した図である。なお、図９（ａ）〜（ｃ）は、図６に示す俯瞰画像の矩形枠に沿って、Ｐ７点から右回りにＰ３点まで（Ｐ７〜Ｐ８〜Ｐ１〜Ｐ２〜Ｐ３）の範囲の輝度変化を示しており、Ｐ８点が、俯瞰画像のＡ領域とＣ領域との境界部分に該当する。

図９（ａ）は、第１カメラ２の感度調整部１４ａによる感度調整と、第３カメラ４の感度調整部１４ｃによる感度調整とが行われない場合における、俯瞰画像のＡ領域とＣ領域との輝度変化を示している。図９（ａ）においても、図８（ａ）と同様に、便宜上、輝度の値が高い部分も低い部分も図示された状態を示しているが、実際には、白飛びや黒つぶれが生ずる可能性がある。

図９（ａ）に示すように、第１カメラ２の感度調整部１４ａによる感度調整と、第３カメラ４の感度調整部１４ｃによる感度調整とが行われない場合には、俯瞰画像の境界部（Ｐ８点）におけるＡ領域の輝度とＣ領域の輝度とが等しくなり、輝度差が生じない状態となる（図９（ａ）のＰ−ＡＣ１参照）。しかしながら、第１カメラ２の感度調整部１４ａでは、第１カメラ２に適した感度調整が行われ、第３カメラ４の感度調整部１４ｃでは、第３カメラ４に適した感度調整が行われる。このため、全体的な輝度の平均値（平均輝度レベル）と輝度制御目標レベルとが一致するように第１カメラ２と第３カメラ４とで別々に輝度の調整が行われた後に、Ａ領域とＣ領域との俯瞰画像が別々に作成されて、俯瞰画像の境界部におけるＡ領域の輝度とＣ領域の輝度とに差が生じることになる。

俯瞰画像のＡ領域の輝度と俯瞰画像のＣ領域の輝度とが、それぞれ感度調整部１４ａおよび感度調整部１４ｃにおいて調整されているため、図９（ａ）において一致していたＰ８点におけるＡ領域の輝度とＣ領域の輝度とがそれぞれ異なった値となり（図９（ｂ）におけるＰ−ＡＣ２参照）、それぞれの輝度の値に輝度差が生じている。

図６は、図９（ｂ）に示した状態における俯瞰画像を示している。図９（ｂ）に示すように、Ｐ８点においてＡ領域の輝度とＣ領域の輝度とには差が生じているため、Ａ領域とＣ領域との境界部分の輝度差が際立った状態となる。このため、画像変換処理部２３は、Ａ領域の輝度とＣ領域の輝度との差が緩和されるように、第３カメラ４のガンマ値の調整を行う。図９（ｂ）に示す場合において、画像変換処理部２３は、Ｃ領域を撮影する第３カメラ４のガンマ値を、初期値（本実施の形態ではγ＝０．６）よりも大きくすることによって（例えば、γ＝０．８にする）、図９（ｃ）に示すように、Ｐ８点におけるＣ領域側の輝度を、Ａ領域側の輝度に一致させるような調整を行う（図９（ｃ）のＰ−ＡＣ３、図１１に示すガンマ値変更後の俯瞰画像参照）。

このように、画像変換処理部２３は、Ａ領域とＣ領域との境界部Ｐ８点の輝度差が低減されるようなガンマ値を求めて、第３カメラ４のガンマ調整部１３ｃに対してガンマ値制御信号を出力する。ガンマ調整部１３ｃでは、画像変換処理部２３よりガンマ値制御信号を受信してガンマ値の設定を変更する。

次に、画像変換処理部２３は、出力用フレームメモリ部２５に記録された俯瞰画像のうち、ステップＳ．６およびステップＳ．７において輝度差の比較対象とならなかった領域（残された領域）を撮影したカメラ（ステップＳ．４またはステップＳ．５において、優先順位が最後となったカメラ）のガンマ値を調整する処理を行う（ステップＳ．８）。

図１０（ａ）〜（ｃ）は、俯瞰画像のＣ領域とＤ領域とＢ領域との輝度変化を示した図である。なお、図１０（ａ）〜（ｃ）は、図６に示す俯瞰画像の矩形枠に沿って、Ｐ８点から左回りにＰ３点まで（Ｐ８〜Ｐ７〜Ｐ６〜Ｐ５〜Ｐ４〜Ｐ３）の範囲の輝度変化を示しており、Ｐ７点が俯瞰画像のＣ領域とＤ領域との境界部分に該当し、Ｐ４点が、俯瞰画像のＤ領域とＢ領域との境界部分に該当する。

図１０（ａ）は、第２カメラ３の感度調整部１４ｂによる感度調整と、第３カメラ４の感度調整部１４ｃによる感度調整と、第４カメラ５の感度調整部１４ｄによる感度調整とが行われない場合における、俯瞰画像のＣ領域とＤ領域とＢ領域との輝度変化を示している。図１０（ａ）においても、図８（ａ）および図９（ａ）と同様に、便宜上、輝度の値が高い部分も低い部分も図示された状態を示しているが、実際には、白飛びや黒つぶれが生ずる可能性がある。

図１０（ａ）に示すように、第２カメラ３〜第４カメラ５の感度調整部１４ｂ〜１４ｄによる感度調整が行われない場合には、俯瞰画像のＤ領域とＣ領域との境界部Ｐ７点における輝度が等しくなり、輝度差が生じない状態となる（図１０（ａ）のＰ−ＣＤ１参照）と共に、俯瞰画像のＤ領域とＢ領域との境界部Ｐ４点において輝度が等しくなり、輝度差が生じない状態となる（図１０（ａ）のＰ−ＢＤ１参照）。しかしながら、第２カメラ３〜第４カメラ５の感度調整部１４ｂ〜１４ｄでは、第２カメラ３〜第４カメラ５に適した感度調整が行われる。このため、全体的な輝度の平均値（平均輝度レベル）と輝度制御目標レベルとが一致するように第２カメラ３〜第４カメラ５で別々に輝度の調整が行われた後に、Ｂ領域、Ｃ領域およびＤ領域の俯瞰画像が別々に作成されるため、俯瞰画像の境界部における輝度に差が生じることになる。

俯瞰画像のＣ領域の輝度と俯瞰画像のＤ領域の輝度とが、それぞれ感度調整部１４ｃおよび感度調整部１４ｄにおいて調整されているため、図１０（ａ）において一致していたＰ７点におけるＣ領域の輝度とＤ領域の輝度とが、図１０（ｂ）に示すように、それぞれ異なった値となり（図１０（ｂ）におけるＰ−ＣＤ２参照）、また、輝度が一致していたＰ４点の輝度が、Ｂ領域の輝度とＤ領域の輝度とでそれぞれ異なった値となって（図１０（ｂ）におけるＰ−ＢＤ２参照）、それぞれの輝度に差が生じている。

図６は、図１０（ｂ）に示した状態における俯瞰画像を示している。図１０（ｂ）に示すように、Ｐ７点においてＣ領域の輝度とＤ領域の輝度とに差が生じているため、Ｃ領域とＤ領域との境界部分の輝度差が際立った状態となる。また、同様に、Ｐ４点においてＢ領域の輝度とＤ領域の輝度とに差が生じているため、Ｂ領域とＤ領域との境界部分の輝度差が際立った状態となる。

このため、画像変換処理部２３は、Ｃ領域の輝度とＤ領域の輝度との差が緩和されるように、さらに、Ｂ領域の輝度とＤ領域の輝度とが緩和されるように、第４カメラ５のガンマ値の調整を行う。なお、画像変換処理部２３が第４カメラ５のガンマ値の調整を行う場合には、既にステップＳ．６においてガンマ値の調整が行われた後のＢ領域における輝度（図１０（ｃ）に示すＢ領域の輝度）と、ステップＳ．７においてガンマ値の調整が行われた後のＣ領域における輝度（図１０（ｃ）に示すＣ領域の輝度）とに基づいて、ガンマ値の調整を行う。

具体的に、図１０（ｂ）に示す場合には、Ｄ領域を撮影する第４カメラ５のガンマ値を初期値（本実施の形態ではγ＝０．６）よりも小さくして（例えば、γ＝０．５にする）、図１０（ｃ）に示すように、Ｐ７点におけるＤ領域の輝度とＰ４点におけるＤ領域の輝度を低減させて、Ｐ７点におけるＣ領域の輝度とＰ４点におけるＢ領域の輝度とに近づくように（輝度差が低減されるように）調整を行う（図１０（ｃ）のＰ−ＣＤ３およびＰ−ＢＤ３、図１１に示すガンマ値変更後の俯瞰画像参照）。

このように、画像変換処理部２３は、Ｐ７点およびＰ４点における輝度差が低減されるような第４カメラ５のガンマ値を求めて、第４カメラ５のガンマ調整部１３ｄに対してガンマ値制御信号を出力する。ガンマ調整部１３ｄでは、画像変換処理部２３よりガンマ値制御信号を受信してガンマ値の設定を変更する。

そして、画像変換処理部２３は、出力用フレームメモリ部２５に記録される俯瞰画像を読み出して液晶表示モニタ７へ出力する（ステップＳ．９）。このようにガンマ補正を行うことにより輝度調整を行いつつ、液晶表示モニタ７に俯瞰画像を表示させることによって、ガンマ値が所定の値に収束される前であっても、車両の周囲の状況を液晶表示モニタ７に表示させることができ、液晶表示モニタ７に表示される俯瞰画像が断続的な映像となってしまうことを防止することができる。

その後、画像変換処理部２３は、俯瞰画像のＡ領域、Ｂ領域、Ｃ領域およびＤ領域に隣接する画像との境界部の輝度差が、所定の範囲に抑えられているか否かを判断する（ステップＳ．１０）。境界部の輝度差が所定の範囲に抑えられていないと判断した場合（ステップＳ．１０においてＮｏの場合）、画像変換処理部２３は、処理を再度ステップＳ．６に戻して上述したステップＳ．６〜ステップＳ．１０の処理を繰り返し実行する。

一方で、境界部の輝度差が所定の範囲に抑えられていると判断した場合（ステップＳ．１０においてＹｅｓの場合）、画像変換処理部２３は、ガンマ値の設定処理を終了する。このような処理を経て出力された俯瞰画像（図１１参照）は、上述した処理（ステップＳ．６〜ステップＳ．１０の処理）により、俯瞰画像における隣接領域の境界部分の輝度差が低減されて境界部が目立たなくなる。このため、図１１に示すような俯瞰画像を確認しながら車両の駐車処理を行う運転者は、液晶表示モニタ７に示された俯瞰画像を視認する際に、俯瞰画像に対して違和感を感じにくくなり、俯瞰画像による車両の周囲の状況を容易かつ確実に認識することが可能となる。

以上、本発明に係る俯瞰画像生成装置について、図面を用いて詳細に説明したが、本発明に係る俯瞰画像生成装置は、上述した実施の形態に示した例に限定されるものではない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到しうることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、本実施の形態に係る俯瞰画像表示システム１では、車両にカメラが４台設置される場合を一例として示したが、カメラの設置台数は４台に限定されず、３台以下であっても、５台以上であってもよい。また、同様にカメラの設置位置に関しても、実施の形態に示した設置位置には限定されない。

１ …俯瞰画像表示システム（俯瞰画像生成装置）
２ …第１カメラ（カメラ手段）
３ …第２カメラ（カメラ手段）
４ …第３カメラ（カメラ手段）
５ …第４カメラ（カメラ手段）
６ …本体部
７ …液晶表示モニタ
８ …シフト位置センサ（車両進行方向検出手段）
１０、１０ａ …車両
１１ａ〜１１ｄ …（第１カメラ〜第４カメラの）撮影部（撮影手段）
１２ａ〜１２ｄ …（第１カメラ〜第４カメラの）Ａ／Ｄ変換部
１３ａ〜１３ｄ …（第１カメラ〜第４カメラの）ガンマ調整部（ガンマ補正手段）
１４ａ〜１４ｄ …（第１カメラ〜第４カメラの）感度調整部（感度調整手段）
１５ａ〜１５ｄ …（第１カメラ〜第４カメラの）Ｄ／Ａ変換部
２０ａ〜２０ｄ …Ａ／Ｄ変換部
２１ａ〜２１ｄ …デコード部
２２ａ〜２２ｄ …フレームメモリ部
２３ …画像変換処理部（画像変換手段）
２４ …変換テーブル記録部（画像変換手段）
２４ａ〜２４ｄ …変換テーブル
２５ …出力用フレームメモリ部
２６ …エンコード部
２７ …Ｄ／Ａ変換部

Claims (2)

1. 撮影対象を撮影する撮影手段と、撮影環境の光量に応じて前記撮影手段により撮影された画像情報の感度調整を行う感度調整手段とを有し、前記撮影手段における前記撮影対象が互いに隣接するようにして配設された複数のカメラ手段と、
   該複数のカメラ手段により撮影されたそれぞれの画像情報に基づいてそれぞれの撮影領域に関する俯瞰画像を生成すると共に、隣接する前記撮影対象に基づいて生成された前記俯瞰画像をつなぎ合わせることにより広範囲の俯瞰画像を生成する画像変換手段と
   を備え、
   前記カメラ手段は、前記撮影手段により撮影された画像情報のガンマ補正を行うガンマ補正手段を有し、
   前記画像変換手段は、前記隣接する俯瞰画像の境界部における輝度差を検出し、検出された該輝度差が低減されるように、前記隣接する俯瞰画像を生成するための画像情報を撮影する前記カメラ手段の前記ガンマ補正手段におけるガンマ値を変更する
   ことを特徴とする俯瞰画像生成装置。
2. 車両の進行方向を検出する車両進行方向検出手段を備え、
   前記複数のカメラ手段は前記車両の周囲を撮影できるように当該車両に配設され、
   前記画像変換手段は、前記車両進行方向検出手段により検出された進行方向を撮影するカメラ手段に隣接された他のカメラ手段の前記ガンマ補正手段におけるガンマ値を変更すること
   を特徴とする請求項１に記載の俯瞰画像生成装置。

Images