JP2011022952A - 運転支援装置、運転支援方法、及び運転支援プログラム - Google Patents

Abstract

【課題】外部光源に起因して画像データの画像品質が低下した場合であっても、このような影響を排除した合成画像を出力することができる、運転支援装置、運転支援方法、及び運転支援プログラムを提供すること。
【解決手段】運転支援装置１は、車両の周辺の画像データを取得する画像取得部７１と、画像取得部７１が取得した画像データの画像品質が、画像品質基準に合致するか否かに基づき、当該画像データが利用可能か否かを判定する判定部７２と、画像取得部７１が現在取得した車両の画像データである現在画像データと、画像取得部７１が過去に取得した車両の画像データである過去画像データとを、合成することにより合成画像を生成するものであって、判定部７２が利用可能と判定した画像データのみを過去画像データとして、合成画像の生成を行う画像生成部７３と、画像生成部７３が生成した前記合成画像を表示する表示部とを備える。
【選択図】図１

Description

本発明は、運転支援装置、運転支援方法、及び運転支援プログラムに関する。

従来、ドライバの運転を支援する装置として、車載カメラによって撮影した車両周辺の画像データを画像メモリに蓄積し、当該画像メモリに蓄積された画像データを合成して合成画像を生成し、この合成画像をディスプレイに表示する装置が提案されている。

このような運転支援装置において、車載カメラにより撮影した画像データの画像品質に問題がある場合に、この画像データをそのまま用いて合成画像を生成すると、合成画像に歪みが生じたり、合成画像が不鮮明になってしまう等の課題があった。

この課題に関し、ブレーキランプの点灯中に撮影した画像データに対しては、予め準備した輝度補正データに基づいて輝度補正を行うことにより、ブレーキランプの点灯による影響を取り除いた上で、合成画像を生成する運転支援装置が提案されている（例えば、特許文献１参照）。

あるいは、上記課題に関し、撮影した画像データに対して、車両状況や路面状況に起因する車載カメラの傾きに合わせた補正を行うことにより、車載カメラの傾きによる影響を取り除いた上で、合成画像を生成する運転支援装置も提案されている（例えば、特許文献２参照）。

特開２００７−２４３４６３号公報（段落００４８−００４９） 特開２００７−２６６９３０号公報（段落００１４）

ここで、車載カメラは一般的に夜間の強い照明に弱いため、夜間に強い外部光源がある状況下で撮影した画像データはハレーションを起こしてしまい、画像データの視認性が著しく低下してしまう場合がある。そして、このような画像データをそのまま用いて合成画像を生成すると、合成画像の一部が白い帯状に表示されてしまうことがある。

このような問題は、外部光源に起因して発生するため、予め輝度補正データを準備することは困難であり、特許文献１の如き従来の運転支援装置では対応することができない。また、このような問題は、車両状況や路面状況に起因する車載カメラの傾きに伴うものではないため、特許文献２の如き従来の運転支援装置では対応することができない。

本発明は、上記に鑑みてなされたものであって、外部光源に起因して画像データの画像品質が低下した場合であっても、このような影響を排除した合成画像を出力することができる、運転支援装置、運転支援方法、及び運転支援プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１に記載の運転支援装置は、車両の周辺の画像データを取得する画像取得手段と、前記画像取得手段が取得した前記画像データの画像品質が、画像品質基準に合致するか否かに基づき、当該画像データが利用可能か否かを判定する判定手段と、前記画像取得手段が現在取得した前記車両の画像データである現在画像データと、前記画像取得手段が過去に取得した前記車両の画像データである過去画像データとを、合成することにより合成画像を生成するものであって、前記判定手段が利用可能と判定した画像データのみを前記過去画像データとして、前記合成画像の生成を行う画像生成手段と、前記画像生成手段が生成した前記合成画像を表示する表示手段とを備える。

また、請求項２に記載の運転支援装置は、請求項１に記載の運転支援装置において、利用可能か否かの判定対象となっている画像データ以前に取得された画像データの画像品質に対する、当該判定対象となっている画像データの画像品質に基づき、当該判定対象となっている画像データが利用可能か否かを判定する。

また、請求項３に記載の運転支援装置は、請求項１又は２に記載の運転支援装置において、前記判定手段が利用可能と判定した前記画像データのみを前記過去画像データとして記録する記録手段を備え、前記画像生成手段は、前記記録手段に記録されている前記過去画像データを用いて前記合成画像の生成を行う。

また、請求項４に記載の運転支援方法は、車両の周辺の画像データを取得する画像取得ステップと、前記画像取得ステップで取得した前記画像データの画像品質が、画像品質基準に合致するか否かに基づき、当該画像データが利用可能か否かを判定する判定ステップと、前記画像取得ステップで現在取得した前記車両の画像データである現在画像データと、前記画像取得ステップで過去に取得した前記車両の画像データである過去画像データとを、合成することにより合成画像を生成するものであって、前記判定ステップで利用可能と判定した画像データのみを前記過去画像データとして、前記合成画像の生成を行う画像生成ステップと、前記画像生成ステップで生成した前記合成画像を表示する表示ステップとを含む。

また、請求項５に記載の運転支援プログラムは、請求項４に記載の方法をコンピュータに実行させる。

請求項１に記載の運転支援装置、請求項４に記載の運転支援方法、及び請求項５に記載の運転支援プログラムによれば、画像データの画像品質が画像品質基準に合致するか否かに基づいて当該画像データが利用可能か否かを判定し、利用可能と判定した画像データのみを過去画像データとして合成画像の生成及び表示を行うので、画像品質基準に合致しない画像データについては過去画像データから排除した上で合成画像を生成及び表示することができる。したがって、例えば、外部光源に起因して画像データの画像品質が低下した場合であっても、このような影響を排除した合成画像を出力することができる。

請求項２に記載の運転支援装置によれば、利用可能か否かの判定対象となっている画像データ以前に取得された画像データの画像品質に対する、当該判定対象となっている画像データの画像品質に基づき、当該判定対象となっている画像データが利用可能か否かを判定するので、以前に画像データが取得された時から判定対象となっている画像データが取得された時迄の間に撮影状況が変化した場合であっても、以前に取得された画像データの画像品質を基準として、判定対象となっている画像データの画像品質を適切に判定することができる。

請求項３に記載の運転支援装置によれば、利用可能と判定した画像データのみを過去画像データとして記録し、このように記録された過去画像データを用いて合成画像の生成を行うので、利用可能ではないと判定された画像データを含む全ての画像データを過去画像データとして記録する場合に比べて、過去画像データを記憶するための画像処理負荷及び記憶量を低減することができる。

本発明の実施の形態に係る運転支援装置を例示するブロック図である。 車両をその周辺と共に示す側面図である。 画像表示処理のフローチャートである。 図３の判定処理のフローチャートである。 合成画像を例示する図であり、図５（ａ）はディスプレイに表示される合成画像を示す図、図５（ｂ）は過去合成画像の生成方法を示す図である。 画像生成処理によって生成される過去合成画像の構成を概念的に示した図であり、図６（ａ）は取得された画像データの撮影順序と撮影範囲との関係を示す図、図６（ｂ）は過去合成画像の合成に用いられる画像データの撮影順序と撮影範囲との関係を示す図、図６（ｃ）は過去合成画像の合成に用いられる画像データの範囲と生成された過去合成画像を示す図である。

以下、本発明に係る運転支援装置、運転支援方法、及び運転支援プログラムの実施の形態について図面を参照しつつ詳細に説明する。ただし、この実施の形態によって本発明が限定されるものではない。

（構成）
まず、運転支援装置の構成を説明する。図１は、本実施の形態に係る運転支援装置を例示するブロック図である。この運転支援装置１は、車両２（後述する図２、５、６のみに図示）に設けられたものであって、車速センサ１０、ステアリングセンサ２０、シフトポジションセンサ３０、カメラ４０、ディスプレイ５０、データ記録部６０、及び制御部７０を備えている。

（構成−車速センサ）
車速センサ１０は、車軸の回転数に比例する車速パルス信号等を制御部７０に出力するものであり、公知の車速センサを用いることができる。

（構成−ステアリングセンサ）
ステアリングセンサ２０は、車両２のステアリングホイールの操舵角を検出し、当該検出値を制御部７０に出力するものであり、公知のステアリングセンサを用いることができる。

（構成−シフトポジションセンサ）
シフトポジションセンサ３０は、車両２の変速機を操作するためのシフトレバーのポジションを検出し、当該検出値を制御部７０に出力するものであり、公知のシフトポジションセンサを用いることができる。

（構成−カメラ）
カメラ４０は、車両２の周辺を撮影する撮影手段である。図２は、車両２をその周辺と共に示す側面図である。この図２に示すように、カメラ４０は、例えば車両２の後部バンパー近傍等に設置され、車両２の後方における所定範囲を撮影範囲として撮影し、撮影した画像データを制御部７０に出力する。なお、カメラ４０の具体的な構成は任意で、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の公知の撮像素子、及び魚眼レンズやプリズム等の公知の光学系部品を用いて構成されている。

（構成−ディスプレイ）
ディスプレイ５０は、制御部７０の後述する画像生成部７３が生成した合成画像を表示する表示手段である。なお、このディスプレイ５０の具体的な構成は任意であり、公知の液晶ディスプレイや有機ＥＬディスプレイの如きフラットパネルディスプレイを使用することができる。

（構成−データ記録部）
データ記録部６０は、運転支援装置１の動作に必要なプログラム及び各種のデータを記録する記録手段であり、例えば、外部記憶装置としてのハードディスク（図示省略）を用いて構成されている。ただし、ハードディスクに代えてあるいはハードディスクと共に、磁気ディスクの如き磁気的記録媒体、又はＤＶＤやブルーレイディスクの如き光学的記録媒体を含む、その他の任意の記録媒体を用いることができる。

（構成−制御部）
制御部７０は、運転支援装置１を制御する制御手段であり、具体的には、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを格納するためのＲＡＭの如き内部メモリを備えて構成されるコンピュータである。特に、本実施の形態に係る運転支援プログラムは、任意の記録媒体又はネットワークを介して運転支援装置１にインストールされることで、制御部７０の各部を実質的に構成する。

この制御部７０は、機能概念的に、画像取得部７１、判定部７２、画像生成部７３、及び画像メモリ７４を備えている。画像取得部７１は、車両２の周辺の画像データを取得する画像取得手段である。判定部７２は、画像取得部７１が取得した画像データの画像品質が、画像品質基準に合致するか否かに基づき、当該画像データが利用可能か否かを判定する判定手段である。ここで、「画像品質」とは、外部光源に起因して影響を受け得る画像データのあらゆる品質が該当し、例えば、画像データの「輝度」、「彩度」、あるいは「明度」を含む。本実施の形態では、外部光源に起因してハレーションが生じた場合の影響を排除することを目的とし、画像品質としては、ハレーションによって最も影響を受けやすい「輝度」のみを対象として判定を行うこととする。「画像品質基準」とは、「画像品質」を判定するための基準であり、例えば、画像データの画像品質を特定するための統計処理の方法や、統計処理の結果を用いて画像データの画像品質を判定するための閾値を含む。この「画像品質基準」の具体的内容については後述する。画像生成部７３は、画像取得部７１が現在取得した車両２の画像データである現在画像データと、画像取得部７１が過去に取得した車両２の画像データである過去画像データとを、合成することにより合成画像を生成するものであって、判定部７２が利用可能と判定した画像データのみを過去画像データとして、合成画像の生成等を行う画像生成手段である。画像メモリ７４は、画像生成部７３が生成した合成画像等の記録を行う記録手段であり、例えばＲＡＭとして構成されている。これらの制御部７０の各構成要素によって実行される処理の詳細については後述する。

（処理−画像生成処理）
次に、このように構成される運転支援装置１によって実行される画像生成処理について説明する。図３は画像生成処理のフローチャートである（以下の各処理の説明ではステップを「Ｓ」と略記する）。

この画像生成処理は、例えば、公知の入力手段を介して画像生成処理の起動指示入力がされた場合や、シフトポジションがリバースに設定されたことがシフトポジションセンサ３０からの検出値により特定された場合に、起動される（ＳＡ１）。

画像生成処理が起動されると、画像取得部７１は、画像合成のトリガの有無を監視し、画像合成のトリガが有った場合には、画像データをカメラ４０から取得する（ＳＡ２）。例えば、車速センサ１０から車速パルス信号の入力があった場合に、画像合成のトリガが有ったものと判定する。あるいは、車両２が停車中である場合には、前回画像データを取得してから所定時間が経過した時点で、画像合成のトリガが有ったものと判定する。

次いで、画像生成部７３は、ＳＡ２で取得した画像データに対して、公知の座標変換処理を行うことにより俯瞰変換を行う（ＳＡ３）。また、画像生成部７３は、車速センサ１０から入力された車速パルス信号やステアリングセンサ２０から入力された操舵角の検出値等の情報に基づき、車両２の移動距離及び旋回角度を特定する（ＳＡ４）。このように特定された移動距離及び旋回角度は、ＳＡ３で俯瞰変換した画像データに対応付けて、画像メモリ７４に格納される。

その後、判定処理が起動される（ＳＡ５）。この判定処理は、ＳＡ２で取得された画像データを対象として、当該画像データの画像品質が画像品質基準に合致するか否かに基づき、当該画像データが利用可能か否かを判定する処理である（以下、判定処理において判定対象となっている画像データを「判定対象画像データ」と称する）。図４は、判定処理のフローチャートである。判定部７２は、画像メモリ７４に格納された判定対象画像データが、当該画像生成処理において取得された１枚目の画像データであるか否かを判定する（ＳＢ１）。例えば、図３のＳＡ２で取得された画像データを計数するためのカウンタを設け、このカウンタの値を参照することで当該判定を行う。あるいは、その他の任意の方法で判定を行ってもよい。

判定対象画像データが１枚目の画像データであると判定された場合（ＳＢ１、Ｙｅｓ)、判定部７２は、判定対象画像データから画素毎の輝度を抽出し、当該抽出した輝度と所定閾値とに基づき、判定対象画像データの画像品質が、画像品質基準に合致するかを判定する（ＳＢ２）。

例えば、当該抽出した画素毎の輝度の平均値を算出し、当該算出した平均値が、所定閾値として予め設定した平均値（以下、「閾値平均値」）未満である場合には、判定対象画像データが画像品質基準に合致していると判定し、閾値平均値以上である場合には、判定対象画像データが画像品質基準に合致していないと判定する。あるいは、当該抽出した輝度の最大値を特定し、当該特定した最大値が、所定閾値として予め設定した最大値（以下、「閾値最大値」）未満である場合には、判定対象画像データが画像品質基準に合致していると判定し、閾値最大値以上である場合には、判定対象画像データが画像品質基準に合致していないと判定する。あるいは、当該抽出した輝度と、所定閾値として予め設定した輝度（以下、「閾値輝度」）とを相互に対応する画素毎に比較し、閾値輝度以上の輝度の画素数が所定数未満である場合には、判定対象画像データが画像品質基準に合致していると判定し、閾値輝度以上の輝度の画素数が所定数以上である場合には、判定対象画像データが画像品質基準に合致していないと判定する。なお、これら閾値平均値、閾値最大値、あるいは閾値輝度は、予めデータ記録部６０に設定しておき、必要に応じて参照することができる。そして、判定部７２は、判定結果を示すフラグを、判定対象画像データに対応付けて画像メモリ７４に格納する。

一方、判定対象画像データが、当該画像生成処理において取得された１枚目の画像データではないと判定された場合（ＳＢ１、Ｎｏ)、判定部７２は、判定対象画像データ以前に取得されて画像メモリ７４に格納されている画像データであって、画像品質基準に合致している画像データ（以下、「基準過去画像データ」）があるか否かを判定する（ＳＢ３）。具体的には、判定対象画像データ以前に取得されて画像メモリ７４に格納されている画像データが一つしかない場合には、当該画像データが画像品質基準に合致するかをＳＢ２と同様に判定し、この結果、画像品質基準に合致する場合には、当該画像データを「基準過去画像データ」として、基準過去画像データがあるものと判定し（ＳＢ３、Ｙｅｓ）、一方、画像品質基準に合致しない場合には、基準過去画像データがないものと判定する（ＳＢ３、Ｎｏ）。また、判定対象画像データ以前に取得されて画像メモリ７４に格納されている画像データが２つ以上ある場合には、当該２つ以上の画像データの中で、後述するＳＢ４の画像品質基準に合致する画像データがあるか否かを判定し、この結果、このような画像データがある場合には、このような画像データの中で最も新しく取得された画像データを「基準過去画像データ」として、基準過去画像データがあるものと判定し（ＳＢ３、Ｙｅｓ）、一方、このような画像データがない場合には、基準過去画像データがないものと判定する（ＳＢ３、Ｎｏ）。そして、基準過去画像データがない場合（ＳＢ３、Ｎｏ）、判定部７２は、判定対象画像データ以前に取得された画像データの画像品質を基準として判定対象画像データの画像品質を判定することが適切ではないとし、判定対象画像データから抽出した輝度と所定閾値とに基づき、判定対象画像データの画像品質が、画像品質基準に合致するかを判定する（ＳＢ２）。一方、基準過去画像データがある場合（ＳＢ３、Ｙｅｓ）、判定部７２は、判定対象画像データから画素毎の輝度を抽出すると共に、画像メモリ７４に格納されている基準過去画像データから画素毎の輝度を抽出し、これらの輝度と所定閾値とに基づき、判定対象画像データの画像品質が、画像品質基準に合致するかを判定する（ＳＢ４）。

例えば、基準過去画像データの輝度の平均値に対する判定対象画像データの輝度の平均値の変化量（差分）を算出し、当該変化量が、所定閾値として予め設定した変化量（以下「閾値変化量」）未満である場合には、判定対象画像データが画像品質基準に合致していると判定し、閾値変化量以上である場合には、判定対象画像データが画像品質基準に合致していないと判定する。あるいは、基準過去画像データの輝度の最大値に対する判定対象画像データの輝度の最大値の変化量（差分）を算出し、当該変化量が、所定閾値として予め設定した変化量（以下「閾値最大値変化量」）未満である場合には、判定対象画像データが画像品質基準に合致していると判定し、閾値最大値変化量以上である場合には、判定対象画像データが画像品質基準に合致していないと判定する。あるいは、基準過去画像データの輝度に対する判定対象画像データの輝度の変化量（差分）を相互に対応する画素毎に算出し、所定閾値として予め設定した変化量（以下「閾値画素変化量」）以上の変化量で輝度が変化した画素の数が所定数未満である場合には、判定対象画像データが画像品質基準に合致していると判定し、閾値画素変化量以上の変化量で輝度が変化した画素の数が所定数以上である場合には、判定対象画像データが画像品質基準に合致していないと判定する。なお、これら閾値変化量、閾値最大値変化量、あるいは閾値画素変化量は、予めデータ記録部６０に設定しておき、必要に応じて参照することができる。そして、判定部７２は、判定結果を示すフラグを、判定対象画像データに対応付けて画像メモリ７４に格納する。これにて判定処理が終了し、図３の画像生成処理に戻る。

図３の画像生成処理において、画像生成部７３は、ＳＡ５の判定処理にて画像メモリ７４に格納したフラグを参照し、ＳＡ２で取得された画像データが使用可能であるか否かを判定する（ＳＡ６）。具体的には、画像品質基準に合致していると判定された画像データは使用可能であると判定し、画像品質基準に合致していないと判定された画像データは使用可能ではないと判定する。そして、使用可能であると判定した場合（ＳＡ６、Ｙｅｓ）、画像生成部７３は、当該画像データを、画像メモリ７４の過去合成画像バッファと現在画像バッファに書き込む（ＳＡ７）。また、使用可能でないと判定した場合（ＳＡ６、Ｎｏ）、画像生成部７３は、当該画像データを、画像メモリ７４の現在画像バッファのみに書き込む（ＳＡ８）。

次いで、画像生成部７３は、画像メモリ７４の過去合成画像バッファと現在画像バッファに格納された画像データを用いて合成画像を生成し、当該生成した合成画像をディスプレイ５０に表示させる（ＳＡ９）。この合成画像の生成の詳細については後述する。そして、画像生成処理を終了するための終了トリガがあるか否かを判定し（ＳＡ１０）、終了トリガがある迄、ＳＡ２からＳＡ９を繰り返して実行することで、合成画像を更新し、更新した合成画像をディスプレイ５０に表示させる。終了トリガとしては、例えば、公知の入力手段を介して画像生成処理の終了指示入力がされた場合や、シフトポジションがリバース以外に設定されたことがシフトポジションセンサ３０からの検出値により特定された場合が該当する。そして、終了トリガがあった場合には（ＳＡ１０、Ｙｅｓ）、画像生成処理を終了する。

次に、ＳＡ９における合成画像の生成の詳細について説明する。図５（ａ）はディスプレイ５０に表示される合成画像を示す図、図５（ｂ）は過去合成画像の生成方法を示す図である。

図５（ａ）に示すように、ディスプレイ５０に表示される合成画像は、過去合成画像と現在画像を合成して構成されている。過去合成画像は、過去に取得された画像データ（過去画像データ）を合成して生成された画像であり、具体的には、表示の際に、図３のＳＡ７において過去合成画像バッファに格納された画像データを重畳し、当該重畳さた画像データから、抽出領域（図５（ｂ）中に実線で示した長方形枠）に合致する部分を抽出して生成された画像である。現在画像は、現在の（最新の）画像データ（現在画像データ）による画像であり、具体的には、図３のＳＡ７又はＳＡ８において現在画像バッファに格納された画像データを利用して生成された画像である。ここでは、これらの画像データは図３のＳＡ３で俯瞰変換されているため、過去合成画像や現在画像は俯瞰画像として表示される。

ここで、過去合成画像は、図５（ｂ）に示す方法で合成される。この図５（ｂ）においては、図３のＳＡ７において過去合成画像バッファに格納された画像データを破線で示している。これら各画像データは、図３のＳＡ４で算出された車両２の移動量に基づいて処理されている。すなわち、車両２の移動軌跡に沿うように、車両２の移動距離に基づいて移動処理されると共に、車両２の旋回角度に基づいて回転処理されている。そして、このように移動処理した各画像データを相互に重畳して重畳画像を生成し、この重畳画像から、現在の車両２の位置を中心とする当該車両２の周辺に相当する抽出領域の画像を抽出することで、過去合成画像が生成される。

図６は、画像生成処理によって生成される過去合成画像の構成を概念的に示した図であり、図６（ａ）は取得された画像データの撮影順序と撮影範囲との関係を示す図、図６（ｂ）は過去合成画像の合成に用いられる画像データの撮影順序と撮影範囲との関係を示す図、図６（ｃ）は過去合成画像の合成に用いられる画像データの範囲と、生成された過去合成画像を示す図である。

図６（ａ）に示すように、図３のＳＡ２で取得された画像データの撮影範囲は、車両２が横軸の左側から右側へ移動する間の複数の地点で取得されるため、相互に異なる撮影範囲となっている。ここでは、これら複数の地点で取得された複数の画像データの中に、ハレーションがある画像データが含まれている場合を想定する。

ハレーションがある画像データは、図３のＳＡ５の判定処理において画像品質基準に合致していないと判定されるので、図３のＳＡ８において現在画像バッファのみに書き込まれ、過去合成画像バッファには書き込まれない。したがって、過去合成画像バッファに書き込まれた画像データのみを過去合成画像の生成に利用することで、図６（ｂ）に示すように、ハレーションがある画像データを排除した画像データのみが過去合成画像の生成に利用されることになる。このようにハレーションがある画像データを排除した画像データを対象として、図６（ｃ）に示すように、相互に重合していない部分のみを重畳することで、図６（ｃ）の最下部に示す過去合成画像が生成される。

（効果）
このように本実施の形態によれば、画像データの画像品質が画像品質基準に合致するか否かに基づいて当該画像データが利用可能か否かを判定し、利用可能と判定した画像データのみを過去画像データとして合成画像の生成及び表示を行うので、画像品質基準に合致しない画像データについては過去画像データから排除した上で合成画像を生成及び表示することができる。したがって、例えば、外部光源に起因して画像データの画像品質が低下した場合であっても、このような影響を排除した合成画像を出力することができる。

また、利用可能か否かの判定対象となっている画像データ以前に取得された画像データの画像品質に対する、当該判定対象となっている画像データの画像品質に基づき、当該判定対象となっている画像データが利用可能か否かを判定するので、以前に画像データが取得された時から判定対象となっている画像データが取得された時迄の間に撮影状況が変化した場合であっても、以前に取得された画像データの画像品質を基準として、判定対象となっている画像データの画像品質を適切に判定することができる。

また、利用可能と判定した画像データのみを過去画像データとして記録し、このように記録された過去画像データを用いて合成画像の生成を行うので、利用可能ではないと判定された画像データを含む全ての画像データを過去画像データとして記録する場合に比べて、過去画像データを記憶するための画像処理負荷及び記憶量を低減することができる。

〔実施の形態に対する変形例〕
以上、本発明に係る実施の形態について説明したが、本発明の具体的な構成及び手段は、特許請求の範囲に記載した各発明の技術的思想の範囲内において、任意に改変及び改良することができる。以下、このような変形例について説明する。

（解決しようとする課題や発明の効果について）
まず、発明が解決しようとする課題や発明の効果は、上述の内容に限定されるものではなく、発明の実施環境や構成の細部に応じて異なる可能性があり、上述した課題の一部のみを解決したり、上述した効果の一部のみを奏することがある。

（画像データについて）
上記実施の形態では、車両２の後方の画像データを取得するものとして説明したが、前方や側方の画像データを取得してもよく、あるいは複数の方向の画像データを取得して広範囲の合成画像を生成してもよい。

（画像品質及び画像品質基準について）
画像品質としては、上述のように、外部光源に起因して影響を受け得る画像データのあらゆる品質が該当し、輝度に代えて彩度や明度を用いてもよい。あるいは、複数の画像品質を組み合わせて判定してもよく、例えば、輝度と彩度の各々が画像品質基準に合致する場合にのみ、画像データを利用可能であると判定してもよい。また、画像品質基準についても、画像品質に応じて変えたり、上記説明した以外の様々な統計量を基準とすることができる。このように画像品質及び画像品質基準を適宜組み合わせることで、ハレーション以外の原因による画像データの異常や、車両２の挙動変化等に起因する撮影条件の異常を検出し（例えば、車両２の傾き変化を画像品質に基づいて検出し）、当該異常があった画像データを除外して、合成画像を生成及び表示すること可能となる。

（撮影タイミングと判定タイミングについて）
判定部による判定タイミングは、任意に変更することが可能である。例えば、画像データを画像メモリ７４等に格納するタイミングとの関係に関しては、撮影された全ての画像データを画像メモリ７４に格納した後であって、画像データを合成画像に使用する前に、判定部による判定を行うことで、使用可能と判定された画像データのみを合成画像に使用することとしてもよく、あるいは、撮影された画像データを画像メモリ７４に格納する前に、判定部による判定を行うことで、使用可能と判定された画像データのみを画像メモリ７４に格納して、合成画像に使用することとしてもよい。

（合成画像の構成との関係について）
上記実施の形態では、合成画像を過去合成画像と現在画像を合成して生成するという前提において、使用可能ではないと判定された画像データは、過去合成画像に使用する画像データから除外するが、現在画像に使用する画像データからは除外していない。しかしながら、現在画像に使用する画像データからも除外するようにしてもよく、この場合には、例えば、現在画像に相当する画像としては、一つ前に撮影された画像データを利用して生成したり、過去に撮影された複数の画像データを利用して生成したり、所定の標準的な画像データを利用して生成すること等が考えられる。

（俯瞰変換との関係について）
上記実施の形態では、画像データを俯瞰変換した後に判定部による判定を行っているが、俯瞰変換前に判定部による判定を行い、使用可能と判定された画像データのみを俯瞰変換することで、俯瞰変換の処理負荷を低減するようにしてもよい。この場合、画像生成部７３は、判定部７２が利用可能と判定した画像データのみを用いて、当該画像データを車両２の移動状態に基づいて合成することにより、車両２を含む領域の俯瞰画像を生成する俯瞰画像生成手段として機能し、ディスプレイ５０は、俯瞰画像生成手段である画像生成部７３が生成した俯瞰画像を表示する表示手段として機能する。また、上記実施の形態では、過去合成画像と現在画像の両方を、俯瞰変換した画像データに基づいて生成しているが、過去合成画像のみを、俯瞰変換した画像データに基づいて生成し、現在画像については、撮影した画像データをそのまま使用し若しくは俯瞰変換以外の変換のみを行って生成してもよい。

（利用可能ではないと判定した画像データの取扱いについて）
上記実施の形態では、利用可能ではないと判定した画像データについては、過去合成画像に使用する画像データから除外しているが、当該画像データに補正処理を施すことで、過去合成画像に使用するようにしてもよい。例えば、利用可能ではないと判定した画像データを対象として、その輝度の平均値、最大値、あるいは閾値輝度以上の輝度の画素数を特定し、これらを画像メモリ７４に予め格納した補正可否判定用の閾値平均値、閾値最大値、あるいは閾値輝度と比較することで、当該画像データの補正可否を判定する。そして、補正不可であると判定された画像データは、上記実施の形態と同様に、過去合成画像に使用する画像データから除外し、補正可能であると判定された画像データは、輝度補正を公知の方法で行った上で、過去合成画像に使用する。このように補正を行った場合には、特に、常時若しくは頻繁にハレーション等の画像品質異常が生じる環境下においても、画像の生成及び表示が可能である。また、画像生成処理の起動直後の１枚目の画像データにハレーション等の画像品質異常が生じていた場合であっても、画像の生成及び表示が可能である。

１ 運転支援装置
２ 車両
１０ 車速センサ
２０ ステアリングセンサ
３０ シフトポジションセンサ
４０ カメラ
５０ ディスプレイ
６０ データ記録部
７０ 制御部
７１ 画像取得部
７２ 判定部
７３ 画像生成部
７４ 画像メモリ

Claims (5)

1. 車両の周辺の画像データを取得する画像取得手段と、
   前記画像取得手段が取得した前記画像データの画像品質が、画像品質基準に合致するか否かに基づき、当該画像データが利用可能か否かを判定する判定手段と、
   前記画像取得手段が現在取得した前記車両の画像データである現在画像データと、前記画像取得手段が過去に取得した前記車両の画像データである過去画像データとを、合成することにより合成画像を生成するものであって、前記判定手段が利用可能と判定した画像データのみを前記過去画像データとして、前記合成画像の生成を行う画像生成手段と、
   前記画像生成手段が生成した前記合成画像を表示する表示手段と、
   を備える運転支援装置。
2. 前記判定手段は、利用可能か否かの判定対象となっている画像データ以前に取得された画像データの画像品質に対する、当該判定対象となっている画像データの画像品質に基づき、当該判定対象となっている画像データが利用可能か否かを判定する、
   請求項１に記載の運転支援装置。
3. 前記判定手段が利用可能と判定した前記画像データのみを前記過去画像データとして記録する記録手段を備え、
   前記画像生成手段は、前記記録手段に記録されている前記過去画像データを用いて前記合成画像の生成を行う、
   請求項１又は２に記載の運転支援装置。
4. 車両の周辺の画像データを取得する画像取得ステップと、
   前記画像取得ステップで取得した前記画像データの画像品質が、画像品質基準に合致するか否かに基づき、当該画像データが利用可能か否かを判定する判定ステップと、
   前記画像取得ステップで現在取得した前記車両の画像データである現在画像データと、前記画像取得ステップで過去に取得した前記車両の画像データである過去画像データとを、合成することにより合成画像を生成するものであって、前記判定ステップで利用可能と判定した画像データのみを前記過去画像データとして、前記合成画像の生成を行う画像生成ステップと、
   前記画像生成ステップで生成した前記合成画像を表示する表示ステップと、
   を含む運転支援方法。
5. 請求項４に記載の方法をコンピュータに実行させる運転支援プログラム。

Images