JP2023174682A - 車両用映像処理装置および車両用映像処理方法 - Google Patents

Abstract

【課題】表示領域の車両の周囲の映像を適切に表示する。【解決手段】車両用映像処理装置３０は、カメラユニット１０が撮影した映像データを取得する映像データ取得部３４１と、映像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する歪補正部３４３と、映像データに写されている路面領域を検出する路面領域検出部３４２と、を備え、歪補正部３４３は、路面領域検出部３４２が路面を検出できない場合、歪パラメータを変更しない場合の表示領域より広い範囲を表示領域とするように歪パラメータを変更して歪みを補正する。【選択図】図１

Description

本発明は、車両用映像処理装置および車両用映像処理方法に関する。

車両の周囲を撮影した映像データによって、車両の周囲を確認する技術が知られている（例えば、特許文献１参照）。特許文献１に記載の技術は、カーナビゲーションシステムに登録されている見通しの悪い交差点において、カメラの映像をディスプレイに表示させる。

特開平０８－２９３０９８号公報

例えば、車両が走行している道路に積雪または冠水などが生じている場合、車両に設置された撮影部が撮影した映像データの表示領域を、通常よりも広く表示することが求められる。

本発明は、上記に鑑みてなされたものであって、表示領域の車両の周囲の映像を適切に表示することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る車両用映像処理装置は、車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、前記映像データ取得部が取得した前記映像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する歪補正部と、前記映像データ取得部が取得した前記映像データに写されている路面領域を検出する路面領域検出部と、を備え、前記歪補正部は、前記路面領域検出部が路面を検出できない場合、前記歪パラメータを変更しない場合の表示領域より広い範囲を表示領域とするように前記歪パラメータを変更して歪みを補正する、ことを特徴とする。

本発明に係る車両用映像処理方法は、 車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した前記映像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する歪補正ステップと、前記映像データ取得ステップで取得した前記映像データに写されている路面領域を検出する路面領域検出ステップと、を含み、前記歪補正ステップにおいては、前記路面領域検出ステップで路面が検出できない場合、前記歪パラメータを変更しない場合の表示領域より広い範囲を表示領域とするように前記歪パラメータを変更して歪みを補正する。

本発明によれば、表示領域の車両の周囲の映像を適切に表示することができるという効果を奏する。

図１は、実施形態の車両用映像処理装置の構成例を示すブロック図である。 図２は、車両が平坦な道路を走行する状態を説明する図である。 図３は、車両が平坦な道路を走行する状態を説明する図である。 図４は、車両が平坦な道路を走行する際に、カメラが撮影した映像データの一例を示す図である。 図５は、図４に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。 図６は、車両が上りの急勾配を有する道路を走行する状態を説明する図である。 図７は、車両が上りの急勾配を有する道路を走行する状態を説明する図である。 図８は、車両が上りの急勾配を有する道路を走行する際に、カメラが撮影した映像データの一例を示す図である。 図９は、図８に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。 図１０は、車両が下りの急勾配を有する道路を走行する状態を説明する図である。 図１１は、車両が下りの急勾配を有する道路を走行する状態を説明する図である。 図１２は、車両が下りの急勾配を有する道路を走行する際に、カメラが撮影した映像データの一例を示す図である。 図１３は、図１２に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。 図１４は、実施形態に係る車両用映像処理装置における処理の流れを示すフローチャートである。 図１５は、交差道路がカーブしている際に、歪補正処理を行う表示領域の一例を示す図である。 図１６は、車両が走行している道路に交差する道路がカーブしている状態を説明する図である。 図１７は、車両が雪道を走行する際に、歪補正処理を行う表示領域の一例を示す図である。

以下に添付図面を参照して、本発明に係る車両用映像処理装置、車両用映像処理システム、車両用映像処理方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

図１は、実施形態の車両用映像処理装置の構成例を示すブロック図である。車両用映像処理システム１は、例えば、低速での走行時、または、駐車時、車両Ｖの周辺を確認する映像を表示する。車両用映像処理システム１は、車両Ｖの傾斜角によらず、適切な表示領域の映像を表示する。車両用映像処理システム１は、カメラユニット（撮影部）１０と、表示部２１と、ヘッドライトスイッチ２２と、車速センサ２３と、３軸ジャイロセンサ２４と、車両用映像処理装置３０とを有する。

カメラユニット１０は、車両Ｖの周囲を撮影するカメラを有する。カメラは、複数配置されていてもよい。本実施形態では、カメラユニット１０は、前方カメラ１１と、右側方カメラ１２と、左側方カメラ１３と、後方カメラ１４とを有する。

前方カメラ１１は、車両Ｖの前方に配置され、車両Ｖの前方を中心とした周辺を撮影する。前方カメラ１１は、超広角、例えば、水平方向に１９０°程度の撮影範囲を撮影する。前方カメラ１１は、撮影した映像を車両用映像処理装置３０の映像処理部３４へ出力する。

右側方カメラ１２は、車両Ｖの右側方に配置され、車両Ｖの右側方を中心とした周辺を撮影する。右側方カメラ１２は、超広角、例えば、水平方向に１９０°程度の撮影範囲を撮影する。右側方カメラ１２は、撮影した映像を車両用映像処理装置３０の映像処理部３４へ出力する。

左側方カメラ１３は、車両Ｖの左側方に配置され、車両Ｖの左側方を中心とした周辺を撮影する。左側方カメラ１３は、超広角、例えば、水平方向に１９０°程度の撮影範囲を撮影する。左側方カメラ１３は、撮影した映像を車両用映像処理装置３０の映像処理部３４へ出力する。

後方カメラ１４は、車両Ｖの後方に配置され、車両Ｖの後方を中心とした周辺を撮影する。後方カメラ１４は、超広角、例えば、水平方向に１９０°程度の撮影範囲を撮影する。後方カメラ１４は、撮影した映像を車両用映像処理装置３０の映像処理部３４へ出力する。

このような前方カメラ１１と右側方カメラ１２と左側方カメラ１３と後方カメラ１４とを含むカメラユニット１０で、車両Ｖの全方位を撮影する。

表示部２１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含むディスプレイである。表示部２１は、車両用映像処理システム１の車両用映像処理装置３０から出力された映像信号に基づいて、例えば、車両Ｖの周辺の映像を表示する。表示部２１は、車両用映像処理システム１に専用のものであっても、例えば、ナビゲーションシステムを含む他のシステムと共同で使用するものであってもよい。表示部２１は、ユーザから視認容易な位置に配置されている。本実施形態では、表示部２１は、ダッシュボードの車幅方向の中央部のセンターコンソールに配置されている。

ヘッドライトスイッチ２２は、ヘッドライトの点灯と消灯とを検出可能な信号を車両用映像処理装置３０のヘッドライト点灯検出部３１へ出力する。

車速センサ２３は、車両Ｖの車速を検出する。より詳しくは、車速センサ２３は、車両Ｖの駆動軸またはタイヤに配置されている。車速センサ２３は、駆動軸またはタイヤの回転に応じたパルス信号を検出する。車速センサ２３は、検出したパルス信号を車両用映像処理装置３０の車速検出部３２へ出力する。

３軸ジャイロセンサ２４は、車両Ｖが走行する道路の勾配を検出する。３軸ジャイロセンサ２４は、車両Ｖの傾きを検出するセンサである。３軸ジャイロセンサ２４は、例えば、車両Ｖの角速度を検出する。より詳しくは、３軸ジャイロセンサ２４は、ロールレートジャイロと、ピッチレートジャイロと、ヨーレートジャイロとを有する。ロールレートジャイロは、車両Ｖの前後方向を軸とした回転の角速度であるロール角速度を検出する。ピッチレートジャイロは、車両Ｖの左右方向を軸とした回転の角速度であるピッチ角速度を検出する。ヨーレートジャイロは、車両Ｖの鉛直方向を軸とした回転の角速度であるヨー角速度を検出する。３軸ジャイロセンサ２４は、ロールレートジャイロで検出したロール角速度と、ピッチレートジャイロで検出したピッチ角速度と、ヨーレートジャイロで検出したヨー角速度とを角速度信号として車両用映像処理装置３０の傾斜角検出部３３へ出力する。

車両用映像処理装置３０は、車両Ｖの周囲を確認する映像を生成して、表示部２１に表示させる。車両用映像処理装置３０は、記憶部３９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。車両用映像処理装置３０は、ヘッドライト点灯検出部３１と、車速検出部３２と、傾斜角検出部３３と、映像処理部３４と、判定部３５と、測光領域制御部３６と、表示制御部３７と、記憶部３９とを有する。

ヘッドライト点灯検出部３１は、ヘッドライトスイッチ２２から出力された信号から、ヘッドライトが点灯しているか消灯しているかを検出する。ヘッドライトが点灯している場合、前方カメラ１１が撮影する前方映像データには、ヘッドライトに照らされた路面が写される。前方映像データに写されたヘッドライトに照らされた路面は、ヘッドライトに照らされていない路面と、色相、明度、彩度、輝度に差異が生じる。ヘッドライト点灯検出部３１は、検出結果を判定部３５へ出力する。

車速検出部３２は、車速センサ２３から取得したパルス信号から車両Ｖの車速を検出する。車速検出部３２は、算出した車速を示す車速情報を判定部３５へ出力する。

傾斜角検出部３３は、車両Ｖが走行する道路の傾斜角を検出する。本実施形態では、傾斜角検出部３３は、３軸ジャイロセンサ２４から出力された角速度信号を取得する。傾斜角検出部３３は、角速度信号に含まれるロール角速度とピッチ角速度とヨー角速度とから、車両Ｖの傾きを示す、ロール角とピッチ角とヨー角とを算出する。傾斜角検出部３３は、算出したロール角とピッチ角とヨー角とを傾斜角情報として判定部３５へ出力する。なお、傾斜角検出部３３は、ピッチ角のみを算出して、ピッチ角のみを傾斜角情報として判定部３５へ出力してもよい。

映像処理部３４は、カメラユニット１０が撮影した映像データに基づいて、表示部２１に表示させる表示用の映像の表示映像データを生成する。映像処理部３４は、映像データ取得部３４１と、路面領域検出部３４２と、歪補正部３４３と、映像生成部３４４とを有する。

映像データ取得部３４１は、カメラユニット１０が撮影した映像データを取得する。映像データ取得部３４１は、前方カメラ１１が撮影した前方映像データと、右側方カメラ１２が撮影した右側方映像データと、左側方カメラ１３が撮影した左側方映像データと、後方カメラ１４が撮影した後方映像データとを取得する。

路面領域検出部３４２は、映像データ取得部３４１が取得した映像データに写されている路面領域を検出する。路面領域とは、映像データに写されている路面の領域である。路面領域は、道路の形状と、道路幅と、道路の奥行とで規定される。本実施形態では、路面領域検出部３４２は、前方映像データに写されている路面領域を検出するものとして説明する。路面領域検出部３４２は、車両Ｖが平坦な道路を走行している場合に検出される路面領域を基準の路面領域として記憶する。基準の路面領域は、車両Ｖが走行する道路の道路幅ごとに記憶されることが好ましい。路面を検出する方法は、公知のいずれの方法でもよく、限定されない。路面領域検出部３４２は、ヘッドライト点灯検出部３１の検出結果がヘッドライトが点灯していることを示す場合、映像データに写された路面はヘッドライトに照らされているため、映像データの色相、明度、彩度、輝度を補正して路面の路面領域を検出する。

歪補正部３４３は、映像データ取得部３４１が取得した超広角の映像データの一部の領域である表示領域の歪みを歪パラメータを用いて補正して、矩形状の歪補正映像データを出力する。歪補正映像データは、前方映像データを補正した前方歪補正映像データと、右側方映像データを補正した右側方歪補正映像データと、左側方映像データを補正した左側方歪補正映像データと、後方映像データを補正した後方歪補正映像データとを含む。前方歪補正映像データと右側方歪補正映像データと左側方歪補正映像データと後方歪補正映像データとの区別を要しない場合、歪補正映像データとして説明する。

歪補正部３４３は、判定部３５が、車両Ｖの傾斜角が閾値以上であり、車両Ｖの車速が閾値以下であり、路面領域の面積が閾値以上、変化したと判定する場合、路面領域の面積の変化に応じて、歪パラメータを変更して歪みを補正して、歪補正映像データを出力する。より詳しくは、歪補正部３４３は、路面領域の面積が基準の路面領域に比べて増加した場合、歪みを補正する表示領域を上側にシフトさせるように、歪パラメータを変更して歪みを補正して、歪補正映像データを出力する。歪補正部３４３は、路面領域の面積が基準の路面領域に比べて減少した場合、歪みを補正する表示領域を下側にシフトさせるように、歪パラメータを変更して歪みを補正して、歪補正映像データを出力する。

図２ないし図５を用いて、車両Ｖが平坦な道路を走行している場合の歪補正部３４３における処理について説明する。図２は、車両が平坦な道路を走行する状態を説明する図である。図３は、車両が平坦な道路を走行する状態を説明する図である。図４は、車両が平坦な道路を走行する際に、カメラが撮影した映像データの一例を示す図である。図５は、図４に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。図２、図３に示すように、車両Ｖが平坦な道路を走行している場合、前方カメラ１１が撮影した前方映像データは、例えば、図４に示すようなものとなる。このような前方映像データが基準の映像データとされ、ユーザに映像として視認させる領域を示す表示領域と、歪パラメータとが設定されている。また、この前方映像データから検出される路面領域が、基準の路面領域である。例えば、表示領域は、図中に示した樽型の領域であるＡ１に設定されている。このような表示領域Ａ１に対して歪みを補正して矩形状の前方歪補正映像データが生成されるように歪パラメータが設定されている。

ここで、前方カメラ１１を含むカメラユニット１０は超広視野角の映像を撮影している。車両Ｖの周囲を確認する映像を生成する場合のように、広範囲を確認する用途には、水平方向に全視野角が確保できるように歪みを補正することが望ましい。このような場合、前方との自然な距離感を確保しつつ歪みを補正すると、水平方向とは逆に垂直方向の表示領域は、カメラの撮影範囲の一部の範囲を切り出したようになる。逆に、垂直方向の表示領域をそのまま確保して歪みを補正すると、前方の距離感が実際より遠方に感じられるような違和感のある映像になる。そこで、車両Ｖの傾斜角によっては、表示される垂直方向の表示領域を調整する必要がある。具体的には、路面領域の増減比率に応じて、カメラの撮影範囲の中心部から上側あるいは下側へ歪みを補正する表示領域をシフトするよう歪パラメータを変更する。

図６ないし図９を用いて、車両Ｖが上りの急勾配を有する道路を走行している場合の歪補正部３４３における処理について説明する。図６は、車両が上りの急勾配を有する道路を走行する状態を説明する図である。図７は、車両が上りの急勾配を有する道路を走行する状態を説明する図である。図８は、車両が上りの急勾配を有する道路を走行する際に、カメラが撮影した映像データの一例を示す図である。図９は、図８に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。図６、図７に示すように、車両Ｖが上りの急勾配を有する道路を走行している場合、前方カメラ１１が撮影した前方映像データは、例えば、図８に示すようなものとなる。ここでは、上りの急勾配の途中に交差道路Ｒ１と交差する交差点があるものとする。交差道路Ｒ１を他車両Ｖ１が走行している。車両Ｖが前上がりになる場合、前方カメラ１１の撮影範囲が上向きになる。これにより、前方映像データの表示領域における路面領域が減少する。そこで、表示領域における路面領域の位置が適切になるように歪パラメータを変更して、図中に示した樽型の領域であるＡ２が表示領域となるように歪パラメータを変更する。このように、表示領域Ａ２に対して歪みを補正して前方歪補正映像データを出力する。なお、図中に破線で示した表示領域Ａ１は、歪パラメータを変更しない場合の表示領域である。以下の図においても同様である。

図１０ないし図１３を用いて、車両Ｖが下りの急勾配を有する道路を走行している場合の歪補正部３４３における処理について説明する。図１０は、車両が下りの急勾配を有する道路を走行する状態を説明する図である。図１１は、車両が下りの急勾配を有する道路を走行する状態を説明する図である。図１２は、車両が下りの急勾配を有する道路を走行する際に、カメラが撮影した映像データの一例を示す図である。図１３は、図１２に示す映像データのうち、歪補正処理を行う表示領域の一例を示す図である。図１０、図１１に示すように、車両Ｖが下りの急勾配を有する道路を走行している場合、前方カメラ１１が撮影した前方映像データは、例えば、図１２に示すようなものとなる。ここでは、下りの急勾配の途中に交差道路Ｒ１と交差する交差点があるものとする。交差道路Ｒ１を他車両Ｖ１が走行している。車両Ｖが前下がりになる場合、前方カメラ１１の撮影範囲が下向きになる。これにより、前方映像データの表示領域における路面領域が増加する。そこで表示領域における路面領域の位置が適切になるように歪パラメータを変更して、図中に示した樽型の領域であるＡ３が表示領域となるように歪パラメータを変更する。このように、表示領域Ａ３に対して歪みを補正して前方歪補正映像データを出力する。

映像生成部３４４は、歪補正部３４３が出力した歪補正映像データに基づいて、車両Ｖの周辺を確認する表示映像データを生成する。本実施形態では、映像生成部３４４は、前方歪補正映像データに基づいて、車両Ｖの前方を確認可能な表示映像データを生成する。

映像生成部３４４は、歪補正部３４３が出力した歪補正映像データに基づいて、車両Ｖを上方から見下ろした仮想自車両画像を含む俯瞰映像の表示映像データを生成してもよい。この場合、映像生成部３４４は、前方歪補正映像データと右側方歪補正映像データと左側方歪補正映像データと後方歪補正映像データとに視点変換処理および車両Ｖを示す自車両アイコンを合成する合成処理を行い、車両Ｖの周囲を表示する俯瞰映像の表示映像データを生成する。俯瞰映像を生成する方法は、公知のいずれの方法でもよく、限定されない。

判定部３５は、傾斜角検出部３３が検出した車両Ｖの傾斜角と、路面領域検出部３４２が検出した路面領域とに基づいて、車両Ｖの傾斜角と路面領域の面積の閾値に対する変化を判定する。より詳しくは、判定部３５は、傾斜角検出部３３が検出した車両Ｖの傾斜角と、車速検出部３２が検出した車速と、路面領域検出部３４２が検出した路面領域とに基づいて、車両Ｖの傾斜角が閾値以上であり、車両Ｖの車速が閾値以下であり、路面領域の面積が閾値以上、変化したか否かを判定する。傾斜角の閾値は、例えば、５°程度である。車速の閾値は、例えば、１０ｋｍ／ｈ程度である。路面領域の面積の閾値は、例えば、２０％程度である。

路面領域の面積が閾値以上、変化したか否かは、路面領域検出部３４２が検出した路面領域の面積が、同じ道路幅を有する道路の基準の路面領域の面積に比べて、２０％程度以上、増減したか否かで判定する。路面領域検出部３４２が検出した路面領域の面積が、基準の路面領域の面積に比べて、２０％程度以上、増減したと判定する場合、路面領域の面積が閾値以上、変化したと判定する。路面領域検出部３４２が検出した路面領域の面積が、基準の路面領域の面積に比べて、２０％程度以上増減していないと判定する場合、路面領域の面積が閾値以上、変化していないと判定する。

または、路面領域の面積が閾値以上、変化したか否かは、路面領域検出部３４２が検出した路面領域の面積が、所定期間または所定走行距離において、２０％程度以上、増減したか否かで判定してもよい。路面領域検出部３４２が検出した路面領域の面積が、所定期間または所定走行距離において、２０％程度以上、増減したと判定する場合、路面領域の面積が閾値以上、変化したと判定する。路面領域検出部３４２が検出した路面領域の面積が、所定期間または所定走行距離において、２０％程度以上増減していないと判定する場合、路面領域の面積が閾値以上、変化していないと判定する。

測光領域制御部３６は、歪補正部３４３が歪パラメータを変更する場合、カメラユニット１０が撮影する際の測光領域の位置を歪パラメータの変更に合わせて制御する。例えば、通常時における、カメラユニット１０が撮影する際の測光領域の位置は、表示領域の中央部である。測光領域制御部３６は、歪補正部３４３が歪みを補正する表示領域を上側にシフトさせた場合、上側にシフトした表示領域の中央部が測光領域となるように、測光領域を上側にシフトさせる制御信号をカメラユニット１０に対して出力する。測光領域制御部３６は、歪補正部３４３が歪みを補正する表示領域を下側にシフトさせた場合、下側にシフトした表示領域の中央部が測光領域となるように、測光領域を下側にシフトさせる制御信号をカメラユニット１０に対して出力する。

表示制御部３７は、映像処理部３４の映像生成部３４４が生成した表示映像データを表示部２１に表示させる制御を行う。

記憶部３９は、車両用映像処理装置３０における各種処理に要するデータおよび各種処理結果を記憶する。記憶部３９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスク、通信網を介した外部記憶装置などの記憶装置である。

次に、図１４を用いて、車両用映像処理装置３０における処理の流れについて説明する。図１４は、実施形態に係る車両用映像処理装置３０における処理の流れを示すフローチャートである。ここでは、前方カメラ１１が撮影した前方映像データに基づいて、車両Ｖの前方の安全を確認するための映像を表示させる場合について説明する。

車両用映像処理システム１は、車両Ｖのエンジンが始動すると、起動されるものとする。車両用映像処理システム１の起動中、カメラユニット１０は、車両Ｖの周囲を撮影する。車両用映像処理システム１の起動中、映像データ取得部３４１は、カメラユニット１０で撮影された映像データを取得する。

車両用映像処理装置３０は、ヘッドライトの点灯を検出する（ステップＳ１０１）。車両用映像処理装置３０は、ヘッドライト点灯検出部３１によって、ヘッドライトスイッチ２２から出力された信号から、ヘッドライトが点灯しているか消灯しているかを検出する。車両用映像処理装置３０は、ステップＳ１０２に進む。

車両用映像処理装置３０は、路面領域を検出する（ステップＳ１０２）。車両用映像処理装置３０は、路面領域検出部３４２によって、公知の路面検出の方法を使用して、前方映像データに写されている路面領域を検出する。車両用映像処理装置３０は、ステップＳ１０３に進む。

車両用映像処理装置３０は、判定部３５によって、車速が閾値以下であるかを判定する（ステップＳ１０３）。車両用映像処理装置３０は、判定部３５が、車速検出部３２が検出した車速が閾値以下であると判定する場合（ステップＳ１０３でＹｅｓ）、ステップＳ１０４に進む。車両用映像処理装置３０は、判定部３５が、車速検出部３２が検出した車速が閾値以下ではないと判定する場合（ステップＳ１０３でＮｏ）、ステップＳ１０１の処理を再度実行する。

車速検出部３２が検出した車速が閾値以下であると判定する場合（ステップＳ１０３でＹｅｓ）、車両用映像処理装置３０は、判定部３５によって、ピッチ角が閾値以上であるかを判定する（ステップＳ１０４）。車両用映像処理装置３０は、判定部３５が、傾斜角検出部３３が検出したピッチ角が閾値以上であると判定する場合（ステップＳ１０４でＹｅｓ）、ステップＳ１０５に進む。車両用映像処理装置３０は、判定部３５が、傾斜角検出部３３が検出したピッチ角が閾値以上ではないと判定する場合（ステップＳ１０４でＮｏ）、ステップＳ１１１に進む。

傾斜角検出部３３が検出したピッチ角が閾値以上であると判定する場合（ステップＳ１０４でＹｅｓ）、車両用映像処理装置３０は、判定部３５によって、路面領域検出部３４２が検出した路面領域に基づいて、路面領域の面積が増減したかを判定する（ステップＳ１０５）。車両用映像処理装置３０は、判定部３５が、路面領域の面積が増減したと判定する場合（ステップＳ１０５でＹｅｓ）、ステップＳ１０６に進む。車両用映像処理装置３０は、判定部３５が、路面領域の面積が増減していないと判定する場合（ステップＳ１０５でＮｏ）、ステップＳ１０１の処理を再度実行する。

路面領域の面積が増減したと判定する場合（ステップＳ１０５でＹｅｓ）、車両用映像処理装置３０は、表示領域の補正処理を行う（ステップＳ１０６）。車両用映像処理装置３０は、歪補正部３４３によって、路面領域の面積の変化に応じて、歪パラメータを変更して歪みを補正する表示領域の補正処理を行う。車両用映像処理装置３０は、歪補正部３４３によって、路面領域の面積が増加した場合、歪みを補正する表示領域を上側にシフトさせるように、歪パラメータを変更して歪みを補正する表示領域の補正処理を行う。車両用映像処理装置３０は、歪補正部３４３によって、路面領域の面積が減少した場合、歪みを補正する表示領域を下側にシフトさせるように、歪パラメータを変更して歪みを補正する表示領域の補正処理を行う。車両用映像処理装置３０は、ステップＳ１０７に進む。

車両用映像処理装置３０は、表示映像データを生成する（ステップＳ１０７）。車両用映像処理装置３０は、映像生成部３４４によって、前方歪補正映像データから表示映像データを生成する。車両用映像処理装置３０は、ステップＳ１０８に進む。

車両用映像処理装置３０は、表示制御部３７によって、生成した表示映像データを表示部２１に表示させる（ステップＳ１０８）。車両用映像処理装置３０は、ステップＳ１０９に進む。

車両用映像処理装置３０は、判定部３５によって、ピッチ角が閾値未満であるかを判定する（ステップＳ１０９）。車両用映像処理装置３０は、判定部３５が、傾斜角検出部３３が検出したピッチ角が閾値未満であると判定する場合（ステップＳ１０９でＹｅｓ）、ステップＳ１１０に進む。車両用映像処理装置３０は、判定部３５が、傾斜角検出部３３が検出したピッチ角が閾値未満ではないと判定する場合（ステップＳ１０９でＮｏ）、ステップＳ１０９の処理を再度実行する。

傾斜角検出部３３が検出したピッチ角が閾値未満であると判定する場合（ステップＳ１０９でＹｅｓ）、車両用映像処理装置３０は、表示領域を初期設定に戻す（ステップＳ１１０）。車両用映像処理装置３０は、歪補正部３４３が、ステップＳ１０６において変更した歪パラメータを初期値に戻す。車両用映像処理装置３０は、歪補正部３４３によって、歪パラメータを、車両Ｖが平坦な道路を走行している場合の歪パラメータに戻す。車両用映像処理装置３０は、ステップＳ１１３に進む。

傾斜角検出部３３が検出したピッチ角が閾値以上ではないと判定する場合（ステップＳ１０４でＮｏ）、車両用映像処理装置３０は、表示映像データを生成する（ステップＳ１１１）。車両用映像処理装置３０は、映像生成部３４４によって、映像データから表示映像データを生成する。車両用映像処理装置３０は、ステップＳ１１２に進む。

車両用映像処理装置３０は、表示制御部３７によって、表示映像データを表示部２１に表示させる（ステップＳ１１２）。車両用映像処理装置３０は、ステップＳ１１３に進む。

車両用映像処理装置３０は、判定部３５によって、車速が閾値より大きいかを判定する（ステップＳ１１３）。車両用映像処理装置３０は、判定部３５が、車速検出部３２が検出した車速が閾値より大きいと判定する場合（ステップＳ１１３でＹｅｓ）、ステップＳ１１４に進む。車両用映像処理装置３０は、判定部３５が、車速検出部３２が検出した車速が閾値より大きくないと判定する場合（ステップＳ１１３でＮｏ）、ステップＳ１１３の処理を再度実行する。

車速検出部３２が検出した車速が閾値より大きいと判定する場合（ステップＳ１１３でＹｅｓ）、車両用映像処理装置３０は、表示映像データの表示を停止する（ステップＳ１１４）。車両用映像処理装置３０は、ステップＳ１１５に進む。

車両用映像処理装置３０は、処理を終了するかを判定する（ステップＳ１１５）。より詳しくは、車両用映像処理装置３０は、終了トリガの有無に基づいて、処理を終了するか否かを判定する。終了トリガは、例えば、エンジンオフ、ギヤをパーキングに入れた、サイドブレーキを動作させたなどの組合せで終了トリガとなる。終了トリガは、ユーザの操作によって終了トリガとなってもよい。車両用映像処理装置３０は、終了トリガがある場合、処理を終了すると判定し（ステップＳ１１５でＹｅｓ）、処理を終了する。車両用映像処理装置３０は、終了トリガがない場合、処理を終了しないと判定し（ステップＳ１１５でＮｏ）、ステップＳ１０１の処理を再度実行する。

このようにして、判定部３５が、車両Ｖの傾斜角が閾値以上であり、車両Ｖの車速が閾値以下であり、路面領域の面積が閾値以上、変化したと判定する場合、歪補正部３４３は、路面領域の面積の変化に応じて、歪パラメータを変更して歪みを補正する。歪補正部３４３は、路面領域の面積が増加した場合、歪みを補正する表示領域を上側にシフトさせるように、歪パラメータを変更して歪みを補正する。歪補正部３４３は、路面領域の面積が減少した場合、歪みを補正する表示領域を下側にシフトさせるように、歪パラメータを変更して歪みを補正する。

上述したように、本実施形態は、車両Ｖの傾斜角が閾値以上であり、車両Ｖの車速が閾値以下であり、路面領域の面積が閾値以上、変化したと判定する場合、路面領域の面積の変化に応じて、歪パラメータを変更して歪みを補正することができる。本実施形態は、路面領域の面積が増加した場合、歪みを補正する表示領域を上側にシフトさせるように、歪パラメータを変更して歪みを補正することができる。路面領域の面積が減少した場合、歪みを補正する表示領域を下側にシフトさせるように、歪パラメータを変更して歪みを補正することができる。このようにして、本実施形態によれば、車両Ｖの傾斜角によらず、適切な表示領域の映像を表示することができる。

本実施形態は、歪パラメータを変更する場合、カメラユニット１０が撮影する際の測光領域の位置を歪パラメータの変更に合わせて制御することができる。本実施形態によれば、車両Ｖの傾斜角によらず、適切な測光領域を設定して、適切に測光して撮影することができる。

このように、本実施形態によれば、車両Ｖの傾斜角によらず、車両Ｖの周囲を適切な映像で確認させることができる。

さて、これまで本発明に係る車両用映像処理システム１について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されてよいものである。

図示した車両用映像処理システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

車両用映像処理システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

図１５、図１６を用いて、車両Ｖが走行している道路と交差道路がカーブしている場合について説明する。図１５は、交差道路がカーブしている際に、歪補正処理を行う表示領域の一例を示す図である。図１６は、車両が走行している道路に交差する道路がカーブしている状態を説明する図である。歪補正部３４３は、車両Ｖが走行している道路と交差道路がカーブしている場合、カーブの形状に合わせて、歪パラメータを変更して歪みを補正してもよい。車両用映像処理装置３０は、図示しないナビゲーションシステムから車両Ｖの現在位置の現在位置情報と、車両Ｖの周囲の地図情報とを取得するナビゲーション情報取得部を有する。さらに、車両用映像処理装置３０は、ナビゲーション情報取得部が取得した情報に基づいて、道路の形状を検出する道路形状検出部を有する。歪補正部３４３は、路面領域の面積の変化と、道路形状検出部が検出した道路の形状に応じて、歪パラメータを変更して歪みを補正する。歪補正部３４３は、交差道路のカーブ形状に合わせて、カーブしている側の表示表域を遠方まで表示できるように、歪みを補正する表示領域の右側または左側を上側または下側にシフトさせるように、歪パラメータを変更して、図中に示した形状の領域であるＡ４が表示領域となるように歪パラメータを変更する。これにより、交差道路がカーブしている場合、ユーザが直接視認しにくい、カーブ形状に合わせた表示領域の車両Ｖの周囲の映像を表示することができる。

図１７を用いて、車両Ｖが雪道などを走行している場合について説明する。図１７は、車両が雪道を走行する際に、歪補正処理を行う表示領域の一例を示す図である。例えば、積雪または冠水によって、路面領域検出部３４２が路面を検出できない場合、より広い範囲を表示領域とするように歪パラメータを変更して、図中に示した形状の領域であるＡ５が表示領域となるように歪パラメータを変更する。これにより、積雪または冠水によって路面領域の検出が困難である場合、路面とする領域を通常よりも広くした表示領域の車両Ｖの周囲の映像を表示することができる。

駐車時、車両Ｖの周囲を確認する映像を表示する場合について説明する。この場合、車両用映像処理装置３０は、後退トリガがあると判定された場合、図１４に示すフローチャートの処理を実行する。後退トリガとは、例えば、シフトポジションが「リバース」とされたこと、または、車両Ｖの進行方向が車両Ｖの前後方向の後方となったことをいう。そして、ステップＳ１０２において、後方映像データに写されている路面領域を検出して、ステップＳ１０５において、後方映像データの路面領域の面積が増減したかを判定する。そして、ステップＳ１０６において、歪パラメータを変更して後方映像データの歪みを補正する。このようにして、駐車時、車両Ｖの傾斜角によらず、適切な表示領域の車両Ｖの後方の映像を表示することができる。

車両用映像処理システム１は、車両Ｖの走行時に周囲の映像を撮影して記録する、いわゆるドライブレコーダにも適用可能である。この場合、車両Ｖの車速によらず、判定部３５は、傾斜角検出部３３が検出した車両Ｖの傾斜角と、路面領域検出部３４２が検出した路面領域とに基づいて、車両Ｖの傾斜角が閾値以上であり、路面領域の面積が閾値以上、変化したか否かを判定する。また、歪補正部３４３は、判定部３５が、車両Ｖの傾斜角が閾値以上であり、路面領域の面積が閾値以上、変化したと判定する場合、路面領域の面積の変化に応じて、歪パラメータを変更して歪みを補正する。車両用映像処理装置３０は、図１４に示すフローチャートのステップＳ１０３、ステップＳ１１３、および、ステップＳ１１４以外の処理を実行する。さらに、ドライブレコーダに適用する場合、記憶部３９とは別に、車両用映像処理装置３０の外部に、映像データを保存するための、例えば、カード型の記録メディアを含む外部記録装置を有していてもよい。

車両用映像処理装置３０は、歪補正部３４３が歪パラメータを変更する場合に、ヘッドライトの光軸の位置を歪パラメータの変更に合わせて制御する光軸制御部を有していてもよい。これにより、適切な車両Ｖの周囲の映像を表示することができる。

上記の３軸ジャイロセンサ２４に代えて、Ｘ方向、Ｙ方向、及びＺ方向の加速度を検出可能な３軸の加速度センサと３軸ジャイロセンサとの機能を有する６軸のセンサであってもよい。

１ 車両用映像処理システム
１０ カメラユニット
２１ 表示部
２２ ヘッドライトスイッチ
２３ 車速センサ
２４ ３軸ジャイロセンサ
３０ 車両用映像処理装置
３１ ヘッドライト点灯検出部
３２ 車速検出部
３３ 傾斜角検出部
３４ 映像処理部
３４１ 映像データ取得部
３４２ 路面領域検出部
３４３ 歪補正部
３４４ 映像生成部
３５ 判定部
３６ 測光領域制御部
３７ 表示制御部
３９ 記憶部

Claims (3)

1. 車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得部と、
   前記映像データ取得部が取得した前記映像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する歪補正部と、
   前記映像データ取得部が取得した前記映像データに写されている路面領域を検出する路面領域検出部と、
   を備え、
   前記歪補正部は、前記路面領域検出部が路面を検出できない場合、前記歪パラメータを変更しない場合の表示領域より広い範囲を表示領域とするように前記歪パラメータを変更して歪みを補正する、
   ことを特徴とする車両用映像処理装置。
2. 前記歪補正部は、前記路面領域検出部が路面を検出できない場合、歪を補正する表示範囲の上側および下側に広げるように前記歪パラメータを変更して歪みを補正する、
   請求項１に記載の車両用映像処理装置。
3. 車両の周辺を撮影する撮影部が撮影した映像データを取得する映像データ取得ステップと、
   前記映像データ取得ステップで取得した前記映像データの歪みを歪パラメータを用いて補正して、歪補正映像データを出力する歪補正ステップと、
   前記映像データ取得ステップで取得した前記映像データに写されている路面領域を検出する路面領域検出ステップと、
   を含み、
   前記歪補正ステップにおいては、前記路面領域検出ステップで路面が検出できない場合、前記歪パラメータを変更しない場合の表示領域より広い範囲を表示領域とするように前記歪パラメータを変更して歪みを補正する、
   車両用映像処理方法。
   

Images