JP2013220729A - 車載カメラの取付角度補正装置および取付角度補正方法 - Google Patents

Abstract

【課題】取付角度パラメータの補正精度を向上させることが可能な「車載カメラの取付角度補正装置および取付角度補正方法」を提供する。
【解決手段】レーンマーク検出部１により撮影画像内から検出され、車載カメラ２００の取付角度パラメータに基づいて視点変換部２により平面上に投影されたレーンマークが直線であるか否かを判定する直線性判定部３と、レーンマークが直線であると判定された場合に、撮影画像内から検出された１組のレーンマークが平行となるよう取付角度パラメータを補正するパラメータ補正部７とを備え、レーンマークが直線であると判定された場合に限り取付角度パラメータの補正を行い、直線でないと判定された場合は補正を行わないようにすることで、カーブ形状の道路を車両が直進している場合に、補正を行うことによって取付角度パラメータの誤差が却って増大してしまう不都合を防止する。
【選択図】図１

Description

本発明は、車載カメラの取付角度補正装置および取付角度補正方法に関し、特に、路上のレーンマークを検出する際の画像処理に用いる画像を撮影するために車両に搭載された車載カメラの取付角度パラメータを補正する装置に関するものである。

従来、走行中の車両が車線から逸脱する恐れがある場合に警報を発する車線逸脱警報装置が提供されている。この種の車線逸脱警報装置では一般的に、車載カメラにより撮影された画像の処理によって路上のレーンマーク（車線境界線）を検出し、検出したレーンマークを跨いで車両が車線から逸脱する恐れがある場合に、警報を発するようになされている。

この車線逸脱警報装置においては、撮影画像内から抽出されたレーンマークを３次元座標の路面（平面）に投影した上で、車両がレーンマークを跨いで車線から逸脱する恐れがあるか否かを判定している。なお、３次元座標の路面への投影とは、車載カメラより入力した撮影画像を、車両上方の仮想視点から見た真上からの画像に視点変換することをいう。

この視点変換を行うために、車載カメラの取り付け時にキャリブレーションを行うことによって、カメラパラメータ（取付位置、取付角度）をあらかじめ算出して記憶しておく必要がある。このカメラパラメータを正確に求めておくことにより、当該カメラパラメータを用いて３次元座標の路面への投影した左右のレーンマークが平行となり、車線逸脱の恐れを精度良く判定することが可能となる。

しかしながら、荷物の積載量や加減速などに起因する車両の姿勢変化により、車載カメラと路面との位置関係（特に、ピッチ角）がキャリブレーション時から変化することがある。この場合、キャリブレーションによって求めたカメラパラメータを用いてレーンマークを検出すると、その検出位置に誤差（ピッチ角１度につき１０〜１５ｃｍ）が生じ、レーンマーク逸脱の警報を適切に行うことできなくなってしまうという問題があった。

このような問題を解決するための手段として、車両の走行状態に応じてカメラパラメータを補正する技術が提案されている（例えば、特許文献１参照）。この特許文献１に記載の技術では、車両が所定速度以上で直進走行中であり、かつ、視点変換された１組のレーンマークが平行でない（挟み角が所定値以上である）場合に、当該１組のレーンマークが平行になるよう車載カメラのピッチ角を補正するように成されている。

特許第３６００３７８号公報

上記特許文献１に記載の技術では、車両が直進走行中か否かをハンドル操舵角に基づいて判定し、直進走行中であると判定した場合に、左右のレーンマークが平行であることを前提としてカメラパラメータを補正している。しかしながら、図７のように、カーブ形状の道路を車両が直進している場合、実際には左右のレーンマークは平行でないため、これを平行となるように補正をかけると、カメラパラメータの誤差が増大してしまう。その結果、レーンマークの位置を正しく検出することができなくなってレーンマーク逸脱の警報を適切に行うことできず、警報遅れまたは未警報となってしまう問題があった。

本発明は、このような問題を解決するために成されたものであり、撮影画像内から検出されるレーンマークを用いたカメラパラメータ（取付角度パラメータ）の補正精度を向上させることにより、レーンマーク検出の位置精度を向上させることができるようにすることを目的とする。

上記した課題を解決するために、本発明では、撮影画像内から検出されたレーンマークであって、車載カメラの取付角度パラメータを含むカメラパラメータに基づいて３次元座標の平面上に投影されたレーンマークが直線であるか否かを判定し、直線であると判定された場合に限り、撮影画像内から検出された１組のレーンマークが平行となるよう取付角度パラメータを補正するようにしている。

上記のように構成した本発明によれば、撮影画像内から検出されたレーンマークが直線でないと判定された場合は、撮影画像内から検出された１組のレーンマークが平行であるか否か（つまり、車両の姿勢変化が生じているか否か）にかかわらず、取付角度パラメータの補正は行われない。そのため、カーブ形状の道路を車両が直進している場合には、取付角度パラメータの補正が行われることがなくなるので、補正をすることによって取付角度パラメータの誤差が却って増大してしまう不都合を防止することができる。これにより、取付角度パラメータの補正精度が向上し、レーンマーク検出の位置精度を向上させることができる。

本実施形態による車載カメラの取付角度補正装置の機能構成例を示すブロック図である。 本実施形態のレーンマーク検出部により行われるスライスの抽出処理を説明するための図である。 本実施形態のレーンマーク検出部により行われるスライスのグルーピング処理を説明するための図である。 本実施形態の視点変換部により行われる視点変換処理および直線算出部により行われる近似直線の算出処理を説明するための図である。 本実施形態による直線性判定部の処理を説明するための図である。 本実施形態による取付角度補正装置の動作例を示すフローチャートである。 従来の問題点を説明するための図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車載カメラの取付角度補正装置１００の機能構成例を示すブロック図である。図１に示すように、本実施形態の取付角度補正装置１００は、車両に搭載された車載機に組み込まれるものであり、車載カメラ２００に接続されている。車載カメラ２００は、例えば、車両の後方に設置されたリアカメラである。

取付角度補正装置１００は、その機能構成として、レーンマーク検出部１、視点変換部２、直線性判定部３、走行速度判定部４、平行性判定部５、直進性判定部６、パラメータ補正部７およびパラメータ記憶部８を備えている。また、レーンマーク検出部１は、具体的な機能構成として、スライス抽出部１１を備えている。また、直線性判定部３は、具体的な機能構成として、直線算出部３１および誤差判定部３２を備えている。

なお、図１に示す各機能ブロック１〜７は、ハードウェア構成、ＤＳＰ、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、上記各機能ブロック１〜７は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。

図１において、レーンマーク検出部１は、車載カメラ２００より入力される撮影画像内からレーンマークを所定時間毎に検出する。具体的には、レーンマーク検出部１のスライス抽出部１１が、撮影画像を水平方向に１ラインずつスキャンしていったときに周囲との輝度差が大きくなる部分をスライスとして抽出し、複数のスライスの集合をレーンマークとして検出する。

図２および図３は、スライス抽出部１１の処理を説明するための図である。まず、スライス抽出部１１は、車載カメラ２００より入力された撮影画像から、グレースケールの輝度画像を生成する。そして、スライス抽出部１１は、図２に示すように、輝度画像を水平方向にスキャンして、閾値以上の輝度が一定間隔続く水平部分をラインとして取り出す。これを撮影画像の全体に対して行う。なお、取り出したラインの１つ１つを「スライス」という。

次に、スライス抽出部１１は、図３に示すように、取り出した各スライスに対して、垂直方向に隣接するスライスどうしで水平方向の座標値の少なくとも一部が重複している複数のスライスをグルーピングする。図３に示す例では、撮影画像内からスライスの３つのグループ１〜３が抽出されている。スライス抽出部１１は、このようにしてグルーピングした複数のスライスの集合をそれぞれレーンマークとして検出する。

視点変換部２は、レーンマーク検出部１により検出された少なくとも１組のレーンマークの画像を、車載カメラ２００の取付角度パラメータを含むカメラパラメータに基づいて３次元座標の平面上に投影する。具体的には、視点変換部２は、図４に示すように、各グループ１〜３のスライスを３次元座標の路面（Ｚ＝０）に投影する。なお、３次元座標の路面への投影とは、各スライスの集合から成るレーンマークの画像を、車両上方の仮想視点から見た真上からの画像に視点変換することをいう。３次元座標の原点は、車両中心の位置である。また、Ｘ軸において車両の前方がプラス、Ｙ軸において車両の左側がプラスで右側がマイナスである。

この視点変換処理で用いるカメラパラメータは、パラメータ記憶部８に記憶されている。このカメラパラメータは、車載カメラ２００の取り付け時にキャリブレーションを行うことによって算出されたものであるが、以下に述べるようにパラメータ補正部７によって適宜補正されるようになっている。本実施形態において補正の対象とするパラメータは、車載カメラ２００の取付角度パラメータである。より具体的には、ピッチ角のパラメータである。

直線性判定部３は、視点変換部２により平面上に投影されたレーンマークが直線であるか否かを判定する。そして、その判定結果をパラメータ補正部７に通知する。具体的には、まず、直線算出部３１において、レーンマーク検出部１のスライス抽出部１１により抽出され視点変換部２により平面上に投影された複数のスライスのそれぞれの中点から、最小２乗法でレーンマークの近似直線式Ｙ＝ａＸ＋ｂ（Ｚ＝０）を算出する。ここで、ａは近似直線の傾き、ｂは近似直線のＹ切片である。

図４に示した例において、スライスのグループ１から抽出される近似直線の直線式はＹ＝ａ１Ｘ＋ｂ１、グループ２から抽出される近似直線の直線式はＹ＝ａ２Ｘ＋ｂ２、グループ３から抽出される近似直線の直線式はＹ＝ａ３Ｘ＋ｂ３である。

ここで、直線算出部３１は、各グループ１〜３について算出した近似直線の直線式のうち、傾きａおよびＹ切片ｂの値がある範囲内に入る複数の直線式がある場合は、それらの直線式に該当するグループを１つにまとめる。図４の例では、グループ２とグループ３を１つのグループにまとめている。そして、直線算出部３１は、１つにまとめたグループについて、その中に含まれる各スライスの情報から１本の近似直線を再度抽出する。その結果、まとめた近似直線の直線式はＹ＝ａ４Ｘ＋ｂ４となる。

次に、誤差判定部３２は、直線算出部３１により算出された近似直線と、視点変換部２により平面上に投影された複数のスライスの中点との誤差の大きさからレーンマークの直線性を判定する。例えば、誤差判定部３２は、近似直線と中点との誤差の大きさが所定値以上となるスライスが存在する場合に、レーンマークが直線ではないと判定する。

例えば、図５に示すように、車両がカーブ路の直後を直進走行している場合、撮影画像の奥の方にカーブ形状のレーンマークが写り、手前の方に直線形状のレーンマークが写っている。この場合、直線形状のレーンマーク部分では近似直線とスライスの中点との誤差は所定値より小さくなるが、カーブ形状のレーンマーク部分（一点鎖線の円で示した部分）では誤差が所定値以上となる。つまり、近似直線と中点との誤差の大きさが所定値以上となるスライスが存在するので、誤差判定部３２はレーンマークが直線ではないと判定する。

なお、誤差判定部３２による直線性の判定方法は、この例に限定されるものではない。例えば、誤差判定部３２は、近似直線の直線式Ｙ＝ａＸ＋ｂと各スライスの中点との誤差の大きさから、以下に示す算出式によって直線性評価値MatchingValueを算出し、当該直線性評価値が所定値より小さい場合にレーンマークが直線ではないと判定するようにしてもよい。
MatchingValue＝1.0−Diffrence／MaxDiffrence
ただし、
Diffrence：直線式と各スライスの中点との距離の平均値
MaxDiffrence：距離誤差の閾値

走行速度判定部４は、車両の走行速度が所定値以上であるか否かを判定する。具体的には、走行速度判定部４は、図示しない車速センサにより検出された走行速度情報を入力し、当該入力した走行速度情報が所定値（例えば、４５[ｋｍ／ｈ]以上を示しているか否かを判定する。そして、その判定結果をパラメータ補正部７に通知する。

平行性判定部５は、視点変換部２により平面上に投影された１組のレーンマーク（車両の左右のレーンマーク）が平行であるか否かを判定する。具体的には、平行性判定部５は、視点変換部２により平面上に投影された１組のレーンマークについて直線算出部３１により算出された直線式に基づいて、１組の直線式の角度差が所定値（例えば、１度）以上の場合に、１組のレーンマークが平行でないと判定する。そして、その判定結果をパラメータ補正部７に通知する。

直進性判定部６は、車両が直進走行しているか否かを判定する。具体的には、直進性判定部６は、視点変換部２により平面上に投影された１組のレーンマークについて直線算出部３１により算出された直線式に基づいて、１組の直線式の角度が異符号であるか、角度相対角が所定値（例えば、１．５度）以下の場合に、車両が直進走行していると判定する。そして、その判定結果をパラメータ補正部７に通知する。なお、車両が直進走行しているか否かは、ハンドル操舵角の情報に基づいて判定することも可能である。

パラメータ補正部７は、所定時間毎に以下の４つの条件(1)〜(4)を全て満たしたときに、視点変換部２により視点変換された１組のレーンマークが平行となるように、パラメータ記憶部８に記憶されている取付角度パラメータ（ピッチ角）を補正する。
(1)直線性判定部３によりレーンマークが直線であると判定されること
(2)走行速度判定部４により車両の走行速度が所定値以上であると判定されること
(3)平行性判定部５により１組のレーンマークが平行でないと判定されること
(4)直進性判定部６により車両が直進走行していると判定されること

ピッチ角の具体的な補正方法は、本実施形態においては特に限定するものでなく、種々の方法を適用することが可能である。例えば、１組のレーンマークの間隔をΔｄ[ｍ]、１組の直線式の角度差をΔΦ[ｄｅｇ]、車載カメラ２００の路上からの取り付け高さをＺｃ[ｍ]としたとき、ピッチ角補正値ΔＰを以下の式により算出する。そして、このピッチ角補正値ΔＰに基づいて取付角度パラメータの補正を行う。
ΔＰ＝ΔΦ／（Δｄ×Ｚｃ）

次に、上記のように構成した本実施形態による取付角度補正装置１００の動作を説明する。図６は、本実施形態による取付角度補正装置１００の動作例を示すフローチャートである。なお、図６に示すフローチャートは、取付角度補正装置１００の組み込まれた車載機が起動されたときに開始する。

まず、レーンマーク検出部１のスライス抽出部１１は、車載カメラ２００より入力された撮影画像をグレースケールの輝度画像に変換する。そして、輝度画像を水平方向にスキャンすることによって複数のスライスを抽出し、その集合をレーンマークとして検出する（ステップＳ１）。視点変換部２は、レーンマーク検出部１により検出された各レーンマークの画像（複数のスライスの集合）を、パラメータ記憶部８に記憶されたカメラパラメータに基づいて３次元座標の平面上に投影する（ステップＳ２）。

次に、直線性判定部３の直線算出部３１は、視点変換部２により平面上に投影された複数のスライスのそれぞれの中点から、最小２乗法でレーンマークの近似直線式を算出する（ステップＳ３）。続いて、誤差判定部３２は、直線算出部３１により算出された近似直線と、複数のスライスの中点との誤差の大きさに基づいて、レーンマークが直線であるか否かを判定する（ステップＳ４）。

また、走行速度判定部４は、車両の走行速度が所定値以上であるか否かを判定する（ステップＳ５）。また、平行性判定部５は、視点変換部２により平面上に投影された１組のレーンマークが平行であるか否かを判定する（ステップＳ６）。さらに、直進性判定部６は、車両が直進走行しているか否かを判定する（ステップＳ７）。

そして、パラメータ補正部７は、上記ステップＳ４〜Ｓ７における４つの判定結果に基づいて、レーンマークが直線で、車両の走行速度が所定値以上で、１組のレーンマークが平行でなく、かつ、車両が直進走行しているという４つの条件を満たすか否かを判定する（ステップＳ８）。これら４つの条件を全て満たすと判定したとき、パラメータ補正部７は、視点変換部２により視点変換された１組のレーンマークが平行となるように、パラメータ記憶部８に記憶されている取付角度パラメータ（ピッチ角）を補正する（ステップＳ９）。一方、４つの条件のうち１つでも満たさないものがある場合、パラメータ補正部７は取付角度パラメータの補正は行わない。

その後、レーンマーク検出部１は、車載機の電源がオフとされたか否かを判定する（ステップＳ１０）。車載機の電源がオフとされていない場合、処理はステップＳ１に戻る。一方、車載機の電源がオフとされた場合は、図６に示すフローチャートの処理を終了する。

以上詳しく説明したように、本実施形態では、レーンマーク検出部１により撮影画像内から検出され視点変換部２により３次元座標の平面上に投影されたレーンマークが直線であるか否かを直線性判定部３において判定し、直線であると判定された場合に限り、パラメータ補正部７において取付角度パラメータ（ピッチ角）の補正を行うようにしている。

このように構成した本実施形態によれば、車両がカーブ路付近を走行していて、撮影画像内から検出されたレーンマークが直線でないと判定された場合は、撮影画像内から検出された１組のレーンマークが平行でない（つまり、車両の姿勢変化が生じている）場合であっても、取付角度パラメータの補正は行われない。その後、車両が走行を続けて直線路に移り、撮影画像内から検出されたレーンマークが直線であると判定されると、取付角度パラメータの補正が行われる。

このように、本実施形態によれば、カーブ路付近を車両が直進している場合には、取付角度パラメータの補正が行われなくなるので、補正をすることによって取付角度パラメータの誤差が却って増大してしまう不都合を防止することができる。これにより、取付角度パラメータの補正精度が向上し、レーンマーク検出の位置精度を向上させることができる。

なお、上記実施形態では、直線性判定部３、走行速度判定部４、平行性判定部５および直進性判定部６の４つの条件を全て満たすときにパラメータ補正部７が取付角度パラメータの補正を行う例について説明したが、これら全ての条件を判定することは必須ではない。少なくとも直線性判定部３および直進性判定部６は必須である。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ レーンマーク検出部
２ 視点変換部
３ 直線性判定部
４ 走行速度判定部
５ 平行性判定部
６ 直進性判定部
７ パラメータ補正部
８ パラメータ記憶部
１１ スライス抽出部
３１ 直線算出部
３２ 誤差判定部
１００ 取付角度補正装置
２００ 車載カメラ

Claims (5)

1. 車載カメラより入力される撮影画像内からレーンマークを検出するレーンマーク検出部と、
   上記レーンマーク検出部により検出された少なくとも１組のレーンマークを、上記車載カメラの取付角度パラメータを含むカメラパラメータに基づいて３次元座標の平面上に投影する視点変換部と、
   上記視点変換部により上記平面上に投影されたレーンマークが直線であるか否かを判定する直線性判定部と、
   上記直線性判定部により上記レーンマークが直線であると判定された場合に、上記１組のレーンマークが平行となるよう上記取付角度パラメータを補正するパラメータ補正部とを備えたことを特徴とする車載カメラの取付角度補正装置。
2. 上記レーンマーク検出部は、上記撮影画像を水平方向に１ラインずつスキャンしていったときに周囲との輝度差が大きくなる部分をスライスとして抽出し、複数のスライスの集合を上記レーンマークとして検出するスライス抽出部を備え、
   上記直線性判定部は、上記スライス抽出部により抽出された複数のスライスであって、上記視点変換部により上記平面上に投影された複数のスライスのそれぞれの中点から近似直線を算出する直線算出部と、
   上記直線算出部により算出された近似直線と、上記視点変換部により上記平面上に投影された複数のスライスの中点との誤差の大きさから上記直線性を判定する誤差判定部とを備えたことを特徴とする請求項１に記載の車載カメラの取付角度補正装置。
3. 上記誤差判定部は、上記近似直線と上記中点との誤差の大きさが所定値以上となるスライスが存在する場合に、上記レーンマークが直線ではないと判定することを特徴とする請求項２に記載の車載カメラの取付角度補正装置。
4. 車両の走行速度が所定値以上であるか否かを判定する走行速度判定部と、
   上記視点変換部により上記平面上に投影された上記１組のレーンマークが平行であるか否かを判定する平行性判定部と、
   上記車両が直進走行しているか否かを判定する直進性判定部とを更に備え、
   上記パラメータ補正部は、上記車両の走行速度が所定値以上であると上記走行速度判定部により判定され、上記１組のレーンマークが平行でないと上記平行性判定部により判定され、上記車両が直進走行していると上記直進性判定部により判定され、かつ、上記直線性判定部により上記レーンマークが直線であると判定された場合に、上記取付角度パラメータを補正することを特徴とする請求項１〜３の何れか１項に記載の車載カメラの取付角度補正装置。
5. 車載機のレーンマーク検出部が、車載カメラより入力される撮影画像内からレーンマークを検出する第１のステップと、
   上記車載機の視点変換部が、上記レーンマーク検出部により検出された少なくとも１組のレーンマークを、上記車載カメラの取付角度パラメータを含むカメラパラメータに基づいて３次元座標の平面上に投影する第２のステップと、
   上記車載機の直線性判定部が、上記視点変換部により上記平面上に投影されたレーンマークが直線であるか否かを判定する第３のステップと、
   上記車載機のパラメータ補正部が、上記直線性判定部により上記レーンマークが直線であると判定された場合に、上記１組のレーンマークが平行となるよう上記取付角度パラメータを補正する第４のステップとを有することを特徴とする車載カメラの取付角度補正方法。

Images