JP2019053685A

JP2019053685A - 画像処理装置

Info

Publication number: JP2019053685A
Application number: JP2017179117A
Authority: JP
Inventors: 拓梅ケ谷; Taku Umegatani
Original assignee: Subaru Corp
Current assignee: Subaru Corp
Priority date: 2017-09-19
Filing date: 2017-09-19
Publication date: 2019-04-04
Anticipated expiration: 2037-09-19
Also published as: CN109522779A; US20190087963A1; JP6548312B2; CN109522779B; US11145063B2

Abstract

【課題】車両の進行方向を撮像して得られた画像に基づく側壁の認識を軽い負荷で実行可能な画像処理装置を提供する。【解決手段】画像処理装置は、車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像に基づき被写体の３次元位置情報を認識する画像処理装置であって、前記一対の画像のうちの一方の基準画像の輝度値に基づいて、前記車両の左側に位置する被写体については左下から右上に向かう輪郭線を検出し、前記車両の右側に位置する被写体については右下から左上に向かう輪郭線を検出するエッジ検出部を備える。【選択図】図３

Description

本発明は、車両の進行方向をステレオカメラを用いて撮像して得られた画像に基づき被写体の３次元位置情報を認識する画像処理装置に関する。

車外環境を認識する車両の運転支援システムとして、車両の進行方向を一対のカメラを備えるステレオカメラで撮像して得られた一対の画像に基づき、被写体と車両との位置関係を認識する画像処理装置を備えるものがある。

例えば、特許第５８２９９８０号公報には、車両の進行方向をステレオカメラを用いて撮像した画像から、テンプレート画像を用いたパターンマッチング処理を用いて、縁石等の路側物を認識する技術が開示されている。

特許第５８２９９８０号公報

縁石だけでなくガードレール等の側壁をパターンマッチング処理により認識する場合、認識処理の負荷が増大してしまう。これは、ガードレール等の側壁には様々な形状のものがあり、また同一形状であっても色の違いや光の当たり方の違いによって画像上の特徴が変化してしまうため、多数のテンプレート画像をもちいたパターンマッチング処理を行わなければならなくなるからである。認識処理の負荷の増大は、所定時間あたりの認識回数の低下を招くため、瞬時の応答を求められる運転支援システムにとって好ましくない。

本発明は、上述した問題点を解決するものであって、車両の進行方向を撮像して得られた画像に基づく側壁の認識を軽い負荷で実行可能な画像処理装置を提供することを目的とする。

本発明の一態様の画像処理装置は、車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像に基づき被写体の３次元位置情報を認識する画像処理装置であって、
前記一対の画像のうちの一方の基準画像の輝度値に基づいて、前記車両の左側に位置する被写体については左下から右上に向かう輪郭線を検出し、前記車両の右側に位置する被写体については右下から左上に向かう輪郭線を検出するエッジ検出部と、前記エッジ検出部により検出された前記輪郭線を有する被写体の前記３次元位置情報に基づき、前記輪郭線を有する前記被写体のうち、路面よりも所定の高さ以上に位置し、かつ前記車両の前後方向の長さが所定の長さ以上であるものを側壁として認識する側壁情報算出部と、を備える。

本発明によれば、車両の進行方向を撮像して得られた画像に基づく側壁の認識を軽い負荷で実行可能な画像処理装置を提供することができる。

画像処理装置の構成を示すブロック図である。基準画像の一例を示す図である。側壁情報算出処理のフローチャートである。複数の側壁候補エッジ点群のグループ化処理のフローチャートである複数の側壁候補エッジ点群のグループ化処理の一例を説明するための模式図である。

以下に、本発明の好ましい形態について図面を参照して説明する。なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。

図１に示す本実施形態の画像処理装置１は、ステレオカメラ２が装着された車両に搭載され、ステレオカメラ２によって撮像された画像中に写っている物体（被写体）の車両に対する相対的な位置を算出して出力する。

また、画像処理装置１は、ステレオカメラ２により撮像された画像から車両が走行中である道路の側方において道路に沿って配置された側壁を認識し、その結果を側壁情報として出力する。

ここで、側壁は、単純な壁に限られず、ガードレール等の防護柵、防音壁、欄干、縁石、盛り土等を含む。側壁は、道路の側方において路面よりも所定の高さ以上に位置し、かつ所定の長さ以上で道路と略平行に配置されている、車両１の通行を妨げる障害物であるとする。

ステレオカメラ２は、車両の進行方向を視野に収めるように車幅方向に所定の距離だけ離間して配置された、視点の異なる一対の撮像装置である第１カメラ２ａおよび第２カメラ２ｂを備える。第１カメラ２ａおよび第２カメラ２ｂは、同期して同一のフレームレートで動画像を撮像する。

第１カメラ２ａおよび第２カメラ２ｂは、互いの光軸が平行であり、同一の高さに設置される。本実施形態では一例として、第１カメラ２ａが撮像する画像を基準画像と称し、第２カメラ２ｂが撮像する画像を比較画像と称する。

ステレオカメラ２は、撮像した画像をデジタルデータに変換するＡ／Ｄコンバータや、画像に対してノイズ除去および輝度値補正等の画像補正を行う画像補正部等を備える。ステレオカメラ２は、撮像した画像をデジタルデータとして画像処理装置１に送信する。

画像処理装置１は、ＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータより構成されている。なお、画像処理装置１は、車両の動作を制御するコンピュータを含む車両制御システム３に組み込まれていてもよいし、車両制御システム３とは別のコンピュータであってもよい。

画像処理装置１は、車両制御システム３との間で通信可能である。車両制御システム３は、車両に設けられた車速センサ、舵角センサ、加速度センサおよび角速度センサ等を含むセンサ部５から入力される情報と、画像処理装置１から入力される情報と、に基づき、車両の周辺環境を含めた状況を認識し、運転支援に係る動作を実行する。

運転支援に係る動作とは、運転者に対して車線逸脱警告や衝突警告を出力する警告動作、および自動ブレーキや自動操舵等の半自動または自動の運転補助動作等を含む。ステレオカメラを用いた運転支援は公知の技術であるため詳細な説明は省略する。

画像処理装置１は、記憶部１ａ、３次元位置情報生成処理部１ｂ、路上物体検出部１ｃ、エッジ検出部１ｄ、および側壁情報算出部１ｅを備える。なお、３次元位置情報生成処理部１ｂ、路上物体検出部１ｃ、エッジ検出部１ｄ、および側壁情報算出部１ｅは、個々の機能を実行する別個のハードウェアとして実装されていてもよいし、所定のプログラムをＣＰＵが実行することによって個々の機能が達成されるようにソフトウェア的に実装されていてもよい。

記憶部１ａは、ステレオカメラ２から入力される一対の画像（基準画像および比較画像）のデータを記憶する。また、記憶部１ａは、車両の幅の寸法を記憶する。本実施形態では一例として、車両の幅の寸法は、車両制御システム３に記憶されており、画像処理装置１は、車両の幅の寸法を車両制御システム３との間の通信によって取得し、記憶部１ａに記憶する。

３次元位置情報生成処理部１ｂは、記憶部１ａに記憶されている基準画像および比較画像に基づき、いわゆるステレオマッチング法を用いて基準画像における任意の座標に写っている被写体のステレオカメラ２に対する３次元位置情報を算出する。ステレオカメラ２によって撮像された一対の画像から被写体の３次元の位置を算出する方法は公知の技術であるため、詳細な説明は省略する。

図２に、ステレオカメラ２が備える一対のカメラのうちの第１カメラ２ａによって撮像される基準画像の一例を示す。以下の説明では、基準画像中において、車両の車幅方向と平行な軸を水平軸Ｈと称し、車両の上下方向と平行な軸を垂直軸Ｖと称する。また、水平軸Ｈに沿う方向に関し、車両の前方に向かった場合に右側となる方向を右と称し、右方向とは反対の方向を左と称する。また、垂直軸Ｖに沿う方向に関し、車両の上方となる方向を上と称し、車両の下方となる方向を下と称する。

なお、これらの軸および方向の呼称は説明のために用いるものであり、ステレオカメラ２の姿勢を定めるためのものではない。また、一般に、カメラにおける画素の配列や出力信号の定義には、水平および垂直の語句が用いられるが、これらと本実施形態における水平軸Ｈおよび垂直軸Ｖは必ずしも一致しない。

３次元位置情報生成処理部１ｂは、水平軸Ｈおよび垂直軸Ｖの任意の座表値に関し、当該座標値に写っている被写体の、実空間におけるステレオカメラ２に対する３次元の座標値を算出し、３次元位置情報として出力する。３次元位置情報は、例えば、ステレオカメラ２の中央真下の路面を原点として、車幅方向をＸ軸、上下方向をＹ軸、前後方向をＺ軸とする座標値を用いて表される。

３次元位置情報生成処理部１ｂによる３次元位置情報の生成は、ステレオカメラ２によって撮像される画像の全てのフレームに対して行われる。

路上物体検出部１ｃは、３次元位置情報生成処理部１ｂによって算出される３次元位置情報に基づき、車両が走行中である路面上に存在する物体である路上物体を検出する。具体的には、路上物体検出部１ｃは、まず、３次元位置情報に基づき、車両が走行中である路面を検出する。そして、路上物体検出部１ｃは、３次元位置情報の中から、路面よりも高い位置にあり所定の条件を満たして集まっているデータ群をグループ化し、これらを路上物体として検出する。路上物体は、例えば車両、歩行者、標識、側壁等を含む。

路上物体検出部１ｃによる路上物体の検出は、ステレオカメラ２によって撮像される画像の全てのフレームに対して行われる。

エッジ検出部１ｄは、基準画像に対し、輝度値を用いた８方向のエッジ検出処理を行う。８方向とは、基準画像の水平軸Ｈに平行な右および左と、垂直軸Ｖに平行な上および下と、水平軸Ｈに対して時計回りに４５度傾いた軸に平行な右下および左上と、水平軸Ｈに対して時計回りに１３５度傾いた軸に平行な右上および左下と、である。

例えば、エッジ検出部１ｄが、右下方向についてのエッジ検出処理を行う場合には、基準画像の水平軸Ｈに対して時計回りに４５度傾いた軸に平行な線上において右下に向かう場合の輝度値の微分値が所定の閾値以上となる点をエッジとして検出する。

エッジ検出部１ｄは、エッジ検出処理の結果として、エッジの位置を示す点（エッジ点）の座標値を、エッジ検出処理を行う方向と紐付けた情報を出力する。

エッジ検出部１ｄは、前記８方向のうちの指定された１つまたは複数の方向のみについてエッジ検出処理を行うことができる。エッジ検出部１ｄによるエッジ検出処理において、エッジ検出処理を行う方向の数を減らすことにより、処理にかかる時間を短縮することができる。また、エッジ検出部１ｄによるエッジ検出処理を行う画像の範囲を狭くすれば、処理にかかる時間を短縮することができる。

画像に対する８方向それぞれについてのエッジ検出処理は一般的な技術であるため、詳細な説明は省略する。

側壁情報算出部１ｅは、３次元位置情報生成処理部１ｂによる３次元位置情報と、エッジ検出部１ｄによるエッジ検出処理の結果と、に基づき、基準画像中の側壁を認識し、その結果を側壁情報として出力する。

図３は、側壁情報算出部１ｅによる、側壁情報算出処理のフローチャートである。図３に示す側壁情報算出処理は、ステレオカメラ２によって撮像される画像の全てのフレームに対して行われる。

側壁情報算出処理では、まずステップＳ１１０において、側壁情報算出部１ｅは、エッジ検出部１ｄにより、基準画像の左半分の領域内における、下および右下の２方向のエッジ検出処理と、基準画像の左半分の領域内における、上および左上の２方向のエッジ検出処理と、の一方または両方を実行する。そして、基準画像の左半分の領域内において、左下から右上に向かう輪郭線を有する被写体のエッジ点群を、側壁候補エッジ点群として抽出する。

ステップＳ１１０は、基準画像の半分の領域に対して２方向または４方向のエッジ検出処理を実行するため、基準画像全体に対して８方向のエッジ検出処理を実行する場合に比して短時間で完了する。

次に、ステップＳ１２０において、側壁情報算出部１ｅは、エッジ検出部１ｄによる、基準画像の右半分の領域内における、下および左下の２方向のエッジ検出処理と、基準画像の右半分の領域内における、上および右上の２方向のエッジ検出処理と、の一方または両方を実行する。そして、基準画像の左半分の領域内において、右下から左上に向かう輪郭線を有する被写体のエッジ点群を、側壁候補エッジ点群として抽出する。

なお、ステップＳ１１０およびステップＳ１２０、逆の順番で行われてもよいし、同時に行われてもよい。

基準画像の左半分には、車両の左側に存在する被写体が写っている。そして、車両の左側において、左下から右上に向かう輪郭線を有する被写体は、道路に沿って配置されたガードレール等の側壁か、車線を示す線状の路面標示か、車両の側方において停車中または走行中である他車両である可能性が高い。

また、基準画像の右半分には、車両の右側に存在する被写体が写っている。そして、車両の右側において、右下から左上に向かう輪郭線を有する被写体は、道路に沿って配置されたガードレール等の側壁か、車線を示す線状の路面標示か、車両の側方において停車中または走行中である他車両である可能性が高い。

したがって、ステップＳ１１０およびステップＳ１２０において抽出される側壁候補エッジ点群となるエッジを有する被写体は、側壁、路面標示、他車両である可能性が高い。

次に、ステップＳ１３０において、側壁情報算出部１ｅは、側壁候補エッジ点群に含まれるエッジ点の３次元位置情報を取得する。

次に、ステップＳ１４０において、側壁情報算出部１ｅは、側壁候補エッジ点群のうち、路面から所定の高さ以上のものを抽出する。本実施形態では一例として、側壁情報算出部１ｅは、路面から３０ｃｍ以上の高さにある側壁候補エッジ点群を抽出する。すなわち、ステップＳ１４０では、被写体のうち、路面標示や低い縁石の輪郭線に対応した側壁候補エッジ点群が除外される。

次にステップＳ１５０において、側壁情報算出部１ｅは、ステップＳ１４０で抽出した側壁候補エッジ点群のうち、前後方向に所定の長さ以上のものを抽出する。ここで、側壁候補エッジ点群の長さは、ある側壁候補エッジ点群に含まれる車両に最も近いエッジ点と車両から最も遠いエッジ点との間の距離である。本実施形態では一例として、側壁情報算出部１ｅは、長さ２０ｍ以上の側壁候補エッジ点群を抽出する。ステップＳ１６０の実行により、路面上を走行中または停止中である他車両の輪郭線に対応した側壁候補エッジ点群が除外される。

ステップＳ１４０およびステップＳ１５０の実行により、車両の左右において、路面から所定の高さに位置し、かつ長さが所定の長さ以上の側壁候補エッジ点群が抽出される。

次に、ステップＳ１６０において、側壁情報算出部１ｅは、ステップＳ１５０で抽出した側壁候補エッジ点群が、複数であるか否かを判定する。

ステップＳ１６０の判定において、側壁候補エッジ点群が複数ではないと判定した場合には、側壁情報算出部１ｅは、ステップＳ１７０に移行する。すなわち、ステップＳ１５０で抽出した側壁候補エッジ点群が、１つである場合には、ステップＳ１７０に移行する。

ステップＳ１７０では、側壁情報算出部１ｅは、１つの側壁候補エッジ点群に基づいて路上物体検出部１ｃが検出する路上物体を１つの側壁として認識する。

一方、ステップＳ１６０の判定において、側壁候補エッジ点群が複数であると判定した場合には、側壁情報算出部１ｅは、ステップＳ２００に移行する。

ステップＳ２００では、側壁情報算出部１ｅは、複数存在する側壁候補エッジ点群のうち、前後方向に関して重なっていないもの同士の、前後方向の離間距離を算出する。一対の側壁候補エッジ点群間の前後方向の離間距離は、車両に近い位置にある側壁候補エッジ点群に含まれる車両から最も遠いエッジ点（遠点）と、車両から遠い位置にある側壁候補エッジ点群に含まれる車両に最も近いエッジ点（近点）と、の間の距離である。

次にステップＳ２１０において、側壁情報算出部１ｅは、ステップＳ１５０で抽出した複数の側壁候補エッジ点群のうち、連続した側壁に関するものであると推定されるものの集まりを同一グループとするグループ化処理を実行する。

図４は、ステップＳ２１０で実行される複数の側壁候補エッジ点群のグループ化処理のフローチャートである。

複数の側壁候補エッジ点群のグループ化処理では、まずステップＳ３１０において、側壁情報算出部１ｅは、複数の側壁候補エッジ点群のうち、前後方向に一部が重なっており、かつ車幅方向に所定の距離以下で隣接しているもの同士を、同一グループとする。例えば、側壁情報算出部１ｅは、前後方向に一部が重なっており、かつ車幅方向の離間距離が０．５ｍ以下である複数の側壁候補エッジ点群を同一グループとする。

図５に、複数の側壁候補エッジ点群のＸ−Ｚ座標を、Ｙ軸に平行に上方から見た一例を示す。図５において、図中の上下方向が車両１００の前後方向であり、図中の上方が車両１００の進行方向である。図５には、５つの側壁候補エッジ点群Ｇ１からＧ５の例が示されている。

ステップＳ３１０では、図５に示す側壁候補エッジ点群のうち、Ｇ１およびＧ２のように、前後方向に一部が重なっており、かつ車幅方向に隣接しているもの同士が同一のグループとされる。なお、図５に示す例では、Ｇ１およびＧ２と、Ｇ４とも前後方向に一部が重なっているが、Ｇ４は、Ｇ１およびＧ２から車幅方向に大きく離れているため、異なるグループとされる。

次に、ステップＳ３２０において、側壁情報算出部１ｅは、複数の側壁候補エッジ点群のうち、前後方向に重なっていないが、最短の離間距離が第１距離以下であるもの同士を、同一グループとする。第１距離は、本実施形態では一例として、車両１００の車幅寸法である。車両１００の車幅寸法は、前述のように記憶部１ａに記憶されている。

ステップＳ３２０では、図５に示す複数の側壁候補エッジ点群のうち、Ｇ４およびＧ５のように、前後方向に重なっていないが、最短の離間距離が車両１００の車幅Ｗ以下であるもの同士が同一のグループとされる。なお、図５に示す例では、Ｇ１およびＧ２と、Ｇ３のように、最短の離間距離が車両１００の車幅Ｗより長いもの同士は異なるグループとされる。

複数の側壁候補エッジ点群のグループ化処理の実行後、側壁情報算出部１ｅは、ステップＳ２２０に移行する。ステップＳ２２０では、側壁情報算出部１ｅは、１つまたは複数の側壁候補エッジ点群のグループに基づいて路上物体検出部１ｃが検出する路上物体を１つの側壁として認識する。

すなわち、本実施形態では、側壁情報算出部１ｅは、最短の離間距離が第１距離以下の関係にある複数の側壁候補エッジ点群の位置において路上物体検出部１ｃが検出する路上物体を１つの連続した側壁として認識する。

以上に説明したように、本実施形態の画像処理装置１は、車両の進行方向をステレオカメラ２を用いて撮像して得られた一対の画像に基づき被写体の３次元位置情報を認識する画像処理装置１であって、一対の画像のうちの一方である基準画像の輝度値に基づいて、車両の左側に位置する被写体については水平な輪郭線および左下から右上に向かう輪郭線を検出し、車両の右側に位置する被写体については水平な輪郭線および右下から左上に向かう輪郭線を検出するエッジ検出部１ｄと、エッジ検出部１ｄにより検出された輪郭線を有する被写体の３次元位置情報に基づき、前記輪郭線を有する被写体のうち、路面よりも所定の高さ以上に位置し、かつ車両の前後方向の長さが所定の長さ以上であるものを側壁として認識する側壁情報算出部１ｅと、を備える。

このような構成を有する本実施形態の画像処理装置１では、エッジ検出部１ｄは、基準画像の左半分については、下および右下と、上および左上と、の少なくとも一方のエッジ検出処理を行い、基準画像の右半分については、下および左下と、上および右上と、の少なくとも一方のエッジ検出処理を行う。すなわち、本実施形態のエッジ検出部１ｄは、基準画像の２つの領域のそれぞれについて、２方向または４方向のエッジ検出処理を行う。

このため、本実施形態の画像処理装置１では、テンプレート画像を用いたパターンマッチング処理に比して、側壁を認識する処理の負荷を軽減することができる。

また、本実施形態の画像処理装置１の側壁情報算出部１ｅは、複数の側壁を認識した場合において、側壁の間の離間距離が所定の第１距離以下であるもの同士を同一の側壁として認識する。

例えば、側壁の色や形状が途中で変化した場合、同一の側壁であっても、エッジ検出処理により検出される側壁候補エッジ点群が途切れてしまう場合があるが、本実施形態の側壁情報算出部１ｅは、これらを同一の側壁として認識することができる。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置もまた本発明の技術的範囲に含まれるものである。

１画像処理装置、
１ａ記憶部、
１ｂ３次元位置情報生成処理部、
１ｃ路上物体検出部、
１ｄエッジ検出部、
１ｅ側壁情報算出部、
２ステレオカメラ、
２ａ第１カメラ、
２ｂ第２カメラ、
３車両制御システム、
５センサ部、
１００車両。

Claims

車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像に基づき被写体の３次元位置情報を認識する画像処理装置であって、
前記一対の画像のうちの一方の基準画像の輝度値に基づいて、前記車両の左側に位置する被写体については左下から右上に向かう輪郭線を検出し、前記車両の右側に位置する被写体については右下から左上に向かう輪郭線を検出するエッジ検出部と、
前記エッジ検出部により検出された前記輪郭線を有する被写体の前記３次元位置情報に基づき、前記輪郭線を有する前記被写体のうち、路面よりも所定の高さ以上に位置し、かつ前記車両の前後方向の長さが所定の長さ以上であるものを側壁として認識する側壁情報算出部と、
を備えることを特徴とする画像処理装置。
前記側壁情報算出部は、複数の前記側壁を認識した場合において、
前記側壁の間の離間距離が所定の距離以下であるもの同士を同一の側壁として認識することを特徴とする請求項１に記載の画像処理装置。
前記所定の距離は、前記車両の幅であることを特徴とする請求項２に記載の画像処理装置。