JP2021119507A - 車線の決定方法、車線測位精度の評価方法、車線の決定装置、車線測位精度の評価装置、電子デバイス、コンピュータ可読記憶媒体、及びプログラム - Google Patents

Abstract

【課題】画像内の車線に対して自動的に認識を行うことができ、車線ラベリングの自動化レベルを向上させる車線の決定方法、測位精度の評価方法、装置、デバイス、記憶媒体及びプログラムを提供する。【解決手段】車線の決定方法は、受信した道路画像において線条を決定し、線条を構成する画素点に対してスクリーニングし、車線を構成する画素点を決定し、車線を構成する画素点に対してフィッティングを行う。【選択図】図１

Description

本発明は、画像処理分野に関し、特に自動運転、インテリジェント交通、及びコンピュータビジョン等の分野に関する。

現在の測位評価においては、主に車線の手動でのラベリング方式を利用して車線の真値を取得する。具体的には、車両の前方撮影用の画像収集デバイスで取得された画像において、手動で車線の位置をラベリングし、その後、評価アルゴリズムで測位精度の差異を決定する。このような方法は、手動の介入が必要であり、ラベリング対象の画像が多く、コストが高く、しかも手動でラベリングする時のミスが発覚しにくい。

本発明は、車線の決定方法、測位精度の評価方法、装置、デバイス、及び記憶媒体を提供する。

本発明の１つの態様では、本発明の実施形態は、
受信した道路画像において線条を決定することと、
前記線条を構成する画素点に対してスクリーニングを行って、車線を構成する画素点を決定することと、
前記車線を構成する画素点に対してフィッティングを行って、車線を得ることと、を含む、車線の決定方法を提供する。

本発明のもう１つの様態では、本発明の実施形態は、
評価すべき車線検知値を取得することと、
上記の車線の決定方法によって得られた車線真値を取得することと、
前記車線検知値と前記車線真値との誤差に基づいて、前記評価すべき車線検知値に対して評価を行うことと、を含む、車線測位精度の評価方法を提供する。

本発明の第３様態では、本発明の実施形態は、
受信した道路画像において線条を決定するように構成される線条決定モジュールと、
前記線条を構成する画素点に対してスクリーニングを行って、車線を構成する画素点を決定するように構成される画素点決定モジュールと、
前記車線を構成する画素点に対してフィッティングを行って、車線を得るように構成される画素点フィッティングモジュールと、を備える車線の決定装置を提供する。

本発明の第４様態では、本発明の実施形態は、
評価すべき車線検知値を取得するように構成される車線検知値取得モジュールと、
上記の車線の決定装置によって得られた車線真値を取得するように構成される車線真値取得モジュールと、
前記車線検知値と前記車線真値との誤差に基づいて、前記評価すべき車線検知値に対して評価を行うように構成される評価モジュールと、を備える車線測位精度の評価装置を提供する。

本発明の第５様態では、本発明の実施形態は、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶されており、命令は、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、本発明のいずれか１項の実施形態に提供される方法を実行させる電子デバイスを提供する。

本発明の第６様態では、本発明の実施形態は、コンピュータに、本発明のいずれか１つの実施形態に提供される方法を実行させるコンピュータ命令を記憶するための非一時的なコンピュータ可読記憶媒体を提供する。

なお、ここで記載されている内容は、本発明の実施形態においてキーとなっている、又は重要視されている特徴、本発明の範囲を限定しているわけではない。本発明の他の特徴は下記の明細書の記載によって理解しやすくなる。

本発明による車線の決定方法のフローチャートである。 本発明において道路画像で線条を決定するフローチャートである。 本発明において道路画像で線条を決定する模式図である。 本発明において道路画像で線条を決定するフローチャートである。 本発明において線分とエッジの重なる部分を決定するフローチャートである。 本発明において車線を構成する画素点を決定するフローチャートである。 本発明において主軸と投影軸を決定する模式図である。 本発明における画像収集デバイスとターゲット車両を示す図である。 本発明における車線測位精度の評価方法のフローチャートである。 本発明における車線検知値と車線真値との誤差を示す図である。 本発明における車線の決定装置を示す図である。 本発明における車線測位精度の評価装置を示す図である。 本発明の実施形態における車線の決定方法を実現するための電子デバイスのブロック図である。

上記の図面は、よりよく本発明を理解させるためのものであり、本発明を限定するものではない。

下記において、図面を参照して本発明の例えば示的な実施形態を説明し、理解しやすくするために、本発明の実施形態の細部を記載しており、それらが例示的なものであると理解すべきである。そのため、本発明の範囲と思想に反しない前提で、ここで記載されている実施形態に対して変更、修正を行うことができることを当業者は認識すべきである。同様に、明確化と簡略化のために、下記の記載は公知機能と構造を省略したものとする。

図１に示すように、本発明の実施形態において、下記のステップを含む車線の決定方法を提供する。

ステップＳ１０１において、受信した道路画像において線条を決定する。

ステップＳ１０２において、線条を構成する画素点に対してスクリーニングを行って、車線を構成する画素点を決定する。

ステップＳ１０３において、車線を構成する画素点に対してフィッティングを行って、車線を得る。

道路画像は、ターゲット車両に設置される画像収集デバイスによって収集されたものであってもよく、既存の道路画像サンプル等であってよい。本発明の実施形態においては、道路画像が車両に設置される画像収集デバイスによって収集されるものであることを例として説明する。画像収集デバイスは、ターゲット車両の両側にそれぞれ設置され、ターゲット車両の両側の道路画像を取得することができる。

各画像収集デバイスで収集される画像に対する処理方式は同じであり、そのうちの任意の１つを例として説明する。例えば、運転手の位置に設置される画像収集デバイスによって収集された道路画像を例として説明する。

受信した道路画像に対し、まず、前処理を行い、前処理は、道路画像をグレースケール画像に変換し、メディアンフィルタリングによって、道路画像におけるアスファルトの反射による光点に対してフィルタリング処理を行い、ガウスフィルタリングによって画像に対して平滑化処理を行うことを含み得る。

前処理後の道路画像に対して、その中からエッジを抽出することができる。抽出されたエッジに対して、エッジ内の線分を決定することができる。例えば、エッジが直線である場合、決定された線分とエッジとの重なり度が高い。エッジが曲線である場合、決定された線分が複数の短い線分であり得る。線分とエッジとの重なり度合いに基づいて、道路画像内の線条を決定することができ、線条は１本であってもよく、複数本であってもよい。

画像収集デバイスのキャリブレーションパラメータに基づいて、逆透視変換によって各線条を構成する画素点を、ターゲット車両の車両座標系に変換することができる。例示的に、車両座標系は、ターゲット車両の後軸中点を原点として、ターゲット車両の前進方向をＸ軸とし、Ｙ軸がＸ軸に直交して車両の左側（運転手側）を指す座標系であってもよい。

各線条の方向の統計をとり、統計結果に基づいて主軸を決定することができる。主軸に直交する方向を画素点投影軸とする。上記の各線条を構成する画素点を画素点投影軸に投影する。

画素点の画素点投影軸における投影分布結果に基づいて、車線を構成する画素点を決定することができる。決定された車線を構成する画素点に対してフィッティングを行い、それによって車線を決定することができる。

上記の方法によれば、手動でのラベリングの欠点を克服することができ、画像認識方法によって、画像収集デバイスで収集された画像内の車線に対して自動認識を行うことができ、車線ラベリングの自動化レベルを向上させることができる。

図２に示すように、１つの実施形態において、ステップＳ１０１は、下記のステップを含み得る。

ステップＳ１０１１において、道路画像内のエッジを決定する。

ステップＳ１０１２において、エッジに基づいて、少なくとも１本の線分を決定する。

ステップＳ１０１３において、少なくとも１本の線分のうちの各線分とエッジの重なる部分を決定し、重なる部分に基づいて線条を決定する。

本実施形態においては、エッジ検出アルゴリズム（Ｃａｎｎｙ）によって、道路画像内のエッジを検出することができる。道路画像における視界内の場面が比較的にきれいであるため、通常、白い車線と黒いアスファルト路面背景しかないため、成熟したエッジ検出方法を直接利用して道路画像内のエッジを取得することができる。

図３を参照し、ハフ直線検出によって、エッジ内の少なくとも１本の直線分を決定する。例示的に、図３の左側が道路画像内のエッジを示す図であり、図３の中間がエッジから決定された複数本の線分を示す図であり、図３の右側がエッジと線分の重なりを示す図である。

ハフ直線検出によって得られるのは、絶対的な直線であり、画像内のエッジが図３に示されるような曲線又は非標準直線であり得、そのため、上記の少なくとも１本の線分のうちの各線分とエッジの重なる部分を決定し、重なる部分を道路画像内の線条として決定することができる。重なる部分に対応する線条は、直線、曲線等の異なる線分であってもよい。

上記の実施形態によれば、画像検出技術に基づいて道路画像内の線条を決定することができる。線条が車線を構成しているために、道路画像内の線条を正確に決定することで、後続で車線を決定するための基礎を築き上げることができる。

図４を参照し、１つの実施形態において、ステップＳ１０１は、下記のステップをさらに含む。

ステップＳ１０１４において、各重なる部分の曲線方程式を決定する。

ステップＳ１０１５において、各重なる部分の曲線方程式におけるパラメータに対して正規化処理を行う。

ステップＳ１０１６において、正規化処理後の曲線方程式に対応する線条に基づいて、クラスタリングを行って、クラスタリング結果を得、クラスタリング結果に基づいて、道路画像内の線条を決定する。

道路画像内の重なる部分に対応する線条を決定した後に、各重なる部分に対応する線条の曲線方程式を決定することができる。本実施形態において、２次曲線方程式で各重なる部分に対応する線条を表すことができる。２次曲線方程式は、ｙ＝ａｘ^２＋ｂｘ＋ｃであってもよい。ここで、ａは２次の係数であり、ｂは１次の係数であり、ｃは定数項であり、ｘは独立変数であり、ｙは従属変数である。

例えば、曲率の小さい曲線は、通常２次の係数が定数項より遥かに小さい。このようなデータに対しては、通常のクラスタリング方法を直接使用して処理することができず、データに対して正規化処理を行う必要がある。正規化後のデータを利用してクラスタリングを行う。

例えば、道路画像内の重なる部分が、ｙ_１、ｙ_２、ｙ_３という合計３つの線条を含む。

ここで、第１線条ｙ_１の式は、ｙ_１＝ａ_１ｘ^２＋ｂ_１ｘ＋ｃ_１であり、
第２線条ｙ_２の式は、ｙ_２＝ａ_２ｘ^２＋ｂ_２ｘ＋ｃ_２であり、
第３線条ｙ_３の式は、ｙ_３＝ａ_３ｘ^２＋ｂ_３ｘ＋ｃ_３である。

上記の３つの線条を３つの点として抽象化することができ、３つの点はＡ_１、Ａ_２、Ａ_３と表すことができる。ここで、Ａ_１は（ａ_１、ｂ_１、ｃ_１）と表し、Ａ_２は（ａ_２、ｂ_２、ｃ_２）と表し、Ａ_３は（ａ_３、ｂ_３、ｃ_３）と表し、線条のクラスタリングを、点のクラスタリングに変換することができる。

Ａ_１、Ａ_２、Ａ_３を行ベクトルとして行列を構成し、行列Ａとする。

Ａ_１、Ａ_２、Ａ_３の共分散行列を計算し、共分散行列は、Σと表す。

共分散行列に対してパラメータ正規化処理を行い、パラメータ正規化処理後の結果は、Ａ^＊と表すことができる。

正規化後の点Ａ_１ ^＊、Ａ_２ ^＊、Ａ_３ ^＊は、階層的クラスタリングを利用してクラスタリング処理を行い、同一種類のデータが対応する線条を同一線条クラスタに纏める。

同一線条クラスタに纏めた後に、所定条件を満たさない線条クラスタを削除する。処理条件は、画素点が集中しすぎる線条クラスタ、画素点の数が少なすぎる線条クラスタ、及び／又は長さが短すぎる線条クラスタであってもよい。

画素点が集中しすぎる線条クラスタは、画素点の分布が均一でない線条クラスタであってもよく、例えば画素点がある局所に集中し、残りの領域の画素点は疎らである。画素点の数が少なすぎるのは、線条クラスタ内の画素点の数が予定数未満のことを指している。長さが短すぎるのは、線条クラスタの長さが予定サイズより短いことを指している。

上記の技術案によれば、正規化処理をよって線条のクラスタリングを実現することができ、決定された線条の精度を向上させることができる。

図５に示すように、実施形態において、ステップＳ１０１３における、少なくとも１本の線分のうちの各線分とエッジの重なる部分を決定することは、下記のサブステップを含む。

ステップＳ１０１３１において、少なくとも１本の線分のうちの各線分に対してボールド処理を行う。

ステップＳ１０１３２において、ボールド処理された線分に対応する画素点とエッジに対応する画素点とに対して論理積演算を行い、重なる部分を決定する。

ハフ直線検出を利用して決定されるのは線分であるため、線分と曲線エッジとが完全に重ならない場合があり得、そのため、ハフ直線検出によって得られた少なくとも１本の線分のうちの各線分にボールド処理を行い、ボールド処理された線分を得ることができる。例えば、ボールド処理により、各線分を６画素点太くすることができる。

ボールド処理された線分に対応する画素点とエッジに対応する画素点とに対して論理積演算を行い、それによって重なる部分を完全に決定することができる。

上記の技術案によれば、線分に対してボールド処理を行う方法を利用して、線分とエッジの重なる部分を精確的に取得することができ、即ち、道路画像内の線分を精確的に取得することができ、後続の車線の決定の基礎を築き上げることができる。

図６に示すように、実施形態において、ステップＳ１０２における、線条を構成する画素点に対してスクリーニングを行って、車線を構成する画素点を決定することは、下記のステップを含む。

Ｓ１０３１において、線条の方向に基づいて主軸を決定する。

Ｓ１０３２において、主軸に直交する投影軸を決定する。

Ｓ１０３３において、線条を構成する画素点を投影軸に投影する。

Ｓ１０３４において、投影軸への投影結果に基づいて、車線を構成する画素点を決定する。

本ステップにおいて、画像収集デバイスのキャリブレーションパラメータに基づいて、逆透視変換によって、各線条を構成する画素点をターゲット車両の車両座標系に変換することができる。ターゲット車両の車両座標系は３次元座標系であってもよい。

図７に示すように、通常、同一時刻で、ターゲット車両の車体の左右両側の４つの線条を取得することができ、この４つの線条は、車線の内辺と外辺に対応する。実際場面において、図７内の４つの線条が実質的に画素点の集合である。

車両座標系を基準として、線分を構成する画素点に対して主成分分析を行い、画素点によって構成される線条の主軸を決定する。図７に示される事例を参照し、主軸の方向は、４つの線条の方向に基づいて決定される平均方向とすることができる。

主軸を決定した後に、直交関係に基づいて主軸に直交する投影軸を決定することができる。

投影軸において、複数の統計区間を決定する。例えば、統計区間は、１０ｃｍの距離を間隔とすることができる。

線条を構成する各画素点を投影軸に投影し、それによって各統計区間に投影した画素点の数量を決定することができる。画素点の数量に基づいて、統計区間に対してスクリーニングを行い、スクリーニングして残された統計区間に投影した画素点を、車線を構成する画素点として最終的に決定する。

スクリーニング方式は、任意の統計区間に対して、統計区間内の画素点の数量を決定し、画素点の数量が数量閾値より小さい場合、当該統計区間に投影した画素点を削除すること、及び／又は、任意の統計区間に対して、当該統計区間に投影した画素点の主軸方向に沿った分布の長さを決定し、分布の長さが長さ閾値より短い場合、当該統計区間に投影した画素点を削除することを含み得る。

上記のステップでスクリーニングして残った画素点を、車線を構成する画素点とすることができる。

また、精度を向上させるために、投影前に、画素点に対してフィルタリングを行うことができる。例えば、隣接する２本の車線の幅は通常３．７５メートルである。それによって、ターゲット車両から遠い画素点をフィルタリングして除去することができ、例えば、ターゲット車両から２メートルを超える画素点を除去する。

上記の技術案によれば、線条を得た後に、複数の線条の方向に基づいて主軸を決定することができる。当該主軸の方向を利用して、後続の投影を比較的に正確にすることができ、後続で車線を決定するための基礎を築き上げることができる。

実施形態において、道路画像は、画像収集デバイスによって収集された、タイムスタンプがラベリングされた画像であり、
画像収集デバイスは４つであり、ターゲット車両の左右両側にそれぞれ設置され、画像収集デバイスの向きがターゲット車両の走行方向に直交し、
ステップＳ１０３において、車線を構成する画素点に対してフィッティングを行って、車線を得ることは、
タイムスタンプに基づいて、ターゲット車両の左右両側に設置される画像収集デバイスで収集された道路画像内の画素点に対してそれぞれフィッティングを行って、車線を得ることを含む。

画像収集デバイスは、複数であり得る。図８に示すように、好ましい例において、画像収集デバイスの数量が４つであり、ターゲット車両の４つの車輪の両側にそれぞれ設置されてもよい。画像収集デバイスの向きは、ターゲット車両の走行方向と直交してもよい。

本実施形態において、タイムスタンプによって４つの画像収集デバイスで収集された画像に時間ラベルを付加することができる。後続で車線のフィッティングを行う時に、同一のタイムスタンプに対応する道路画像に対してフィッティングを行い、それによって最終的な車線が得られる。

本発明の実施形態における画像収集デバイスが車両の両側に分布しているため、隣接する車線を取得するために、各画像収集デバイスで収集された道路画像に対してタイムスタンプを付加する必要がある。それによって、タイムスタンプに基づいて、ターゲット車両の左右両側に設置される画像収集デバイスの同一時刻に収集された道路画像内の画素点に対してフィッティングを行い、ターゲット車両の左右両側の車線を得る。また、前方撮影用の画像収集デバイスに比べて、画像収集デバイスをターゲット車両の側方に設置することによって、収集された画像の場面が限られ、そのため、道路画像内の要素がより単純であり、道路両側の環境からの影響を受けにくい。しかも道路画像内の車線もその他の車両によって遮られることがなく、精度がより高い。

１つの実施形態において、ターゲット車両の左右両側に設置される画像収集デバイスで収集された道路画像内の画素点に対してそれぞれフィッティングを行うことは、
最小勾配誤差に基づいて、フィッティング後のターゲット車両の左右両側の車線の勾配誤差が許容範囲内となるように、ターゲット車両の左右両側に設置される画像収集デバイスで収集された道路画像内の画素点に対してフィッティングを行うことを含む。

下記の式を利用してターゲット車両の左右両側の画素点に対してフィッティングを行う。

ここで、ｎは、統計区間の数量を表し、ｉは、統計区間の序数を表し、ｍは統計区間内の画素点の数量を表し、ｊは統計区間内の画素点の序数を表し、ｋ_ｉは左側又は右側のいずれかの車線の勾配（例えば左側）を表し、対応的に、ｋ_ｉ＋１はｋ_ｉと対向する他方の側の車線の勾配（即ち、右側）を表す。ｘ_ｊ、ｙ_ｊは第i番目の区間内の第j番目の画素点のｘ軸座標、Ｙ軸座標を表し、ｂ_ｉは定数項（例えば左側車線の定数項）を表す。

即ち、一方、直線の方程式がｙ＝ｋｘ＋ｂであり、そのため、当該直線に属する画素点は、当該直線方程式を満たすことができる。即ち、理想状況では、（ｋ_ｉ＊ｘ_ｊ＋ｂ_ｉ）−ｙ_ｊ＝０である。しかし、実際状況では、すべての画素点が当該直線方程式を満たすことはないため、最小二乗法で直線方程式をフィッティングすることで、隣接する画素点を最大限に残すことができる。

他方、ｋ_ｉとｋ_ｉ＋１の間の差を利用して、左右両側の車線のフィッティングに対して拘束を行い、それによってフィッティングされた２本の車線が平行になるようにする。

また、本発明の実施形態で採用される直線方程式によって、ターゲット車両の左右両側の画素点に対してフィッティングを行う理由は、ターゲット車両の同一側に設置される二つの画像収集デバイスの収集視野は、通常４メートル前後になっているためである。長さが４メートルである車線用直線方程式を利用するのは、表現上の精度と計算上の複雑度との間でより良いバランスを取るためである。もちろん、２次方程式、３次方程式を利用して車線に対してフィッティングを行ってもよいが、ここでは省略する。

上記の技術案によれば、２本の隣接する車線の間の平行関係を利用して画素点のフィッティングに対して拘束を行い、フィッティングされた車線の精度をより高くすることができる。

図９に示すように、本発明の実施形態は、下記のステップを含む車線測位精度の評価方法を提供する。

ステップＳ９０１において、評価すべき車線検知値を取得する。

ステップＳ９０２において、車線の決定方法によって得られた車線真値を取得する。

ステップＳ９０３において、車線検知値と車線真値との間の誤差に基づいて、評価すべき車線検知値に対して評価を行う。

本実施形態において、上記の車線の決定方法によって得られた車線を車線真値とすることができる。評価すべき車線検知値は、ナビゲーションデバイス又は測位デバイス等で決定された車線であってもよい。

誤差は、横方向差異、進路角差異等を含み得る。

相関評価案においては、手動での車線のラベリング方式を上手く利用して車線真値を取得し、即ち、車両の前方撮影用の画像収集デバイスで撮影された画像において、車線の位置を手動でラベリングしてから、処理して測位アルゴリズムの評価真値を得る。このような方法は、手動の介入が必要であり、ラベリング対象の画像が多く、コストが高い、しかも手動でラベリングする時にミスがあっても発覚しにくく、しかもラベリングの周期が長い。

本発明の実施形態における上記の技術案は、評価コストを下げ、ラベリングのルールの一致性を保つと共に、車線真値を早く生成することができる。

１つの実施形態において、ステップＳ９０３における、車線検知値と車線真値との間の誤差の決定方式は、
車線検知値と車線真値との間の横方向差異を計算し、及び／又は、車線検知値と車線真値との間の進路角差異を計算することと、
横方向差異及び／又は進路角差異を誤差とすることと、を含む。

図１０に示すように、図１０内の２本の比較的に太い実線が車線真値を表し、２本の比較的に細い実線が車線検知値を表す。比較的に太い点線は、車線真値によって決定された車線の中心線真値を表し、比較的に細い点線は、車線検知値によって決定された車線中心線検知値を表す。

図内のＢｉａｓ_１とＢｉａｓ_２は、車線検知値と車線真値との間の第１横方向差異と第２横方向差異をそれぞれ表す。下記の式に示すように、第１横方向差異と第２横方向差異の絶対値に対して平均値を求め、得られた結果ΔＢｉａｓを車線検知値と車線真値との間の横方向差異とする。

また、図内のＴｈｅｔａ_１とＴｈｅｔａ_２は、車線検知値と車線真値との間の第１進路角差異と第２進路角差異をそれぞれ表す。下記の式に示すように、第１進路角差異と第２進路角差異の絶対値差異ΔＴｈｅｔａを車線検知値と車線真値との間の進路角差異とする。

上記の技術案によれば、横方向差異及び／又は進路角差異を利用して車線検知値と車線真値との間の誤差をとすることによって、正確な評価を実現することができる。

１つの実施形態において、評価すべき車線検知値は、高精度の地図測位アルゴリズムによって得られたものである。

図１１に示すように、本発明の実施形態は、
受信した道路画像において線条を決定するように構成される線条決定モジュール１１０１と、
前記線条を構成する画素点に対してスクリーニングを行って、車線を構成する画素点を決定するように構成される画素点決定モジュール１１０２と、
前記車線を構成する画素点に対してフィッティングを行って、車線を得るように構成される画素点フィッティングモジュール１１０３と、を備える車線の決定装置を提供する。

実施形態において、線条決定モジュール１１０１は、
前記道路画像内のエッジを決定するように構成されるエッジ決定サブモジュールと、
前記エッジに基づいて少なくとも１本の線分を決定するように構成される線分決定サブモジュールと、
前記少なくとも１本の線分のうちの各線分と前記エッジとの重なる部分を決定し、前記重なる部分に基づいて前記線条を決定するように構成される線条決定実行サブモジュールと、を備える。

１つの実施形態において、線条決定モジュール１１０１は、
前記重なる部分各々の曲線方程式を決定するように構成される曲線方程式決定サブモジュールと、
前記重なる部分各々の曲線方程式におけるパラメータに対して正規化処理を行うように構成される正規化処理サブモジュールと、さらに備え、
前記線条決定実行サブモジュールは、前記正規化処理後の曲線方程式に対応する線条に基づいてクラスタリングを行って、クラスタリング結果を得、前記クラスタリング結果に基づいて前記道路画像内の線条を決定するようにさらに構成される。

１つの実施形態において、線条決定実行サブモジュールは、
前記少なくとも１本の線分のうちの各線分に対してボールド処理を行うように構成される線分処理サブモジュール、を含み、
前記線条決定実行サブモジュールは、ボールド処理された線分に対応する画素点と前記エッジに対応する画素点とに対して論理積演算を行い、重なる部分を決定するように構成される。

１つの実施形態において、画素点決定モジュール１１０２は、
前記線条の方向に基づいて主軸を決定するように構成される主軸決定サブモジュールと、
前記主軸に直交する投影軸を決定するように構成される投影軸決定サブモジュールと、
前記線条を構成する画素点を前記投影軸に投影するように構成される画素点投影サブモジュールと、
前記投影軸における投影結果に基づいて、車線を構成する画素点を決定するように構成される画素点決定実行サブモジュールと、を備える。

１つの実施形態において、道路画像は、画像収集デバイスによって収集された、タイムスタンプがラベリングされた画像であり、
前記画像収集デバイスは４つであり、ターゲット車両の左右両側にそれぞれ設置され、前記画像収集デバイスの向きが前記ターゲット車両の走行方向に直交し、
前記画素点フィッティングモジュール１１０３は、前記タイムスタンプに基づいて、前記ターゲット車両の左右両側に設置される画像収集デバイスによって収集された前記道路画像内の前記画素点に対してフィッティングをそれぞれ行って、車線を得るように成される。

１つの実施形態において、画素点フィッティングモジュール１１０３は、具体的に、
最小勾配誤差に基づいて、フィッティング後の前記ターゲット車両の左右両側の車線の勾配誤差が許容範囲内となるように、ターゲット車両の左右両側に設置される画像収集デバイスによって収集された前記道路画像内の前記画素点に対してフィッティングを行うように構成される。

図１２に示すように、本発明の実施形態は、
評価すべき車線検知値を取得するように構成される車線検知値取得モジュール１２０１と、
上記の車線の決定装置によって得られた車線真値を取得するように構成される車線真値取得モジュール１２０２と、
前記車線検知値と前記車線真値との誤差に基づいて、前記評価すべき車線検知値に対して評価を行うように構成される評価モジュール１２０３と、を備える車線測位精度の評価装置を提供する。

１つの実施形態において、評価モジュール１２０３は、
前記車線検知値と前記車線真値との間の横方向差異を計算するように構成される横方向差異計算サブモジュール、及び／又は、前記車線検知値と前記車線真値との間の進路角差異を計算するように構成される進路角差異計算サブモジュール、を備え、
前記横方向差異及び／又は前記進路角差異を、前記車線検知値と前記車線真値との誤差とする。

１つの実施形態において、評価すべき車線検知値は、高精度地図測位アルゴリズムによって得られるものである。

本発明の実施形態によれば、本発明は、電子デバイスと読取可能記憶媒体をさらに提供する。

図１３は、本発明の実施形態における車線の決定方法を実行するための電子デバイスのブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置をさらに指し、例えば、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本発明に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本発明に記載・特定されているものの実現を限定するわけではない。

図１３に示すように、当該電子デバイスは、１つ又は複数のプロセッサ１３１０、メモリ１３２０、及び各部品を接続するためのインターフェースを含み、高速インターフェースと低速インターフェースを含む。各部品が異なるバスによって接続され、共通マザーボードに装着することができ、又は必要に応じて他の方式で装着することもできる。プロセッサは、電子デバイスで実行する命令を実行することができ、メモリに記憶される命令、又は外部入力／出力装置（例えば、インターフェースにカップリングする表示デバイス）に記憶され、ＧＵＩに表示するグラフィック情報の命令を含む。その他の実施形態において、必要があれば、複数のプロセッサ及び／又は複数のバス及び複数のメモリを一緒に使用することができる。同様に、複数の電子デバイスを接続することができ、各デバイスが各自の必要な操作を提供する（例えば、サーバアレイとしての１グループのブレードサーバ、又は、複数のプロセッサシステム）。図１３では１つのプロセッサ１３１０を例としている。

メモリ１３２０は、本発明に提供される非一時的なコンピュータ可読記憶媒体である。ここで、当該メモリに少なくとも１つのプロセッサで実行する命令が記憶され、当該少なくとも１つのプロセッサに、本発明に提供される車線の決定方法を実行させる。本発明の非一時的なコンピュータ可読記憶媒体にコンピュータ命令が記憶され、当該コンピュータ命令は、コンピュータに本発明に提供される車線の決定方法を実行させる。

メモリ１３２０は、コンピュータ読取可能な非一時的記憶媒体として、非一時的ソフトウェアプログラムを記憶するためのものであってもよく、非一時的コンピュータは、プログラム、及びモジュールを実行することができ、例えば、本発明の実施形態における車線の決定方法に対応するプログラム命令／モジュール（例えば、図１０に示される線条決定モジュール１００１、画素点決定モジュール１００２、及び画素点フィッティングモジュール１００３、又は図１１に示される車線検知値取得モジュール１１０１、車線真値取得モジュール１１０２、及び評価モジュール１１０３）を実行することができる。プロセッサ１３１０は、メモリ１３２０に記憶されている非一時的ソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの各機能及びデータ処理を実行し、即ち、上記の方法実施形態における車線の決定方法を実現する。

メモリ１３２０は、プログラム記憶領域とデータ記憶領域を含み、ここで、プログラム記憶領域に、オペレーションシステム、少なくとも１つの機能に必要なアプリケーションプログラムが記憶され得、データ記憶領域に、車線の決定方法による電子デバイスの使用によって生成されるデータ等が記憶され得る。また、メモリ１３２０は、高速ランダムアクセスメモリを含み得、非一時的メモリも含み得、例えば、少なくとも１つのディスク記憶素子、フラッシュ素子、又はその他の非一時的固体メモリ素子を含む。幾つかの実施形態において、メモリ１３２０はプロセッサ１３１０から遠隔に設置されるメモリを選択的に含み、これらの遠隔メモリは、ネットワークによって、車線の決定方法を実行する電子デバイスに接続されることができる。上記のネットワークは、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを例として含むが、それらに限定されない。

車線の決定方法を実行する電子デバイスは、入力装置１３３０及び出力装置１３４０をさらに含み得る。プロセッサ１３１０、メモリ１３２０、入力装置１３３０、及び出力装置１３４０は、バス又は他の方式で接続されることができ、図１３ではバスによる接続を例としている。

入力装置１３３０は入力された数字又は文字情報を受け取ることができ、車線の決定方法を実行する電子デバイスのユーザ設定及び機能制御に関連するキーボード信号入力を生成し、例えば、タッチスクリーン、テンキー、マウス、トラックプレート、タッチタブレット、インジケーター、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。出力装置１３４０は、表示用デバイス、照明補助装置（例えば、ＬＥＤ）及び触覚型フィードバック装置（例えば、振動モーター）等を含み得る。当該表示用デバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むが、それらに限定されない。幾つかの実施形態において、表示用デバイスは、タッチスクリーンであってもよい。

ここで記載されているシステムと技術に関する各実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現されることができる。これらの各実施形態は、１つ又は複数のコンピュータプログラムで実施することを含み得、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラミング可能なプロセッサを含むプログラミング可能なシステムにおいて、実行及び／又は解釈することができ、当該プログラミング可能なプロセッサは、専用又は汎用プログラミング可能なプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置から、データと命令を受け取ることができ、データと命令を当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも称する）はプログラミング可能なプロセッサの機械命令を含み、高級プロシージャ及び／又はオブジェクト指向のプログラム言語、及び／又はアセンブラ／機械語を利用してこれらのコンピュータプログラムを実施する。例えば、本発明に使用される、用語「機械可読媒体」と「コンピュータ可読媒体」は、機械命令及び／又はデータをプログラミング可能なプロセッサに提供するためのコンピュータプログラム製品、デバイス、及び／又は装置（例えば、ディスク、コンパクトディスク、メモリ、プログラミング可能なロジック装置（ＰＬＤ））を指しており、機械読取可能な信号として機械命令を受け取る機械読取可能な媒体を含む。用語「機械読取可能な信号」は、機械命令及び／又はデータをプログラミング可能なプロセッサに提供するためのいかなる信号を指している。

ユーザとのインタラクションを提供するために、コンピュータでここに記載されているシステムと技術を実施することができ、当該コンピュータは、ユーザに情報を表示するための表示用装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター）、及びキーボードとポインティングデバイス（例えば、マウス又はトラックボール）を備え、ユーザは、当該キーボードと当該ポインティングデバイスによって、入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることができ、例えば、ユーザに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、いかなる形式（音入力、音声入力、又は触覚入力）によって、ユーザからの入力を受け取ることができる。

ここに記載されているシステムと技術を、バックグラウンド部品に含まれる計算システム（例えば、データサーバとして）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロント部品を含む計算システム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがＧＵＩ又は当該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合した計算システムで実施することができる。如何なる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

コンピュータシステムは、クライアントとサーバを含み得る。通常、クライアントとサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント−サーバの関係を有するコンピュータプログラムによってクライアントとサーバの関係を生み出す。サーバは、クラウドサーバであってもよく、クラウド計算サーバ又はクラウドホストとも称し、クラウド計算サービス体系におけるホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ）でのサービスに存在する管理難度が大きく、サービス拡張性が弱い欠点を解決することができる。

上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、または削除することが可能であることを理解すべきである。例えば、本発明で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本発明で開示された技術案が所望する結果を実現することができる限り、本発明ではこれに限定されない。

上記具体的な実施形態は、本発明の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、および代替が可能であることを理解するべきである。本発明の要旨および原理における変更、均等な置換および改善等は、いずれも本発明の保護範囲に含まれるべきである。

Claims (23)

1. 車線の決定方法であって、
   受信した道路画像において線条を決定することと、
   前記線条を構成する画素点に対してスクリーニングを行って、車線を構成する画素点を決定することと、
   前記車線を構成する画素点に対してフィッティングを行って、車線を得ることと、を含む、
   車線の決定方法。
2. 前記受信した道路画像において線条を決定することは、
   前記道路画像内のエッジを決定することと、
   前記エッジに基づいて少なくとも１本の線分を決定することと、
   前記少なくとも１本の線分のうちの各線分と前記エッジとの重なる部分を決定し、前記重なる部分に基づいて前記線条を決定することと、を含む、
   請求項１に記載の車線の決定方法。
3. 前記受信した道路画像において線条を決定することは、
   前記重なる部分各々の曲線方程式を決定することと、
   前記重なる部分各々の曲線方程式におけるパラメータに対して正規化処理を行うことと、
   前記正規化処理後の曲線方程式の対応する線条に基づいてクラスタリングを行って、クラスタリング結果を得、前記クラスタリング結果に基づいて前記道路画像内の線条を決定することと、をさらに含む、
   請求項２に記載の車線の決定方法。
4. 前記少なくとも１本の線分のうちの各線分と前記エッジとの重なる部分を決定することは、
   前記少なくとも１本の線分のうちの各線分に対してボールド処理を行うことと、
   ボールド処理された線分に対応する画素点と前記エッジに対応する画素点とに対して論理積演算を行い、重なる部分を決定することと、を含む、
   請求項２に記載の車線の決定方法。
5. 前記線条を構成する画素点に対してスクリーニングを行って、車線を構成する画素点を決定することは、
   前記線条の方向に基づいて主軸を決定することと、
   前記主軸に直交する投影軸を決定することと、
   前記線条を構成する画素点を前記投影軸に投影することと、
   前記投影軸における投影結果に基づいて、車線を構成する画素点を決定することと、を含む、
   請求項１に記載の車線の決定方法。
6. 前記道路画像は、画像収集デバイスによって収集された、タイムスタンプがラベリングされた画像であり、
   前記画像収集デバイスは４つであり、ターゲット車両の左右両側にそれぞれ設置され、前記画像収集デバイスの向きが前記ターゲット車両の走行方向に直交し、
   前記車線を構成する画素点に対してフィッティングを行って、車線を得ることは、
   前記タイムスタンプに基づいて、前記ターゲット車両の左右両側に設置される画像収集デバイスによって収集された前記道路画像内の前記画素点に対してフィッティングをそれぞれ行って、車線を得ることを含む、
   請求項１又は請求項５に記載の車線の決定方法。
7. 前記ターゲット車両の左右両側に設置される画像収集デバイスによって収集された前記道路画像内の前記画素点に対してそれぞれフィッティングを行うことは、
   最小勾配誤差に基づいて、フィッティング後の前記ターゲット車両の左右両側の車線の勾配誤差が許容範囲内となるように、ターゲット車両の左右両側に設置される画像収集デバイスによって収集された前記道路画像内の前記画素点に対してフィッティングを行うこと、を含む、
   請求項６に記載の車線の決定方法。
8. 車線測位精度の評価方法であって、
   評価すべき車線検知値を取得することと、
   請求項１から請求項７までのいずれか１項に記載の方法によって得られた車線真値を取得することと、 前記車線検知値と前記車線真値との誤差に基づいて、前記評価すべき車線検知値に対して評価を行うことと、を含む、
   車線測位精度の評価方法。
9. 前記車線検知値と前記車線真値との誤差の決定方式は、
   前記車線検知値と前記車線真値との間の横方向差異を計算し、及び／又は、前記車線検知値と前記車線真値との間の進路角差異を計算することと、
   前記横方向差異及び／又は前記進路角差異を前記車線検知値と前記車線真値との誤差とすることと、を含む、
   請求項８に記載の車線測位精度の評価方法。
10. 前記評価すべき車線検知値は、高精度地図測位アルゴリズムによって得られるものである、
    請求項８又は請求項９に記載の車線測位精度の評価方法。
11. 車線の決定装置であって、
    受信した道路画像において線条を決定するように構成される線条決定モジュールと、
    前記線条を構成する画素点に対してスクリーニングを行って、車線を構成する画素点を決定するように構成される画素点決定モジュールと、
    前記車線を構成する画素点に対してフィッティングを行って、車線を得るように構成される画素点フィッティングモジュールと、を備える、
    車線の決定装置。
12. 前記線条決定モジュールは、
    前記道路画像内のエッジを決定するように構成されるエッジ決定サブモジュールと、
    前記エッジに基づいて少なくとも１本の線分を決定するように構成される線分決定サブモジュールと、
    前記少なくとも１本の線分のうちの各線分と前記エッジとの重なる部分を決定し、前記重なる部分に基づいて前記線条を決定するように構成される線条決定実行サブモジュールと、を備える、
    請求項１１に記載の車線の決定装置。
13. 前記線条決定モジュールは、
    前記重なる部分各々の曲線方程式を決定するように構成される曲線方程式決定サブモジュールと、
    前記重なる部分各々の曲線方程式におけるパラメータに対して正規化処理を行うように構成される正規化処理サブモジュールと、をさらに備え、
    前記線条決定実行サブモジュールは、前記正規化処理後の曲線方程式に対応する線条に基づいてクラスタリングを行って、クラスタリング結果を得、前記クラスタリング結果に基づいて前記道路画像内の線条を決定するようにさらに構成される、
    請求項１２に記載の車線の決定装置。
14. 前記線条決定実行サブモジュールは、
    前記少なくとも１本の線分のうちの各線分に対してボールド処理を行うように構成される線分処理サブモジュール、を含み、
    前記線条決定実行サブモジュールは、ボールド処理された線分に対応する画素点と前記エッジに対応する画素点とに対して論理積演算を行って、重なる部分を決定するように構成される、
    請求項１２に記載の車線の決定装置。
15. 前記画素点決定モジュールは、
    前記線条の方向に基づいて主軸を決定するように構成される主軸決定サブモジュールと、
    前記主軸に直交する投影軸を決定するように構成される投影軸決定サブモジュールと、
    前記線条を構成する画素点を前記投影軸に投影するように構成される画素点投影サブモジュールと、
    前記投影軸における投影結果に基づいて、車線を構成する画素点を決定するように構成される画素点決定実行サブモジュールと、を含む、
    請求項１１に記載の車線の決定装置。
16. 前記道路画像は、画像収集デバイスによって収集された、タイムスタンプがラベリングされた画像であり、
    前記画像収集デバイスは４つであり、ターゲット車両の左右両側にそれぞれ設置され、前記画像収集デバイスの向きが前記ターゲット車両の走行方向に直交し、
    前記画素点フィッティングモジュールは、前記タイムスタンプに基づいて、前記ターゲット車両の左右両側に設置される画像収集デバイスによって収集された前記道路画像内の前記画素点に対してフィッティングをそれぞれ行って、車線を得るように構成される、
    請求項１１又は請求項１５に記載の車線の決定装置。
17. 前記画素点フィッティングモジュールは、
    最小勾配誤差に基づいて、フィッティング後の前記ターゲット車両の左右両側の車線の勾配誤差が許容範囲内となるように、ターゲット車両の左右両側に設置される画像収集デバイスによって収集された前記道路画像内の前記画素点に対してフィッティングを行うように構成される、
    請求項１６に記載の車線の決定装置。
18. 車線測位精度の評価装置であって、
    評価すべき車線検知値を取得するように構成される車線検知値取得モジュールと、
    請求項１１から請求項１７までのいずれか１項に記載の装置によって得られた車線真値を取得するように構成される車線真値取得モジュールと、
    前記車線検知値と前記車線真値との誤差に基づいて、前記評価すべき車線検知値に対して評価を行うように構成される評価モジュールと、を備える、
    車線測位精度の評価装置。
19. 前記評価モジュールは、
    前記車線検知値と前記車線真値との間の横方向差異を計算するように構成される横方向差異計算サブモジュール、及び／又は、前記車線検知値と前記車線真値との間の進路角差異を計算するように構成される進路角差異計算サブモジュール、を備え、
    前記横方向差異及び／又は前記進路角差異を前記車線検知値と前記車線真値との誤差とする、
    請求項１８に記載の車線測位精度の評価装置。
20. 前記評価すべき車線検知値は、高精度地図測位アルゴリズムによって得られる、
    請求項１８又は請求項１９に記載の車線測位精度の評価装置。
21. 電子デバイスであって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項１０までのいずれか１項に記載の方法を実行させる、
    電子デバイス。
22. コンピュータに、請求項１から請求項１０までのいずれか１項に記載の方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。
23. コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項１０までのいずれか１項に記載の方法を実現することを特徴とするプログラム。
    

Images