JP2016207191A - 車線逸脱警告におけるグランドトゥルース判別のための方法およびシステム - Google Patents

Abstract

【課題】車線逸脱警告におけるグランドトゥルース判別のためのシステムおよび方法を提供する。
【解決手段】画像取得ユニットから、複数の異なる時間フレームで取得された車線の複数の時間スライス画像を受信する。これら時間スライス画像の強度プロフィールが判別され、複数の画像のこれら複数の強度プロフィールが平滑化され、平滑化済ヒストグラムが取得される。これら時間スライス画像のしきい値が判別され、さらに、車線の車線マークを抽出するためにリファインされる。車線逸脱警告を検証するために用いられるグランドトゥルース値を検出する。
【選択図】図３

Description

関連出願への相互参照および優先権
本出願は、２０１５年４月１７日付出願のインド国仮特許出願第１５９４／ＭＵＭ／２０１５号に基づく優先権を主張し、該仮出願の開示内容の全てが、参照によりここに組み込まれる。

ここに説明される本発明は、一般に、デジタル信号処理に関し、より具体的には、車線逸脱警告（lane departure warning）におけるグランドトゥルース判別（ground truth determination）に関する。

運転中、特に、高速道路での運転中に、様々な制御を行う運転支援装置が知られている。また、車線のマーキング（lane marking）や車線の認識（lane recognition）を支援する方法も知られている。車線境界線（lane lines）に沿って車両を適切に運転するためには、車線境界線の位置を正確に推定する必要がある。自動車イメージング（automotive imaging）は、運転手を支援する研究の最近の流行であり、最終的には、無人自動車（driver-less car）のデザインという目的の達成を目指している。システムの質を確保するため、最先端のアルゴリズムと併せて、最先端の検証（validation:正しいかどうかを確認する）フレームワークも必要とされている。

自動車イメージングにおいて、オフラインビデオ・マーキンググランドトゥルース判別（offline video marking ground-truth determination）は、テスターまたはユーザーによって行われる、単調で退屈な作業である。典型的には、カメラは、１秒当たり３０画像フレームの頻度で画像を取得する。これら画像を手動でマーキングすることは、単調で退屈な作業である。さらに、不意の環境の変化、車線マーク上での異物の不意の侵入(inclusion of foreign object)、カメラの視野内での複数の車線の存在のような状況が、主要な課題である。グランドトゥルース値は、車線逸脱アプリケーションの精度（accuracy）を判断するための参照（リファレンス）であるので、些細なエラー（minor errors）であっても許容できない。利用可能な２値化方法は、上述の問題となる状況に対して適合できない。そのため、テスターは、自動化されたアルゴリズムの監督者（supervisor）となる必要があり、要求されたときは手動に切り替えられるようにしていなければならない。

本概要は、車線逸脱警告システム用のグランドトゥルース判別のための方法およびシステムに関する様態を説明するために提供されるものであり、該様態は、以下の詳細な説明においてさらに説明される。本概要は、特許請求の範囲に記載された本発明の本質的特徴を特定する意図で用いられることはなく、さらに、本発明の範囲を決定または限定する意図で用いられるものでもない。

実施形態の１つにおいて、車線逸脱警告におけるグランドトゥルース判別のための方法が開示される。該方法は、入力として、画像取得ユニットから複数の車線画像を受信する工程を含む。さらに、該方法は、複数の車線画像を、複数の異なる時間フレームで取得された複数の時間スライス画像（time sliced images）に処理する工程を含む。さらに、該方法は、複数の時間スライス画像のそれぞれの強度プロフィール（intensity profile）を判別し、強度プロフィールを平滑化して、平滑化済ヒストグラム（smoothened histogram）を取得する工程とを含む。さらに、該方法は、平滑化済ヒストグラムの第１の最大値と、連続する第２の最大値（successive second maxima）との間の最小値を抽出することにより、複数の時間スライス画像のそれぞれのしきい値を取得する工程を含む。さらに、該方法は、複数の時間スライス画像を分割することによって、複数の時間スライス画像のしきい値をリファイン（refine：改良、改善）し、複数の個別時間スライス（individual time slices）を取得する工程と、複数の個別時間スライスのそれぞれの強度プロフィールの統計平均変動（statistical mean variation）を算出する工程と、所定の範囲内の平均強度を有する複数の個別時間スライスを、複数のスライスのクラスタ（a cluster of slices）にグループ化する工程と、該複数のスライスのクラスタの強度プロフィールの第１の最大値と、連続する第２の最大値との間の最小値を判別する工程とを含む。さらに、該方法は、複数の時間スライス画像のリファインされたしきい値に基づいて、車線の車線マークの複数の中点（mid-points）を抽出することにより、車線の車線マークを検出する工程と、車線逸脱警告を検証するために、車線の車線マークに基づいて、グランドトゥルース値を判別する工程とを含む。

さらに、該方法は、判別されたグランドトゥルースに対して、パーセンテージ検出精度（Percentage Detection Accuracy）＝真の検出（True Detection）／トータル境界検出（Total Boundary Detection）＊１００を算出することによって、車線逸脱警告アプリケーションによって検出されたピクセル位置（pixel position）に基づいて、車線逸脱警告アプリケーション出力を検証する工程を含む。ここで、トータル境界検出は、グランドトゥルース内のピクセル数であり、真の検出は、車線逸脱警告アプリケーション内のピクセル数である。

さらに、該方法は、所定の範囲外の平均強度を有する複数の個別時間スライスを、複数のスライスのクラスタにサブグループ化する工程と、該複数のスライスのクラスタの強度プロフィールの第１の最大値と、連続する第２の最大値との間の最小値を判別する工程を含む。

該方法のしきい値をリファインする工程は、さらに、ユーザーが車線のフレーム数の選択および車線の境界の定義の少なくとも一方を実行可能とする工程を含む。

該方法のグランドトゥルースを判別する工程は、さらに、車線境界対応（lane boundary correspondence）を介した補間（interpolation）によって、車線内の複数の不連続点（discontinuity）を埋める工程を含む。ここで、車線境界対応は、車線の左側マークと右側マークとの間の距離を測定することによって車線マークを検出する工程と、画像フレームをマッピングする工程とを含む。

実施形態の１つにおいて、車線逸脱警告におけるグランドトゥルース判別のためのシステムが開示される。該システムは、画像取得ユニットと、画像取得ユニットに通信可能に接続され、画像取得ユニットから複数の車線画像を受信するよう構成された画像データベースとを含む。さらに、該システムは、画像処理ユニットを含む。画像処理ユニットは、プロセッサーと、該プロセッサーに接続されたメモリーとを含む。プロセッサーは、メモリー内に保存されている複数のモジュールを実行する。複数のモジュールは、入力として、画像データベースから車線画像を受信する受信モジュールを含む。さらに、画像処理モジュールは、受信モジュールから受信した複数の車線画像を処理し、複数の異なる時間フレームで取得された複数の時間スライス画像を取得する。さらに、処理モジュールは、平滑化済ヒストグラムの第１の最大値と、連続する第２の最大値との間の最小値を抽出することによって、複数の時間スライス画像のそれぞれのしきい値を取得する。さらに、処理モジュールは、複数の時間スライス画像を分割し、複数の個別時間スライスを取得する工程と、複数の個別時間スライスのそれぞれの強度プロフィールの統計平均変動を算出する工程と、所定の範囲内の平均強度を有する複数の個別時間スライスを、複数のスライスのクラスタにグループ化する工程と、該複数のクラスタの強度プロフィールの第１の最大値と、連続する第２の最大値との間の最小値を判別する工程とによって、複数の時間スライス画像のしきい値をリファインする。さらに、検出モジュールは、複数の時間スライス画像のリファインされたしきい値に基づいて、車線の車線マークの中点を抽出することによって、車線の車線マークを検出し、さらに、車線マークに基づいて、グランドトゥルース値を判別する。

さらに、複数のモジュールは、判別されたグランドトゥルースに対して、車線逸脱警告アプリケーションによって検出されたピクセル位置に基づいて、車線逸脱警告アプリケーション出力を検証する検証モジュールを含む。

処理モジュールは、さらに、所定の範囲外の平均強度を有する複数の個別時間スライスを、複数のスライスのクラスタにサブグループ化し、さらに、該複数のスライスのクラスタの強度プロフィールの第１の最大値と、連続する第２の最大値との間の最小値を判別する。

異なる実施形態において、車線逸脱警告におけるグランドトゥルース判別のために、演算デバイスにおいて実行可能なプログラムを具体化（embodying）する非一時的コンピューター可読媒体（non-transitory computer readable medium）が提供される。該プログラムは、入力として、画像取得ユニットから複数の車線画像を受信するためのプログラムコードを含む。さらに、該プログラムは、複数の車線画像を、複数の異なる時間フレームで取得された複数の時間スライス画像に処理するためのプログラムコードを含む。さらに、該プログラムは、複数の時間スライス画像のそれぞれの強度プロフィールを判別し、さらに、強度プロフィールを平滑化し、平滑化済ヒストグラムを取得するためのプログラムコードを含む。さらに、該プログラムは、平滑化済ヒストグラムの第１の最大値と、連続する第２の最大値との間の最小値を抽出することにより、複数の時間スライス画像のそれぞれのしきい値を取得するためのプログラムコードを含む。さらに、該プログラムは、複数の時間スライス画像を分割することによって、複数の個別時間スライスを取得し、複数の個別時間スライスのそれぞれの強度プロフィールの統計平均変動を算出し、所定の範囲内の平均強度を有する複数の個別時間スライスを、複数のスライスのクラスタにグループ化し、さらに、該複数のスライスのクラスタの強度プロフィールの第１の最大値と、連続する第２の最大値との間の最小値を判別することによって、複数の時間スライス画像のしきい値をリファインするためのプログラムコードを含む。さらに、該プログラムは、複数の時間スライス画像のリファインされたしきい値に基づいて、車線の車線マークの複数の中点を抽出することにより、車線の車線マークを検出するためのプログラムコードと、車線逸脱警告を検証するために、車線の車線マークに基づいて、グランドトゥルース値を判別するためのプログラムコードを含む。

以下添付図面を参照した以下の詳細な説明から、本発明がよりよく理解されるであろう。

図１は、本発明の例示的な実施形態に係る車線逸脱警告におけるグランドトゥルース判別のためのサーバーおよびデバイスのネットワーク実施を示す図である。

図２は、本発明の例示的な実施形態に係るデバイスを示す図である。

図３は、本発明の例示的な実施形態に係るデバイスの詳細な機能を示す図である。

図４（ａ）および図４（ｂ）は、本発明の例示的な実施形態に係る時間スライスグレー画像のオリジナルのヒストグラムプロフィールおよび平滑化済ヒストグラムを示す図である。

図５（ａ）および図５（ｂ）は、本発明の例示的な実施形態に係る統計平均に基づく複数のスライスのグループ化およびサブグループ化を示す画像である。

図６（ａ）、図６（ｂ）および図６（ｃ）は、本発明の例示的な実施形態に係るオリジナルの車線、グレースケールでのオリジナルの車線画像、および得られた車線マークの２値画像を示す図である。

図７（ａ）および図７（ｂ）は、本発明の例示な実施形態に係るグランドトゥルース、およびグランドトゥルースと車線境界対応との組み合わせによってオリジナルのフレーム上にマッピングされた中点を示す図である。

図８は、本発明の例示的な実施形態に係る車線検出警告におけるグランドトゥルース判別のためのフロー図である。

ここに説明される本発明、並びに、その様々な特徴および利点の詳細が、添付図面に示され、以下の記述によって詳細に記載される非限定的実施形態を参照することにより、より十分に説明される。ここで用いられる実施例は、本発明が実施可能な様態で理解されることを容易とし、さらに、本分野における当業者が本発明を実施可能とする意図でのみ提供される。よって、本実施例は、本発明の範囲を限定するよう構成されたものではない。

複数の範囲にある複数のオブジェクト（目的物）を同時に検出するためのデバイスおよび方法の様態が、任意の数の異なる演算デバイス、環境および／または構成によって実施され得るが、本発明は、以下の例示的なデバイスのコンテキスト（context:文脈、内容）において説明される。

図１は、本発明の例示的な実施形態に係る車線逸脱警告におけるグランドトゥルース判別のためのサーバーおよびデバイスのネットワーク実施を示す図である。実施形態の１つにおいて、環境１００は、少なくとも１つのデバイス（例えば、デバイス１０２）と、サーバー１０４と、画像取得ユニット１０６と、通信ネットワーク１０８とを含む。図１中に示すデバイスおよび／またはネットワークの数は、例示の目的でのみ提供されていることは留意されたし。実際の状況またはいくつかの例示的な状況において、追加的またはより少ないデバイスおよび／またはネットワーク、異なるデバイスおよび／またはネットワーク、または、それぞれ異なって配置されたデバイスおよび／またはネットワークが図１に示す環境内に存在していてもよい。また、いくつかの実施形態において、環境１００の１つ以上のデバイスが、環境１００の１つ以上の異なるデバイスによって実行されるものとして記述される１つ以上の機能を実行してもよい。実施例の１つにおいて、画像取得ユニット１０６およびサーバー１０４は、単一のデバイスおよび／またはシステム内において組み合わされてもよい。環境１００のデバイスおよび／またはネットワークは、有線接続、無線接続、または有線および無線接続の組み合わせを介して互いに通信可能に接続されている。

デバイス１０２は、通信ネットワーク１０８を介して通信可能な任意の演算または通信デバイスを含む。例えば、デバイス１０２は、様々な通信デバイス（例えば、ラップトップコンピューター、デスクトップコンピューター、ノートパソコン、ワークステーション、携帯電話、ＰＤＡ（Personal Digital Assistant）等）において実施される。さらに、デバイス１０２は、画像処理によって車線逸脱警告におけるグランドトゥルースを判別するよう構成されており、例えば、デバイス１０２は、画像処理ユニットである。

サーバー１０４は、１つ以上のサーバーデバイス、またはコンテツを提供する異なるタイプの演算および通信デバイスを含む。例えば、サーバー１０４は、コンテンツおよび／またはサービス（例えば、ウェブページ、動画、音声、画像、広告コンテンツ、テキスト、データ、および／またはこれらの複数の組み合わせ）を受信するデバイス１０２および／またはサーバーによってアクセス可能なウェブサイトをホスティングする。例えば、サーバー１０４は、画像取得ユニット１０６によって取得された複数の車線画像等にアクセスするために、デバイス１０２のユーザーによってアクセスされる。サーバー１０４は、複数の車線画像へのアクセスを容易とするために、デバイス１０２からのアクセス要求を受信する。該要求に応じて、サーバー１０４は、ユーザーが複数の画像にアクセスできるように、デバイス１０２を画像取得ユニット１０６にリダイレクトする。サーバー１０４は、ネットワーク１０８を介して、コンテンツおよび／またはサービスをデバイス１０２に提供する。代替的な実施形態において、サーバー１０４は、ネットワーク１０８と通信するアプリケーションをホスティングし、ユーザーからの要求を処理する。

図２は、例示的な実施形態に係るデバイス（例えば、図１のデバイス１０２）のブロック図である。デバイス１０２は、プロセッサー２０２のような少なくとも１つのプロセッサーと、メモリー２０４のような少なくとも１つのメモリーと、ユーザーインターフェース２０６とを含む、もしくは、これらと通信可能である。プロセッサー２０２、メモリー２０４、およびユーザーインターフェース２０６は、システムバスや同様の機構（図示せず）のようなシステムバスによって接続されている。図２は、デバイス１０２の例示的なコンポーネントを示しているが、他の実施形態において、デバイス１０２は、図２に示す構成よりも、より少ないコンポーネント、追加的なコンポーネント、異なるコンポーネント、または異なって配置されたコンポーネントを含んでいてもよい。

プロセッサー２０２は、回路実装、特に、通信に関する送受信および論理機能を含む。また、プロセッサー２０２は、メッセージおよび／またはデータ、または、情報をエンコードする機能を含む。また、プロセッサー２０２は、特に、プロセッサー２０２の動作を支援するよう構成されたクロック、数値演算ユニット（ＡＬＵ）、および論理ゲートを含む。さらに、プロセッサー２０２は、メモリー２０４またはプロセッサー２０２にアクセス可能な他のコンポーネント内に保存された１つ以上のソフトウェアプログラムを実行する機能を含む。

メモリー２０４は、デバイス１０２の機能を実行するためにデバイス１０２によって用いられる任意の数の情報およびデータを保存している。メモリー２０４は、例えば、揮発性メモリーおよび／または非揮発性メモリーを含む。揮発性メモリーとしては、これに限定されるものではないが、例えば、揮発性ランダムアクセスメモリー（ＲＡＭ）が挙げられる。不揮発性メモリーは、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリー、ハードドライブ等を追加的または代替的に含む。メモリー２０４は、デバイス１０２が様々な例示的実施形態に係る様々な機能を実行することを可能とする情報、データ、アプリケーション、命令等を保存するよう構成されている。追加的または代替的に、メモリー２０４は、プロセッサー２０２によって実行されたときに、デバイス１０２を様々な実施形態において記述されるように動作させる複数の命令を保存するよう構成されていてもよい。メモリー２０４は、複数のモジュール２０８と、データ２２０とを含む。

複数のモジュール２０８は、特定のタスクを実行または特定の抽象データ型（abstract data types）を実施するルーティーン（routines）、プログラム、オブジェクト、コンポーネント、データ構造等を含む。実施形態の１つにおいて、モジュール２０８は、受信モジュール２０９、画像処理モジュール２１０、検出モジュール２１２、検証モジュール２１４、およびその他モジュールを含む。その他モジュールは、デバイス１０２のアプリケーションおよび機能を補完するプログラムまたはコード化命令を含む。

データ２２０は、特に、１つ以上のモジュール２０８によって処理され、受信され、生成されたデータを保存するレポジトリ（repository）として機能する。また、データ２２０は、画像データベース２２２と、その他データ２２４とを含む。

図３は、本発明の例示的な実施形態に係る図２に示されているようなデバイス１０２のブロック図の詳細な機能を示す図である。車線の画像／ビデオは、従来利用可能な任意の画像取得ユニット１０６を用いて取得され、画像データベース２２２内に記録画像／ビデオセット（recorded image/vide set）として保存される。例示的な実施形態の１つにおいて、画像データベース２２２は、図３に示されているように、デバイス１０２内に位置している。異なる例示的な実施形態において、画像データベース２２２は、デバイス１０２から離れて位置している。例えば、画像の位置は、車両に取り付けられた画像取得ユニット１０６の動きに対応して変化してもよい。このような変化は、強度プロフィールおよび環境照明プロフィール（environmental illumination profile）に対しても同様である。

保存された複数の画像は、受信モジュール２０８によって受信および読み込まれ、１つ以上のプロセッサー２０２を用いた画像処理モジュール２１０内において処理される。画像処理の第１のステップとして、複数の画像が時間スライスされる。例示的な実施形態の１つにおいて、画像取得ユニット１０６から取得され、記録されたビデオは、複数の画像フレームを含む。各フレームは、記録された画像の複数の異なる時間スロット（time slots）で取得され、例えば、フレームの取得レートが１ｓの場合、第１のフレームは１ｓで取得され、第２のフレームは２ｓで取得され、第３のフレームは３ｓで取得される等である。各フレームは、同じサイズのフレームであり、複数の行を含むよう均一にスライスされる。例えば、各フレームは、１行〜３０行を含んでいる。特定の行、例えば、複数の行のうち第１０番目の行が選択され、第１の時間スライス画像となる。同様に、他の複数のフレームから第１０番目の行が選択され、複数の時間スライス画像が取得される。

さらに、画像処理モジュール２１０は、各時間スライス画像の強度プロフィールまたはヒストグラムを判別する。時間スライス画像のヒストグラムは、（図４ａに示されているように）ガウス分布の強度プロフィールに近い、明確な（well-defined）対称形の他に、いくつかの追加的なピークおよびスパイク（spike）を含んでいる。よって、ヒストグラムまたは強度プロフィールのローパスフィルターされた包絡線（envelop）を抽出するために、事前平滑化操作（pre-smoothing operation）がヒストグラムに対して実行される。ヒストグラム包絡線は、（図４ｂに示されているように）平滑化処理を介して抽出される。さらに、処理モジュール２１０は、平滑化済ヒストグラムの２つの明確な最大値の間の最小値を検出することによってしきい値を判別する。明確な最大値は、平滑化済ヒストグラムの最も高いピークである第１の最大値と、第１の最大値に次いで最も高い連続するピークである第２の最大値とを含む。よって、これら２つのピークの間の最小値は、しきい値とみなされる。この技術は、ＭＢＭＴ（Min-Between-Max-Thresholding）と称されている。例示的な実施形態の１つにおいて、時間スライス画像の強度プロフィールまたはヒストグラムは、中強度範囲周辺（around the mid-intensity range）の強度において、最も高いピークを有する。時間スライス画像の強度プロフィールの同様の対称形を有する連続する次の最も高いピークは、車線マークに対応する高い強度周辺（around a high intensity）に位置する。

さらに、画像処理モジュール２１０は、上述の技術（ＭＢＭＴ）を再度適用することにより、しきい値をリファイン（refine：改良、改善）する。この段階において、複数の時間スライス画像は、フレーム内において均一に分割され、個別スライスが取得される。各個別スライスの統計平均変動が算出される。さらに、画像処理モジュール２１０は、所定の範囲内の平均強度を有する複数の個別スライスを、複数のスライスのクラスタにグループ化（均一なスライス化）し、該複数のスライスのクラスタの強度プロフィールの第１の最大値と連続する第２の最大値との間の平均が判別される。例示的な実施形態の１つにおいて、複数の時間スライス画像の３０枚のスライスが検討される。統計平均の値に基づいて、複数のスライスがグループ化および集中させられる。例えば、（図５ａに示されているように）１８０±１０の所定の範囲が単一のグループとみなされ、この領域の平均を有する複数のスライスが共にグループ化され、ＭＢＭＴ技術が適用される。平均における急激な変化が観測された場合、（図５ｂに示されているように）所定の範囲外の値が存在し、さらに、サブグループ化（非均一なスライス化）が実行され、ＭＢＭＴ技術が適用される。平均における急激な変化が、スライス内における障害物の存在によるものである。

さらに、ＭＢＭＴ技術を適用した後、（図６ｃに示すように）複数の時間スライス画像が２値画像の形式になる。該２値画像内では、車線マークが白ピクセルによって表されており、車線マーク以外のものは、黒ピクセルで表されている。ＭＢＭＴを適用する前、車線画像は、（図６ｂに示すように）グレースケールであり、オリジナルの車線画像は、図６ａに示すようなものである。さらに、検出モジュール２１２は、車線マークに対応する車線の（図７に示すような）２つの白区画の複数の中点を抽出することによって、車線マークを検出する。複数の中点は、ＭＢＭＴを適用することによって得られたリファインされたしきい値に基づいて抽出される。各車線幅の中点は、ビデオ／画像のオリジナルのフレームにマッピングされた複数のグランドトルゥース車線ポイント（ground truth lane points）として検出される。ここで、複数の車線マークの複数の中点が、ビデオのオリジナルのフレームに逆マッピングされる。これは、複数の行にまで及び、車線マーク上の複数のポイントを判別し、さらに、車線逸脱警告を検証するために、（図７ａに示すように）オリジナルのフレーム上にマッピングして、グランドトゥルースを判別するためのものである。

さらに、車線の構造（例えば、不連続な車線、遮断された車線、ドットの車線、ノイズ）に起因する時間スライス内の任意の欠落部（ギャップ）が、車線境界対応（ＬＢＣ：Lane Boundary Correspondence）を介した補間によって埋められる。ＬＢＣでは、右側および左側の両サイドにおいて車線マークが検出されたとき、隣接する車線マーク同士（すなわち、車線の左マークと右マーク）の距離が測定される。欠落部は、以下の式を用いて埋められ、さらに、（図７ｂに示すように）オリジナルのフレームにマッピングされる。
ｄ２＝（ｄ１×Ｘ＋ｄ３×Ｙ）／（Ｘ＋Ｙ）
ここで、ＭＢＭＴ検出車線マーク（MBMT detected lane markings）は、それぞれｄ１およびｄ３であり、距離は、ｄ１とｄ３に対応する車線間の距離である。その後、（図７ｃに示すように）ｄ１、ｄ３、未知の車線から上側の既知の車線マークまでの行距離（Ｘ）、および未知の車線から下側の既知の車線マークまでの行距離（Ｙ）から、ｄ２を判別することにより、未知の車線中央をマークすることができる。

さらに、検証モジュール２１４は、判別されたグランドトゥルースに対する任意の車線警告アプリケーションの検証を容易にする。車線逸脱警告の検証は、車線逸脱警告の一式のシステム（complete system）によって与えられた複数のピクセル位置検出または複数の警告に基づいていてもよい。例示的な実施形態において、ピクセルベースの検出精度が記述される。上述のステップから取得された複数の車線中点であるグランドトゥルース値周辺の境界が判別される。グランドトゥルース周辺の境界は、車線マークの左端と右端であり、実際の検出境界またはトータル検出境界とみなされる。実際の境界またはトータル境界内の車線マークにおけるアプリケーション（任意の車線逸脱警告アプリケーション）の検出車線は、真の検出（true detection）とみなされる。任意の車線逸脱アプリケーションの精度は、以下の式を用いて算出される。
パーセンテージピクセル検出精度（Percentage Pixel Detection Accuracy）＝真の検出（True Detection）／トータル境界検出（Total Boundary Detection）＊１００
ここで、実際の検出（Actual Detection）→グランドトゥルースまたは実際の境界内のピクセルの数
真の検出→実際の境界内のアプリケーション車線内のピクセルの数
さらに、グランドトゥルースの実際の検出境界またはトータル検出境界外のピクセル検出は、車線逸脱の精度の算出において除外（排除）されている。実際の検出またはトータル検出外のピクセル検出、すなわち、実際の境界以外のものは、偽の検出（false detection）とみなされる。

さらに、上述のステップにおいて記述されたＭＢＭＴは、強度プロフィールおよび統計発散（statistical divergence）に基づく。グランドトゥルースは、ベースラインフレームワーク（baseline frame work）として用いられ、検証ステップにおける参照（リファレンス）とみなされる。検証ステップにおいては、些細なエラー（minor error）であっても対処されなければならない（些細なエラーであっても許容できない）。よって、この方法も、２段階の人手による介入（manual intervention）を可能とする。

さらに、デバイス１０２は、以下の２段階の人手による介入のための動作を含む。
（ａ）ユーザーが、画像処理モジュールにおいて処理されるべきフレームの数を定めることを実行可能とする。
（ｂ）ユーザーが、画像処理用に、車線画像（ノイズを除く）としてみなされることとなる車線周辺の複数の境界を選択することを実行可能とする。
デバイス１０２は、ユーザー定義境界選択窓（user defined boundary selection window）（図示せず）を含んでいてもよい。これは、ユーザーが、複数の車線の外側の単一の車線を選択することを支援し、さらに、車線周辺の必要とされる境界を選択することによる車線の品質を改善するのに役立つ。また、ユーザーは、車線の境界を拒否し、車線の境界を再描画（redraw）する決定権、判断基準（provision）を有していてもよい。さらに、該規定は、車線が選択された境界内のものとなるまで、動作を実行および停止する選択肢を含んでいてもよい。

図８は、本発明に係る車線逸脱警告におけるグランドトゥルース判別のための方法８００のフロー図である。

８０２において、該方法は、車両に取り付けられた少なくとも１つの画像取得ユニットによって、入力として、画像取得ユニットから複数の車線画像を受信する工程を含む。例えば、画像は、車両に取り付けられた１つ以上の画像処理ユニットによって取得される。ここで、画像処理ユニットは、車線の連続した画像を取得する。８０４において、複数の車線画像が処理され、複数の時間スライス画像が生成される。ここで、複数の異なる時間フレームで複数の車線画像を取得することによって、複数の時間スライス画像が生成され、それにより、複数のフレームが生成される。複数のフレームは、複数の行を含み、異なる時間スロットで取得された各行は、時間スライス画像とみなされる。例示的な実施形態の１つにおいて、ユーザーは、車線のフレーム数を選択し、処理されるべき車線の境界を定めてもよい。８０６において、各時間スライス画像の強度プロフィールが判別される。さらに、いくつかの追加的なピークおよびスパイクを含む強度プロフィールが、平滑化される。８０８において、平滑化済ヒストグラムの第１の最大値と、連続する第２の最大値との間の最小値を抽出することにより、時間スライス画像のしきい値が取得される。ここで、第１の最大値は、平滑化済ヒストグラムの最も高いピークであり、連続する第２の最大値は、（図４に示すように）第１の最大値に次いで最も高いピークである。

さらに、８１０において、複数の時間スライス画像を分割することによって時間スライス画像のしきい値がリファインされ、複数の個別時間スライスが取得される。また、複数の個別時間スライスのそれぞれの強度プロフィールの統計平均変動が算出される。統計平均変動は、複数の時間スライス画像のそれぞれの間の統計発散に基づく。さらに、８１２において、所定の範囲内の平均強度を有する複数の個別スライスが、複数のスライスのクラスタにグループ化され、該複数のスライスのクラスタの強度プロフィールの第１の最大値と、連続する第２の最大値との間の最小値が判別される。８１４において、複数の時間スライス画像のリファインされたしきい値に基づいて、マークの複数の中点を抽出することにより、車線の車線マークが検出される。ここで、時間スライス画像は、２値画像であり、車線の２値画像内において、車線マークは白ピクセルで表され、車線マーク以外のものは、黒ピクセルで表される。

さらに、８１６において、車線マークに基づくグランドトゥルース値が判別される。さらに、車線境界対応を介した補間によって車線内の不連続点を埋めることにより、グランドトゥルース値が修正される。ここで、車線境界対応は、車線の左側マークと右側マークとの間の距離を測定することによって車線マークを検出し、画像フレームにマッピングする。車線内の不連続点は、不連続な車線、遮断された車線、ドットの車線、またはノイズであってもよい。さらに、判別されたグランドトゥルースは、車線逸脱アプリケーションによって検出されたピクセル位置に基づいて、車線逸脱アプリケーション出力を検証するために適用される。検出精度は、判別されたグランドトゥルースに対して算出される。

Claims (15)

1. 車線逸脱警告におけるグランドトゥルース判別のためのコンピューター実施方法であって、
   入力として、画像取得ユニットから複数の車線画像を受信する工程と、
   前記複数の車線画像を、複数の異なる時間フレームで取得された複数の時間スライス画像に処理する工程と、
   前記複数の時間スライス画像のそれぞれの強度プロフィールを判別し、該強度プロフィールを平滑化して、平滑化済ヒストグラムを取得する工程と、
   前記平滑化済ヒストグラムの第１の最大値と、連続する第２の最大値との間の最小値を抽出することにより、前記複数の時間スライス画像のそれぞれのしきい値を取得する工程と、
   前記複数の時間スライス画像を分割し、複数の個別時間スライスを取得する工程と、前記複数の個別時間スライスのそれぞれの前記強度プロフィールの統計平均変動を算出する工程と、所定の範囲内の平均強度を有する前記複数の個別時間スライスを、複数のスライスのクラスタにグループ化する工程と、該複数のスライスのクラスタの前記強度プロフィールの第１の最大値と、連続する第２の最大値との間の最小値を判別する工程とによって、前記複数の時間スライス画像の前記しきい値をリファインする工程と、
   前記複数の時間スライス画像の前記リファインされたしきい値に基づいて、車線の車線マークの複数の中点を抽出することにより、前記車線の前記車線マークを検出する工程と、
   車線逸脱警告を検証するために、前記車線の前記車線マークに基づいて、グランドトゥルース値を判別する工程と、を含むことを特徴とする方法。
2. 前記判別されたグランドトゥルース値に対して、パーセンテージ検出精度＝真の検出／トータル境界検出＊１００を算出することによって、車線逸脱警告アプリケーションによって検出されたピクセル位置に基づいて、車線逸脱警告アプリケーション出力を検証する工程をさらに含み、
   前記トータル境界検出は、前記グランドトゥルース値内のピクセル数であり、
   前記真の検出は、前記車線逸脱警告アプリケーション内のピクセル数である請求項１に記載のコンピューター実施方法。
3. 実際の検出またはトータル検出外におけるピクセル検出は、除外されている請求項２に記載の方法。
4. 所定の範囲外の平均強度を有する前記複数の個別時間スライスを、複数のスライスのクラスタにサブグループ化する工程と、
   該複数のスライスのクラスタの前記強度プロフィールの第１の最大値と、連続する第２の最大値との間の最小値を判別する工程と、をさらに含む請求項１に記載の方法。
5. 前記複数の時間スライス画像に処理する工程は、ユーザーが、前記車線のフレーム数を選択することと、前記車線の前記境界を定めることとの少なくとも一方を実行可能とする工程をさらに含む請求項１に記載の方法。
6. 前記複数の時間スライス画像は、複数の異なる時間フレームで前記複数の車線画像をスライスすることにより形成されており、
   各前記時間フレームは、複数の行を含む請求項１に記載の方法。
7. 前記グランドトゥルース値を判別する工程は、車線境界対応を介した補間によって、前記車線内の不連続点を埋める工程をさらに含み、
   前記車線境界対応は、前記車線の左側マークと右側マークとの間の距離を測定することによって複数の車線マークを検出し、画像フレームにマッピングする工程を含む請求項１に記載の方法。
8. 前記車線内の前記不連続点は、不連続の車線、遮断された車線、ドットの車線、およびノイズの少なくとも１つである請求項７に記載の方法。
9. 前記統計平均変動は、前記複数の時間スライス画像の前記個別時間スライスのそれぞれの間の統計発散に基づく請求項１に記載の方法。
10. 前記第１の最大値は、前記平滑化済ヒストグラムの最も高いピークであり、前記連続する第２の最大値は、前記第１の最大値に次いで最も高いピークである請求項１に記載の方法。
11. 前記グランドトゥルース値を判別する工程は、前記検出された中点を、前記画像取得ユニットにより取得された画像フレーム上に逆マッピングする請求項１に記載の方法。
12. 前記リファインされたしきい値を取得した後の前記複数の時間スライス画像は、２値画像である請求項１に記載の方法。
13. 前記車線の２値画像内において、前記車線マークは白ピクセルで表され、前記車線マーク以外のものは黒ピクセルで表されている請求項１に記載の方法。
14. 車線逸脱警告内におけるグランドトゥルース判別のためのシステムであって、
    画像取得ユニット（１０６）と、
    前記画像取得ユニットに通信可能に接続され、前記画像取得ユニットから複数の車線画像を受信するよう構成された画像データベース（２２２）と、
    画像処理ユニットと、を含み、
    前記画像処理ユニットは、
    プロセッサー（２０２）と、
    前記プロセッサー（２０２）に接続されたメモリー（２０６）と、を含み、
    前記メモリーは、
    入力として、前記画像データベースから複数の車線画像を受信する受信モジュール（２０９）と、
    画像処理モジュール（２１０）であって、
    前記受信モジュール（２０９）から受信した前記複数の車線画像を処理し、複数の異なる時間フレームで取得された複数の時間スライス画像を取得し、
    平滑化済ヒストグラムの第１の最大値と、連続する第２の最大値との間の最小値を抽出することにより、前記複数の時間スライス画像のそれぞれのしきい値を取得し、
    前記複数の時間スライス画像を分割し、複数の個別時間スライスを取得し、前記複数の個別時間スライスのそれぞれの強度プロフィールの統計平均変動を算出し、所定の範囲内の平均強度を有する前記複数の個別時間スライスを、複数のスライスのクラスタにグループ化し、さらに、該複数のスライスのクラスタの前記強度プロフィールの第１の最大値と、連続する第２の最大値の間の最小値を判別することによって、前記複数の時間スライスの前記しきい値をリファインする前記画像処理モジュール（２１０）と、
    前記複数の時間スライス画像の前記リファインされたしきい値に基づいて、車線の車線マークの複数の中点を抽出することにより、前記車線の前記車線マークを検出し、さらに、前記車線マークに基づいてグランドトゥルース値を判別する検出モジュール（２１２）と、を含むことを特徴とするシステム。
15. 前記車線画像は、車両に取り付けられた１つ以上の前記画像取得ユニット（１０６）によって取得され、
    前記画像取得ユニットは、車線の連続画像を取得する請求項１４に記載のシステム。

Images