JP2023128481A - 物体認識方法及び物体認識装置 - Google Patents

Abstract

【課題】精度良く路面標示を認識することが可能な物体認識方法及び物体認識装置を提供する。【解決手段】物体認識装置１は路面を含む車両の周囲の所定範囲を撮像するカメラ１１と、少なくともカメラ１１と重複する範囲に光を出射し反射光に基づいて反射点である測距点の位置を検出するセンサ群１０と、カメラ１１及びセンサ群１０から取得したデータを処理するコントローラ２０と、を備える。コントローラ２０は舗装領域における撮像画像上の明るさの基準となる基準反射点群を抽出し、基準反射点群の基準を示す基準画素値を算出し、基準画素値を用いて撮像画像上の各画素の相対照度を推定し、相対照度を用いて撮像画像の各画素の輝度値を補正し、補正が行われた補正画像から路面標示を認識する。【選択図】図１

Description

本発明は、物体認識方法及び物体認識装置に関する。

従来より、画像上における陰影領域及び非陰影領域を特定し、陰影領域及び非陰影領域の色相情報及び輝度情報に基づいて光源の色情報を算出し、陰影領域を検出、除去する発明が知られている（特許文献１）。

特開２０１０－２３７９７６号公報

しかしながら、特許文献１に記載された発明は色相に基づいて同一物体判定をするため、隣接するアスファルト領域と白線領域を同一物体の陰影領域、非陰影領域と誤判定するおそれがある。

本発明は、上記問題に鑑みて成されたものであり、その目的は、精度良く路面標示を認識することが可能な物体認識方法及び物体認識装置を提供することである。

本発明の一態様に係る物体認識方法は、位置検出手段によって検出された測距点の位置に基づいて、複数の測距点のうち、路面からの反射点である路面反射点を抽出し、路面反射点の反射強度に基づいて、撮像手段によって撮像された撮像画像上における路面標示が存在する領域を示す路面標示領域と、路面標示領域を除いた路面の領域を示す舗装領域とを抽出し、舗装領域における撮像画像上の明るさの基準となる基準反射点群を抽出し、基準反射点群の基準を示す基準画素値を算出し、基準画素値を用いて撮像画像上の各画素の相対照度を推定し、相対照度を用いて撮像画像の各画素の輝度値を補正し、補正が行われた補正画像から路面標示を認識する。

本発明によれば、精度良く路面標示を認識することが可能となる。

図１は、本発明の実施形態に係る物体認識装置１の構成図である。 図２は、基準反射点群の一例を説明する図である。 図３は、相対照度の一例を説明する図である。 図４は、画像補正方法の一例を説明する図である。 図５は、物体認識装置１の一動作例を説明するフローチャートである。 図６は、物体認識装置１の一動作例を説明するフローチャートである。 図７は、物体認識装置１の一動作例を説明するフローチャートである。 図８は、物体認識の一例を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

図１を参照して物体認識装置１の構成例を説明する。図１に示すように、物体認識装置１は、センサ群１０と、カメラ１１と、コントローラ２０とを備える。

物体認識装置１は自動運転機能を有する車両に搭載されてもよく、自動運転機能を有しない車両に搭載されてもよい。また、物体認識装置１は自動運転と手動運転とを切り替えることが可能な車両に搭載されてもよい。また、自動運転機能は操舵制御、制動力制御、駆動力制御などの車両制御機能のうちの一部の機能のみを自動的に制御して運転者の運転を支援する運転支援機能であってもよい。本実施形態では物体認識装置１は自動運転機能を有する車両に搭載されるものとして説明する。

なお図１において省略されているが、物体認識装置１は画像認識部２４による認識結果（物体の位置、形状、姿勢など）に基づいてステアリングアクチュエータ、アクセルペダルアクチュエータ、ブレーキアクチュエータなどの各種のアクチュエータを制御してもよい。これにより高精度な自動運転が実現しうる。

センサ群１０には主に自車両の周囲の物体までの距離及び方向を測定するセンサが含まれる。このようなセンサは一例としてライダ（ＬＩＤＡＲ：Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）である。ライダとは自車両の周囲の物体に光（レーザ光）を発射し、その光（反射光）が物体に当たって跳ね返ってくるまでの時間を測定することにより、物体までの距離及び方向を測定したり、物体の形状を認識したりする。さらにライダは物体の位置関係を三次元で取得することも可能である。ライダの原理、仕組みは周知であるため詳細な説明は省略する。なおレーザ光の反射強度を用いてマッピングすることも可能である。他にセンサ群１０には自車両の位置を検出するＧＰＳ受信機またはＧＮＳＳ受信機が含まれてもよい。またセンサ群１０には自車両の状態を検出する速度センサ、加速度センサ、舵角センサ、ジャイロセンサ、ブレーキ油圧センサ、アクセル開度センサなどが含まれてもよい。センサ群１０によって取得された情報はコントローラ２０に出力される。なお以下では特に断らない限り、センサ群１０の代表をライダとして説明し、コントローラ２０に出力される情報はライダによって取得された情報として説明する。

カメラ１１はＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有する。カメラ１１の設置場所は特に限定されないが、一例としてカメラ１１は自車両の前方、側方、後方に設置される。カメラ１１は所定の周期で自車両の周囲を連続的に撮像する。カメラ１１は自車両の周囲に存在する物体（歩行者、自転車、バイク、他車両など）、及び自車両の前方の情報（区画線、信号機、標識、横断歩道、交差点など）を検出する。カメラ１１によって撮像された画像はコントローラ２０に出力される。なおカメラ１１によって撮像された画像は記憶装置（図示しない）に格納され、コントローラ２０は記憶装置に格納された画像を参照してもよい。

ライダによって測定（検出）される領域と、カメラ１１によって撮像（検出）される領域は全部または一部が重複する。

コントローラ２０は、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体認識装置１として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは物体認識装置１が備える複数の情報処理回路として機能する。なおここでは、ソフトウェアによって物体認識装置１が備える複数の情報処理回路を実現する例を示すが、もちろん以下に示す各情報処理を実行するための専用のハードウェアを用意して情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ２０は、複数の情報処理回路（情報処理機能）の一例として、点群取得部２１と、路面反射点推定部２２と、画像取得部２３と、画像認識部２４と、基準反射点抽出部２５と、基準画素値算出部２６と、相対照度推定部２７と、画像照度補正部２８を備える。なおコントローラ２０はＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）と表現されてもよい。

点群取得部２１はライダから測距点群（三次元座標における複数の測距点の集合）を取得する。点群取得部２１は取得した測距点群を路面反射点推定部２２に出力する。

路面反射点推定部２２は、測距点群の三次元位置及び形状に基づいて路面反射点を推定する。本実施形態において「路面反射点」とは、複数の測距点のうち、路面からの反射点を意味する。走行中において路面以外の反射点には例えば建物からの反射点が挙げられる。路面反射点推定部２２は推定した路面反射点を基準反射点抽出部２５に出力する。

画像取得部２３はカメラ１１によって撮像された画像を取得する。画像取得部２３は取得した画像を画像認識部２４に出力する。なお認識対象物体が存在する可能性の高い領域が既知の場合、画像取得部２３はその領域のみを抽出して出力してもよい。

画像認識部２４は画像取得部２３から取得した画像に対して、路面標示認識処理を行う。路面標示認識処理とは画像処理の一例であり、自車両の周囲（主に自車両の前方）の路面標示を検出、識別し、これらの属性情報を各画素に対応付ける処理である。このような画像処理は周知であり、例えば各画素について各路面標示である尤度を推定するセマンティックセグメンテーションを用いることができる。また、白線、黄線など色に応じて属性を分けて識別してもよい。本実施形態において「路面標示」とは、道路交通に対して必要な案内、誘導、警戒、規制、指示などを行うために専用の塗料で路面に標示されたものを意味し、例えば区画線（破線の白線）、横断歩道、停止線、進行方向矢印線などが挙げられる。画像認識部２４は処理結果を基準反射点抽出部２５に出力する。

基準反射点抽出部２５は路面反射点のレーザ光の反射強度と画像認識結果に基づいて、路面における舗装領域と路面標示領域のそれぞれについて画像上の画素の明るさの基準となる反射点群（基準反射点群）を抽出する。本実施形態において「舗装領域」とは、路面のうち路面標示が存在する領域を除いたアスファルト部分を意味する。「路面標示領域」とは、路面標示が存在する領域を意味する。「舗装領域の基準反射点群」とは、舗装領域からの反射点の集合を意味する。また、「路面標示領域の基準反射点群」とは、路面標示領域からの反射点の集合を意味する。基準反射点抽出部２５は抽出した基準反射点群を基準画素値算出部２６に出力する。なお路面標示領域については、画像平面に投影した点の画素値の色（色相、彩度）によりクラスタリングし、各クラスタを別々の基準反射点群としてもよい。また、アスファルトやコンクリートなどの舗装路面の光（レーザ光）の反射率に対し、白線やその他の路面標示の光（レーザ光）の反射率は高いため、ライダは反射率（すなわち反射光の強度）に基づいて、路面反射点がアスファルトやコンクリートなどの舗装路面であるのか、白線などの路面標示であるのかを判定することができる。すなわち、反射強度が相対的に高い路面の領域を路面標示領域、反射強度が相対的に低い路面の領域を路面標示領域以外の舗装領域と判定することができる。

基準画素値算出部２６は、基準反射点抽出部２５から取得した基準反射点群を画像平面に投影し、投影された点群の画素値から舗装領域と路面標示領域のそれぞれについて基準となる基準画素値を算出する。基準画素値の算出方法は特に限定されないが一例として中央値、平均値を用いて算出される。路面標示の色に応じて複数の基準反射点群がある場合は、それぞれについて基準画素値が計算される。基準画素値算出部２６は算出した基準画素値を相対照度推定部２７に出力する。

相対照度推定部２７は基準画素値算出部２６によって算出された基準画素値に基づいて、画像の各画素について相対照度を推定し相対照度画像を生成する。相対照度推定部２７は生成した相対照度画像を画像照度補正部２８に出力する。相対照度は各画素において画素値を基準画素値で除算することにより算出される。また、一般的にライダの測距点は画像よりも疎であるため、画像上で対応する測距点が存在しない領域は補間して算出される。

画像照度補正部２８は、相対照度推定部２７によって生成された相対照度画像を用いてカメラ１１によって撮像された画像の明るさを補正する。補正は画像を相対照度画像で除算することによって行われる。補正された画像は画像認識部２４に出力され、再度物体認識処理が行われ、最終的な認識結果として出力される。上述したように物体認識装置１は画像認識部２４による最終的な認識結果（物体の位置、形状、姿勢など）に基づいてステアリングアクチュエータ、アクセルペダルアクチュエータ、ブレーキアクチュエータなどの各種のアクチュエータを制御してもよい。これにより高精度な自動運転が実現しうる。

次に図２～４を参照してコントローラ２０の各機能の詳細について説明する。

図２に示すシーン（画像３０）は、道路を走行中の自車両の前方風景である。画像３０は自車両の前方に設置されたカメラ１１によって撮像されたものである。図２に示すように自車両は２車線道路の左側車線を走行している。図２において左側に車両が停車可能なスペースがあるが、これはバスの停留所である。図２の符号４０～４１は路面のアスファルト領域（走行車線領域）を示す。より詳しくは符号４０は左側のアスファルト領域、符号４１は右側のアスファルト領域を示す。符号４２～４３は区画線（白線）を示す。符号５０は太陽（日光）に照らされている領域を示す。符号５０で示された領域では光が強いためカメラ１１では物体（例えば白線）を認識することが難しい場合がある。そこで本実施形態ではライダによって取得された情報とカメラ１１によって撮像された画像３０とを用いて符号５０で示された領域を補正（画像上における補正）し、画像上で物体（例えば白線）を精度良く認識する。なお符号５０で示された領域は空間周波数が所定値以上の領域と表現されてもよい。

路面反射点推定部２２は測距点群の三次元位置及び形状に基づいて路面反射点を推定する。図２において路面反射点は、符号４０～４３，５０で示される領域からの反射点を意味する。なお図２において路面には符号４０～４３，５０で示される領域以外も含まれるため、路面であれば符号４０～４３，５０で示される領域以外の領域からの反射点も含まれる。ただし説明の都合上、ここでは路面反射点を符号４０～４３，５０で示される領域からの反射点として説明する。

基準反射点抽出部２５は路面反射点の反射強度と画像認識結果に基づいて、路面における舗装領域と路面標示領域のそれぞれについて画像上の画素の明るさの基準となる反射点群（基準反射点群）を抽出する。図２において「舗装領域の基準反射点群」とは、符号４０，４１で示される領域からの反射点の集合を意味する。「路面標示領域の基準反射点群」とは、符号４２，４４で示される領域からの反射点の集合を意味する。本実施形態においてライダの検出領域とカメラ１１の撮像領域が重複している。両者の検出結果を照らし合わせることにより、精度良く基準反射点群が抽出される。符号５０で示される領域についてはライダの検出結果（路面反射点の反射強度）に基づいて「舗装領域の基準反射点群」及び「路面標示領域の基準反射点群」が抽出される。

基準画素値算出部２６は基準反射点群を画像平面に投影し、投影された点群の画素値から舗装領域と路面標示領域のそれぞれについて基準となる基準画素値を算出する。相対照度推定部２７は基準画素値算出部２６によって算出された基準画素値に基づいて、画像の各画素について相対照度を算出し相対照度画像を生成する。具体的には符号５０で示される領域にうち、ライダによって白線（路面標示領域）であると検出された領域（画像上の領域）ではその白線の画素値を「路面標示領域の基準画素値」で除算する。同様に、符号５０で示される領域のうち、ライダによってアスファルト（舗装領域）であると検出された領域（画像上の領域）ではそのアスファルトの画素値を「舗装領域の基準画素値」で除算する。この除算は画像３０の各画素の輝度値を補正することを意味する。この除算によって図３の符号６０で示される相対照度が算出される。この相対照度を二次元画像に投影することによって図３の符号６１で示される相対照度画像が生成される。

次に画像照度補正部２８は相対照度推定部２７によって生成された相対照度画像６１を用いてカメラ１１によって撮像された画像の明るさを補正する。具体的には図２の画像３０を入力画像とし、画像照度補正部２８はこの入力画像を相対照度画像６１で除算する。これにより図４に示す照度補正画像７０が生成される。照度補正画像７０から分かるように領域５０の明るさが補正される。補正された画像上では白線などの路面標示を精度良く認識することが可能となる。

次に図５のフローチャートを参照して、物体認識装置１の一動作例について説明する。ステップＳ１０１において、カメラ１１は自車両前方を撮像する。処理はステップＳ１０３に進み、画像認識部２４はステップＳ１０１で取得された画像に対して路面標示認識処理を行う。これにより図２に示す白線、アスファルトなどが認識される。ステップＳ１０５において、点群取得部２１はライダから測距点群（三次元座標における複数の測距点の集合）を取得する。処理はステップＳ１０７に進み、路面反射点推定部２２はステップＳ１０５で取得された測距点群の三次元位置及び形状に基づいて路面反射点を推定する。

処理はステップＳ１０９に進み、基準反射点抽出部２５はステップＳ１０７で推定された路面反射点の反射強度と画像認識結果に基づいて、路面における舗装領域と路面標示領域のそれぞれについて画像上の画素の明るさの基準となる反射点群（基準反射点群）を抽出する。処理はステップＳ１１１に進み、基準画素値算出部２６はステップＳ１０９で抽出された基準反射点群を画像平面に投影し、投影された点群の画素値から舗装領域と路面標示領域のそれぞれについて基準となる基準画素値を算出する。処理はステップＳ１１３に進み、相対照度推定部２７はステップＳ１１１で算出された基準画素値を用いて相対照度を推定し図３に示す相対照度画像６１を生成する。

処理はステップＳ１１５に進み、画像照度補正部２８はステップＳ１１３で生成された相対照度画像６１を用いてカメラ１１によって撮像された画像の明るさを補正する（図４参照）。処理はステップＳ１１７に進み、画像認識部２４はステップＳ１１５で補正された画像を用いて白線などの路面標示を認識する。これにより太陽の光が強く当たりカメラ１１では認識できないよう場合であっても画像上で路面標示を認識することが可能となる。

路面標示領域の基準反射点群、舗装領域の基準反射点群の抽出方法の一例を図６～７を参照して説明する。まず図６を参照して路面標示領域の基準反射点群の抽出方法の一例を説明する。ステップＳ２０１において、路面反射点推定部２２は測距点群の三次元位置及び形状に基づいて各測距点が路面から反射したものかそれ以外（立体物）から反射したものかを判定する。ステップＳ２０１以降では各測距点が路面から反射したと判定されたものとして説明する。ステップＳ２０３において未処理の路面反射点が存在する場合（ステップＳ２０３でＹＥＳ）、処理はステップＳ２０５に進み未処理の路面反射点が一点選択される。ステップＳ２０３でＮＯの場合処理は終了する。

ステップＳ２０７において測距点の反射強度が閾値以上である場合（ステップＳ２０７でＹＥＳ）、処理はステップＳ２０９に進み測距点は画像平面に投影される。ステップＳ２０１において投影された測距点が画像上で路面標示と認識されている場合（ステップＳ２１１でＹＥＳ）、処理はステップＳ２１３に進み、測距点は路面標示領域の基準反射点であると判定される。なお測距点までの距離、法線方向に応じて閾値は変更されてもよい。具体的には測距点までの距離が長いほど閾値を小さくしてもよい。レーザ入射方向と測距点の法線方向のなす角が大きいほど、閾値を小さくしてもよい。ステップＳ２０７でＮＯである場合、ステップＳ２１１でＮＯである場合、及びステップＳ２１３の処理の後は、ステップＳ２０３に処理が戻る。

次に図７を参照して舗装領域の基準反射点群の抽出方法の一例を説明する。ただしステップＳ３０１～３０５，３０９の処理は図６に示すステップＳ２０１～２０５，２０９の処理と同じであるため説明を省略する。ステップＳ３０７において、測距点の反射強度が閾値以下である場合（ステップＳ３０７でＹＥＳ）、舗装領域の反射点であると判定される。ステップＳ３１１において、投影された測距点が画像上で路面標示と認識されていない場合（ステップＳ３１１でＹＥＳ）、処理はステップＳ３１５に進み、測距点の近傍に図６のステップＳ２１３の処理で抽出された路面標示領域の基準反射点が存在するか否かが判定される。測距点の近傍に路面標示領域の基準反射点が存在する（ステップＳ３１５でＹＥＳ）、処理はステップＳ３１７に進み、舗装領域の基準反射点であると判定される。ステップＳ３０７でＮＯである場合、ステップＳ３１１でＮＯである場合、ステップＳ３１５でＮＯである場合、及びステップＳ３１７の処理の後は、ステップＳ３０３に処理が戻る。なお測距点までの距離、法線方向に応じて閾値が変更されてもよい点は図６と同じである。

図８は、図５に示すステップＳ１１５による補正後の画像の一例を示す。図８の符号８１は横断歩道を示し、符号８２は矢印線を示し、符号８３は区画線（白線）を示す。符号８１～８３は太陽の光が強く当たりカメラ１１では物体を認識できない領域を示す。本実施形態による画像補正により太陽の光が強く当たりカメラ１１では認識できないよう場合であっても画像上で路面標示を認識することが可能となる。なお図８に示すシーンは図２に示すシーンとは異なる。

（作用効果）
以上説明したように、本実施形態に係る物体認識装置１によれば、以下の作用効果が得られる。

物体認識装置１は、路面を含む車両の周囲の所定範囲を撮像する撮像手段と、少なくとも撮像手段と重複する範囲に光を出射し反射光に基づいて反射点である測距点の位置を検出する位置検出手段と、撮像手段及び位置検出手段から取得したデータを処理するコントローラ２０と、を備える。「撮像手段」の一例はカメラ１１である。「位置検出手段」の一例はライダである。「光」の一例はレーザ光である。コントローラ２０は位置検出手段によって検出された測距点の位置に基づいて、複数の測距点のうち、路面からの反射点である路面反射点を抽出する。コントローラ２０は路面反射点の反射強度に基づいて、撮像手段によって撮像された撮像画像上における路面標示が存在する領域を示す路面標示領域と、路面標示領域を除いた路面の領域を示す舗装領域とを抽出する。コントローラ２０は舗装領域における撮像画像上の明るさの基準となる基準反射点群を抽出する。基準反射点群の基準を示す基準画素値を算出する。コントローラ２０は基準画素値を用いて撮像画像上の各画素の相対照度を推定する。コントローラ２０は相対照度を用いて撮像画像の各画素の輝度値を補正する。コントローラ２０は補正が行われた補正画像から路面標示を認識する。本実施形態によれば道路周辺の構造物、物体の陰影による路面上の明暗を補正することができるため、精度良く路面標示を認識することが可能となる。また、ライダから照射されるレーザ光の反射強度を用いるため、対象の色相及び領域の隣接関係によらず反射強度の強い物体（路面標示）と弱い物体（アスファルト）を区別することが可能となる。上述の実施形態では、「舗装領域の基準反射点群」と「路面標示領域の基準反射点群」の両方の基準画素値を使用する例を説明したがこれに限定されない。「舗装領域の基準反射点群」の基準画素値のみが用いられてもよい。

基準反射点群は第１基準反射点群と定義され、基準画素値は第１基準画素値と定義されてもよい。コントローラ２０は路面標示領域における撮像画像上の明るさの基準となる第２基準反射点群を抽出し、第２基準反射点群の基準を示す第２基準画素値を算出し、第２基準画素値を用いて撮像画像上の各画素の相対照度を推定し、相対照度を用いて撮像画像の各画素の輝度値を補正してもよい。これにより精度良く路面標示を認識することが可能となる。

コントローラ２０は第２基準反射点群を対応する画素の色相及び彩度によりクラスタリングし、各クラスタの相対照度を推定してもよい。路面標示の色（白色、黄色など）ごとにクラスタリング処理を行うことにより適切な基準画素値を設定できるため、複数の色の路面標示が存在する場合においても適切な相対照度を算出し、陰影を補正することが可能となる。

位置検出手段から路面反射点までの距離が大きいほど、路面反射点が路面標示か否かの判定に用いられる反射強度の閾値は小さくてもよい。路面反射点（測距点）までの距離が大きいほど反射強度は減衰し弱くなるが、このように閾値を設定することでその影響を抑制することができるため、精度良く舗装領域（アスファルト）と路面標示を区別することが可能となる。

コントローラ２０は路面反射点の各点について形状に基づいて法線方向を推定してもよい。光（レーザ光）の入射方向と法線方向とのなす角が大きいほど、路面反射点が路面標示か否かの判定に用いられる反射強度の閾値は小さくてもよい。測距対象面に対するライダの照射光の入射角が大きい（測距対象面の法線と照射光の入射方向のなす角が直角に近い）ほど反射強度は弱くなるが、このように閾値を設定することでその影響を抑制することができるので、精度良く舗装領域（アスファルト）と路面標示を区別することが可能となる。

コントローラ２０は相対照度を撮像画像上で補間し相対照度画像を生成する際に平滑化処理を行ってもよい。舗装領域及び路面標示は微視的には多様な色をもつため、ある一点を基準として相対照度を算出すると小さい誤差が発生するが、屋外環境において一般的に照度は陰影、非陰影の境界部を除き滑らかに変化するため、相対照度画像を平滑化することで路面の細かい色の差の影響を抑制することが可能となる。

コントローラ２０は撮像画像上において相対照度が所定範囲外の領域でのみ、補正画像から路面標示を認識してもよい。「相対照度が所定範囲外の領域」の一例は図２の符号５０で示される領域である。画像の一部についてのみ画像認識を行うことにより、演算負荷が低減される。もちろん上述したように画像全体について画像認識を行ってもよい。画像全体について画像認識を行うことにより、画像全体を手掛かりとして精度良く路面標示を認識することが可能となる。

上述の実施形態に記載される各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や回路部品等の装置を含む。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

１ 物体認識装置、１０ センサ群、１１ カメラ、２０ コントローラ、２１ 点群取得部、２２ 路面反射点推定部、２３ 画像取得部、２４ 画像認識部、２５ 基準反射点抽出部、２６ 基準画素値算出部、２７ 相対照度推定部、２８ 画像照度補正部、

Claims (8)

1. 路面を含む車両の周囲の所定範囲を撮像する撮像手段と、少なくとも前記撮像手段と重複する範囲に光を出射し反射光に基づいて反射点である測距点の位置を検出する位置検出手段と、前記撮像手段及び前記位置検出手段から取得したデータを処理するコントローラと、を備える物体認識装置の物体認識方法であって、
   前記コントローラは、
   前記位置検出手段によって検出された前記測距点の位置に基づいて、複数の測距点のうち、前記路面からの反射点である路面反射点を抽出し、
   前記路面反射点の反射強度に基づいて、前記撮像手段によって撮像された撮像画像上における路面標示が存在する領域を示す路面標示領域と、前記路面標示領域を除いた路面の領域を示す舗装領域とを抽出し、
   前記舗装領域における前記撮像画像上の明るさの基準となる基準反射点群を抽出し、
   前記基準反射点群の基準を示す基準画素値を算出し、
   前記基準画素値を用いて前記撮像画像上の各画素の相対照度を推定し、
   前記相対照度を用いて前記撮像画像の各画素の輝度値を補正し、
   前記補正が行われた補正画像から前記路面標示を認識する
   ことを特徴とする物体認識方法。
2. 前記基準反射点群は第１基準反射点群と定義され、前記基準画素値は第１基準画素値と定義され、
   前記コントローラは、
   前記路面標示領域における前記撮像画像上の明るさの基準となる第２基準反射点群を抽出し、
   前記第２基準反射点群の基準を示す第２基準画素値を算出し、
   前記第２基準画素値を用いて前記撮像画像上の各画素の相対照度を推定し、
   前記相対照度を用いて前記撮像画像の各画素の輝度値を補正する
   ことを特徴とする請求項１に記載の物体認識方法。
3. 前記コントローラは、前記第２基準反射点群を対応する画素の色相及び彩度によりクラスタリングし、各クラスタの相対照度を推定する
   ことを特徴とする請求項２に記載の物体認識方法。
4. 前記位置検出手段から前記路面反射点までの距離が大きいほど、前記路面反射点が前記路面標示か否かの判定に用いられる前記反射強度の閾値は小さい
   ことを特徴とする請求項１～３のいずか１項に記載の物体認識方法。
5. 前記コントローラは、前記路面反射点の各点について形状に基づいて法線方向を推定し、
   前記光の入射方向と前記法線方向とのなす角が大きいほど、前記路面反射点が前記路面標示か否かの判定に用いられる前記反射強度の閾値は小さい
   ことを特徴とする請求項１～４のいずか１項に記載の物体認識方法。
6. 前記コントローラは、前記相対照度を前記撮像画像上で補間し相対照度画像を生成する際に平滑化処理を行う
   ことを特徴とする請求項１～５のいずか１項に記載の物体認識方法。
7. 前記コントローラは、前記撮像画像上において前記相対照度が所定範囲外の領域でのみ、前記補正画像から前記路面標示を認識する
   ことを特徴とする請求項１～６のいずか１項に記載の物体認識方法。
8. 路面を含む車両の周囲の所定範囲を撮像する撮像手段と、
   少なくとも前記撮像手段と重複する範囲に光を出射し反射光に基づいて反射点である測距点の位置を検出する位置検出手段と、
   前記撮像手段及び前記位置検出手段から取得したデータを処理するコントローラと、を備え、
   前記コントローラは、
   前記位置検出手段によって検出された前記測距点の位置に基づいて、複数の測距点のうち、前記路面からの反射点である路面反射点を抽出し、
   前記路面反射点の反射強度に基づいて、前記撮像手段によって撮像された撮像画像上における路面標示が存在する領域を示す路面標示領域と、前記路面標示領域を除いた路面の領域を示す舗装領域とを抽出し、
   前記舗装領域における前記撮像画像上の明るさの基準となる基準反射点群を抽出し、
   前記基準反射点群の基準を示す基準画素値を算出し、
   前記基準画素値を用いて前記撮像画像上の各画素の相対照度を推定し、
   前記相対照度を用いて前記撮像画像の各画素の輝度値を補正し、
   前記補正が行われた補正画像から前記路面標示を認識する
   ことを特徴とする物体認識装置。

Images