JP2023128481A - 物体認識方法及び物体認識装置 - Google Patents
物体認識方法及び物体認識装置 Download PDFInfo
- Publication number
- JP2023128481A JP2023128481A JP2022032846A JP2022032846A JP2023128481A JP 2023128481 A JP2023128481 A JP 2023128481A JP 2022032846 A JP2022032846 A JP 2022032846A JP 2022032846 A JP2022032846 A JP 2022032846A JP 2023128481 A JP2023128481 A JP 2023128481A
- Authority
- JP
- Japan
- Prior art keywords
- reflection point
- image
- area
- road
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012937 correction Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 13
- 238000005259 measurement Methods 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 15
- 238000009499 grossing Methods 0.000 claims description 3
- 239000010426 asphalt Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】精度良く路面標示を認識することが可能な物体認識方法及び物体認識装置を提供する。【解決手段】物体認識装置1は路面を含む車両の周囲の所定範囲を撮像するカメラ11と、少なくともカメラ11と重複する範囲に光を出射し反射光に基づいて反射点である測距点の位置を検出するセンサ群10と、カメラ11及びセンサ群10から取得したデータを処理するコントローラ20と、を備える。コントローラ20は舗装領域における撮像画像上の明るさの基準となる基準反射点群を抽出し、基準反射点群の基準を示す基準画素値を算出し、基準画素値を用いて撮像画像上の各画素の相対照度を推定し、相対照度を用いて撮像画像の各画素の輝度値を補正し、補正が行われた補正画像から路面標示を認識する。【選択図】図1
Description
本発明は、物体認識方法及び物体認識装置に関する。
従来より、画像上における陰影領域及び非陰影領域を特定し、陰影領域及び非陰影領域の色相情報及び輝度情報に基づいて光源の色情報を算出し、陰影領域を検出、除去する発明が知られている(特許文献1)。
しかしながら、特許文献1に記載された発明は色相に基づいて同一物体判定をするため、隣接するアスファルト領域と白線領域を同一物体の陰影領域、非陰影領域と誤判定するおそれがある。
本発明は、上記問題に鑑みて成されたものであり、その目的は、精度良く路面標示を認識することが可能な物体認識方法及び物体認識装置を提供することである。
本発明の一態様に係る物体認識方法は、位置検出手段によって検出された測距点の位置に基づいて、複数の測距点のうち、路面からの反射点である路面反射点を抽出し、路面反射点の反射強度に基づいて、撮像手段によって撮像された撮像画像上における路面標示が存在する領域を示す路面標示領域と、路面標示領域を除いた路面の領域を示す舗装領域とを抽出し、舗装領域における撮像画像上の明るさの基準となる基準反射点群を抽出し、基準反射点群の基準を示す基準画素値を算出し、基準画素値を用いて撮像画像上の各画素の相対照度を推定し、相対照度を用いて撮像画像の各画素の輝度値を補正し、補正が行われた補正画像から路面標示を認識する。
本発明によれば、精度良く路面標示を認識することが可能となる。
以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。
図1を参照して物体認識装置1の構成例を説明する。図1に示すように、物体認識装置1は、センサ群10と、カメラ11と、コントローラ20とを備える。
物体認識装置1は自動運転機能を有する車両に搭載されてもよく、自動運転機能を有しない車両に搭載されてもよい。また、物体認識装置1は自動運転と手動運転とを切り替えることが可能な車両に搭載されてもよい。また、自動運転機能は操舵制御、制動力制御、駆動力制御などの車両制御機能のうちの一部の機能のみを自動的に制御して運転者の運転を支援する運転支援機能であってもよい。本実施形態では物体認識装置1は自動運転機能を有する車両に搭載されるものとして説明する。
なお図1において省略されているが、物体認識装置1は画像認識部24による認識結果(物体の位置、形状、姿勢など)に基づいてステアリングアクチュエータ、アクセルペダルアクチュエータ、ブレーキアクチュエータなどの各種のアクチュエータを制御してもよい。これにより高精度な自動運転が実現しうる。
センサ群10には主に自車両の周囲の物体までの距離及び方向を測定するセンサが含まれる。このようなセンサは一例としてライダ(LIDAR:Laser Imaging Detection and Ranging)である。ライダとは自車両の周囲の物体に光(レーザ光)を発射し、その光(反射光)が物体に当たって跳ね返ってくるまでの時間を測定することにより、物体までの距離及び方向を測定したり、物体の形状を認識したりする。さらにライダは物体の位置関係を三次元で取得することも可能である。ライダの原理、仕組みは周知であるため詳細な説明は省略する。なおレーザ光の反射強度を用いてマッピングすることも可能である。他にセンサ群10には自車両の位置を検出するGPS受信機またはGNSS受信機が含まれてもよい。またセンサ群10には自車両の状態を検出する速度センサ、加速度センサ、舵角センサ、ジャイロセンサ、ブレーキ油圧センサ、アクセル開度センサなどが含まれてもよい。センサ群10によって取得された情報はコントローラ20に出力される。なお以下では特に断らない限り、センサ群10の代表をライダとして説明し、コントローラ20に出力される情報はライダによって取得された情報として説明する。
カメラ11はCCD(charge-coupled device)、CMOS(complementary metal oxide semiconductor)などの撮像素子を有する。カメラ11の設置場所は特に限定されないが、一例としてカメラ11は自車両の前方、側方、後方に設置される。カメラ11は所定の周期で自車両の周囲を連続的に撮像する。カメラ11は自車両の周囲に存在する物体(歩行者、自転車、バイク、他車両など)、及び自車両の前方の情報(区画線、信号機、標識、横断歩道、交差点など)を検出する。カメラ11によって撮像された画像はコントローラ20に出力される。なおカメラ11によって撮像された画像は記憶装置(図示しない)に格納され、コントローラ20は記憶装置に格納された画像を参照してもよい。
ライダによって測定(検出)される領域と、カメラ11によって撮像(検出)される領域は全部または一部が重複する。
コントローラ20は、CPU(中央処理装置)、メモリ、及び入出力部を備える汎用のマイクロコンピュータである。マイクロコンピュータには、物体認識装置1として機能させるためのコンピュータプログラムがインストールされている。コンピュータプログラムを実行することにより、マイクロコンピュータは物体認識装置1が備える複数の情報処理回路として機能する。なおここでは、ソフトウェアによって物体認識装置1が備える複数の情報処理回路を実現する例を示すが、もちろん以下に示す各情報処理を実行するための専用のハードウェアを用意して情報処理回路を構成することも可能である。また複数の情報処理回路を個別のハードウェアにより構成してもよい。コントローラ20は、複数の情報処理回路(情報処理機能)の一例として、点群取得部21と、路面反射点推定部22と、画像取得部23と、画像認識部24と、基準反射点抽出部25と、基準画素値算出部26と、相対照度推定部27と、画像照度補正部28を備える。なおコントローラ20はECU(Electronic Control Unit)と表現されてもよい。
点群取得部21はライダから測距点群(三次元座標における複数の測距点の集合)を取得する。点群取得部21は取得した測距点群を路面反射点推定部22に出力する。
路面反射点推定部22は、測距点群の三次元位置及び形状に基づいて路面反射点を推定する。本実施形態において「路面反射点」とは、複数の測距点のうち、路面からの反射点を意味する。走行中において路面以外の反射点には例えば建物からの反射点が挙げられる。路面反射点推定部22は推定した路面反射点を基準反射点抽出部25に出力する。
画像取得部23はカメラ11によって撮像された画像を取得する。画像取得部23は取得した画像を画像認識部24に出力する。なお認識対象物体が存在する可能性の高い領域が既知の場合、画像取得部23はその領域のみを抽出して出力してもよい。
画像認識部24は画像取得部23から取得した画像に対して、路面標示認識処理を行う。路面標示認識処理とは画像処理の一例であり、自車両の周囲(主に自車両の前方)の路面標示を検出、識別し、これらの属性情報を各画素に対応付ける処理である。このような画像処理は周知であり、例えば各画素について各路面標示である尤度を推定するセマンティックセグメンテーションを用いることができる。また、白線、黄線など色に応じて属性を分けて識別してもよい。本実施形態において「路面標示」とは、道路交通に対して必要な案内、誘導、警戒、規制、指示などを行うために専用の塗料で路面に標示されたものを意味し、例えば区画線(破線の白線)、横断歩道、停止線、進行方向矢印線などが挙げられる。画像認識部24は処理結果を基準反射点抽出部25に出力する。
基準反射点抽出部25は路面反射点のレーザ光の反射強度と画像認識結果に基づいて、路面における舗装領域と路面標示領域のそれぞれについて画像上の画素の明るさの基準となる反射点群(基準反射点群)を抽出する。本実施形態において「舗装領域」とは、路面のうち路面標示が存在する領域を除いたアスファルト部分を意味する。「路面標示領域」とは、路面標示が存在する領域を意味する。「舗装領域の基準反射点群」とは、舗装領域からの反射点の集合を意味する。また、「路面標示領域の基準反射点群」とは、路面標示領域からの反射点の集合を意味する。基準反射点抽出部25は抽出した基準反射点群を基準画素値算出部26に出力する。なお路面標示領域については、画像平面に投影した点の画素値の色(色相、彩度)によりクラスタリングし、各クラスタを別々の基準反射点群としてもよい。また、アスファルトやコンクリートなどの舗装路面の光(レーザ光)の反射率に対し、白線やその他の路面標示の光(レーザ光)の反射率は高いため、ライダは反射率(すなわち反射光の強度)に基づいて、路面反射点がアスファルトやコンクリートなどの舗装路面であるのか、白線などの路面標示であるのかを判定することができる。すなわち、反射強度が相対的に高い路面の領域を路面標示領域、反射強度が相対的に低い路面の領域を路面標示領域以外の舗装領域と判定することができる。
基準画素値算出部26は、基準反射点抽出部25から取得した基準反射点群を画像平面に投影し、投影された点群の画素値から舗装領域と路面標示領域のそれぞれについて基準となる基準画素値を算出する。基準画素値の算出方法は特に限定されないが一例として中央値、平均値を用いて算出される。路面標示の色に応じて複数の基準反射点群がある場合は、それぞれについて基準画素値が計算される。基準画素値算出部26は算出した基準画素値を相対照度推定部27に出力する。
相対照度推定部27は基準画素値算出部26によって算出された基準画素値に基づいて、画像の各画素について相対照度を推定し相対照度画像を生成する。相対照度推定部27は生成した相対照度画像を画像照度補正部28に出力する。相対照度は各画素において画素値を基準画素値で除算することにより算出される。また、一般的にライダの測距点は画像よりも疎であるため、画像上で対応する測距点が存在しない領域は補間して算出される。
画像照度補正部28は、相対照度推定部27によって生成された相対照度画像を用いてカメラ11によって撮像された画像の明るさを補正する。補正は画像を相対照度画像で除算することによって行われる。補正された画像は画像認識部24に出力され、再度物体認識処理が行われ、最終的な認識結果として出力される。上述したように物体認識装置1は画像認識部24による最終的な認識結果(物体の位置、形状、姿勢など)に基づいてステアリングアクチュエータ、アクセルペダルアクチュエータ、ブレーキアクチュエータなどの各種のアクチュエータを制御してもよい。これにより高精度な自動運転が実現しうる。
次に図2~4を参照してコントローラ20の各機能の詳細について説明する。
図2に示すシーン(画像30)は、道路を走行中の自車両の前方風景である。画像30は自車両の前方に設置されたカメラ11によって撮像されたものである。図2に示すように自車両は2車線道路の左側車線を走行している。図2において左側に車両が停車可能なスペースがあるが、これはバスの停留所である。図2の符号40~41は路面のアスファルト領域(走行車線領域)を示す。より詳しくは符号40は左側のアスファルト領域、符号41は右側のアスファルト領域を示す。符号42~43は区画線(白線)を示す。符号50は太陽(日光)に照らされている領域を示す。符号50で示された領域では光が強いためカメラ11では物体(例えば白線)を認識することが難しい場合がある。そこで本実施形態ではライダによって取得された情報とカメラ11によって撮像された画像30とを用いて符号50で示された領域を補正(画像上における補正)し、画像上で物体(例えば白線)を精度良く認識する。なお符号50で示された領域は空間周波数が所定値以上の領域と表現されてもよい。
路面反射点推定部22は測距点群の三次元位置及び形状に基づいて路面反射点を推定する。図2において路面反射点は、符号40~43,50で示される領域からの反射点を意味する。なお図2において路面には符号40~43,50で示される領域以外も含まれるため、路面であれば符号40~43,50で示される領域以外の領域からの反射点も含まれる。ただし説明の都合上、ここでは路面反射点を符号40~43,50で示される領域からの反射点として説明する。
基準反射点抽出部25は路面反射点の反射強度と画像認識結果に基づいて、路面における舗装領域と路面標示領域のそれぞれについて画像上の画素の明るさの基準となる反射点群(基準反射点群)を抽出する。図2において「舗装領域の基準反射点群」とは、符号40,41で示される領域からの反射点の集合を意味する。「路面標示領域の基準反射点群」とは、符号42,44で示される領域からの反射点の集合を意味する。本実施形態においてライダの検出領域とカメラ11の撮像領域が重複している。両者の検出結果を照らし合わせることにより、精度良く基準反射点群が抽出される。符号50で示される領域についてはライダの検出結果(路面反射点の反射強度)に基づいて「舗装領域の基準反射点群」及び「路面標示領域の基準反射点群」が抽出される。
基準画素値算出部26は基準反射点群を画像平面に投影し、投影された点群の画素値から舗装領域と路面標示領域のそれぞれについて基準となる基準画素値を算出する。相対照度推定部27は基準画素値算出部26によって算出された基準画素値に基づいて、画像の各画素について相対照度を算出し相対照度画像を生成する。具体的には符号50で示される領域にうち、ライダによって白線(路面標示領域)であると検出された領域(画像上の領域)ではその白線の画素値を「路面標示領域の基準画素値」で除算する。同様に、符号50で示される領域のうち、ライダによってアスファルト(舗装領域)であると検出された領域(画像上の領域)ではそのアスファルトの画素値を「舗装領域の基準画素値」で除算する。この除算は画像30の各画素の輝度値を補正することを意味する。この除算によって図3の符号60で示される相対照度が算出される。この相対照度を二次元画像に投影することによって図3の符号61で示される相対照度画像が生成される。
次に画像照度補正部28は相対照度推定部27によって生成された相対照度画像61を用いてカメラ11によって撮像された画像の明るさを補正する。具体的には図2の画像30を入力画像とし、画像照度補正部28はこの入力画像を相対照度画像61で除算する。これにより図4に示す照度補正画像70が生成される。照度補正画像70から分かるように領域50の明るさが補正される。補正された画像上では白線などの路面標示を精度良く認識することが可能となる。
次に図5のフローチャートを参照して、物体認識装置1の一動作例について説明する。ステップS101において、カメラ11は自車両前方を撮像する。処理はステップS103に進み、画像認識部24はステップS101で取得された画像に対して路面標示認識処理を行う。これにより図2に示す白線、アスファルトなどが認識される。ステップS105において、点群取得部21はライダから測距点群(三次元座標における複数の測距点の集合)を取得する。処理はステップS107に進み、路面反射点推定部22はステップS105で取得された測距点群の三次元位置及び形状に基づいて路面反射点を推定する。
処理はステップS109に進み、基準反射点抽出部25はステップS107で推定された路面反射点の反射強度と画像認識結果に基づいて、路面における舗装領域と路面標示領域のそれぞれについて画像上の画素の明るさの基準となる反射点群(基準反射点群)を抽出する。処理はステップS111に進み、基準画素値算出部26はステップS109で抽出された基準反射点群を画像平面に投影し、投影された点群の画素値から舗装領域と路面標示領域のそれぞれについて基準となる基準画素値を算出する。処理はステップS113に進み、相対照度推定部27はステップS111で算出された基準画素値を用いて相対照度を推定し図3に示す相対照度画像61を生成する。
処理はステップS115に進み、画像照度補正部28はステップS113で生成された相対照度画像61を用いてカメラ11によって撮像された画像の明るさを補正する(図4参照)。処理はステップS117に進み、画像認識部24はステップS115で補正された画像を用いて白線などの路面標示を認識する。これにより太陽の光が強く当たりカメラ11では認識できないよう場合であっても画像上で路面標示を認識することが可能となる。
路面標示領域の基準反射点群、舗装領域の基準反射点群の抽出方法の一例を図6~7を参照して説明する。まず図6を参照して路面標示領域の基準反射点群の抽出方法の一例を説明する。ステップS201において、路面反射点推定部22は測距点群の三次元位置及び形状に基づいて各測距点が路面から反射したものかそれ以外(立体物)から反射したものかを判定する。ステップS201以降では各測距点が路面から反射したと判定されたものとして説明する。ステップS203において未処理の路面反射点が存在する場合(ステップS203でYES)、処理はステップS205に進み未処理の路面反射点が一点選択される。ステップS203でNOの場合処理は終了する。
ステップS207において測距点の反射強度が閾値以上である場合(ステップS207でYES)、処理はステップS209に進み測距点は画像平面に投影される。ステップS201において投影された測距点が画像上で路面標示と認識されている場合(ステップS211でYES)、処理はステップS213に進み、測距点は路面標示領域の基準反射点であると判定される。なお測距点までの距離、法線方向に応じて閾値は変更されてもよい。具体的には測距点までの距離が長いほど閾値を小さくしてもよい。レーザ入射方向と測距点の法線方向のなす角が大きいほど、閾値を小さくしてもよい。ステップS207でNOである場合、ステップS211でNOである場合、及びステップS213の処理の後は、ステップS203に処理が戻る。
次に図7を参照して舗装領域の基準反射点群の抽出方法の一例を説明する。ただしステップS301~305,309の処理は図6に示すステップS201~205,209の処理と同じであるため説明を省略する。ステップS307において、測距点の反射強度が閾値以下である場合(ステップS307でYES)、舗装領域の反射点であると判定される。ステップS311において、投影された測距点が画像上で路面標示と認識されていない場合(ステップS311でYES)、処理はステップS315に進み、測距点の近傍に図6のステップS213の処理で抽出された路面標示領域の基準反射点が存在するか否かが判定される。測距点の近傍に路面標示領域の基準反射点が存在する(ステップS315でYES)、処理はステップS317に進み、舗装領域の基準反射点であると判定される。ステップS307でNOである場合、ステップS311でNOである場合、ステップS315でNOである場合、及びステップS317の処理の後は、ステップS303に処理が戻る。なお測距点までの距離、法線方向に応じて閾値が変更されてもよい点は図6と同じである。
図8は、図5に示すステップS115による補正後の画像の一例を示す。図8の符号81は横断歩道を示し、符号82は矢印線を示し、符号83は区画線(白線)を示す。符号81~83は太陽の光が強く当たりカメラ11では物体を認識できない領域を示す。本実施形態による画像補正により太陽の光が強く当たりカメラ11では認識できないよう場合であっても画像上で路面標示を認識することが可能となる。なお図8に示すシーンは図2に示すシーンとは異なる。
(作用効果)
以上説明したように、本実施形態に係る物体認識装置1によれば、以下の作用効果が得られる。
以上説明したように、本実施形態に係る物体認識装置1によれば、以下の作用効果が得られる。
物体認識装置1は、路面を含む車両の周囲の所定範囲を撮像する撮像手段と、少なくとも撮像手段と重複する範囲に光を出射し反射光に基づいて反射点である測距点の位置を検出する位置検出手段と、撮像手段及び位置検出手段から取得したデータを処理するコントローラ20と、を備える。「撮像手段」の一例はカメラ11である。「位置検出手段」の一例はライダである。「光」の一例はレーザ光である。コントローラ20は位置検出手段によって検出された測距点の位置に基づいて、複数の測距点のうち、路面からの反射点である路面反射点を抽出する。コントローラ20は路面反射点の反射強度に基づいて、撮像手段によって撮像された撮像画像上における路面標示が存在する領域を示す路面標示領域と、路面標示領域を除いた路面の領域を示す舗装領域とを抽出する。コントローラ20は舗装領域における撮像画像上の明るさの基準となる基準反射点群を抽出する。基準反射点群の基準を示す基準画素値を算出する。コントローラ20は基準画素値を用いて撮像画像上の各画素の相対照度を推定する。コントローラ20は相対照度を用いて撮像画像の各画素の輝度値を補正する。コントローラ20は補正が行われた補正画像から路面標示を認識する。本実施形態によれば道路周辺の構造物、物体の陰影による路面上の明暗を補正することができるため、精度良く路面標示を認識することが可能となる。また、ライダから照射されるレーザ光の反射強度を用いるため、対象の色相及び領域の隣接関係によらず反射強度の強い物体(路面標示)と弱い物体(アスファルト)を区別することが可能となる。上述の実施形態では、「舗装領域の基準反射点群」と「路面標示領域の基準反射点群」の両方の基準画素値を使用する例を説明したがこれに限定されない。「舗装領域の基準反射点群」の基準画素値のみが用いられてもよい。
基準反射点群は第1基準反射点群と定義され、基準画素値は第1基準画素値と定義されてもよい。コントローラ20は路面標示領域における撮像画像上の明るさの基準となる第2基準反射点群を抽出し、第2基準反射点群の基準を示す第2基準画素値を算出し、第2基準画素値を用いて撮像画像上の各画素の相対照度を推定し、相対照度を用いて撮像画像の各画素の輝度値を補正してもよい。これにより精度良く路面標示を認識することが可能となる。
コントローラ20は第2基準反射点群を対応する画素の色相及び彩度によりクラスタリングし、各クラスタの相対照度を推定してもよい。路面標示の色(白色、黄色など)ごとにクラスタリング処理を行うことにより適切な基準画素値を設定できるため、複数の色の路面標示が存在する場合においても適切な相対照度を算出し、陰影を補正することが可能となる。
位置検出手段から路面反射点までの距離が大きいほど、路面反射点が路面標示か否かの判定に用いられる反射強度の閾値は小さくてもよい。路面反射点(測距点)までの距離が大きいほど反射強度は減衰し弱くなるが、このように閾値を設定することでその影響を抑制することができるため、精度良く舗装領域(アスファルト)と路面標示を区別することが可能となる。
コントローラ20は路面反射点の各点について形状に基づいて法線方向を推定してもよい。光(レーザ光)の入射方向と法線方向とのなす角が大きいほど、路面反射点が路面標示か否かの判定に用いられる反射強度の閾値は小さくてもよい。測距対象面に対するライダの照射光の入射角が大きい(測距対象面の法線と照射光の入射方向のなす角が直角に近い)ほど反射強度は弱くなるが、このように閾値を設定することでその影響を抑制することができるので、精度良く舗装領域(アスファルト)と路面標示を区別することが可能となる。
コントローラ20は相対照度を撮像画像上で補間し相対照度画像を生成する際に平滑化処理を行ってもよい。舗装領域及び路面標示は微視的には多様な色をもつため、ある一点を基準として相対照度を算出すると小さい誤差が発生するが、屋外環境において一般的に照度は陰影、非陰影の境界部を除き滑らかに変化するため、相対照度画像を平滑化することで路面の細かい色の差の影響を抑制することが可能となる。
コントローラ20は撮像画像上において相対照度が所定範囲外の領域でのみ、補正画像から路面標示を認識してもよい。「相対照度が所定範囲外の領域」の一例は図2の符号50で示される領域である。画像の一部についてのみ画像認識を行うことにより、演算負荷が低減される。もちろん上述したように画像全体について画像認識を行ってもよい。画像全体について画像認識を行うことにより、画像全体を手掛かりとして精度良く路面標示を認識することが可能となる。
上述の実施形態に記載される各機能は、1または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、記載された機能を実行するようにアレンジされた特定用途向け集積回路(ASIC)や回路部品等の装置を含む。
上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
1 物体認識装置、10 センサ群、11 カメラ、20 コントローラ、21 点群取得部、22 路面反射点推定部、23 画像取得部、24 画像認識部、25 基準反射点抽出部、26 基準画素値算出部、27 相対照度推定部、28 画像照度補正部、
Claims (8)
- 路面を含む車両の周囲の所定範囲を撮像する撮像手段と、少なくとも前記撮像手段と重複する範囲に光を出射し反射光に基づいて反射点である測距点の位置を検出する位置検出手段と、前記撮像手段及び前記位置検出手段から取得したデータを処理するコントローラと、を備える物体認識装置の物体認識方法であって、
前記コントローラは、
前記位置検出手段によって検出された前記測距点の位置に基づいて、複数の測距点のうち、前記路面からの反射点である路面反射点を抽出し、
前記路面反射点の反射強度に基づいて、前記撮像手段によって撮像された撮像画像上における路面標示が存在する領域を示す路面標示領域と、前記路面標示領域を除いた路面の領域を示す舗装領域とを抽出し、
前記舗装領域における前記撮像画像上の明るさの基準となる基準反射点群を抽出し、
前記基準反射点群の基準を示す基準画素値を算出し、
前記基準画素値を用いて前記撮像画像上の各画素の相対照度を推定し、
前記相対照度を用いて前記撮像画像の各画素の輝度値を補正し、
前記補正が行われた補正画像から前記路面標示を認識する
ことを特徴とする物体認識方法。 - 前記基準反射点群は第1基準反射点群と定義され、前記基準画素値は第1基準画素値と定義され、
前記コントローラは、
前記路面標示領域における前記撮像画像上の明るさの基準となる第2基準反射点群を抽出し、
前記第2基準反射点群の基準を示す第2基準画素値を算出し、
前記第2基準画素値を用いて前記撮像画像上の各画素の相対照度を推定し、
前記相対照度を用いて前記撮像画像の各画素の輝度値を補正する
ことを特徴とする請求項1に記載の物体認識方法。 - 前記コントローラは、前記第2基準反射点群を対応する画素の色相及び彩度によりクラスタリングし、各クラスタの相対照度を推定する
ことを特徴とする請求項2に記載の物体認識方法。 - 前記位置検出手段から前記路面反射点までの距離が大きいほど、前記路面反射点が前記路面標示か否かの判定に用いられる前記反射強度の閾値は小さい
ことを特徴とする請求項1~3のいずか1項に記載の物体認識方法。 - 前記コントローラは、前記路面反射点の各点について形状に基づいて法線方向を推定し、
前記光の入射方向と前記法線方向とのなす角が大きいほど、前記路面反射点が前記路面標示か否かの判定に用いられる前記反射強度の閾値は小さい
ことを特徴とする請求項1~4のいずか1項に記載の物体認識方法。 - 前記コントローラは、前記相対照度を前記撮像画像上で補間し相対照度画像を生成する際に平滑化処理を行う
ことを特徴とする請求項1~5のいずか1項に記載の物体認識方法。 - 前記コントローラは、前記撮像画像上において前記相対照度が所定範囲外の領域でのみ、前記補正画像から前記路面標示を認識する
ことを特徴とする請求項1~6のいずか1項に記載の物体認識方法。 - 路面を含む車両の周囲の所定範囲を撮像する撮像手段と、
少なくとも前記撮像手段と重複する範囲に光を出射し反射光に基づいて反射点である測距点の位置を検出する位置検出手段と、
前記撮像手段及び前記位置検出手段から取得したデータを処理するコントローラと、を備え、
前記コントローラは、
前記位置検出手段によって検出された前記測距点の位置に基づいて、複数の測距点のうち、前記路面からの反射点である路面反射点を抽出し、
前記路面反射点の反射強度に基づいて、前記撮像手段によって撮像された撮像画像上における路面標示が存在する領域を示す路面標示領域と、前記路面標示領域を除いた路面の領域を示す舗装領域とを抽出し、
前記舗装領域における前記撮像画像上の明るさの基準となる基準反射点群を抽出し、
前記基準反射点群の基準を示す基準画素値を算出し、
前記基準画素値を用いて前記撮像画像上の各画素の相対照度を推定し、
前記相対照度を用いて前記撮像画像の各画素の輝度値を補正し、
前記補正が行われた補正画像から前記路面標示を認識する
ことを特徴とする物体認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022032846A JP2023128481A (ja) | 2022-03-03 | 2022-03-03 | 物体認識方法及び物体認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022032846A JP2023128481A (ja) | 2022-03-03 | 2022-03-03 | 物体認識方法及び物体認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023128481A true JP2023128481A (ja) | 2023-09-14 |
Family
ID=87972978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022032846A Pending JP2023128481A (ja) | 2022-03-03 | 2022-03-03 | 物体認識方法及び物体認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023128481A (ja) |
-
2022
- 2022-03-03 JP JP2022032846A patent/JP2023128481A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5892876B2 (ja) | 車載用環境認識装置 | |
US10935643B2 (en) | Sensor calibration method and sensor calibration apparatus | |
US7957559B2 (en) | Apparatus and system for recognizing environment surrounding vehicle | |
US10635896B2 (en) | Method for identifying an object in a surrounding region of a motor vehicle, driver assistance system and motor vehicle | |
JP5254102B2 (ja) | 環境認識装置 | |
US20170144585A1 (en) | Vehicle exterior environment recognition apparatus | |
US9886773B2 (en) | Object detection apparatus and object detection method | |
WO2014073322A1 (ja) | 物体検出装置及び物体検出方法 | |
JP2009071836A (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
JP5065172B2 (ja) | 車両灯火判定装置及びプログラム | |
WO2015125297A1 (ja) | 自己位置算出装置及び自己位置算出方法 | |
WO2015125296A1 (ja) | 自己位置算出装置及び自己位置算出方法 | |
JP2019020956A (ja) | 車両周囲認識装置 | |
JP2007058805A (ja) | 前方環境認識装置 | |
JP6398218B2 (ja) | 自己位置算出装置及び自己位置算出方法 | |
KR20120086962A (ko) | 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법 | |
JP2010176592A (ja) | 車両用運転支援装置 | |
JP2023128481A (ja) | 物体認識方法及び物体認識装置 | |
JP7404173B2 (ja) | 画像処理装置 | |
JP2010086266A (ja) | 車両用画像処理装置 | |
WO2017169704A1 (ja) | 環境認識装置 | |
KR20130065281A (ko) | 위치 정보 제공 장치 및 방법 | |
JP7390899B2 (ja) | レーンマーク認識装置 | |
JP2020038551A (ja) | 顔向き検出装置、顔向き検出方法、及び制御プログラム | |
JP7344776B2 (ja) | 信号機認識方法及び信号機認識装置 |