JP2020008462A - 自車位置推定装置 - Google Patents

自車位置推定装置 Download PDF

Info

Publication number
JP2020008462A
JP2020008462A JP2018130915A JP2018130915A JP2020008462A JP 2020008462 A JP2020008462 A JP 2020008462A JP 2018130915 A JP2018130915 A JP 2018130915A JP 2018130915 A JP2018130915 A JP 2018130915A JP 2020008462 A JP2020008462 A JP 2020008462A
Authority
JP
Japan
Prior art keywords
vehicle
planar target
target
information
error amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018130915A
Other languages
English (en)
Other versions
JP7025293B2 (ja
Inventor
正輝 北郷
Masateru Kitago
正輝 北郷
宏次朗 立石
Kojiro Tateishi
宏次朗 立石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Toyota Motor Corp
Original Assignee
Denso Corp
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Toyota Motor Corp filed Critical Denso Corp
Priority to JP2018130915A priority Critical patent/JP7025293B2/ja
Priority to US16/443,023 priority patent/US10916034B2/en
Publication of JP2020008462A publication Critical patent/JP2020008462A/ja
Application granted granted Critical
Publication of JP7025293B2 publication Critical patent/JP7025293B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

【課題】撮像画像に含まれる面状物標と自車両との縦方向距離の推定精度の向上を図ることで自車位置を精度良く推定する。【解決手段】面状物標が撮像画像に含まれるか否かを判定する物標判定部と自車両の走行する走行道路に関する走行道路情報を取得する走行道路情報取得部と、面状物標が撮像画像に含まれると判定された場合に、撮像画像における面状物標の縦中心座標及び横中心座標のうち少なくとも一方を含む面状物標の中心点情報を取得する中心点情報取得部と、自車両の地図上の測定位置、面状物標の地図上の位置情報、面状物標の中心点情報、及び走行道路情報に基づいて、自車両の前後方向における自車両と面状物標との距離である縦方向距離を演算する縦方向距離演算部と、面状物標の地図上の位置情報と縦方向距離とを用いて自車位置を推定する自車位置推定部と、を備える。【選択図】図2

Description

本発明は、自車位置推定装置に関する。
従来、車両のカメラにより道路標識などの物標を認識し、記憶されている物標の地図上の位置情報を用いることで自車位置を推定することが知られている。物標認識に関する技術文献としては特開2012−164254号公報などが存在する。この公報には、地図情報に含まれる道路標識の設置されている位置に基づいて道路標識(物標)を固定標識と臨時標識とに区別して認識することにより、道路標識の認識精度を向上させる標識認識装置が示されている。
特開2012−164254号公報
物標を用いた自車位置推定においては、自車両と物標との距離を精度良く推定することが求められている。上述した従来の標識認識装置では、画像処理によって道路標識の位置を認識しているが、道路標識などの物標の認識精度には改善の余地がある。
そこで、本技術分野では、撮像画像に含まれる物標と自車両との距離の推定精度の向上を図ることで自車位置を精度良く推定することができる自車位置推定装置を提供することが望まれている。
上記課題を解決するため、本発明の一態様は、自車両のカメラによって撮像された自車両の前方の撮像画像に含まれる物標を用いて自車両の地図上の位置である自車位置を推定する自車位置推定装置であって、自車両に搭載された位置測定部の測定結果に基づいて、自車両の地図上の測定位置を取得する測定位置取得部と、物標の地図上の位置情報及び物標の外形情報を含む物標情報を記憶する物標データベースと、撮像画像と物標情報とに基づいて、物標の一種である面状物標が撮像画像に含まれるか否かを判定する物標判定部と自車両の走行する走行道路に関する走行道路情報を取得する走行道路情報取得部と、物標判定部により面状物標が撮像画像に含まれると判定された場合に、カメラの撮像画像と物標情報とに基づいて、撮像画像における面状物標の縦中心座標及び横中心座標のうち少なくとも一方を含む面状物標の中心点情報を取得する中心点情報取得部と、自車両の地図上の測定位置、面状物標の地図上の位置情報、面状物標の中心点情報、及び走行道路情報に基づいて、自車両の前後方向における自車両と面状物標との距離である縦方向距離を演算する縦方向距離演算部と、走行道路情報に基づいて、縦方向距離の誤差量を推定する誤差量推定部と、誤差量が誤差閾値未満である場合に、面状物標の地図上の位置情報と縦方向距離とを用いて自車位置を推定する自車位置推定部と、を備える。
本発明の一態様に係る自車位置推定装置では、道路標識などの面状物標が撮像画像に含まれる場合に、自車両の地図上の測定位置、面状物標の地図上の位置情報、撮像画像における面状物標の中心点情報、及び走行道路情報に基づいて自車両と面状物標との縦方向距離を演算する。また、この自車位置推定装置では、自車両の走行道路によって縦方向距離に含まれる誤差量が変化することから、走行道路情報から推定された縦方向距離の誤差量が誤差閾値未満の場合に、当該縦方向距離を用いて自車位置の推定を行う。従って、この自車位置推定装置によれば、面状物標の地図上の位置情報を利用して撮像画像に含まれる面状物標と自車両との縦方向距離を推定するので、撮像画像のみから縦方向距離を推定する場合と比べて縦方向距離の推定精度の向上を図ることができ、自車位置を精度良く推定することができる。
本発明の一態様に係る自車位置推定装置において、縦方向距離演算部は、中心点情報に面状物標の横中心座標が含まれる場合に、自車両の地図上の測定位置、面状物標の地図上の位置情報、撮像画像における面状物標の横中心座標、及び走行道路情報に含まれる曲率半径情報に基づいて、自車両と面状物標との縦方向距離を演算してもよい。
この自車位置推定装置では、中心点情報に面状物標の横中心座標が含まれる場合に、自車両の地図上の測定位置と面状物標の地図上の位置情報から地図上における自車両と面状物標との横方向距離を求め、地図上における自車両と面状物標との横方向距離と走行道路情報に含まれる曲率半径情報とを用いて自車両と面状物標との縦方向距離を演算することができる。
上記の自車位置推定装置において、誤差量推定部は、走行道路の曲率半径が曲率半径閾値以上である場合には、走行道路の曲率半径が曲率半径閾値未満である場合と比べて、誤差量を小さい値として推定してもよい。
この自車位置推定装置によれば、撮像画像における面状物標の横中心座標から自車両と面状物標との縦方向距離を演算する場合には、自車両の走行する走行道路の曲率半径が縦方向距離の誤差量に影響することが見出されたため、走行道路の曲率半径が曲率半径閾値以上であるときには曲率半径が曲率半径閾値未満であるときと比べて誤差量を小さい値とすることで、縦方向距離の誤差量の推定精度を向上させることができる。
上記の自車位置推定装置において、誤差量推定部は、自車両の地図上の測定位置及び面状物標の地図上の位置情報から演算された自車両に対する面状物標の横方向距離が横方向閾値以上である場合には、横方向距離が横方向閾値未満である場合と比べて、誤差量を小さい値として推定してもよい。
この自車位置推定装置によれば、撮像画像における面状物標の横中心座標から自車両と面状物標との縦方向距離を演算する場合には、面状物標の横方向距離が縦方向距離の誤差量に影響することが見出されたため、横方向距離が横方向閾値以上であるときに横方向距離が横方向閾値未満であるときと比べて誤差量を小さい値とすることで、縦方向距離の誤差量の推定精度を向上させることができる。
本発明の一態様に係る自車位置推定装置において、縦方向距離演算部は、中心点情報に面状物標の縦中心座標が含まれる場合に、面状物標の地図上の位置情報に含まれる面状物標の地図上の高さ情報、撮像画像における面状物標の縦中心座標、及び走行道路情報に含まれる勾配情報に基づいて、自車両と面状物標との縦方向距離を演算してもよい。
この自車位置推定装置では、中心点情報に面状物標の縦中心座標が含まれる場合に、面状物標の地図上の高さ情報と撮像画像における面状物標の縦中心座標とからカメラと面状物標との高さを求め、カメラと面状物標との高さと走行道路情報に含まれる勾配情報とを用いて自車両と面状物標との縦方向距離を演算することができる。
以上説明したように、本発明の一態様によれば、撮像画像に含まれる面状物標と自車両との縦方向距離の推定精度の向上を図ることで自車位置を精度良く推定することができる。
一実施形態に係る自車位置推定装置を示すブロック図である。 (a)撮像画像のエッジ検出処理を説明するための図である。(b)撮像画像のハフ変換によるペアの直線輪郭線の抽出を説明するための図である。(c)撮像画像における縦中心座標の算出を説明するための図である。 (a)撮像画像中における面状物標の中心点とカメラ光軸縦座標との距離Δvを示す図である。(b)自車両と面状物標の中心点との位置関係を説明するための平面図である。 勾配変化量による誤差量Eyの例を示す図である。 (a)撮像画像における横中心座標の算出を説明するための図である。(b)撮像画像中における面状物標の中心点とカメラ光軸横座標との距離Δuを示す図である。 (a)走行道路の曲率半径による誤差量Exの例を示す平面図である。(b)走行車線の曲率半径と走行道路の曲率半径による誤差量Exの関係を説明するための図である。 (a)自車両と面状物標との縦方向距離を用いた自車位置の補正の例を説明するための平面図である。(b)任意の地図座標系における自車位置の補正の例を説明するための平面図である。 自車位置推定処理の一例を示すフローチャートである。 (a)中心点情報に縦中心座標が含まれる場合における誤差量Ez1の推定処理の一例を示すフローチャートである。(b)中心点情報に横中心座標が含まれる場合における誤差量Ez2の推定処理の一例を示すフローチャートである。(c)中心点情報に横中心座標が含まれる場合における誤差量Ez2の推定処理の他の例を示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。
図1は、一実施形態に係る自車位置推定装置を示すブロック図である。図1に示す自車位置推定装置100は、乗用車などの自車両(自車両)に搭載され、自車両の地図上の位置である自車位置の推定を行う装置である。
[自車位置推定装置の構成]
図1に示すように、自車位置推定装置100は、システムを統括的に管理するECUlang=EN-US>[Electronic Control Unit]10を備えている。ECU10は、CPU[Central Processing Unit]、ROMlang=EN-US>[Read Only Memory]、RAM[Random Access Memory]などを有する電子制御ユニットである。ECU10では、例えば、ROMに記憶されているプログラムをRAMにロードし、RAMにロードされたプログラムをCPUで実行することにより各種の機能を実現する。ECU10は、複数の電子ユニットから構成されていてもよい。
ECU10は、GPS受信部1、カメラ2、レーダセンサ3、内部センサ4、地図データベース5、及び物標データベース6と接続されている。
GPS受信部1は、3個以上のGPS衛星から信号を受信することにより、自車両の地図上の位置(例えば自車両の緯度及び経度)を測定する測定部である。GPS受信部1は、測定した自車両の位置情報(測定結果)をECU10へ送信する。
カメラ2は、自車両の外部状況を撮像する撮像機器である。カメラ2は、自車両のフロントガラスの裏側に設けられ、自車両の前方を撮像する。カメラ2は、撮像した車両前方の撮像画像をECU10へ送信する。カメラ2は、単眼カメラであってもよく、ステレオカメラであってもよい。カメラ2は、自車両の側方を撮像するように設けられていてもよい。撮像画像は、縦方向が車両の垂直方向(上下方向)に対応し、横方向が車両の車幅方向(左右方向)に対応する画像となる。撮像画像の縦方向は、垂直方向と対応関係にあればよく一致する必要はない。撮像画像の横方向も車幅方向と対応関係にあればよく一致する必要はない。
レーダセンサ3は、電波(例えばミリ波)又は光を利用して自車両の周辺の物体を検出する検出機器である。レーダセンサ3には、例えば、ミリ波レーダ又はライダー[LIDAR:Light Detection And Ranging]が含まれる。レーダセンサ3は、電波又は光を自車両の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサ3は、物体の検出情報をECU10へ送信する。レーダセンサ3には、ミリ波レーダ及びライダーの両方を含む複数のセンサから構成されていてもよい。なお、本実施形態において、ECU10は、必ずしもレーダセンサ3と接続されている必要はない。
内部センサ4は、自車両の走行状態を検出する検出機器である。内部センサ4は、車速センサ、加速度センサ、及びヨーレートセンサを含む。車速センサは、自車両の速度を検出する検出器である。車速センサとしては、例えば、自車両の車輪又は車輪と一体に回転するドライブシャフトなどに対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車速情報(車輪速情報)をECU10に送信する。
加速度センサは、自車両の加速度を検出する検出器である。加速度センサは、例えば、自車両の前後方向の加速度を検出する前後加速度センサと、自車両の横加速度を検出する横加速度センサとを含んでいる。加速度センサは、例えば、自車両の加速度情報をECU10に送信する。ヨーレートセンサは、自車両の重心の鉛直軸周りのヨーレート(回転角速度)を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した自車両のヨーレート情報をECU10へ送信する。内部センサ4は、オドメトリなどによって車両の地図上の位置の測定に利用される場合には、車載の位置測定部に相当する。
地図データベース5は、地図情報を記憶するデータベースである。地図データベース5は、例えば、自車両に搭載されたHDD[Hard Disk Drive]内に形成されている。地図情報には、道路の位置情報(車線の位置情報)、道路形状の情報(例えばカーブ、道路直線区間の種別、曲率など)、交差点及び分岐点の位置情報などが含まれる。なお、地図データベース5は、自車両と通信可能なサーバに形成されていてもよい。
物標データベース6は、物標に関する物標情報を記憶するデータベースである。物標とは、地図上の位置情報が既知であり、自車位置推定の基準として利用される物体である。物標情報には、物標の地図上の位置情報と物標の外形情報が含まれる。物標の地図上の位置情報には、平面視した場合における物標の地図上の座標位置の情報と、物標の高さ情報とが含まれる。物標の外形情報とは、カメラ2の撮像画像又はレーダセンサ3の検出情報から物標を認識(特定)するために用いられる物標の外形に関する情報である。物標の外形情報には、物標の大きさが含まれていてもよい。
物標には、物標の一種として面状物標が少なくとも含まれる。面状物標は、道路に対して設けられ、道路を走行する自車両からカメラ2によって撮像される面を有する物標である。面状物標は、道路に対して設けられた道路標識、看板、信号機などが含まれる。面状物標は、道路に沿って走行している自車両に対して表示面などが正対するように設けられている物標としてもよい。面状物標の地図上の高さ情報には道路標識などの表示面の中心の高さの情報が含まれる。物標には、面状物標以外に、道路の区画線などが含まれていてもよい。
物標データベース6は、地図データベース5と一体のデータベースであってもよい。物標データベース6は、自車両と通信可能なサーバに形成されていてもよい。
次に、ECU10の機能的構成について説明する。ECU10は、測定位置取得部11、走行道路情報取得部12、物標判定部13、中心点情報取得部14、縦方向距離演算部15、誤差量推定部16、及び自車位置推定部17を有している。以下に説明するECU10の機能の一部は、自車両と通信可能なサーバで実行されてもよい。
測定位置取得部11は、GPS受信部1の測定した自車両の位置情報(測定結果)に基づいて、自車両の地図上の位置である測定位置を取得する。測定位置取得部11は、例えば緯度経度の情報として測定位置を取得する。また、測定位置取得部11は、前回の測定位置と内部センサ4の検出結果(車速情報、ヨーレート情報など)とに基づいて、オドメトリにより自車両の測定位置を取得してもよい。
走行道路情報取得部12は、自車両の走行する走行道路に関する走行道路情報を取得する。走行道路情報には、走行道路の曲率半径情報(又は曲率情報)と走行道路の勾配情報とが含まれる。
走行道路情報取得部12は、例えば、測定位置取得部11の取得した自車両の地図上の測定位置と地図データベース5の地図情報とに基づいて、走行道路情報を取得する。なお、走行道路情報取得部12は、カメラ2の撮像画像又はレーダセンサ3の検出情報に基づいて、走行道路の区画線の曲率半径から走行道路の曲率半径情報を取得してもよい。走行道路情報取得部12は、内部センサ4の検出結果に基づいて、車両のピッチの変化から走行道路の勾配情報を取得してもよい。
物標判定部13は、カメラ2の撮像画像と物標データベース6の物標情報とに基づいて、面状物標が撮像画像に含まれるか否かを判定する。物標判定部13は、カメラ2から撮像画像を取得した場合、撮像画像に対してエッジ検出、ハフ変換などの画像処理を行う。物標判定部13は、例えば、物標情報(外形情報)を利用してパターンマッチングなどの物標認識処理を行うことで、面状物標が撮像画像に含まれるか否かを判定する。
物標判定部13は、測定位置取得部11の測定した自車両の測定位置を用いて、物標データベース6の物標情報に含まれる物標の中から自車両の前方に位置する面状物標の候補を絞り込んだ上で、パターンマッチングなどの物標認識処理を実行してもよい。物標判定部13は、カメラ2の撮像した撮像画像又はレーダセンサ3の検出情報に基づいて周知の物標認識処理を行い、面状物標を認識した場合に面状物標が撮像画像に含まれるか否かの判定を行ってもよい。
中心点情報取得部14は、物標判定部13により面状物標が撮像画像に含まれると判定された場合に、カメラ2の撮像画像と物標情報とに基づいて、撮像画像における面状物標の縦中心座標及び横中心座標のうち少なくとも一方を含む面状物標の中心点情報を取得する。
面状物標の縦中心座標とは、撮像画像の縦方向における面状物標の中心座標である。面状物標の横中心座標とは、撮像画像の横方向における面状物標の中心座標である。中心点情報取得部14は、例えば、カメラ2の撮像画像に対してエッジ検出を行い、面状物標の外形情報に応じたハフ変換により面状物標の輪郭線の抽出を行う。中心点情報取得部14は、撮像画像における面状物標の輪郭線を用いた画像処理によって中心点情報を取得する。中心点情報取得部14は、撮像画像における面状物標の縦中心座標及び横中心座標のうち少なくとも一方を含む面状物標の中心点情報を取得する。
〈中心点情報に縦中心座標が含まれる場合〉
以下、中心点情報に縦中心座標が含まれる場合について説明を行う。図2(a)は、撮像画像のエッジ検出処理を説明するための図である。図2(a)に、面状物標B1、面状物標B1を認識するための撮像画像の探索領域Gaを示す。
図2(a)に示す面状物標B1は、水平方向に沿って延びる上辺及び下辺を有する長方形状(矩形状)の外形を有する道路案内標識である。面状物標B1は、例えば、道路脇に設けられた支持柱から道路上に突き出されたアームに対して取付けられ、道路の上方に設けられた道路案内標識である。探索領域Gaは、撮像画像のうち面状物標B1を探索するために切り出された領域である。探索領域Gaは、例えば物標判定部13における面状物標B1の認識結果を用いて設定することができる。その他、探索領域Gaの求め方は、画像認識における周知の手法を採用することができる。
また、図2(a)において、カメラ2の撮像画像の縦方向をv軸、横方向をu軸として示す。撮像画像の縦方向vは、車両の垂直方向に対応する。撮像画像の横方向uは、車両の車幅方向に対応する。
図2(a)に示すように、中心点情報取得部14は、カメラ2の撮像画像の探索領域Gaに対してエッジ検出を行うことで、撮像画像のピクセル間の輝度差などから、撮像画像に含まれるエッジを検出する。なお、中心点情報取得部14は、物標判定部13において既にエッジ検出処理を行っている場合には、重複するエッジ検出処理を行わなくてもよい。
図2(b)は、撮像画像のハフ変換によるペアの直線輪郭線の抽出を説明するための図である。図2(b)に、長方形状の面状物標B1の上辺を含む直線輪郭線Laと長方形状の面状物標B1の下辺を含む直線輪郭線Lbとを示す。
図2(b)に示すように、中心点情報取得部14は、面状物標B1の外形が長方形状であることから、エッジ検出後の撮像画像の探索領域Gaに対して、横方向uに限定したハフ変換を行う。これにより、中心点情報取得部14は、長方形状の面状物標B1の上辺及び下辺にそれぞれ対応するペアの直線輪郭線La、Lbを抽出する。
図2(c)は、撮像画像における縦中心座標の算出を説明するための図である。図2(c)に、面状物標B1の縦中心座標に対応する縦中心直線cv1を示す。縦中心直線cv1は、撮像画像の横軸方向に延在し、面状物標B1の中心座標を通過する直線である。縦中心直線cv1は、撮像画像上で二本の直線輪郭線La、Lbから等距離となる直線である。すなわち、中心点情報取得部14は、一例として、撮像画像上で二本の直線輪郭線La、Lbから等距離となる縦座標を面状物標B1の縦中心座標として算出する。このようにして、中心点情報取得部14は、縦中心座標を含む面状物標B1の中心点情報を取得することができる。
なお、中心点情報取得部14は、必ずしも二本の直線輪郭線La、Lbから等距離の縦座標を縦中心座標とする必要はなく、面状物標B1の外形情報に基づいて直線輪郭線La、Lbの間の適切な縦座標を縦中心座標として算出してもよい。
縦方向距離演算部15は、中心点情報取得部14により縦中心座標を含む中心点情報が取得された場合、自車両の地図上の測定位置、面状物標の地図上の位置情報に含まれる高さ情報、撮像画像における面状物標の縦中心座標、走行道路情報に含まれる勾配情報、及びカメラ2の焦点距離に基づいて、自車両と面状物標との縦方向距離を演算する。
具体的に、縦方向距離演算部15は、下記の式(1)を用いて縦方向距離を演算することができる。下記の式(1)において、zc1はカメラ2と面状物標との縦方向距離(縦中心座標から演算された縦方向距離)、fはカメラ2の焦点距離、yc1はカメラ2に対する面状物標の高さ、Δvは撮像画像における面状物標の縦中心座標と撮像画像のカメラ光軸縦座標との距離である。カメラ2の焦点距離fは予め決められた値である。
Figure 2020008462
ここで、図3(a)は、撮像画像中における面状物標の中心点とカメラ光軸縦座標との距離Δvを説明するための図である。図3(a)に、撮像画像G(撮像画像の全体)、撮像画像Gのカメラ光軸縦座標Fv、面状物標B1の中心点c1、及び面状物標B1の中心点c1とカメラ光軸縦座標Fvとの距離Δvを示す。カメラ光軸縦座標Fvは、カメラ2の光軸の撮像画像Gにおける縦座標に対応している。撮像画像Gにおけるカメラ光軸縦座標Fvは、既知であり、カメラ2の設定などから決まる。
縦方向距離演算部15は、面状物標B1の中心点情報に含まれる縦中心座標(縦中心直線cv1に対応)と撮像画像Gにおいて既知のカメラ光軸縦座標Fvとから、撮像画像Gの縦方向vにおける面状物標B1の中心点c1とカメラ光軸縦座標Fvとの距離Δvを演算する。
また、縦方向距離演算部15は、予め記憶された既知の値であるカメラ2の高さと面状物標B1の地図上の位置情報に含まれる面状物標B1の高さ情報と走行道路情報に含まれる勾配情報とから、カメラ2に対する面状物標B1の高さyc1を演算する。カメラ2に対する面状物標B1の高さyc1とは、カメラ2を基準とした場合における面状物標B1の高さ(鉛直方向における差)である。
カメラ2に対する面状物標B1の高さyc1は、面状物標B1の地図上の位置情報に含まれる面状物標B1の高さ情報が路面からの高さの情報である場合、自車両の位置の路面の高さと面状物標B1の位置の路面の高さとの差分を考慮する必要がある。縦方向距離演算部15は、走行道路情報に含まれる勾配情報を用いることで、路面の高さの差を考慮してカメラ2に対する面状物標B1の高さyc1を演算する。なお、縦方向距離演算部15は、面状物標B1の地図上の位置情報に含まれる面状物標B1の高さ情報が路面を基準とした高さではなく、標高又は海抜などの高さである場合には、勾配情報を用いる必要はない。
図3(b)は、自車両Mと面状物標B1の中心点との位置関係を説明するための平面図である。図3(b)は平面図であるが、理解を容易にするため面状物標B1を正面から見た図で表わしている。図3(b)において、自車両をM、自車両Mの前後方向をz軸、自車両の車幅方向をx軸として示す。図3(b)におけるz軸とx軸の原点はカメラ2(例えばカメラ2のレンズ表面)である。また、自車両Mと面状物標B1の中心点c1との縦方向距離zc1、自車両Mと面状物標B1の中心点c1との横方向距離xc1を示す。横方向距離xc1はここでは演算に用いない。
縦方向距離演算部15は、上記の式(1)に対して、面状物標B1の中心点c1とカメラ光軸縦座標Fvとの距離Δvと、カメラ2に対する面状物標B1の高さyc1と、既知のカメラ2の焦点距離fを入れることで、自車両Mと面状物標B1の中心点c1との縦方向距離zc1を求めることができる。なお、演算式は上記の式(1)に限定されず、任意の係数を乗じてもよく、任意の値を加算又は減算してもよい。
その他、縦方向距離演算部15は、走行道路の勾配情報に基づいて、自車両Mから面状物標B1までの勾配変化量を求め、勾配変化量を考慮したカメラ2に対する面状物標B1の高さyc1を求めてもよい。
誤差量推定部16は、縦方向距離演算部15により縦方向距離zc1が演算された場合、走行道路情報に基づいて、縦方向距離zc1の誤差量Ez1の推定を行う。縦方向距離zc1の誤差量Ez1には、自車両Mの走行道路の勾配変化による誤差量を含めることができる。
自車両Mの走行道路の勾配変化による誤差量とは、自車両Mから面状物標B1までの勾配変化によって生じる誤差量である。ここで、図4は、勾配変化量による誤差量Eyの例を示す図である。図4に示すように、自車両Mから面状物標B1までの勾配が変化する場合、勾配変化量による誤差量Eyが発生する。ここでは、誤差量Eyを概念的に示している。
誤差量推定部16は、走行道路情報の勾配情報に基づいて自車両Mの走行道路の勾配変化による誤差量Eyを考慮することで縦方向距離zc1の誤差量Ez1を推定する。誤差量推定部16は、例えば、誤差量推定部16は、自車両Mから面状物標B1までの勾配変化量が勾配変化量閾値以上である場合、勾配変化量が勾配変化量閾値未満である場合と比べて、誤差量Ez1を大きい値として推定する。勾配変化量閾値は予め設定された値である。勾配変化量は、例えば、自車両Mの位置における勾配と面状物標B1の位置における勾配の差とすることができる。また、勾配変化量として、自車両Mの位置における高さと面状物標B1の位置における高さの差を取ってもよい。
或いは、自車両Mから面状物標B1までの勾配変化量が大きいほど誤差量Ez1を大きい値として推定してもよい。誤差量推定部16は、勾配変化量と誤差量Ez1とを予め関係付けたテーブルデータを用いて、勾配変化量から誤差量Ez1を推定してもよい。
なお、誤差量推定部16は、縦方向距離zc1の誤差量Ez1に、撮像画像上における面状物標B1の縦中心座標の誤差及びカメラ光軸縦座標Fvの誤差を含むことができる。撮像画像上における面状物標B1の縦中心座標の誤差は画像処理(撮像画像上の面状物標B1の認識処理)に伴う誤差である。また、カメラ光軸縦座標Fvの誤差は真の光軸に対する設定上又は演算処理上の誤差である。撮像画像上における面状物標B1の縦中心座標の誤差及びカメラ光軸縦座標Fvの誤差は、一定量と見積もることができる。
誤差量推定部16は、下記の式(3)を用いて、縦中心座標から演算された縦方向距離zc1の誤差量Ez1を推定してもよい。式(3)は下記の式(2)から導くことができる。式(2)では上述した式(1)を利用してzc1を置き換えている。
Figure 2020008462
上記の式(3)において、カメラ2に対する面状物標B1の高さの真の値をytrue、撮像画像上における面状物標B1の中心点とカメラ光軸縦座標Fvとの距離の真の値をΔvtrue、縦方向距離の真の値をz1trueとする。縦方向距離の真の値ztrueは、厳密には得られないため、縦方向距離zc1で代用する。カメラ2に対する面状物標B1の高さの真の値y1trueは、縦方向距離演算部15により演算されたカメラ2に対する面状物標B1の高さyc1で代用する。撮像画像上における面状物標B1の中心点とカメラ光軸縦座標Fvとの距離の真の値Δvtrueは、縦方向距離演算部15により演算された距離Δvで代用する。
また、上記の式(3)において、自車両Mから面状物標B1までの勾配変化量による誤差量Eyを示すと共に、面状物標B1の縦中心座標の認識誤差をEvとして示す。勾配変化量による誤差量Eyは、勾配変化量から演算されてもよく、勾配変化量と誤差量Eyとを予め関係付けたテーブルデータを用いて求められてもよい。面状物標B1の縦中心座標の認識誤差Evは、予め決められた値とすることができる。誤差量推定部16は、これらの数値を上記の式(3)に入れることで、縦中心座標から演算された縦方向距離zc1の誤差量Ez1を推定してもよい。
〈中心点情報に横中心座標が含まれる場合〉
次に、中心点情報に横中心座標が含まれる場合について説明を行う。図5(a)は、撮像画像における横中心座標の算出を説明するための図である。図5(a)に、面状物標B2、カメラ2の撮像画像の探索領域Gb、長方形状の面状物標B2の左辺を含む直線輪郭線Lc、長方形状の面状物標B2の右辺を含む直線輪郭線Ld、及び面状物標B2の横中心座標に対応する縦中心直線cu2を示す。
図5(a)に示す面状物標B2は、水平方向に沿って延びる左辺及び右辺を有する長方形状(矩形状)の外形を有する道路標識である。面状物標B2は、例えば道路脇に設けられた支持棒に支えられている。探索領域Gbは、撮像画像のうち面状物標B2を探索するために切り出された領域である。
図5(b)に示すように、中心点情報取得部14は、縦中心座標の演算と同様にして横中心座標を求める。具体的に、中心点情報取得部14は、撮像画像の探索領域Gbに対してエッジ検出処理を行い、撮像画像の縦方向vに限定したハフ変換を行うことで、長方形状の面状物標B2の左辺及び右辺にそれぞれ対応するペアの直線輪郭線Lc、Ldを抽出する。縦中心直線cu2は、撮像画像上で二本の直線輪郭線Lc、Ldから等距離となる直線である。中心点情報取得部14は、一例として、撮像画像上で二本の直線輪郭線Lc、Ldから等距離となる横座標を面状物標B2の横中心座標として算出する。
なお、中心点情報取得部14は、必ずしも二本の直線輪郭線Lc、Ldから等距離の横座標を横中心座標とする必要はなく、面状物標B2の外形情報に基づいて直線輪郭線Lc、Ldの間の適切な横座標を横中心座標として算出してもよい。
続いて、面状物標B2の横中心座標に基づく縦方向距離の演算について説明する。縦方向距離演算部15は、中心点情報取得部14により横中心座標を含む中心点情報が取得された場合、自車両の地図上の測定位置、面状物標B2の地図上の位置情報、撮像画像における面状物標B2の横中心座標、走行道路情報に含まれる曲率半径情報、及びカメラ2の焦点距離に基づいて、自車両Mと面状物標B2との縦方向距離を演算する。
具体的に、縦方向距離演算部15は、下記の式(4)を用いて縦方向距離を演算することができる。下記の式(4)において、zc2はカメラ2と面状物標B2との縦方向距離、fはカメラ2の焦点距離、xc2は地図上における自車両Mと面状物標B2との横方向距離、Δuは撮像画像における面状物標B2の横中心座標と撮像画像のカメラ光軸横座標との距離である。カメラ2の焦点距離fは予め決められた値である。
Figure 2020008462
ここで、図5(b)は、撮像画像中における面状物標B2の中心点とカメラ光軸横座標との距離Δuを説明するための図である。図5(b)に、撮像画像G(撮像画像の全体)、撮像画像Gのカメラ光軸横座標Fu、面状物標B2の中心点c2、及び面状物標B2の中心点c2とカメラ光軸横座標Fuとの距離Δuを示す。カメラ光軸横座標Fuは、カメラ2の撮像画像Gにおける光軸の横座標に対応している。撮像画像Gにおけるカメラ光軸横座標Fuは、既知であり、カメラ2の設定などから決まる。
縦方向距離演算部15は、面状物標B2の中心点情報に含まれる横中心座標(縦中心直線cu2に対応)と撮像画像Gにおいて既知のカメラ光軸横座標Fuとから、撮像画像Gの横方向uにおける面状物標B2の中心点c2とカメラ光軸横座標Fuとの距離Δuを演算する。
また、縦方向距離演算部15は、自車両の地図上の測定位置と面状物標B2の地図上の位置情報とから、地図上における自車両Mと面状物標B2との横方向距離xc2を演算する。縦方向距離演算部15は、自車両の地図上の測定位置の時間変化から自車両Mの向きを認識することで横方向を認識する。縦方向距離演算部15は、ヨーレートセンサの検出したヨーレートから自車両Mの向きを認識してもよい。縦方向距離演算部15は、自車両Mの横方向における自車両Mと面状物標B2との距離として横方向距離xc2を演算する。
縦方向距離演算部15は、上記の式(4)に対して、面状物標B2の中心点c2とカメラ光軸横座標Fuとの距離Δuと、地図上における自車両Mと面状物標B2との横方向距離xc2と、既知のカメラ2の焦点距離fを入れることで、自車両Mと面状物標B2の中心点c2との縦方向距離zc2を求めることができる。なお、演算式は上記の式(4)に限定されず、任意の係数を乗じてもよく、任意の値を加算又は減算してもよい。
誤差量推定部16は、縦方向距離演算部15により縦方向距離zc2が演算された場合、走行道路情報に基づいて縦方向距離zc2の誤差量Ez2の推定を行う。縦方向距離zc2の誤差量Ez2には、自車両Mの走行道路の曲率半径による誤差量が含まれる。
自車両Mの走行道路の曲率半径による誤差量とは、自車両Mの走行する走行道路の曲率半径の影響によって生じる誤差量である。図6(a)は、走行道路の曲率半径による誤差量Exの例を示す図である。図6(a)に示すように、自車両Mが走行道路の曲率半径が一定値以下のカーブを走行している場合、曲率半径に応じて自車両Mの車幅方向に面状物標B2の位置の誤差量Exが発生する。
誤差量推定部16は、走行道路情報の曲率半径情報に基づいて走行道路の曲率半径による誤差量Exを考慮することで縦方向距離zc2の誤差量Ez2を推定する。誤差量推定部16は、例えば、走行道路の曲率半径が曲率半径閾値以上である場合、走行道路の曲率半径が曲率半径閾値未満である場合と比べて誤差量Ez2を大きい値として推定する。曲率半径閾値は予め設定された値である。
或いは誤差量推定部16は、走行道路の曲率半径が小さいほど誤差量Ez2を大きい値として推定してもよい。誤差量推定部16は、走行道路の曲率半径と誤差量Ez2とを予め関係付けたテーブルデータを用いて、走行道路の曲率半径から誤差量Ez2を推定してもよい。
なお、誤差量推定部16は、縦方向距離zc2の誤差量に、撮像画像上における面状物標B2の横中心座標の誤差及びカメラ光軸横座標Fuの誤差を含めることができる。撮像画像上における面状物標B2の横中心座標の誤差及びカメラ光軸横座標Fuの誤差は、画像処理などに起因する誤差であり一定量と見積もることができる。
誤差量推定部16は、下記の式(6)を用いて、横中心座標から演算された縦方向距離zc2の誤差量Ez2を推定してもよい。式(6)は下記の式(5)から導くことができる。式(5)では上述した式(4)を利用して縦方向距離zc2を置き換えている。
Figure 2020008462
上記の式(6)において、自車両Mに対する面状物標B2の横方向距離の真の値をx2true、撮像画像上における面状物標B2の中心点とカメラ光軸横座標Fuとの距離の真の値をΔutrue、縦方向距離の真の値をz2trueとする。縦方向距離の真の値z2trueは、厳密には得られないため、縦方向距離zc2で代用する。自車両Mに対する面状物標B2の横方向距離の真の値x2trueは、縦方向距離演算部15により演算された自車両Mに対する面状物標B2の横方向距離xc2で代用する。撮像画像上における面状物標B2の中心点とカメラ光軸横座標Fuとの距離の真の値Δutrueは、縦方向距離演算部15により演算された距離Δuで代用する。
また、上記の式(6)において、自車両Mの走行道路の曲率半径による誤差量Exを示すと共に、面状物標B2の横中心座標の認識誤差をEuとして示す。走行道路の曲率半径による誤差量Exは、曲率半径から演算されてもよく、曲率半径と誤差量Exとを予め関係付けたテーブルデータを用いて求められてもよい。
ここで、図6(b)は、走行車線の曲率半径と走行道路の曲率半径による誤差量Exの関係を説明するための図である。図6(b)においては、走行道路が直進路の場合における面状物標B2の中心点c2の位置をx軸の起点(原点)として表わしている。図6(b)に、曲率半径r、曲率半径rの円弧中心から見た中心点c2の角度α、誤差量Exを示す。図6(b)に示すように、走行道路の曲率半径による誤差量Exは、r(1−cosα)として求められてもよい。面状物標B2の横中心座標の認識誤差Euは、予め決められた値とすることができる。誤差量推定部16は、これらの数値を上記の式(6)に入れることで、横中心座標から演算された縦方向距離zc2の誤差量Ez2を推定してもよい。
その他、誤差量推定部16は、自車両Mに対する面状物標B2の横方向距離xc2に基づいて、縦方向距離zc2の誤差量Ez2を推定してもよい。縦方向距離zc2の誤差量Ez2は、自車両Mに対する面状物標B2の横方向距離xc2に応じて小さくなることが見出された。このため、誤差量推定部16は、自車両Mの地図上の測定位置及び面状物標B2の地図上の位置情報から演算された自車両Mに対する面状物標B2の横方向距離xc2が横方向閾値以上である場合には、横方向距離xc2が横方向閾値未満である場合と比べて、誤差量Ez2を小さい値として推定してもよい。横方向閾値は予め設定された値である。横方向閾値は一例として5mとすることができる。
〈中心点情報に縦中心座標及び横中心座標の両方が含まれる場合〉
中心点情報取得部14は、撮像画像における面状物標の縦中心座標及び横中心座標の両方を含む中心点情報を取得してもよい。中心点情報取得部14は、例えば、図3(a)に示す長方形状の面状物標B1において、ハフ変換により、上辺を含む直線輪郭線La及び下辺を含む直線輪郭線Lbに加えて左辺を含む直線輪郭線Lcと右辺を含む直線輪郭線Ldを抽出することで、面状物標B1の縦中心座標及び横中心座標の両方を算出してもよい。
その他、中心点情報取得部14は、撮像画像に含まれる面状物標の外形が菱形である場合には、撮像画像に対して45°及び135°の直線輪郭線を抽出できるようにハフ変換を行うことで、縦中心座標及び横中心座標を演算してもよい。中心点情報取得部14は、撮像画像に含まれる面状物標の外形が円形である場合には、円形の面状物標の輪郭線を画像認識して、円状の輪郭線の中心座標として縦中心座標及び横中心座標を演算してもよい。中心点情報取得部14は、周知の画像処理によって各種形状の面状物標の縦中心座標及び横中心座標の少なくとも一方を含む中心点情報を取得することができる。
縦方向距離演算部15は、中心点情報に縦中心座標及び横中心座標の両方が含まれる場合、縦中心座標から求められる縦方向距離zc1と、横中心座標から求められる縦方向距離zc2とをそれぞれ演算してもよい。縦方向距離演算部15は、面状物標の外形情報に基づいて、縦方向距離zc1及び縦方向距離zc2のうち精度が高いと考えられる一方のみを演算する態様であってもよい。
誤差量推定部16は、縦方向距離zc1及び縦方向距離zc2の両方が演算された場合、縦方向距離zc1の誤差量Ez1と縦方向距離zc2の誤差量Ez2とをそれぞれ推定する。誤差量推定部16は、縦方向距離zc1の誤差量Ez1及び縦方向距離zc2の誤差量Ez2を比較して、縦方向距離zc1及び縦方向距離zc2のうち誤差量の少ない方を判定してもよい。
〈自車位置推定〉
自車位置推定部17は、縦方向距離演算部15によって縦方向距離zc1及び縦方向距離zc2のうち縦方向距離zc1のみが演算され、誤差量推定部16により誤差量Ez1が推定された場合、誤差量Ez1が誤差閾値未満であるか否かを判定する。誤差閾値は予め設定された値である。
自車位置推定部17は、誤差量Ez1が誤差閾値未満である場合、縦方向距離zc1を用いて自車両Mの地図上の位置である自車位置の推定を行う。自車位置推定部17は、縦方向距離zc1、自車両Mの地図上の測定位置(又は前回に推定された自車位置)、及び面状物標の地図上の位置に基づいて、自車位置を推定する。自車位置推定部17は、誤差量Ez1が誤差閾値以上である場合には、縦方向距離zc1を自車位置の推定に用いない。
自車位置推定部17は、縦方向距離演算部15によって縦方向距離zc1及び縦方向距離zc2のうち縦方向距離zc2のみが演算され、誤差量推定部16により誤差量Ez2が推定された場合、誤差量Ez2が誤差閾値未満であるか否かを判定する。
自車位置推定部17は、誤差量Ez2が誤差閾値未満である場合、縦方向距離zc2を用いて自車両Mの地図上の位置である自車位置の推定を行う。自車位置推定部17は、縦方向距離zc2、自車両Mの地図上の測定位置(又は前回に推定された自車位置)、及び面状物標の地図上の位置に基づいて、自車位置を推定する。自車位置推定部17は、誤差量Ez2が誤差閾値以上である場合には、縦方向距離zc2を自車位置の推定に用いない。
自車位置推定部17は、縦方向距離演算部15によって縦方向距離zc1及び縦方向距離zc2の両方が演算され、誤差量推定部16により誤差量Ez1及び誤差量Ez2が推定された場合、誤差量Ez1及び誤差量Ez2が誤差閾値未満であるか否かをそれぞれ判定する。自車位置推定部17は、誤差量Ez1及び誤差量Ez2の両方が誤差閾値以上である場合には、縦方向距離zc1及び縦方向距離zc2の何れも自車位置の推定に用いない。
自車位置推定部17は、誤差量Ez1及び誤差量Ez2のうち一方のみが誤差閾値未満である場合、誤差閾値未満の誤差量の縦方向距離を用いて自車位置を推定する。自車位置推定部17は、誤差量Ez1及び誤差量Ez2の両方が誤差閾値未満である場合、誤差量Ez1及び誤差量Ez2の比較を行う。自車位置推定部17は、縦方向距離zc1の誤差量Ez1及び縦方向距離zc2の誤差量Ez2のうち誤差量が少ない方の縦方向距離を用いて自車位置を推定する。
なお、自車位置推定部17は、走行道路の区画線などの物標を用いて推定された自車位置に対して縦方向距離を用いた自車位置の補正を行う態様であってもよい。図7(a)は、自車両Mと面状物標との縦方向距離zc(縦方向距離zc1及び縦方向距離zc2のうち誤差量が少ない方)を用いた自車位置の補正の例を説明するための平面図である。図7(a)に、自車両Mの縦位置補正量Tを示す。縦位置補正量Tは、補正前の自車位置と補正後の自車位置との縦方向(自車両Mの前後方向)における距離に等しい。
図7(a)に示すように、自車位置推定部17は、補正前の自車位置が縦方向で誤っていても、面状物標B2との縦方向距離を用いることで、自車位置を補正することができる。図7(b)は、任意の地図座標系における自車位置の補正の例を説明するための平面図である。図7(b)にzwを縦軸、xwを横軸とする地図座標系を示す。横軸xwと自車両Mの縦方向zとのなす角度をθとする。また、地図座標系における補正前の自車位置を(xbefore、zbefore)、補正後の自車位置を(xafter、zafter)として示す。
この場合、縦位置補正量Tを用いて下記の式(7)、(8)から補正後の自車位置を求めることができる。
Figure 2020008462
[自車位置推定装置の処理]
次に、本実施形態の自車位置推定装置100による処理について説明する。図8は、自車位置推定処理の一例を示すフローチャートである。図8のフローチャートの処理は、自車両Mの走行中に実行される。
図8に示すように、自車位置推定装置100のECU10は、S10として、物標判定部13により面状物標がカメラ2の撮像画像に含まれるか否かを判定する。物標判定部13は、カメラ2の撮像画像と物標データベース6の物標情報とに基づいて、面状物標が撮像画像に含まれるか否かを判定する。ECU10は、面状物標がカメラ2の撮像画像に含まれると判定されなかった場合(S10:NO)、今回の処理を終了する。その後、ECU10は、一定時間経過後に再びS10から処理を繰り返す。ECU10は、面状物標がカメラ2の撮像画像に含まれると判定された場合(S10:YES)、S12に移行する。
S12において、ECU10は、中心点情報取得部14により面状物標の中心点情報を取得する。中心点情報取得部14は、カメラ2の撮像画像と物標データベース6の物標情報とに基づいて、撮像画像における面状物標の縦中心座標及び横中心座標のうち少なくとも一方を含む面状物標の中心点情報を取得する。その後、ECU10はS14に移行する。
S14において、ECU10は、縦方向距離演算部15により自車両Mと面状物標との縦方向距離を演算する。縦方向距離演算部15は、自車両の地図上の測定位置、面状物標の地図上の位置情報、撮像画像における面状物標の中心点情報、走行道路情報、及びカメラ2の焦点距離に基づいて、自車両Mと面状物標との縦方向距離を演算する。その後、ECU10はS16に移行する。
S16において、ECU10は、誤差量推定部16により縦方向距離の誤差量を推定する。誤差量推定部16は、走行道路情報取得部12の取得した走行道路情報に基づいて縦方向距離の誤差量を推定する。その後、ECU10はS18に移行する。
S18において、ECU10は、自車位置推定部17により誤差量が誤差閾値未満であるか否かを判定する。ECU10は、誤差量が誤差閾値未満であると判定されなかった場合(S18:NO)、今回の処理を終了する。その後、ECU10は、一定時間経過後に再びS10から処理を繰り返す。ECU10は、誤差量が誤差閾値未満であると判定された場合(S18:YES)、S20に移行する。
S20において、ECU10は、自車位置推定部17により自車両Mと面状物標との縦方向距離を用いて自車位置の推定を行う。自車位置推定部17は、縦方向距離zc2、自車両Mの地図上の測定位置(又は前回に推定された自車位置)、及び面状物標の地図上の位置に基づいて、自車位置を推定する。
図9(a)は、中心点情報に縦中心座標が含まれる場合における誤差量Ez1の推定処理の一例を示すフローチャートである。図9(a)のフローチャートの処理は、中心点情報に縦中心座標が含まれる場合に図8のS16において実行される。
図9(a)に示すように、ECU10は、S30として、誤差量推定部16により自車両Mから面状物標までの勾配変化量が勾配変化量閾値未満であるか否かを判定する。勾配変化量は、自車両Mの走行道路情報から得ることができる。ECU10は、自車両Mから面状物標までの勾配変化量が勾配変化量閾値未満であると判定された場合(S30:YES)、S32に移行する。ECU10は、自車両Mから面状物標までの勾配変化量が勾配変化量閾値以上であると判定された場合(S30:NO)、S34に移行する。
S32において、誤差量推定部16は、勾配変化量による誤差量の加算無しに誤差量Ez1を推定する。例えば、誤差量Ez1は、画像認識の誤差などを含む予め設定された値として推定される。
S34において、誤差量推定部16は、勾配変化量による誤差量の加算有りとして誤差量Ez1を推定する。すなわち、誤差量推定部16は、S32の場合と比べて、大きい値となるように誤差量Ez1を推定する。
図9(b)は、中心点情報に横中心座標が含まれる場合における誤差量Ez2の推定処理の一例を示すフローチャートである。図9(b)のフローチャートの処理は、例えば、中心点情報に横中心座標が含まれる場合に図8のS16において実行される。
図9(b)に示すように、ECU10は、S40として、誤差量推定部16により走行道路の曲率半径が曲率半径閾値以上であるか否かを判定する。ECU10は、走行道路の曲率半径が曲率半径閾値以上であると判定された場合(S40:YES)、S42に移行する。ECU10は、走行道路の曲率半径が曲率半径閾値未満であると判定された場合(S40:NO)、S44に移行する。
S42において、誤差量推定部16は、走行道路の曲率半径による誤差量Exの加算無しに誤差量Ez2を推定する。例えば、誤差量Ez2は、画像認識の誤差などを含む予め設定された値として推定される。
S44において、誤差量推定部16は、走行道路の曲率半径による誤差量Exの加算有りとして誤差量Ez2を推定する。すなわち、誤差量推定部16は、S42の場合と比べて、大きい値となるように誤差量Ez2を推定する。
図9(c)は、中心点情報に横中心座標が含まれる場合における誤差量Ez2の推定処理の他の例を示すフローチャートである。図9(c)のフローチャートの処理は、例えば、中心点情報に横中心座標が含まれる場合に図8のS16において実行される。なお、図9(b)の処理と図9(c)の処理を重ねて行ってもよい。
図9(c)に示すように、ECU10は、S50として、誤差量推定部16により自車両Mに対する面状物標B2の横方向距離xc2が横方向閾値未満であるか否かを判定する。ECU10は、自車両Mに対する面状物標B2の横方向距離xc2が横方向閾値未満であると判定された場合(S50:YES)、S52に移行する。ECU10は、自車両Mに対する面状物標B2の横方向距離xc2が横方向閾値以上であると判定された場合(S50:NO)、S54に移行する。
S52において、誤差量推定部16は、横方向距離xc2による誤差量の加算無しに誤差量Ez2を推定する。例えば、誤差量Ez2は、画像認識の誤差などを含む予め設定された値として推定される。
S54において、誤差量推定部16は、横方向距離xc2による誤差量の加算有りとして誤差量Ez2を推定する。すなわち、誤差量推定部16は、S52の場合と比べて、大きい値となるように誤差量Ez2を推定する。
[自車位置推定装置の作用効果]
以上説明した本実施形態に係る自車位置推定装置100では、道路標識などの面状物標が撮像画像に含まれる場合に、自車両Mの地図上の測定位置、面状物標の地図上の位置情報、撮像画像における面状物標の中心点情報、及び走行道路情報に基づいて自車両と面状物標との縦方向距離を演算する。自車位置推定装置100では、自車両Mの走行道路によって縦方向距離に含まれる誤差量が変化することから、走行道路情報から推定された縦方向距離の誤差量が誤差閾値未満の場合に、当該縦方向距離を用いて自車位置の推定を行う。従って、自車位置推定装置100によれば、面状物標の地図上の位置情報を利用して撮像画像に含まれる面状物標と自車両Mとの縦方向距離を推定するので、撮像画像のみから縦方向距離を推定する場合と比べて縦方向距離の推定精度の向上を図ることができ、自車位置を精度良く推定することができる。
自車位置推定装置100では、中心点情報に面状物標の横中心座標が含まれる場合に、自車両Mの地図上の測定位置と面状物標の地図上の位置情報から地図上における自車両Mと面状物標との横方向距離xc2を求め、地図上における自車両Mと面状物標との横方向距離と走行道路情報に含まれる曲率半径情報とを用いて自車両Mと面状物標との縦方向距離を演算することができる。また、自車位置推定装置100では、中心点情報に面状物標の縦中心座標が含まれる場合に、面状物標の地図上の高さ情報と撮像画像における面状物標の縦中心座標とからカメラ2と面状物標との高さを求め、カメラ2と面状物標との高さと走行道路情報に含まれる勾配情報とを用いて自車両Mと面状物標との縦方向距離を演算することができる。
自車位置推定装置100では、撮像画像における面状物標の横中心座標から自車両Mと面状物標との縦方向距離を演算する場合には、自車両Mの走行する走行道路の曲率半径が縦方向距離の誤差量に影響することが見出されたため、走行道路の曲率半径が曲率半径閾値以上であるときには曲率半径が曲率半径閾値未満であるときと比べて誤差量を小さい値とすることで、縦方向距離の誤差量の推定精度を向上させることができる。
自車位置推定装置100では、撮像画像における面状物標の横中心座標から自車両Mと面状物標との縦方向距離を演算する場合には、面状物標の横方向距離が縦方向距離の誤差量に影響することが見出されたため、横方向距離が横方向閾値以上であるときに横方向距離が横方向閾値未満であるときと比べて誤差量を小さい値とすることで、縦方向距離の誤差量の推定精度を向上させることができる。
自車位置推定装置100では、撮像画像における面状物標の縦中心座標から自車両Mと面状物標との縦方向距離を演算する場合には、自車両Mから面状物標までの勾配変化量が縦方向距離の誤差量に影響することが見出されたため、勾配変化量が勾配変化量閾値未満であるときに勾配変化量が勾配変化量閾値以上であるときと比べて誤差量を小さい値とすることで、縦方向距離の誤差量の推定精度を向上させることができる。
以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
縦方向距離演算部15は、必ずしも、面状物標の縦中心座標から求められる縦方向距離zc1と面状物標の横中心座標から求められる縦方向距離zc2の両方を演算可能である必要はなく、何れか一方のみ演算可能であってもよい。走行道路情報取得部12は、地図情報ではなく、車載のカメラ2及びレーダセンサ3から走行道路の曲率半径又は勾配変化量を取得してもよい。
その他、実施形態の説明中における「自車両の地図上の測定位置」は、自車両の走行開始後に一度でも自車位置推定が行われた場合には、「前回に推定された自車位置」に置き換えてもよい。
1…GPS受信部、2…カメラ、3…レーダセンサ、4…内部センサ、5…地図データベース、6…物標データベース、10…ECU、11…測定位置取得部、12…走行道路情報取得部、13…物標判定部、14…中心点情報取得部、15…縦方向距離演算部、16…誤差量推定部、17…自車位置推定部、100…自車位置推定装置。

Claims (5)

  1. 自車両のカメラによって撮像された前記自車両の前方の撮像画像に含まれる物標を用いて前記自車両の地図上の位置である自車位置を推定する自車位置推定装置であって、
    前記自車両に搭載された位置測定部の測定結果に基づいて、前記自車両の地図上の測定位置を取得する測定位置取得部と、
    前記物標の地図上の位置情報及び前記物標の外形情報を含む物標情報を記憶する物標データベースと、
    前記撮像画像と前記物標情報とに基づいて、前記物標の一種である面状物標が前記撮像画像に含まれるか否かを判定する物標判定部と、
    前記自車両の走行する走行道路に関する走行道路情報を取得する走行道路情報取得部と、
    前記物標判定部により前記面状物標が前記撮像画像に含まれると判定された場合に、前記カメラの撮像画像と前記物標情報とに基づいて、前記撮像画像における前記面状物標の縦中心座標及び横中心座標のうち少なくとも一方を含む前記面状物標の中心点情報を取得する中心点情報取得部と、
    前記自車両の地図上の測定位置、前記面状物標の地図上の位置情報、前記面状物標の前記中心点情報、及び前記走行道路情報に基づいて、前記自車両の前後方向における前記自車両と前記面状物標との距離である縦方向距離を演算する縦方向距離演算部と、
    前記走行道路情報に基づいて、前記縦方向距離の誤差量を推定する誤差量推定部と、
    前記誤差量が誤差閾値未満である場合に、前記面状物標の地図上の位置情報と前記縦方向距離とを用いて前記自車位置を推定する自車位置推定部と、
    を備える、自車位置推定装置。
  2. 前記縦方向距離演算部は、前記中心点情報に前記面状物標の前記横中心座標が含まれる場合に、前記自車両の地図上の測定位置、前記面状物標の地図上の位置情報、前記撮像画像における前記面状物標の前記横中心座標、及び前記走行道路情報に含まれる曲率半径情報に基づいて、前記自車両と前記面状物標との前記縦方向距離を演算する、請求項1に記載の自車位置推定装置。
  3. 前記誤差量推定部は、前記走行道路の曲率半径が曲率半径閾値以上である場合には、前記走行道路の曲率半径が前記曲率半径閾値未満である場合と比べて、前記誤差量を小さい値として推定する、請求項2に記載の自車位置推定装置。
  4. 前記誤差量推定部は、前記自車両の地図上の測定位置及び前記面状物標の地図上の位置情報から演算された前記自車両に対する前記面状物標の横方向距離が横方向閾値以上である場合には、前記横方向距離が横方向閾値未満である場合と比べて、前記誤差量を小さい値として推定する、請求項2又は3に記載の自車位置推定装置。
  5. 前記縦方向距離演算部は、前記中心点情報に前記面状物標の前記縦中心座標が含まれる場合に、前記面状物標の地図上の位置情報に含まれる前記面状物標の高さ情報、前記撮像画像における前記面状物標の前記縦中心座標、及び前記走行道路情報に含まれる勾配情報に基づいて、前記自車両と前記面状物標との前記縦方向距離を演算する、請求項1に記載の自車位置推定装置。
JP2018130915A 2018-07-10 2018-07-10 自車位置推定装置 Active JP7025293B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018130915A JP7025293B2 (ja) 2018-07-10 2018-07-10 自車位置推定装置
US16/443,023 US10916034B2 (en) 2018-07-10 2019-06-17 Host vehicle position estimation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018130915A JP7025293B2 (ja) 2018-07-10 2018-07-10 自車位置推定装置

Publications (2)

Publication Number Publication Date
JP2020008462A true JP2020008462A (ja) 2020-01-16
JP7025293B2 JP7025293B2 (ja) 2022-02-24

Family

ID=69138419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018130915A Active JP7025293B2 (ja) 2018-07-10 2018-07-10 自車位置推定装置

Country Status (2)

Country Link
US (1) US10916034B2 (ja)
JP (1) JP7025293B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435475A (zh) * 2020-11-23 2021-03-02 北京软通智慧城市科技有限公司 一种交通状态检测方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11538185B2 (en) * 2020-12-11 2022-12-27 Zoox, Inc. Localization based on semantic objects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011511281A (ja) * 2008-02-04 2011-04-07 テレ アトラス ノース アメリカ インコーポレイテッド センサにより検出されたオブジェクトとマップマッチングする方法
JP2016176769A (ja) * 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
JP2018021777A (ja) * 2016-08-02 2018-02-08 トヨタ自動車株式会社 自車位置推定装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4682181B2 (ja) * 2007-11-19 2011-05-11 シャープ株式会社 撮像装置および電子情報機器
JP4831434B2 (ja) 2007-12-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
JP5423696B2 (ja) 2011-02-09 2014-02-19 株式会社デンソー 標識認識装置
JP2018036067A (ja) * 2016-08-29 2018-03-08 株式会社Soken 自車位置認識装置
WO2018139212A1 (ja) * 2017-01-25 2018-08-02 パナソニックIpマネジメント株式会社 運転制御システムおよび運転制御方法
JP6985207B2 (ja) * 2018-05-09 2021-12-22 トヨタ自動車株式会社 自動運転システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011511281A (ja) * 2008-02-04 2011-04-07 テレ アトラス ノース アメリカ インコーポレイテッド センサにより検出されたオブジェクトとマップマッチングする方法
JP2016176769A (ja) * 2015-03-19 2016-10-06 クラリオン株式会社 情報処理装置、及び、車両位置検出方法
JP2018021777A (ja) * 2016-08-02 2018-02-08 トヨタ自動車株式会社 自車位置推定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435475A (zh) * 2020-11-23 2021-03-02 北京软通智慧城市科技有限公司 一种交通状态检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP7025293B2 (ja) 2022-02-24
US20200020126A1 (en) 2020-01-16
US10916034B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
JP5747787B2 (ja) 車線認識装置
CN109752741B (zh) 车辆定位设备
JP7020348B2 (ja) 自車位置推定装置
US11300415B2 (en) Host vehicle position estimation device
JP6776707B2 (ja) 自車位置推定装置
US20150363653A1 (en) Road environment recognition system
JP6806891B2 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
KR102441073B1 (ko) 자이로 센싱값 보상 장치, 그를 포함한 시스템 및 그 방법
JP7143722B2 (ja) 自車位置推定装置
WO2022147924A1 (zh) 车辆定位方法和装置、存储介质及电子设备
CN114088114B (zh) 车辆位姿校准方法、装置和电子设备
JP2007278813A (ja) 車両位置測位装置
JP2013036856A (ja) 運転支援装置
JP2020003463A (ja) 自車位置推定装置
JP7025293B2 (ja) 自車位置推定装置
US11908206B2 (en) Compensation for vertical road curvature in road geometry estimation
CN113795726B (zh) 自身位置修正方法及自身位置修正装置
JP2023099851A (ja) 測定装置、測定方法およびプログラム
US20200182630A1 (en) Map generation system
JP2020046411A (ja) データ構造、記憶装置、端末装置、サーバ装置、制御方法、プログラム及び記憶媒体
JP2019132762A (ja) 自車位置推定装置
JP5549468B2 (ja) 地物位置取得装置、方法およびプログラム
WO2018212290A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
RU2781373C1 (ru) Способ коррекции собственного местоположения и устройство коррекции собственного местоположения
JP2019027995A (ja) 情報処理装置、プログラム、及び車両位置の推定方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220210

R151 Written notification of patent or utility model registration

Ref document number: 7025293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151