JP6758160B2 - Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection - Google Patents
Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection Download PDFInfo
- Publication number
- JP6758160B2 JP6758160B2 JP2016219795A JP2016219795A JP6758160B2 JP 6758160 B2 JP6758160 B2 JP 6758160B2 JP 2016219795 A JP2016219795 A JP 2016219795A JP 2016219795 A JP2016219795 A JP 2016219795A JP 6758160 B2 JP6758160 B2 JP 6758160B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lane
- candidate
- line
- voting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Image Processing (AREA)
Description
本発明は、車両に搭載されたカメラにより撮影された画像と地図を利用してその車両の位置を検出する車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムに関する。 The present invention relates to a vehicle position detection device that detects the position of the vehicle by using an image and a map taken by a camera mounted on the vehicle, a vehicle position detection method, and a computer program for vehicle position detection.
従来より、ナビゲーションまたは運転支援のために、Global Positioning System(GPS)信号を利用して、走行中の自車両の位置を検出することが行われている。しかし、車両の近くに、高層建築物など、GPSの測位衛星からの測位信号を遮る構造物が存在する場合、車両において測位信号を受信することが困難となり、自車両の位置を正確に検出できないことがあった。そこで、車載カメラにより撮影された、車両周囲の画像と、事前に準備された地図などの情報とを対応付けることで、自車両の位置の検出精度を向上させる方法が提案されている（例えば、特許文献１〜３及び非特許文献１及び２を参照）。 Conventionally, the position of the own vehicle in motion is detected by using a Global Positioning System (GPS) signal for navigation or driving assistance. However, if there is a structure near the vehicle that blocks the positioning signal from the GPS positioning satellite, such as a high-rise building, it becomes difficult for the vehicle to receive the positioning signal, and the position of the own vehicle cannot be detected accurately. There was something. Therefore, a method has been proposed to improve the detection accuracy of the position of the own vehicle by associating an image of the surroundings of the vehicle taken by an in-vehicle camera with information such as a map prepared in advance (for example, a patent). See Documents 1 to 3 and Non-Patent Documents 1 and 2).
例えば、特許文献１に記載の位置測位装置は、車両の前方を撮影する撮影手段により撮影した画像の中にある道路標示に基づいて現在位置を特定する。 For example, the positioning device described in Patent Document 1 identifies a current position based on a road marking in an image taken by a photographing means for photographing the front of a vehicle.
また、特許文献２に記載された移動体位置測定装置は、地図上の参照地点付近で移動体に搭載された撮像部が撮影して得た画像から抽出した特徴情報と、地図の参照地点付近の画像から抽出した特徴情報とをマッチングして推定した参照地点付近の複数の特徴の位置に応じて移動体の現在位置を推定する。 Further, the moving body position measuring device described in Patent Document 2 has feature information extracted from an image taken by an imaging unit mounted on the moving body near a reference point on a map and the vicinity of a reference point on the map. The current position of the moving body is estimated according to the positions of a plurality of features near the reference point estimated by matching with the feature information extracted from the image of.
また、特許文献３に記載された方法は、車両の進行方向の画像データに対してテンプレートマッチングを適用することで、画像内で識別された光学指標に関して車両の位置を決定する。 Further, the method described in Patent Document 3 determines the position of the vehicle with respect to the optical index identified in the image by applying template matching to the image data in the traveling direction of the vehicle.
さらに、非特許文献１に記載された方法は、縁石及び道路標示を表す線分含む地図とステレオカメラにより得られた画像から抽出された特徴点とのマッチングにより、自車両の位置を検出する。 Further, the method described in Non-Patent Document 1 detects the position of the own vehicle by matching a map including a line segment representing a curb and a road marking with a feature point extracted from an image obtained by a stereo camera.
しかし、特許文献１に記載の装置は、撮影時の環境の影響などにより、道路標示の特徴点の検出が困難な場合、自車両の位置を正確に特定できないおそれがある。特に、特許文献１に記載の装置は、道路標示の端点などを特徴点として抽出し、その特徴点を用いて車両の現在位置を求めるので、道路標示の経年劣化などにより、道路標示の端点がわずかに掠れるだけでも抽出された特徴点の位置がずれてしまい、自車両の位置の検出精度の低下を招いてしまう。 However, the device described in Patent Document 1 may not be able to accurately identify the position of the own vehicle when it is difficult to detect the feature points of the road marking due to the influence of the environment at the time of shooting. In particular, the device described in Patent Document 1 extracts the end points of the road markings as feature points and obtains the current position of the vehicle using the feature points. Even a slight blur will shift the position of the extracted feature points, leading to a decrease in the detection accuracy of the position of the own vehicle.
また、特許文献２に記載の装置は、地図の参照地点付近で撮影された画像を自車両の位置の特定に利用するが、参照地点の付近の建物の建て替え、あるいは、撮影時の環境（例えば、天候、撮影時間帯など）によって、同じ場所について撮影された画像であっても、事前登録時に撮影された画像に写っている景色と、自車両位置の検出時に撮影された画像に写っている景色は大きく異なることがある。このような場合、画像間のマッチングに失敗する可能性が高くなり、そのため、自車両の位置を正確に特定できないおそれがある。 Further, the device described in Patent Document 2 uses an image taken near the reference point on the map to identify the position of the own vehicle, but rebuilds a building near the reference point or the environment at the time of shooting (for example,). , Weather, shooting time, etc.), even if the image was taken at the same place, it is reflected in the scenery taken in the image taken at the time of pre-registration and in the image taken when the position of the own vehicle was detected. The scenery can vary greatly. In such a case, there is a high possibility that matching between images will fail, and therefore the position of the own vehicle may not be accurately specified.
さらに、特許文献３に記載の方法は、テンプレートマッチングを利用している。テンプレートマッチングでは、比較対象となる画像とテンプレート間の位置を変えつつ、繰り返しマッチング演算する必要が有るため、自車両の位置の検出に要する演算量が多い。また、非特許文献１に記載の方法は、車両の位置を追跡する際の車両の初期位置として、GPSの測位信号に基づいて複数回測定された位置を平均したものを使用している。そのため、この方法は、車両が移動している場合には、初期位置を正しく設定できないので使用することができない。 Further, the method described in Patent Document 3 utilizes template matching. In template matching, it is necessary to repeatedly perform matching calculations while changing the position between the image to be compared and the template, so that the amount of calculation required to detect the position of the own vehicle is large. Further, the method described in Non-Patent Document 1 uses a method obtained by averaging the positions measured a plurality of times based on the GPS positioning signal as the initial position of the vehicle when tracking the position of the vehicle. Therefore, this method cannot be used when the vehicle is moving because the initial position cannot be set correctly.
そこで、本発明は、自車両の位置を正確に検出できる車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide a vehicle position detection device, a vehicle position detection method, and a computer program for vehicle position detection that can accurately detect the position of the own vehicle.
請求項１の記載によれば、本発明の一つの形態として、車両位置検出装置が提供される。この車両位置検出装置は、道路上に標示される線の位置を表す地図情報を記憶する記憶部（４１）と、所定の周期ごとに、車両（１０）の現時刻における位置の複数の候補のそれぞれについて、その位置の候補における、車両（１０）に搭載された撮像部（２）の撮影範囲に含まれる道路上に標示される少なくとも一つの線を地図情報から抽出し、抽出した少なくとも一つの線を、その位置の候補にしたがって撮像部（２）により得られた現時刻の画像に投影する投影部（２２）と、所定の周期ごとに、道路上の複数の車線のそれぞれについて、複数の候補のうちのその車線上の候補についての投影された少なくとも一つの線と画像との相関度に基づいて地図情報と画像との一致度を算出する一致度算出部（２３）と、所定の周期ごとに、複数の車線のうちの一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、車線ごとの投票値の総和を更新する投票部（２４）と、車線ごとの投票値の総和のうち、投票値の総和の最大値に対応する車線を車両（１０）が走行していると判定する走行車線判定部（２５）と、を有する。
本発明による車両位置検出装置は、上記の構成を有することにより、自車両の位置を正確に検出できる。
According to the description of claim 1, a vehicle position detecting device is provided as one embodiment of the present invention. This vehicle position detecting device includes a storage unit (41) that stores map information indicating the position of a line marked on the road, and a plurality of candidates for the position of the vehicle (10) at the current time at predetermined intervals. For each, at least one line marked on the road included in the imaging range of the imaging unit (2) mounted on the vehicle (10) in the position candidate is extracted from the map information, and at least one extracted. A plurality of projection units (22) that project a line onto an image of the current time obtained by the imaging unit (2) according to a candidate for the position, and a plurality of lanes on the road at predetermined intervals. A matching degree calculation unit (23) that calculates the matching degree between the map information and the image based on the correlation degree between the projected line and the image for the candidate on the lane among the candidates, and a predetermined period. For each lane, the voting department (24) updates the total voting value for each lane by adding a predetermined voting value to the total voting value for the lane that maximizes the degree of matching among multiple lanes. It has a traveling lane determination unit (25) for determining that the vehicle (10) is traveling in the lane corresponding to the maximum value of the total voting values among the total voting values for each lane.
The vehicle position detecting device according to the present invention can accurately detect the position of its own vehicle by having the above configuration.
また請求項２の記載によれば、走行車線判定部（２５）は、複数の車線のそれぞれについての投票値の総和のうちの最大値と、他の車線の投票値の総和とに有意差がある場合に、投票値の総和の最大値に対応する車線を車両（１０）が走行していると判定することが好ましい。
この構成を有することで、車両位置検出装置は、車両が走行している車線をより正確に検出できる。
Further, according to the description of claim 2, the traveling lane determination unit (25) has a significant difference between the maximum value of the total voting values for each of the plurality of lanes and the total voting values of the other lanes. In some cases, it is preferable to determine that the vehicle (10) is traveling in the lane corresponding to the maximum sum of the voting values.
By having this configuration, the vehicle position detecting device can more accurately detect the lane in which the vehicle is traveling.
また請求項３の記載によれば、車両位置検出装置は、所定の周期ごとに、車両（１０）に搭載され、車両（１０）の位置を測定する位置測定部により測定された車両（１０）の位置に基づいて車両（１０）の位置の複数の候補を設定する候補位置設定部（２１）をさらに有することが好ましい。
この構成を有することで、車両位置検出装置は、適切に車両位置の候補を設定できるので、車両が走行している車線の検出精度を向上できる。
Further, according to the description of claim 3, the vehicle position detecting device is mounted on the vehicle (10) at predetermined intervals, and the vehicle (10) is measured by the position measuring unit for measuring the position of the vehicle (10). It is preferable to further have a candidate position setting unit (21) for setting a plurality of candidates for the position of the vehicle (10) based on the position of.
With this configuration, the vehicle position detection device can appropriately set vehicle position candidates, so that the detection accuracy of the lane in which the vehicle is traveling can be improved.
さらに、請求項４の記載によれば、一致度算出部（２３）は、車両（１０）の位置の複数の候補のそれぞれについて、相関度と、道路上に標示される線の検出確率との関係に従って、投影された少なくとも一つの線のそれぞれについて検出確率を算出し、投影された少なくとも一つの線のそれぞれの検出確率の平均値を算出し、道路上の複数の車線のそれぞれについて、複数の候補のうちのその車線上の候補についての検出確率の平均値をさらに平均化することで一致度を算出することが好ましい。
この構成を有することで、車両位置検出装置は、投影された各線について画像上の対応する線と一致しているほど、一致度を高くすることができるので、車両が走行している車線の検出精度を向上できる。
Further, according to the description of claim 4, the agreement degree calculation unit (23) determines the degree of correlation and the detection probability of the line marked on the road for each of the plurality of candidates for the position of the vehicle (10). According to the relationship, the detection probabilities are calculated for each of the projected lines, the average value of the detection probabilities for each of the projected lines is calculated, and the detection probabilities are calculated for each of the plurality of lanes on the road. It is preferable to calculate the degree of agreement by further averaging the average value of the detection probabilities of the candidates on the lane among the candidates.
By having this configuration, the vehicle position detecting device can detect the lane in which the vehicle is traveling because the degree of matching can be increased as the projected line matches the corresponding line on the image. The accuracy can be improved.
請求項５の記載によれば、本発明の他の形態として、車両位置検出方法が提供される。この車両位置検出方法は、所定の周期ごとに、車両（１０）の現時刻における位置の複数の候補のそれぞれについて、その位置の候補における、車両（１０）に搭載された撮像部（２）の撮影範囲に含まれる道路上に標示される少なくとも一つの線を地図情報から抽出し、抽出した少なくとも一つの線を、その位置の候補にしたがって撮像部（２）により得られた現時刻の画像に投影するステップと、所定の周期ごとに、道路上の複数の車線のそれぞれについて、複数の候補のうちのその車線上の候補についての投影された少なくとも一つの線と画像との相関度に基づいて地図情報と画像との一致度を算出するステップと、所定の周期ごとに、複数の車線のうちの一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、車線ごとの投票値の総和を更新するステップと、車線ごとの投票値の総和のうち、投票値の総和の最大値に対応する車線を車両（１０）が走行していると判定するステップと、を含む。
本発明による車両位置検出方法は、上記の構成を有することにより、自車両の位置を正確に検出できる。
According to claim 5, as another aspect of the present invention, a vehicle position detection method is provided. In this vehicle position detection method, for each of a plurality of candidates for the position of the vehicle (10) at the current time at predetermined cycles, the imaging unit (2) mounted on the vehicle (10) in the candidate for the position At least one line marked on the road included in the shooting range is extracted from the map information, and the extracted at least one line is used as an image of the current time obtained by the imaging unit (2) according to the candidate position. Based on the degree of correlation between the projected step and, for each of the multiple lanes on the road, at least one projected line of the multiple candidates on that lane at a given cycle and the image. By adding the predetermined voting value to the total of the voting values for the lane that maximizes the matching degree among the plurality of lanes at each predetermined cycle and the step of calculating the degree of matching between the map information and the image. A step of updating the total number of voting values for each lane, and a step of determining that the vehicle (10) is traveling in the lane corresponding to the maximum value of the total number of voting values among the total number of voting values for each lane. including.
The vehicle position detection method according to the present invention can accurately detect the position of the own vehicle by having the above configuration.
請求項６の記載によれば、本発明のさらに他の形態として、車両位置検出用コンピュータプログラムが提供される。この車両位置検出用コンピュータプログラムは、所定の周期ごとに、車両（１０）の現時刻における位置の複数の候補のそれぞれについて、その位置の候補における、車両（１０）に搭載された撮像部（２）の撮影範囲に含まれる道路上に標示される少なくとも一つの線を地図情報から抽出し、抽出した少なくとも一つの線を、その位置の候補にしたがって撮像部（２）により得られた現時刻の画像に投影するステップと、所定の周期ごとに、道路上の複数の車線のそれぞれについて、複数の候補のうちのその車線上の候補についての投影された少なくとも一つの線と画像との相関度に基づいて地図情報と画像との一致度を算出するステップと、所定の周期ごとに、複数の車線のうちの一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、車線ごとの投票値の総和を更新するステップと、車線ごとの投票値の総和のうち、投票値の総和の最大値に対応する車線を車両（１０）が走行していると判定するステップと、を車両（１０）に搭載されたプロセッサ（４３）に実行させる命令を含む。
本発明による車両位置検出用コンピュータプログラムは、上記の構成を有することにより、自車両の位置を正確に検出できる。
According to claim 6, as still another embodiment of the present invention, a computer program for vehicle position detection is provided. This vehicle position detection computer program has an imaging unit (2) mounted on the vehicle (10) in the position candidate for each of the plurality of candidate positions at the current time of the vehicle (10) at predetermined cycles. ) At least one line marked on the road included in the shooting range is extracted from the map information, and the extracted at least one line is obtained by the imaging unit (2) according to the candidate position of the current time. For each of the multiple lanes on the road, the step of projecting onto the image and the degree of correlation between the image and at least one projected line of the candidates on that lane among the multiple candidates for each of the multiple lanes on the road. The step of calculating the degree of matching between the map information and the image based on the image, and adding the predetermined voting value to the total of the voting values for the lane with the maximum matching degree among the plurality of lanes at each predetermined cycle. Then, a step of updating the total of the voting values for each lane and a step of determining that the vehicle (10) is traveling in the lane corresponding to the maximum value of the total of the voting values among the total of the voting values for each lane. Includes instructions to cause the processor (43) mounted on the vehicle (10) to execute.
The vehicle position detection computer program according to the present invention can accurately detect the position of its own vehicle by having the above configuration.
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。 The reference numerals in parentheses attached to each of the above parts are examples showing the correspondence with the specific means described in the embodiments described later.
以下、図を参照しつつ、車両位置検出システムについて説明する。
この車両位置検出システムは、GPS等により得られる、車線の幅よりも測定誤差が大きい可能性がある車両の位置の測定情報に基づいて、車両位置検出システムが搭載された車両が走行している車線を判定する。その際、この車両位置検出システムは、車両の位置の測定情報から想定される車両位置の候補ごとに、その位置の候補から見た、地図情報に表された車線区画線を、実際に車両に搭載されたカメラにより得られた画像上に投影して、車線ごとに地図と画像との間で一致度を算出する。またこの車両位置検出システムは、車線ごとの一致度のうちの最大となる車線を特定し、特定された車線に投票する。この車両位置検出システムは、所定周期で上記の処理を行って、車線ごとに算出される投票値の総和のうちの最大値が他の車線についての投票値の総和に対して有意差が生じた場合に、その最大値に対応する車線を車両が走行していると判定する。
Hereinafter, the vehicle position detection system will be described with reference to the drawings.
In this vehicle position detection system, a vehicle equipped with the vehicle position detection system is running based on the measurement information of the position of the vehicle obtained by GPS or the like, which may have a measurement error larger than the width of the lane. Determine the lane. At that time, this vehicle position detection system actually gives the vehicle the lane marking line represented by the map information as seen from the candidate of the position for each candidate of the vehicle position assumed from the measurement information of the position of the vehicle. By projecting onto the image obtained by the on-board camera, the degree of agreement between the map and the image is calculated for each lane. The vehicle position detection system also identifies the lane that maximizes the degree of agreement for each lane and votes for the identified lane. This vehicle position detection system performs the above processing at a predetermined cycle, and the maximum value of the total voting values calculated for each lane is significantly different from the total voting values for other lanes. In this case, it is determined that the vehicle is traveling in the lane corresponding to the maximum value.
図１は、一つの実施形態による車両位置検出システムの概略構成図である。図１に示すように、車両位置検出システム１は、車両１０に搭載され、カメラ２と、コントローラ４とを有する。カメラ２と、コントローラ４とは、コントロールエリアネットワーク（以下、ＣＡＮという）３によって互いに接続されている。なお、図１では、説明の都合のため、車両位置検出システム１の各構成要素及び車両１０の形状、サイズ及び配置は、実際のものとは異なっている。 FIG. 1 is a schematic configuration diagram of a vehicle position detection system according to one embodiment. As shown in FIG. 1, the vehicle position detection system 1 is mounted on the vehicle 10 and has a camera 2 and a controller 4. The camera 2 and the controller 4 are connected to each other by a control area network (hereinafter referred to as CAN) 3. In FIG. 1, for convenience of explanation, the shapes, sizes, and arrangements of the components of the vehicle position detection system 1 and the vehicle 10 are different from the actual ones.
カメラ２は、撮像部の一例であり、車両１０の前方領域を撮影し、その前方領域の画像を生成する。そのために、カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に車両１０の前方に存在する地面または構造物などの像を結像する結像光学系を有する。そしてカメラ２は、例えば、結像光学系の光軸が地面に対して略平行となり、かつ車両１０の前方を向くように、車両１０の車室内に配置される。そしてカメラ２は、一定の時間間隔（例えば1/30秒）ごとに撮影し、車両１０の前方領域を撮影したカラー画像を生成する。なお、カメラ２は、近赤外光に感度を有する２次元検出器を有し、その撮像範囲内の近赤外光の照度に応じたモノクロ画像を生成してもよい。 The camera 2 is an example of an imaging unit, and captures a front region of the vehicle 10 and generates an image of the front region. Therefore, the camera 2 is a two-dimensional detector composed of an array of photoelectric conversion elements having sensitivity to visible light such as CCD or C-MOS, and the ground existing in front of the vehicle 10 on the two-dimensional detector. Alternatively, it has an imaging optical system that forms an image of a structure or the like. Then, for example, the camera 2 is arranged in the vehicle interior of the vehicle 10 so that the optical axis of the imaging optical system is substantially parallel to the ground and faces the front of the vehicle 10. Then, the camera 2 shoots at regular time intervals (for example, 1/30 second) to generate a color image of the front region of the vehicle 10. The camera 2 may have a two-dimensional detector having sensitivity to near-infrared light, and may generate a monochrome image according to the illuminance of the near-infrared light within the imaging range.
図２は、地図座標系と、車両座標系と、カメラ座標系の関係を示す図である。本実施形態では、便宜上、地図上の任意の位置を原点とする地図座標系(Xm, Ym, Zm)と、車両１０を原点とする車両座標系(Xv, Yv, Zv)と、カメラ２を原点とするカメラ座標系(Xc, Yc, Zc)を利用する。本実施形態では、車両座標系(Xv, Yv, Zv)は、車両１０の左右の後輪間の中点かつ地面上の点を原点とする。そして車両の進行方向をZv軸とし、Zv軸と直交し、かつ、地面に平行な方向をXv軸とし、鉛直方向をYv軸とする。また地図座標系(Xm, Ym, Zm)においても、傾きの無い地面に平行な面内にXm軸及びZm軸が設定され、その地面に対する鉛直方向にYm軸が設定される。また、カメラ座標系(Xc, Yc, Zc)では、説明の簡単化のために、車両座標系の原点から鉛直方向に沿って上方かつカメラ２が設置される高さの位置に撮像面の中心があると仮定して、その撮像面の中心を原点とする。そして車両座標系と同様に、車両１０の進行方向をZc軸とし、Zc軸と直交し、かつ、地面に平行な方向をXc軸とし、鉛直方向をYc軸とする。
なお、実際にカメラ２が取り付けられる位置は、車両１０の左右の後輪間の中点の上方からずれていることもあるが、このずれは、単純な平行移動によって補正すればよい。
FIG. 2 is a diagram showing the relationship between the map coordinate system, the vehicle coordinate system, and the camera coordinate system. In the present embodiment, for convenience, a map coordinate system (Xm, Ym, Zm) having an arbitrary position on the map as the origin, a vehicle coordinate system (Xv, Yv, Zv) having the vehicle 10 as the origin, and a camera 2 are used. Use the camera coordinate system (Xc, Yc, Zc) as the origin. In the present embodiment, the vehicle coordinate system (Xv, Yv, Zv) has the origin at the midpoint between the left and right rear wheels of the vehicle 10 and the point on the ground. The traveling direction of the vehicle is the Zv axis, the direction orthogonal to the Zv axis and parallel to the ground is the Xv axis, and the vertical direction is the Yv axis. Also in the map coordinate system (Xm, Ym, Zm), the Xm axis and Zm axis are set in a plane parallel to the ground without inclination, and the Ym axis is set in the vertical direction with respect to the ground. In the camera coordinate system (Xc, Yc, Zc), for the sake of simplicity, the center of the imaging surface is located above the origin of the vehicle coordinate system along the vertical direction and at a height at which the camera 2 is installed. Assuming that there is, the origin is the center of the imaging surface. Then, as in the vehicle coordinate system, the traveling direction of the vehicle 10 is the Zc axis, the direction orthogonal to the Zc axis and parallel to the ground is the Xc axis, and the vertical direction is the Yc axis.
The position where the camera 2 is actually attached may deviate from above the midpoint between the left and right rear wheels of the vehicle 10, but this deviation may be corrected by simple parallel movement.
なお、車両位置検出システム１は、撮像部として、車両１０の前方領域を撮影するカメラの代わりに、あるいはそのカメラとともに、車両の後方領域を撮影するリアカメラを有していてもよい。 The vehicle position detection system 1 may have a rear camera that captures the rear region of the vehicle as an imaging unit instead of or together with the camera that captures the front region of the vehicle 10.
カメラ２は、生成した画像を逐次コントローラ４へ送信する。なお、車両１０の前方領域を撮影するカメラと車両１０の後方領域を撮影するカメラが取り付けられている場合、コントローラ４は、車両１０が進行している方向を撮影するカメラからの画像のみを選択的に取得してもよい。そのために、コントローラ４は、ＣＡＮ３を介して車両１０の電子制御ユニット(ECU)１１から、シフトレバーのポジションを表すシフトポジション信号を取得する。そしてコントローラ４は、シフトポジション信号が、車両１０が前進することを示すドライブポジジョンなどとなっている場合、車両１０の前方領域を撮影するカメラから画像を取得する。一方、コントローラ４は、シフトポジション信号が、車両１０が後進することを示すリバースポジションとなっている場合、車両１０の後方領域を撮影するカメラから画像を取得する。 The camera 2 sequentially transmits the generated images to the controller 4. When a camera that captures the front region of the vehicle 10 and a camera that captures the rear region of the vehicle 10 are attached, the controller 4 selects only the image from the camera that captures the direction in which the vehicle 10 is traveling. It may be acquired as a target. Therefore, the controller 4 acquires a shift position signal indicating the position of the shift lever from the electronic control unit (ECU) 11 of the vehicle 10 via the CAN 3. Then, when the shift position signal is a drive position indicating that the vehicle 10 is moving forward, the controller 4 acquires an image from a camera that captures the front region of the vehicle 10. On the other hand, when the shift position signal is in the reverse position indicating that the vehicle 10 moves backward, the controller 4 acquires an image from the camera that captures the rear region of the vehicle 10.
コントローラ４は、車両位置検出装置の一例であり、記憶部４１と、通信部４２と、制御部４３とを有する。記憶部４１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部４１は、車両位置検出システム１を制御するための各種プログラム、地図情報、カメラ２の地面からの高さ及び光軸方向といったカメラの位置情報、結像光学系の焦点距離及び画角といったカメラパラメータなどの各種パラメータ、及び制御部４３による一時的な演算結果などを記憶する。また記憶部４１は、カメラ２の結像光学系による歪曲収差を補正するためのパラメータ、例えば、画素ごとの歪曲収差の補正量（すなわち、歪曲収差を打ち消すための画像上での画素の移動量及び移動方向）を記憶してもよい。 The controller 4 is an example of a vehicle position detecting device, and has a storage unit 41, a communication unit 42, and a control unit 43. The storage unit 41 has, for example, a semiconductor memory such as an electrically rewritable non-volatile memory and a volatile memory. Then, the storage unit 41 includes various programs for controlling the vehicle position detection system 1, map information, camera position information such as the height of the camera 2 from the ground and the direction of the optical axis, the focal length and angle of view of the imaging optical system. Various parameters such as camera parameters such as, and temporary calculation results by the control unit 43 are stored. Further, the storage unit 41 has a parameter for correcting the distortion of the imaging optical system of the camera 2, for example, a correction amount of the distortion for each pixel (that is, a movement amount of the pixel on the image for canceling the distortion). And the direction of movement) may be stored.
以下、車両位置検出に利用される、地図情報について説明する。
図３（ａ）〜図３（ｄ）は、地図情報の一例を示す図である。図３（ａ）に示される地図情報３００は、その地図情報で表された領域の位置を表す緯度経度情報と関連付けられている。そして地図情報３００は、白線、黄線などで表される車線区画線などの道路上に標示される線３０１に関する情報を含む。
The map information used for vehicle position detection will be described below.
3 (a) to 3 (d) are diagrams showing an example of map information. The map information 300 shown in FIG. 3A is associated with latitude / longitude information representing the position of the region represented by the map information. The map information 300 includes information on the line 301 marked on the road such as a lane marking line represented by a white line, a yellow line, or the like.
実際の道路上に標示される線には、複数の種類がある。例えば、図３（ｂ）において点線で示される線３１１は、実線の白線と一方の側に設けられる破線状の減速標示の組み合わせで表される。また図３（ｃ）において点線で示される線３１２は、点線の白線とその両側に設けられる減速標示の組み合わせで表される。また、図３（ｄ）において点線で示される線３１３は、相対的に太い実線の白線のみで表される。このように、道路上に標示される線には、様々な種類のものがある。しかし、地図情報３００では、例えば、それぞれの道路上の線について、一つの実線で表され、線ごとに、その線の種類を表すラベルが付されていることがある。例えば、図３（ｂ）に示される例では、線３１１は、実線３２１と、（白線（細）＋右減速標示）というラベルで表される。また、図３（ｃ）に示される例では、線３１２は、実線３２２と、（白点線（細）＋両側減速標示）というラベルで表される。そして図３（ｄ）に示される例では、線３１３は、実線３２３と、白線（太）というラベルで表される。さらに、地図情報３００では、道路上に標示される各線について、複数の線分に分割され、線分ごとに、その両端点の３次元座標が含まれる。
なお、以下では、地図情報に含まれる、道路上に標示される線を分割した個々の線分を地図線分と呼ぶ。
There are several types of lines marked on actual roads. For example, the dotted line 311 in FIG. 3B is represented by a combination of a solid white line and a broken line deceleration sign provided on one side. Further, the line 312 indicated by the dotted line in FIG. 3C is represented by a combination of the white dotted line and the deceleration markings provided on both sides thereof. Further, the line 313 shown by the dotted line in FIG. 3D is represented only by a relatively thick solid white line. Thus, there are various types of lines marked on the road. However, in the map information 300, for example, each line on the road is represented by one solid line, and each line may be labeled to indicate the type of the line. For example, in the example shown in FIG. 3B, line 311 is represented by a solid line 321 and a label (white line (thin) + right deceleration sign). Further, in the example shown in FIG. 3C, the line 312 is represented by a solid line 322 and a label (white dotted line (thin) + double-sided deceleration marking). Then, in the example shown in FIG. 3D, the line 313 is represented by a solid line 323 and a white line (thick) label. Further, in the map information 300, each line marked on the road is divided into a plurality of line segments, and each line segment includes three-dimensional coordinates of both end points.
In the following, the individual line segments that divide the lines marked on the road, which are included in the map information, are referred to as map line segments.
通信部４２は、カメラ２、ＥＣＵ１１及び車輪速センサ（図示せず）などの各種センサとＣＡＮ３を通じて通信する通信インターフェース及びその制御回路を有する。そして通信部４２は、カメラ２から画像を受け取り、その画像を制御部４３へ渡す。また通信部４２は、車両位置の検出処理を実行する周期ごとに、オドメトリ情報として、ＥＣＵ１１から、車両１０の速度及び移動量などを取得したり、あるいは、車輪速センサから車輪速を取得して、制御部４３へ渡す。 The communication unit 42 has a communication interface and a control circuit thereof that communicate with various sensors such as a camera 2, an ECU 11, and a wheel speed sensor (not shown) through CAN3. Then, the communication unit 42 receives an image from the camera 2 and passes the image to the control unit 43. Further, the communication unit 42 acquires the speed and the amount of movement of the vehicle 10 from the ECU 11 as odometry information for each cycle of executing the vehicle position detection process, or acquires the wheel speed from the wheel speed sensor. , Passed to the control unit 43.
制御部４３は、１個もしくは複数個の図示していないプロセッサ及びその周辺回路を有する。そして制御部４３は、車両位置検出システム１全体を制御する。
図４に、制御部４３の機能ブロック図を示す。図４に示すように、制御部４３は、候補位置設定部２１と、投影部２２と、一致度算出部２３と、投票部２４と、走行車線判定部２５と、追跡部２６とを有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
The control unit 43 includes one or more processors (not shown) and peripheral circuits thereof. Then, the control unit 43 controls the entire vehicle position detection system 1.
FIG. 4 shows a functional block diagram of the control unit 43. As shown in FIG. 4, the control unit 43 includes a candidate position setting unit 21, a projection unit 22, a match degree calculation unit 23, a voting unit 24, a traveling lane determination unit 25, and a tracking unit 26. Each of these units included in the control unit 43 is implemented as, for example, a functional module realized by a computer program executed on the processor included in the control unit 43.
候補位置設定部２１、投影部２２、一致度算出部２３、投票部２４及び走行車線判定部２５の各部の処理は、車両１０が走行中の車線が判別されるまで、所定の周期で実行される。そして車両１０が走行中の車線が判別すると、追跡部２６が、その判別時における車両１０の位置を初期位置として、それ以降の車両１０の位置を追跡する。なお、所定の周期は、カメラ２による撮影周期と同一でもよく、あるいは、異なっていてもよい。 The processing of each of the candidate position setting unit 21, the projection unit 22, the matching degree calculation unit 23, the voting unit 24, and the traveling lane determination unit 25 is executed at a predetermined cycle until the lane in which the vehicle 10 is traveling is determined. To. Then, when the lane in which the vehicle 10 is traveling is determined, the tracking unit 26 tracks the position of the vehicle 10 thereafter, with the position of the vehicle 10 at the time of the determination as the initial position. The predetermined cycle may be the same as or different from the shooting cycle of the camera 2.
候補位置設定部２１は、現時点における車両１０の位置の候補（以下、単に候補位置と呼ぶ）を、車両１０が走行中の道路における車線ごとに複数設定する。 The candidate position setting unit 21 sets a plurality of candidates for the position of the vehicle 10 at the present time (hereinafter, simply referred to as candidate positions) for each lane on the road on which the vehicle 10 is traveling.
候補位置設定部２１は、GPSによる最新の測位信号から求められる自車両の位置を、例えば、ナビゲーションシステムから取得し、その位置に基づいて複数の候補位置を設定する。なお、候補位置設定部２１は、自車両の位置を測定できる他のセンサからの情報に基づいて候補位置を設定してもよい。 The candidate position setting unit 21 acquires the position of the own vehicle obtained from the latest positioning signal by GPS, for example, from the navigation system, and sets a plurality of candidate positions based on the position. The candidate position setting unit 21 may set the candidate position based on the information from another sensor capable of measuring the position of the own vehicle.
GPSの測位信号には誤差が含まれるので、その測位信号は、車両１０が走行中の車線を特定できるほどの精度を有さない。特に、車両１０の近傍に、高層建築物など、測位信号の受信を妨げる構造物が存在すると、車両１０の位置の推定精度はさらに低下する。 Since the GPS positioning signal contains an error, the positioning signal is not accurate enough to identify the lane in which the vehicle 10 is traveling. In particular, if there is a structure such as a high-rise building that hinders the reception of the positioning signal in the vicinity of the vehicle 10, the estimation accuracy of the position of the vehicle 10 is further lowered.
図５は、GPSの測位信号から求められた車両の位置の一例を示す図である。図５における各点５０１は、車両が道路５０２上を走行したときのGPSの測位信号から求められた車両の位置を表す。各点５０１と道路５０２との位置関係に示されるように、GPSの測位信号から求められた車両の位置は、道路５０２の幅方向全体にわたって分布しており、また、道路５０２から外れていることもある。このように、GPSの測位信号が、車両１０が走行中の車線を特定できるほどの精度を有さないことが分かる。 FIG. 5 is a diagram showing an example of the position of the vehicle obtained from the GPS positioning signal. Each point 501 in FIG. 5 represents the position of the vehicle obtained from the GPS positioning signal when the vehicle travels on the road 502. As shown in the positional relationship between each point 501 and the road 502, the vehicle positions obtained from the GPS positioning signals are distributed over the entire width direction of the road 502 and deviate from the road 502. There is also. As described above, it can be seen that the GPS positioning signal does not have enough accuracy to identify the lane in which the vehicle 10 is traveling.
そこで、本実施形態では、候補位置設定部２１は、GPSによる最新の測位信号から推定される自車両の位置の近傍において、地図情報に示される車線ごとに複数の候補位置を設定する。そのために、候補位置設定部２１は、先ず、GPSによる最新の測位信号から推定される自車両の位置を、その位置に最も近い車線の中心線へ射影した点を基準点として算出する。そして候補位置設定部２１は、基準点を中心とする所定範囲内に、車線ごとに複数の候補位置を設定する。 Therefore, in the present embodiment, the candidate position setting unit 21 sets a plurality of candidate positions for each lane shown in the map information in the vicinity of the position of the own vehicle estimated from the latest positioning signal by GPS. Therefore, the candidate position setting unit 21 first calculates the position of the own vehicle estimated from the latest positioning signal by GPS, using the point projected on the center line of the lane closest to the position as a reference point. Then, the candidate position setting unit 21 sets a plurality of candidate positions for each lane within a predetermined range centered on the reference point.
図６は、GPSの測位信号から推定される自車両の位置と、設定される候補位置の関係の一例を示す図である。GPSの測位信号から推定される自車両の位置６０１を、地図情報に示される二つの車線６１１、６１２のうち、近い方の車線６１１へ射影した点、すなわち、車線６１１の中央線と、位置６０１から車線６１１の中央線への垂線との交点が、基準点６０２として設定される。そして基準点６０２を中心とする、所定の半径r（例えば、10m〜20m）の探索円６０３が設定される。そして探索円６０３と重なる車線ごとに、複数の候補位置６０４が設定される。 FIG. 6 is a diagram showing an example of the relationship between the position of the own vehicle estimated from the GPS positioning signal and the set candidate position. The position 601 of the own vehicle estimated from the GPS positioning signal is projected onto the closer lane 611 of the two lanes 611 and 612 shown in the map information, that is, the center line of the lane 611 and the position 601. The intersection of the lane 611 with the vertical line to the center line is set as the reference point 602. Then, a search circle 603 with a predetermined radius r (for example, 10 m to 20 m) centered on the reference point 602 is set. Then, a plurality of candidate positions 604 are set for each lane that overlaps with the search circle 603.
具体的に、候補位置設定部２１は、下記のように候補位置を設定する。
着目する車線（以下、車線Lと呼ぶ）についてi番目の候補位置を設定する際、候補位置設定部２１は、探索園内の車線Lの中央線上に、ランダムに位置X'i L=[x'i L, y'i L, θ'i L]を設定する。なお、(x'i L, y'i L)は、地図情報に示される地図上の位置を表す地図座標系での車線Lの中央線上の位置X'i Lの座標値を表す。またθ'i Lは、位置(x'i L, y'i L)における、地図座標系での中央線の方向を表す。候補位置設定部２１は、位置X'i L=に対して誤差εを加算することで、候補位置Xi L(=X'i L+ε)を設定する。ここで誤差εは、一般に車両が一つの車線内を走行する際の、車線の中央線に対する法線方向の分散と、車両の向きと中央線とがなす方位角の分散を用いて表される正規分布に従って、個々の候補位置を設定する度に算出される。なお、この正規分布における、車線の中央線に対する法線方向の標準偏差は、例えば、0.4〜0.6mに設定され、方位角の標準偏差は、例えば、0.05°〜0.2°に設定される。
Specifically, the candidate position setting unit 21 sets the candidate position as follows.
When setting the i-th candidate position for the lane of interest (hereinafter referred to as lane L), the candidate position setting unit 21 randomly positions the position X'i L = [x'on the center line of the lane L in the search park. i L, y 'i L, θ' to set the i L]. Incidentally, (x 'i L, y ' i L) represents the coordinate value of the position X 'i L of the center line of the lane L in the map coordinates indicating a position on the map indicated in the map information. The theta 'i L, the position (x' i L, y ' i L) in, representing the direction of the center line in the map coordinate system. Candidate position setting unit 21 'by adding the error epsilon against i L =, candidate positions X i L (= X' position X to set the i L + ε). Here, the error ε is generally expressed by using the variance in the normal direction with respect to the center line of the lane and the variance of the azimuth angle formed by the direction of the vehicle and the center line when the vehicle travels in one lane. It is calculated each time each candidate position is set according to the normal distribution. In this normal distribution, the standard deviation in the normal direction with respect to the center line of the lane is set to, for example, 0.4 to 0.6 m, and the standard deviation of the azimuth angle is set to, for example, 0.05 ° to 0.2 °.
候補位置設定部２１は、探索円と重なる車線ごとに、所定個数(例えば、100個〜1000個)の候補位置を設定する。そして候補位置設定部２１は、各候補位置を記憶部４１に保存する。なお、以下では、車線Lについて設定された候補位置の集合をχL={Xi L|i=1,2,...,I}と表記する。なお、Iは、車線Lについて設定される候補位置の総数である。 The candidate position setting unit 21 sets a predetermined number (for example, 100 to 1000) of candidate positions for each lane overlapping the search circle. Then, the candidate position setting unit 21 stores each candidate position in the storage unit 41. In the following, the set of candidate positions set for the lane L is expressed as χ L = {X i L | i = 1,2, ..., I}. Note that I is the total number of candidate positions set for the lane L.
さらに、候補位置設定部２１は、前回の試行時に設定された複数の候補位置の中から選択した候補位置に基づいて、新たな候補位置を設定してもよい。この場合、候補位置設定部２１は、候補位置ごとに算出される、後述する車線区画線ごとの復元度の平均値が高い候補位置ほど多く選択されるように、復元度の平均値に基づいて、候補位置をルーレット選択してもよい。その際、候補位置設定部２１は、例えば、候補位置の総数の1/10程度の候補位置を選択する。 Further, the candidate position setting unit 21 may set a new candidate position based on the candidate position selected from the plurality of candidate positions set in the previous trial. In this case, the candidate position setting unit 21 is based on the average value of the degree of restoration so that the higher the average value of the degree of restoration for each lane marking line, which is calculated for each candidate position, the more the candidate positions are selected. , The candidate position may be selected by roulette. At that time, the candidate position setting unit 21 selects, for example, about 1/10 of the total number of candidate positions.
候補位置設定部２１は、選択された候補位置のそれぞれについて、次式に従って、その候補位置に基づいて新たな候補位置Xi Lを設定する。
なお、候補位置設定部２１は、設定される候補位置の総数が初回と同様、I個となるように、前回の候補位置に基づいて新たに設定された候補位置とともに、上記と同様に、GPSの測位信号に基づいて複数の候補位置を設定すればよい。
The candidate position setting unit 21 sets a new candidate position X i L based on the candidate position according to the following equation for each of the selected candidate positions.
In addition, in the candidate position setting unit 21, the total number of the candidate positions to be set is I as in the first time, together with the candidate positions newly set based on the previous candidate positions, and the GPS as described above. A plurality of candidate positions may be set based on the positioning signal of.
投影部２２は、候補位置ごとに、その候補位置からのカメラ２の仮想の撮影範囲内に含まれる、地図情報に表された各車線区画線をカメラ２により現時刻に得られた画像（以下、現画像と呼ぶ）上へ投影する。なお、車両位置検出処理の実行周期とカメラ２による撮影周期とが同期していない場合には、カメラ２により得られた最新の画像を、現画像とすればよい。 The projection unit 22 is an image obtained by the camera 2 at the current time of each lane marking line represented by the map information, which is included in the virtual shooting range of the camera 2 from the candidate position for each candidate position (hereinafter, , Called the current image) Project on top. When the execution cycle of the vehicle position detection process and the shooting cycle by the camera 2 are not synchronized, the latest image obtained by the camera 2 may be used as the current image.
すなわち、投影部２２は、候補位置の周囲の所定範囲（例えば、30m以内）、かつ、候補位置を基準としたカメラ２の撮影範囲内にある少なくとも一つの車線区画線を地図情報から抽出し、抽出した各車線区画線を現画像上に投影する。その際、投影部２２は、抽出した各車線区画線のうち、カメラ２の撮影範囲内にある地図線分について、その地図線分上、及びその地図線分の周囲のそれぞれに、所定個数（例えば、50〜100）以上の点を現画像上に投影することが好ましい。これにより、後述するように、地図線分ごとの一致度合を表す正規化相互相関値が正確に算出される。 That is, the projection unit 22 extracts at least one lane marking line within a predetermined range (for example, within 30 m) around the candidate position and within the shooting range of the camera 2 based on the candidate position from the map information. Each extracted lane marking line is projected on the current image. At that time, among the extracted lane marking lines, the projection unit 22 has a predetermined number of map line segments within the shooting range of the camera 2 on the map line segment and around the map line segment. For example, it is preferable to project 50 to 100) or more points on the current image. As a result, as will be described later, the normalized cross-correlation value representing the degree of agreement for each map line segment is accurately calculated.
図７は、画像上に投影される車線区画線の一例を示す図である。この例では、候補位置７００に対応する撮影範囲７１０と、３本の車線区画線７０１〜７０３とが重なっている。そのため、車線区画線７０１〜７０３に含まれる地図線分のうち、撮影範囲７１０に含まれる地図線分が現画像上に投影される。 FIG. 7 is a diagram showing an example of a lane marking line projected on an image. In this example, the shooting range 710 corresponding to the candidate position 700 and the three lane marking lines 701 to 703 overlap. Therefore, among the map line segments included in the lane marking lines 701 to 703, the map line segment included in the photographing range 710 is projected on the current image.
地図座標系で表される地図上の点pm=(xm,ym,zm)と画像上の点uc=(u,v)との関係は、次式で表される。
並進行列tvm= (xvm,yvm,zvm)は、車両座標系から地図座標系への座標変換における平行移動成分を表す。そしてh(pc,kc)は、カメラ座標系における点pc=(xc,yc,zc)からカメラ２により得られる画像上の点ucとの関係を表し、kcは、カメラ座標系から画像への変換パラメータを表す。カメラ２の歪曲収差を無視できる場合、h(pc,kc)は、次式で表される。
投影部２２は、（２）式に従って、投影対象となる地図線分上、または地図線分の周囲の各点をカメラ２により得られる現画像上に投影する。その際、投影部２２は、地図線分が含まれる車線区画線の種類に応じて各点の輝度値を設定する。なお、車線区画線の種類は、上述したように、地図情報に含まれる。 The projection unit 22 projects each point on the map line segment to be projected or around the map line segment on the current image obtained by the camera 2 according to the equation (2). At that time, the projection unit 22 sets the brightness value of each point according to the type of the lane marking line including the map line segment. The types of lane markings are included in the map information as described above.
例えば、車線区画線が白線の実線である場合、投影部２２は、車線区画線上に位置する点が投影される現画像上の位置の輝度値を、車線区画線外に位置する点が投影される現画像上の位置の輝度値よりも高くする。また、車線区画線が黄線の実線である場合、投影部２２は、車線区画線上に位置する点が投影される現画像上の位置の輝度値を、白線の場合よりも低くしてもよい。さらに、車線区画線が点線である場合には、投影部２２は、車線区画線上に位置する点が投影される現画像上の位置の輝度値として、白または黄のブロックが表示される部分の長さと、ブロック間の間隔との比率に応じて、そのブロックに相当する輝度値か、ブロック外に相当する輝度値を設定すればよい。 For example, when the lane marking line is a solid white line, the projection unit 22 projects the brightness value of the position on the current image on which the point located on the lane marking line is projected, and the point located outside the lane marking line is projected. Make it higher than the brightness value of the position on the current image. Further, when the lane marking line is a solid yellow line, the projection unit 22 may lower the brightness value of the position on the current image on which the point located on the lane marking line is projected, as compared with the case of the white line. .. Further, when the lane marking line is a dotted line, the projection unit 22 is a portion where a white or yellow block is displayed as a luminance value of a position on the current image on which a point located on the lane marking line is projected. Depending on the ratio of the length to the interval between blocks, the brightness value corresponding to the block or the brightness value corresponding to the outside of the block may be set.
一致度算出部２３は、車線ごとに、地図情報に表された地図と現画像との一致度を算出する。本実施形態では、一致度算出部２３は、各候補位置について、投影された車線区画線ごとに、その車線区画線に含まれる地図線分ごとの正規化相互相関値を算出する。そして一致度算出部２３は、車線区画線ごとに、その車線区画線に含まれる各地図線分についての正規化相互相関値の平均値を算出する。一致度算出部２３は、車線区画線ごとに、正規化相互相関値の平均値から近似的に車線区画線が検出された確率を表す復元率を算出し、各車線区画線の復元率を平均する。そして一致度算出部２３は、車線ごとに、その車線内に含まれる候補位置ごとの復元率の平均値をさらに平均化することで一致度を算出する。これにより、一致度算出部２３は、複数の車線区画線のうちの何れか一つについてのみ高い相関性があり、他の車線区画線についてはそれほど相関性がないような車線について一致度が過度に高くなることを抑制できるので、車線ごとの一致度を正確に算出できる。
以下、一致度算出の処理の詳細について説明する。
The match degree calculation unit 23 calculates the match degree between the map displayed in the map information and the current image for each lane. In the present embodiment, the matching degree calculation unit 23 calculates the normalized cross-correlation value for each candidate position for each projected lane marking line and each map line segment included in the lane marking line. Then, the matching degree calculation unit 23 calculates the average value of the normalized cross-correlation values for each map line segment included in the lane marking line for each lane marking line. The matching degree calculation unit 23 calculates a restoration rate for each lane marking line, which represents the probability that the lane marking line is approximately detected from the average value of the normalized cross-correlation values, and averages the restoration rate of each lane marking line. To do. Then, the matching degree calculation unit 23 calculates the matching degree by further averaging the average value of the restoration rate for each candidate position included in the lane for each lane. As a result, the matching degree calculation unit 23 has a high degree of correlation only for any one of the plurality of lane marking lines, and the matching degree is excessive for the lanes that are not so correlated with the other lane marking lines. Since it is possible to prevent the vehicle from becoming too high, the degree of agreement for each lane can be calculated accurately.
Hereinafter, the details of the process of calculating the degree of agreement will be described.
まず、一致度算出部２３は、各候補位置について、投影された車線区画線ごとに、その車線区画線に含まれる地図線分ごとの地図と現画像間の正規化相互相関値を算出する。その際、一致度算出部２３は、地図線分ごとに、その地図線分を含むマッチング領域を地図上で設定する。なお、マッチング領域は、例えば、地図線分の延伸方向に沿って地図線分と同じ長さとなり、地図線分の法線方向に沿って地図線分の幅の所定倍（例えば、2〜4倍）の幅を持つ領域とすることができる。そして一致度算出部２３は、マッチング領域に含まれる、現画像上に投影された各点の輝度値と、現画像上の対応点の輝度値とに基づいて正規化相互相関値を算出すればよい。 First, the agreement degree calculation unit 23 calculates the normalized cross-correlation value between the map for each map line segment included in the projected lane marking line and the current image for each candidate position for each projected lane marking line. At that time, the matching degree calculation unit 23 sets a matching area including the map line segment on the map for each map line segment. The matching area has the same length as the map line segment along the extension direction of the map line segment, and is a predetermined multiple of the width of the map line segment along the normal direction of the map line segment (for example, 2 to 4). It can be an area with a width of (double). Then, the matching degree calculation unit 23 calculates the normalized cross-correlation value based on the brightness value of each point projected on the current image and the brightness value of the corresponding point on the current image included in the matching area. Good.
なお、以下では、車線L上のi番目の候補位置について、車両区画線h上のj番目の地図線分(j=1,2,...,J、ただしJは、投影される範囲に含まれる、車線区画線hに含まれる地図線分の数を表す)について算出される正規化相互相関値をκL ihjと表記する。例えば、図７において、車線区画線７０１(h=1とする)について、撮影範囲７１０内に３個の地図線分７０１−１〜７０１−３が含まれている。そのため、地図線分７０１−１〜７０１−３のそれぞれについて正規化相互相関値κL i11〜κL i13が算出される。 In the following, regarding the i-th candidate position on the lane L, the j-th map line segment (j = 1,2, ..., J, where J is in the projected range) on the vehicle lane h. The normalized cross-correlation value calculated for (representing the number of map line segments included in the lane marking line h) included is expressed as κ L ih j . For example, in FIG. 7, for the lane marking line 701 (h = 1), three map line segments 701 to 701-3 are included in the photographing range 710. Therefore, the normalized cross-correlation value κ L i11 ~κ L i13 is calculated for each of the map segments 701-1～701-3.
次に、一致度算出部２３は、各候補位置について、車線区画線ごとにその車線区画線に含まれる各地図線分についての正規化相互相関値κL ihjの平均値κL ihavgを算出する。その際、一致度算出部２３は、正規化相互相関値κL ihjが所定の閾値(例えば、0.4〜0.6)以上となる地図線分についてのみ、平均値κL ihavgの算出に利用する。これにより、一致度算出部２３は、車線区画線に含まれる何れかの地図線分と、現画像上でのその地図線分に対応する車線区画線の一部とが一致しているにもかかわらず、正規化相互相関値が低くなる場合に平均値κL ihavgが低下してしまうことを抑制できる。なお、例えば、摩耗などにより、現画像上で地図線分の対応部分が見えなくなっていたり、車線区画線が点線を含み、投影に用いた地図線分の横断方向に沿ったパターンと、現画像上の対応位置のパターンとが異なっているような場合に、地図線分と、現画像上でのその地図線分に対応する車線区画線の一部とが一致しているにもかかわらず、正規化相互相関値は低くなることがある。 Next, the matching degree calculation unit 23 calculates the average value κ L ihavg of the normalized cross-correlation value κ L ihj for each map line segment included in the lane marking line for each lane marking line for each candidate position. .. At that time, the coincidence degree calculation unit 23 is used to calculate the average value κ L iha vg only for the map line segment whose normalized cross-correlation value κ L ihj is equal to or more than a predetermined threshold value (for example, 0.4 to 0.6). As a result, in the matching degree calculation unit 23, any map line segment included in the lane marking line coincides with a part of the lane marking line corresponding to the map line segment on the current image. Regardless, it is possible to prevent the mean value κ L iha vg from decreasing when the normalized cross-correlation value decreases. In addition, for example, due to wear or the like, the corresponding portion of the map line segment cannot be seen on the current image, or the lane marking line includes the dotted line, and the pattern along the crossing direction of the map line segment used for projection and the current image. When the pattern of the corresponding position above is different, even though the map line segment and a part of the lane marking line corresponding to the map line segment on the current image match. Normalized intercorrelation values can be low.
なお、車線区画線に含まれる、投影対象となる全ての地図線分について、正規化相互相関値κL ihjが所定の閾値未満となる場合、一致度算出部２３は、その車線区画線についての正規化相互相関値の平均値κL ihavgを0としてもよい。例えば、図７の例では、車線区画線７０１の３個の地図線分７０１−１〜７０１−３のそれぞれの正規化相互相関値κL i11〜κL i13の平均値κL i1avgが算出される。同様に、車線区画線７０２(h=2)、車線区画線７０３(h=3)について、それぞれ、正規化相互相関値の平均値κL i2avg、κL i3avgが算出される。 When the normalized cross-correlation value κ L ihj is less than a predetermined threshold value for all the map line segments to be projected included in the lane lane marking , the matching degree calculation unit 23 determines the lane lane marking . The average value of the normalized cross-correlation values κ L ihavg may be set to 0. For example, in the example of FIG. 7, the average value κ L i1avg each normalized cross-correlation value κ L i11 ~κ L i13 three map segments 701-1～701-3 the lane line 701 is calculated Ru. Similarly, for the lane marking line 702 (h = 2) and the lane marking line 703 (h = 3), the average values of the normalized cross-correlation values κ L i2avg and κ L i3avg are calculated, respectively.
次に、一致度算出部２３は、各候補位置について、車線区画線ごとに復元率pL ihを算出する。その際、一致度算出部２３は、車線区画線ごとに、その車線区画線について算出された正規化相互相関値の平均値κL ihavgをシグモイド関数に入力することで復元率pL ihを算出する。すなわち、一致度算出部２３は、次式に従って車線区画線ごとの復元率pL ihを算出する。
着目する候補位置が、車両１０が走行中の車線上に設定されている場合、投影された全ての車線区画線のうちの複数について、復元率が高くなると想定される。そこで一致度算出部２３は、候補位置ごとに、その候補位置について投影された車線区画線ごとの復元率pL ihの平均値pL iavgを算出する。なお、一致度算出部２３は、投影された範囲内に含まれる部分の長さが長い車線区画線ほど重くなる重み係数を用いて、車線区画線ごとの復元率pL ihを加重平均することで平均値pL iavgを算出してもよい。図７の例では、車線区画線７０１〜７０３のそれぞれについて算出された復元率pL i1〜pL i3を平均化することで、候補位置７００についての復元率の平均値pL iavgが算出される。 When the candidate position of interest is set on the lane in which the vehicle 10 is traveling, it is assumed that the restoration rate is high for a plurality of all the projected lane marking lines. Therefore, the matching degree calculation unit 23 calculates, for each candidate position, the average value p L ia v g of the restoration rate p L ih for each lane marking line projected for the candidate position. The coincidence calculation unit 23 uses a weighting coefficient that becomes heavier as the length of the portion included in the projected range becomes longer for the lane marking line, and weighted averages the restoration rate p L ih for each lane marking line. in may calculate an average value p L iavg. In the example of FIG. 7, by averaging the recovery ratio p L i1 ~p L i3 calculated for each of the lane line 701-703, the average value p L iavg restoration rate for the candidate position 700 is calculated Ru.
一致度算出部２３は、車線ごとに、その車線上に設定された候補位置ごとの復元率の平均値pL iavgをさらに平均化することで一致度γLを算出する。 Match degree calculating section 23, for each lane, and calculates the degree of coincidence gamma L by further averaging the average value p L iavg of recovery ratio of each configured candidate positions on that lane.
一致度算出部２３は、車線ごとの一致度γLを投票部２４へ通知する。 The match degree calculation unit 23 notifies the voting unit 24 of the match degree γ L for each lane.
投票部２４は、車線ごとの一致度γLが算出される度に、一致度γLが最大となる車線を選択し、選択した車線に所定の投票値を投票する。そして投票部２４は、投票された車線について、それまでの投票値の総和に所定の投票値を加算することで、投票値の総和を更新し、更新された投票値の総和を記憶部４１に保存する。なお、所定の投票値は、例えば、'1'、あるいは、その車線についての一致度γLとすることができる。 Each time the matching degree γ L for each lane is calculated, the voting unit 24 selects the lane having the maximum matching degree γ L and votes a predetermined voting value in the selected lane. Then, the voting unit 24 updates the total voting value by adding a predetermined voting value to the total voting value up to that point for the voted lane, and stores the updated total voting value in the storage unit 41. save. The predetermined voting value can be, for example, '1' or the degree of agreement γ L for that lane.
なお、投票部２４は、車両１０の走行車線が変更された場合に、各車線の投票値の総和を0にリセットしてもよい。例えば、投票部２４は、ＥＣＵ１１から得られたオドメトリ情報を参照して、道路の延伸方向に対する車両１０の方位角が所定値以上となる期間が車線変更を実行するのに十分な期間連続すると、車両１０の走行車線が変更されたと判定してもよい。あるいは、投票部２４は、方位角が所定値以上となる期間の長さとともに、あるいは、その長さの代わりに、ウィンカーの操作がなされたか否かにより、車線変更が行われたか否かを判定してもよい。この場合、投票部２４は、例えば、ウィンカーの操作がなされたことをＥＣＵ１１から通知され、かつ、その通知から所定期間の間に、方位角が所定値以上となると、車線変更が行われたと判定してもよい。 The voting unit 24 may reset the total voting value of each lane to 0 when the traveling lane of the vehicle 10 is changed. For example, when the voting unit 24 refers to the odometry information obtained from the ECU 11, the period in which the azimuth angle of the vehicle 10 with respect to the extension direction of the road is equal to or greater than a predetermined value is continuous for a sufficient period of time to execute the lane change. It may be determined that the traveling lane of the vehicle 10 has been changed. Alternatively, the voting unit 24 determines whether or not the lane has been changed based on the length of the period during which the azimuth angle is equal to or greater than a predetermined value, or whether or not the blinker is operated instead of the length of the period. You may. In this case, the voting unit 24 determines that the lane change has been performed when, for example, the ECU 11 notifies that the blinker operation has been performed and the azimuth becomes a predetermined value or more within a predetermined period from the notification. You may.
走行車線判定部２５は、何れかの車線について投票値の総和が更新される度に、車線ごとの投票値の総和に基づいて、車両１０が走行中の車線を判定する。 The traveling lane determination unit 25 determines the lane in which the vehicle 10 is traveling based on the total voting value for each lane each time the total voting value is updated for any lane.
本実施形態では、走行車線判定部２５は、符号検定により、車線ごとの投票値の総和のうちの最大値と、その他との間に有意差がある場合に、その最大値に対応する車線を車両１０が走行していると判断する。すなわち、走行車線判定部２５は、次式に従って判定値Pを算出する。
追跡部２６は、車両１０が走行中の車線が特定されると、その時点以降において、その判定結果を利用して、車両１０の位置、特に、車両１０が走行中の車線を追跡する。そのために、追跡部２６は、車両１０の位置を追跡する様々な手法の何れを利用してもよい。すなわち、追跡部２６は、特定された車線の中心を車両１０の初期位置として、採用する追跡手法に従って車両１０の位置を追跡すればよい。例えば、追跡部２６は、初期位置の取得時刻から次の車両位置の更新時刻までの間のオドメトリ情報を利用して、車両の推定位置を求め、その推定位置を中心とする複数の候補位置を設定し、候補位置ごとに、その候補位置からのカメラ２による撮影範囲に含まれる、地図情報に表された車両区画線を（２）式に従ってカメラ２による画像上に投影してもよい。そして追跡部２６は、候補位置ごとに各車線区画線と地図との復元度を算出し、その復元度の平均値が最大となる候補位置を、次の車両１０の位置とすればよい。 When the lane in which the vehicle 10 is traveling is specified, the tracking unit 26 tracks the position of the vehicle 10, particularly the lane in which the vehicle 10 is traveling, by using the determination result after that time. Therefore, the tracking unit 26 may use any of various methods for tracking the position of the vehicle 10. That is, the tracking unit 26 may track the position of the vehicle 10 according to the tracking method to be adopted, with the center of the specified lane as the initial position of the vehicle 10. For example, the tracking unit 26 obtains the estimated position of the vehicle by using the odometry information from the acquisition time of the initial position to the update time of the next vehicle position, and determines a plurality of candidate positions centered on the estimated position. For each candidate position, the vehicle marking line represented by the map information included in the shooting range by the camera 2 from the candidate position may be projected on the image by the camera 2 according to the equation (2). Then, the tracking unit 26 may calculate the degree of restoration of each lane marking line and the map for each candidate position, and set the candidate position where the average value of the degree of restoration is maximum as the position of the next vehicle 10.
図８は、車両位置検出処理の動作フローチャートである。車両位置検出システム１は、所定の周期ごとに、例えば、カメラ２の撮影周期ごとに、以下に示す動作フローチャートに従って自車両の位置を推定する。 FIG. 8 is an operation flowchart of the vehicle position detection process. The vehicle position detection system 1 estimates the position of its own vehicle according to the operation flowchart shown below for each predetermined cycle, for example, for each shooting cycle of the camera 2.
候補位置設定部２１は、GPSの測位信号に基づいて基準点を設定し、基準点を中心とする探索円と重なる車線ごとに、複数の候補位置を設定する（ステップＳ１０１）。 The candidate position setting unit 21 sets a reference point based on the GPS positioning signal, and sets a plurality of candidate positions for each lane overlapping the search circle centered on the reference point (step S101).
投影部２２は、候補位置ごとに、地図情報に表された、その候補位置からのカメラ２の撮影範囲内に含まれる各車線区画線を現画像上へ投影する（ステップＳ１０２）。 For each candidate position, the projection unit 22 projects each lane marking line within the shooting range of the camera 2 from the candidate position, which is represented in the map information, onto the current image (step S102).
一致度算出部２３は、各候補位置から見た、車線区画線に含まれる地図線分ごとの正規化相互相関値に基づいて、候補位置ごとに、車線区画線ごとの復元率を算出する（ステップＳ１０３）。さらに、一致度算出部２３は、候補位置ごとに、各車線区画線の復元率の平均値を算出する（ステップＳ１０４）。そして一致度算出部２３は、車線ごとに、その車線上の各候補位置における復元率の平均値を平均化して、地図と現画像との一致度を算出する（ステップＳ１０５）。 The matching degree calculation unit 23 calculates the restoration rate for each lane marking line for each candidate position based on the normalized cross-correlation value for each map line segment included in the lane marking line as seen from each candidate position ( Step S103). Further, the coincidence degree calculation unit 23 calculates the average value of the restoration rate of each lane marking line for each candidate position (step S104). Then, the matching degree calculation unit 23 averages the average value of the restoration rate at each candidate position on the lane for each lane, and calculates the matching degree between the map and the current image (step S105).
投票部２４は、各車線の一致度のうちの最大値に対応する車線について、所定の投票値をそれ以前の投票値の総和に加算して、投票値の総和を更新する（ステップＳ１０６）。 The voting unit 24 adds a predetermined voting value to the sum of the voting values before that for the lane corresponding to the maximum value of the matching degree of each lane, and updates the sum of the voting values (step S106).
走行車線判定部２５は、各車線の投票値の総和に基づいて、符号検定による判定値を算出する（ステップＳ１０７）。そして走行車線判定部２５は、その判定値が所定の有意水準に相当する値よりも大きいか否か判定する（ステップＳ１０８）。 The traveling lane determination unit 25 calculates the determination value by the code test based on the sum of the voting values of each lane (step S107). Then, the traveling lane determination unit 25 determines whether or not the determination value is larger than the value corresponding to the predetermined significance level (step S108).
判定値が所定の有意水準に相当する値以下である場合（ステップＳ１０８−Ｎｏ）、候補位置設定部２１は、各候補位置を更新する（ステップＳ１０９）。そして制御部４３は、ステップＳ１０２以降の処理を繰り返す。 When the determination value is equal to or less than the value corresponding to the predetermined significance level (step S108-No), the candidate position setting unit 21 updates each candidate position (step S109). Then, the control unit 43 repeats the processes after step S102.
一方、判定値が所定の有意水準に相当する値よりも大きい場合（ステップＳ１０８−Ｙｅｓ）、走行車線判定部２５は、投票値の総和の最大値に対応する車線を車両１０が走行していると判定する（ステップＳ１１０）。そして追跡部２６は、その判定結果に基づいて、以降の車両１０の位置を追跡する（ステップＳ１１１）。そして制御部４３は、車両１０の位置の追跡が必要無くなるまで、例えば、車両１０のエンジンが停止されるまで、ステップＳ１１２の処理を所定の周期で実行すればよい。 On the other hand, when the determination value is larger than the value corresponding to the predetermined significance level (step S108-Yes), the vehicle 10 is traveling in the lane corresponding to the maximum value of the sum of the voting values in the traveling lane determination unit 25. (Step S110). Then, the tracking unit 26 tracks the position of the subsequent vehicle 10 based on the determination result (step S111). Then, the control unit 43 may execute the process of step S112 at a predetermined cycle until the position of the vehicle 10 is no longer required to be tracked, for example, until the engine of the vehicle 10 is stopped.
以上説明してきたように、この車両位置検出システムは、所定周期ごとに、車両についての各候補位置について、地図情報に表された車線区画線を現画像に投影して一致度合いを調べ、車線ごとに、各候補位置における一致度合いから、最も確からしい車線に投票する。そしてこの車両位置検出システムは、特定の車線について投票値の総和が他の車線の投票値の総和に対して有意に大きい場合に、その特定の車線を車両が走行していると判定する。そのため、この車両位置検出システムは、車両が走行中の車線を正確に検出できる。 As described above, this vehicle position detection system projects the lane markings shown in the map information on the current image for each candidate position for the vehicle at predetermined intervals to check the degree of agreement, and for each lane. In addition, vote for the most probable lane based on the degree of agreement at each candidate position. Then, this vehicle position detection system determines that the vehicle is traveling in the specific lane when the total of the voting values for the specific lane is significantly larger than the total of the voting values of the other lanes. Therefore, this vehicle position detection system can accurately detect the lane in which the vehicle is traveling.
なお、変形例によれば、走行車線判定部２５は、投票値の総和の最大値が所定値に達したときに、その最大値に対応する車線を車両１０が走行していると判定してもよい。 According to the modified example, when the maximum value of the total sum of the voting values reaches a predetermined value, the traveling lane determination unit 25 determines that the vehicle 10 is traveling in the lane corresponding to the maximum value. May be good.
また他の変形例によれば、一致度算出部２３は、候補位置ごとに、その候補位置について投影された車線区画線ごとに現画像に対する正規化相互相関値を算出し、その正規化相互相関値の平均値を候補位置の確度として算出してもよい。そして一致度算出部２３は、車線ごとに、その車線上の候補位置ごとの確度の平均値または中央値を一致度として算出してもよい。 According to another modification, the matching degree calculation unit 23 calculates a normalized cross-correlation value for the current image for each candidate position and each lane marking line projected for the candidate position, and the normalized cross-correlation value is calculated. The average value of the values may be calculated as the accuracy of the candidate position. Then, the matching degree calculation unit 23 may calculate the average value or the median value of the accuracy for each candidate position on the lane as the matching degree for each lane.
さらに他の変形例によれば、投影部２２は、地図情報に表され、候補位置から見たカメラ２の撮影範囲内にある、車線区画線以外の線も、現画像上に投影してもよい。そして一致度算出部２３は、その線についても、車線区画線と同様に復元率を算出し、その復元率を用いて、車線ごとの一致度を算出してもよい。 According to still another modification, the projection unit 22 may project a line other than the lane marking line, which is represented by the map information and is within the shooting range of the camera 2 as seen from the candidate position, on the current image. Good. Then, the coincidence degree calculation unit 23 may calculate the restoration rate for the line as well as the lane marking line, and use the restoration rate to calculate the agreement degree for each lane.
上記の実施形態または変形例による車両位置検出システムから出力された自車両の位置は、例えば、ＣＡＮ３を介して運転支援システムの制御回路（図示せず）へ送信される。運転支援システムの制御回路は、例えば、自車両の位置とその周囲の情報とを比較して、自車両から所定距離範囲内に特定の構造物（例えば、高速道路の料金所、ナビゲーション中の経路において左折または右折が必要な交差点など）が有れば、車内に設置されたディスプレイまたはスピーカを介して、その構造物が近いことをドライバに通知する。あるいは、運転支援システムの制御回路は、ＥＣＵ１１に、速度を落とす命令を出力してもよい。 The position of the own vehicle output from the vehicle position detection system according to the above embodiment or modification is transmitted to a control circuit (not shown) of the driving support system via, for example, CAN3. The control circuit of the driving support system compares, for example, the position of the own vehicle with the information around it, and within a predetermined distance range from the own vehicle, a specific structure (for example, a toll gate on a highway, a route during navigation) If there is an intersection that requires a left or right turn, etc.), the driver is notified that the structure is near via a display or speaker installed in the vehicle. Alternatively, the control circuit of the driving support system may output a command to reduce the speed to the ECU 11.
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, those skilled in the art can make various changes within the scope of the present invention according to the embodiment.
１ 車両位置検出システム
２ カメラ
３ コントロールエリアネットワーク（ＣＡＮ）
４ コントローラ（車両位置検出装置）
１０ 車両
１１ ＥＣＵ
４１ 記憶部
４２ 通信部
４３ 制御部
２１ 候補位置設定部
２２ 投影部
２３ 一致度算出部
２４ 投票部
２５ 走行車線判定部
２６ 追跡部
1 Vehicle position detection system 2 Camera 3 Control area network (CAN)
4 Controller (Vehicle position detector)
10 Vehicle 11 ECU
41 Storage unit 42 Communication unit 43 Control unit 21 Candidate position setting unit 22 Projection unit 23 Matching degree calculation unit 24 Voting unit 25 Driving lane determination unit 26 Tracking unit
Claims (6)
所定の周期ごとに、車両（１０）の現時刻における位置の複数の候補のそれぞれについて、当該位置の候補における、前記車両（１０）に搭載された撮像部（２）の撮影範囲に含まれる前記道路上に標示される少なくとも一つの線を前記地図情報から抽出し、抽出した前記少なくとも一つの線を、当該位置の候補にしたがって前記撮像部（２）により得られた現時刻の画像に投影する投影部（２２）と、
所定の周期ごとに、前記道路上の複数の車線のそれぞれについて、前記位置の複数の候補のうちの当該車線上の１以上の位置の候補のそれぞれについて、当該位置の候補における投影された前記少なくとも一つの線と前記画像との相関度を算出し、前記道路上の複数の車線のそれぞれについて、当該車線上の前記１以上の位置の候補のそれぞれについて算出された前記相関度に基づいて当該車線についての前記地図情報と前記画像との一致度を算出する一致度算出部（２３）と、
所定の周期ごとに、前記複数の車線のうちの前記一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、前記車線ごとの投票値の総和を更新する投票部（２４）と、
前記車線ごとの前記投票値の総和のうち、当該投票値の総和の最大値に対応する車線を前記車両（１０）が走行していると判定する走行車線判定部（２５）と、
を有することを特徴とする車両位置検出装置。 A storage unit (41) that stores map information indicating the position of a line marked on the road, and
Each of the plurality of candidates for the position of the vehicle (10) at the current time is included in the imaging range of the imaging unit (2) mounted on the vehicle (10) in the candidate for the position at a predetermined cycle. At least one line marked on the road is extracted from the map information, and the extracted at least one line is projected onto the image at the current time obtained by the imaging unit (2) according to the candidate for the position. Projection unit (22) and
Every predetermined period, for each of a plurality of lanes on the road, for each of the candidate of one or more locations on the travel lane of the plurality of candidates for the position, at least the projected in a candidate of the position The degree of correlation between one line and the image is calculated, and for each of the plurality of lanes on the road, the lane is calculated based on the degree of correlation calculated for each of the candidates at one or more positions on the lane. The matching degree calculation unit (23) for calculating the matching degree between the map information and the image of the above, and
Voting to update the total voting value for each lane by adding a predetermined voting value to the total voting value for the lane having the maximum degree of matching among the plurality of lanes at a predetermined cycle. Part (24) and
Of the total sum of the voting values for each lane, the traveling lane determination unit (25) that determines that the vehicle (10) is traveling in the lane corresponding to the maximum value of the total sum of the voting values.
A vehicle position detecting device characterized by having.
所定の周期ごとに、前記道路上の複数の車線のそれぞれについて、前記位置の複数の候補のうちの当該車線上の１以上の位置の候補のそれぞれについて、当該位置の候補における投影された前記少なくとも一つの線と前記画像との相関度を算出し、前記道路上の複数の車線のそれぞれについて、当該車線上の前記１以上の位置の候補のそれぞれについて算出された前記相関度に基づいて当該車線についての前記地図情報と前記画像との一致度を算出するステップと、
所定の周期ごとに、前記複数の車線のうちの前記一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、前記車線ごとの投票値の総和を更新するステップと、
前記車線ごとの前記投票値の総和のうち、当該投票値の総和の最大値に対応する車線を前記車両（１０）が走行していると判定するステップと、
を含むことを特徴とする車両位置検出方法。 Every predetermined period, for each of a plurality of candidate positions at the current time of the vehicle (10), in a candidate of the position, Ru is included in the imaging range of the imaging unit mounted on the vehicle (10) (2) projecting the at least one line is marked on the road path extracted from the map information, the extracted at least one line, the current time of the image obtained by the image pickup unit according to the candidate of the position (2) When,
Every predetermined period, for each of a plurality of lanes on the road, for each of the candidate of one or more locations on the travel lane of the plurality of candidates for the position, at least the projected in a candidate of the position The degree of correlation between one line and the image is calculated, and for each of the plurality of lanes on the road, the lane is calculated based on the degree of correlation calculated for each of the candidates for one or more positions on the lane. and wherein the step of calculating a degree of matching with the map information and the image for,
A step of updating the total voting value for each lane by adding a predetermined voting value to the total voting value for the lane having the maximum degree of coincidence among the plurality of lanes at a predetermined cycle. When,
Of the sum of the voting values for each lane, the step of determining that the vehicle (10) is traveling in the lane corresponding to the maximum value of the sum of the voting values.
A vehicle position detection method comprising.
所定の周期ごとに、前記道路上の複数の車線のそれぞれについて、前記位置の複数の候補のうちの当該車線上の１以上の位置の候補のそれぞれについて、当該位置の候補における投影された前記少なくとも一つの線と前記画像との相関度を算出し、前記道路上の複数の車線のそれぞれについて、当該車線上の前記１以上の位置の候補のそれぞれについて算出された前記相関度に基づいて当該車線についての前記地図情報と前記画像との一致度を算出するステップと、
所定の周期ごとに、前記複数の車線のうちの前記一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、前記車線ごとの投票値の総和を更新するステップと、
前記車線ごとの前記投票値の総和のうち、当該投票値の総和の最大値に対応する車線を前記車両（１０）が走行していると判定するステップと、
を前記車両（１０）に搭載されたプロセッサ（４３）に実行させる命令を含むことを特徴とする車両位置検出用コンピュータプログラム。 Every predetermined period, for each of a plurality of candidate positions at the current time of the vehicle (10), in a candidate of the position, Ru is included in the imaging range of the imaging unit mounted on the vehicle (10) (2) projecting the at least one line is marked on the road path extracted from the map information, the extracted at least one line, the current time of the image obtained by the image pickup unit according to the candidate of the position (2) When,
Every predetermined period, for each of a plurality of lanes on the road, for each of the candidate of one or more locations on the travel lane of the plurality of candidates for the position, at least the projected in a candidate of the position The degree of correlation between one line and the image is calculated, and for each of the plurality of lanes on the road, the lane is calculated based on the degree of correlation calculated for each of the candidates for one or more positions on the lane. and wherein the step of calculating a degree of matching with the map information and the image for,
A step of updating the total voting value for each lane by adding a predetermined voting value to the total voting value for the lane having the maximum degree of coincidence among the plurality of lanes at a predetermined cycle. When,
Of the sum of the voting values for each lane, the step of determining that the vehicle (10) is traveling in the lane corresponding to the maximum value of the sum of the voting values.
A computer program for detecting a vehicle position, which includes an instruction to be executed by a processor (43) mounted on the vehicle (10).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016219795A JP6758160B2 (en) | 2016-11-10 | 2016-11-10 | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016219795A JP6758160B2 (en) | 2016-11-10 | 2016-11-10 | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018077162A JP2018077162A (en) | 2018-05-17 |
| JP6758160B2 true JP6758160B2 (en) | 2020-09-23 |
Family
ID=62150233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016219795A Active JP6758160B2 (en) | 2016-11-10 | 2016-11-10 | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6758160B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020004817A1 (en) * | 2018-06-26 | 2020-01-02 | 에스케이텔레콤 주식회사 | Apparatus and method for detecting lane information, and computer-readable recording medium storing computer program programmed to execute same method |
| US11227168B2 (en) * | 2019-01-08 | 2022-01-18 | Qualcomm Incorporated | Robust lane association by projecting 2-D image into 3-D world using map information |
| JP6988873B2 (en) | 2019-11-18 | 2022-01-05 | トヨタ自動車株式会社 | Position estimation device and computer program for position estimation |
| CN112945207B (en) * | 2021-02-24 | 2021-11-26 | 上海商汤临港智能科技有限公司 | Target positioning method and device, electronic equipment and storage medium |
| CN112884837B (en) * | 2021-03-16 | 2023-06-20 | 百度在线网络技术（北京）有限公司 | Road positioning method, device, equipment and storage medium |
| CN113447033B (en) * | 2021-05-17 | 2023-03-14 | 山东科技大学 | Lane-level map matching method and system |
| CN115346397B (en) * | 2022-07-18 | 2023-06-23 | 岚图汽车科技有限公司 | Traffic flow positioning passing method, system, storage medium and equipment |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09292249A (en) * | 1996-04-26 | 1997-11-11 | Denso Corp | Vehicle navigation system |
| JP2005004442A (en) * | 2003-06-11 | 2005-01-06 | Matsushita Electric Ind Co Ltd | Traveling lane discriminating device |
| JP4292250B2 (en) * | 2004-07-02 | 2009-07-08 | トヨタ自動車株式会社 | Road environment recognition method and road environment recognition device |
| JP4665581B2 (en) * | 2004-12-10 | 2011-04-06 | トヨタ自動車株式会社 | Direction change support system |
| JP4914592B2 (en) * | 2005-09-05 | 2012-04-11 | クラリオン株式会社 | Navigation device |
| JP4985166B2 (en) * | 2007-07-12 | 2012-07-25 | トヨタ自動車株式会社 | Self-position estimation device |
| WO2013133129A1 (en) * | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object |
| JP6278790B2 (en) * | 2014-03-31 | 2018-02-14 | 株式会社デンソーアイティーラボラトリ | Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system |
-
2016
- 2016-11-10 JP JP2016219795A patent/JP6758160B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018077162A (en) | 2018-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6758160B2 (en) | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection | |
| US11669102B2 (en) | Navigating a vehicle based on a detected barrier | |
| US10696227B2 (en) | Determining a road surface characteristic | |
| JP7157054B2 (en) | Vehicle navigation based on aligned images and LIDAR information | |
| US11200433B2 (en) | Detection and classification systems and methods for autonomous vehicle navigation | |
| EP3008708B1 (en) | Vision augmented navigation | |
| WO2021227645A1 (en) | Target detection method and device | |
| US8452103B2 (en) | Scene matching reference data generation system and position measurement system | |
| JP5157067B2 (en) | Automatic travel map creation device and automatic travel device. | |
| JP2019525148A (en) | Crowdsourcing and distribution of sparse maps and lane measurements for autonomous vehicle navigation | |
| JP6552448B2 (en) | Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection | |
| JP6278791B2 (en) | Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system | |
| JP2019099138A (en) | Lane-keep auxiliary method and device | |
| US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
| KR20180067199A (en) | Apparatus and method for recognizing object | |
| US20230106644A1 (en) | Systems and methods for detecting vehicle wheel slips | |
| JP2018048949A (en) | Object recognition device | |
| JP6834401B2 (en) | Self-position estimation method and self-position estimation device | |
| US20230117253A1 (en) | Ego motion-based online calibration between coordinate systems | |
| US20220404170A1 (en) | Apparatus, method, and computer program for updating map | |
| JP2010176592A (en) | Driving support device for vehicle | |
| JP7025293B2 (en) | Vehicle position estimation device | |
| WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
| JP7334489B2 (en) | Position estimation device and computer program | |
| US20220307840A1 (en) | Apparatus, method, and computer program for identifying road being traveled |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6758160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |