JP2018077162A - Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection - Google Patents
Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection Download PDFInfo
- Publication number
- JP2018077162A JP2018077162A JP2016219795A JP2016219795A JP2018077162A JP 2018077162 A JP2018077162 A JP 2018077162A JP 2016219795 A JP2016219795 A JP 2016219795A JP 2016219795 A JP2016219795 A JP 2016219795A JP 2018077162 A JP2018077162 A JP 2018077162A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lane
- line
- image
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、車両に搭載されたカメラにより撮影された画像と地図を利用してその車両の位置を検出する車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムに関する。 The present invention relates to a vehicle position detection device, a vehicle position detection method, and a vehicle position detection computer program that detect the position of a vehicle using an image and a map taken by a camera mounted on the vehicle.
従来より、ナビゲーションまたは運転支援のために、Global Positioning System(GPS)信号を利用して、走行中の自車両の位置を検出することが行われている。しかし、車両の近くに、高層建築物など、GPSの測位衛星からの測位信号を遮る構造物が存在する場合、車両において測位信号を受信することが困難となり、自車両の位置を正確に検出できないことがあった。そこで、車載カメラにより撮影された、車両周囲の画像と、事前に準備された地図などの情報とを対応付けることで、自車両の位置の検出精度を向上させる方法が提案されている（例えば、特許文献１〜３及び非特許文献１及び２を参照）。 2. Description of the Related Art Conventionally, for navigation or driving assistance, a position of the host vehicle while traveling is detected using a Global Positioning System (GPS) signal. However, when there is a structure that blocks the positioning signal from the GPS positioning satellite, such as a high-rise building, near the vehicle, it becomes difficult to receive the positioning signal in the vehicle, and the position of the host vehicle cannot be detected accurately. There was a thing. Therefore, a method for improving the accuracy of detecting the position of the host vehicle by associating an image of the surroundings of the vehicle, which is captured by the in-vehicle camera, with information such as a map prepared in advance has been proposed (for example, a patent). References 1-3 and Non-Patent References 1 and 2).
例えば、特許文献１に記載の位置測位装置は、車両の前方を撮影する撮影手段により撮影した画像の中にある道路標示に基づいて現在位置を特定する。 For example, the position positioning device described in Patent Document 1 specifies the current position based on a road marking in an image captured by an imaging unit that captures the front of the vehicle.
また、特許文献２に記載された移動体位置測定装置は、地図上の参照地点付近で移動体に搭載された撮像部が撮影して得た画像から抽出した特徴情報と、地図の参照地点付近の画像から抽出した特徴情報とをマッチングして推定した参照地点付近の複数の特徴の位置に応じて移動体の現在位置を推定する。 In addition, the moving body position measuring device described in Patent Document 2 includes feature information extracted from an image captured by an imaging unit mounted on a moving body in the vicinity of a reference point on the map, and the vicinity of the reference point on the map. The current position of the moving object is estimated in accordance with the positions of a plurality of features near the reference point estimated by matching with the feature information extracted from the image.
また、特許文献３に記載された方法は、車両の進行方向の画像データに対してテンプレートマッチングを適用することで、画像内で識別された光学指標に関して車両の位置を決定する。 Moreover, the method described in Patent Document 3 determines the position of the vehicle with respect to the optical index identified in the image by applying template matching to the image data in the traveling direction of the vehicle.
さらに、非特許文献１に記載された方法は、縁石及び道路標示を表す線分含む地図とステレオカメラにより得られた画像から抽出された特徴点とのマッチングにより、自車両の位置を検出する。 Furthermore, the method described in Non-Patent Document 1 detects the position of the host vehicle by matching a map including line segments representing curbs and road markings and feature points extracted from an image obtained by a stereo camera.
しかし、特許文献１に記載の装置は、撮影時の環境の影響などにより、道路標示の特徴点の検出が困難な場合、自車両の位置を正確に特定できないおそれがある。特に、特許文献１に記載の装置は、道路標示の端点などを特徴点として抽出し、その特徴点を用いて車両の現在位置を求めるので、道路標示の経年劣化などにより、道路標示の端点がわずかに掠れるだけでも抽出された特徴点の位置がずれてしまい、自車両の位置の検出精度の低下を招いてしまう。 However, the device described in Patent Document 1 may not be able to accurately identify the position of the host vehicle when it is difficult to detect feature points of road markings due to environmental influences during shooting. In particular, the device described in Patent Document 1 extracts a road marking end point or the like as a feature point, and uses the feature point to determine the current position of the vehicle. Even if it is slightly drowned, the position of the extracted feature point is shifted, and the detection accuracy of the position of the host vehicle is lowered.
また、特許文献２に記載の装置は、地図の参照地点付近で撮影された画像を自車両の位置の特定に利用するが、参照地点の付近の建物の建て替え、あるいは、撮影時の環境（例えば、天候、撮影時間帯など）によって、同じ場所について撮影された画像であっても、事前登録時に撮影された画像に写っている景色と、自車両位置の検出時に撮影された画像に写っている景色は大きく異なることがある。このような場合、画像間のマッチングに失敗する可能性が高くなり、そのため、自車両の位置を正確に特定できないおそれがある。 The device described in Patent Document 2 uses an image photographed in the vicinity of a reference point on a map for specifying the position of the host vehicle, but rebuilding a building near the reference point or an environment at the time of photographing (for example, , Weather, shooting time, etc.), even if the image was taken at the same location, it appears in the scene taken in the image taken at the time of pre-registration and in the image taken when the vehicle position was detected The scenery can vary greatly. In such a case, there is a high possibility that matching between images will fail, and therefore the position of the host vehicle may not be accurately identified.
さらに、特許文献３に記載の方法は、テンプレートマッチングを利用している。テンプレートマッチングでは、比較対象となる画像とテンプレート間の位置を変えつつ、繰り返しマッチング演算する必要が有るため、自車両の位置の検出に要する演算量が多い。また、非特許文献１に記載の方法は、車両の位置を追跡する際の車両の初期位置として、GPSの測位信号に基づいて複数回測定された位置を平均したものを使用している。そのため、この方法は、車両が移動している場合には、初期位置を正しく設定できないので使用することができない。 Furthermore, the method described in Patent Document 3 uses template matching. In template matching, since it is necessary to repeatedly perform matching calculation while changing the position between the image to be compared and the template, a large amount of calculation is required for detecting the position of the host vehicle. The method described in Non-Patent Document 1 uses an average of positions measured a plurality of times based on GPS positioning signals as the initial position of the vehicle when tracking the position of the vehicle. Therefore, this method cannot be used when the vehicle is moving because the initial position cannot be set correctly.
そこで、本発明は、自車両の位置を正確に検出できる車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムを提供することを目的とする。 Accordingly, an object of the present invention is to provide a vehicle position detection device, a vehicle position detection method, and a vehicle position detection computer program that can accurately detect the position of the host vehicle.
請求項１の記載によれば、本発明の一つの形態として、車両位置検出装置が提供される。この車両位置検出装置は、道路上に標示される線の位置を表す地図情報を記憶する記憶部（４１）と、所定の周期ごとに、車両（１０）の現時刻における位置の複数の候補のそれぞれについて、その位置の候補における、車両（１０）に搭載された撮像部（２）の撮影範囲に含まれる道路上に標示される少なくとも一つの線を地図情報から抽出し、抽出した少なくとも一つの線を、その位置の候補にしたがって撮像部（２）により得られた現時刻の画像に投影する投影部（２２）と、所定の周期ごとに、道路上の複数の車線のそれぞれについて、複数の候補のうちのその車線上の候補についての投影された少なくとも一つの線と画像との相関度に基づいて地図情報と画像との一致度を算出する一致度算出部（２３）と、所定の周期ごとに、複数の車線のうちの一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、車線ごとの投票値の総和を更新する投票部（２４）と、車線ごとの投票値の総和のうち、投票値の総和の最大値に対応する車線を車両（１０）が走行していると判定する走行車線判定部（２５）と、を有する。
本発明による車両位置検出装置は、上記の構成を有することにより、自車両の位置を正確に検出できる。
According to the first aspect of the present invention, a vehicle position detecting device is provided as one aspect of the present invention. The vehicle position detection device includes a storage unit (41) that stores map information indicating the position of a line marked on a road, and a plurality of candidate positions at the current time of the vehicle (10) for each predetermined period. For each position candidate, at least one line marked on the road included in the imaging range of the imaging unit (2) mounted on the vehicle (10) is extracted from the map information, and at least one extracted A projection unit (22) that projects a line onto an image at the current time obtained by the imaging unit (2) according to the position candidate, and a plurality of lanes on the road for each predetermined cycle A degree of coincidence calculation unit (23) for calculating a degree of coincidence between the map information and the image based on the degree of correlation between the projected image and at least one of the candidates on the lane, and a predetermined period For each The voting unit (24) for updating the sum of the vote values for each lane by adding a predetermined vote value to the sum of the vote values for the lane having the highest degree of coincidence among the lanes, and the vote for each lane A traveling lane determining unit (25) that determines that the vehicle (10) is traveling in the lane corresponding to the maximum value of the total of the vote values among the sum of the values;
The vehicle position detection device according to the present invention can accurately detect the position of the host vehicle by having the above-described configuration.
また請求項２の記載によれば、走行車線判定部（２５）は、複数の車線のそれぞれについての投票値の総和のうちの最大値と、他の車線の投票値の総和とに有意差がある場合に、投票値の総和の最大値に対応する車線を車両（１０）が走行していると判定することが好ましい。
この構成を有することで、車両位置検出装置は、車両が走行している車線をより正確に検出できる。
According to the second aspect of the present invention, the traveling lane determination unit (25) has a significant difference between the maximum value of the sum of the vote values for each of the plurality of lanes and the sum of the vote values of the other lanes. In some cases, it is preferable to determine that the vehicle (10) is traveling in the lane corresponding to the maximum value of the total vote value.
By having this configuration, the vehicle position detection device can more accurately detect the lane in which the vehicle is traveling.
また請求項３の記載によれば、車両位置検出装置は、所定の周期ごとに、車両（１０）に搭載され、車両（１０）の位置を測定する位置測定部により測定された車両（１０）の位置に基づいて車両（１０）の位置の複数の候補を設定する候補位置設定部（２１）をさらに有することが好ましい。
この構成を有することで、車両位置検出装置は、適切に車両位置の候補を設定できるので、車両が走行している車線の検出精度を向上できる。
According to a third aspect of the present invention, the vehicle position detection device is mounted on the vehicle (10) at every predetermined period, and the vehicle (10) measured by the position measuring unit that measures the position of the vehicle (10). It is preferable to further include a candidate position setting unit (21) for setting a plurality of candidates for the position of the vehicle (10) based on the position of the vehicle.
With this configuration, the vehicle position detection device can appropriately set candidate vehicle positions, so that the detection accuracy of the lane in which the vehicle is traveling can be improved.
さらに、請求項４の記載によれば、一致度算出部（２３）は、車両（１０）の位置の複数の候補のそれぞれについて、相関度と、道路上に標示される線の検出確率との関係に従って、投影された少なくとも一つの線のそれぞれについて検出確率を算出し、投影された少なくとも一つの線のそれぞれの検出確率の平均値を算出し、道路上の複数の車線のそれぞれについて、複数の候補のうちのその車線上の候補についての検出確率の平均値をさらに平均化することで一致度を算出することが好ましい。
この構成を有することで、車両位置検出装置は、投影された各線について画像上の対応する線と一致しているほど、一致度を高くすることができるので、車両が走行している車線の検出精度を向上できる。
Further, according to the fourth aspect of the present invention, the coincidence degree calculation unit (23) calculates, for each of the plurality of candidates for the position of the vehicle (10), the degree of correlation and the detection probability of the line marked on the road. According to the relationship, a detection probability is calculated for each of the projected at least one line, an average value of the detection probabilities for each of the projected at least one line is calculated, and a plurality of lanes on the road are calculated. It is preferable to calculate the degree of coincidence by further averaging the average value of detection probabilities for candidates on the lane among the candidates.
By having this configuration, the vehicle position detection device can increase the degree of coincidence as the projected line matches the corresponding line on the image, so the lane in which the vehicle is traveling can be detected. Accuracy can be improved.
請求項５の記載によれば、本発明の他の形態として、車両位置検出方法が提供される。この車両位置検出方法は、所定の周期ごとに、車両（１０）の現時刻における位置の複数の候補のそれぞれについて、その位置の候補における、車両（１０）に搭載された撮像部（２）の撮影範囲に含まれる道路上に標示される少なくとも一つの線を地図情報から抽出し、抽出した少なくとも一つの線を、その位置の候補にしたがって撮像部（２）により得られた現時刻の画像に投影するステップと、所定の周期ごとに、道路上の複数の車線のそれぞれについて、複数の候補のうちのその車線上の候補についての投影された少なくとも一つの線と画像との相関度に基づいて地図情報と画像との一致度を算出するステップと、所定の周期ごとに、複数の車線のうちの一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、車線ごとの投票値の総和を更新するステップと、車線ごとの投票値の総和のうち、投票値の総和の最大値に対応する車線を車両（１０）が走行していると判定するステップと、を含む。
本発明による車両位置検出方法は、上記の構成を有することにより、自車両の位置を正確に検出できる。
According to the fifth aspect of the present invention, as another embodiment of the present invention, a vehicle position detection method is provided. In this vehicle position detection method, for each of a plurality of candidates for a position at the current time of the vehicle (10) for each predetermined period, the imaging unit (2) mounted on the vehicle (10) in the position candidate. At least one line marked on the road included in the shooting range is extracted from the map information, and the extracted at least one line is converted into an image at the current time obtained by the imaging unit (2) according to the position candidate. Projecting and, for each of a plurality of lanes on the road, for each predetermined period, based on a degree of correlation between at least one projected line and an image of the candidates on the lane among the plurality of candidates The step of calculating the degree of coincidence between the map information and the image and the predetermined vote value is added to the sum of the vote values for the lane having the maximum degree of coincidence among a plurality of lanes for each predetermined period. The step of updating the sum of the vote values for each lane and the step of determining that the vehicle (10) is traveling in the lane corresponding to the maximum value of the sum of the vote values among the sum of the vote values for each lane. And including.
The vehicle position detection method according to the present invention can accurately detect the position of the host vehicle by having the above-described configuration.
請求項６の記載によれば、本発明のさらに他の形態として、車両位置検出用コンピュータプログラムが提供される。この車両位置検出用コンピュータプログラムは、所定の周期ごとに、車両（１０）の現時刻における位置の複数の候補のそれぞれについて、その位置の候補における、車両（１０）に搭載された撮像部（２）の撮影範囲に含まれる道路上に標示される少なくとも一つの線を地図情報から抽出し、抽出した少なくとも一つの線を、その位置の候補にしたがって撮像部（２）により得られた現時刻の画像に投影するステップと、所定の周期ごとに、道路上の複数の車線のそれぞれについて、複数の候補のうちのその車線上の候補についての投影された少なくとも一つの線と画像との相関度に基づいて地図情報と画像との一致度を算出するステップと、所定の周期ごとに、複数の車線のうちの一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、車線ごとの投票値の総和を更新するステップと、車線ごとの投票値の総和のうち、投票値の総和の最大値に対応する車線を車両（１０）が走行していると判定するステップと、を車両（１０）に搭載されたプロセッサ（４３）に実行させる命令を含む。
本発明による車両位置検出用コンピュータプログラムは、上記の構成を有することにより、自車両の位置を正確に検出できる。
According to the sixth aspect of the present invention, a vehicle position detection computer program is provided as still another aspect of the present invention. The computer program for detecting the vehicle position has an imaging unit (2) mounted on the vehicle (10) at each position candidate for each of a plurality of positions at the current time of the vehicle (10) for each predetermined period. ) At least one line marked on the road included in the shooting range is extracted from the map information, and the extracted at least one line of the current time obtained by the imaging unit (2) according to the position candidate is extracted. Projecting on the image, and for each of a plurality of lanes on the road, for each predetermined period, the degree of correlation between the projected at least one line of the candidates on the lane of the plurality of candidates and the image A step of calculating the degree of coincidence between the map information and the image based on the predetermined value, and a predetermined total number of voting values for the lane having the highest degree of coincidence among a plurality of lanes for each predetermined period. The vehicle (10) travels in the lane corresponding to the maximum sum of the vote values among the step of updating the sum of the vote values for each lane by adding the vote values and the sum of the vote values for each lane. And a command to cause the processor (43) mounted on the vehicle (10) to execute.
The computer program for detecting a vehicle position according to the present invention can accurately detect the position of the host vehicle by having the above configuration.
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。 The reference numerals in parentheses attached to the above-described parts are examples that show the correspondence with specific means described in the embodiments described later.
以下、図を参照しつつ、車両位置検出システムについて説明する。
この車両位置検出システムは、GPS等により得られる、車線の幅よりも測定誤差が大きい可能性がある車両の位置の測定情報に基づいて、車両位置検出システムが搭載された車両が走行している車線を判定する。その際、この車両位置検出システムは、車両の位置の測定情報から想定される車両位置の候補ごとに、その位置の候補から見た、地図情報に表された車線区画線を、実際に車両に搭載されたカメラにより得られた画像上に投影して、車線ごとに地図と画像との間で一致度を算出する。またこの車両位置検出システムは、車線ごとの一致度のうちの最大となる車線を特定し、特定された車線に投票する。この車両位置検出システムは、所定周期で上記の処理を行って、車線ごとに算出される投票値の総和のうちの最大値が他の車線についての投票値の総和に対して有意差が生じた場合に、その最大値に対応する車線を車両が走行していると判定する。
Hereinafter, the vehicle position detection system will be described with reference to the drawings.
In this vehicle position detection system, a vehicle on which the vehicle position detection system is mounted is running based on measurement information on the position of the vehicle, which is obtained by GPS or the like and may have a measurement error larger than the lane width. Determine the lane. At this time, this vehicle position detection system actually uses the lane markings shown in the map information as seen from the position candidates for each vehicle position candidate assumed from the vehicle position measurement information. Projecting on the image obtained by the mounted camera, the degree of coincidence is calculated between the map and the image for each lane. In addition, this vehicle position detection system identifies the lane that is the maximum of the degree of coincidence for each lane, and votes for the identified lane. In this vehicle position detection system, the above processing is performed at a predetermined cycle, and the maximum value of the total sum of the vote values calculated for each lane is significantly different from the total sum of the vote values for the other lanes. In this case, it is determined that the vehicle is traveling in the lane corresponding to the maximum value.
図１は、一つの実施形態による車両位置検出システムの概略構成図である。図１に示すように、車両位置検出システム１は、車両１０に搭載され、カメラ２と、コントローラ４とを有する。カメラ２と、コントローラ４とは、コントロールエリアネットワーク（以下、ＣＡＮという）３によって互いに接続されている。なお、図１では、説明の都合のため、車両位置検出システム１の各構成要素及び車両１０の形状、サイズ及び配置は、実際のものとは異なっている。 FIG. 1 is a schematic configuration diagram of a vehicle position detection system according to one embodiment. As shown in FIG. 1, the vehicle position detection system 1 is mounted on a vehicle 10 and includes a camera 2 and a controller 4. The camera 2 and the controller 4 are connected to each other by a control area network (hereinafter referred to as CAN) 3. In FIG. 1, for convenience of explanation, each component of the vehicle position detection system 1 and the shape, size, and arrangement of the vehicle 10 are different from actual ones.
カメラ２は、撮像部の一例であり、車両１０の前方領域を撮影し、その前方領域の画像を生成する。そのために、カメラ２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に車両１０の前方に存在する地面または構造物などの像を結像する結像光学系を有する。そしてカメラ２は、例えば、結像光学系の光軸が地面に対して略平行となり、かつ車両１０の前方を向くように、車両１０の車室内に配置される。そしてカメラ２は、一定の時間間隔（例えば1/30秒）ごとに撮影し、車両１０の前方領域を撮影したカラー画像を生成する。なお、カメラ２は、近赤外光に感度を有する２次元検出器を有し、その撮像範囲内の近赤外光の照度に応じたモノクロ画像を生成してもよい。 The camera 2 is an example of an imaging unit, captures a front area of the vehicle 10, and generates an image of the front area. For this purpose, the camera 2 includes a two-dimensional detector composed of an array of photoelectric conversion elements having sensitivity to visible light, such as CCD or C-MOS, and the ground existing in front of the vehicle 10 on the two-dimensional detector. Alternatively, an imaging optical system that forms an image of a structure or the like is included. The camera 2 is disposed in the vehicle interior of the vehicle 10 such that the optical axis of the imaging optical system is substantially parallel to the ground and faces the front of the vehicle 10, for example. The camera 2 captures images at regular time intervals (for example, 1/30 second), and generates a color image capturing the front area of the vehicle 10. Note that the camera 2 may include a two-dimensional detector having sensitivity to near infrared light, and generate a monochrome image corresponding to the illuminance of the near infrared light within the imaging range.
図２は、地図座標系と、車両座標系と、カメラ座標系の関係を示す図である。本実施形態では、便宜上、地図上の任意の位置を原点とする地図座標系(Xm, Ym, Zm)と、車両１０を原点とする車両座標系(Xv, Yv, Zv)と、カメラ２を原点とするカメラ座標系(Xc, Yc, Zc)を利用する。本実施形態では、車両座標系(Xv, Yv, Zv)は、車両１０の左右の後輪間の中点かつ地面上の点を原点とする。そして車両の進行方向をZv軸とし、Zv軸と直交し、かつ、地面に平行な方向をXv軸とし、鉛直方向をYv軸とする。また地図座標系(Xm, Ym, Zm)においても、傾きの無い地面に平行な面内にXm軸及びZm軸が設定され、その地面に対する鉛直方向にYm軸が設定される。また、カメラ座標系(Xc, Yc, Zc)では、説明の簡単化のために、車両座標系の原点から鉛直方向に沿って上方かつカメラ２が設置される高さの位置に撮像面の中心があると仮定して、その撮像面の中心を原点とする。そして車両座標系と同様に、車両１０の進行方向をZc軸とし、Zc軸と直交し、かつ、地面に平行な方向をXc軸とし、鉛直方向をYc軸とする。
なお、実際にカメラ２が取り付けられる位置は、車両１０の左右の後輪間の中点の上方からずれていることもあるが、このずれは、単純な平行移動によって補正すればよい。
FIG. 2 is a diagram illustrating the relationship among the map coordinate system, the vehicle coordinate system, and the camera coordinate system. In this embodiment, for convenience, a map coordinate system (Xm, Ym, Zm) having an arbitrary position on the map as an origin, a vehicle coordinate system (Xv, Yv, Zv) having the vehicle 10 as an origin, and the camera 2 are provided. Use the camera coordinate system (Xc, Yc, Zc) as the origin. In this embodiment, the vehicle coordinate system (Xv, Yv, Zv) has a midpoint between the left and right rear wheels of the vehicle 10 and a point on the ground as the origin. The traveling direction of the vehicle is the Zv axis, the direction orthogonal to the Zv axis and parallel to the ground is the Xv axis, and the vertical direction is the Yv axis. In the map coordinate system (Xm, Ym, Zm), the Xm axis and the Zm axis are set in a plane parallel to the ground without inclination, and the Ym axis is set in the vertical direction with respect to the ground. In the camera coordinate system (Xc, Yc, Zc), for the sake of simplicity of explanation, the center of the imaging surface is located above the origin of the vehicle coordinate system along the vertical direction and at a height at which the camera 2 is installed. Assuming that there is, the center of the imaging surface is the origin. Similarly to the vehicle coordinate system, the traveling direction of the vehicle 10 is the Zc axis, the direction orthogonal to the Zc axis and parallel to the ground is the Xc axis, and the vertical direction is the Yc axis.
In addition, although the position where the camera 2 is actually attached may be shifted from above the midpoint between the left and right rear wheels of the vehicle 10, this shift may be corrected by a simple parallel movement.
なお、車両位置検出システム１は、撮像部として、車両１０の前方領域を撮影するカメラの代わりに、あるいはそのカメラとともに、車両の後方領域を撮影するリアカメラを有していてもよい。 The vehicle position detection system 1 may include a rear camera that captures the rear region of the vehicle as an image capturing unit instead of or together with the camera that captures the front region of the vehicle 10.
カメラ２は、生成した画像を逐次コントローラ４へ送信する。なお、車両１０の前方領域を撮影するカメラと車両１０の後方領域を撮影するカメラが取り付けられている場合、コントローラ４は、車両１０が進行している方向を撮影するカメラからの画像のみを選択的に取得してもよい。そのために、コントローラ４は、ＣＡＮ３を介して車両１０の電子制御ユニット(ECU)１１から、シフトレバーのポジションを表すシフトポジション信号を取得する。そしてコントローラ４は、シフトポジション信号が、車両１０が前進することを示すドライブポジジョンなどとなっている場合、車両１０の前方領域を撮影するカメラから画像を取得する。一方、コントローラ４は、シフトポジション信号が、車両１０が後進することを示すリバースポジションとなっている場合、車両１０の後方領域を撮影するカメラから画像を取得する。 The camera 2 sequentially transmits the generated image to the controller 4. In addition, when the camera which image | photographs the front area | region of the vehicle 10 and the camera which image | photographs the back area | region of the vehicle 10 are attached, the controller 4 selects only the image from the camera which image | photographs the direction which the vehicle 10 is advancing. May be acquired automatically. For this purpose, the controller 4 acquires a shift position signal representing the position of the shift lever from the electronic control unit (ECU) 11 of the vehicle 10 via the CAN 3. And the controller 4 acquires an image from the camera which image | photographs the front area | region of the vehicle 10, when the shift position signal becomes the drive position etc. which show that the vehicle 10 moves forward. On the other hand, when the shift position signal is a reverse position indicating that the vehicle 10 moves backward, the controller 4 acquires an image from a camera that captures the rear region of the vehicle 10.
コントローラ４は、車両位置検出装置の一例であり、記憶部４１と、通信部４２と、制御部４３とを有する。記憶部４１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部４１は、車両位置検出システム１を制御するための各種プログラム、地図情報、カメラ２の地面からの高さ及び光軸方向といったカメラの位置情報、結像光学系の焦点距離及び画角といったカメラパラメータなどの各種パラメータ、及び制御部４３による一時的な演算結果などを記憶する。また記憶部４１は、カメラ２の結像光学系による歪曲収差を補正するためのパラメータ、例えば、画素ごとの歪曲収差の補正量（すなわち、歪曲収差を打ち消すための画像上での画素の移動量及び移動方向）を記憶してもよい。 The controller 4 is an example of a vehicle position detection device, and includes a storage unit 41, a communication unit 42, and a control unit 43. The storage unit 41 includes, for example, a semiconductor memory such as an electrically rewritable nonvolatile memory and a volatile memory. The storage unit 41 stores various programs for controlling the vehicle position detection system 1, map information, camera position information such as the height of the camera 2 from the ground and the optical axis direction, the focal length and the angle of view of the imaging optical system. And various parameters such as camera parameters and temporary calculation results by the control unit 43 are stored. Further, the storage unit 41 is a parameter for correcting distortion aberration caused by the imaging optical system of the camera 2, for example, a correction amount of distortion aberration for each pixel (that is, an amount of movement of the pixel on the image for canceling the distortion aberration). And the moving direction) may be stored.
以下、車両位置検出に利用される、地図情報について説明する。
図３（ａ）〜図３（ｄ）は、地図情報の一例を示す図である。図３（ａ）に示される地図情報３００は、その地図情報で表された領域の位置を表す緯度経度情報と関連付けられている。そして地図情報３００は、白線、黄線などで表される車線区画線などの道路上に標示される線３０１に関する情報を含む。
Hereinafter, map information used for vehicle position detection will be described.
Fig.3 (a)-FIG.3 (d) are figures which show an example of map information. The map information 300 shown in FIG. 3A is associated with latitude / longitude information indicating the position of the area represented by the map information. The map information 300 includes information related to the line 301 marked on the road, such as a lane line represented by a white line, a yellow line, or the like.
実際の道路上に標示される線には、複数の種類がある。例えば、図３（ｂ）において点線で示される線３１１は、実線の白線と一方の側に設けられる破線状の減速標示の組み合わせで表される。また図３（ｃ）において点線で示される線３１２は、点線の白線とその両側に設けられる減速標示の組み合わせで表される。また、図３（ｄ）において点線で示される線３１３は、相対的に太い実線の白線のみで表される。このように、道路上に標示される線には、様々な種類のものがある。しかし、地図情報３００では、例えば、それぞれの道路上の線について、一つの実線で表され、線ごとに、その線の種類を表すラベルが付されていることがある。例えば、図３（ｂ）に示される例では、線３１１は、実線３２１と、（白線（細）＋右減速標示）というラベルで表される。また、図３（ｃ）に示される例では、線３１２は、実線３２２と、（白点線（細）＋両側減速標示）というラベルで表される。そして図３（ｄ）に示される例では、線３１３は、実線３２３と、白線（太）というラベルで表される。さらに、地図情報３００では、道路上に標示される各線について、複数の線分に分割され、線分ごとに、その両端点の３次元座標が含まれる。
なお、以下では、地図情報に含まれる、道路上に標示される線を分割した個々の線分を地図線分と呼ぶ。
There are several types of lines that are marked on an actual road. For example, a line 311 indicated by a dotted line in FIG. 3B is represented by a combination of a solid white line and a broken-line deceleration sign provided on one side. A line 312 indicated by a dotted line in FIG. 3C is represented by a combination of a dotted white line and deceleration signs provided on both sides thereof. In addition, a line 313 indicated by a dotted line in FIG. 3D is represented only by a relatively thick solid white line. Thus, there are various types of lines that are marked on the road. However, in the map information 300, for example, a line on each road is represented by one solid line, and a label indicating the type of the line may be attached to each line. For example, in the example shown in FIG. 3B, the line 311 is represented by a solid line 321 and a label of (white line (thin) + right deceleration marking). In the example shown in FIG. 3C, the line 312 is represented by a solid line 322 and a label of (white dotted line (thin) + both side deceleration marking). In the example shown in FIG. 3D, the line 313 is represented by a solid line 323 and a label of a white line (thick). Further, in the map information 300, each line marked on the road is divided into a plurality of line segments, and each line segment includes the three-dimensional coordinates of its end points.
In the following, each line segment obtained by dividing the line marked on the road included in the map information is referred to as a map line segment.
通信部４２は、カメラ２、ＥＣＵ１１及び車輪速センサ（図示せず）などの各種センサとＣＡＮ３を通じて通信する通信インターフェース及びその制御回路を有する。そして通信部４２は、カメラ２から画像を受け取り、その画像を制御部４３へ渡す。また通信部４２は、車両位置の検出処理を実行する周期ごとに、オドメトリ情報として、ＥＣＵ１１から、車両１０の速度及び移動量などを取得したり、あるいは、車輪速センサから車輪速を取得して、制御部４３へ渡す。 The communication unit 42 includes a communication interface that communicates with various sensors such as the camera 2, the ECU 11, and a wheel speed sensor (not shown) through the CAN 3, and a control circuit thereof. The communication unit 42 receives an image from the camera 2 and passes the image to the control unit 43. In addition, the communication unit 42 acquires, as odometry information, the speed and movement amount of the vehicle 10 from the ECU 11 or the wheel speed from the wheel speed sensor for each cycle of executing the vehicle position detection process. To the control unit 43.
制御部４３は、１個もしくは複数個の図示していないプロセッサ及びその周辺回路を有する。そして制御部４３は、車両位置検出システム１全体を制御する。
図４に、制御部４３の機能ブロック図を示す。図４に示すように、制御部４３は、候補位置設定部２１と、投影部２２と、一致度算出部２３と、投票部２４と、走行車線判定部２５と、追跡部２６とを有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
The control unit 43 includes one or a plurality of processors (not shown) and their peripheral circuits. And the control part 43 controls the vehicle position detection system 1 whole.
FIG. 4 shows a functional block diagram of the control unit 43. As shown in FIG. 4, the control unit 43 includes a candidate position setting unit 21, a projection unit 22, a coincidence degree calculation unit 23, a voting unit 24, a traveling lane determination unit 25, and a tracking unit 26. Each of these units included in the control unit 43 is implemented as a functional module realized by a computer program executed on a processor included in the control unit 43, for example.
候補位置設定部２１、投影部２２、一致度算出部２３、投票部２４及び走行車線判定部２５の各部の処理は、車両１０が走行中の車線が判別されるまで、所定の周期で実行される。そして車両１０が走行中の車線が判別すると、追跡部２６が、その判別時における車両１０の位置を初期位置として、それ以降の車両１０の位置を追跡する。なお、所定の周期は、カメラ２による撮影周期と同一でもよく、あるいは、異なっていてもよい。 The processes of the candidate position setting unit 21, the projection unit 22, the coincidence calculation unit 23, the voting unit 24, and the traveling lane determination unit 25 are executed at a predetermined cycle until the lane in which the vehicle 10 is traveling is determined. The When the lane in which the vehicle 10 is traveling is determined, the tracking unit 26 tracks the subsequent position of the vehicle 10 with the position of the vehicle 10 at the time of the determination as the initial position. The predetermined cycle may be the same as the shooting cycle by the camera 2 or may be different.
候補位置設定部２１は、現時点における車両１０の位置の候補（以下、単に候補位置と呼ぶ）を、車両１０が走行中の道路における車線ごとに複数設定する。 The candidate position setting unit 21 sets a plurality of current position candidates of the vehicle 10 (hereinafter simply referred to as candidate positions) for each lane on the road on which the vehicle 10 is traveling.
候補位置設定部２１は、GPSによる最新の測位信号から求められる自車両の位置を、例えば、ナビゲーションシステムから取得し、その位置に基づいて複数の候補位置を設定する。なお、候補位置設定部２１は、自車両の位置を測定できる他のセンサからの情報に基づいて候補位置を設定してもよい。 The candidate position setting unit 21 acquires the position of the host vehicle obtained from the latest positioning signal by GPS, for example, from the navigation system, and sets a plurality of candidate positions based on the positions. The candidate position setting unit 21 may set the candidate position based on information from other sensors that can measure the position of the host vehicle.
GPSの測位信号には誤差が含まれるので、その測位信号は、車両１０が走行中の車線を特定できるほどの精度を有さない。特に、車両１０の近傍に、高層建築物など、測位信号の受信を妨げる構造物が存在すると、車両１０の位置の推定精度はさらに低下する。 Since the GPS positioning signal includes an error, the positioning signal does not have such an accuracy that the vehicle 10 can identify the lane in which the vehicle 10 is traveling. In particular, if there is a structure in the vicinity of the vehicle 10 that prevents the reception of positioning signals, such as a high-rise building, the estimation accuracy of the position of the vehicle 10 further decreases.
図５は、GPSの測位信号から求められた車両の位置の一例を示す図である。図５における各点５０１は、車両が道路５０２上を走行したときのGPSの測位信号から求められた車両の位置を表す。各点５０１と道路５０２との位置関係に示されるように、GPSの測位信号から求められた車両の位置は、道路５０２の幅方向全体にわたって分布しており、また、道路５０２から外れていることもある。このように、GPSの測位信号が、車両１０が走行中の車線を特定できるほどの精度を有さないことが分かる。 FIG. 5 is a diagram illustrating an example of the position of the vehicle obtained from the GPS positioning signal. Each point 501 in FIG. 5 represents the position of the vehicle obtained from the GPS positioning signal when the vehicle traveled on the road 502. As shown in the positional relationship between each point 501 and the road 502, the position of the vehicle obtained from the GPS positioning signal is distributed over the entire width direction of the road 502 and deviated from the road 502. There is also. Thus, it can be seen that the GPS positioning signal is not accurate enough to identify the lane in which the vehicle 10 is traveling.
そこで、本実施形態では、候補位置設定部２１は、GPSによる最新の測位信号から推定される自車両の位置の近傍において、地図情報に示される車線ごとに複数の候補位置を設定する。そのために、候補位置設定部２１は、先ず、GPSによる最新の測位信号から推定される自車両の位置を、その位置に最も近い車線の中心線へ射影した点を基準点として算出する。そして候補位置設定部２１は、基準点を中心とする所定範囲内に、車線ごとに複数の候補位置を設定する。 Therefore, in the present embodiment, the candidate position setting unit 21 sets a plurality of candidate positions for each lane indicated in the map information in the vicinity of the position of the host vehicle estimated from the latest positioning signal by GPS. For this purpose, the candidate position setting unit 21 first calculates a point obtained by projecting the position of the host vehicle estimated from the latest positioning signal by GPS onto the center line of the lane closest to the position as a reference point. The candidate position setting unit 21 sets a plurality of candidate positions for each lane within a predetermined range centered on the reference point.
図６は、GPSの測位信号から推定される自車両の位置と、設定される候補位置の関係の一例を示す図である。GPSの測位信号から推定される自車両の位置６０１を、地図情報に示される二つの車線６１１、６１２のうち、近い方の車線６１１へ射影した点、すなわち、車線６１１の中央線と、位置６０１から車線６１１の中央線への垂線との交点が、基準点６０２として設定される。そして基準点６０２を中心とする、所定の半径r（例えば、10m〜20m）の探索円６０３が設定される。そして探索円６０３と重なる車線ごとに、複数の候補位置６０４が設定される。 FIG. 6 is a diagram illustrating an example of the relationship between the position of the host vehicle estimated from the GPS positioning signal and the set candidate position. The point where the position 601 of the host vehicle estimated from the GPS positioning signal is projected to the nearest lane 611 of the two lanes 611 and 612 indicated in the map information, that is, the center line of the lane 611 and the position 601. The intersection point with the perpendicular to the center line of the lane 611 is set as the reference point 602. Then, a search circle 603 having a predetermined radius r (for example, 10 m to 20 m) centered on the reference point 602 is set. A plurality of candidate positions 604 are set for each lane overlapping the search circle 603.
具体的に、候補位置設定部２１は、下記のように候補位置を設定する。
着目する車線（以下、車線Lと呼ぶ）についてi番目の候補位置を設定する際、候補位置設定部２１は、探索園内の車線Lの中央線上に、ランダムに位置X'i L=[x'i L, y'i L, θ'i L]を設定する。なお、(x'i L, y'i L)は、地図情報に示される地図上の位置を表す地図座標系での車線Lの中央線上の位置X'i Lの座標値を表す。またθ'i Lは、位置(x'i L, y'i L)における、地図座標系での中央線の方向を表す。候補位置設定部２１は、位置X'i L=に対して誤差εを加算することで、候補位置Xi L(=X'i L+ε)を設定する。ここで誤差εは、一般に車両が一つの車線内を走行する際の、車線の中央線に対する法線方向の分散と、車両の向きと中央線とがなす方位角の分散を用いて表される正規分布に従って、個々の候補位置を設定する度に算出される。なお、この正規分布における、車線の中央線に対する法線方向の標準偏差は、例えば、0.4〜0.6mに設定され、方位角の標準偏差は、例えば、0.05°〜0.2°に設定される。
Specifically, the candidate position setting unit 21 sets candidate positions as follows.
When setting the i-th candidate position for the lane of interest (hereinafter referred to as lane L), the candidate position setting unit 21 randomly positions X ′ i L = [x ′ on the center line of the lane L in the search garden. i L , y ′ i L , θ ′ i L ] are set. Note that (x ′ i L , y ′ i L ) represents the coordinate value of the position X ′ i L on the center line of the lane L in the map coordinate system representing the position on the map indicated by the map information. Θ ′ i L represents the direction of the center line in the map coordinate system at the position (x ′ i L , y ′ i L ). Candidate position setting unit 21 sets candidate position X i L (= X ′ i L + ε) by adding error ε to position X ′ i L =. Here, the error ε is generally expressed by using the dispersion in the normal direction with respect to the center line of the lane and the dispersion of the azimuth angle between the vehicle direction and the center line when the vehicle travels in one lane. It is calculated each time an individual candidate position is set according to a normal distribution. In this normal distribution, the standard deviation in the normal direction with respect to the center line of the lane is set to, for example, 0.4 to 0.6 m, and the standard deviation of the azimuth is set to, for example, 0.05 ° to 0.2 °.
候補位置設定部２１は、探索円と重なる車線ごとに、所定個数(例えば、100個〜1000個)の候補位置を設定する。そして候補位置設定部２１は、各候補位置を記憶部４１に保存する。なお、以下では、車線Lについて設定された候補位置の集合をχL={Xi L|i=1,2,...,I}と表記する。なお、Iは、車線Lについて設定される候補位置の総数である。 The candidate position setting unit 21 sets a predetermined number (for example, 100 to 1000) of candidate positions for each lane that overlaps the search circle. The candidate position setting unit 21 stores each candidate position in the storage unit 41. In the following, a set of candidate positions set for the lane L is represented as χ L = {X i L | i = 1, 2,..., I}. Note that I is the total number of candidate positions set for the lane L.
さらに、候補位置設定部２１は、前回の試行時に設定された複数の候補位置の中から選択した候補位置に基づいて、新たな候補位置を設定してもよい。この場合、候補位置設定部２１は、候補位置ごとに算出される、後述する車線区画線ごとの復元度の平均値が高い候補位置ほど多く選択されるように、復元度の平均値に基づいて、候補位置をルーレット選択してもよい。その際、候補位置設定部２１は、例えば、候補位置の総数の1/10程度の候補位置を選択する。 Further, the candidate position setting unit 21 may set a new candidate position based on a candidate position selected from a plurality of candidate positions set at the previous trial. In this case, the candidate position setting unit 21 is calculated based on the average value of the degree of restoration so that the candidate positions having higher average values of the degree of restoration for each lane line, which will be described later, are selected more frequently. The candidate position may be roulette selected. At that time, the candidate position setting unit 21 selects, for example, candidate positions about 1/10 of the total number of candidate positions.
候補位置設定部２１は、選択された候補位置のそれぞれについて、次式に従って、その候補位置に基づいて新たな候補位置Xi Lを設定する。
なお、候補位置設定部２１は、設定される候補位置の総数が初回と同様、I個となるように、前回の候補位置に基づいて新たに設定された候補位置とともに、上記と同様に、GPSの測位信号に基づいて複数の候補位置を設定すればよい。
For each of the selected candidate positions, the candidate position setting unit 21 sets a new candidate position X i L based on the candidate position according to the following equation.
It should be noted that the candidate position setting unit 21 determines that the total number of candidate positions to be set is I as well as the first time, together with the candidate positions newly set based on the previous candidate positions, A plurality of candidate positions may be set based on the positioning signal.
投影部２２は、候補位置ごとに、その候補位置からのカメラ２の仮想の撮影範囲内に含まれる、地図情報に表された各車線区画線をカメラ２により現時刻に得られた画像（以下、現画像と呼ぶ）上へ投影する。なお、車両位置検出処理の実行周期とカメラ２による撮影周期とが同期していない場合には、カメラ２により得られた最新の画像を、現画像とすればよい。 The projection unit 22 includes, for each candidate position, an image obtained by the camera 2 at each of the lane markings indicated in the map information included in the virtual shooting range of the camera 2 from the candidate position (hereinafter referred to as the lane marking). , Called the current image). If the execution cycle of the vehicle position detection process and the shooting cycle by the camera 2 are not synchronized, the latest image obtained by the camera 2 may be the current image.
すなわち、投影部２２は、候補位置の周囲の所定範囲（例えば、30m以内）、かつ、候補位置を基準としたカメラ２の撮影範囲内にある少なくとも一つの車線区画線を地図情報から抽出し、抽出した各車線区画線を現画像上に投影する。その際、投影部２２は、抽出した各車線区画線のうち、カメラ２の撮影範囲内にある地図線分について、その地図線分上、及びその地図線分の周囲のそれぞれに、所定個数（例えば、50〜100）以上の点を現画像上に投影することが好ましい。これにより、後述するように、地図線分ごとの一致度合を表す正規化相互相関値が正確に算出される。 In other words, the projection unit 22 extracts from the map information at least one lane line within a predetermined range (for example, within 30 m) around the candidate position and within the shooting range of the camera 2 with the candidate position as a reference, Each extracted lane marking is projected onto the current image. At that time, the projection unit 22 has a predetermined number (for each of the extracted lane markings on the map line segment and around the map line segment within the shooting range of the camera 2). For example, it is preferable to project 50-100) or more points on the current image. Thereby, as will be described later, a normalized cross-correlation value representing the degree of coincidence for each map line segment is accurately calculated.
図７は、画像上に投影される車線区画線の一例を示す図である。この例では、候補位置７００に対応する撮影範囲７１０と、３本の車線区画線７０１〜７０３とが重なっている。そのため、車線区画線７０１〜７０３に含まれる地図線分のうち、撮影範囲７１０に含まれる地図線分が現画像上に投影される。 FIG. 7 is a diagram illustrating an example of lane markings projected on an image. In this example, the imaging range 710 corresponding to the candidate position 700 and the three lane markings 701 to 703 overlap. Therefore, among the map line segments included in the lane markings 701 to 703, the map line segment included in the shooting range 710 is projected on the current image.
地図座標系で表される地図上の点pm=(xm,ym,zm)と画像上の点uc=(u,v)との関係は、次式で表される。
並進行列tvm= (xvm,yvm,zvm)は、車両座標系から地図座標系への座標変換における平行移動成分を表す。そしてh(pc,kc)は、カメラ座標系における点pc=(xc,yc,zc)からカメラ２により得られる画像上の点ucとの関係を表し、kcは、カメラ座標系から画像への変換パラメータを表す。カメラ２の歪曲収差を無視できる場合、h(pc,kc)は、次式で表される。
投影部２２は、（２）式に従って、投影対象となる地図線分上、または地図線分の周囲の各点をカメラ２により得られる現画像上に投影する。その際、投影部２２は、地図線分が含まれる車線区画線の種類に応じて各点の輝度値を設定する。なお、車線区画線の種類は、上述したように、地図情報に含まれる。 The projection unit 22 projects each point on or around the map line segment to be projected onto the current image obtained by the camera 2 according to the expression (2). In that case, the projection part 22 sets the luminance value of each point according to the kind of lane line containing a map line segment. Note that the types of lane markings are included in the map information as described above.
例えば、車線区画線が白線の実線である場合、投影部２２は、車線区画線上に位置する点が投影される現画像上の位置の輝度値を、車線区画線外に位置する点が投影される現画像上の位置の輝度値よりも高くする。また、車線区画線が黄線の実線である場合、投影部２２は、車線区画線上に位置する点が投影される現画像上の位置の輝度値を、白線の場合よりも低くしてもよい。さらに、車線区画線が点線である場合には、投影部２２は、車線区画線上に位置する点が投影される現画像上の位置の輝度値として、白または黄のブロックが表示される部分の長さと、ブロック間の間隔との比率に応じて、そのブロックに相当する輝度値か、ブロック外に相当する輝度値を設定すればよい。 For example, when the lane line is a solid white line, the projection unit 22 projects the luminance value at the position on the current image where the point located on the lane line is projected, and the point located outside the lane line. Higher than the luminance value at the position on the current image. Further, when the lane line is a solid yellow line, the projection unit 22 may lower the luminance value at the position on the current image where the point located on the lane line is projected as compared to the white line. . Further, when the lane line is a dotted line, the projection unit 22 displays a white or yellow block as a luminance value at a position on the current image where a point located on the lane line is projected. A luminance value corresponding to the block or a luminance value corresponding to the outside of the block may be set according to the ratio between the length and the interval between the blocks.
一致度算出部２３は、車線ごとに、地図情報に表された地図と現画像との一致度を算出する。本実施形態では、一致度算出部２３は、各候補位置について、投影された車線区画線ごとに、その車線区画線に含まれる地図線分ごとの正規化相互相関値を算出する。そして一致度算出部２３は、車線区画線ごとに、その車線区画線に含まれる各地図線分についての正規化相互相関値の平均値を算出する。一致度算出部２３は、車線区画線ごとに、正規化相互相関値の平均値から近似的に車線区画線が検出された確率を表す復元率を算出し、各車線区画線の復元率を平均する。そして一致度算出部２３は、車線ごとに、その車線内に含まれる候補位置ごとの復元率の平均値をさらに平均化することで一致度を算出する。これにより、一致度算出部２３は、複数の車線区画線のうちの何れか一つについてのみ高い相関性があり、他の車線区画線についてはそれほど相関性がないような車線について一致度が過度に高くなることを抑制できるので、車線ごとの一致度を正確に算出できる。
以下、一致度算出の処理の詳細について説明する。
The degree of coincidence calculation unit 23 calculates the degree of coincidence between the map represented in the map information and the current image for each lane. In the present embodiment, the degree-of-match calculation unit 23 calculates, for each candidate position, a normalized cross-correlation value for each map line segment included in the lane line for each projected lane line. Then, the degree of coincidence calculation unit 23 calculates, for each lane line, the average value of normalized cross-correlation values for each map line segment included in the lane line. The degree-of-matching calculation unit 23 calculates, for each lane line, a restoration rate that represents the probability that the lane line has been detected approximately from the average value of the normalized cross-correlation values, and averages the restoration rate of each lane line. To do. Then, the degree of coincidence calculation unit 23 calculates the degree of coincidence by further averaging the average value of the restoration rates for each candidate position included in the lane for each lane. As a result, the coincidence degree calculation unit 23 has an excessive degree of coincidence for a lane that has a high correlation only with respect to any one of a plurality of lane markings and that does not have a significant correlation with respect to other lane markings. Therefore, the degree of coincidence for each lane can be accurately calculated.
The details of the degree-of-match calculation processing will be described below.
まず、一致度算出部２３は、各候補位置について、投影された車線区画線ごとに、その車線区画線に含まれる地図線分ごとの地図と現画像間の正規化相互相関値を算出する。その際、一致度算出部２３は、地図線分ごとに、その地図線分を含むマッチング領域を地図上で設定する。なお、マッチング領域は、例えば、地図線分の延伸方向に沿って地図線分と同じ長さとなり、地図線分の法線方向に沿って地図線分の幅の所定倍（例えば、2〜4倍）の幅を持つ領域とすることができる。そして一致度算出部２３は、マッチング領域に含まれる、現画像上に投影された各点の輝度値と、現画像上の対応点の輝度値とに基づいて正規化相互相関値を算出すればよい。 First, the coincidence calculation unit 23 calculates, for each candidate position, a normalized cross-correlation value between the map and the current image for each map line segment included in the lane line for each projected lane line. At that time, the matching degree calculation unit 23 sets a matching area including the map line segment on the map for each map line segment. The matching area has, for example, the same length as the map line segment along the extension direction of the map line segment, and a predetermined multiple of the width of the map line segment along the normal direction of the map line segment (for example, 2 to 4). Double) width. Then, the coincidence calculation unit 23 calculates the normalized cross-correlation value based on the luminance value of each point projected on the current image and the luminance value of the corresponding point on the current image included in the matching region. Good.
なお、以下では、車線L上のi番目の候補位置について、車両区画線h上のj番目の地図線分(j=1,2,...,J、ただしJは、投影される範囲に含まれる、車線区画線hに含まれる地図線分の数を表す)について算出される正規化相互相関値をκL ihjと表記する。例えば、図７において、車線区画線７０１(h=1とする)について、撮影範囲７１０内に３個の地図線分７０１−１〜７０１−３が含まれている。そのため、地図線分７０１−１〜７０１−３のそれぞれについて正規化相互相関値κL i11〜κL i13が算出される。 In the following, for the i-th candidate position on the lane L, the j-th map line segment on the lane marking h (j = 1, 2, ..., J, where J is within the projected range The normalized cross-correlation value calculated for (including the number of map line segments included in the lane marking h included) is denoted as κ L ihj . For example, in FIG. 7, three map line segments 701-1 to 701-3 are included in the shooting range 710 for the lane marking line 701 (h = 1). Therefore, normalized cross-correlation values κ L i11 to κ L i13 are calculated for each of the map line segments 701-1 to 701-3.
次に、一致度算出部２３は、各候補位置について、車線区画線ごとにその車線区画線に含まれる各地図線分についての正規化相互相関値κL ihjの平均値κL ihavgを算出する。その際、一致度算出部２３は、正規化相互相関値κL ihjが所定の閾値(例えば、0.4〜0.6)以上となる地図線分についてのみ、平均値κL ihavgの算出に利用する。これにより、一致度算出部２３は、車線区画線に含まれる何れかの地図線分と、現画像上でのその地図線分に対応する車線区画線の一部とが一致しているにもかかわらず、正規化相互相関値が低くなる場合に平均値κL ihavgが低下してしまうことを抑制できる。なお、例えば、摩耗などにより、現画像上で地図線分の対応部分が見えなくなっていたり、車線区画線が点線を含み、投影に用いた地図線分の横断方向に沿ったパターンと、現画像上の対応位置のパターンとが異なっているような場合に、地図線分と、現画像上でのその地図線分に対応する車線区画線の一部とが一致しているにもかかわらず、正規化相互相関値は低くなることがある。 Next, the coincidence degree calculation unit 23 calculates, for each candidate position, an average value κ L ihavg of normalized cross-correlation values κ L ihj for each map line segment included in the lane line for each lane line. . At that time, the coincidence degree calculation unit 23 uses the average value κ L ihavg only for the map line segment in which the normalized cross-correlation value κ L ihj is equal to or greater than a predetermined threshold (for example, 0.4 to 0.6). As a result, the coincidence calculation unit 23 matches any map line segment included in the lane line with a part of the lane line corresponding to the map line segment on the current image. Regardless, the average value κ L ihavg can be prevented from decreasing when the normalized cross-correlation value decreases. Note that, for example, the corresponding portion of the map line segment is not visible on the current image due to wear or the like, or the lane marking includes a dotted line, and the pattern along the transverse direction of the map line segment used for projection and the current image If the pattern of the corresponding position above is different, the map line and the part of the lane line corresponding to that map line in the current image match, The normalized cross correlation value may be low.
なお、車線区画線に含まれる、投影対象となる全ての地図線分について、正規化相互相関値κL ihjが所定の閾値未満となる場合、一致度算出部２３は、その車線区画線についての正規化相互相関値の平均値κL ihavgを0としてもよい。例えば、図７の例では、車線区画線７０１の３個の地図線分７０１−１〜７０１−３のそれぞれの正規化相互相関値κL i11〜κL i13の平均値κL i1avgが算出される。同様に、車線区画線７０２(h=2)、車線区画線７０３(h=3)について、それぞれ、正規化相互相関値の平均値κL i2avg、κL i3avgが算出される。 When the normalized cross-correlation value κ L ihj is less than a predetermined threshold for all map line segments included in the lane line that are to be projected, the coincidence calculation unit 23 calculates the lane line for the lane line. The average value κ L ihavg of normalized cross-correlation values may be set to zero. For example, in the example of FIG. 7, the average value κ L i1avg each normalized cross-correlation value κ L i11 ~κ L i13 three map segments 701-1～701-3 the lane line 701 is calculated The Similarly, average values κ L i2avg and κ L i3avg of normalized cross-correlation values are calculated for the lane line 702 (h = 2) and the lane line 703 (h = 3), respectively.
次に、一致度算出部２３は、各候補位置について、車線区画線ごとに復元率pL ihを算出する。その際、一致度算出部２３は、車線区画線ごとに、その車線区画線について算出された正規化相互相関値の平均値κL ihavgをシグモイド関数に入力することで復元率pL ihを算出する。すなわち、一致度算出部２３は、次式に従って車線区画線ごとの復元率pL ihを算出する。
着目する候補位置が、車両１０が走行中の車線上に設定されている場合、投影された全ての車線区画線のうちの複数について、復元率が高くなると想定される。そこで一致度算出部２３は、候補位置ごとに、その候補位置について投影された車線区画線ごとの復元率pL ihの平均値pL iavgを算出する。なお、一致度算出部２３は、投影された範囲内に含まれる部分の長さが長い車線区画線ほど重くなる重み係数を用いて、車線区画線ごとの復元率pL ihを加重平均することで平均値pL iavgを算出してもよい。図７の例では、車線区画線７０１〜７０３のそれぞれについて算出された復元率pL i1〜pL i3を平均化することで、候補位置７００についての復元率の平均値pL iavgが算出される。 When the candidate position of interest is set on a lane in which the vehicle 10 is traveling, it is assumed that the restoration rate is high for a plurality of all projected lane markings. Therefore, the coincidence calculation unit 23 calculates, for each candidate position, an average value p L iavg of the restoration rate p L ih for each lane line projected for the candidate position. Incidentally, the coincidence degree calculation unit 23 uses the weighting factor the length of the portion included in the projection range becomes heavier longer lane marking, performing weighted averaging the recovery ratio p L ih per lane line The average value p L iavg may be calculated by In the example of FIG. 7, the average restoration rate p L iavg for the candidate position 700 is calculated by averaging the restoration rates p L i1 to p L i3 calculated for each of the lane markings 701 to 703. The
一致度算出部２３は、車線ごとに、その車線上に設定された候補位置ごとの復元率の平均値pL iavgをさらに平均化することで一致度γLを算出する。 The degree of coincidence calculation unit 23 calculates the degree of coincidence γ L by further averaging the average value p L iavg of the restoration rate for each candidate position set on the lane for each lane.
一致度算出部２３は、車線ごとの一致度γLを投票部２４へ通知する。 The coincidence calculation unit 23 notifies the voting unit 24 of the coincidence γ L for each lane.
投票部２４は、車線ごとの一致度γLが算出される度に、一致度γLが最大となる車線を選択し、選択した車線に所定の投票値を投票する。そして投票部２４は、投票された車線について、それまでの投票値の総和に所定の投票値を加算することで、投票値の総和を更新し、更新された投票値の総和を記憶部４１に保存する。なお、所定の投票値は、例えば、'1'、あるいは、その車線についての一致度γLとすることができる。 Each time the degree of coincidence γ L is calculated for each lane, the voting unit 24 selects a lane having the largest degree of coincidence γ L and votes a predetermined vote value on the selected lane. The voting unit 24 adds the predetermined voting value to the total of the voting values so far for the voted lane, thereby updating the total of the voting values and storing the updated total of the voting values in the storage unit 41. save. Note that the predetermined vote value can be, for example, “1” or the matching degree γ L for the lane.
なお、投票部２４は、車両１０の走行車線が変更された場合に、各車線の投票値の総和を0にリセットしてもよい。例えば、投票部２４は、ＥＣＵ１１から得られたオドメトリ情報を参照して、道路の延伸方向に対する車両１０の方位角が所定値以上となる期間が車線変更を実行するのに十分な期間連続すると、車両１０の走行車線が変更されたと判定してもよい。あるいは、投票部２４は、方位角が所定値以上となる期間の長さとともに、あるいは、その長さの代わりに、ウィンカーの操作がなされたか否かにより、車線変更が行われたか否かを判定してもよい。この場合、投票部２４は、例えば、ウィンカーの操作がなされたことをＥＣＵ１１から通知され、かつ、その通知から所定期間の間に、方位角が所定値以上となると、車線変更が行われたと判定してもよい。 The voting unit 24 may reset the sum of the voting values of each lane to 0 when the traveling lane of the vehicle 10 is changed. For example, the voting unit 24 refers to the odometry information obtained from the ECU 11, and if the period in which the azimuth angle of the vehicle 10 with respect to the road extending direction is equal to or greater than a predetermined value continues for a period sufficient to execute the lane change, You may determine with the travel lane of the vehicle 10 having been changed. Alternatively, the voting unit 24 determines whether or not a lane change has been performed according to whether or not a blinker operation has been performed with the length of the period in which the azimuth is equal to or greater than a predetermined value or instead of the length. May be. In this case, for example, the voting unit 24 determines that the lane change has been performed when the ECU 11 is notified that the operation of the blinker has been performed and the azimuth angle is equal to or greater than a predetermined value during the predetermined period from the notification. May be.
走行車線判定部２５は、何れかの車線について投票値の総和が更新される度に、車線ごとの投票値の総和に基づいて、車両１０が走行中の車線を判定する。 The travel lane determination unit 25 determines the lane in which the vehicle 10 is traveling based on the sum of the vote values for each lane each time the sum of the vote values is updated for any lane.
本実施形態では、走行車線判定部２５は、符号検定により、車線ごとの投票値の総和のうちの最大値と、その他との間に有意差がある場合に、その最大値に対応する車線を車両１０が走行していると判断する。すなわち、走行車線判定部２５は、次式に従って判定値Pを算出する。
追跡部２６は、車両１０が走行中の車線が特定されると、その時点以降において、その判定結果を利用して、車両１０の位置、特に、車両１０が走行中の車線を追跡する。そのために、追跡部２６は、車両１０の位置を追跡する様々な手法の何れを利用してもよい。すなわち、追跡部２６は、特定された車線の中心を車両１０の初期位置として、採用する追跡手法に従って車両１０の位置を追跡すればよい。例えば、追跡部２６は、初期位置の取得時刻から次の車両位置の更新時刻までの間のオドメトリ情報を利用して、車両の推定位置を求め、その推定位置を中心とする複数の候補位置を設定し、候補位置ごとに、その候補位置からのカメラ２による撮影範囲に含まれる、地図情報に表された車両区画線を（２）式に従ってカメラ２による画像上に投影してもよい。そして追跡部２６は、候補位置ごとに各車線区画線と地図との復元度を算出し、その復元度の平均値が最大となる候補位置を、次の車両１０の位置とすればよい。 When the lane in which the vehicle 10 is traveling is specified, the tracking unit 26 tracks the position of the vehicle 10, particularly the lane in which the vehicle 10 is traveling, using the determination result after that time. For this purpose, the tracking unit 26 may use any of various methods for tracking the position of the vehicle 10. In other words, the tracking unit 26 may track the position of the vehicle 10 according to the tracking method that is employed with the center of the identified lane as the initial position of the vehicle 10. For example, the tracking unit 26 obtains an estimated position of the vehicle using odometry information between the acquisition time of the initial position and the update time of the next vehicle position, and obtains a plurality of candidate positions centered on the estimated position. For each candidate position, the lane markings represented in the map information included in the shooting range from the candidate position by the camera 2 may be projected on the image by the camera 2 according to the equation (2). Then, the tracking unit 26 may calculate the degree of restoration between each lane line and the map for each candidate position, and set the candidate position where the average value of the degree of restoration is the maximum as the position of the next vehicle 10.
図８は、車両位置検出処理の動作フローチャートである。車両位置検出システム１は、所定の周期ごとに、例えば、カメラ２の撮影周期ごとに、以下に示す動作フローチャートに従って自車両の位置を推定する。 FIG. 8 is an operation flowchart of the vehicle position detection process. The vehicle position detection system 1 estimates the position of the host vehicle at predetermined intervals, for example, at each imaging cycle of the camera 2 according to the following operation flowchart.
候補位置設定部２１は、GPSの測位信号に基づいて基準点を設定し、基準点を中心とする探索円と重なる車線ごとに、複数の候補位置を設定する（ステップＳ１０１）。 The candidate position setting unit 21 sets a reference point based on the GPS positioning signal, and sets a plurality of candidate positions for each lane that overlaps the search circle centered on the reference point (step S101).
投影部２２は、候補位置ごとに、地図情報に表された、その候補位置からのカメラ２の撮影範囲内に含まれる各車線区画線を現画像上へ投影する（ステップＳ１０２）。 For each candidate position, the projection unit 22 projects each lane marking included in the shooting range of the camera 2 from the candidate position, which is represented in the map information, onto the current image (step S102).
一致度算出部２３は、各候補位置から見た、車線区画線に含まれる地図線分ごとの正規化相互相関値に基づいて、候補位置ごとに、車線区画線ごとの復元率を算出する（ステップＳ１０３）。さらに、一致度算出部２３は、候補位置ごとに、各車線区画線の復元率の平均値を算出する（ステップＳ１０４）。そして一致度算出部２３は、車線ごとに、その車線上の各候補位置における復元率の平均値を平均化して、地図と現画像との一致度を算出する（ステップＳ１０５）。 The coincidence calculation unit 23 calculates a restoration rate for each lane line for each candidate position based on the normalized cross-correlation value for each map line segment included in the lane line viewed from each candidate position ( Step S103). Furthermore, the coincidence calculation unit 23 calculates the average value of the restoration rates of the lane markings for each candidate position (step S104). Then, the degree-of-match calculation unit 23 calculates the degree of coincidence between the map and the current image by averaging the average value of the restoration rate at each candidate position on the lane for each lane (step S105).
投票部２４は、各車線の一致度のうちの最大値に対応する車線について、所定の投票値をそれ以前の投票値の総和に加算して、投票値の総和を更新する（ステップＳ１０６）。 The voting unit 24 adds a predetermined voting value to the sum of the previous voting values for the lane corresponding to the maximum value of the degree of coincidence of each lane, and updates the sum of the voting values (step S106).
走行車線判定部２５は、各車線の投票値の総和に基づいて、符号検定による判定値を算出する（ステップＳ１０７）。そして走行車線判定部２５は、その判定値が所定の有意水準に相当する値よりも大きいか否か判定する（ステップＳ１０８）。 The traveling lane determination unit 25 calculates a determination value based on a sign test based on the sum of the vote values of each lane (step S107). Then, the traveling lane determination unit 25 determines whether or not the determination value is larger than a value corresponding to a predetermined significance level (step S108).
判定値が所定の有意水準に相当する値以下である場合（ステップＳ１０８−Ｎｏ）、候補位置設定部２１は、各候補位置を更新する（ステップＳ１０９）。そして制御部４３は、ステップＳ１０２以降の処理を繰り返す。 When the determination value is equal to or less than a value corresponding to a predetermined significance level (No at Step S108), the candidate position setting unit 21 updates each candidate position (Step S109). And the control part 43 repeats the process after step S102.
一方、判定値が所定の有意水準に相当する値よりも大きい場合（ステップＳ１０８−Ｙｅｓ）、走行車線判定部２５は、投票値の総和の最大値に対応する車線を車両１０が走行していると判定する（ステップＳ１１０）。そして追跡部２６は、その判定結果に基づいて、以降の車両１０の位置を追跡する（ステップＳ１１１）。そして制御部４３は、車両１０の位置の追跡が必要無くなるまで、例えば、車両１０のエンジンが停止されるまで、ステップＳ１１２の処理を所定の周期で実行すればよい。 On the other hand, when the determination value is larger than the value corresponding to the predetermined significance level (step S108—Yes), the traveling lane determination unit 25 is traveling in the lane corresponding to the maximum value of the total vote value. (Step S110). Then, the tracking unit 26 tracks the subsequent position of the vehicle 10 based on the determination result (step S111). And the control part 43 should just perform the process of step S112 by a predetermined period until the position tracking of the vehicle 10 becomes unnecessary, for example, until the engine of the vehicle 10 is stopped.
以上説明してきたように、この車両位置検出システムは、所定周期ごとに、車両についての各候補位置について、地図情報に表された車線区画線を現画像に投影して一致度合いを調べ、車線ごとに、各候補位置における一致度合いから、最も確からしい車線に投票する。そしてこの車両位置検出システムは、特定の車線について投票値の総和が他の車線の投票値の総和に対して有意に大きい場合に、その特定の車線を車両が走行していると判定する。そのため、この車両位置検出システムは、車両が走行中の車線を正確に検出できる。 As described above, this vehicle position detection system projects the lane markings shown in the map information on the current image for each candidate position for each vehicle, and checks the degree of coincidence for each lane. Next, the most probable lane is voted based on the degree of coincidence at each candidate position. The vehicle position detection system determines that the vehicle is traveling in the specific lane when the sum of the vote values for the specific lane is significantly larger than the sum of the vote values of the other lanes. Therefore, this vehicle position detection system can accurately detect the lane in which the vehicle is traveling.
なお、変形例によれば、走行車線判定部２５は、投票値の総和の最大値が所定値に達したときに、その最大値に対応する車線を車両１０が走行していると判定してもよい。 Note that, according to the modification, the travel lane determination unit 25 determines that the vehicle 10 is traveling in the lane corresponding to the maximum value when the maximum value of the total vote value reaches a predetermined value. Also good.
また他の変形例によれば、一致度算出部２３は、候補位置ごとに、その候補位置について投影された車線区画線ごとに現画像に対する正規化相互相関値を算出し、その正規化相互相関値の平均値を候補位置の確度として算出してもよい。そして一致度算出部２３は、車線ごとに、その車線上の候補位置ごとの確度の平均値または中央値を一致度として算出してもよい。 According to another modification, the degree-of-match calculation unit 23 calculates a normalized cross-correlation value for the current image for each candidate position and for each lane line projected for the candidate position, and the normalized cross-correlation. The average value may be calculated as the accuracy of the candidate position. Then, the degree of coincidence calculation unit 23 may calculate, for each lane, the average value or median value of the accuracy for each candidate position on the lane as the degree of coincidence.
さらに他の変形例によれば、投影部２２は、地図情報に表され、候補位置から見たカメラ２の撮影範囲内にある、車線区画線以外の線も、現画像上に投影してもよい。そして一致度算出部２３は、その線についても、車線区画線と同様に復元率を算出し、その復元率を用いて、車線ごとの一致度を算出してもよい。 According to still another modified example, the projection unit 22 may project lines other than the lane marking lines, which are represented in the map information and are within the shooting range of the camera 2 viewed from the candidate position, onto the current image. Good. Then, the coincidence calculation unit 23 may calculate the restoration rate for the line as well as the lane marking line, and may calculate the coincidence for each lane using the restoration rate.
上記の実施形態または変形例による車両位置検出システムから出力された自車両の位置は、例えば、ＣＡＮ３を介して運転支援システムの制御回路（図示せず）へ送信される。運転支援システムの制御回路は、例えば、自車両の位置とその周囲の情報とを比較して、自車両から所定距離範囲内に特定の構造物（例えば、高速道路の料金所、ナビゲーション中の経路において左折または右折が必要な交差点など）が有れば、車内に設置されたディスプレイまたはスピーカを介して、その構造物が近いことをドライバに通知する。あるいは、運転支援システムの制御回路は、ＥＣＵ１１に、速度を落とす命令を出力してもよい。 The position of the host vehicle output from the vehicle position detection system according to the above embodiment or modification is transmitted to a control circuit (not shown) of the driving support system via, for example, CAN3. The control circuit of the driving support system compares, for example, the position of the host vehicle and the surrounding information, and within a predetermined distance range from the host vehicle, for example, a specific structure (for example, a highway toll booth, a route being navigated) If there is an intersection that requires a left turn or a right turn, the driver is notified that the structure is near through a display or a speaker installed in the vehicle. Alternatively, the control circuit of the driving support system may output a command to reduce the speed to the ECU 11.
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, those skilled in the art can make various modifications in accordance with the embodiment to be implemented within the scope of the present invention.
１ 車両位置検出システム
２ カメラ
３ コントロールエリアネットワーク（ＣＡＮ）
４ コントローラ（車両位置検出装置）
１０ 車両
１１ ＥＣＵ
４１ 記憶部
４２ 通信部
４３ 制御部
２１ 候補位置設定部
２２ 投影部
２３ 一致度算出部
２４ 投票部
２５ 走行車線判定部
２６ 追跡部
1 Vehicle position detection system 2 Camera 3 Control area network (CAN)
4 Controller (vehicle position detection device)
10 Vehicle 11 ECU
41 storage unit 42 communication unit 43 control unit 21 candidate position setting unit 22 projection unit 23 coincidence calculation unit 24 voting unit 25 driving lane determination unit 26 tracking unit
Claims (6)
所定の周期ごとに、車両（１０）の現時刻における位置の複数の候補のそれぞれについて、当該位置の候補における、前記車両（１０）に搭載された撮像部（２）の撮影範囲に含まれる前記道路上に標示される少なくとも一つの線を前記地図情報から抽出し、抽出した前記少なくとも一つの線を、当該位置の候補にしたがって前記撮像部（２）により得られた現時刻の画像に投影する投影部（２２）と、
所定の周期ごとに、前記道路上の複数の車線のそれぞれについて、前記複数の候補のうちの当該車線上の候補についての投影された前記少なくとも一つの線と前記画像との相関度に基づいて前記地図情報と前記画像との一致度を算出する一致度算出部（２３）と、
所定の周期ごとに、前記複数の車線のうちの前記一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、前記車線ごとの投票値の総和を更新する投票部（２４）と、
前記車線ごとの前記投票値の総和のうち、当該投票値の総和の最大値に対応する車線を前記車両（１０）が走行していると判定する走行車線判定部（２５）と、
を有することを特徴とする車両位置検出装置。 A storage unit (41) for storing map information representing the position of a line marked on the road;
For each of a plurality of position candidates at the current time of the vehicle (10) for each predetermined cycle, the position candidates included in the imaging range of the imaging unit (2) mounted on the vehicle (10). At least one line marked on the road is extracted from the map information, and the extracted at least one line is projected on the image at the current time obtained by the imaging unit (2) according to the position candidate. A projection unit (22);
For each of a plurality of lanes on the road for each predetermined period, based on the degree of correlation between the projected at least one line and the image of the candidates on the lane among the plurality of candidates A degree of coincidence calculation unit (23) for calculating the degree of coincidence between the map information and the image;
A voting for updating the total vote value for each lane by adding a predetermined vote value to the total vote value for the lane having the highest degree of coincidence among the plurality of lanes for each predetermined period. Part (24);
A traveling lane determination unit (25) that determines that the vehicle (10) is traveling in a lane corresponding to the maximum value of the total of the voting values among the total of the voting values for each lane;
A vehicle position detection device comprising:
所定の周期ごとに、前記道路上の複数の車線のそれぞれについて、前記複数の候補のうちの当該車線上の候補についての投影された前記少なくとも一つの線と前記画像との相関度に基づいて前記地図情報と前記画像との一致度を算出するステップと、
所定の周期ごとに、前記複数の車線のうちの前記一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、前記車線ごとの投票値の総和を更新するステップと、
前記車線ごとの前記投票値の総和のうち、当該投票値の総和の最大値に対応する車線を前記車両（１０）が走行していると判定するステップと、
を含むことを特徴とする車両位置検出方法。 For each of a plurality of position candidates at the current time of the vehicle (10) for each predetermined cycle, the position candidates included in the imaging range of the imaging unit (2) mounted on the vehicle (10). Extracting at least one line marked on the road from the map information and projecting the extracted at least one line on the image at the current time obtained by the imaging unit (2) according to the position candidate When,
For each of a plurality of lanes on the road for each predetermined period, based on the degree of correlation between the projected at least one line and the image of the candidates on the lane among the plurality of candidates Calculating the degree of coincidence between the map information and the image;
Updating the total vote value for each lane by adding a predetermined vote value to the total vote value for the lane having the highest degree of coincidence among the plurality of lanes for each predetermined period. When,
A step of determining that the vehicle (10) is traveling in a lane corresponding to a maximum value of the total of the vote values among the total of the vote values for each of the lanes;
The vehicle position detection method characterized by including.
所定の周期ごとに、前記道路上の複数の車線のそれぞれについて、前記複数の候補のうちの当該車線上の候補についての投影された前記少なくとも一つの線と前記画像との相関度に基づいて前記地図情報と前記画像との一致度を算出するステップと、
所定の周期ごとに、前記複数の車線のうちの前記一致度が最大となる車線についての投票値の総和に所定の投票値を加算することで、前記車線ごとの投票値の総和を更新するステップと、
前記車線ごとの前記投票値の総和のうち、当該投票値の総和の最大値に対応する車線を前記車両（１０）が走行していると判定するステップと、
を前記車両（１０）に搭載されたプロセッサ（４３）に実行させる命令を含むことを特徴とする車両位置検出用コンピュータプログラム。 For each of a plurality of position candidates at the current time of the vehicle (10) for each predetermined cycle, the position candidates included in the imaging range of the imaging unit (2) mounted on the vehicle (10). Extracting at least one line marked on the road from the map information and projecting the extracted at least one line on the image at the current time obtained by the imaging unit (2) according to the position candidate When,
For each of a plurality of lanes on the road for each predetermined period, based on the degree of correlation between the projected at least one line and the image of the candidates on the lane among the plurality of candidates Calculating the degree of coincidence between the map information and the image;
Updating the total vote value for each lane by adding a predetermined vote value to the total vote value for the lane having the highest degree of coincidence among the plurality of lanes for each predetermined period. When,
A step of determining that the vehicle (10) is traveling in a lane corresponding to a maximum value of the total of the vote values among the total of the vote values for each of the lanes;
The computer program for vehicle position detection characterized by including the command which makes the processor (43) mounted in the said vehicle (10) execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016219795A JP6758160B2 (en) | 2016-11-10 | 2016-11-10 | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016219795A JP6758160B2 (en) | 2016-11-10 | 2016-11-10 | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018077162A true JP2018077162A (en) | 2018-05-17 |
| JP6758160B2 JP6758160B2 (en) | 2020-09-23 |
Family
ID=62150233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016219795A Active JP6758160B2 (en) | 2016-11-10 | 2016-11-10 | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6758160B2 (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020146102A1 (en) * | 2019-01-08 | 2020-07-16 | Qualcomm Incorporated | Robust lane association by projecting 2-d image into 3-d world using map information |
| CN112189225A (en) * | 2018-06-26 | 2021-01-05 | Sk电信有限公司 | Lane line information detection apparatus, method, and computer-readable recording medium storing computer program programmed to execute the method |
| CN112884837A (en) * | 2021-03-16 | 2021-06-01 | 百度在线网络技术（北京）有限公司 | Road positioning method, device, equipment and storage medium |
| CN113447033A (en) * | 2021-05-17 | 2021-09-28 | 山东科技大学 | Lane-level map matching method and system |
| CN114088061A (en) * | 2021-02-24 | 2022-02-25 | 上海商汤临港智能科技有限公司 | Target positioning method and device, electronic equipment and storage medium |
| US11473912B2 (en) | 2019-11-18 | 2022-10-18 | Toyota Jidosha Kabushiki Kaisha | Location-estimating device and computer program for location estimation |
| CN115346397A (en) * | 2022-07-18 | 2022-11-15 | 岚图汽车科技有限公司 | Traffic flow positioning passing method, system, storage medium and equipment |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09292249A (en) * | 1996-04-26 | 1997-11-11 | Denso Corp | Vehicle navigation system |
| JP2005004442A (en) * | 2003-06-11 | 2005-01-06 | Matsushita Electric Ind Co Ltd | Traveling lane discriminating device |
| JP2006018688A (en) * | 2004-07-02 | 2006-01-19 | Toyota Motor Corp | Road environment recognition method and road environment recognition apparatus |
| JP2006190237A (en) * | 2004-12-10 | 2006-07-20 | Toyota Motor Corp | Direction change supporting system |
| JP2007071579A (en) * | 2005-09-05 | 2007-03-22 | Xanavi Informatics Corp | On-vehicle navigation device and system |
| JP2009020014A (en) * | 2007-07-12 | 2009-01-29 | Toyota Motor Corp | Self-location estimation device |
| WO2013133129A1 (en) * | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object |
| JP2015194373A (en) * | 2014-03-31 | 2015-11-05 | 株式会社デンソーアイティーラボラトリ | Vehicle location detection device, vehicle location detection method, vehicle location detection computer program and vehicle location detection system |
-
2016
- 2016-11-10 JP JP2016219795A patent/JP6758160B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09292249A (en) * | 1996-04-26 | 1997-11-11 | Denso Corp | Vehicle navigation system |
| JP2005004442A (en) * | 2003-06-11 | 2005-01-06 | Matsushita Electric Ind Co Ltd | Traveling lane discriminating device |
| JP2006018688A (en) * | 2004-07-02 | 2006-01-19 | Toyota Motor Corp | Road environment recognition method and road environment recognition apparatus |
| JP2006190237A (en) * | 2004-12-10 | 2006-07-20 | Toyota Motor Corp | Direction change supporting system |
| JP2007071579A (en) * | 2005-09-05 | 2007-03-22 | Xanavi Informatics Corp | On-vehicle navigation device and system |
| JP2009020014A (en) * | 2007-07-12 | 2009-01-29 | Toyota Motor Corp | Self-location estimation device |
| WO2013133129A1 (en) * | 2012-03-06 | 2013-09-12 | 日産自動車株式会社 | Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object |
| JP2015194373A (en) * | 2014-03-31 | 2015-11-05 | 株式会社デンソーアイティーラボラトリ | Vehicle location detection device, vehicle location detection method, vehicle location detection computer program and vehicle location detection system |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112189225A (en) * | 2018-06-26 | 2021-01-05 | Sk电信有限公司 | Lane line information detection apparatus, method, and computer-readable recording medium storing computer program programmed to execute the method |
| CN112189225B (en) * | 2018-06-26 | 2023-03-10 | Sk电信有限公司 | Lane line information detection apparatus, method, and computer-readable recording medium storing computer program programmed to execute the method |
| WO2020146102A1 (en) * | 2019-01-08 | 2020-07-16 | Qualcomm Incorporated | Robust lane association by projecting 2-d image into 3-d world using map information |
| US11227168B2 (en) | 2019-01-08 | 2022-01-18 | Qualcomm Incorporated | Robust lane association by projecting 2-D image into 3-D world using map information |
| US11473912B2 (en) | 2019-11-18 | 2022-10-18 | Toyota Jidosha Kabushiki Kaisha | Location-estimating device and computer program for location estimation |
| CN114088061A (en) * | 2021-02-24 | 2022-02-25 | 上海商汤临港智能科技有限公司 | Target positioning method and device, electronic equipment and storage medium |
| CN114088061B (en) * | 2021-02-24 | 2024-03-22 | 上海商汤临港智能科技有限公司 | Target positioning method and device, electronic equipment and storage medium |
| CN112884837A (en) * | 2021-03-16 | 2021-06-01 | 百度在线网络技术（北京）有限公司 | Road positioning method, device, equipment and storage medium |
| CN113447033A (en) * | 2021-05-17 | 2021-09-28 | 山东科技大学 | Lane-level map matching method and system |
| CN113447033B (en) * | 2021-05-17 | 2023-03-14 | 山东科技大学 | Lane-level map matching method and system |
| CN115346397A (en) * | 2022-07-18 | 2022-11-15 | 岚图汽车科技有限公司 | Traffic flow positioning passing method, system, storage medium and equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6758160B2 (en) | 2020-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6758160B2 (en) | Vehicle position detection device, vehicle position detection method and computer program for vehicle position detection | |
| CN111436216B (en) | Method and system for color point cloud generation | |
| CN107145578B (en) | Map construction method, device, equipment and system | |
| AU2018282302B2 (en) | Integrated sensor calibration in natural scenes | |
| WO2021227645A1 (en) | Target detection method and device | |
| EP3008708B1 (en) | Vision augmented navigation | |
| JP5588812B2 (en) | Image processing apparatus and imaging apparatus using the same | |
| KR102420476B1 (en) | Apparatus and method for estimating location of vehicle and computer recordable medium storing computer program thereof | |
| US8452103B2 (en) | Scene matching reference data generation system and position measurement system | |
| JP5157067B2 (en) | Automatic travel map creation device and automatic travel device. | |
| JP2020525809A (en) | System and method for updating high resolution maps based on binocular images | |
| US10909395B2 (en) | Object detection apparatus | |
| KR102627453B1 (en) | Method and device to estimate position | |
| JP6552448B2 (en) | Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection | |
| KR101880185B1 (en) | Electronic apparatus for estimating pose of moving object and method thereof | |
| US11538241B2 (en) | Position estimating device | |
| JP6278791B2 (en) | Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system | |
| JP2008065087A (en) | Apparatus for creating stationary object map | |
| CN111353453B (en) | Obstacle detection method and device for vehicle | |
| KR20180067199A (en) | Apparatus and method for recognizing object | |
| US20220404170A1 (en) | Apparatus, method, and computer program for updating map | |
| WO2020113425A1 (en) | Systems and methods for constructing high-definition map | |
| WO2022133986A1 (en) | Accuracy estimation method and system | |
| WO2021056185A1 (en) | Systems and methods for partially updating high-definition map based on sensor data matching | |
| CN114120701B (en) | Parking positioning method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200804 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6758160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |