JP2022067908A - Traveling lane determination device and traveling lane determination program - Google Patents
Traveling lane determination device and traveling lane determination program Download PDFInfo
- Publication number
- JP2022067908A JP2022067908A JP2020176771A JP2020176771A JP2022067908A JP 2022067908 A JP2022067908 A JP 2022067908A JP 2020176771 A JP2020176771 A JP 2020176771A JP 2020176771 A JP2020176771 A JP 2020176771A JP 2022067908 A JP2022067908 A JP 2022067908A
- Authority
- JP
- Japan
- Prior art keywords
- traveling
- lane
- determination
- unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012937 correction Methods 0.000 claims abstract description 59
- 230000002093 peripheral effect Effects 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims abstract description 14
- 238000013480 data collection Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 abstract 1
- 238000000034 method Methods 0.000 description 16
- 238000013500 data storage Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Navigation (AREA)
Abstract
Description
本発明は、走行車線判定装置及び走行車線判定プログラムに関する。 The present invention relates to a traveling lane determination device and a traveling lane determination program.
区画線等により構造化された道路を車両等の移動体が走行する際に、当該移動体が走行中の車線を同定することは、ナビゲーションシステム等において有用な情報となる。 When a moving body such as a vehicle travels on a road structured by a lane marking or the like, identifying the lane in which the moving body is traveling is useful information in a navigation system or the like.
また、測位衛星などを用いて取得した自車位置、走行軌跡、自車両周辺の観測結果(白線等の物標検出結果)を用いて、既に存在する地図上における自車の位置を推定するマップマッチング技術が知られている(特許文献1)。 In addition, a map that estimates the position of the vehicle on an existing map using the vehicle position, travel trajectory, and observation results around the vehicle (target detection results such as white lines) acquired using a positioning satellite or the like. A matching technique is known (Patent Document 1).
また、自車の走行中の位置周辺に置いて他の車両等が取得した画像と、自車が撮像した画像とを照合し、自車の走行車線を推定する技術が知られている(特許文献2)。この技術では、照合に用いる画像は、走路全体を俯瞰し車線構成を判別できる画像である必要がある。 Further, there is known a technique of estimating the traveling lane of the own vehicle by collating the image acquired by another vehicle or the like placed around the position where the own vehicle is running with the image taken by the own vehicle (patented). Document 2). In this technique, the image used for collation needs to be an image capable of determining the lane configuration from a bird's-eye view of the entire track.
上記の特許文献1に記載のマップマッチング技術では、既に走路地図が存在する必要があり、新規に地図を生成するような用途には使用できない。
The map matching technique described in
また、上記の特許文献2に記載の技術では、地図情報を必要としないが、車線構成を判別できるような照合用の画像を用いる必要があり、地図情報に準ずる情報を必要とする。
Further, the technique described in
本発明は、上記の事情を鑑みてなされたもので、収集した各走行の走行データから、各走行の走行車線を精度よく判定することができる走行車線判定装置及び走行車線判定プログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides a traveling lane determination device and a traveling lane determination program capable of accurately determining the traveling lane of each traveling from the collected traveling data of each traveling. With the goal.
上記目的を達成するために、本発明の走行車線判定装置は、車両走行時に時系列で得られる、車両の位置姿勢と、車両周辺画像との組み合わせである走行データを収集する走行データ収集部と、車線判定対象領域内の前記走行データの各々について、前記車両周辺画像から路面画像を生成すると共に前記車両周辺画像あるいは路面画像から物標を検出し、前記路面画像及び前記物標の検出結果を含む走行画像データを生成する走行画像データ生成部と、前記走行画像データのペアの各々について、前記物標同士を対応付けて相対位置補正量を算出し、前記相対位置補正量に基づいて、前記ペアについて、走行車線の関係を判定する走行車線関係判定部と、前記走行車線関係判定部による判定結果に基づいて、同一の走行車線について前記走行画像データからなるグループを生成すると共に、前記グループ間の車線関係を判定するグループ判定部と、を含んで構成されている。 In order to achieve the above object, the traveling lane determination device of the present invention includes a traveling data collecting unit that collects traveling data that is a combination of the vehicle position and orientation and the vehicle peripheral image obtained in time series when the vehicle is traveling. For each of the traveling data in the lane determination target area, a road surface image is generated from the vehicle peripheral image, a target is detected from the vehicle peripheral image or the road surface image, and the road surface image and the detection result of the target are obtained. For each of the traveling image data generation unit that generates the traveling image data including the traveling image data and the pair of the traveling image data, the relative position correction amount is calculated by associating the targets with each other, and the relative position correction amount is calculated based on the relative position correction amount. For the pair, a group consisting of the traveling image data is generated for the same traveling lane based on the determination result by the traveling lane relationship determination unit for determining the relationship between the traveling lanes and the traveling lane relationship determination unit, and between the groups. It is configured to include a group determination unit for determining the lane relationship of the above.
本発明に係る走行車線判定プログラムは、コンピュータを、車両走行時に時系列で得られる、車両の位置姿勢と、車両周辺画像との組み合わせである走行データを収集する走行データ収集部、車線判定対象領域内の前記走行データの各々について、前記車両周辺画像から路面画像を生成すると共に前記車両周辺画像あるいは路面画像から物標を検出し、前記路面画像及び前記物標の検出結果を含む走行画像データを生成する走行画像データ生成部、前記走行画像データのペアの各々について、前記物標同士を対応付けて相対位置補正量を算出し、前記相対位置補正量に基づいて、前記ペアについて、走行車線の関係を判定する走行車線関係判定部、及び前記走行車線関係判定部による判定結果に基づいて、同一の走行車線について前記走行画像データからなるグループを生成すると共に、前記グループ間の車線関係を判定するグループ判定部として機能させるためのプログラムである。 The traveling lane determination program according to the present invention is a driving data collecting unit and a lane determination target area for collecting driving data obtained by combining a computer with a vehicle position / orientation and a vehicle peripheral image obtained in time series when the vehicle is traveling. For each of the traveling data in the vehicle, a road surface image is generated from the vehicle peripheral image, a target is detected from the vehicle peripheral image or the road surface image, and the traveling image data including the road surface image and the detection result of the target is obtained. For each of the traveling image data generation unit and the pair of traveling image data to be generated, the relative position correction amount is calculated by associating the targets with each other, and based on the relative position correction amount, the pair is of the traveling lane. Based on the determination result by the traveling lane relationship determination unit for determining the relationship and the determination result by the traveling lane relationship determination unit, a group consisting of the traveling image data is generated for the same traveling lane, and the lane relationship between the groups is determined. This is a program for functioning as a group judgment unit.
本発明によれば、走行データ収集部は、車両走行時に時系列で得られる、車両の位置姿勢と、車両周辺画像との組み合わせである走行データを収集する。走行画像データ生成部は、車線判定対象領域内の前記走行データの各々について、前記車両周辺画像から路面画像を生成すると共に前記車両周辺画像あるいは路面画像から物標を検出し、前記路面画像及び前記物標の検出結果を含む走行画像データを生成する。走行車線関係判定部は、前記走行画像データのペアの各々について、前記物標同士を対応付けて相対位置補正量を算出し、前記相対位置補正量に基づいて、前記ペアについて、走行車線の関係を判定する。そして、グループ判定部は、前記走行車線関係判定部による判定結果に基づいて、同一の走行車線について前記走行画像データからなるグループを生成すると共に、前記グループ間の車線関係を判定する。 According to the present invention, the traveling data collecting unit collects traveling data which is a combination of the position and posture of the vehicle and the vehicle peripheral image obtained in time series when the vehicle is traveling. The traveling image data generation unit generates a road surface image from the vehicle peripheral image for each of the traveling data in the lane determination target area, detects a target from the vehicle peripheral image or the road surface image, and detects the road surface image and the said. Generates running image data including the detection result of the target. The traveling lane relationship determination unit calculates a relative position correction amount for each of the traveling image data pairs by associating the targets with each other, and based on the relative position correction amount, the relationship between the traveling lanes and the pair. To judge. Then, the group determination unit generates a group consisting of the traveling image data for the same traveling lane based on the determination result by the traveling lane relationship determination unit, and determines the lane relationship between the groups.
このように、走行画像データのペアの各々について、前記物標同士を対応付けて相対位置補正量を算出し、前記相対位置補正量に基づいて、前記ペアについて、走行車線の関係を判定し、判定結果に基づいて、同一の走行車線について前記走行画像データからなるグループを生成すると共に、前記グループ間の車線関係を判定することにより、収集した各走行の走行データから、各走行の走行車線を精度よく判定することができる。 In this way, for each pair of traveling image data, the relative position correction amount is calculated by associating the targets with each other, and based on the relative position correction amount, the relationship between the traveling lanes is determined for the pair. Based on the determination result, a group consisting of the traveling image data is generated for the same traveling lane, and the driving lane of each traveling is determined from the collected traveling data by determining the lane relationship between the groups. It can be judged accurately.
なお、本発明のプログラムを記憶する記憶媒体は、特に限定されず、ハードディスクであってもよいし、ROMであってもよい。また、CD-ROMやDVDディスク、光磁気ディスクやICカードであってもよい。更にまた、該プログラムを、ネットワークに接続されたサーバ等からダウンロードするようにしてもよい。 The storage medium for storing the program of the present invention is not particularly limited, and may be a hard disk or a ROM. Further, it may be a CD-ROM, a DVD disc, a magneto-optical disc, or an IC card. Furthermore, the program may be downloaded from a server or the like connected to a network.
以上説明したように、本発明の走行車線判定装置及び走行車線判定プログラムによれば、収集した各走行の走行データから、各走行の走行車線を精度よく判定することができる、という効果が得られる。 As described above, according to the traveling lane determination device and the traveling lane determination program of the present invention, it is possible to obtain the effect that the traveling lane of each traveling can be accurately determined from the collected traveling data of each traveling. ..
<システム構成>
図1に示すように、本発明の実施の形態に係る走行車線判定装置10は、後述する車載器によって生成された走行データを受信するための通信部12と、受信した走行データに基づいて、各走行の走行車線を判定し、出力部16へ出力するコンピュータ14と、を備えている。
<System configuration>
As shown in FIG. 1, the traveling
通信部12は、各車両の車載器で生成された走行データを受信する。走行データは、図2に示す車載器50によって生成される。
The
車載器50は、GPS衛星からの電波を受信するGPS受信部52と、ジャイロセンサ53と、自車両の前方を撮像する撮像装置54と、GPS受信部52によって受信されたGPS衛星からの受信信号、ジャイロセンサ53の出力、及び撮像装置54によって撮像された前方画像に基づいて、測位結果の時系列及び撮像画像の時系列を含む走行データを生成するコンピュータ60と、走行データを走行車線判定装置10へ送信する通信部70とを備えている。
The in-
GPS受信部52は、複数のGPS衛星からの電波を受信して、受信した全てのGPS衛星からの受信信号から、GPS衛星の情報として、GPS衛星の衛星番号、GPS衛星の軌道情報(エフェメリス)、GPS衛星が電波を送信した時刻、受信信号の強度、周波数などを取得し、コンピュータ60に出力する。
The
撮像装置54は、前方画像を繰り返し撮像し、コンピュータ60へ出力する。例えば、自車両が走行中の車線周辺が撮像範囲となる。
The
コンピュータ60を機能ブロックで表すと、図2に示すように、GPS受信部52から、電波を受信した全てのGPS衛星について、GPS衛星の情報を取得すると共に、GPS衛星の情報及びジャイロセンサ53の出力から、各時刻における自車両の位置、方位、車速などの時系列値を取得する測位情報取得部62と、撮像装置54によって各時刻において撮像された前方画像を取得し、取得した前方画像を、鳥瞰図となるように平面に投影した平面画像を生成する画像取得部64と、各時刻における自車両の位置、方位、車速などの時系列値、及び各時刻の平面画像を含む走行データを生成する走行データ生成部66とを備えている。
When the
上記図1に示す、コンピュータ14は、CPU、後述する走行車線判定処理ルーチンを実現するためのプログラムを記憶したROM、データを一時的に記憶するRAM、及びHDD等の記憶装置で構成されている。
The
コンピュータ14を以下で説明する走行車線判定処理ルーチンに従って機能ブロックで表すと、図1に示すように、走行データ収集部20と、走行データ記憶部22と、領域設定部24と、物標検出部26と、走行データ対生成部28と、相対位置補正部30と、相対車線判定部32と、位置関係判定結果修正部34と、整合性判定結果修正部36と、グループ判定部38と、車線構成同定部40とを備えている。なお、物標検出部26は、走行画像データ生成部の一例であり、相対車線判定部32は、走行車線関係判定部の一例であり、グループ判定部38及び車線構成同定部40は、グループ判定部の一例である。
When the
走行データ収集部20は、各車両の車載器50から受信した走行データを収集し、走行データ記憶部22に格納する。
The travel
走行データ記憶部22は、収集した複数の走行データを記憶している。
The travel
領域設定部24は、走行車線を判定する小領域である対象領域を設定する。例えば、100m四方のグリッド状の小領域を対象領域として設定する(図3参照)。
The
物標検出部26は、集約した全走行データの内、設定した対象領域内を通過する走行データに対し、路面画像を生成すると同時に、物標(区画線等)を検出する。具体的には、走行データが収集されたときの車両走行軌跡が、対象領域を通過する走行データを、走行データ記憶部22から取得し、取得した各走行データについて、走行データの各時刻の平面画像を、車両走行軌跡に沿って貼り合わせることにより、路面画像を生成する(図4参照)。なお、車両走行軌跡は、走行データの各時刻の車両位置及び方位から求めてもよいし、各時刻の平面画像に対して予め定められた撮像位置をつなぐことにより求めてもよい。
The
物標検出部26は、車両周辺画像あるいは生成した路面画像から、物標(例えば、区画線や標識、看板、信号)を検出し(図5参照)、生成した路面画像と物標群を含む走行画像データにユニークな走行IDを付与する。対象領域を複数回通過する場合には、それぞれ個別の走行IDが付与される。
The
走行データ対生成部28は、設定した対象領域について生成した、ユニークな走行IDを持つ走行画像データの1対1の走行画像データ対を生成する(図6参照)。
The travel data pair
相対位置補正部30は、走行画像データ対の各々について、物標同士を対応付けて相対位置補正量を算出し、相対位置補正量を用いて、当該走行画像データ対の各走行画像データの路面画像を重ね合わせる。具体的には、相対位置補正部30は、走行画像データ対を構成する走行画像データA、Bに対して、走行画像データAの物標群と走行画像データBの物標群を対応付けする。例えば、図7に示すように、走行画像データA、Bから、区画線の端点を求め、図8に示すように、走行画像データA、B間で、区画線の端点の対応付けを行う。そして、対応付いた物標群の位置ずれが最小となるような座標変換情報を相対位置補正量として算出する。位置ずれとしては、例えば区画線の端点の距離の二乗和平均を指標とすることができる。算出した相対位置補正量を用いて、例えば走行画像データAと走行画像データBとの位置合わせを行う(図9参照)。
The relative
相対車線判定部32は、走行画像データ対の各々について、位置合わせを行った結果に基づいて、走行車線の相対関係を判定する。
The relative
具体的には、位置合わせを行った走行画像データ対に対して、走行方位、路面画像の重なり率や走行軌跡の距離などを基準に、走行車線の相対関係の判定を行う。走行車線の相対関係として、同一車線、隣接車線、及び対向車線の何れであるかを判定する。例えば、図10に示すように、走行方位が同一であって、重なり率が閾値以上である場合には、同一車線と判定する。また、図11に示すように、走行方位が同一であって、重なり率が0より大きく閾値未満である場合には、隣接車線と判定する。また、走行方位が反対であって、重なり率が0より大きく閾値未満である場合には、対向車線と判定する。それ以外の場合には、何れにも該当しないと判定する。 Specifically, the relative relationship between the traveling lanes is determined based on the traveling direction, the overlap ratio of the road surface images, the distance of the traveling locus, and the like with respect to the aligned traveling image data pair. It is determined whether the relative relationship between the traveling lanes is the same lane, an adjacent lane, or an oncoming lane. For example, as shown in FIG. 10, when the traveling directions are the same and the overlap ratio is equal to or more than the threshold value, it is determined that they are in the same lane. Further, as shown in FIG. 11, when the traveling directions are the same and the overlap ratio is larger than 0 and less than the threshold value, it is determined to be an adjacent lane. Further, when the traveling directions are opposite and the overlap ratio is larger than 0 and less than the threshold value, it is determined to be an oncoming lane. In other cases, it is determined that none of the above applies.
そして、走行画像データ対の各々についての走行車線の相対関係の判定結果を、相対関係判定表に格納する(図12)。図12の例では、各行が1つの走行画像データに対する判定結果で、「同一車線」、「隣接車線」、「対向車線」等の値を持つ。隣接車線の場合は、判定対象が自車線に対して左車線の場合と右車線の区別がある。相対車線判定ができない場合は、空欄となる。すわなち、同一車線と判定された走行画像データ対については値「0」を格納し、対向車線と判定された走行画像データ対については値「-」を格納する。また、隣接車線と判定された走行画像データ対については、一方の走行画像データに対して他方の走行画像データが右側の隣接車線であれば、値「1」を格納し、一方の走行画像データに対して他方の走行画像データが左側の隣接車線であれば、値「2」を格納する。 Then, the determination result of the relative relationship of the traveling lane for each of the traveling image data pairs is stored in the relative relationship determination table (FIG. 12). In the example of FIG. 12, each row is a determination result for one traveling image data and has values such as "same lane", "adjacent lane", and "oncoming lane". In the case of adjacent lanes, there is a distinction between the case where the judgment target is the left lane and the case where the judgment target is the left lane with respect to the own lane. If the relative lane cannot be determined, it will be blank. That is, the value "0" is stored for the traveling image data pair determined to be in the same lane, and the value "-" is stored for the traveling image data pair determined to be the oncoming lane. Further, for the traveling image data pair determined to be in the adjacent lane, if the other traveling image data is the adjacent driving lane on the right side with respect to one traveling image data, the value "1" is stored and one traveling image data is stored. On the other hand, if the other traveling image data is the adjacent lane on the left side, the value "2" is stored.
位置関係判定結果修正部34は、走行画像データ対の各々について、当該走行画像データ対の位置合わせを行った各走行画像データの走行軌跡と物標との位置関係により、当該走行画像データ対についての判定結果を修正する。
For each of the traveling image data pairs, the positional relationship determination
具体的には、図13~図15に示すように、位置合わせを行った走行画像データ対の各車両走行軌跡と物標として検出した区画線との位置関係により相対車線判定を行う。図13、図14では、各時刻の各車両走行軌跡の進行方向に直交する方向に区画線を探索し、ある区画線に対して同じ側に走行軌跡Aと走行軌跡Bが存在すれば同一車線と判定し、別の側にあれば隣接車線と判定するように修正する例を示している。図15では、対象領域内で同一車線判定結果、隣接車線の判定結果が混在すれば、車線変更ありと判定する例を示している。なお、判定結果を修正するのではなく、当該判定結果を無効にしてもよい。 Specifically, as shown in FIGS. 13 to 15, relative lane determination is performed based on the positional relationship between each vehicle traveling locus of the aligned traveling image data pair and the lane marking detected as a target. In FIGS. 13 and 14, a lane marking is searched in a direction orthogonal to the traveling direction of each vehicle traveling locus at each time, and if the traveling locus A and the traveling locus B exist on the same side with respect to a certain lane marking, the same lane is obtained. An example is shown in which the vehicle is corrected so that it is determined to be in the adjacent lane if it is on another side. FIG. 15 shows an example in which it is determined that there is a lane change if the same lane determination result and the determination result of the adjacent lane are mixed in the target area. The determination result may be invalidated instead of modifying the determination result.
整合性判定結果修正部36は、走行画像データ対の各々についての判定結果の整合性を考慮して、走行車線の相対関係の判定結果を修正する。
The consistency determination
相対車線判定部32、位置関係判定結果修正部34による判定結果には誤判定が含まれる場合がある。例えば、隣接車線と判定されている走行画像データA、Bに対して、走行画像データCがいずれも同一車線と判定されているなどがある。このような相対車線の判定結果の整合性を考慮することにより、誤判定を排除する。
The determination result by the relative
具体的な手順としては次の手順1~手順3が考えられる。
As a specific procedure, the following
(手順1)図16に示す車線グループテーブルを初期化し、登録なしとする。車線グループテーブルでは、グループごとに、同一車線と判定された走行画像データのIDを「同一車線判定ID」に登録し、当該同一車線と判定された走行画像データに対して右側の隣接車線と判定された走行画像データのIDを「右隣接車線判定ID」に登録し、当該同一車線と判定された走行画像データに対して左側の隣接車線と判定された走行画像データのIDを「左隣接車線判定ID」に登録する。また、車線グループテーブルは、走行方位毎に用意されている。 (Procedure 1) Initialize the lane group table shown in FIG. 16 and assume that there is no registration. In the lane group table, the ID of the driving image data determined to be the same lane is registered in the "same lane determination ID" for each group, and the driving image data determined to be the same lane is determined to be the adjacent lane on the right side. The ID of the driven image data is registered in the "right adjacent lane determination ID", and the ID of the driving image data determined to be the left adjacent lane with respect to the traveling image data determined to be the same lane is the "left adjacent lane". Register in "Judgment ID". In addition, a lane group table is prepared for each traveling direction.
(手順2)各走行画像データに対して、同一車線と判定された走行画像データ数を算出し、降順に走行画像データを選択し、後述する手順3を繰り返す。ここで、選択した走行画像データのIDを「I」とする。
(Procedure 2) For each traveling image data, the number of traveling image data determined to be in the same lane is calculated, the traveling image data is selected in descending order, and the
(手順3)車線グループテーブルから、ID「I」が、「同一車線判定ID」に登録されたグループを探索する。 (Procedure 3) From the lane group table, the group whose ID "I" is registered in the "same lane determination ID" is searched.
(手順3a)探索結果のグループが存在しなければ、新規の車線グループを生成し、ID「I」を、「同一車線判定ID」に登録し、ID「I」の走行画像データに対して右側の「隣接車線」と判定された走行画像データのIDを、新規の車線グループの「右隣接車線判定ID」に登録し、ID「I」の走行画像データに対して左側の「隣接車線」と判定された走行画像データのIDを、新規の車線グループの「左隣接車線判定ID」に登録する。 (Procedure 3a) If the search result group does not exist, a new lane group is generated, the ID "I" is registered in the "same lane determination ID", and the right side with respect to the traveling image data of the ID "I". The ID of the driving image data determined to be the "adjacent lane" is registered in the "right adjacent lane determination ID" of the new lane group, and the "adjacent lane" on the left side of the driving image data of the ID "I" is displayed. The ID of the determined driving image data is registered in the "left adjacent lane determination ID" of the new lane group.
(手順3b)探索結果のグループが1つだけ存在し、ID「I」の走行画像データに対して右側の「隣接車線」と判定された走行画像データのIDを、当該グループの「右隣接車線判定ID」に登録し、ID「I」の走行画像データに対して左側の「隣接車線」と判定された走行画像データのIDを、当該グループの「左隣接車線判定ID」に登録する。 (Procedure 3b) There is only one group of search results, and the ID of the driving image data determined to be the "adjacent lane" on the right side of the driving image data of ID "I" is used as the "right adjacent lane" of the group. Registered in the "determination ID", the ID of the traveling image data determined to be the "adjacent lane" on the left side of the traveling image data of the ID "I" is registered in the "left adjacent lane determination ID" of the group.
(手順3c)上記以外ならば、車線グループテーブルへの登録は行わない。すなわち、探索結果のグループが2つ以上存在する場合には、誤判定の可能性があるため、車線グループテーブルへの登録は行わない。 (Procedure 3c) Other than the above, registration to the lane group table is not performed. That is, if there are two or more groups of search results, there is a possibility of erroneous determination, so registration in the lane group table is not performed.
グループ判定部38は、整合性判定結果修正部36による修正後の判定結果に基づいて、同一の走行車線についての走行画像データからなる車線グループを生成する。
The
具体的には、同一の走行車線と判定されている走行画像データを車線グループとしてグルーピングする。 Specifically, the traveling image data determined to be in the same traveling lane are grouped as a lane group.
車線構成同定部40は、車線グループ間の相対車線関係を判定する。車線グループ間で隣接車線判定されている車線グループ対を探索し、車線グループ間の相対車線判定を行い、複数の車線グループ間の相対車線判定結果を用いて車線構成を判定する。
The lane
具体的には、図17に示すように、走行方位毎に、車線グループ間で、一方の車線グループの同一車線判定IDと、他方の車線グループの右隣接車線判定ID又は左隣接車線判定IDとを照合し、車線グループ間の相対車線関係を判定する。 Specifically, as shown in FIG. 17, between the lane groups, the same lane determination ID of one lane group and the right adjacent lane determination ID or the left adjacent lane determination ID of the other lane group are used for each traveling direction. To determine the relative lane relationship between lane groups.
図17の例では、車線グループ間で、一方の車線グループの同一車線判定IDと、他方の車線グループの右隣接車線判定ID又は左隣接車線判定IDとを照合した結果に基づいて、複数の車線が並んだレーングループにおいて車線を並べた順に、レーンIDを付与するとともに、当該車線と同一の走行車線と判定された走行画像データの走行IDを車線構成テーブルに登録する例を示している。 In the example of FIG. 17, a plurality of lanes are collated between the same lane determination ID of one lane group and the right adjacent lane determination ID or the left adjacent lane determination ID of the other lane group. An example is shown in which lane IDs are assigned in the order in which the lanes are arranged in the lane group in which the lanes are arranged, and the driving ID of the traveling image data determined to be the same traveling lane as the relevant lane is registered in the lane configuration table.
車線構成同定部40は、車線構成の判定結果を、出力部16により出力する。図18(A)に示すように、走行画像データ対に対する相対車線の判定結果に、誤判定が含まれている場合であっても、図18(B)に示すように、誤判定を取り除いた上で、車線グループ間の相対車線関係の判定結果を、車線構成として出力することができる。
The lane
次に、本実施の形態の作用について説明する。 Next, the operation of this embodiment will be described.
まず、各車両の車載器50において、測位結果の時系列及び撮像画像の時系列を含む走行データを生成する。各車両の車載器50によって生成された多数の走行データが、走行車線判定装置10に送信されると、多数の走行データが、走行データ記憶部22に記憶される。
First, in the on-
また、走行車線判定装置10は、走行データ記憶部22に記憶された多数の走行データに基づいて、図19に示す走行車線判定処理ルーチンを実行する。走行車線を判定する小領域である対象領域毎に、走行車線判定処理ルーチンが繰り返し実行される。
Further, the traveling
ステップS100では、領域設定部24は、対象領域を設定する。
In step S100, the
ステップS102では、物標検出部26は、走行データ記憶部22に記憶された全走行データの内、設定した対象領域内を通過する走行データを取得する。
In step S102, the
ステップS104では、物標検出部26は、上記ステップS102で取得した走行データの各々に対し、路面画像を生成すると同時に、物標を検出し、生成した路面画像と物標群を含む走行画像データを生成し、走行IDを付与する
In step S104, the
ステップS106では、走行データ対生成部28は、設定した対象領域について生成した、走行画像データの1対1の走行画像データ対を生成する。
In step S106, the travel data pair
ステップS108では、相対位置補正部30は、走行画像データ対の各々について、物標同士を対応付けて相対位置補正量を算出し、相対位置補正量を用いて、当該走行画像データ対の各走行画像データの路面画像を重ね合わせる。
In step S108, the relative
ステップS110では、相対車線判定部32は、走行画像データ対の各々について、位置合わせを行った結果に基づいて、走行車線の相対関係を判定する。
In step S110, the relative
ステップS112では、位置関係判定結果修正部34は、走行画像データ対の各々について、当該走行画像データ対の位置合わせを行った各走行画像データの走行軌跡と物標との位置関係により、当該走行画像データ対についての判定結果を修正する。
In step S112, the positional relationship determination
ステップS114では、整合性判定結果修正部36は、走行画像データ対の各々についての判定結果の整合性を考慮して、走行車線の相対関係の判定結果を修正する。
In step S114, the consistency determination
ステップS116では、グループ判定部38は、整合性判定結果修正部36による修正後の判定結果に基づいて、同一の走行車線についての走行画像データからなる車線グループを各々生成する。
In step S116, the
ステップS118では、車線構成同定部40は、車線グループ間の相対車線関係を判定する。車線構成同定部40は、車線構成の判定結果を、出力部16により出力する。
In step S118, the lane
以上説明したように、本発明の実施の形態に係る走行車線判定装置によれば、走行画像データ対の各々について、物標同士を対応付けて相対位置補正量を算出し、相対位置補正量に基づいて、当該走行画像データ対について、走行車線の相対関係を判定し、判定結果に基づいて、同一の走行車線について走行画像データからなるグループを生成すると共に、グループ間の車線関係を判定することにより、収集した各走行の走行データから、各走行の走行車線を精度よく判定することができる。 As described above, according to the traveling lane determination device according to the embodiment of the present invention, for each of the traveling image data pairs, the relative position correction amount is calculated by associating the targets with each other, and the relative position correction amount is used as the relative position correction amount. Based on this, the relative relationship of the traveling lanes is determined for the traveling image data pair, and based on the determination result, a group consisting of traveling image data for the same traveling lane is generated, and the lane relationship between the groups is determined. Therefore, it is possible to accurately determine the traveling lane of each traveling from the collected traveling data of each traveling.
また、収集した走行画像データのうちの1対1の走行画像データ対の位置合わせに基づく走行車線の相対関係の整合性を考慮することにより、誤りの少ない走行車線判定及び車線構成判定ができる。また、自車線周辺のみで走路全体を俯瞰できず、かつ、絶対位置に誤差を持つ走行データ群であっても、各走行の走行車線及び車線構成を判定することができる。 Further, by considering the consistency of the relative relationship of the traveling lanes based on the alignment of the one-to-one traveling image data pair of the collected traveling image data, it is possible to determine the traveling lane and the lane configuration with few errors. Further, even if the traveling data group cannot have a bird's-eye view of the entire lane only around the own lane and has an error in the absolute position, the traveling lane and the lane configuration of each traveling can be determined.
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications are possible without departing from the gist of the present invention.
例えば、位置関係判定結果修正部34を省略して、整合性判定結果修正部36による修正のみとしてもよいし、整合性判定結果修正部36を省略して、位置関係判定結果修正部34による修正のみとしてもよい。また、位置関係判定結果修正部34及び整合性判定結果修正部36を省略して、判定結果の修正を行わずに、車線グループを生成し、車線構成を判定してもよい。
For example, the positional relationship determination
10 走行車線判定装置
12 通信部
14 コンピュータ
16 出力部
20 走行データ収集部
22 走行データ記憶部
24 領域設定部
26 物標検出部
28 走行データ対生成部
30 相対位置補正部
32 相対車線判定部
34 位置関係判定結果修正部
36 整合性判定結果修正部
38 グループ判定部
40 車線構成同定部
50 車載器
52 GPS受信部
53 ジャイロセンサ
54 撮像装置
60 コンピュータ
10 Driving
Claims (5)
車線判定対象領域内の前記走行データの各々について、前記車両周辺画像から路面画像を生成すると共に前記車両周辺画像あるいは路面画像から物標を検出し、前記路面画像及び前記物標の検出結果を含む走行画像データを生成する走行画像データ生成部と、
前記走行画像データのペアの各々について、前記物標同士を対応付けて相対位置補正量を算出し、前記相対位置補正量に基づいて、前記ペアについて、走行車線の関係を判定する走行車線関係判定部と、
前記走行車線関係判定部による判定結果に基づいて、同一の走行車線について前記走行画像データからなるグループを生成すると共に、前記グループ間の車線関係を判定するグループ判定部と、
を含む走行車線判定装置。 A driving data collection unit that collects driving data that is a combination of the vehicle's position and orientation and the vehicle's peripheral image, which is obtained in chronological order when the vehicle is running.
For each of the traveling data in the lane determination target area, a road surface image is generated from the vehicle peripheral image, a target is detected from the vehicle peripheral image or the road surface image, and the road surface image and the detection result of the target are included. A driving image data generator that generates driving image data,
For each of the pairs of traveling image data, the relative position correction amount is calculated by associating the targets with each other, and based on the relative position correction amount, the traveling lane relationship determination for determining the relationship between the traveling lanes is determined. Department and
Based on the determination result by the traveling lane relationship determination unit, a group consisting of the traveling image data for the same traveling lane is generated, and a group determination unit for determining the lane relationship between the groups, and a group determination unit.
Driving lane determination device including.
前記グループ判定部は、前記整合性判定結果修正部による修正後の前記判定結果に基づいて、前記グループを生成すると共に、前記グループ間の車線関係を判定する請求項1記載の走行車線判定装置。 In consideration of the consistency of the determination result for each of the pairs by the traveling lane relationship determination unit, the consistency determination result correction unit for correcting the determination result for each of the pairs is further included.
The traveling lane determination device according to claim 1, wherein the group determination unit generates the group based on the determination result corrected by the consistency determination result correction unit, and determines the lane relationship between the groups.
前記グループ判定部は、前記位置関係判定結果修正部による修正後の前記判定結果に基づいて、前記グループを生成すると共に、前記グループ間の車線関係を判定する請求項1記載の走行車線判定装置。 For each of the pairs, a positional relationship determination result correction unit that corrects the determination result for the pair according to the positional relationship between the vehicle travel locus and the target when the travel data is collected is further included.
The traveling lane determination device according to claim 1, wherein the group determination unit generates the group based on the determination result corrected by the positional relationship determination result correction unit, and determines the lane relationship between the groups.
前記ペアの各々についての前記位置関係判定結果修正部による修正後の判定結果の整合性を考慮して、前記ペアの各々についての判定結果を修正する整合性判定結果修正部とを更に含み、
前記グループ判定部は、前記整合性判定結果修正部による修正後の前記判定結果に基づいて、前記グループを生成すると共に、前記グループ間の車線関係を判定する請求項1記載の走行車線判定装置。 For each of the pairs, a positional relationship determination result correction unit that corrects the determination result for the pair according to the positional relationship between the travel locus when the travel data is collected and the target.
In consideration of the consistency of the determination result after the correction by the positional relationship determination result correction unit for each of the pairs, the consistency determination result correction unit for correcting the determination result for each of the pairs is further included.
The traveling lane determination device according to claim 1, wherein the group determination unit generates the group based on the determination result corrected by the consistency determination result correction unit, and determines the lane relationship between the groups.
車両走行時に時系列で得られる、車両の位置姿勢と、車両周辺画像との組み合わせである走行データを収集する走行データ収集部、
車線判定対象領域内の前記走行データの各々について、前記車両周辺画像から路面画像を生成すると共に前記車両周辺画像あるいは路面画像から物標を検出し、前記路面画像及び前記物標の検出結果を含む走行画像データを生成する走行画像データ生成部、
前記走行画像データのペアの各々について、前記物標同士を対応付けて相対位置補正量を算出し、前記相対位置補正量に基づいて、前記ペアについて、走行車線の関係を判定する走行車線関係判定部、及び
前記走行車線関係判定部による判定結果に基づいて、同一の走行車線について前記走行画像データからなるグループを生成すると共に、前記グループ間の車線関係を判定するグループ判定部
として機能させるための走行車線判定プログラム。 Computer,
A driving data collection unit that collects driving data that is a combination of the vehicle's position and posture and the vehicle's peripheral image, which is obtained in chronological order when the vehicle is running.
For each of the traveling data in the lane determination target area, a road surface image is generated from the vehicle peripheral image, a target is detected from the vehicle peripheral image or the road surface image, and the road surface image and the detection result of the target are included. Driving image data generation unit that generates driving image data,
For each of the pairs of traveling image data, the relative position correction amount is calculated by associating the targets with each other, and based on the relative position correction amount, the traveling lane relationship determination for determining the relationship between the traveling lanes is determined. To generate a group consisting of the traveling image data for the same traveling lane based on the determination result by the unit and the traveling lane relationship determination unit, and to function as a group determination unit for determining the lane relationship between the groups. Driving lane judgment program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020176771A JP7452377B2 (en) | 2020-10-21 | 2020-10-21 | Driving lane determination device and driving lane determination program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020176771A JP7452377B2 (en) | 2020-10-21 | 2020-10-21 | Driving lane determination device and driving lane determination program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022067908A true JP2022067908A (en) | 2022-05-09 |
JP7452377B2 JP7452377B2 (en) | 2024-03-19 |
Family
ID=81455917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020176771A Active JP7452377B2 (en) | 2020-10-21 | 2020-10-21 | Driving lane determination device and driving lane determination program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7452377B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215054A (en) * | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | One's own vehicle position detection system using scenery image recognition |
WO2017056249A1 (en) * | 2015-09-30 | 2017-04-06 | 日産自動車株式会社 | Travel control method and travel control device |
JP2018195237A (en) * | 2017-05-22 | 2018-12-06 | トヨタ自動車株式会社 | Image processing system, image processing method, information processing apparatus and recording medium |
WO2020045231A1 (en) * | 2018-08-31 | 2020-03-05 | 株式会社デンソー | Map generation device and map generation program |
-
2020
- 2020-10-21 JP JP2020176771A patent/JP7452377B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011215054A (en) * | 2010-03-31 | 2011-10-27 | Aisin Aw Co Ltd | One's own vehicle position detection system using scenery image recognition |
WO2017056249A1 (en) * | 2015-09-30 | 2017-04-06 | 日産自動車株式会社 | Travel control method and travel control device |
JP2018195237A (en) * | 2017-05-22 | 2018-12-06 | トヨタ自動車株式会社 | Image processing system, image processing method, information processing apparatus and recording medium |
WO2020045231A1 (en) * | 2018-08-31 | 2020-03-05 | 株式会社デンソー | Map generation device and map generation program |
Also Published As
Publication number | Publication date |
---|---|
JP7452377B2 (en) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5152244B2 (en) | Target vehicle identification device | |
CN109084786B (en) | Map data processing method | |
JP6658088B2 (en) | Information processing apparatus, program, and map data updating system | |
JP5168601B2 (en) | Own vehicle position recognition system | |
JP5062498B2 (en) | Reference data generation system and position positioning system for landscape matching | |
EP1901259A1 (en) | Vehicle and lane recognizing device | |
JP6354120B2 (en) | Road information transmission device, map generation device, road information collection system | |
JP2918024B2 (en) | Vehicle trajectory tracking device | |
JP5589900B2 (en) | Local map generation device, global map generation device, and program | |
US11656088B2 (en) | Method and apparatus for estimating a location of a vehicle | |
JP4232167B1 (en) | Object identification device, object identification method, and object identification program | |
JP3557776B2 (en) | Route guidance device for vehicles | |
CN111065043B (en) | System and method for fusion positioning of vehicles in tunnel based on vehicle-road communication | |
JP5388082B2 (en) | Stationary object map generator | |
JP5968064B2 (en) | Traveling lane recognition device and traveling lane recognition method | |
JP5286653B2 (en) | Stationary object map generator | |
JP6589570B2 (en) | Center processing apparatus, map generation system, and program | |
JP2011215973A (en) | Scene matching reference data generation system and position measurement system | |
Cao et al. | Camera to map alignment for accurate low-cost lane-level scene interpretation | |
CN108885113A (en) | Method for determining the position of an at least partially automated vehicle in the surroundings by means of landmarks | |
CN108573611A (en) | A kind of speed limit mark fusion method and speed limit identify emerging system | |
CN110998684B (en) | Image collection system, image collection method, image collection device, and recording medium | |
CN113544758B (en) | Vehicle control device | |
JP2012208525A (en) | Stationary object map generation device | |
JP4596566B2 (en) | Self-vehicle information recognition device and self-vehicle information recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230315 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7452377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |