JP2020140566A - Map generation device and program - Google Patents
Map generation device and program Download PDFInfo
- Publication number
- JP2020140566A JP2020140566A JP2019036877A JP2019036877A JP2020140566A JP 2020140566 A JP2020140566 A JP 2020140566A JP 2019036877 A JP2019036877 A JP 2019036877A JP 2019036877 A JP2019036877 A JP 2019036877A JP 2020140566 A JP2020140566 A JP 2020140566A
- Authority
- JP
- Japan
- Prior art keywords
- line segment
- series
- line
- unit
- line segments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本開示は、地図生成装置及びプログラムに関する。 The present disclosure relates to a map generator and a program.
従来より、車両に搭載されたカメラ等の撮像装置により撮像された複数の撮像画像を用いて地図を生成する技術が知られている。例えば、特許文献１及び２に記載の技術では、カメラにより撮像された複数の撮像画像から、道路の車線（区画線）等の線分等を検出して、地図の作成に用いている。 Conventionally, there has been known a technique for generating a map using a plurality of captured images captured by an imaging device such as a camera mounted on a vehicle. For example, in the techniques described in Patent Documents 1 and 2, line segments such as road lanes (section lines) are detected from a plurality of captured images captured by a camera and used for creating a map.
しかしながら、上記従来の技術では、車線等の線分の位置に測位誤差が生じていたり、誤検出をした線分が含まれていたりする場合がある。また、上記従来の技術では、未検出の車線が生じている場合もある。このような場合、上記従来の技術では、誤差等を検出できず、また、未検出の車線については補間されないため、実際の位置にある線分が検出されない場合がある。 However, in the above-mentioned conventional technique, a positioning error may occur at the position of a line segment such as a lane, or a line segment that has been erroneously detected may be included. Further, in the above-mentioned conventional technique, an undetected lane may occur. In such a case, in the above-mentioned conventional technique, an error or the like cannot be detected, and the undetected lane is not interpolated, so that the line segment at the actual position may not be detected.
本開示は上記の技術を考慮してなされたものであり、高精度な線地図を生成することができる地図生成装置及びプログラムを提供することを目的とする。 The present disclosure has been made in consideration of the above techniques, and an object of the present disclosure is to provide a map generator and a program capable of generating a highly accurate line map.
上記目的を達成するために、本開示の第１の態様の地図生成装置は、車両に搭載された撮像部により、同一の走行区間が撮影された複数の撮像画像の各々から、複数の線分を検出する線分検出部と、前記複数の撮像画像毎に、前記撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、前記撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、前記位置差分量が小さくなるように、線分の対応付けを行う線分対応付部と、前記線分対応付部により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、前記新たな線分からなる系列を生成する平均化部と、前記平均化部が生成した、前記新たな線分からなる系列同士の２系列について、前記線分対応付部による対応付け、及び前記平均化部による生成を行わせて、前記新たな線分からなる系列同士の２系列を統合する統合部と、を備える。 In order to achieve the above object, the map generation device of the first aspect of the present disclosure is a plurality of line segments from each of a plurality of captured images in which the same traveling section is captured by an imaging unit mounted on a vehicle. The position difference between the line segment detection unit that detects the above and the end points of the line segment detected from the captured image and the end points of the line segment detected from the other captured images for each of the plurality of captured images. Based on the calculated position difference amount, the position difference amount is calculated between the two series of the series consisting of the line segments detected from the captured image and the series consisting of the line segments detected from the other captured images. Based on the line segment correspondence attachment part that associates the line segments and the line segment correspondence between the two series associated by the line segment correspondence attachment part so as to be smaller, the associated line segment The lines are about two series, one is an averaging unit that generates a new line segment at a position between them and generates a series consisting of the new line segments, and the other is a series consisting of the new line segments generated by the averaging unit. It is provided with an integration unit that integrates two series of the series consisting of the new line segments by associating with the division correspondence unit and generating by the averaging unit.
本開示の第２の態様の地図生成装置は、第１の態様の地図生成装置において、前記統合部は、対応付けられた前記線分の位置を中心位置に収束させることで、前記２系列を統合する。 The map generation device of the second aspect of the present disclosure is the map generation device of the first aspect, in which the integration unit converges the position of the associated line segment to the central position to form the two series. Integrate.
本開示の第３の態様の地図生成装置は、第１の態様または第２の態様の地図生成装置において、前記線分検出部が検出した複数の線分の各々について、前記複数の撮像画像の各々に対応付けられている、前記車両の位置情報に基づいて、各線分の位置を表す座標を絶対座標に変換する投影部をさらに備え、前記線分対応付部は、前記両端点の前記絶対座標に基づく位置に基づいて、対応付けを行う。 The map generator of the third aspect of the present disclosure is the map generator of the first aspect or the second aspect, for each of the plurality of line segments detected by the line segment detection unit, the plurality of captured images. A projection unit that converts the coordinates representing the position of each line segment into absolute coordinates based on the position information of the vehicle associated with each is further provided, and the line segment corresponding portion is the absolute of the end point. Correspondence is performed based on the position based on the coordinates.
本開示の第４の態様の地図生成装置は、第３の態様の地図生成装置において、前記投影部は前記両端点を表す座標を、鳥瞰図における前記絶対座標に変換する。 The map generation device of the fourth aspect of the present disclosure is the map generation device of the third aspect, in which the projection unit converts the coordinates representing the both end points into the absolute coordinates in the bird's-eye view.
本開示の第５の態様の地図生成装置は、第１の態様から第４の態様のいずれか１態様の地図生成装置において、前記線分検出部は、前記複数の撮像画像各々から区画線の芯線を線分として検出する。 The map generator according to the fifth aspect of the present disclosure is the map generator according to any one of the first to fourth aspects, wherein the line segment detection unit is a division line from each of the plurality of captured images. The core wire is detected as a line segment.
本開示の第６の態様の地図生成装置は、第１の態様から第５の態様のいずれか１態様の地図生成装置において、前記平均化部は、前記系列の集合内で位置誤差の大きい上位ｎ（ｎは１以上の整数）組の系列と、前記ｎ組以外の系列を平均化する場合、前記ｎ組以外の系列の線分の位置に近寄らせた線分を生成する。 The map generator according to the sixth aspect of the present disclosure is the map generator according to any one of the first to fifth aspects, wherein the averaging unit has a large position error in the set of the series. When averaging a series of n (n is an integer of 1 or more) and a series other than the n sets, a line segment approaching the position of the line segment of the series other than the n sets is generated.
本開示の第７の態様の地図生成装置は、第１の態様から第６の態様のいずれか１態様の地図生成装置において、前記統合部は、前記平均化部で線分の一致性が高い上位の出力系列を選別し、系列の集合を再構築する。 The map generator according to the seventh aspect of the present disclosure is the map generator according to any one of the first to sixth aspects, wherein the integrated unit has high line segment consistency in the averaging unit. Select the upper output series and reconstruct the set of series.
また、上記目的を達成するために本開示の第８の態様のプログラムは、コンピュータを、車両に搭載された撮像部により、同一の走行区間が撮影された複数の撮像画像の各々から、複数の線分を検出する線分検出部、前記複数の撮像画像毎に、前記撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、前記撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、前記位置差分量が小さくなるように、線分の対応付けを行う線分対応付部、前記線分対応付部により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、前記新たな線分からなる系列を生成する平均化部、前記平均化部が生成した、前記新たな線分からなる系列同士の２系列について、前記線分対応付部による対応付け、及び前記平均化部による生成を行わせて、前記新たな線分からなる系列同士の２系列を統合する統合部、として機能させるためのものである。 Further, in order to achieve the above object, the program of the eighth aspect of the present disclosure uses a computer as a plurality of captured images obtained by capturing the same traveling section by an imaging unit mounted on a vehicle. A line segment detection unit that detects a line segment, the amount of position difference between the end points of the line segment detected from the captured image and the end points of the line segment detected from other captured images for each of the plurality of captured images. Is calculated, and based on the calculated position difference amount, the position difference amount is between two series, that is, a series consisting of line segments detected from the captured image and a series consisting of line segments detected from other captured images. Based on the line segment correspondence attachment part that associates the line segments and the line segment association between the two series associated by the line segment correspondence attachment part, the associated line segment is reduced. The line segment is about two series of a series consisting of the new line segment generated by the averaging unit and an averaging unit that generates a new line segment at a position between the new line segments. This is for functioning as an integrated unit that integrates two series of the new line segments by associating them with each other and generating them by the averaging unit.
本開示によれば、高精度な線地図を生成することができる、という効果が得られる。 According to the present disclosure, it is possible to obtain an effect that a highly accurate line map can be generated.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
まず、本実施形態の地図生成システムの全体構成について説明する。
図１は、本実施形態の地図生成システム１の全体構成の一例を示すブロック図である。本実施形態の地図生成システム１は、車両２に搭載された撮像部１２により撮像された撮像画像から地図を生成する地図生成システムである。
First, the overall configuration of the map generation system of the present embodiment will be described.
FIG. 1 is a block diagram showing an example of the overall configuration of the map generation system 1 of the present embodiment. The map generation system 1 of the present embodiment is a map generation system that generates a map from an captured image captured by an imaging unit 12 mounted on a vehicle 2.
図１に示すように、地図生成システム１は、地図生成装置１０、撮像部１２、測位部１４、撮像画像データベース１５、及び地図データベース１８を備える。 As shown in FIG. 1, the map generation system 1 includes a map generation device 10, an imaging unit 12, a positioning unit 14, an captured image database 15, and a map database 18.
撮像部１２及び測位部１４は、車両２に搭載されている。撮像部１２は、具体的にはカメラ等であり、車両２の前方の道路を被写体とし、動画像の撮影、または所定のタイミングで静止画像の撮影を行う。測位部１４は、車両２の現在位置を計測する機能を有しており、例えば、ＧＰＳ（Global Positioning System）装置等が挙げられる。 The imaging unit 12 and the positioning unit 14 are mounted on the vehicle 2. Specifically, the image pickup unit 12 is a camera or the like, and takes a moving image or a still image at a predetermined timing with the road in front of the vehicle 2 as a subject. The positioning unit 14 has a function of measuring the current position of the vehicle 2, and examples thereof include a GPS (Global Positioning System) device.
車両２からは、撮像部１２により撮像された撮像画像に、当該撮像画像を撮像した際の測位部１４の測位結果である車両２の位置が対応付けられた状態で、撮像画像データベース１５に出力される。 The vehicle 2 outputs to the captured image database 15 in a state in which the captured image captured by the imaging unit 12 is associated with the position of the vehicle 2, which is the positioning result of the positioning unit 14 when the captured image is captured. Will be done.
本実施形態の地図生成システム１では、同一の走行区間について、当該走行区間を走行する車両２に搭載された撮像部１２により撮像された複数の撮像画像が、測位部１４により得られた車両２の位置と対応付けられた状態で、撮像画像データベース１５に記憶される。換言すると、撮像画像データベース１５は、同一走行区間が撮影された複数の撮像画像を、撮像位置と対応付けられた状態で記憶する。 In the map generation system 1 of the present embodiment, a plurality of captured images captured by the imaging unit 12 mounted on the vehicle 2 traveling in the traveling section are obtained by the positioning unit 14 for the same traveling section. It is stored in the captured image database 15 in a state associated with the position of. In other words, the captured image database 15 stores a plurality of captured images captured in the same traveling section in a state associated with the imaging position.
なお、図１には車両２を１台のみ図示したが、１台の車両２が、当該走行区間を複数回走行し、走行する毎に撮像部１２により撮像された撮像画像を取得する形態であってもよいし、複数の車両２が同一の走行区間を走行する際に撮像部１２により撮像された撮像画像を取得する形態であってもよい。図２に示す、本開示の技術の一例の概要では、車両２１〜２４の４台の車両の各々が、撮像部１２及び測位部１４を搭載しており、道路Ｒを走行した際に、道路Ｒを撮像した形態を示している。この場合、撮像画像データベース１５には、道路Ｒの撮像画像に、道路Ｒに対応する各車両２１〜２４の位置が撮影位置として対応付けられた状態で記憶される。 Although only one vehicle 2 is shown in FIG. 1, one vehicle 2 travels a plurality of times in the traveling section, and each time the vehicle 2 travels, an image captured by the imaging unit 12 is acquired. It may be in the form of acquiring the captured image captured by the imaging unit 12 when the plurality of vehicles 2 travel in the same traveling section. 2, in the summary of an example of the techniques of this disclosure, each of the four vehicles of the vehicle 2 1 to 2 4, equipped with a pickup unit 12 and the positioning unit 14, when traveling on a road R , The form in which the road R is imaged is shown. In this case, the captured image database 15, the captured image of the road R, the position of each vehicle 21 to 24 corresponding to the road R is stored in a state associated with the shooting position.
地図生成装置１０は、線分検出部２０、投影部２２、線分対応付部２４、平均化部２６、及び統合部２８を備える。 The map generation device 10 includes a line segment detection unit 20, a projection unit 22, a line segment correspondence unit 24, an averaging unit 26, and an integration unit 28.
図３は地図生成装置１０のハードウエア構成の一例を示す図である。図３に示すように、地図生成装置１０は、各種制御及び各種演算を行うコンピュータとして構成されている。即ち、地図生成装置１０は、ＣＰＵ（Central Processing Unit）３０Ａ、ＲＯＭ（Read Only Memory）３０Ｂ、ＲＡＭ（Random Access Memory）３０Ｃ、不揮発性記憶部３０Ｄ、入出力インターフェース（Ｉ／Ｏ）３０Ｅ、及び通信部３１を備えている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、不揮発性記憶部３０Ｄ、及びＩ／Ｏ３０Ｅの各々は、バス３０Ｆを介して接続されている。 FIG. 3 is a diagram showing an example of the hardware configuration of the map generator 10. As shown in FIG. 3, the map generator 10 is configured as a computer that performs various controls and various calculations. That is, the map generator 10 includes a CPU (Central Processing Unit) 30A, a ROM (Read Only Memory) 30B, a RAM (Random Access Memory) 30C, a non-volatile storage unit 30D, an input / output interface (I / O) 30E, and communication. The unit 31 is provided. Each of the CPU 30A, ROM 30B, RAM 30C, non-volatile storage unit 30D, and I / O 30E is connected via the bus 30F.
通信部３１は、Ｉ／Ｏ３０Ｅに接続されている。通信部３１は、通信回線を介して撮像画像データベース１５や地図データベース１８等の外部装置と通信を行うためのインターフェースである。 The communication unit 31 is connected to the I / O 30E. The communication unit 31 is an interface for communicating with an external device such as the captured image database 15 and the map database 18 via a communication line.
本実施形態の地図生成装置１０では、ＲＯＭ３０Ｂには、後述する「線地図生成処理」を実行するためのプログラムが記憶されている。ＣＰＵ３０Ａは、ＲＯＭ３０Ｂに記憶されたプログラムを読み出し、ＲＡＭ３０Ｃをワークエリアとして使用してプログラムを実行する。ＣＰＵ３０Ａが、ＲＯＭ３０Ｂに記憶されたプログラムを実行することにより、ＣＰＵ３０Ａが、線分検出部２０、投影部２２、線分対応付部２４、平均化部２６、及び統合部２８の各々として機能する。 In the map generation device 10 of the present embodiment, the ROM 30B stores a program for executing the "line map generation process" described later. The CPU 30A reads the program stored in the ROM 30B and executes the program using the RAM 30C as a work area. When the CPU 30A executes the program stored in the ROM 30B, the CPU 30A functions as each of the line segment detection unit 20, the projection unit 22, the line segment corresponding unit 24, the averaging unit 26, and the integration unit 28.
線分検出部２０は、撮像画像データベース１５から取得した複数の撮像画像の各々から、特徴点の組を線分として検出する。線分検出部２０は、撮像画像から、道路Ｒの区間線分等を含む複数の線分を検出する。線分検出部２０は、線分の検出結果と、撮像位置が対応付けられた撮像画像とを、投影部２２に出力する。 The line segment detection unit 20 detects a set of feature points as a line segment from each of the plurality of captured images acquired from the captured image database 15. The line segment detection unit 20 detects a plurality of line segments including a section line segment of the road R from the captured image. The line segment detection unit 20 outputs the line segment detection result and the captured image associated with the imaging position to the projection unit 22.
投影部２２は、線分検出部２０が検出した複数の線分の各々について、各撮像画像の撮像位置に基づいて、各線分の位置を表す座標を絶対座標に変換する。以下、説明の便宜上、各撮像画像から検出された複数の線分を、絶対座標に変換した画像を「投影画像」という。図２に示した例では、車両２１１により撮像された撮像画像からは、区画線９０を表す線分９１１を含む投影画像５０１が得られる。同様に、車両２１２により撮像された撮像画像からは、区画線９０を表す線分９１２を含む投影画像５０２が得られ、車両２１３により撮像された撮像画像からは、区画線９０を表す線分９１３を含む投影画像５０３が得られ、車両２１４により撮像された撮像画像からは、区画線９０を表す線分９１４を含む投影画像５０４が得られる。 The projection unit 22 converts the coordinates representing the position of each line segment into absolute coordinates for each of the plurality of line segments detected by the line segment detection unit 20 based on the imaging position of each captured image. Hereinafter, for convenience of explanation, an image obtained by converting a plurality of line segments detected from each captured image into absolute coordinates is referred to as a “projected image”. In the example shown in FIG. 2, from the captured photographed image by the vehicle 21 1, the projected image 50 1 including a line segment 91 1 representing the division line 90 is obtained. Similarly, from the captured photographed image by the vehicle 21 2, the projected image 50 2 is obtained comprising a line segment 91 2 which represents the division line 90, from the captured photographed image by the vehicle 21 3, the partition line 90 projected image 50 3 including a line segment 91 3 obtained representing, from the captured photographed image by the vehicle 21 4, the projected image 50 4 containing segments 91 4 representing the division line 90 is obtained.
なお、以下では、各投影画像（撮像画像）毎に検出した複数の線分を１つの系列として扱う。 In the following, a plurality of line segments detected for each projected image (captured image) will be treated as one series.
線分対応付部２４は、各系列の線分について、他系列の線分の端点と、自系列の線分の端点との位置の誤差が、各系列における複数の線分全体で最も小さくなるように各線分の対応付けを行う。線分対応付部２４は、各線分についての対応付結果を平均化部２６に出力する。 In the line segment corresponding portion 24, for each series of line segments, the positional error between the end points of the line segments of the other series and the end points of the line segments of the own series is the smallest for all the plurality of line segments in each series. The line segments are associated with each other as described above. The line segment correspondence unit 24 outputs the correspondence result for each line segment to the averaging unit 26.
平均化部２６は、線分対応付部２４により対応付けられた２系列各々の線分に対し、線分の中間の位置に新たな線分を生成する。図２に示した例では、投影画像５０１における線分の系列と、投影画像５０２における線分の系列とに対し、線分対応付部２４による線分対応付けを行い、平均化部２６により、線分９２１２を生成した状態を示している。また、投影画像５０３における線分の系列と、投影画像５０４における線分の系列とに対し、線分対応付部２４による線分対応付けを行い、平均化部２６により、線分９２３４を生成した状態を示している。 The averaging unit 26 generates a new line segment at a position intermediate between the line segments of each of the two series associated with the line segment corresponding unit 24. In the example shown in FIG. 2 performs a line segment of a sequence in the projection image 50 1, to the line segment sequence in the projection image 50 2, a line segment correspondence by segment association unit 24, the averaging unit 26 Indicates a state in which the line segment 92 12 is generated. Further, the line segment of the sequence in the projected image 50 3, with respect to a line segment of a sequence in the projection image 50 4 performs line correlation by the line correspondence unit 24, the averaging portion 26, the line segment 92 34 Is shown in the generated state.
統合部２８は、平均化部２６が生成した線分に基づいて、複数の系列間で対応付けられた複数の線分を統合する。具体的には、統合部２８は、上記線分対応付部２４及び平均化部２６の各処理を繰り返し行わせ、各線分の位置を、収束させる。図２に示した例では、統合部２８は、線分９２１２を含む系列と、線分９２３４を含む系列とについて、線分対応付部２４及び平均化部２６の各処理を繰り返させて、線分９２１２と線分９２３４とを、線分９４１２３４の位置に収束させる。なお、本実施形態での統合部２８は、複数の系列について、線分対応付部２４及び平均化部２６の各処理を繰り返させる際、平均化部２６で線分音一致性が高い系列を選別することで、複数の系列により成る集合を再構築する（詳細後述）。 The integration unit 28 integrates a plurality of line segments associated with each other based on the line segments generated by the averaging unit 26. Specifically, the integration unit 28 repeatedly performs each process of the line segment corresponding unit 24 and the averaging unit 26 to converge the positions of the line segments. In the example shown in FIG. 2, the integrating unit 28 repeats each process of the line segment corresponding unit 24 and the averaging unit 26 for the series including the line segment 92 12 and the series including the line segment 92 34. , The line segment 92 12 and the line segment 92 34 are converged to the position of the line segment 94 1234 . In addition, when the integration unit 28 in the present embodiment repeats each process of the line segment corresponding unit 24 and the averaging unit 26 for a plurality of series, the averaging unit 26 selects a series having high line segment sound matching. By sorting, a set consisting of multiple series is reconstructed (details will be described later).
統合部２８により収束された線分の位置を表す情報は、地図データベース１８に出力される。地図生成装置１０は、複数の走行区間毎に、上記線分検出部２０〜統合部２８の処理を繰り返し、各線分の位置を表す情報を地図データベース１８に出力する。本実施形態の地図生成システム１では、各走行区間毎の各線分の位置を表す情報を、走行区間の位置に応じて繋げることで、線地図が得られる。 Information representing the position of the line segment converged by the integration unit 28 is output to the map database 18. The map generation device 10 repeats the processes of the line segment detection unit 20 to the integration unit 28 for each of a plurality of traveling sections, and outputs information indicating the position of each line segment to the map database 18. In the map generation system 1 of the present embodiment, a line map can be obtained by connecting information indicating the position of each line segment for each traveling section according to the position of the traveling section.
次に、本実施形態の地図生成装置１０の作用について詳細に説明する。ＣＰＵ３０ＡがＲＯＭ３０Ｂに記憶されたプログラムを実行することによって、図４に示す線地図生成処理が実行される。図４には、本実施形態の地図生成装置１０で実行される線地図生成処理の流れの一例を表すフローチャートが示されている。なお、一例として本実施形態の地図生成装置１０では、予め定められたタイミング毎や、各走行区間毎に予め定められた数の撮像画像が撮像画像データベース１５に格納されたタイミング毎に、図４に一例を示した線地図生成処理が実行される。 Next, the operation of the map generator 10 of the present embodiment will be described in detail. When the CPU 30A executes the program stored in the ROM 30B, the line map generation process shown in FIG. 4 is executed. FIG. 4 shows a flowchart showing an example of the flow of the line map generation process executed by the map generation device 10 of the present embodiment. As an example, in the map generation device 10 of the present embodiment, FIG. 4 shows each predetermined timing and each timing when a predetermined number of captured images are stored in the captured image database 15 for each traveling section. The line map generation process shown in 1 is executed.
ステップＳ１００で線分検出部２０は、撮像画像データベース１５から取得した撮像画像から線分を検出する。線分検出部２０が、撮像画像から線分を検出する方法は特に限定されないが、一例として本実施形態の線分検出部２０は、撮像画像から、区画線の芯線を表す線分を、二値化、距離変換、及びハフ変換を行うことにより検出する。線分検出部２０は、距離変換した撮像画像の各行に対し、距離値について、当該距離値が左右の画素における距離値よりも大きい峰部分をハフ空間に投影する。検出する線分の上下の端点は、距離値が０（ゼロ）ではない上限及び下限より求められる。 In step S100, the line segment detection unit 20 detects the line segment from the captured image acquired from the captured image database 15. The method by which the line segment detection unit 20 detects a line segment from the captured image is not particularly limited, but as an example, the line segment detection unit 20 of the present embodiment obtains two line segments representing the core wire of the dividing line from the captured image. Detected by digitizing, distance transforming, and Hough transforming. The line segment detection unit 20 projects, with respect to each line of the captured image obtained by distance conversion, a peak portion in which the distance value is larger than the distance value in the left and right pixels into the huff space. The upper and lower end points of the line segment to be detected are obtained from the upper and lower limits where the distance value is not 0 (zero).
なお、本実施形態の線分検出部２０は、同一走行区間を撮像した複数の撮像画像について、本処理及び以下の処理を行う。 The line segment detection unit 20 of the present embodiment performs this processing and the following processing on a plurality of captured images captured in the same traveling section.
次のステップＳ１０２で投影部２２は、上記ステップＳ１００で検出した線分を投影し、鳥瞰図における絶対座標にする。一例として、本実施形態の投影部２２は、検出した線分を右が東、上が北となるＥＮ（East-North）座標に変換する。下記（１）式〜（４）式の変換式により、各線分の端点の座標を変換する。 In the next step S102, the projection unit 22 projects the line segment detected in the step S100 to obtain the absolute coordinates in the bird's-eye view. As an example, the projection unit 22 of the present embodiment converts the detected line segment into EN (East-North) coordinates in which the right side is east and the top side is north. The coordinates of the end points of each line segment are converted by the conversion formulas (1) to (4) below.
具体的には、撮像画像の撮像面が、道路Ｒの路面に対し、ほぼ垂直と仮定した場合の、撮像画像の座標と、撮像部１２の中心座標との変換を、（１）式及び（２）式により行う。
ｆ：（ｖ−ｖ０）＝ｚ：ｙ ・・・（１）
ｆ：（ｕ−ｕ０）＝ｚ：ｘ ・・・（２）
Specifically, when it is assumed that the imaging surface of the captured image is substantially perpendicular to the road surface of the road R, the conversion between the coordinates of the captured image and the center coordinates of the imaging unit 12 is performed by the equation (1) and (1). 2) Eq.
f: (vv 0 ) = z: y ... (1)
f: (u-u 0 ) = z: x ... (2)
なお、上記（１）式及び（２）式において、（ｕ，ｖ）は、撮像画像中の座標［pix］であり、（ｘ、ｚ）は、撮像部１２の中心座標、右手方向ｘ［m］と進行方向ｚ［m］である。また、ｆは、撮像部１２の焦点距離［pix］であり、ｙは、車両２における撮像部１２が設置されている位置の高さ［m］であり、（ｕ０，ｖ０）は、撮像画像中の消失点の座標［pix］である。 In the above equations (1) and (2), (u, v) are the coordinates [pix] in the captured image, and (x, z) are the center coordinates of the imaging unit 12 and the right-hand direction x [. m] and the direction of travel z [m]. Further, f is the focal length [pix] of the imaging unit 12, y is the height [m] of the position where the imaging unit 12 is installed in the vehicle 2, and (u 0 , v 0 ) is. The coordinates [pix] of the vanishing point in the captured image.
また、撮像部１２の中心座標からＥＮ座標への変換には、下記（３）式及び（４）式を用いる。
ｅ＝ｅ０＋（ｘ＋Δｘ）ｃｏｓθ＋（ｚ＋Δｚ）ｓｉｎθ ・・・（３）
ｎ＝ｎ０＋（ｘ＋Δｘ）ｓｉｎθ＋（ｚ＋Δｚ）ｃｏｓθ ・・・（４）
Further, the following equations (3) and (4) are used for conversion from the center coordinate of the imaging unit 12 to the EN coordinate.
e = e 0 + (x + Δx) cosθ + (z + Δz) sinθ ・ ・ ・ (3)
n = n 0 + (x + Δx) sinθ + (z + Δz) cosθ ・ ・ ・ (4)
なお、上記（３）式及び（４）式において、（ｅ，ｎ）は、ＥＮ座標［m］であり、（ｅ０，ｎ０）は、測位部１４により得られた車両２の基準位置のＥＮ座標［m］である。また、（Δｘ，Δｚ）は、車両２の基準位置に対する撮像部１２の相対位置［m］であり、θは、車両２の方位角（北が０で、時計回りを正とする）［rad］である。 In the above equations (3) and (4), (e, n) is the EN coordinate [m], and (e 0 , n 0 ) is the reference position of the vehicle 2 obtained by the positioning unit 14. EN coordinate [m]. Further, (Δx, Δz) is the relative position [m] of the imaging unit 12 with respect to the reference position of the vehicle 2, and θ is the azimuth angle of the vehicle 2 (north is 0 and clockwise is positive) [rad. ].
図５には、車両２の撮像部１２により撮像された撮像画像から線分検出部２０により検出された線分を、投影部２２によりＥＮ座標にプロットした図（ＥＮ座標図）の一例を示す。図５に例示したように、区間線以外の不要物体の線分等も後検出されている。 FIG. 5 shows an example of a diagram (EN coordinate diagram) in which the line segment detected by the line segment detection unit 20 from the image captured by the image pickup unit 12 of the vehicle 2 is plotted in EN coordinates by the projection unit 22. .. As illustrated in FIG. 5, line segments of unnecessary objects other than section lines are also detected later.
次のステップＳ１０４で線分対応付部２４は、上記ステップＳ１０２によりＥＮ座標に変換された各線分の端点に、下記参考文献１のスペクトル照合を応用し、複数の系列の線分について１体１の対応付けを導出する。
［参考文献１］M. Leordeanu and M. Hebert, “A spectral technique for correspondence problems using pairwise constraints," Proc. 10th IEEE Int. Conf. on Computer Vision, vol. 2, pp. 1482-1489, Beijing, China, Oct. 2005.
In the next step S104, the line segment correspondence attachment unit 24 applies the spectrum matching of the following reference 1 to the end points of each line segment converted into EN coordinates in the above step S102, and applies one body 1 for a plurality of series of line segments. Derivation of the correspondence of.
[Reference 1] M. Leordeanu and M. Hebert, “A spectral technique for correspondence problems using pairwise constraints,” Proc. 10th IEEE Int. Conf. On Computer Vision, vol. 2, pp. 1482-1489, Beijing, China , Oct. 2005.
ここで、参考として、系列Ｐに含まれる複数の特徴点と、系列Ｑに含まれる複数の特徴点を対応付ける問題を考える。以下、系列Ｐに含まれる特徴点数を｜Ｐ｜とし、系列Ｑに含まれる特徴点数を｜Ｑ｜とする。系列Ｐ、及び系列Ｑの各々から２点ずつ特徴点を抽出し、各々ｐｉ１，ｐｊ１∈Ｐ、及びｑｉ２，ｑｊ２∈Ｑと表す。点ｐｉ１及び点ｑｉ２との対応関係が、点ｐｊ１及び点ｑｊ２との間にも成立するとき、（ｉ１，ｉ２）と、（ｊ１，ｊ２）とは、インライアを構成する組とみなす。図６には、平行移動により重なる特徴点の組をインライアと判定する例を示す。 Here, as a reference, consider the problem of associating a plurality of feature points included in the series P with a plurality of feature points included in the series Q. Hereinafter, the number of feature points included in the series P is | P |, and the number of feature points included in the series Q is | Q |. Series P, and feature points extracted by 2 points from each of the series Q, denoted respectively p i1, p j1 ∈P, and q i2, q j2 ∈Q. When the correspondence between the points p i1 and the point q i2 also holds between the points p j1 and the point q j2 , (i1, i2) and (j1, j2) are the sets constituting the inlier. I reckon. FIG. 6 shows an example of determining a set of feature points that overlap due to parallel movement as an inlier.
（ｉ１，ｉ２）と、（ｊ１，ｊ２）とは同じ平行移動量により重なる組である一方、別の点ｑｋ２∈Ｑを含む（ｊ１，ｋ２）の組は、これを満たさない。この事象を表現するために、要素数｜Ｐ｜｜Ｑ｜×｜Ｐ｜｜Ｑ｜の行列Ｍを定義し、上記に対応する要素Ｍ（（ｉ１，ｉ２），（ｊ１，ｊ２））に「１」を、そうではない組に「０」を設定する。全要素の設定後、下記処理により全体で最適かつ重複のない要素間対応付け結果を求められる。 While (i1, i2) and (j1, j2) are pairs that overlap due to the same translation amount, the pair of (j1, k2) that includes another point q k2 ∈ Q does not satisfy this. In order to express this event, a matrix M of the number of elements | P || Q | × | P || Q | is defined, and the elements M ((i1, i2), (j1, j2)) corresponding to the above are set. Set "1" and "0" for other pairs. After setting all the elements, the optimum and unique inter-element association result can be obtained by the following processing.
まず、行列Ｍの第１主成分に対応する固有ベクトルｘをべき乗法により求める。そして、要素数｜Ｐ｜｜Ｑ｜×１のｘを要素数｜Ｐ｜×｜Ｑ｜の行列Ｘに再編成する。さらに、Hungarian法を適用し、１対１対応の対応関係を求める。例えば、図６に示した例では、インライアの組（ｉ１，ｉ２）；（ｊ１，ｊ２）は、行列Ｍから再編成された行列Ｘの要素より識別できる。 First, the eigenvector x corresponding to the first principal component of the matrix M is obtained by the power method. Then, x of the number of elements | P || Q | × 1 is reorganized into the matrix X of the number of elements | P | × | Q |. Furthermore, the Hungarian method is applied to obtain a one-to-one correspondence. For example, in the example shown in FIG. 6, the pair of inliers (i1, i2); (j1, j2) can be identified by the elements of the matrix X reorganized from the matrix M.
次に、上記ステップＳ１０２により得られた、ある投影画像における系列Ｐ、及び他の投影画像における系列Ｑ中の線分を対応付ける問題を考える。上記参考文献１における手法との相違点は、照合の単位を点から線分に置き換えていること、及び行列Ｍに格納する値を線分の端点位置差分に置き換えていることである。線分はＥＮ座標を要素とする両端点２点により表される。図７に示す例のように、各走行より２線分を選択し、ｐｉ１，ｐ’ｉ１，ｐｊ１，ｐ’ｊ１∈Ｐ、ｑｉ２，ｑ’ｉ２，ｑｊ２，ｑ’ｊ２∈Ｑと表す。組（ｉ１，ｉ２）に対応する位置差分量ｖｉ１，ｉ２を下記（５）式により導出する。
続いて、組(ｉ１，ｉ２）及び（ｊ１，ｊ２）のインライアらしさを表す値を、上記（５）式により得られる位置差分量を適用後の端点位置差分をもとに算出し、行列Ｍに格納する。行列Ｍは、下記（６）式により表される。
この値は、両線分の端点が位置差分量を適用後に完全に一致するとき「１」となり、離れるほど「０」に近付く。上記（６）式におけるλは。大きな平行移動量を抑制するための重みであり、測位精度を考慮し下記（７）式により定義する。
系列Ｐまたは、系列Ｑに含める線分は次のように選別する。上記ステップＳ１００及びＳ１０２により得られた投影画像各々における複数の線分の中で、両端点の位置の一致（例えば、距離が０．５ｍ未満）する線分が複数フレームに存在するものの確信度を１とし、照合対象とする。それ以外の線分は、確信度を０とし、本処理（線分対応付）には用いない。なお、本処理に用いなかった線分も後段の処理（Ｓ１０８の処理）には用いる。 The line segments included in the series P or the series Q are selected as follows. Among the plurality of line segments in each of the projected images obtained in steps S100 and S102, the certainty that the line segments in which the positions of both end points match (for example, the distance is less than 0.5 m) exists in the plurality of frames. Set to 1 and set as the collation target. For other line segments, the certainty level is set to 0, and they are not used in this processing (with line segment correspondence). The line segment not used in this process is also used in the subsequent process (process of S108).
すなわち、位置差分量適用後における線分の両端の位置の差分が小さい組は、インライアとなる。これにより、体表的な点を対応付けて、線分を合わせるポイントを抽出する。 That is, a set in which the difference between the positions at both ends of the line segment after applying the amount of position difference is small is an inlier. As a result, the points on which the line segments are aligned are extracted by associating the points on the body surface.
次のステップＳ１０６で線分対応付部２４は、線分の移動量を補間する。まず、インライアと判定された線分の組について、上記（５）式の位置差分量が算出されたものとする。もし、系列Ｐ及び系列Ｑが大局的な平行移動により一致する場合は、固有ベクトルｘの最大要素に対応する線分組の位置差分量が、系列Ｐ，Ｑ間の位置差分量とみなせる。しかし実際は、測位部１４の軌跡誤差の影響等で局所的な歪みが発生する。したがって、線分対応付部２４によって得られた１対１対応の線分組の中から、固有ベクトルｘの要素の大きい、上位ｎ組を利用する。本処理によって、適切なｎの値が求められる。後段の処理では、上位ｎ組の線分の組を制御点とし、その中間に存在する線分の位置差分量を線形補間することで、系列を重ね合わせることができる。 In the next step S106, the line segment corresponding unit 24 interpolates the movement amount of the line segment. First, it is assumed that the position difference amount of the above equation (5) is calculated for the set of line segments determined to be inliers. If the series P and the series Q match due to global parallel movement, the position difference amount of the line segment set corresponding to the maximum element of the eigenvector x can be regarded as the position difference amount between the series P and Q. However, in reality, local distortion occurs due to the influence of the trajectory error of the positioning unit 14. Therefore, from the one-to-one correspondence line segment sets obtained by the line segment correspondence attachment unit 24, the upper n sets having a large element of the eigenvector x are used. By this process, an appropriate value of n is obtained. In the subsequent processing, the series can be superposed by linearly interpolating the position difference amount of the line segments existing in the middle of the control points of the upper n sets of line segments.
図５に、線分対応付部２４による補間の例を示す。組（ｉ１，ｉ２）及び（ｋ１，ｋ２）は、上位ｎ組に該当するインライアとする。進行方向に沿ってそれらの中間に位置する線分ｐｊ１ｐ’ｊ１∈Ｐの位置差分量ｖｊ１は、前後の両線分ｐｉ１ｐ’ｉ１，ｐｋ１ｐ’ｋ１∈Ｐの位置差分量から、下記（８）式及び（９）式により導出される。
なお、片側のみに制御点が存在する場合は、外挿せず最近傍の位置差分量をそのまま適用する。例えば、パラメータｎの上限を１０として、その範囲で系列Ｐ，Ｑ間全体の線分の位置差分が最も小さくなるように、パラメータｎを決定する。全体の線分の位置差分は下記（１０）式により導出される。
次のステップＳ１０８で平均化部２６は、各線分を平均化する。本ステップの処理は、上記確信度の値に関わらず、全ての線分を処理の対象とする。パラメータｎが定まり、統合に用いる対応付けの組が確定したら、線分対応付部２４によって導出された位置差分量に基づいて、系列Ｐ及び系列Ｑ各々の全線分に平行移動処理を適用する。 In the next step S108, the averaging unit 26 averages each line segment. In the processing of this step, all line segments are processed regardless of the above-mentioned certainty value. When the parameter n is determined and the set of associations used for integration is determined, the translation process is applied to all the line segments of the series P and the series Q based on the position difference amount derived by the line segment corresponding attachment unit 24.
位置差分量の算出には上記（８）式及び（９）式の補間式を利用する。系列Ｐの線分ｊ１の平行移動量ｔｊ１は下記（１１）式で導出され、系列Ｑの線分ｊ２の平行移動量ｔｊ２は下記（１２）式で導出される。下記（１１）式及び（１２）式に示すように、平行移動量の導出には、線分対応付部２４により導出された固有ベクトルｘの最大要素を与える組の位置差分量ｖ＊を利用する。断りのない限り、係数ｋを１／２（ｋ＝１／２）とする。ｖ＊／２ずつ平行移動させた位置は、系列Ｐ，Ｑ間の最も信頼できる中間位置とみなすことができるからである。なお、詳細は後述するが、いずれかの系列が信用できない（位置が外れている）場合等は、ｋ＝１／２とせず、係数ｋの値を信用できる系列に合わせた値に調整する。
平均化部２６は、線分対応付部２４の結果に基づいて、入力系列Ｐ，Ｑを平均化し、新たに平均化後の系列Ｒを生成する。一例として、図９には、系列Ｐの線分ｐｊ１ｐ’ｊ１と系列Ｒの線分ｑｊ２ｑ’ｊ２を平均化し、系列Ｒの線分ｒｊ１，ｊ２ｒ’ｊ１，ｊ２を生成した例を示す。 The averaging unit 26 averages the input series P and Q based on the result of the line segment corresponding unit 24, and newly generates the averaging series R. As an example, in FIG. 9, the j2 'segment q j2 q of j1 and sequence R' segment p j1 p series P averaged to produce a line segment r j1, j2 r 'j1, j2 series R An example is shown.
系列Ｒの線分を、ｒｊ１，ｊ２ｒ’ｊ１，ｊ２と表し、確信度をｃ（ｒｊ１，ｊ２）と表すと、系列Ｒの線分の端点の位置ｒｊ１，ｊ２は下記（１３）式で表され、両端点の距離ｄは下記（１４）式で表され、及び確信度ｃ（ｒｊ１，ｊ２）は下記（１５）式で表される。なお、下記（１３）式〜（１５）式において、線分ｐｊ１ｐ’ｊ１の確信度をｃ（ｐｊ１）、線分ｑｊ２ｑ’ｊ２の確信度をｃ（ｑｊ２）とする。
１線分に対し他系列の複数の線分が対象となる場合、確信度ｃ（ｒｊ１，ｊ２）が最大となる線分の組に対し出力系列Ｒの線分ｒｊ１，ｊ２ｒ’ｊ１，ｊ２を生成する。 1 when a plurality of line segments of the other series to line segment of interest, confidence c (r j1, j2) line segments the output sequence R to a set of line segments having the largest r j1, j2 r 'j1 , J2 is generated.
なお、確信度が１となる系列Ｒの線分を生成しなかった系列Ｐ，Ｑにおける確信度が１の線分については、平行移動適用後の線分を系列Ｒに確信度を１として登録する。例えば、図９に示した例では、系列Ｐにおける確信度が１の線分ｐｌ１ｐ’ｌ１について、対応付けられた系列Ｑの線分がなく、確信度が１とな系列Ｒの線分を生成しなかったため、平行移動適用後の線分ｒｌ１，＊ｒ’ｌ１，＊を系列Ｒに確信度を１として登録する。 For the line segments with a certainty of 1 in the series P and Q that did not generate the line segment of the series R with a certainty of 1, the line segment after applying the translation is registered in the series R with the certainty of 1. To do. For example, in the example shown in FIG. 9, the line segment p l1 p 'l1 confidence is 1 in the sequence P, no segment of the associated series Q, confidence is 1 Do sequence R line because it did not produce a line segment r l1 after translation application, * r 'l1, it registers the confidence as 1 * in the sequence R.
次のステップＳ１１０で統合部２８は、集団内の全系列の組の処理を完了したか否かを判定する。未だ集団内の全系列の組の処理を完了していない場合、ステップＳ１１０の判定が否定判定となり、ステップＳ１１２へ移行する。ステップＳ１１２で統合部２８は、正規化確信度に基づいて、系列を再構築した後、ステップＳ１０４に戻り、再構築した系列に基づいてステップＳ１０４〜Ｓ１０８の各処理を繰り返す。一方、集団内の全系列の組の処理を完了した場合、ステップＳ１１０の判定が肯定判定となり、本線地図生成処理を終了する。 In the next step S110, the integration unit 28 determines whether or not the processing of all the sets in the group has been completed. If the processing of all the sets in the group has not been completed yet, the determination in step S110 becomes a negative determination, and the process proceeds to step S112. In step S112, the integration unit 28 reconstructs the sequence based on the normalization certainty, then returns to step S104, and repeats each process of steps S104 to S108 based on the reconstructed sequence. On the other hand, when the processing of all the sets in the group is completed, the determination in step S110 becomes an affirmative determination, and the main line map generation processing ends.
本実施形態では、複数系列の線分を統合する場合、例えば、道路Ｒの車線毎に系列の集合｛Ａ１，Ａ２，Ａ３，Ａ４・・・｝、及び｛Ｂ１，ｂ２，ｂ３，ｂ４・・・｝を定義し、各集合内の全組み合わせについて、上記ステップＳ１０８の平均化部２６による平均化を実施する。 In the present embodiment, when integrating a plurality of line segments, for example, a set of series {A1, A2, A3, A4 ...} For each lane of the road R, and {B1, b2, b3, b4 ... •} Is defined, and all combinations in each set are averaged by the averaging unit 26 in step S108.
ステップＳ１０８の処理により確信度が「未定」とされた線分については、集合内で１組でも他系列と対応付けが可能な事例があった場合は、確信度を１とし、当該事例がなかった場合は、確信度を０とする。 For a line segment whose certainty is "undecided" by the processing of step S108, if there is a case in the set that can be associated with another series, the certainty is set to 1 and there is no such case. If so, the certainty level is set to 0.
正規化確信度の大きい順に出力数系列（例えば、８系列）を選別し、次のステップ用の集合を再構築する。正規化確信度は、例えば、下記（１６）式により表される。
正規化確信度＝（上記（１５）式のｅｘｐ（−ｄ）を出力系列内で総和した値）／（検出線分数×走行距離） ・・・（１６）
The output number series (for example, 8 series) is selected in descending order of normalization certainty, and the set for the next step is reconstructed. The normalization certainty is expressed by, for example, the following equation (16).
Normalization certainty = (value obtained by summing exp (-d) of the above equation (15) in the output series) / (detection line fraction x mileage) ... (16)
同じ系列の組み合わせが重複する場合、例えば、図１０に示した例では、「Ａ１２３」の場合、正規化確信度が最大の系列を採用する。 When the combination of the same series overlaps, for example, in the example shown in FIG. 10, in the case of "A123", the series having the maximum normalization certainty is adopted.
測位部１４における大きな測定誤差を除外するため、移動量ｖ＊のノルム｜｜ｖ＊｜｜を集合中で平均した値が大きい順に、上位の何割か（例えば、４割等）に入る系列を、位置の外れた系列とみなし、線分（端点）の位置を調整する。対応付ける系列を系列Ｐ、Ｑとした場合、以下のいずれかの態様をとる。 In order to exclude a large measurement error in the positioning unit 14, the series in which the norms of the movement amount v * || v * || are placed in the top percentage (for example, 40%) in descending order of the average value in the set are selected. , It is regarded as a series that is out of position, and the position of the line segment (end point) is adjusted. When the associated series is the series P and Q, one of the following modes is taken.
系列Ｐが上記に該当する場合、上記（１１）式及び（１２）式において係数ｋを１（ｋ＝１）とする。また、系列Ｑが上記に該当する場合、上記（１１）式及び（１２）式において係数ｋを０（ｋ＝０）とする。また、系列Ｐ，Ｑの両方が上記に該当する場合、系列Ｐ，Ｑから系列Ｐ，Ｑ以外への移動量ｖ＊を小集団内で平均した移動量を加算する。 When the series P corresponds to the above, the coefficient k is set to 1 (k = 1) in the above equations (11) and (12). When the series Q corresponds to the above, the coefficient k is set to 0 (k = 0) in the above equations (11) and (12). If both the series P and Q correspond to the above, the movement amount obtained by averaging the movement amount v * from the series P and Q to other than the series P and Q in the small group is added.
一例としては、集合内の統合回数を２回、集合間の統合回数を１回とし、統合部２８は、最終的に正規化確信度が最大の系列を統合結果として地図データベース１８へ出力する。 As an example, the number of integrations within the set is set to 2 and the number of integrations between sets is set to 1, and the integration unit 28 finally outputs the sequence having the maximum normalization certainty to the map database 18 as the integration result.
例えば図１０に示した例では、ある車線について、各々異なる系列から検出された線分Ａ１、Ａ２、Ａ３、及びＡ４を用い、上記Ｓ１０４〜Ｓ１０８の処理により線分Ａ１及び線分Ａ２から線分Ａ１２を生成し、線分Ａ１及び線分Ａ３から線分Ａ１３を生成し、線分Ａ２及び線分Ａ３から線分Ａ２３を生成し、線分Ａ３及び線分Ａ４から線分Ａ３４を生成した場合を示している。さらに、上記ステップＳ１０４〜Ｓ１０８の処理を繰り返し、線分Ａ１２及び線分Ａ１３から線分Ａ１２３を生成し、線分Ａ１３及び線分Ａ２３から線分Ａ１２３を生成し、線分Ａ１２及び線分Ａ３４から線分Ａ１２３４を生成する。この場合、線分Ａ１２３は重複するため、正規化確信度が高い組み合わせの線分、図１０に示した例では、線分Ａ１２及び線分Ａ１３の組み合わせによる線分Ａ１２３を採用する。 For example, in the example shown in FIG. 10, for a certain lane, line segments A1, A2, A3, and A4 detected from different sequences are used, and the line segments A1 and A2 are separated by the processing of S104 to S108. When A12 is generated, line segment A13 is generated from line segment A1 and line segment A3, line segment A23 is generated from line segment A2 and line segment A3, and line segment A34 is generated from line segment A3 and line segment A4. Is shown. Further, the processes of steps S104 to S108 are repeated to generate line segment A123 from line segment A12 and line segment A13, line segment A123 from line segment A13 and line segment A23, and line segment A12 and line segment A34. Generate line segment A1234. In this case, since the line segments A123 overlap, a line segment A123 having a combination of line segments A12 and A13 with a high degree of certainty of normalization is adopted in the example shown in FIG.
また、各々異なる系列から検出された線分Ｂ１、Ｂ２、Ｂ３、及びＢ４を用い、上記Ｓ１０４〜Ｓ１０８の処理により線分Ｂ１及び線分Ｂ２から線分Ｂ１２を生成し、線分Ｂ１及び線分Ｂ３から線分Ｂ１３を生成し、線分Ｂ２及び線分Ｂ４から線分Ｂ２４を生成し、線分Ｂ３及び線分Ｂ４から線分Ｂ３４を生成した場合を示している。さらに、上記ステップＳ１０４〜Ｓ１０８の処理を繰り返し、線分Ｂ１３及び線分Ｂ２４から線分Ｂ１２３４を生成する。この場合、線分Ｂ１２及び線分Ｂ３４は正規化確信度が低い組み合わせの線分であるため、統合に用いない。 Further, using line segments B1, B2, B3, and B4 detected from different series, line segment B1 and line segment B2 are generated from line segment B1 and line segment B2 by the processing of S104 to S108, and line segment B1 and line segment are generated. The case where the line segment B13 is generated from B3, the line segment B24 is generated from the line segment B2 and the line segment B4, and the line segment B34 is generated from the line segment B3 and the line segment B4 is shown. Further, the process of steps S104 to S108 is repeated to generate a line segment B1234 from the line segment B13 and the line segment B24. In this case, the line segment B12 and the line segment B34 are not used for integration because they are a combination of line segments having low normalization certainty.
そして、統合部２８は、集合Ａの線分Ａ１２３４と、集合Ｂの線分Ｂ１２３４を統合して、統合結果Ａ１２３４Ｂ１２３４を導出し、地図データベース１８に出力する。 Then, the integration unit 28 integrates the line segment A1234 of the set A and the line segment B1234 of the set B, derives the integration result A1234B1234, and outputs it to the map database 18.
本実施の形態の地図生成装置１０の適用例について図１１Ａ及び図１１Ｂに示す。図１１Ａに示した例では、系列Ｐ及び系列Ｑ各々複数の線分を同一平面上に表しており、線分対応付部２４により、系列Ｐの線分と系列Ｑの線分とが対応付けられた状態を示している。なお、図１１Ａに示した例では、対応付けられた線分同士を矢印で示している。また、図１１Ｂに示した例では、統合部２８により系列Ｐと系列Ｑとを統合して得られた統合結果の一例を示している。なお、図１１Ｂでは、統合結果（インライア）の線分を実線で示し、アウトライアの線分を点線で示す。また、比較例として、図１１Ｃには、図１１Ａにおける系列Ｐの各線分と、系列Ｑの各線分全体を平行移動させた場合の統合結果の例を示す。図１１Ｃでは、図１１Ｂと同様に、インライアの線分を実線で示し、アウトライアの線分を点線で示す。図１１Ｂ及び図１１Ｃを比較するとわかるように、本実施形態の地図生成装置１０によれば、単純に系列の線分を平行移動させた場合に比べて、系列間で適切に線分の統合が行われていることがわかる。 An application example of the map generator 10 of the present embodiment is shown in FIGS. 11A and 11B. In the example shown in FIG. 11A, a plurality of line segments of each of the series P and the series Q are represented on the same plane, and the line segment of the series P and the line segment of the series Q are associated with each other by the line segment corresponding portion 24. It shows the state of being In the example shown in FIG. 11A, the associated line segments are indicated by arrows. Further, in the example shown in FIG. 11B, an example of the integration result obtained by integrating the series P and the series Q by the integration unit 28 is shown. In FIG. 11B, the line segment of the integration result (inlier) is shown by a solid line, and the line segment of the outlier is shown by a dotted line. Further, as a comparative example, FIG. 11C shows an example of the integration result when each line segment of the series P in FIG. 11A and the entire line segment of the series Q are translated in parallel. In FIG. 11C, similarly to FIG. 11B, the line segment of the inlier is shown by a solid line, and the line segment of the outlier is shown by a dotted line. As can be seen by comparing FIGS. 11B and 11C, according to the map generator 10 of the present embodiment, the line segments can be appropriately integrated between the series as compared with the case where the line segments of the series are simply translated. You can see that it is being done.
また、本実施の形態の地図生成装置１０の適用例について図１２Ａ〜図１２Ｄに示す。図１２Ａに示した例では、線分検出部２０により検出され投影部２２により座標が変換された系列Ｐの複数の線分を示す投影図を示している。また、図１２Ｂに示した例では、線分検出部２０により検出され投影部２２により座標が変換された系列Ｑの複数の線分を示す投影図を示している。系列Ｐ、及び系列Ｑの各々は、同一走行区間の道路Ｒの左右を撮像した撮像画像から得られた投影画像である。図１２Ｃには、線分対応付部２４により、図１２Ａに示した系列Ｐの線分と、図１２Ｂに示した系列Ｑの線分とが対応付けられた状態を示している。図１２Ｃでは、上記図１１Ａと同様に対応付けられた線分同士を矢印で示している。さらに、図１２Ｄには、統合部２８により系列Ｐと系列Ｑとを統合して得られた統合結果の一例を示している。なお、図１２Ｄでは、上記図１１Ｂと同様に、統合結果（インライア）の線分を実線で示し、アウトライアの線分を点線で示す。図１２Ｄに示すように、本実施形態の地図生成装置１０によれば、道路Ｒの左右を撮像した撮像画像を用いた場合、道路Ｒの中央付近の区画線を表す線分が統合により、適切に検出されていることがわかる。 Further, FIGS. 12A to 12D show an application example of the map generator 10 of the present embodiment. In the example shown in FIG. 12A, a projection drawing showing a plurality of line segments of the series P detected by the line segment detection unit 20 and whose coordinates are converted by the projection unit 22 is shown. Further, in the example shown in FIG. 12B, a projection drawing showing a plurality of line segments of the series Q detected by the line segment detection unit 20 and whose coordinates are converted by the projection unit 22 is shown. Each of the series P and the series Q is a projection image obtained from an captured image of the left and right sides of the road R in the same traveling section. FIG. 12C shows a state in which the line segment of the series P shown in FIG. 12A and the line segment of the series Q shown in FIG. 12B are associated with each other by the line segment corresponding portion 24. In FIG. 12C, the line segments associated with each other are indicated by arrows in the same manner as in FIG. 11A. Further, FIG. 12D shows an example of the integration result obtained by integrating the series P and the series Q by the integration unit 28. In FIG. 12D, similarly to FIG. 11B, the line segment of the integration result (inlier) is shown by a solid line, and the line segment of the outlier is shown by a dotted line. As shown in FIG. 12D, according to the map generator 10 of the present embodiment, when the captured images of the left and right sides of the road R are used, the line segments representing the lane markings near the center of the road R are appropriate due to the integration. It can be seen that it has been detected in.
以上説明したように、上記各実施形態の地図生成装置１０は、線分検出部２０、線分対応付部２４、平均化部２６、及び統合部２８を備える。線分検出部２０は、車両２に搭載された撮像部１２により、同一の走行区間が撮影された複数の撮像画像の各々から、複数の線分を検出する。線分対応付部２４は、複数の撮像画像毎に、撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、位置差分量が小さくなるように、線分の対応付けを行う。平均化部２６は、線分対応付部２４により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、新たな線分からなる系列を生成する。統合部２８は、平均化部２６が生成した、新たな線分からなる系列同士の２系列について、線分対応付部２４による対応付け、及び平均化部２６による生成を行わせて、新たな線分からなる系列同士の２系列を統合する。 As described above, the map generation device 10 of each of the above embodiments includes a line segment detection unit 20, a line segment correspondence unit 24, an averaging unit 26, and an integration unit 28. The line segment detection unit 20 detects a plurality of line segments from each of a plurality of captured images in which the same traveling section is captured by the image pickup unit 12 mounted on the vehicle 2. The line segment corresponding unit 24 calculates the position difference amount between the end points of the line segment detected from the captured image and the end points of the line segment detected from the other captured images for each of the plurality of captured images. Based on the calculated position difference amount, the position difference amount is reduced between the two series consisting of the line segments detected from the captured image and the series consisting of the line segments detected from the other captured images. Associate line segments. The averaging unit 26 generates a new line segment at a position between the associated line segments based on the association of the line segments between the two series associated with the line segment corresponding unit 24, and newly generates a new line segment. Generate a series of line segments. The integration unit 28 causes the averaging unit 26 to associate the two series of the series consisting of the new line segments with each other by the line segment corresponding unit 24 and generate the new line segment. Integrate two series of line segments.
このように本実施形態の地図生成装置１０によれば、線分対応付部２４により、線分の一致の度合いを表す確信度を指標とした対応付けにより、系列間の全体として最適、かつ重複のない線分の対応付けが行われる。また、平均化部２６が、対応付け結果に基づいて、対応付いた２つの線分間の中間位置に、両線分を統合した新たな線分を生成する。また、線分対応付部２４は、対応付けられなかった線分については、周囲の線分の対応関係をもとに移動量の補間を行い、位置を更新する。これらの処理により、測位部１４の軌跡誤差等による線分分布の非線形な歪みを補完することができる。また、平均化部２６及び統合部２８では、平均化及び統合を繰り返す際に、位置が外れた系列、例えば、後検出された線分を除外しながら、統合することもできる。また、系列の数、換言すると撮像画像の数を増加させることで、統合後の線分は、実際の位置（真位置）へと収束に向かう。また、軌跡誤差による歪みも収束に向かう。このように、本実施形態の地図生成装置１０によれば、単純に各系列の線分全体を平行移動させたのみでは重ならない歪みを吸収することができる。 As described above, according to the map generation device 10 of the present embodiment, the line segment corresponding portion 24 is optimally and duplicated as a whole between the series by the association using the certainty degree indicating the degree of line segment matching as an index. Line segments without a line segment are associated. Further, the averaging unit 26 generates a new line segment that integrates both line segments at an intermediate position between the two corresponding line segments based on the association result. Further, the line segment correspondence unit 24 updates the position of the line segment that is not associated with the line segment by interpolating the movement amount based on the correspondence relationship of the surrounding line segments. By these processes, it is possible to supplement the non-linear distortion of the line segment distribution due to the trajectory error of the positioning unit 14. Further, in the averaging unit 26 and the integration unit 28, when the averaging and integration are repeated, the series can be integrated while excluding the misaligned series, for example, the line segment detected afterwards. Further, by increasing the number of series, in other words, the number of captured images, the line segment after integration tends to converge to the actual position (true position). In addition, the distortion due to the trajectory error also tends to converge. As described above, according to the map generator 10 of the present embodiment, it is possible to absorb distortions that do not overlap by simply translating the entire line segment of each series.
従って、本実施形態の地図生成装置１０によれば、高精度な線地図を生成することができる。 Therefore, according to the map generation device 10 of the present embodiment, it is possible to generate a highly accurate line map.
本実施形態の地図生成装置１０によって得られ、地図データベース１８に記憶された線地図は、例えば、車両２の自己位置の推定や、自動運転等に利用することができる。 The line map obtained by the map generation device 10 of the present embodiment and stored in the map database 18 can be used, for example, for estimating the self-position of the vehicle 2 and for automatic driving.
なお、地図生成装置１０には、各種ドライブが接続されていてもよい。各種ドライブは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭなどのコンピュータ読み取り可能な可搬性の記録媒体からデータを読み込んだり、記録媒体に対してデータを書き込んだりする装置である。各種ドライブを備える場合には、可搬性の記録媒体に制御プログラムを記録しておいて、これを対応するドライブで読み込んで実行してもよい。 Various drives may be connected to the map generator 10. Various drives are devices that read data from a computer-readable portable recording medium such as a flexible disk, magneto-optical disk, or CD-ROM, or write data to the recording medium. When various drives are provided, the control program may be recorded on a portable recording medium, read by the corresponding drive, and executed.
１ 地図生成システム
１０ 地図生成装置
１２ 撮像部
１４ 測位部
２０ 線分検出部
２２ 投影部
２４ 線分対応付部
２６ 平均化部
２８ 統合部
1 Map generation system 10 Map generation device 12 Imaging unit 14 Positioning unit 20 Line segment detection unit 22 Projection unit 24 Line segment correspondence unit 26 Average unit 28 Integration unit
Claims (8)
前記複数の撮像画像毎に、前記撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、前記撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、前記位置差分量が小さくなるように、線分の対応付けを行う線分対応付部と、
前記線分対応付部により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、前記新たな線分からなる系列を生成する平均化部と、
前記平均化部が生成した、前記新たな線分からなる系列同士の２系列について、前記線分対応付部による対応付け、及び前記平均化部による生成を行わせて、前記新たな線分からなる系列同士の２系列を統合する統合部と、
を備えた地図生成装置。 A line segment detection unit that detects a plurality of line segments from each of a plurality of captured images captured in the same traveling section by an imaging unit mounted on a vehicle.
For each of the plurality of captured images, the position difference amount between the end points of the line segment detected from the captured image and the end points of the line segment detected from the other captured images is calculated, and the calculated position difference amount is calculated. Correspondence of the line segments so that the position difference amount becomes small between the two series consisting of the line segments detected from the captured image and the series consisting of the line segments detected from the other captured images. With the line segment corresponding part to attach
A new line segment is generated at a position between the associated line segments based on the correspondence of the line segments between the two line segments associated with the line segment corresponding portion, and the series consisting of the new line segments. With the averaging section that generates
The two series of the series consisting of the new line segments generated by the averaging unit are associated with each other by the line segment corresponding portion and generated by the averaging unit, and the series consisting of the new line segment is performed. An integration unit that integrates two lines of each other,
A map generator equipped with.
請求項１に記載の地図生成装置。 The integration unit integrates the two series by converging the position of the associated line segment to the center position.
The map generator according to claim 1.
前記線分対応付部は、前記両端点の前記絶対座標に基づく位置に基づいて、対応付けを行う、
請求項１または請求項２に記載の地図生成装置。 For each of the plurality of line segments detected by the line segment detection unit, the coordinates representing the position of each line segment are set to absolute coordinates based on the position information of the vehicle associated with each of the plurality of captured images. It also has a projection unit to convert,
The line segment corresponding portion associates the end points based on the positions based on the absolute coordinates.
The map generator according to claim 1 or 2.
請求項３に記載の地図生成装置。 The projection unit converts the coordinates representing the both end points into the absolute coordinates in the bird's-eye view.
The map generator according to claim 3.
請求項１から請求項４のいずれか１項に記載の地図生成装置。 The line segment detection unit detects the core wire of the section line as a line segment from each of the plurality of captured images.
The map generator according to any one of claims 1 to 4.
請求項１から請求項５のいずれか１項に記載の地図生成装置。 When averaging a series of upper n (n is an integer of 1 or more) sets having a large position error in the set of the series and a series other than the n sets, the averaging unit is a series other than the n sets. Generate a line segment that is closer to the position of the line segment,
The map generator according to any one of claims 1 to 5.
請求項１から請求項６のいずれか１項に記載の地図生成装置。 The integration unit selects the upper output series having high line segment matching in the averaging unit and reconstructs a set of series.
The map generator according to any one of claims 1 to 6.
車両に搭載された撮像部により、同一の走行区間が撮影された複数の撮像画像の各々から、複数の線分を検出する線分検出部、
前記複数の撮像画像毎に、前記撮像画像から検出された線分の両端点と、他の撮像画像から検出された線分の両端点との位置差分量を算出し、算出された位置差分量に基づいて、前記撮像画像から検出された線分からなる系列と、他の撮像画像から検出された線分からなる系列との２系列間で、前記位置差分量が小さくなるように、線分の対応付けを行う線分対応付部、
前記線分対応付部により対応付けられた２系列間の線分の対応付けに基づいて、対応付けられた線分の間の位置に新たな線分を生成し、前記新たな線分からなる系列を生成する平均化部、
前記平均化部が生成した、前記新たな線分からなる系列同士の２系列について、前記線分対応付部による対応付け、及び前記平均化部による生成を行わせて、前記新たな線分からなる系列同士の２系列を統合する統合部、
として機能させるためのプログラム。 Computer,
A line segment detection unit that detects a plurality of line segments from each of a plurality of captured images captured in the same traveling section by an imaging unit mounted on a vehicle.
For each of the plurality of captured images, the position difference amount between the end points of the line segment detected from the captured image and the end points of the line segment detected from the other captured images is calculated, and the calculated position difference amount is calculated. Correspondence of the line segments so that the position difference amount becomes small between the two series consisting of the line segments detected from the captured image and the series consisting of the line segments detected from the other captured images. Line segment corresponding part to attach,
A new line segment is generated at a position between the associated line segments based on the correspondence of the line segments between the two line segments associated with the line segment corresponding portion, and the series consisting of the new line segments. The averaging section, which produces
The two series of the series consisting of the new line segments generated by the averaging unit are associated with each other by the line segment corresponding portion and generated by the averaging unit, and the series consisting of the new line segment is performed. An integration unit that integrates two lines of each other,
A program to function as.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019036877A JP7028206B2 (en) | 2019-02-28 | 2019-02-28 | Map generator and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019036877A JP7028206B2 (en) | 2019-02-28 | 2019-02-28 | Map generator and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020140566A true JP2020140566A (en) | 2020-09-03 |
| JP7028206B2 JP7028206B2 (en) | 2022-03-02 |
Family
ID=72280400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019036877A Active JP7028206B2 (en) | 2019-02-28 | 2019-02-28 | Map generator and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7028206B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015004814A (en) * | 2013-06-20 | 2015-01-08 | 株式会社豊田中央研究所 | Lane map generation device and program |
| JP2018116147A (en) * | 2017-01-18 | 2018-07-26 | 株式会社デンソーアイティーラボラトリ | Map creation device, map creation method and map creation computer program |
-
2019
- 2019-02-28 JP JP2019036877A patent/JP7028206B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015004814A (en) * | 2013-06-20 | 2015-01-08 | 株式会社豊田中央研究所 | Lane map generation device and program |
| JP2018116147A (en) * | 2017-01-18 | 2018-07-26 | 株式会社デンソーアイティーラボラトリ | Map creation device, map creation method and map creation computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7028206B2 (en) | 2022-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Klingner et al. | Street view motion-from-structure-from-motion | |
| CN111557665B (en) | Dense body marker estimation from camera data for patient positioning in medical imaging | |
| JP6514624B2 (en) | Obstacle detection device | |
| JP5992184B2 (en) | Image data processing apparatus, image data processing method, and image data processing program | |
| CN108020827B (en) | Mobile imaging platform calibration | |
| KR101776621B1 (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
| US6819318B1 (en) | Method and apparatus for modeling via a three-dimensional image mosaic system | |
| Kang et al. | Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model | |
| US9619892B2 (en) | Apparatus and method for extracting movement path of mutual geometric relationship fixed camera group | |
| JP6782903B2 (en) | Self-motion estimation system, control method and program of self-motion estimation system | |
| CN109754459B (en) | Method and system for constructing human body three-dimensional model | |
| JP6194610B2 (en) | Moving distance estimation apparatus, moving distance estimation method, and program | |
| JP2007310707A (en) | Apparatus and method for estimating posture | |
| WO2018235923A1 (en) | Position estimating device, position estimating method, and program | |
| US20190102910A1 (en) | Estimating program, estimating method, and estimating system for camera parameter | |
| CN110462685B (en) | Three-dimensional model reconstruction method and system | |
| KR102289688B1 (en) | Method for Estimating 3D Marker Cordinetes of Optical Position Tracking System | |
| Gu et al. | Histograms of the normalized inverse depth and line scanning for urban road detection | |
| Daraei et al. | Velocity and shape from tightly-coupled LiDAR and camera | |
| JP5501084B2 (en) | Planar area detection apparatus and stereo camera system | |
| KR101677230B1 (en) | Apparatus and method for estimating quality of heterogenic image fusion algorithm | |
| JP7028206B2 (en) | Map generator and program | |
| JP2009237846A (en) | Information processor, information processing method, and computer program | |
| JP2006113832A (en) | Stereoscopic image processor and program | |
| JP2008185417A (en) | Information processing device, information processing method, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200722 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220131 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7028206 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |