JP2008102684A - Apparatus for recognizing road sign and car navigation system - Google Patents

Apparatus for recognizing road sign and car navigation system Download PDF

Info

Publication number
JP2008102684A
JP2008102684A JP2006283840A JP2006283840A JP2008102684A JP 2008102684 A JP2008102684 A JP 2008102684A JP 2006283840 A JP2006283840 A JP 2006283840A JP 2006283840 A JP2006283840 A JP 2006283840A JP 2008102684 A JP2008102684 A JP 2008102684A
Authority
JP
Japan
Prior art keywords
recognition
branch
branch line
result
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006283840A
Other languages
Japanese (ja)
Other versions
JP4878256B2 (en
Inventor
Toshiyuki Aoki
Kimiyoshi Machii
君吉 待井
利幸 青木
Original Assignee
Clarion Co Ltd
Hcx:Kk
Hitachi Ltd
クラリオン株式会社
株式会社 エイチ・シー・エックス
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Hcx:Kk, Hitachi Ltd, クラリオン株式会社, 株式会社 エイチ・シー・エックス, 株式会社日立製作所 filed Critical Clarion Co Ltd
Priority to JP2006283840A priority Critical patent/JP4878256B2/en
Publication of JP2008102684A publication Critical patent/JP2008102684A/en
Application granted granted Critical
Publication of JP4878256B2 publication Critical patent/JP4878256B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To increase reliability of a result of recognizing white lines even if images of even the same white line cannot be recognized partially because of blurs due to secular changes, or partial missing. <P>SOLUTION: An apparatus for recognizing a road sign includes a road sign recognition means for recognizing the road sign by processing an image from a camera provided on a vehicle; a map DB for retaining map link information; a transition pattern DB for storing a transition pattern of the positional relationship between the vehicle and a road sign; a transition pattern collating means for collating the result of recognition by the road sign recognition means with the transition pattern; and a recognition result DB for retaining the recognition result. Using an output result from the transition pattern collating means, a determination is made whether or not there is the road sign. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、路上の標示を画像認識する装置とこの認識結果を用いるカーナビゲーションシステムに関するものである。   The present invention relates to a device for recognizing a sign on a road and a car navigation system using the recognition result.
特許文献1には、分岐線の認識方法が開示されている。この従来技術では、路上表示線のエッジライン2本を抽出し、当該エッジラインの間隔によって分岐線かどうかを判断する。更に、認識結果の信頼性を高めるために、第1の分岐線認識を実行した後、所定の時間を経て第2の分岐線認識を実行する。これら2回の認識結果に基づいて、最終的な分岐線判定を実行する。第1の分岐線認識を実行して分岐線が認識できた後、第2の分岐線認識で分岐線が認識できなかった場合は、第1の分岐線認識の結果を採用する。また、認識処理の結果、直線が検出できなかった場合は、過去n回以内に直線が検出されていればその結果を今回の認識結果としている。過去n回以内に直線が検出されていなければ、今回は直線が検出できなかったと判断する。直線を認識すると、その移動方向から、分岐における進行方向を特定する。例えば、右に存在する白線が右側に移動して消えていけば、自車は左車線を走行中と判断する。   Patent Document 1 discloses a branch line recognition method. In this prior art, two edge lines of road display lines are extracted, and it is determined whether or not the line is a branch line based on the interval between the edge lines. Furthermore, in order to increase the reliability of the recognition result, after executing the first branch line recognition, the second branch line recognition is executed after a predetermined time. Based on these two recognition results, final branch line determination is executed. After executing the first branch line recognition and recognizing the branch line, when the second branch line recognition fails to recognize the branch line, the result of the first branch line recognition is adopted. If a straight line cannot be detected as a result of the recognition process, if the straight line has been detected within the past n times, the result is taken as the current recognition result. If a straight line has not been detected within the past n times, it is determined that a straight line has not been detected this time. When the straight line is recognized, the traveling direction in the branch is specified from the moving direction. For example, if the white line existing on the right moves to the right side and disappears, it is determined that the vehicle is traveling in the left lane.
特開平11−232467号公報JP-A-11-232467
路上の白線は、経年変化によるかすれや、部分的な欠落などが存在する場合があり、同一の白線であっても部分的に画像認識ができない場合がある。その解決策として、上記特許文献1では、一定時間をおいて2回の認識処理を実行し、その結果から白線認識結果を検証して信頼性を高める技術を開示している。   The white line on the road may have fading due to secular change, partial omission, and the like, and even if it is the same white line, partial image recognition may not be possible. As a solution to this problem, Patent Document 1 discloses a technique for improving reliability by executing recognition processing twice at regular intervals and verifying the white line recognition result from the result.
上記特許文献1に開示の技術では、2回の分岐線認識を実行するタイミングによっては、分岐線が存在するにもかかわらず、分岐線の存在を認識することができない場合がある。例えば、分岐線の最初と最後は分岐線がはっきりと塗られていて途中がかすれている場合、途中の部分で2回の分岐線認識を実行しても、2回とも認識不可となって信頼度の判定ができず、分岐線の存在を確認できない可能性がある。   According to the technique disclosed in Patent Document 1, depending on the timing of executing branch line recognition twice, the presence of a branch line may not be recognized even though the branch line exists. For example, if the branch line is clearly painted at the beginning and end of the branch line and the middle is faint, even if the branch line is recognized twice in the middle of the branch line, it cannot be recognized twice and is trusted It is possible that the degree cannot be determined and the presence of a branch line cannot be confirmed.
認識できない場合、過去n回の認識処理で直線が認識されていれば、最新の直線の方程式を今回の結果として採用するとしても、画像には複数の直線が検出される場合がある。したがって、何らかの方法で、採用する直線を選択する必要があるが、その方法については記載されていない。つまり、画像内における直線の位置までは考慮していない。   If the straight line is recognized in the past n recognition processes, a plurality of straight lines may be detected in the image even if the latest straight line equation is adopted as the current result. Therefore, it is necessary to select a straight line to be adopted by some method, but the method is not described. That is, the position of the straight line in the image is not taken into consideration.
また、分岐線が短い場合、1回目の認識ができたとしても、2回目の認識をする前に車が分岐線を通過してしまうことが考えられる。そのときは、2回目の認識で分岐線が認識されず、結果的に1回目の結果のみで分岐線の有無を判定するため、認識結果の信頼性向上にはつながらない。   In addition, when the branch line is short, even if the first recognition can be performed, the car may pass the branch line before the second recognition. At that time, the branch line is not recognized in the second recognition, and as a result, the presence / absence of the branch line is determined only by the first result, and thus the reliability of the recognition result is not improved.
本発明の目的は、路上標示物と自車との相対的な位置関係の遷移パターンを用いることによって、路上標示物の画像認識が安定しない場合でも、路上標示物の画像認識の信頼性を向上させることにある。   The object of the present invention is to improve the image recognition reliability of road marking objects even when the image recognition of road marking objects is not stable by using the transition pattern of the relative positional relationship between the road marking objects and the own vehicle. There is to make it.
車両に備えられたカメラの画像を処理して路上標示物を認識する路上標示物認識手段と、道路リンク情報を保持する地図DBと、車と路上標示物との相対位置関係の遷移パターンを格納した遷移パターンDBと、前記路上標示物認識手段による認識結果と前記遷移パターンを照合する遷移パターン照合手段と、前記認識結果を保持する認識結果DBを備え、前記遷移パターン照合手段の出力結果を用いて路上標示物の有無を判定する。   Stores road marking object recognition means for recognizing road marking objects by processing images of cameras provided in the vehicle, a map DB that holds road link information, and transition patterns of relative positional relationships between vehicles and road marking objects A transition pattern DB, a transition pattern matching means for matching the recognition result by the road marking object recognition means and the transition pattern, and a recognition result DB for holding the recognition result, and using an output result of the transition pattern matching means Determine the presence of road markings.
また、前記路上標示物認識手段は、カーナビゲーションシステムから、車前方の分岐方向を受け取り、当該分岐方向に基づいて、車と路上標示物との相対位置関係の遷移パターンを予測し、当該予測の結果と路上標示物認識結果とを照合し、路上標示物の認識結果を補正する。   Further, the road marking object recognition means receives a branch direction ahead of the vehicle from the car navigation system, predicts a transition pattern of a relative positional relationship between the car and the road marking object based on the branch direction, and The result and the road marking object recognition result are collated, and the recognition result of the road marking object is corrected.
また、前記路上標示物認識手段は、前記カメラから得られる画像から、認識対象とする標示物が認識されなかった場合、前回の認識結果と前記遷移パターンに基づいて今回の認識結果を補正し、その結果を前記認識結果DBに格納する。   The road marking object recognizing unit corrects the current recognition result based on the previous recognition result and the transition pattern when the sign object to be recognized is not recognized from the image obtained from the camera, The result is stored in the recognition result DB.
また、前記路上標示物認識手段は、前記カメラから得られる画像から、認識対象とする標示物が認識されなかった場合、前記カーナビゲーションシステムから舵角の方向を得て、分岐方向と逆方向でない場合に、認識結果を補正し、その結果を前記認識結果DBに格納する。   The road marking object recognition means obtains the direction of the steering angle from the car navigation system when the sign object to be recognized is not recognized from the image obtained from the camera, and is not in the direction opposite to the branch direction. In this case, the recognition result is corrected and the result is stored in the recognition result DB.
また、前記認識結果DBは、画像処理を実行したフレームに関する少なくとも画像認識結果、当該画像認識結果の補正結果を含み、更に当該画像認識結果と当該補正結果は、認識された路上標示物の画像における位置を含んでいる。   The recognition result DB includes at least an image recognition result related to a frame on which image processing has been performed and a correction result of the image recognition result, and the image recognition result and the correction result are included in the image of the recognized road marking object. Includes location.
また、前記カーナビゲーションシステムは、前記路上標示物認識手段に接続され、前記路上認識手段の出力結果を用いて車の進行方向を判定する。   The car navigation system is connected to the road marking object recognition means, and determines the traveling direction of the vehicle using the output result of the road recognition means.
また、前記カーナビゲーションシステムは、車両に備えられたカメラの画像を処理して路上標示物を認識する路上標示物認識手段と、地図リンク情報と少なくとも路上標示物の種類と当該路上標示物が存在するレーン情報を保持する地図DBと、前記路上標示物認識手段による認識結果と前記地図DBを照合することによって、自車の進行方向を判定する。   In addition, the car navigation system includes a road marking object recognition means that recognizes a road marking object by processing an image of a camera provided in the vehicle, map link information, at least a type of the road marking object, and the road marking object. The traveling direction of the host vehicle is determined by comparing the map DB holding the lane information to be performed, the recognition result by the road marking object recognition means, and the map DB.
本発明によれば、路上標示物と自車との相対的な位置関係の遷移パターンを用いて認識対象とする路上標示物を制限することによって、路上標示物の画像処理の結果が安定しない場合でも、路上標示物の画像認識の信頼性が高まる。   According to the present invention, when the road marking object to be recognized is limited using the transition pattern of the relative positional relationship between the road marking object and the own vehicle, the result of the image processing of the road marking object is not stable. However, the reliability of image recognition of road marking objects increases.
本発明の一実施例につき、図面を参照しながら述べる。   An embodiment of the present invention will be described with reference to the drawings.
図1は、本発明を用いた路上標示認識装置の構成図である。本実施例では、カーナビゲーションシステム103に、画像処理装置101、GPS105が接続されている。更にカーナビゲーションシステム103には、車速センサ106、ジャイロセンサ107、舵角センサ109が接続されている。画像処理装置101には、カメラ102が接続されている。車速センサ106、ジャイロセンサ107、舵角センサ109は、車内ネットワークに接続されており、カーナビゲーションシステム103は、車内ネットワークのデータを送受信する機能を備えている。   FIG. 1 is a configuration diagram of a road marking recognition apparatus using the present invention. In this embodiment, an image processing apparatus 101 and a GPS 105 are connected to the car navigation system 103. Further, a vehicle speed sensor 106, a gyro sensor 107, and a rudder angle sensor 109 are connected to the car navigation system 103. A camera 102 is connected to the image processing apparatus 101. The vehicle speed sensor 106, the gyro sensor 107, and the steering angle sensor 109 are connected to the in-vehicle network, and the car navigation system 103 has a function of transmitting and receiving data in the in-vehicle network.
GPS105は、自車位置を測位するための装置である。車速センサ106とジャイロセンサ107も自車位置を測位するための装置であり、これら2つの装置を用いてデッドレコニングと呼ばれる手法を用いて自車位置を特定する。カメラ102は車体に設置され、自車が走行中の道路面を撮影する。画像処理装置101は、カメラ102で撮影された映像を処理する。   The GPS 105 is a device for measuring the vehicle position. The vehicle speed sensor 106 and the gyro sensor 107 are also devices for measuring the vehicle position, and the vehicle position is specified using a technique called dead reckoning using these two devices. The camera 102 is installed on the vehicle body and photographs the road surface on which the vehicle is traveling. The image processing apparatus 101 processes video captured by the camera 102.
画像処理装置101には、分岐線認識部201があり、カメラ102で撮影された画像から車線を抽出する。分岐線認識部201は、自車の周辺に分岐線が存在するかどうかを判定し、自車の左右に分岐線が存在する又は分岐線を跨ぎ中であるといった自車と分岐線の位置関係を求める。   The image processing apparatus 101 includes a branch line recognition unit 201 that extracts a lane from an image captured by the camera 102. The branch line recognition unit 201 determines whether there is a branch line in the vicinity of the own vehicle, and the positional relationship between the own vehicle and the branch line such that the branch line exists on the left and right sides of the own vehicle or is crossing the branch line. Ask for.
分岐線と自車との位置関係は、図4に示す通りである。尚、図4では、カメラ102が車の後方に設置されている場合、左右を逆にした映像が得られ、カメラ102が車の前方に設置されている場合、カメラ102の映像と実際との左右の位置関係は同一であるものと仮定する。以下で述べる実施例においては、カメラ102がこれら2種類のいずれの設置位置でも実施可能である。   The positional relationship between the branch line and the own vehicle is as shown in FIG. In FIG. 4, when the camera 102 is installed in the rear of the car, an image with the left and right reversed is obtained. When the camera 102 is installed in the front of the car, the image of the camera 102 and the actual image are obtained. It is assumed that the left and right positional relationship is the same. In the embodiment described below, the camera 102 can be implemented at any of these two types of installation positions.
分岐線認識部201は、1枚の画像505を縦に3等分し、左領域502、中央領域503、右領域504からそれぞれ1本ずつ、最大3本の白線が認識する。画像を認識した白線が3つのうちのどの領域のものかは、認識した白線の両端点のうち、消失点501と反対側の端点が左領域502、中央領域503、右領域504のどの領域に入っているかによって決定する。分岐線認識部201は、上記の分岐線の認識結果を、1フレーム毎に認識結果DB204に蓄積していく。   The branch line recognition unit 201 divides one image 505 vertically into three equal parts, and recognizes a maximum of three white lines, one each from the left area 502, the center area 503, and the right area 504. Which area of the three white lines the image has been recognized is in which of the left area 502, the center area 503, and the right area 504 the end point opposite to the vanishing point 501 among the end points of the recognized white line It depends on whether it is in. The branch line recognition unit 201 accumulates the above-described branch line recognition results in the recognition result DB 204 for each frame.
認識結果補正部202は、分岐線認識部201で認識した結果が正しいかどうかを判断し、必要に応じて認識結果を補正する。そのために、遷移パターン照合部203では、分岐線の認識結果が予め遷移パターンDB205に保存されている遷移パターンに適合するかどうかを判定する。認識結果補正部202では、遷移パターン照合部203の判定結果に基づいて、認識結果を補正するかどうかを判断する。   The recognition result correction unit 202 determines whether the result recognized by the branch line recognition unit 201 is correct, and corrects the recognition result as necessary. Therefore, the transition pattern matching unit 203 determines whether or not the branch line recognition result matches the transition pattern stored in the transition pattern DB 205 in advance. The recognition result correction unit 202 determines whether to correct the recognition result based on the determination result of the transition pattern matching unit 203.
認識結果DB204には、各フレームにおける画像認識結果、補正結果、補正フラグが格納されている。この画像認識結果には、左領域502、中央領域503、右領域504それぞれにおいて認識された白線の種類が含まれており、補正結果には、前記画像認識結果を補正したときの左領域502、中央領域503、右領域504それぞれにおける結果が格納される。また補正フラグは、認識結果が補正されたかどうかを表すフラグである。この補正フラグが立っていれば、画像認識結果と補正結果は異なり、立っていなければ同じ結果であることを表している。   The recognition result DB 204 stores image recognition results, correction results, and correction flags for each frame. This image recognition result includes the types of white lines recognized in each of the left region 502, the center region 503, and the right region 504, and the correction result includes the left region 502 when the image recognition result is corrected, The results in the center area 503 and the right area 504 are stored. The correction flag is a flag indicating whether the recognition result is corrected. If this correction flag is set, the image recognition result is different from the correction result, and if it is not set, it indicates the same result.
認識結果DB204のデータ構造の一例を、図5に示す。図5の例では、処理を行った各分岐地点毎にフレーム毎の認識結果をまとめて格納する構造になっている。フィールド1701は、処理した分岐地点の数を表す。フィールド1702は、分岐地点ごとの認識結果を表しており、フィールド1701の数だけ存在する。分岐地点ごとの結果は、分岐地点番号を格納するフィールド1703、処理フレーム数を格納するフィールド1704、フレームごとの認識結果を格納するフィールド1705を含む。   An example of the data structure of the recognition result DB 204 is shown in FIG. In the example of FIG. 5, a recognition result for each frame is stored together for each branch point where processing is performed. A field 1701 represents the number of branch points processed. A field 1702 represents a recognition result for each branch point, and there are as many fields 1701 as there are. The result for each branch point includes a field 1703 for storing a branch point number, a field 1704 for storing the number of processed frames, and a field 1705 for storing a recognition result for each frame.
フィールド1705のフレームごとの認識結果は、フレーム番号を格納するフィールド1706、画像認識結果を格納するフィールド1707、補正結果を格納するフィールド1711を含む。フィールド1706の画像認識結果は、右領域、中央領域、左領域に認識された白線の種類をそれぞれ格納するフィールド1708、1709、1710を含む。フィールド1707の補正結果は、補正フラグと、右領域、中央領域、左領域の、それぞれの領域の認識結果を補正した結果を格納するフィールド1712、1713、1714、1715を含む。但し、補正フラグが立ってない場合は、フィールド1713、1714、1715は無くてもよい。   The recognition result for each frame in the field 1705 includes a field 1706 for storing a frame number, a field 1707 for storing an image recognition result, and a field 1711 for storing a correction result. The image recognition result in the field 1706 includes fields 1708, 1709, and 1710 for storing the types of white lines recognized in the right area, the center area, and the left area, respectively. The correction result in the field 1707 includes a correction flag and fields 1712, 1713, 1714, and 1715 that store the correction results of the recognition results in the right region, the center region, and the left region. However, if the correction flag is not set, the fields 1713, 1714, and 1715 may be omitted.
カーナビゲーションシステム103の内部には、走行距離計測部207、進行方位計測部206、マップマッチング部209、舵角計測部208、地図DB210がある。走行距離計測部207は、車速センサ106の出力結果を用いて車両の走行距離を測定する。進行方位計測部206は、ジャイロセンサ107の出力結果を用いて車両の進行方向を測定する。走行距離計測部207と進行方位計測部206の出力結果は、マップマッチング部209に送られ、これらの出力結果を用いたデッドレコニング処理によって自車位置が特定され、さらにマップマッチング処理によって、地図上の位置が特定される。但し、車速センサ106やジャイロセンサ107の誤差により、デッドレコニングの結果にも誤差が蓄積していくため、一定時間ごとにGPS105による自車位置リセットが実行される。また、ジャイロセンサ107の代わりに、舵角センサ109を用いて車両の進行方向を測定してもよい。   Inside the car navigation system 103, there are a travel distance measuring unit 207, a traveling direction measuring unit 206, a map matching unit 209, a steering angle measuring unit 208, and a map DB 210. The travel distance measuring unit 207 measures the travel distance of the vehicle using the output result of the vehicle speed sensor 106. The traveling direction measuring unit 206 measures the traveling direction of the vehicle using the output result of the gyro sensor 107. The output results of the travel distance measuring unit 207 and the traveling direction measuring unit 206 are sent to the map matching unit 209, and the vehicle position is specified by dead reckoning processing using these output results, and further, the map matching processing is performed on the map. Is determined. However, since errors accumulate in the dead reckoning results due to errors in the vehicle speed sensor 106 and the gyro sensor 107, the own vehicle position is reset by the GPS 105 at regular intervals. Further, instead of the gyro sensor 107, the steering angle sensor 109 may be used to measure the traveling direction of the vehicle.
地図DB210には、単に経路探索用のリンクデータが入っているだけでなく、道路標示物に関する情報も含まれている。例えば、高速道路出口に描かれている分岐線等の情報が含まれている。分岐線の情報については、分岐線始点座標、終点座標、始終点間の形状を現す補間点座標列、分岐線の長さ、曲率等のデータが含まれている。   The map DB 210 not only contains link data for route search but also includes information related to road marking objects. For example, information such as a branch line drawn at an expressway exit is included. The branch line information includes branch line start point coordinates, end point coordinates, an interpolated point coordinate sequence representing the shape between the start and end points, the length of the branch line, curvature, and the like.
図2は、カーナビゲーションシステム103と画像処理装置101を組み合わせて、自車の進行レーンを判定するソフトウェアの処理フローの概略を示したものである。具体的には、高速道路上の分岐において、ランプと本線のどちらを走行しているかを判定するフローを示しており、高速道路の出口付近でどちらを走っているかを判定する処理である。   FIG. 2 shows an outline of a processing flow of software for determining the traveling lane of the own vehicle by combining the car navigation system 103 and the image processing apparatus 101. Specifically, a flow for determining which of the ramp and the main road is traveling in a branch on the highway is shown, and is a process for determining which of the roads is running near the exit of the highway.
まず、カーナビゲーションシステム103は、自車が存在するリンクを辿って、自車の現在位置前方に分岐があるかどうかを検索する(ステップ301)。そして分岐が存在するか否かを判断し(ステップ302)、前方に分岐が存在するならば、ランプの分岐方向を判定する(ステップ303)。次に、ステップ303で求めた分岐方向に基づいて、分岐線認識結果の遷移パターンを予測する(ステップ304)。例えば左分岐の場合、自車が分岐を跨いでランプ方向に走行する場合は、分岐線は左→中央→右という遷移を辿ることになる。本線を走行する場合は左のままである、というような遷移パターンを予測しておく。次に、走行区間を判定する(ステップ305)。ここで、走行区間とは、分岐の前か、分岐の途中か、分岐の後かということであり、以下、それぞれを、分岐前区間、分岐区間、分岐後区間と記す。この詳細は、図9に示す通りである。分岐前区間とは分岐線が出現する前の区間であり、分岐区間とは分岐線が描かれている区間であり、分岐後区間とは分岐線を通過した後の区間である。   First, the car navigation system 103 follows a link where the own vehicle exists, and searches whether there is a branch ahead of the current position of the own vehicle (step 301). Then, it is determined whether or not there is a branch (step 302). If there is a branch ahead, the branch direction of the ramp is determined (step 303). Next, the transition pattern of the branch line recognition result is predicted based on the branch direction obtained in step 303 (step 304). For example, in the case of a left branch, when the vehicle travels in the ramp direction across the branch, the branch line follows a transition from left to center to right. Predict a transition pattern that will remain on the left when traveling on the main line. Next, a travel section is determined (step 305). Here, the traveling section means whether it is before branching, in the middle of branching, or after branching, and these are hereinafter referred to as a pre-branch section, a branch section, and a post-branch section. The details are as shown in FIG. The pre-branch section is a section before a branch line appears, the branch section is a section in which a branch line is drawn, and the post-branch section is a section after passing through the branch line.
この走行区間の判定結果を判断して(ステップ306)、走行区間が分岐前区間と判定されたならば、まだ分岐区間までには至ってはいないため、再びステップ305に戻る。走行区間が分岐区間と判定されるようになったならば、分岐線認識を実行する(ステップ307)。ここで、分岐線認識処理のアルゴリズムは、例えば特開2003−123058号公報などに開示されているものを使うことにより実現できる。次に、分岐線の認識結果を用いて、走行レーンを判定する(ステップ308)。走行レーンの判定には、画像における白線の位置を利用する。   The determination result of this travel section is judged (step 306), and if the travel section is determined to be a pre-branch section, it has not reached the branch section yet, so the process returns to step 305 again. If the traveling section is determined to be a branch section, branch line recognition is executed (step 307). Here, the branch line recognition processing algorithm can be realized by using one disclosed in, for example, Japanese Patent Application Laid-Open No. 2003-123058. Next, the travel lane is determined using the branch line recognition result (step 308). The position of the white line in the image is used to determine the travel lane.
走行レーンを判定したら、再びステップ305に戻る。以下、ステップ308までを、ステップ305で走行区間が分岐後区間であると判定されるまで繰り返す。走行区間が分岐後区間に入ったと判定されたならば、ステップ301に戻り、次の分岐を検索する。この一連の処理が、カーナビゲーションシステム103の電源が切られるまで、繰り返し実行される。   When the traveling lane is determined, the process returns to step 305 again. Hereinafter, step 308 is repeated until it is determined in step 305 that the travel section is a post-branch section. If it is determined that the travel section has entered the post-branch section, the process returns to step 301 to search for the next branch. This series of processing is repeatedly executed until the car navigation system 103 is turned off.
但し、上記の分岐線認識処理のアルゴリズムでは、結果が安定しないことが考えられる。例えば、分岐線始点付近では、線がはっきりと塗られているが、分岐線の途中ではかすれなどによって認識ができなかったり誤認識したりすることがあり、同一の分岐線でも、部分的に認識結果が異なることがある。そこで、ステップ307の分岐線認識において、1フレームごとの認識結果を複数フレーム分保持し、認識結果の履歴を用いて、分岐線の有無を判定することが望ましい。その方法について次に述べる。   However, with the above branch line recognition processing algorithm, the result may be unstable. For example, although the line is clearly painted near the branch line start point, it may not be recognized or misrecognized due to blurring in the middle of the branch line, and even the same branch line may be partially recognized. Results may vary. Therefore, in the branch line recognition in step 307, it is desirable to hold a plurality of frames of recognition results for each frame and determine the presence or absence of branch lines using the recognition result history. The method will be described next.
図3は、複数フレームの認識結果を参照して分岐線の有無を判定する分岐線認識の処理フローである。この処理フローでは、判定直前にカメラ102から取り込まれた過去10フレームの映像中、7フレームで分岐線が認識できた場合に、分岐線があったと判定する。但し、上述したフレーム数は一例であり、実装時は任意に決めてよい。   FIG. 3 is a process flow of branch line recognition for determining the presence or absence of a branch line with reference to the recognition results of a plurality of frames. In this processing flow, when a branch line can be recognized in 7 frames in the past 10 frames of video captured from the camera 102 immediately before the determination, it is determined that there is a branch line. However, the number of frames described above is an example, and may be arbitrarily determined at the time of mounting.
まず、1フレーム分の映像について画像認識を実行して分岐線の認識を行い(ステップ401)、その結果、分岐線が認識されたかどうかを判定する(ステップ402)。分岐線が認識されなかった場合は、ステップ401に戻って、分岐線が認識できるまで画像認識を実行する。分岐線が認識された場合は、画像処理枚数、分岐線認識数、認識失敗数の各パラメータを初期化し(ステップ403)、次に取り込まれた1フレーム分の映像について画像認識を実行する(ステップ404)。その結果、分岐線が認識されたかどうかを判定し(ステップ405)、分岐線が見つかれば、認識結果DB204にフレーム番号と認識結果を格納した上で、分岐線認識数に1を加算する(ステップ406)。もし分岐線が認識されなければ、認識結果の補正を実行する(ステップ407)。ステップ407の認識結果の補正処理については後述する。認識結果を補正した結果を判定し(ステップ408)、分岐線が見つかったと判定された場合には、やはり認識結果DB204にフレーム番号と補正結果を格納した上でステップ406へ進み、分岐線認識数に1を加算する。しかし分岐線の認識に失敗したと判定された場合には、認識失敗数に1を加算する(ステップ409)。次に1フレーム分の処理が終了したので画像処理枚数に1を加算する(ステップ410)。   First, image recognition is executed for one frame of video to perform branch line recognition (step 401), and as a result, it is determined whether or not a branch line has been recognized (step 402). If the branch line is not recognized, the process returns to step 401 and image recognition is executed until the branch line can be recognized. If the branch line is recognized, the parameters of the number of image processing, the number of branch line recognition, and the number of recognition failures are initialized (step 403), and image recognition is executed for the next captured video for one frame (step 403). 404). As a result, it is determined whether or not the branch line is recognized (step 405). If the branch line is found, the frame number and the recognition result are stored in the recognition result DB 204, and 1 is added to the branch line recognition number (step). 406). If the branch line is not recognized, the recognition result is corrected (step 407). The recognition result correction processing in step 407 will be described later. The result of correcting the recognition result is determined (step 408). If it is determined that a branch line is found, the frame number and the correction result are stored in the recognition result DB 204, and the process proceeds to step 406, where the number of branch line recognitions is determined. Add 1 to. However, if it is determined that branch line recognition has failed, 1 is added to the number of recognition failures (step 409). Next, since the processing for one frame is completed, 1 is added to the number of processed images (step 410).
この時点で、認識失敗数を判定し(ステップ411)、それが4を超えていたら、10フレームの映像中7フレームで分岐線が認識できた場合に分岐線があったと判定するという条件により、分岐線の認識は失敗とする。しかし認識失敗数が4を超えていなければ、画像処理枚数を判定し(ステップ412)、処理したフレーム数が10に到達していれば分岐線認識が成功したと判定する。つまり、画像10枚に対して、分岐線認識失敗が3枚以下だったということである。また、処理したフレーム数が10に達していなければ、ステップ404に戻り、次のフレームについて画像認識処理を行う。図3のフローは、ステップ307に相当するものであり、図3のフローで得られた分岐線の認識結果が、ステップ308の進行レーン判定に使われる。   At this time, the number of recognition failures is determined (step 411), and if it exceeds 4, if a branch line can be recognized in 7 frames of 10 frames of video, it is determined that there is a branch line. Branch line recognition fails. However, if the number of recognition failures does not exceed 4, the number of processed images is determined (step 412), and if the number of processed frames has reached 10, it is determined that branch line recognition has succeeded. That is, for 10 images, there were 3 or less branch line recognition failures. If the number of processed frames has not reached 10, the process returns to step 404 to perform image recognition processing for the next frame. The flow in FIG. 3 corresponds to step 307, and the branch line recognition result obtained in the flow in FIG.
ところで、車速は運転状況によって異なるため、10フレームを画像処理する間の走行距離は異なる。渋滞で車がほとんど動かない場合、10フレームの画像はほとんど同じ場所を処理するだけである。たまたま白線がかすれていて認識ができない場所で渋滞に遭遇した場合などは、上記の基準だけでは分岐線の認識が失敗したことになってしまう。従って、フレーム数だけで分岐線の有無を判断するのではなく、車両の走行距離に応じて分岐線認識するタイミングを決めれば、より有効な結果を得ることができる。   By the way, since the vehicle speed varies depending on driving conditions, the travel distance during image processing of 10 frames varies. If the car doesn't move very much in a traffic jam, the 10-frame image will only process almost the same place. If you happen to encounter a traffic jam in a place where the white line is faint and cannot be recognized, the above-mentioned criteria alone will result in failure to recognize the branch line. Therefore, a more effective result can be obtained by determining the timing for recognizing the branch line according to the travel distance of the vehicle, instead of determining the presence or absence of the branch line based on the number of frames.
これは、一定の時間間隔でカメラ102から取り込んだ映像について画像処理を行うのではなく、例えば1m走行するごとに分岐線認識を実行するなどと分岐線認識間隔距離を決めておく。そして、1m走行するたびにカーナビゲーションシステム103から画像処理装置101に対してコマンドを送って、分岐線認識のトリガーをかける方法をとればよい。あるいは、マップマッチング間隔から、分岐線認識間隔距離を決定してもよく、例えば、マップマッチング間隔の1/10などと決めておけばよい。または、過去何フレームを参照するか(参照フレーム数)を決めておき、分岐線認識間隔距離をマップマッチング間隔/参照フレーム数としてもよい。   This is not to perform image processing on the video captured from the camera 102 at a fixed time interval, but to determine the branch line recognition interval distance, for example, to execute branch line recognition every 1 m traveling. Then, every time the vehicle travels 1 meter, a command may be sent from the car navigation system 103 to the image processing apparatus 101 to trigger the branch line recognition. Alternatively, the branch line recognition interval distance may be determined from the map matching interval. For example, it may be determined as 1/10 of the map matching interval. Alternatively, it is possible to determine how many frames are referred to in the past (the number of reference frames), and the branch line recognition interval distance may be defined as the map matching interval / the number of reference frames.
分岐線が認識できない場合としては、別の線種に誤認識されたか、線種が不明であると判断されたか、あるいは白線自体が検出できない等のパターンがある。これらのような現象が起きた場合は、認識結果の補正処理を実行する。この認識結果の補正処理を、図6を用いて説明する。図6は、分岐線が認識できなかった場合のパターンのうち、検出された白線の線種が不明とされて画像から分岐線が検出できなかった場合を想定した認識結果補正の処理フローであり、これは、図3のステップ407に相当する。   Examples of the case where the branch line cannot be recognized include a pattern in which the line type is erroneously recognized, the line type is determined to be unknown, or the white line itself cannot be detected. When such a phenomenon occurs, a recognition result correction process is executed. This recognition result correction processing will be described with reference to FIG. FIG. 6 is a processing flow for correcting the recognition result assuming a case where the line type of the detected white line is unknown and the branch line cannot be detected from the image among the patterns when the branch line cannot be recognized. This corresponds to step 407 in FIG.
まずステップ404の画像認識で、線種不明の白線が認識されたかどうかを判定し(ステップ601)、線種不明の白線が認識されていなければ、分岐線認識が失敗したものとする。線種不明の白線が認識されていれば、前回のフレームに対する分岐線認識結果を参照して、分岐線が認識できていたかどうかを判定する(ステップ602)。前回の認識結果は、認識結果DB204に保存されている。前回、分岐線が認識できていたら、ステップ603で、線種不明の白線の位置を、白線位置の遷移パターンと照合する。整合がとれるか否かを判定し(ステップ604)、整合がとれるのであれば分岐線認識成功とし、整合がとれなければ失敗とする。ステップ602で、前回も分岐線が認識できていなかった場合は、分岐線認識失敗とする。   First, it is determined whether or not a white line with unknown line type is recognized in the image recognition in step 404 (step 601). If a white line with unknown line type is not recognized, it is assumed that branch line recognition has failed. If a white line whose line type is unknown is recognized, it is determined by referring to the branch line recognition result for the previous frame whether or not the branch line has been recognized (step 602). The previous recognition result is stored in the recognition result DB 204. If the branch line was recognized last time, in step 603, the position of the white line whose line type is unknown is collated with the transition pattern of the white line position. It is determined whether or not matching can be achieved (step 604). If matching is achieved, branch line recognition is successful, and if matching is not achieved, it is determined to be failure. If the branch line has not been recognized in the previous step in step 602, it is determined that the branch line recognition has failed.
ここで、ステップ603の、遷移パターンとの照合について述べる。ステップ304によって、分岐路の分岐方向がわかっていれば、分岐線位置の遷移パターンは既知である。ステップ303の分岐方向判定処理で左分岐となった場合、この分岐線認識結果の遷移パターンは左のまま、左→中央→右、といったパターンが考えられる。このとき、今回は右領域504に分岐線が検出されたとすると、前回のフレームに対する分岐線認識結果を参照し、中央領域503に分岐線が検出されていたならば、左→中央→右の遷移パターンとつじつまが合うので、今回の認識結果は成功とする。   Here, the collation with the transition pattern in step 603 will be described. If the branch direction of the branch path is known in step 304, the branch line position transition pattern is known. If the branch direction determination process in step 303 results in a left branch, the transition pattern of the branch line recognition result may be left, the left, the center, and the right. At this time, assuming that a branch line is detected in the right region 504 this time, the branch line recognition result for the previous frame is referred to, and if a branch line is detected in the central region 503, the transition from left to center to right Since this matches the pattern, this recognition result is a success.
次に、このような遷移パターンとの照合に基づく補正処理について述べる。例えば、中央領域503に線種不明の白線が検出された場合、前回のフレームに対する分岐線認識結果を参照し、左領域502に分岐線が認識されていたものとする。この場合、今回検出された線種不明の白線を分岐線と仮定すると、左→中央→右の遷移パターンに合致する。そこで、今回検出された線種不明の白線は分岐線であるものと判断する。   Next, a correction process based on collation with such a transition pattern will be described. For example, when a white line with an unknown line type is detected in the central area 503, it is assumed that a branch line is recognized in the left area 502 with reference to a branch line recognition result for the previous frame. In this case, assuming that the white line of unknown line type detected this time is a branch line, it matches the transition pattern of left → center → right. Therefore, it is determined that the white line of unknown line type detected this time is a branch line.
例えば、自車が分岐区間を走行中ということがわかれば、分岐線は、自車位置近くのどこかに存在するはずであり、それまでに見えていた分岐線が突然どこか遠くに行ってしまうことはほとんど有り得ない。すなわち、分岐線と自車との相対位置関係遷移には、何らかの規則性が存在するため、上記の処理が可能である。   For example, if you know that your vehicle is traveling in a branch section, the branch line should be somewhere near your vehicle position, and the branch line you could see suddenly went somewhere far away. It is almost impossible to end up. In other words, since there is some regularity in the relative positional relationship transition between the branch line and the own vehicle, the above processing is possible.
片側複数車線の道路から左分岐する場合の分岐線位置の状態遷移パターンを、図7に示す。尚、各状態には左から、左領域502、中央領域503、右領域504における線種を示し、「分」は分岐線を、「−」は分岐線以外の白線を示している。つまり、状態701はどの領域でも分岐線が認識されていない状態、状態702は左領域502に、状態703は中央領域503に、状態704は右領域504にそれぞれ分岐線が認識された状態である。尚、認識結果は分岐線が描かれている状態によっても左右されるので、状態701〜704のうち、分岐線認識が起動されたときの初期状態は一意ではない。   FIG. 7 shows a state transition pattern of the branch line position when the left branch is made from the road of one side multiple lanes. In each state, the line types in the left region 502, the center region 503, and the right region 504 are shown from the left, "Minute" indicates a branch line, and "-" indicates a white line other than the branch line. That is, state 701 is a state in which no branch line is recognized in any region, state 702 is a state in which a branch line is recognized in the left region 502, state 703 is in the central region 503, and state 704 is a state in which a branch line is recognized in the right region 504. . Since the recognition result depends on the state where the branch line is drawn, the initial state when the branch line recognition is activated is not unique among the states 701 to 704.
この時の車の走行位置と状態との関係を、図7、図9を用いて説明する。地点801では、分岐前区間であるため、分岐線認識は行われないが、走行していくと分岐区間に入り分岐線認識処理が開始される。やがて分岐線807が見えるようになり、地点802では自車の左側に分岐線807が見え、状態702となる。その状態から右車線に車線変更して地点803に到達したときには、分岐線807は見えなくなり、状態701になる。地点802から本線を直進した地点804では、地点802と同様に、状態702となる。地点804から更に進行していき、分岐線807が見えなくなると、状態701になる。あるいは、地点802からランプ方向に進み、地点805に到達したときには状態703となる。その後、地点808まで走行すると、分岐線807が右に見え、状態704になる。その後、更に走行し、地点809に到達すると分岐線807は見えなくなり、状態701になる。このように、分岐方向によって、分岐線の認識結果の遷移パターンもいくつかに絞られる。この絞り込まれた遷移パターンを基にして、認識結果の補正が可能である。これについて、次に説明する。   The relationship between the traveling position and state of the car at this time will be described with reference to FIGS. Since the point 801 is a pre-branch section, branch line recognition is not performed, but as the vehicle travels, it enters a branch section and starts branch line recognition processing. Eventually, the branch line 807 becomes visible, and at the point 802, the branch line 807 appears on the left side of the host vehicle, and the state 702 is reached. When the lane is changed from the state to the right lane and the point 803 is reached, the branch line 807 becomes invisible and the state 701 is entered. At a point 804 that travels straight on the main line from the point 802, as in the point 802, the state 702 is entered. If it further proceeds from the point 804 and the branch line 807 becomes invisible, the state 701 is entered. Or it progresses to the ramp direction from the point 802, and when it reaches the point 805, it will be in the state 703. After that, when traveling to the point 808, the branch line 807 is visible on the right and the state 704 is obtained. After that, when the vehicle further travels and reaches the point 809, the branch line 807 becomes invisible and enters the state 701. In this way, the transition pattern of the branch line recognition result is narrowed down to several depending on the branch direction. The recognition result can be corrected based on the narrowed transition pattern. This will be described next.
図7の遷移パターンを基にすると、一例として図8の表に示すような補正が行われる。図8は、ランプが左分岐で、今回の認識結果に線種不明の白線がある場合を想定しており、「?」は線種不明の白線を意味している。   Based on the transition pattern of FIG. 7, for example, the correction shown in the table of FIG. 8 is performed. FIG. 8 assumes a case where the lamp has a left branch, and the current recognition result includes a white line with an unknown line type, and “?” Means a white line with an unknown line type.
線種不明の白線が左領域502にあった場合、今回を状態702と仮定すると、前回の状態は状態702か状態701であり、左領域502に分岐線があったか、分岐線が何も認識できていなかったかのいずれかということになる。ここで、前回分岐線が認識できていなかった場合(状態701の場合)は、状態が不確かなため補正をしない。前回の認識結果で分岐線が左領域502にあれば、線種不明の白線は分岐線であるとする。一方、前回の認識結果で、分岐線が中央領域503または右領域504にあった場合、状態遷移のパターンと一致しないことから今回の分岐線認識は認識失敗とする。   If a white line of unknown line type is in the left region 502, assuming that this is state 702, the previous state is state 702 or state 701, and there is a branch line in the left region 502, or any branch line can be recognized. It would be either that it was not. Here, if the previous branch line was not recognized (in the case of the state 701), the state is uncertain and correction is not performed. If the branch line is in the left region 502 in the previous recognition result, the white line with unknown line type is assumed to be a branch line. On the other hand, if the branch line is in the central area 503 or the right area 504 in the previous recognition result, the current branch line recognition is a recognition failure because it does not match the state transition pattern.
同様に、線種不明の白線が中央領域503にあった場合、前回の認識結果で分岐線が左領域502または中央領域503にあれば、今回は中央領域503に分岐線があったものとして補正する。線種不明の白線が右領域504にあった場合、前回の認識結果で分岐線が中央領域503または右領域504にあれば、今回は右領域504に分岐線があったものと補正する。   Similarly, when a white line of unknown line type is in the central area 503, if the branch line is in the left area 502 or the central area 503 in the previous recognition result, this time, it is corrected that the central area 503 has a branch line. To do. If the line type unknown white line is in the right region 504, if the branch line is in the central region 503 or the right region 504 in the previous recognition result, this time, it is corrected that there is a branch line in the right region 504.
また、認識結果の補正に限らず、分岐線が認識できた場合にも、その認識結果が正しいかどうかを、図7の遷移パターンに照合して判定することも可能である。例えば、左領域502に分岐線が認識できた場合には、前回の認識結果として左領域502に分岐線があったかどうかを見れば、今回の認識結果が正しいかどうかが判定できる。また中央領域503、右領域504に分岐線が見つかった場合も同様に、図7の遷移パターンに照合すればよい。   Further, not only the correction of the recognition result, but also when the branch line can be recognized, it is also possible to determine whether the recognition result is correct by checking the transition pattern of FIG. For example, when a branch line can be recognized in the left region 502, whether or not the current recognition result is correct can be determined by checking whether or not there is a branch line in the left region 502 as the previous recognition result. Similarly, when a branch line is found in the center area 503 and the right area 504, the transition pattern in FIG.
認識結果が状態701になるには、いくつかの理由がある。主として、分岐区間から外れた場合、分岐線の認識ができなかった場合、分岐区間で追越車線に車線変更した場合などである。これらのうち、追越車線への車線変更、分岐区間から外れたという2つの事象については、実際にカメラ102から分岐線が見えなくなるので、分岐線認識結果の補正は実行しない。したがって、妥当な補正処理を行うためには分岐線の認識ができなかった理由を特定する必要がある。前述のように、図3のステップ407の処理として、図6に示した認識結果の補正処理を直接行うのではなく、まず、分岐線の認識結果の補正処理を行うかどうかを決定した後に、認識結果を補正する場合の処理について次に述べる。   There are several reasons why the recognition result becomes the state 701. This is mainly due to a case where the vehicle departs from the branch section, a case where the branch line cannot be recognized, or a case where the lane is changed to the overtaking lane in the branch section. Of these, for the two events of lane change to the overtaking lane and departure from the branching section, the branching line recognition result is not corrected because the branching line actually disappears from the camera 102. Therefore, in order to perform an appropriate correction process, it is necessary to specify the reason why the branch line could not be recognized. As described above, as a process of step 407 in FIG. 3, instead of directly performing the correction process of the recognition result shown in FIG. 6, first, after determining whether to perform the correction process of the branch line recognition result, A process for correcting the recognition result will be described next.
図10は、ランプが左分岐の場合において分岐線の認識結果の補正処理を行うかどうかを決定した後に認識結果を補正する処理フローである。認識結果の補正処理を行うのは、自車が分岐区間を走行中であり、かつ、分岐線が見える車線を走行中の場合である。まず、自車の走行区間を判定する(ステップ1001)。この場合、分岐前区間ではないことを前提としているため、分岐区間か、分岐後区間であるかを判定することになる。自車の走行区間を判定は、平行して動作する走行区間判定タスクに判定結果を参照することによって行われるが、この走行区間判定タスクにおける判定方法の詳細は後で述べる。この判定結果に基づき処理の分岐を判断し(ステップ1002)、走行区間が分岐後区間であれば、認識終了処理をして分岐線認識を終了する(ステップ1003)。走行区間が分岐区間の場合は、舵角を得る(ステップ1004)。舵角は舵角計測部208で計測される。得られた舵角を基に操舵方向を判定し(ステップ1005)、右方向だったら、追越車線に車線変更したと判断して、レーン変更処理を実行する(ステップ1006)。操舵方向が真っ直ぐか左方向であれば、図6に示した処理フローにより図8に示した認識結果の補正パターンに従って認識結果を補正する(ステップ1007)。   FIG. 10 is a processing flow for correcting the recognition result after determining whether or not to perform the correction processing of the branch line recognition result when the lamp has a left branch. The recognition result correction process is performed when the vehicle is traveling in a branch section and traveling in a lane where the branch line can be seen. First, the traveling section of the own vehicle is determined (step 1001). In this case, since it is assumed that it is not a pre-branch section, it is determined whether it is a branch section or a post-branch section. The determination of the traveling section of the host vehicle is performed by referring to the determination result in the traveling section determination task that operates in parallel. Details of the determination method in the traveling section determination task will be described later. Based on the determination result, a branch of the process is determined (step 1002). If the travel section is a post-branch section, a recognition end process is performed and the branch line recognition is ended (step 1003). If the travel section is a branch section, a steering angle is obtained (step 1004). The rudder angle is measured by the rudder angle measurement unit 208. A steering direction is determined based on the obtained steering angle (step 1005). If the steering direction is rightward, it is determined that the lane has been changed to the overtaking lane, and a lane change process is executed (step 1006). If the steering direction is straight or leftward, the recognition result is corrected according to the recognition result correction pattern shown in FIG. 8 by the processing flow shown in FIG. 6 (step 1007).
次に、ステップ1001で走行区間の判定を行う走行区間判定タスクについて図11を参照しながら述べる。この走行区間判定タスクではまず、自車が走行中のリンクを前方に辿って分岐ノードを探し(ステップ1101)、分岐ノードがあるかどうかを判定する(ステップ1102)。分岐ノードが見つからない場合は、分岐までの距離が遠いということなので、ステップ1101と1102を繰り返す。   Next, a travel section determination task for determining a travel section in step 1001 will be described with reference to FIG. In this travel section determination task, first, a branch node is searched by following the link on which the vehicle is traveling (step 1101), and it is determined whether there is a branch node (step 1102). If no branch node is found, it means that the distance to the branch is far, so steps 1101 and 1102 are repeated.
前方に分岐ノードが存在する場合、自車位置前方に描かれている分岐線の情報を、地図DB210から得る(ステップ1103)。次に自車位置から分岐線始点までの距離dbを算出する(ステップ1104)。ここで分岐線始点の座標や分岐線長などの情報は、地図DB210に格納されている。検索された分岐線の分岐線始点位置と計測した現在の自車位置との距離dbが求められる。但し、この場合の距離dbは、直線距離になるが、道路は分岐線始点まで直線であるとは限らない。そこで、分岐線始点と現在位置をマップマッチングして地図の道路リンク上での座標をそれぞれ求め、この2点間を結ぶ道路リンクを辿って分岐線始点までの距離を算出してもよい。   If there is a branch node ahead, information on the branch line drawn in front of the vehicle position is obtained from the map DB 210 (step 1103). Next, a distance db from the vehicle position to the branch line start point is calculated (step 1104). Information such as the branch line start point coordinates and branch line length is stored in the map DB 210. A distance db between the branch line start point position of the searched branch line and the measured current vehicle position is obtained. However, the distance db in this case is a straight line distance, but the road is not always a straight line up to the branch line start point. Therefore, the starting point of the branch line and the current position may be map-matched to obtain the coordinates on the road link of the map, and the distance to the starting point of the branch line may be calculated by following the road link connecting the two points.
次に、走行距離を表す変数dvを0に初期化し(ステップ1105)、初期化した地点からの走行距離を測定していく(ステップ1106)。そして、走行距離dvと、分岐線長、dbとの関係から、自車の走行区間を判定する(ステップ1107)。dv<dbの場合は分岐前区間と判定する(ステップ1108)。db<dv<(db+分岐線長)の場合は分岐区間と判定する(ステップ1109)。(db+分岐線長)<dvの場合は分岐後区間と判定する(ステップ1110)。走行区間判定タスクは、この判定結果を図示されていない記憶手段に格納しておくことにより、前記ステップ1001で判定結果を参照することができる。   Next, a variable dv representing the travel distance is initialized to 0 (step 1105), and the travel distance from the initialized point is measured (step 1106). Then, the travel section of the host vehicle is determined from the relationship between the travel distance dv, the branch line length, and db (step 1107). If dv <db, it is determined that the section is before branch (step 1108). If db <dv <(db + branch line length), it is determined as a branch section (step 1109). When (db + branch line length) <dv, it is determined as a post-branch section (step 1110). The traveling section determination task can refer to the determination result in step 1001 by storing the determination result in a storage means (not shown).
ステップ1107で分岐前区間または分岐区間と判定した場合は、ステップ1106に戻る。分岐後区間と判定した場合は、ステップ1101に戻り、次の分岐ノードを検索する。   If it is determined in step 1107 that the section is a pre-branch section or a branch section, the process returns to step 1106. If it is determined that the section is after the branch, the process returns to step 1101 to search for the next branch node.
以上では、分岐方向が左の場合を想定して実施例を示してきたが、右方向の分岐の場合も同様である。右分岐の場合は、これまでの実施例における右と左との関係が逆になるだけであり、処理の本質的な部分は同じである。   In the above, the embodiment has been shown assuming that the branch direction is left, but the same applies to the case of right branch. In the case of right branching, the relationship between right and left in the embodiments so far is only reversed, and the essential part of the processing is the same.
また、以上に述べてきた実施例は、分岐線が1本だけ見える場合を想定していた。しかし、登坂車線の途中でランプへの分岐が存在する場合がある。登坂車線と本線とを区別する白線と分岐線は、道路規格の上ではほとんど同じ白線と考えてよいので、この場合、同一画像から分岐線の候補の白線が2本検出されることがある。そこで、分岐線の候補が2本検出される場合の処理について次に述べる。   Further, the embodiments described above assume a case where only one branch line is visible. However, there may be a branch to the ramp along the uphill lane. The white line and the branch line that distinguish the uphill lane from the main line may be considered to be almost the same white line on the road standard, and in this case, two candidate white lines of the branch line may be detected from the same image. Therefore, the processing when two branch line candidates are detected will be described below.
登坂車線の途中で左分岐する白線の例を図9を用いて説明する。この場合、同じ白線でも807は分岐線であり、810は、登坂車線と通常の走行車線の境界線に相当することになる。この時は、ランプへの分岐方向の情報を基に、2本のうちのいずれかの認識結果を採用して進行方向を特定することが可能である。   An example of a white line that branches to the left in the middle of an uphill lane will be described with reference to FIG. In this case, even in the same white line, 807 is a branch line, and 810 corresponds to the boundary line between the uphill lane and the normal travel lane. At this time, based on the information on the branching direction to the lamp, it is possible to identify the traveling direction by using one of the two recognition results.
図12は、分岐線の候補が2本検出された場合において、分岐方向とカーナビゲーションシステム103が進行方向判定に採用する認識結果の関係を示したものである。左分岐の場合は、認識された2本の認識結果のうち、左側の認識結果を採用し、右分岐の場合は反対に2本の認識結果のうちの右側を採用する。例えば、左分岐の場合について、図9を使って述べる。自車が地点802に到達したときは、右と左に分岐線の候補が現れる。そのときは、左の結果を採用する。この場合は、807を採用したことになり、分岐線807が1本のみ検出された場合と同等の結果となる。   FIG. 12 shows the relationship between the branch direction and the recognition result that the car navigation system 103 adopts in the traveling direction determination when two branch line candidates are detected. In the case of left branching, the left side recognition result is adopted among the two recognized recognition results, and in the case of right branching, the right side of the two recognition results is adopted. For example, the case of the left branch will be described with reference to FIG. When the vehicle reaches point 802, branch line candidates appear on the right and left. In that case, the left result is adopted. In this case, 807 is adopted, and the result is equivalent to the case where only one branch line 807 is detected.
その後、右レーンに移動して地点803に到達した場合、左のみに分岐線候補が現れる。このときは、白線810を認識したのであり、分岐線807ではないが、進行方向が本線かランプかを判断する場合には問題にならない。   Thereafter, when the vehicle moves to the right lane and reaches the point 803, a branch line candidate appears only on the left. At this time, the white line 810 is recognized and not the branch line 807, but this does not pose any problem when determining whether the traveling direction is the main line or the ramp.
地点805に到達した場合は、中央と右に分岐線の候補が検出される。この場合は中央を採用する。すなわち、分岐線を跨いでいる途中であることがわかる。地点805から地点808に進行した場合は、右に分岐線候補が検出される。その後、分岐後区間に進入すると、画像から分岐線候補は検出されなくなる。   When the point 805 is reached, branch line candidates are detected at the center and the right. In this case, the center is adopted. That is, it can be seen that it is in the middle of straddling the branch line. When the vehicle travels from point 805 to point 808, a branch line candidate is detected on the right. Thereafter, when entering the post-branch section, no branch line candidate is detected from the image.
地点804から806に進行した場合を考えると、地点804では右と左に分岐線候補があり、地点806では右のみに分岐線候補がある。この場合、図12の規則に従って、地点804では左に分岐線があると判断する。地点806では右のみに分岐線候補が存在するが、左分岐の分岐点において自車の右側に分岐線が出現する場合には、図7の遷移パターンに当てはめると、それ以前に中央に分岐線が存在していなければならない。しかし、地点804から806に進行した場合はこれに当てはまらないので、地点806において右に分岐線があるという認識結果は、進行方向判定には使わない。従って、自車がランプに進行したという判定をすることは無く、分岐後区間に進入したという判断になる。   Considering a case where the vehicle travels from point 804 to 806, there is a branch line candidate on the right and left at point 804, and a branch line candidate on the right only at point 806. In this case, it is determined that there is a branch line on the left at the point 804 in accordance with the rules of FIG. At point 806, there is a branch line candidate only on the right side. However, if a branch line appears on the right side of the vehicle at the branch point of the left branch, applying the transition pattern in FIG. Must exist. However, this does not apply to the case where the vehicle travels from point 804 to 806, so that the recognition result that there is a branch line on the right at point 806 is not used for determining the traveling direction. Therefore, it is determined that the vehicle has entered the post-branch section without determining that the vehicle has traveled to the ramp.
右分岐の場合も同様である。右分岐の場合は、検出された2本の分岐線候補のうち、右側の結果を採用することによって、分岐線と自車との位置関係がわかる。   The same applies to the right branch. In the case of right branching, the positional relationship between the branch line and the host vehicle can be obtained by adopting the right result of the two detected branch line candidates.
上記の例では、認識された2本の白線のうちの1本を分岐線として採用するという方法について述べたが、分岐線候補が2本検出された場合を含めた遷移パターンを予測するという方法も可能である。このときの遷移パターンを図13に示す。図13は図12における左分岐の場合を想定している。便宜上、分岐線の候補となる白線を「分」と示しており、登坂車線と通常の走行車線の境界線も「分」と示している。   In the above example, the method of adopting one of the two recognized white lines as the branch line has been described, but the method of predicting the transition pattern including the case where two branch line candidates are detected. Is also possible. The transition pattern at this time is shown in FIG. FIG. 13 assumes the case of the left branch in FIG. For convenience, the white line that is a candidate for the branch line is indicated as “minute”, and the boundary line between the climbing lane and the normal traveling lane is also indicated as “minute”.
例えば登坂車線を走行中の場合を考えると、登坂車線を直進すれば、状態1404→状態1406→状態1404のような遷移を辿る。ランプ方向に進行すれば、状態1404→状態1406→状態1407→状態1404のような遷移を辿る。登坂車線から走行線に変更すれば、状態1404→状態1406→状態1405→状態1402のような遷移を辿る。   For example, considering a case where the vehicle is traveling on an uphill lane, if the vehicle travels straight on the uphill lane, a transition such as state 1404 → state 1406 → state 1404 is followed. When proceeding in the ramp direction, a transition such as state 1404 → state 1406 → state 1407 → state 1404 is followed. If the uphill lane is changed to the travel line, a transition such as state 1404 → state 1406 → state 1405 → state 1402 is followed.
このとき、認識結果を補正する考え方は次のようになる。例えば分岐線候補が右領域504と左領域502で認識され(状態1406)、この後、左領域502のみに分岐線候補が認識できたとする(状態1402)。状態1402の認識結果が正しいとすれば、右車線への変更が完了していることになるが、途中に右側の白線を跨いでいる状態(状態1405)を経由することになるため、直接、状態1406→状態1402という遷移はありえない。また右側の白線を跨いでいる状態を誤認識したとしても、状態1402の認識結果が正しいという仮定から、状態1401などのご認識の状態を経由することになり、やはり直接、状態1406→状態1402という遷移はありえない。従って、状態1406から状態1402になった場合、状態1402の認識結果は誤りであり、左、中央、右のいずれかの領域における白線の認識結果が誤りであったことになる。この時、状態1406と状態1402における左と中央の認識結果が同じであることから、これら2つの認識結果は矛盾していないため、右領域504に認識できていた分岐線候補が誤認識されたと判断する。そこで補正をして、右領域504にも分岐線候補が存在するとみなす。   At this time, the concept of correcting the recognition result is as follows. For example, it is assumed that a branch line candidate is recognized in the right region 504 and the left region 502 (state 1406), and then a branch line candidate is recognized only in the left region 502 (state 1402). If the recognition result of the state 1402 is correct, the change to the right lane has been completed, but since it goes through the state (state 1405) straddling the right white line in the middle, There cannot be a transition from state 1406 to state 1402. Further, even if the state straddling the white line on the right side is misrecognized, it is assumed that the recognition result of the state 1402 is correct, and the recognition state such as the state 1401 is passed. There can be no transition. Therefore, when the state 1406 is changed to the state 1402, the recognition result of the state 1402 is an error, and the recognition result of the white line in any of the left, center, and right regions is an error. At this time, since the recognition results of the left and center in the state 1406 and the state 1402 are the same, these two recognition results are not inconsistent. Therefore, the branch line candidate recognized in the right region 504 is erroneously recognized. to decide. Therefore, correction is made and it is considered that there is a branch line candidate also in the right region 504.
認識された2本の白線のうち、左側の1本を採用する方法の場合、自車が分岐線のどちら側にいるかということしかわからないが、図13に示すような遷移パターンが判れば、認識された分岐線候補が分岐線か、登坂車線と走行車線の車線境界線かがわかる。例えば状態1402になった場合、前フレームの結果が状態1402であれば、分岐線が認識されていることになり、前フレームの結果が状態1405であれば、認識されたのは車線境界線である。これによって、走行中のレーンを判別することも可能である。   In the method of adopting one of the two recognized white lines on the left side, it is only possible to know which side the vehicle is on the branch line, but if the transition pattern as shown in FIG. It can be determined whether the selected branch line candidate is a branch line or a lane boundary line between the uphill lane and the traveling lane. For example, in the state 1402, if the result of the previous frame is the state 1402, the branch line is recognized, and if the result of the previous frame is the state 1405, the recognized lane boundary is is there. In this way, it is possible to determine the running lane.
右分岐において2本の分岐線候補が検出される場合も、同様の遷移パターンが存在し、それを用いて誤認識を補正することが可能である。   When two branch line candidates are detected in the right branch, a similar transition pattern exists, and it is possible to correct erroneous recognition using the same transition pattern.
尚、登坂車線を走行中かどうかの判定は、次のような方法で可能である。例えば、分岐前区間において右領域504に分岐線が認識できたとする。ここで、走行区間の判定は、図11の処理フローと同様である。この分岐は左方向の分岐であり、分岐前区間において右領域504のみに分岐線が認識できたということは、現在は登坂車線を走行中であると判断できる。   It is possible to determine whether or not the vehicle is traveling on the uphill lane by the following method. For example, assume that a branch line can be recognized in the right region 504 in the section before branching. Here, the determination of the travel section is the same as the processing flow of FIG. This branch is a leftward branch, and the fact that the branch line can be recognized only in the right region 504 in the pre-branch section can be determined as currently traveling on the uphill lane.
図7や図13に示した遷移パターンは、自車が分岐線を跨いだ後は必ずランプ方向に進行していくという仮定の下で成り立っている。しかし、場合によっては分岐線を跨いでランプ方向に移動した後に再度、本線方向に戻る場合も存在する。例えば、分岐線が長い(すなわち分岐区間が長い)場合にはこのようなことがありうる。この時は、分岐線の長短によって、本線に戻ることがあるかどうかを判断する。ここでは、分岐線が左領域502から検出された場合における認識結果の成否判定について述べる。尚、ここでも分岐方向は左と想定する。   The transition patterns shown in FIG. 7 and FIG. 13 are based on the assumption that the vehicle always proceeds in the ramp direction after crossing the branch line. However, depending on the case, there is a case where the vehicle returns to the main line direction again after moving in the ramp direction across the branch line. For example, this may occur when the branch line is long (that is, the branch section is long). At this time, it is determined whether or not the main line may be returned depending on the length of the branch line. Here, the success / failure determination of the recognition result when the branch line is detected from the left region 502 will be described. It is assumed here that the branching direction is left.
図14は、図3のステップ401やステップ404における画像処理により分岐線が左領域502から検出された場合に、分岐線の長さを用いて認識結果の成否を判定する処理フローの一例である。ステップ1501で分岐線の長さを得る。分岐線の長さは、地図DB210に格納されている。次にステップ1502で前回の認識結果を得る。前回の認識結果は、認識結果DB204に格納されている。ステップ1503で、前回の結果から、前回の分岐線位置を判定し、分岐線位置が左ならば、図7の遷移パターンに合致しているので、そのまま分岐線が認識されたものとする(ステップ1506)。前回認識された分岐線位置が右ならば、今回を誤認識とする(ステップ1505)。これは、右にあった分岐線が突然左に移ることはありえないからである。   FIG. 14 is an example of a processing flow for determining the success or failure of the recognition result using the length of the branch line when the branch line is detected from the left region 502 by the image processing in step 401 or step 404 of FIG. . In step 1501, the length of the branch line is obtained. The length of the branch line is stored in the map DB 210. In step 1502, the previous recognition result is obtained. The previous recognition result is stored in the recognition result DB 204. In step 1503, the previous branch line position is determined from the previous result. If the branch line position is on the left, it is assumed that the branch line is recognized as it matches the transition pattern of FIG. 1506). If the previously recognized branch line position is on the right, this time is erroneously recognized (step 1505). This is because the branch line on the right cannot suddenly move to the left.
そして前回の分岐線位置が中央の場合は、今回の結果が正しいかどうかを分岐線の長さに応じて判断する。分岐線の長さを閾値と比べて(ステップ1504)、閾値よりも長い場合は、ランプ方向から戻ってきた運転によるためと判断し、分岐線が認識されたものとする。閾値よりも分岐線が短い場合は、ランプ方向から戻ることはほとんど有り得ないため、今回は誤認識とする。尚、前記閾値は、ランプ方向から戻っても危険でない分岐線長に基づいて決まる値である。   If the previous branch line position is the center, it is determined according to the length of the branch line whether the current result is correct. The length of the branch line is compared with the threshold value (step 1504). If the length is longer than the threshold value, it is determined that the operation has returned from the ramp direction, and the branch line is recognized. If the branch line is shorter than the threshold value, it is almost impossible to return from the ramp direction, so this time it is assumed to be a false recognition. The threshold value is a value determined based on a branch line length that is not dangerous even when the lamp returns from the ramp direction.
以上で述べた実施例は、分岐線が1回でも認識できたときを対象とした処理であるが、分岐線以外の白線の認識結果を用いれば、分岐線が検出できない場合でも補正が可能である。それについて次に述べる。   The embodiment described above is a process for when the branch line can be recognized even once. However, if the recognition result of the white line other than the branch line is used, correction can be performed even when the branch line cannot be detected. is there. This is described next.
図15は、図9に示すような道路において、実線、破線、分岐線の認識結果の理想的な遷移パターンを示す。状態1801は、走行前区間において、最左レーンを走行中の状態である。つまり、左領域502から実線が、右領域504から破線がそれぞれ検出されている状態である。そのまま分岐区間に進入すると、状態1802になる。そのまま直進すれば状態1802のままになり、分岐後区間に進入すれば状態1801に戻る。状態1802から分岐方向に侵入すれば、状態1803→状態1804→状態1809のように遷移する。状態1801から右レーンに進行した場合は、状態1805→状態1807→状態1808のように遷移し、状態1802から右レーンに進行した場合は、状態1806→状態1807→状態1808のように遷移する。   FIG. 15 shows an ideal transition pattern of the recognition result of the solid line, the broken line, and the branch line on the road as shown in FIG. A state 1801 is a state where the vehicle is traveling in the leftmost lane in the section before traveling. That is, a solid line is detected from the left area 502 and a broken line is detected from the right area 504. If it enters into a branch area as it is, it will be in the state 1802. If it goes straight on, it remains in the state 1802, and if it enters the post-branch section, it returns to the state 1801. If entering from the state 1802 in the branch direction, the state transitions from state 1803 to state 1804 to state 1809. When progressing from the state 1801 to the right lane, transition is made in the state 1805 → state 1807 → state 1808, and when progressing from the state 1802 to the right lane, transition is made from state 1806 → state 1807 → state 1808.
分岐区間にもかかわらず分岐線が認識できない場合は、この図15の遷移パターンを基にして補正する。例えば、状態1801を確認し、次の結果で、右領域504で破線が認識でき、他の白線が認識できなかった状態を考える。そのとき、前回は状態1801であり、その次の状態として右領域504に破線が出現するのは、状態1802である。したがって、このときは左領域502に分岐線があるはずであると判断する。   If the branch line cannot be recognized despite the branch section, the correction is made based on the transition pattern of FIG. For example, a state 1801 is confirmed, and a state in which a broken line can be recognized in the right region 504 and other white lines cannot be recognized as a result of the following is considered. At that time, the previous state is the state 1801, and it is the state 1802 that the broken line appears in the right region 504 as the next state. Therefore, at this time, it is determined that there should be a branch line in the left region 502.
一方、分岐線ではない白線が2本検出された場合は、最左レーンではない、別のレーンを走行中であると判断し、補正処理は実行しない。   On the other hand, when two white lines that are not branch lines are detected, it is determined that the vehicle is traveling in another lane that is not the leftmost lane, and the correction process is not executed.
図16は、走行中のレーンと走行区間を考慮して進行方向判定する処理フローであり、自車前方に分岐が存在するということがわかってからの処理である。これは、図2の処理フローにおけるステップ305からステップ308までの処理の変形である。   FIG. 16 is a processing flow for determining a traveling direction in consideration of a traveling lane and a traveling section, and is processing after it is understood that there is a branch ahead of the host vehicle. This is a modification of the processing from step 305 to step 308 in the processing flow of FIG.
この例では、図2の処理フローと異なり、走行区間判定の前にステップ1901で画像認識を実行し、白線を検出する。その結果を用いて、ステップ1902で走行レーンを判定する。そして走行レーンの判定結果が最左レーンであるか否かを調べ(ステップ1903)、走行レーンが最左レーンの場合は、走行区間を判定する(ステップ1904)。判定された走行区間によって処理が分岐し(ステップ1905)、まだ分岐前区間を走行していると判定されたならばステップ1901に戻る。また分岐区間に進入していたら、ステップ1906で画像認識を実行する。その結果、分岐線が認識されなければ、ステップ1908で認識結果の補正処理を実行し、進行方向を判定する(ステップ1909)。分岐線が認識されていれば、そのままステップ1909に進む。ステップ1909で進行方向が判定されたら、再びステップ1901に戻る。ステップ1905で、走行区間が分岐後区間であると判定されたら、進行方向判定の対処となる分岐点についての処理は終了である。   In this example, unlike the processing flow of FIG. 2, image recognition is executed in step 1901 to detect a white line before the travel section determination. Using the result, a travel lane is determined in step 1902. Then, it is checked whether or not the determination result of the traveling lane is the leftmost lane (step 1903). If the traveling lane is the leftmost lane, the traveling section is determined (step 1904). The process branches depending on the determined travel section (step 1905). If it is determined that the travel is still in the pre-branch section, the process returns to step 1901. If the vehicle has entered the branch section, image recognition is executed in step 1906. As a result, if the branch line is not recognized, a recognition result correction process is executed in step 1908 to determine the traveling direction (step 1909). If the branch line is recognized, the process proceeds to step 1909 as it is. When the traveling direction is determined in step 1909, the process returns to step 1901 again. If it is determined in step 1905 that the travel section is a post-branch section, the process for the branch point that is a countermeasure for the traveling direction determination is completed.
また、認識結果の遷移パターンに沿わない場合でも、ある認識結果が出た場合は、その時の認識結果を優先して進行方向特定に利用することにしてもよい。例えば、分岐線が認識できなくても、状態1809になったとき、すなわち左領域502と右領域504に実線が認識された場合は、ランプ方向に進行したとする。つまり、図15の遷移パターンにおいて、状態1802、1803、1804が無かったとしても、以前に状態1801があり、すなわち左領域502と右領域504に実線が認識された場合は、ランプ方向に進行したと判断する。   Even when the recognition result transition pattern is not followed, if a certain recognition result is obtained, the recognition result at that time may be preferentially used for specifying the traveling direction. For example, even if the branch line cannot be recognized, when the state 1809 is reached, that is, when solid lines are recognized in the left region 502 and the right region 504, it is assumed that the vehicle has traveled in the ramp direction. That is, in the transition pattern of FIG. 15, even if there are no states 1802, 1803, and 1804, if there is a state 1801 before, that is, if a solid line is recognized in the left region 502 and the right region 504, it proceeds in the ramp direction. Judge.
逆に、本線方向に進行したときでも、同様である。本線に進む場合は、状態1801→状態1802→状態1801となる。しかし、分岐線が認識できず、状態1802が無かったとしても、以前に状態1801になり、今回の認識結果が状態1801になっていれば本線方向に進行したと判断する。   On the contrary, the same applies to the case of traveling in the main line direction. When proceeding to the main line, state 1801 → state 1802 → state 1801. However, even if the branch line cannot be recognized and the state 1802 does not exist, the state is changed to the state 1801 before, and if the current recognition result is the state 1801, it is determined that the vehicle has proceeded in the main line direction.
以上に述べた実施例によって、認識結果が安定しない場合でも標示物認識結果の信頼性を高めることが可能になり、分岐地点における進行方向を正確に判定することが可能になる。   According to the embodiment described above, the reliability of the sign recognition result can be improved even when the recognition result is not stable, and the traveling direction at the branch point can be accurately determined.
本発明をカーナビゲーションシステムに適用することによって、より正確かつ詳細な経路誘導に寄与できる。また、ドライバーに対する安全運転支援にも適用可能である。   By applying the present invention to a car navigation system, it is possible to contribute to more accurate and detailed route guidance. It can also be applied to safe driving support for drivers.
本発明の実施例の構成図である。It is a block diagram of the Example of this invention. 本発明における処理のフローチャートである。It is a flowchart of the process in this invention. 分岐線認識の処理フローチャートである。It is a processing flowchart of branch line recognition. 分岐線が認識される領域を定義した図である。It is the figure which defined the field where a branch line is recognized. 認識結果DBのデータ構造の一例を表す図である。It is a figure showing an example of the data structure of recognition result DB. 認識結果の補正処理を示すフローチャートである。It is a flowchart which shows the correction process of a recognition result. 左分岐における認識結果遷移を表す状態遷移図である。It is a state transition diagram showing the recognition result transition in the left branch. 左分岐における認識結果と補正結果の関係を表す図である。It is a figure showing the relationship between the recognition result in a left branch, and a correction result. 道路分岐部の模式図である。It is a schematic diagram of a road branch part. 舵角を用いて認識結果補正を実行するかどうかを判定するフローチャートである。It is a flowchart which determines whether recognition result correction | amendment is performed using a steering angle. 車が走行中の区間を判定するフローチャートである。It is a flowchart which determines the area in which the vehicle is drive | working. 画像から分岐線候補が複数検出された場合に進行方向判定に利用する分岐線を示す図である。It is a figure which shows the branch line utilized for advancing direction determination, when multiple branch line candidates are detected from the image. 登坂車線を含む左分岐における認識結果遷移を表す状態遷移図である。It is a state transition diagram showing the recognition result transition in the left branch including an uphill lane. 前回と今回の認識結果が異なる場合の認識結果判定の一例を表すフローチャートである。It is a flowchart showing an example of recognition result determination when the recognition result of this time differs from the last time. 実線、破線、分岐線の認識結果遷移パターンの一例である。It is an example of the recognition result transition pattern of a continuous line, a broken line, and a branch line. 分岐線認識結果補正処理の一例を示すフローチャートである。It is a flowchart which shows an example of a branch line recognition result correction process.
符号の説明Explanation of symbols
101…画像処理装置、102…カメラ、103…カーナビゲーションシステム、105…GPS、106…車速センサ、107…ジャイロセンサ、109…舵角センサ、201…分岐線認識部、202…認識結果補正部、203…遷移パターン照合部、204…認識結果DB、205…遷移パターンDB、206…進行方位計測部、207…走行距離計測部、208…舵角計測部、209…マップマッチング部、210…地図DB。   DESCRIPTION OF SYMBOLS 101 ... Image processing apparatus, 102 ... Camera, 103 ... Car navigation system, 105 ... GPS, 106 ... Vehicle speed sensor, 107 ... Gyro sensor, 109 ... Rudder angle sensor, 201 ... Branch line recognition part, 202 ... Recognition result correction part, 203 ... transition pattern matching unit, 204 ... recognition result DB, 205 ... transition pattern DB, 206 ... traveling direction measuring unit, 207 ... travel distance measuring unit, 208 ... rudder angle measuring unit, 209 ... map matching unit, 210 ... map DB .

Claims (4)

  1. 車両に備えられたカメラの画像を処理して分岐線を認識する分岐線認識手段と、地図リンク情報を保持する地図DBと、車と分岐線との相対位置関係の遷移パターンを格納した遷移パターンDBと、前記分岐線認識手段による分岐線の認識結果と前記遷移パターンを照合する遷移パターン照合手段と、前記認識結果を保持する認識結果DBを備え、前記遷移パターン照合手段の出力結果を用いて分岐線の有無を判定し、前記分岐線認識手段は、前記地図DBから車前方の分岐方向を検索し、当該分岐方向に基づいて、車と路上標示物との相対位置関係の遷移パターンを予測し、当該予測の結果と路上標示物認識結果とを照合し、路上標示物の認識結果を補正することを特徴とする路上標示物認識装置。   A branch pattern recognition unit that recognizes a branch line by processing an image of a camera provided in the vehicle, a map DB that holds map link information, and a transition pattern that stores a transition pattern of a relative positional relationship between the car and the branch line A DB, a transition pattern matching means for matching the transition pattern recognition result with the branch line recognition result by the branch line recognition means, and a recognition result DB for holding the recognition result, and using the output result of the transition pattern matching means The branch line recognition means searches for a branch direction ahead of the vehicle from the map DB, and predicts a transition pattern of a relative positional relationship between the vehicle and a road marking object based on the branch direction. Then, the road marking object recognition apparatus characterized by collating the prediction result with the road marking object recognition result and correcting the recognition result of the road marking object.
  2. 請求項1において、前記路上標示物認識装置は、前記カメラから得られる画像から、認識対象とする標示物が認識されなかった場合、前回の認識結果と前記遷移パターンに基づいて今回の認識結果を補正し、その結果を前記認識結果DBに格納することを特徴とする路上標示物認識装置。   The road marking object recognition apparatus according to claim 1, wherein when a sign object to be recognized is not recognized from an image obtained from the camera, the road sign recognition apparatus calculates a current recognition result based on a previous recognition result and the transition pattern. A road marking object recognition apparatus, which corrects and stores the result in the recognition result DB.
  3. 請求項1において、前記路上標示物認識装置は、前記カメラから得られる画像から、認識対象とする標示物が認識されなかった場合、カーナビゲーションシステムから舵角の方向を得て、分岐方向と逆方向でない場合に、認識結果を補正し、その結果を前記認識結果DBに格納することを特徴とする路上標示物認識装置。   The road marking object recognition device according to claim 1, wherein when a sign object to be recognized is not recognized from an image obtained from the camera, the road sign recognition apparatus obtains a rudder angle direction from a car navigation system and reverses a branch direction. A road marking object recognition apparatus characterized by correcting a recognition result when it is not a direction and storing the result in the recognition result DB.
  4. 車両に備えられたカメラの画像を処理して路上標示物を認識する路上標示物認識手段と、地図リンク情報と少なくとも路上標示物の種類と当該路上標示物が存在するレーン情報を保持する地図DBと、車と路上標示物との相対位置関係の遷移パターン格納した遷移パターンDBと、前記路上標示物認識手段による認識結果と前記遷移パターンを照合する遷移パターン照合手段と、前記認識結果を保持する認識結果DBを備え、前記遷移パターン照合手段の出力結果を用いて路上標示物の有無を判定する路上標示物認識装置に接続され、前記路上標示物認識装置の出力結果を用いて車の進行方向を判定することを特徴とするカーナビゲーションシステム。   A road marking object recognizing means for processing a camera image provided in a vehicle to recognize a road marking object, a map DB that holds map link information, at least the type of the road marking object, and lane information where the road marking object exists A transition pattern DB storing a transition pattern of a relative positional relationship between the vehicle and the road marking object, a transition pattern matching means for comparing the recognition result by the road sign recognition means with the transition pattern, and holding the recognition result A recognition result DB, connected to a road marking object recognition device that determines the presence / absence of a road marking object using the output result of the transition pattern matching means, and the traveling direction of the vehicle using the output result of the road marking object recognition apparatus Car navigation system characterized by determining
JP2006283840A 2006-10-18 2006-10-18 Branch line recognition device and car navigation system Active JP4878256B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006283840A JP4878256B2 (en) 2006-10-18 2006-10-18 Branch line recognition device and car navigation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006283840A JP4878256B2 (en) 2006-10-18 2006-10-18 Branch line recognition device and car navigation system

Publications (2)

Publication Number Publication Date
JP2008102684A true JP2008102684A (en) 2008-05-01
JP4878256B2 JP4878256B2 (en) 2012-02-15

Family

ID=39436975

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006283840A Active JP4878256B2 (en) 2006-10-18 2006-10-18 Branch line recognition device and car navigation system

Country Status (1)

Country Link
JP (1) JP4878256B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187169A (en) * 2008-02-05 2009-08-20 Hitachi Ltd Traveling lane detection device
JP2010221859A (en) * 2009-03-24 2010-10-07 Hitachi Automotive Systems Ltd Vehicle driving support device
JP2012255705A (en) * 2011-06-08 2012-12-27 Fujitsu Ltd Position and posture output device, position and posture output program and position and posture output method
US8385601B2 (en) 2010-03-08 2013-02-26 Nippon Soken, Inc. In-vehicle white line recognition apparatus
US8744194B2 (en) 2009-04-09 2014-06-03 Denso Corporation Boundary line recognition apparatus
WO2018109999A1 (en) * 2016-12-16 2018-06-21 クラリオン株式会社 Lane marking recognition device
JP2019007790A (en) * 2017-06-22 2019-01-17 本田技研工業株式会社 Vehicle position determination device
WO2019039106A1 (en) * 2017-08-25 2019-02-28 日立オートモティブシステムズ株式会社 Image recognition device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106257558A (en) * 2015-06-17 2016-12-28 中兴通讯股份有限公司 Object positioning method and device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991440A (en) * 1995-09-26 1997-04-04 Toyota Motor Corp Device and method for recognizing white line on road for vehicle
JPH1185999A (en) * 1997-09-13 1999-03-30 Honda Motor Co Ltd White line detecting device for vehicle
JP2000105898A (en) * 1998-02-18 2000-04-11 Aisin Aw Co Ltd Unit and method for vehicle control, and computer- readable medium where program for allowing computer to implement vehicle control method is recorded
JP2005283219A (en) * 2004-03-29 2005-10-13 Clarion Co Ltd Vehicle traveling road determination method, vehicle traveling road determination device and navigation system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991440A (en) * 1995-09-26 1997-04-04 Toyota Motor Corp Device and method for recognizing white line on road for vehicle
JPH1185999A (en) * 1997-09-13 1999-03-30 Honda Motor Co Ltd White line detecting device for vehicle
JP2000105898A (en) * 1998-02-18 2000-04-11 Aisin Aw Co Ltd Unit and method for vehicle control, and computer- readable medium where program for allowing computer to implement vehicle control method is recorded
JP2005283219A (en) * 2004-03-29 2005-10-13 Clarion Co Ltd Vehicle traveling road determination method, vehicle traveling road determination device and navigation system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009187169A (en) * 2008-02-05 2009-08-20 Hitachi Ltd Traveling lane detection device
JP2010221859A (en) * 2009-03-24 2010-10-07 Hitachi Automotive Systems Ltd Vehicle driving support device
US8385600B2 (en) 2009-03-24 2013-02-26 Hitachi Automotive Systems, Ltd. Vehicle driving assistance apparatus
US8744194B2 (en) 2009-04-09 2014-06-03 Denso Corporation Boundary line recognition apparatus
US8385601B2 (en) 2010-03-08 2013-02-26 Nippon Soken, Inc. In-vehicle white line recognition apparatus
JP2012255705A (en) * 2011-06-08 2012-12-27 Fujitsu Ltd Position and posture output device, position and posture output program and position and posture output method
WO2018109999A1 (en) * 2016-12-16 2018-06-21 クラリオン株式会社 Lane marking recognition device
JP2019007790A (en) * 2017-06-22 2019-01-17 本田技研工業株式会社 Vehicle position determination device
WO2019039106A1 (en) * 2017-08-25 2019-02-28 日立オートモティブシステムズ株式会社 Image recognition device

Also Published As

Publication number Publication date
JP4878256B2 (en) 2012-02-15

Similar Documents

Publication Publication Date Title
RU2642547C1 (en) Card update determination system
US8706417B2 (en) Anchor lane selection method using navigation input in road change scenarios
US20180045516A1 (en) Information processing device and vehicle position detecting method
EP0738946B1 (en) Automatic travel guiding device for vehicle
US8209123B2 (en) Road information generating apparatus, road information generating method, and road information generating program
JP4352389B2 (en) Navigation device and navigation system
JP6242573B2 (en) Roadway recognition method and system
EP1300652B1 (en) Method and arrangement for determining the trajectory on a map which corresponds to the trajectory actually travelled by a mobile system
JP5461065B2 (en) Current position specifying device and current position specifying method
RU2597066C2 (en) Method and device for identification of road signs
US8112222B2 (en) Lane determining device, method, and program
US8433100B2 (en) Lane recognition device
US8825364B2 (en) Vehicle position recognition device and vehicle position recognition program
JP4643436B2 (en) Own vehicle position determination device
US20150325127A1 (en) Method and apparatus for determining lane identification in a roadway
KR100663027B1 (en) Method for judging breakaway of vehicle in navigation system
JP4377284B2 (en) Car navigation system
CN102481936B (en) With the method for the type of the condition of road surface of predictability mode determination vehicle
US9638532B2 (en) Vehicle drive assist system, and drive assist implementation method
US20110098922A1 (en) Path Predictive System And Method For Vehicles
CN101447019B (en) Image recognition apparatuses and methods
EP2120015B1 (en) Apparatus and program for finding the position of a vehicle
US8990007B2 (en) Vehicular navigation device
JP4910510B2 (en) Control information storage device and program
US20100169013A1 (en) Vehicle positioning device

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080409

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080409

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111122

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111125

R150 Certificate of patent or registration of utility model

Ref document number: 4878256

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3