JP2019109592A - 道路地図生成システム及び道路地図生成方法 - Google Patents

道路地図生成システム及び道路地図生成方法 Download PDF

Info

Publication number
JP2019109592A
JP2019109592A JP2017240642A JP2017240642A JP2019109592A JP 2019109592 A JP2019109592 A JP 2019109592A JP 2017240642 A JP2017240642 A JP 2017240642A JP 2017240642 A JP2017240642 A JP 2017240642A JP 2019109592 A JP2019109592 A JP 2019109592A
Authority
JP
Japan
Prior art keywords
road
marking
image
image data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017240642A
Other languages
English (en)
Other versions
JP6760251B2 (ja
Inventor
俊男 野村
Toshio Nomura
俊男 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2017240642A priority Critical patent/JP6760251B2/ja
Priority to PCT/JP2018/037041 priority patent/WO2019116686A1/ja
Priority to CN201880080542.0A priority patent/CN111480182B/zh
Publication of JP2019109592A publication Critical patent/JP2019109592A/ja
Priority to US16/899,094 priority patent/US11475679B2/en
Application granted granted Critical
Publication of JP6760251B2 publication Critical patent/JP6760251B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/10Map spot or coordinate position indicators; Map reading aids
    • G09B29/106Map spot or coordinate position indicators; Map reading aids using electronic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • G01C21/32Structuring or formatting of map data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps

Abstract

【課題】実際の道路状況を忠実に反映した正確な道路地図データの生成を可能とする。【解決手段】道路地図生成システム1は、車載カメラ4が搭載された複数台の車両Aから、それら車両Aの走行中の道路状況を撮影したカメラ画像データを収集し、それらカメラ画像データに基づいて道路地図データを生成するものであって、収集されたカメラ画像データを画像処理し、真上からの正射画像に変換すると共に、複数の正射画像を連結して連結画像を生成する画像処理手段14と、連結画像から道路上の道路標示の不良箇所を抽出する抽出手段14と、道路標示の不良箇所が、画像処理手段の画像処理時のノイズによるものか或いは現実に不良が発生しているのかを判定する判定手段14と、判定手段14による判定結果に基づいて、道路標示の不良箇所が画像処理時のノイズによるものである場合に当該道路標示の補正処理を行う補正手段14とを備えている。【選択図】図1

Description

本発明は、車載カメラが搭載された複数台の車両から、それら車両の走行中の道路状況を撮影したカメラ画像データを収集し、それらカメラ画像データに基づいて道路地図データを生成する道路地図生成システム及び道路地図生成方法に関する。
車両に搭載された道路面撮影システムにより、道路を走行しながら路面を撮影し、その画像から、路面標示を含む道路地図を生成するシステムが考えられている(例えば特許文献1参照)。このシステムでは、カメラによる撮影画像を、路面標示を含む真上から見た正射画像に変換し、更に、周辺を構成する複数の正射画像を、路面標示が適正な位置関係となるように組み合わせて連結画像を得るようになっている。尚、路面標示の誤認識を修正する処理を併せて行うことも開示されている。
特開2009−223221号公報
近年、自動車の自動運転技術に対する実現の気運が高まっており、そのための高精度の道路地図データを整備したい要望がある。上記特許文献1の技術では、例えば道路の中央線や車線境界線のペイントが歪んでいる場合に、それを真っ直ぐに補正するといった処理が行われる。しかし、実際に道路状況が悪くてペイントに歪みが生じている場合も考えられ、単純に路面標示の修正を行ってしまうと、現実に即した正確な道路地図データが得られないケースが生ずる。この場合、ペイントが実際に消えているといった、道路状況が良くない道路については、自動運転を解除することが安全・安心につながるため、現実に即した正確な道路地図データを得ることが望ましいのである。
本発明は上記事情に鑑みてなされたものであり、その目的は、車載カメラのカメラ画像データを収集することに基づいて道路地図データを生成するものにあって、実際の道路状況を忠実に反映した正確な道路地図データの生成を可能とすることができる道路地図生成システム及び道路地図生成方法を提供するにある。
上記目的を達成するために、本発明の道路地図生成システム(1)は、車載カメラ(4)が搭載された複数台の車両(A)から、それら車両(A)の走行中の道路状況を撮影したカメラ画像データを収集し、それらカメラ画像データに基づいて道路地図データを生成するシステムであって、前記収集されたカメラ画像データを画像処理し、真上からの正射画像に変換すると共に、複数の正射画像を連結して連結画像を生成する画像処理手段(14)と、前記連結画像から道路上の道路標示の不良箇所を抽出する抽出手段(14)と、前記道路標示の不良箇所が、前記画像処理手段の画像処理時のノイズによるものか或いは現実に不良が発生しているのかを判定する判定手段(14)と、前記判定手段による判定結果に基づいて、前記道路標示の不良箇所が画像処理時のノイズによるものである場合に当該道路標示の補正処理を行う補正手段(14)とを備えている(請求項1の発明)。
これによれば、車両の走行中の道路状況を撮影したカメラ画像データが複数台の車両から収集されると、画像処理手段により、収集されたカメラ画像データが画像処理され、真上からの正射画像に変換されると共に、複数の正射画像が連結されて連結画像が生成される。次いで、抽出手段により、その連結画像から道路上の道路標示の不良箇所が抽出されると、判定手段により、その道路標示の不良箇所が、画像処理手段の画像処理時のノイズによるものか或いは現実に不良が発生しているのかが判定される。そして、判定手段による判定結果に基づいて、道路標示の不良箇所が画像処理時のノイズによるものである場合に、補正手段により、当該道路標示の補正処理が行われる。
このとき、補正手段により道路標示の不良箇所の補正がなされるのは、判定手段により、道路標示の不良箇所が、画像処理手段の画像処理時のノイズによるものであると判定された場合に限られ、判定手段により現実に不良が発生していると判定された場合には、補正は行われない。この結果、車載カメラのカメラ画像データを収集することに基づいて道路地図データを生成するものにあって、実際の道路状況を忠実に反映した正確な道路地図データの生成を可能とすることができるという優れた効果を奏する。
本発明の一実施形態を示すもので、システムの全体構成を模式的に示す図 車載装置の構成を概略的に示すブロック図 データセンタの要部構成を概略的に示すブロック図 処理制御装置が実行する地図データの生成の処理の手順を概略的に示すフローチャート 処理制御装置が実行する道路標示の変化の蓄積記憶の処理の手順を概略的に示すフローチャート 画像処理の過程を説明するための図 道路標示の変化パターンの複数の例を示す図
以下、本発明を具体化した一実施形態について、図面を参照しながら説明する。図1は、本実施形態に係る道路地図生成システム1の全体構成を概略的に示している。ここで、道路地図生成システム1は、カメラ画像データを収集、分析し、道路地図データを生成するデータセンタ2と、道路上を走行する複数台の車両A群とから構成される。具体的には、前記車両A群は、乗用車やトラック等、一般の自動車全体を含んでいる。
前記各車両Aには、道路地図生成システム1を実現するための車載装置3が搭載されている。図2に示すように、車載装置3は、車載カメラ4、位置検出部5、各種車載センサ6、地図データベース7、通信部8、画像データ記憶部9、操作部10、制御部11を備えている。そのうち車載カメラ4は、例えば車両Aの前部に設けられ少なくとも走行方向前方の道路状況を撮影するように構成されている。前記位置検出部5は、周知のGPS受信機の受信データ等に基づいて、自車位置を検出するものである。前記各種車載センサ6は、自車の速度情報や走行方向(向き)の情報等を検出するものである。尚、前記車載カメラ4は、車両Aの前後及び左右に設けることができる。また、車載カメラ4の種類としては、広角カメラを採用することができ、特に前方カメラについては2眼式以上のカメラを採用することが望ましい。
前記地図データベース7は、例えば全国の道路地図情報を記憶している。前記通信部8は、移動体通信網を介して或いは路車間通信等を用いて、前記データセンタ2との間での通信を行うものである。前記画像データ記憶部9には、前記車載カメラ4が撮影したカメラ画像データが、その時の自車位置や走行速度、走行方向、撮影日時等のデータを付されて記憶されるようになっている。前記操作部10は、図示しないスイッチや表示部を有し、車両Aのユーザ(ドライバ)により必要な操作がなされる。
前記制御部11は、コンピュータを含んで構成され、車載装置3全体を制御する。この場合、制御部11は、車両Aの走行中に、前記車載カメラ4により、常時前方の道路状況を撮影し、そのカメラ画像データを自車位置データ等と共に前記画像データ記憶部9に記憶させる。そして、定期的に、例えば1日1回、前記通信部8により、前記データセンタ2に対して、画像データ記憶部9に記憶されているカメラ画像データを送信させるようになっている。
一方、前記データセンタ2は、図3に示すように、通信部12、入力操作部13、処理制御装置14、カメラ画像データベース15、正射画像データベース16、連結画像データベース17、道路地図データベース18、変化情報データベース19を備えている。そのうち前記通信部12は、各車両Aの通信部8との間の通信により、前記カメラ画像データを受信する。前記入力操作部13は、オペレータが必要な入力操作を行うためのものである。
前記処理制御装置14は、コンピュータを主体として構成され、データセンタ2全体の制御を行う。これと共に、後に詳述するように、処理制御装置14は、道路地図データの生成処理、道路標示の変化の蓄積記憶の処理等の処理を実行する。前記カメラ画像データベース15には、各車両Aから送信されたカメラ画像データが収集され、記憶される。このとき、例えば日本全国を走行する一般の車両Aから、膨大なカメラ画像データが収集されるようになる。
また、前記処理制御装置14の実行する道路地図データの生成処理において、前記正射画像データベース16には、正射画像のデータが記憶され、連結画像データベース17には、連結画像のデータが記憶される。更に、道路地図データベース18には、生成された高精度の道路地図データが記憶される。そして、本実施形態では、前記処理制御装置14の実行する道路標示の変化の蓄積記憶の処理において、前記変化情報データベース19には、道路標示の最新(現在)の変化情報が蓄積記憶される。
さて、後の作用説明(フローチャート説明)でも述べるように、本実施形態では、前記データセンタ2の処理制御装置14は、道路地図データの生成処理を行うにあたって、次の処理を順に実行する。即ち、まず、処理制御装置14は、前記カメラ画像データベース15に記憶されているカメラ画像データを画像処理し、真上からの正射画像に変換すると共に、複数の正射画像を連結配置して連結画像を生成する処理(画像処理工程)を実行する。
次に、処理制御装置14は、上記連結画像から道路上の道路標示の不良箇所を抽出する処理(抽出工程)を実行する。次いで、処理制御装置14は、抽出された道路標示の不良箇所が、画像処理工程におけるノイズによるものか或いは現実に不良が発生しているのかを判定する処理(判定工程)を実行する。そして、処理制御装置14は、その判定結果に基づいて、前記道路標示の不良箇所が画像処理時のノイズによるものである場合に当該道路標示の補正処理(補正工程)を実行する。
このとき、本実施形態では、連結画像から道路上の道路標示の不良箇所を抽出する処理にあっては、処理制御装置14は、道路標示として道路上にペイントされた標示線の欠損部分又は歪み部分を不良箇所として抽出する。また、道路標示の補正処理を行うにあたっては、処理制御装置14は、道路標示の不良箇所が画像処理時のノイズによるものである場合に、標示線の欠損部分又は歪み部分を、滑らかにつなぐように補正する。尚、ここでいう「標示線」とは、車道中央線、車線境界線、車道外側線、車両通行帯等の車線区画線や、停止線、歩行者や自転車の横断帯等の各種の線を含み、主として道路上に白でペイントされるものをいう。
これと共に、処理制御装置14は、道路標示の変化の蓄積記憶の処理を並行して実行する。この道路標示の変化の蓄積記憶の処理では、処理制御装置14は、カメラ画像データベース15に記憶されているカメラ画像データから、同一箇所において道路標示の時間的な変化があったことを検出する処理(検出工程)を実行する。そして、道路標示の変化が検出された場合には、その変化情報を前記変化情報データベース19に蓄積記憶する処理(記憶工程)を実行する。
このとき、処理制御装置14は、カメラ画像データから、同一箇所において道路標示の時間的な変化があったことを検出する処理においては、道路標示の変化のパターンとして、道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかの発生を検出するようになっている。処理制御装置14は、いずれかの変化パターンに該当する道路標示の変化を検出した場合に、その変化情報を変化情報データベース19に蓄積記憶する。変化情報データベース19には、変化情報として、道路の位置、変化パターン、日時、該当するカメラ画像(図7参照)等のデータが記憶される。
そして、処理制御装置14は、道路地図データの生成処理のうち、抽出された道路標示の不良箇所が、画像処理工程におけるノイズによるものか或いは現実に不良が発生しているのかを判定する処理において、変化情報データベース19に蓄積記憶されている変化情報を参照して判定を行う。つまり、道路標示(標示線)の不良が抽出された箇所において、変化情報データベース19に変化情報が存在しない場合には、該当する道路箇所における道路標示の不良は、画像処理上のノイズによるものと判定される。変化情報データベース19に変化情報が存在する場合には、現実に不良が発生したものと判定される。
これにて、連結画像に対する必要な補正が行われた上で、その連結画像に基づいて最新の高精度の道路地図データが生成され、道路地図データベース18に記憶される。尚、図示はしないが、本実施形態の道路地図生成システム1においては、データセンタ2は、生成した最新の道路地図データ等の外部に提供することが可能に構成されている。例えば、データセンタ2から動的情報センタに交通情報を提供したり、地図サプライヤやカーメーカ等に、自動運転用の高精度の道路地図データを提供したりするようになっている。
次に、上記構成の道路地図生成システム1の作用について、図4から図7も参照して述べる。図4のフローチャートは、主としてデータセンタ2の処理制御装置14が実行する、道路地図データの生成処理の手順を示している。また、図5のフローチャートは、処理制御装置14が実行する、道路標示の変化の蓄積記憶の処理手順を示している。まず、図5のフローチャートにおいて、ステップS11にて、カメラ画像データベース15にアクセスしてカメラ画像データが読込まれる。次のステップS12では、カメラ画像データから道路標示の時間的な変化を検出する処理がなされる(検出工程)。
ここで、例えば道路の舗装時や道路標示のペイントの塗り替え時等の初期状態においては、道路標示は正常になされており、道路標示に不良が発生したとすると、初期状態から後の道路標示の時間経過に伴う何らかの変化によるものと考えられる。本実施形態では、上記したように、道路標示の変化のパターンとして、道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかの発生を検出する。そして、道路標示の変化を検出した場合に、ステップS13にて、その変化情報を変化情報データベース19に書込む処理が行われる(記憶工程)。このようにして変化情報データベース19に変化情報が蓄積記憶される。
ここで、図7は、道路標示の変化があった場合の画像のパターンの例を示している。図7(a)は、例えば道路工事後の埋戻しによって部分的な隆起(凹凸)が発生し、標示線(車線区画線)が歪んでいる様子を示す。図7(b)は、道路上のタイヤのスリップ痕によって車線区画線が途中で消えている様子を示す。図7(c)は、災害(斜面の崩落)により土砂が堆積し標示線を含む道路の一部が埋められる異状が生じた様子を示している。これらの変化が予めパターン化されていることにより、カメラ画像から容易に検出することが可能となる。
次に、道路地図データの生成処理の手順を示す図4のフローチャートにおいて、まずステップS1では、各車両Aの車載装置3において、車載カメラ4により走行中の道路状況が撮影され、次のステップS2にて、各車両Aにおいて撮影されたカメラ画像のデータがデータセンタ2に収集されてカメラ画像データベース15に書込まれる。このときのカメラ画像の例を図6(a)に示す。この場合、前記ステップS1の処理は、各車両Aにおいて制御部10の制御により実行される。
ステップS2の処理では、各車両Aから通信部8によりカメラ画像データがデータセンタ2に送信され、データセンタ2において、通信部12を介して受信したカメラ画像データが処理制御装置14の制御によりカメラ画像データベース15に書込まれる。この場合、全国の道路を走行している多数台の一般の車両Aから、全国の道路の最新のカメラ画像データが収集されるようになる。
ステップS3〜S6は、処理制御装置14の実行する画像処理の工程であり、ステップS3では、カメラ画像データベース15からカメラ画像が読込まれ、各フレーム画像を真上から見た状態に変換し正射画像を生成する処理が実行される。ステップS4にて、生成された正射画像が正射画像データベース16に書込まれる。次のステップS5では、生成された正射画像を車両Aの走行時の走行軌跡に沿って複数配置して連結(合せ込み)することにより、連結画像を生成する処理が実行される。ステップS6では、生成された連結画像が連結画像データベース17に書込まれる。連結画像の一例を図6(b)に示す。
そして、ステップS7では、生成された連結画像から、道路上の道路標示を認識し、必要に応じて道路標示の補正を行う処理が実行される。より具体的には、連結画像から道路上の道路標示の不良箇所を抽出する抽出処理(抽出工程)、その道路標示の不良箇所が上記画像処理の工程における画像処理時のノイズによるものか或いは現実に不良が発生しているのかを判定する判定処理(判定工程)、その判定結果に基づいて、道路標示の不良箇所が画像処理時のノイズによるものである場合に当該道路標示を補正する処理(補正工程)が実行される。
ここで、図6(b)に例示しているように、道路標示の不良としては、図に符号B1で示すような、例えば本来直線であるべき停止線が途中でずれるように歪んでいたり、符号B2で示すような、例えば本来直線であるべき車線境界線がジグザグ状に設けられていたりするケースがある。道路標示の不良箇所が抽出されると、判定工程が実行されるのであるが、本実施形態では、上記変化情報データベース19に記憶されている変化情報を参照して判定が行われる。このとき、道路標示の不良が抽出された箇所において、変化情報データベース19に該当する道路箇所の変化情報が存在するときには、現実に不良が発生したものと推定することができる。この場合には、道路標示の補正は行われない。
これに対し、変化情報データベース19に該当する道路箇所における変化情報が存在しないときには、その道路標示の不良は、画像処理上のノイズによるものと推定できる。この場合には、道路標示の不良部分の補正が行われる。道路上にペイントされた標示線(道路区画線等)の欠損部分又は歪み部分が生じた場合には、その標示線の欠損部分又は歪み部分を滑らかにつなぐように補正が行われる。この後、ステップS8では、補正処理後の連結画像から道路地図データが生成され、道路地図データベース18に書込まれる。以上の処理により、最新かつ高精度の道路地図データが生成されるようになる。
以上のように、本実施形態の道路地図生成システム1によれば、次のような優れた効果を得ることができる。即ち、本実施形態においては、車載カメラ4のカメラ画像データを収集することに基づいて道路地図データを生成するものにあって、連結画像から道路上の道路標示の不良箇所が抽出されたときに、当該道路標示の不良箇所が画像処理時のノイズによるものであると判定された場合に限って補正を行うようにした。そして、判定の工程において、現実に不良が発生していると判定された場合には、補正は行われない。
この結果、実際の道路状況を忠実に反映した正確な道路地図データの生成を可能とすることができる。ひいては、自動車の自動運転用の高精度の道路地図データの整備に大いに寄与することができる。また、本実施形態の道路地図生成システム1においては、全国の道路を走行する一般の多数台の車両Aの車載カメラ4によるカメラ画像データを収集することに基づいて、地図データを生成することができるので、専用の車両を走行させてデータを得るものと異なり、安価なコストで高精度の地図データを生成できるといった利点も得ることができる。
このとき、本実施形態では、道路標示の変化の蓄積記憶の処理において、カメラ画像データから、同一箇所において道路標示の時間的な変化があったことが検出されると、変化情報データベース19にその変化情報が蓄積記憶されるようになる。そして、道路標示の不良が画像処理上のノイズによるものかどうかを判定する工程において、変化情報データベース19に記憶されている変化情報を参照して判定を行えば良いので、判断の処理を容易且つ確実に行うことができる。
また、現実の道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかが発生することが、道路標示の不良と判断される要因、つまり現実に道路標示に欠損や歪みが発生する原因となる。本実施形態では、検出の工程において、カメラ画像データから、道路標示の変化のパターンとして、道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかの発生を検出するように構成した。それらの変化が予めパターン化されていることにより、カメラ画像から道路標示の変化を容易に検出することが可能となる。
特に本実施形態では、道路標示として道路上にペイントされた標示線の欠損部分又は歪み部分を不良箇所として抽出し、道路標示の不良箇所が画像処理時のノイズによるものである場合に、標示線の欠損部分又は歪み部分を、滑らかにつなぐように補正する構成とした。これにより、画像処理時のノイズによる標示線の欠損部分又は歪み部分を正しく補正でき、高精度の地図データを生成することができる。
尚、上記実施形態では、データセンタ2における各種処理(工程)を、コンピュータからなる処理制御装置14が自動で行う構成としたが、オペレータからの入力指示を含めて、いわゆる半自動で処理を実行する構成としても良い。これによれば、例えば現実に道路標示の不良が発生しているかの判定を行うにあたって、カメラ画像データを表示装置に表示させ、オペレータがそのカメラ画像データを参照して判定を行うようにすれば、実際の画像を容易に確認して、正確に判定を行うことができる。
また、上記実施形態では、車両Aから無線通信によりカメラ画像データを収集するようにしたが、例えばSDカード等の記憶媒体を介してカメラ画像データを収集する構成とすることもできる。その他、車両(車載装置)やデータセンタのハードウエア構成等についても様々な変更が可能である。本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
図面中、1は道路地図生成システム、2はデータセンタ、3は車載装置、4は車載カメラ、8は通信部、11は制御部、12は通信部、14は処理制御装置(画像処理手段、抽出手段、判定手段、補正手段、検出手段)、15はカメラ画像データベース、19は変化情報データベース(変化情報記憶手段)、Aは車両を示す。

Claims (10)

  1. 車載カメラ(4)が搭載された複数台の車両(A)から、それら車両(A)の走行中の道路状況を撮影したカメラ画像データを収集し、それらカメラ画像データに基づいて道路地図データを生成する道路地図生成システム(1)であって、
    前記収集されたカメラ画像データを画像処理し、真上からの正射画像に変換すると共に、複数の正射画像を連結して連結画像を生成する画像処理手段(14)と、
    前記連結画像から道路上の道路標示の不良箇所を抽出する抽出手段(14)と、
    前記道路標示の不良箇所が、前記画像処理手段の画像処理時のノイズによるものか或いは現実に不良が発生しているのかを判定する判定手段(14)と、
    前記判定手段(14)による判定結果に基づいて、前記道路標示の不良箇所が画像処理時のノイズによるものである場合に当該道路標示の補正処理を行う補正手段(14)とを備える道路地図生成システム。
  2. 前記判定手段(14)は、前記道路標示の不良箇所の前記カメラ画像データを参照して、判定を行う請求項1記載の道路地図生成システム。
  3. 前記カメラ画像データから、同一箇所において道路標示の時間的な変化があったことを検出する検出手段(14)と、
    前記検出手段により道路標示の変化が検出された場合に、その変化情報を蓄積記憶する変化情報記憶手段(19)とを備え、
    前記判定手段(14)は、前記変化情報記憶手段(19)に記憶されている変化情報を参照して判定を行う請求項1又は2記載の道路地図生成システム。
  4. 前記検出手段(14)は、前記カメラ画像データから、前記道路標示の変化のパターンとして、道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかの発生を検出する請求項3記載の道路地図生成システム。
  5. 前記抽出手段(14)は、前記連結画像から、前記道路標示として道路上にペイントされた標示線の欠損部分又は歪み部分を不良箇所として抽出し、
    前記補正手段(14)は、前記道路標示の不良箇所が画像処理時のノイズによるものである場合に、前記標示線の欠損部分又は歪み部分を、滑らかにつなぐように補正する請求項1から4のいずれか一項に記載の道路地図生成システム。
  6. 車載カメラ(4)が搭載された複数台の車両(A)から、それら車両(A)の走行中の道路状況を撮影したカメラ画像データを収集し、それらカメラ画像データに基づいて道路地図データを生成する道路地図生成方法であって、
    前記収集されたカメラ画像データを画像処理し、真上からの正射画像に変換すると共に、複数の正射画像を連結して連結画像を生成する画像処理工程と、
    前記連結画像から道路上の道路標示の不良箇所を抽出する抽出工程と、
    前記道路標示の不良箇所が、前記画像処理工程の画像処理時のノイズによるものか或いは現実に不良が発生しているのかを判定する判定工程と、
    前記判定工程における判定結果に基づいて、前記道路標示の不良箇所が画像処理時のノイズによるものである場合に当該道路標示の補正処理を行う補正工程とを含む道路地図生成方法。
  7. 前記判定工程は、前記道路標示の不良箇所の前記カメラ画像データを参照して、判定を行う請求項6記載の道路地図生成方法。
  8. 前記カメラ画像データから、同一箇所において道路標示の時間的な変化があったことを検出する検出工程と、
    前記検出工程において道路標示の変化が検出された場合に、その変化情報を変化情報記憶手段(19)に蓄積記憶する記憶工程とを備え、
    前記判定工程においては、前記変化情報記憶手段(19)に記憶されている変化情報を参照して判定を行う請求項6又は7記載の道路地図生成方法。
  9. 前記検出工程は、前記カメラ画像データから、前記道路標示の変化のパターンとして、道路上におけるタイヤスリップ痕、再舗装、部分的な陥没又は隆起、ひび割れ、災害による異状の少なくともいずれかの発生を検出する請求項8記載の道路地図生成方法。
  10. 前記抽出工程は、前記連結画像から、前記道路標示として道路上にペイントされた標示線の欠損部分又は歪み部分を不良箇所として抽出し、
    前記補正工程は、前記道路標示の不良箇所が画像処理時のノイズによるものである場合に、前記標示線の欠損部分又は歪み部分を、滑らかにつなぐように補正する請求項6から9のいずれか一項に記載の道路地図生成方法。
JP2017240642A 2017-12-15 2017-12-15 道路地図生成システム及び道路地図生成方法 Active JP6760251B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017240642A JP6760251B2 (ja) 2017-12-15 2017-12-15 道路地図生成システム及び道路地図生成方法
PCT/JP2018/037041 WO2019116686A1 (ja) 2017-12-15 2018-10-03 道路地図生成システム及び道路地図生成方法
CN201880080542.0A CN111480182B (zh) 2017-12-15 2018-10-03 道路地图生成系统以及道路地图生成方法
US16/899,094 US11475679B2 (en) 2017-12-15 2020-06-11 Road map generation system and road map generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017240642A JP6760251B2 (ja) 2017-12-15 2017-12-15 道路地図生成システム及び道路地図生成方法

Publications (2)

Publication Number Publication Date
JP2019109592A true JP2019109592A (ja) 2019-07-04
JP6760251B2 JP6760251B2 (ja) 2020-09-23

Family

ID=66820784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017240642A Active JP6760251B2 (ja) 2017-12-15 2017-12-15 道路地図生成システム及び道路地図生成方法

Country Status (4)

Country Link
US (1) US11475679B2 (ja)
JP (1) JP6760251B2 (ja)
CN (1) CN111480182B (ja)
WO (1) WO2019116686A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210148773A (ko) * 2020-06-01 2021-12-08 네이버랩스 주식회사 도로 영상에서의 노면 기호 방향 판단 방법, 장치, 시스템 및 컴퓨터 프로그램
JP7406480B2 (ja) 2020-12-18 2023-12-27 株式会社豊田中央研究所 地図生成装置、地図生成方法、およびコンピュータプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7183729B2 (ja) * 2018-11-26 2022-12-06 トヨタ自動車株式会社 撮影異常診断装置
CN114705180B (zh) * 2022-06-06 2023-03-24 中汽创智科技有限公司 高精地图的数据修正方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006114955A1 (ja) * 2005-04-25 2006-11-02 Geo Technical Laboratory Co., Ltd. 撮影位置解析方法
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置
JP2009223220A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009237901A (ja) * 2008-03-27 2009-10-15 Zenrin Co Ltd 路面標示地図生成方法
JP2016118906A (ja) * 2014-12-19 2016-06-30 株式会社デンソー 異常検出装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008309529A (ja) * 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP5285311B2 (ja) 2008-03-18 2013-09-11 株式会社ゼンリン 路面標示地図生成方法
US9092981B2 (en) * 2010-03-03 2015-07-28 Panasonic Intellectual Property Management Co., Ltd. Road condition management system and road condition management method
JP6325806B2 (ja) * 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
US10620638B2 (en) * 2017-08-18 2020-04-14 Wipro Limited Method, system, and device for guiding autonomous vehicles based on dynamic extraction of road region

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006114955A1 (ja) * 2005-04-25 2006-11-02 Geo Technical Laboratory Co., Ltd. 撮影位置解析方法
JP2007249103A (ja) * 2006-03-20 2007-09-27 Zenrin Co Ltd 道路画像作成システム及び道路画像作成方法,及び道路画像合成装置
JP2009223220A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009237901A (ja) * 2008-03-27 2009-10-15 Zenrin Co Ltd 路面標示地図生成方法
JP2016118906A (ja) * 2014-12-19 2016-06-30 株式会社デンソー 異常検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210148773A (ko) * 2020-06-01 2021-12-08 네이버랩스 주식회사 도로 영상에서의 노면 기호 방향 판단 방법, 장치, 시스템 및 컴퓨터 프로그램
KR102485315B1 (ko) 2020-06-01 2023-01-06 네이버랩스 주식회사 도로 영상에서의 노면 기호 방향 판단 방법, 장치, 시스템 및 컴퓨터 프로그램
JP7406480B2 (ja) 2020-12-18 2023-12-27 株式会社豊田中央研究所 地図生成装置、地図生成方法、およびコンピュータプログラム

Also Published As

Publication number Publication date
US20200302191A1 (en) 2020-09-24
US11475679B2 (en) 2022-10-18
CN111480182B (zh) 2023-10-20
WO2019116686A1 (ja) 2019-06-20
CN111480182A (zh) 2020-07-31
JP6760251B2 (ja) 2020-09-23

Similar Documents

Publication Publication Date Title
WO2019116686A1 (ja) 道路地図生成システム及び道路地図生成方法
CN105989724B (zh) 道路标志判断装置
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
JP6062473B2 (ja) 道路標識判断装置及び道路標識判断方法
CN111344765B (zh) 道路地图生成系统以及道路地图生成方法
JP6971020B2 (ja) 異常検出装置および異常検出方法
JP2018018461A (ja) 情報処理装置、表示装置、情報処理方法、及びプログラム
JP6398501B2 (ja) 車載カメラ診断装置
JP6170416B2 (ja) 道路標識判断装置
US9500495B2 (en) Vehicular navigation system
JP5910450B2 (ja) 車両用ナビゲーションシステム
DE102007021576A1 (de) Verfahren und Vorrichtung zum Bestimmen der Position eines Verkehrszeichens
US10049506B2 (en) Documentation of a motor vehicle condition
JP2018017101A (ja) 情報処理装置、情報処理方法、及びプログラム
CN114841188A (zh) 一种基于二维码的车辆融合定位方法及装置
JP2008082925A (ja) ナビゲーション装置、その制御方法及び制御プログラム
DE102006051539A1 (de) Verfahren und Vorrichtung zur luftbildgestützten Umgebungserfassung bei Kraftfahrzeugen
CN105799592B (zh) 用于确定车辆特征的位置的方法和相应装置
JP2017116321A (ja) 車載ステレオカメラ用のキャリブレーション装置
CN114910085A (zh) 一种基于路政设施识别的车辆融合定位方法及装置
JP6234620B2 (ja) 車両のアシスタント・システムのオペレーティングのための方法、並びに、アシスタント・システム
JP5910449B2 (ja) 車両用ナビゲーションシステム
JP6855254B2 (ja) 画像処理装置、画像処理システム、及び、画像処理方法
KR102561791B1 (ko) 차량속도 단속장치, 차량속도 검증용 기준주행정보 생성장치, 차량속도 검증장치, 교통정보 운영시스템 및 그 방법
CN113670328B (zh) 用于离线状态的网约车数据采集系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200817

R151 Written notification of patent or utility model registration

Ref document number: 6760251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250