JP2019133498A

JP2019133498A - 車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体

Info

Publication number: JP2019133498A
Application number: JP2018016396A
Authority: JP
Inventors: 茂裕武藤; Shigehiro Muto
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2018-02-01
Filing date: 2018-02-01
Publication date: 2019-08-08
Anticipated expiration: 2038-02-01
Also published as: JP6729611B2; WO2019150736A1; CN111656421B; DE112018006997T5; CN111656421A; US20200355506A1; US11143512B2

Abstract

【課題】自動運転用の走行軌道データを生成するサーバに対して車両側から送信されるデータ量を抑えてデータ量の増大により想定される様々な問題を適切に回避しつつ、自動運転用の走行軌道データを生成するのに有効なデータをサーバに適切に送信する。【解決手段】車両用画像データ生成装置２は、基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラ２２により生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバ３との間でデータ通信する。車両用画像データ生成装置２は、車載カメラ２２により生成された画像データから区間毎の画像データを区間画像データとして生成する区間画像データ生成部１１と、区間画像データ生成部１１により生成された区間画像データを前記サーバに送信するデータ送信部２１と、を備える。【選択図】図１

Description

本発明は、車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体に関する。

従来より、ザーバにおいて、基盤地図データ、航空写真データ及びナビゲーション用地図データ等を画像認識し、自動運転用の走行軌道データを生成する構成が供されている。しかしながら、これらの各種データを画像認識する構成では、例えば高架下の区間、トンネルの区間及び車両が駐停車している区間等では、区画線を認識することが困難となり、走行軌道データを生成することが困難となる虞がある。このような事情から、車両側において、車載カメラにより生成された画像データをサーバに送信し、サーバにおいて、上記した基盤地図データ等を画像認識することに加え、車両側から受信した画像データも画像認識し、基盤地図データ等からでは区画線を認識することが困難な範囲を、車両側から受信した画像データにより補完して走行軌道データを生成することが考えられる。例えば特許文献１には、車載カメラが車両前方を撮影し、車両前方の画像データを生成する構成が開示されている。

特開２０１７−７８６０７号公報

しかしながら、車両側において、車載カメラにより生成された画像データをそのままサーバに送信しようとすると、サーバに送信するデータ量が膨大となる問題がある。又、通信コストがデータ量に依存する課金制度を採用していれば、その膨大なデータ量に追従して通信コストが増大する問題もある。

本発明は、上記した事情に鑑みてなされたものであり、その目的は、自動運転用の走行軌道データを生成するサーバに対して車両側から送信されるデータ量を抑えてデータ量の増大により想定される様々な問題を適切に回避しつつ、自動運転用の走行軌道データを生成するのに有効なデータをサーバに適切に送信することができる車両用画像データ生成装置、走行軌道データ生成システム、区間画像データ生成プログラム及び記憶媒体を提供することにある。

請求項１に記載した発明によれば、基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラにより生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバ（３）との間でデータ通信する。区間画像データ生成部（１１）は、車載カメラにより生成された画像データから区間毎の画像データを区間画像データとして生成する。データ送信部（２１）は、区間画像データ生成部により生成された区間画像データをサーバに送信する。

車載カメラが生成した画像データをそのままサーバに送信するのではなく、画像データから区間毎の区間画像データを生成し、その生成した区間画像データをサーバに送信するようにした。これにより、自動運転用の走行軌道データを生成するサーバに対して車両側から送信されるデータ量を抑えてデータ量の増大により想定される様々な問題を適切に回避しつつ、自動運転用の走行軌道データを生成するのに有効なデータをサーバに適切に送信することができる。

一実施形態の全体構成を示す機能ブロック図サーバの構成を示す機能ブロック図区間画像データ生成処理を示すフローチャート画像データを示す図連結画像データを示す図区間画像データを示す図区間画像データ内の不要物体を除去する態様を示す図区間画像データ内の白線を認識する態様を示す図区間画像データ内の車線中心線を特定する態様を示す図車線中心線の仮位置を特定する態様を示す図３車線の道路を示す図車線の属性を示す図車線中心線の絶対位置を特定する態様を示す図路上情報データを示す図区間画像データの元となる画像データを示す図区間画像データを示す図

以下、本発明の一実施形態について図面を参照して説明する。図１に示すように、走行軌道データ生成システム１は、車両に搭載されている車両用画像データ生成装置２と、サーバ３とを有し、車両用画像データ生成装置２とサーバ３とが通信網を介してデータ通信可能に構成されている。通信網は例えば広域通信網である。

サーバ３は、図２に示すように、例えば国土地理院から提供される基盤地図データ、航空機により上空から撮影された航空写真データ及びナビゲーションの用途で利用されるナビゲーション用地図データ等を画像認識し、自動運転用の走行軌道データを生成する機能を有する。サーバ３は、画像認識部４と、交差点間車線ネットワークデータ生成部５と、交差点間車線ネットワークデータ処理部６と、交差点内車線ネットワークデータ生成部７と、交差点内車線ネットワークデータ修正部８、画像変化点特定部９と、変化点情報反映部１０とを有する。

画像認識部４は、基盤地図データ、航空写真データ及びナビゲーション用地図データを入力したり、車両側から送信された区間画像データを入力したりすると、その入力した各種データを画像認識し、交差点間の白線を示す交差点間白線データ、交差点内のペイントを示す交差点内ペイントデータを生成すると共に、認識不可区間を示す認識不可区間情報データを生成する。認識不可区間情報データは、高架下の区間、トンネルの区間及び車両が駐停車している区間等であり、区画線を認識することが困難な区間である。

交差点間車線ネットワークデータ生成部５は、ナビゲーション用地図データを入力すると、その入力したナビゲーション用地図データから広域の交差点間を対象とした広域交差点間車線ネットワークデータを生成する。広域とは例えば全国の道路を対象とした区域である。交差点間車線ネットワークデータ処理部６は、広域交差点間車線ネットワークデータ及び交差点間白線データを入力すると、その入力した各種データから広域交差点間車線ネットワークデータの位置の調整や属性の設定を行い、広域交差点間車線ネットワークデータ確定版の確定版を生成する。属性とは区画線の線種や色である。

交差点内車線ネットワークデータ生成部７は、広域交差点間車線ネットワークデータの確定版を入力すると、その入力した広域交差点間車線ネットワークデータの確定版から機械学習モデル等の手法を用い、交差点内を暫定とした広域車線ネットワークデータを生成する。交差点内車線ネットワークデータ修正部８は、交差点内を暫定とした広域車線ネットワークデータ及び交差点内ペイントデータを入力すると、その入力した各種データから交差点内の車線ネットワークデータを修正し、広域の交差点間と交差点内を対象とした広域車線ネットワークデータの確定版を生成する。

画像変化点特定部９は、区間画像データ、広域車線ネットワークデータの確定版及び路上情報データを入力すると、その入力した各種データから同一区間の過去の区間画像データからの変化点を変化点情報として特定し、変化点情報データを生成する。変化点情報反映部１０は、変化点情報データを入力すると、その入力した変化点情報データを広域車線ネットワークデータの確定版に反映させる。

車両用画像データ生成装置２は、区間画像データ生成部１１と、不要物体除去部１２と、白線認識部１３と、車線中心線特定部１４と、仮位置特定部１５と、絶対位置特定部１６と、評価結果付与部１７と、区間画像データ保存部１８と、変化点情報特定部１９と、路上情報データ生成部２０と、データ送信部２１とを有する。これらの機能ブロックは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）を有するマイクロコンピュータにより構成される。マイクロコンピュータは、非遷移的実体的記憶媒体に格納されているコンピュータプログラムを実行することで、コンピュータプログラムに対応する処理を実行し、車両用画像データ生成装置２の動作全般を制御する。マイクロコンピュータが実行するコンピュータプログラムには区間画像データ生成プログラムが含まれる。

車載カメラ２２は、車両前方の路面を含む範囲を撮影するように車両に搭載されており、車両前方の路面を含む範囲を撮影して画像データを生成し、その生成した画像データを車両用画像データ生成装置２に出力する。ＧＰＳ（Global Positioning System）受信機２３は、地球上を周回する複数個のＧＰＳ衛星から送信されたＧＰＳ信号を受信し、その受信したＧＰＳ信号に格納されているパラメータを演算して車両のＧＰＳ軌跡を特定し、その特定したＧＰＳ軌跡を車両用画像データ生成装置２に出力する。ＧＰＳ軌跡は絶対的な軌跡を示す絶対軌跡である。ジャイロセンサ２４は、車体に作用する角速度から当該車体の姿勢を演算して車両の推測軌跡を特定し、その特定した車両の推測軌跡を車両用画像データ生成装置２に出力する。車速センサ２２は、車速パルスから車速を特定し、その特定した車速を車両用画像データ生成装置２に出力する。

車両用画像データ生成装置２は、車載カメラ２２から入力する画像データ、ＧＰＳ受信機２３から入力する車両のＧＰＳ軌跡、ジャイロセンサ２４から入力する車両の推測軌跡、車速センサ２５から入力する車速、ナビゲーション用地図データを用い、区間毎の画像データを区間画像データとして生成し、その生成した区間画像データをサーバ３に送信する。

区間画像データ生成部１１は、画像データ配列部１１ａと、画像データ連結部１１ｂと、画像データ分割部１１ｃとを有する。画像データ配列部１１ａは、車載カメラ２２により時系列で生成された複数の画像データを車両の推測軌跡の座標点にしたがって配列する。画像データ連結部１１ｂは、画像データ配列部１１ａにより配列された複数の画像データを路面のペイントにしたがって連結し、連結画像データを生成する。画像データ分割部１１ｃは、画像データ連結部１１ｂにより生成された連結画像データを路面のペイント又はナビゲーション用地図データにしたがって区間毎に分割し、区間画像データを生成する。

不要物体除去部１２は、区間画像データ生成部１１により生成された区間画像データ内の影の輝度調整を行い、区間画像データ内の不要物体を除去する。白線認識部１３は、区間画像データ生成部１１により生成された区間画像データ内の白線を認識する。

車線中心線特定部１４は、白線認識部１３による白線の認識結果から区間画像データ内の車線中心線を特定する。仮位置特定部１５は、車両のＧＰＳ軌跡を用いて車両の進行方向を特定し、ナビゲーション用地図データの道路中心線及び車両の走行軌跡のうち少なくとも何れかと車両の進行方向とを照合し、車線中心線特定部１４により特定された区間画像データ内の車線中心線の仮位置を特定する。絶対位置特定部１６は、ナビゲーション用地図データと白線認識部１３による白線の認識結果とを照合し、仮位置が特定された区間画像データ内の車線中心線の絶対位置を特定する。

評価結果付与部１７は、区間画像データ生成部１１により生成された区間画像データに対して評価結果を付与する。評価結果とは、例えば画像の明るさ、区間画像データ内のゴミの除去率及び白線認識率等を数値化した指標であり、数値が高いほど評価結果が高く、数値が低いほど評価結果が低いと見做される。区間画像データ保存部１８は、区間画像データ生成部１１により生成された区間画像データと、その区間画像データに対して評価結果付与部１７により付与された評価結果とを対応付けて保存する。

変化点情報特定部１９は、区間画像データ生成部１１により生成された区間画像データにおいて同一区間の過去の区間画像データからの変化点を変化点情報として特定する。変化点情報とは、車線数の増減、路面のペイントの変化等である。

路上情報データ生成部２０は、車載カメラ２２により生成された画像データから路上情報データを生成し、その生成した路上情報データと区間画像データとを対応付ける。路上情報データとは、区間画像データ内の路上にある物体に関する情報であり、横断歩道、停止線、交差点中心部のダイヤモンド図形等の座標位置、道路標識や信号機等の車線中心線からの相対位置及び路面からの高さ等に関する情報である。

データ送信部２１は、区間画像データ保存部１８に保存されている区間画像データをサーバ３に送信する。尚、データ送信部２１は、区間画像データをサーバ３に送信する際には、白線認識部１３により認識された区間画像データ内の白線の認識結果、絶対位置特定部１６により特定された区間画像データ内の車線中心線の絶対位置、評価結果付与部１６により付与された評価結果、変化点情報特定部１９により特定された変化点情報をサーバ３に送信する。又、データ送信部２１は、路上情報データ生成部２０により生成された路上情報データをサーバ３に送信する。

次に、上記した構成の作用について図３から図１６を参照して説明する。
車両用画像データ生成装置２は、区間画像データ生成プログラムを実行することで区間画像データ生成処理を実行する。車両用画像データ生成装置２は、区間画像データ生成処理の開始イベントが成立すると、区間画像データ生成処理を開始し、車載カメラ２２により時系列で生成された複数の画像データを車両の推測軌跡の座標点にしたがって配列する（Ｓ１）。車両用画像データ生成装置２は、図４に示すように、車載カメラ２２により生成された画像データを一定時間の間隔でオルソ変換した複数の画像データを車両の推測軌跡の座標点にしたがって配列する。この場合、車両用画像データ生成装置２は、車両の進行方向を例えば上向きとして複数の画像データを配列する。

次に、車両用画像データ生成装置２は、配列した複数の画像データを路面のペイントにしたがって連結し、連結画像データを生成する（Ｓ２）。車両用画像データ生成装置２は、図５に示すように、複数の画像データを例えば実線の白線や破線の白線が揃うように連結し、連結画像データを生成する。尚、車両用画像データ生成装置２は、複数の画像データを白線以外の路面のペイントの指標にしたがって連結し、連結画像データを生成しても良い。

次に、車両用画像データ生成装置２は、生成した連結画像データを路面のペイント又はナビゲーション用地図データにしたがって区間毎に分割し、区間画像データを生成する（Ｓ３）。車両用画像データ生成装置２は、図６に示すように、連結画像データを例えば白線の切れ目やナビゲーション地図データのノード位置や車線変更に関する情報等により区間毎に分割し、区間画像データを生成する。尚、車両用画像データ生成装置２は、連結画像データを白線の切れ目以外の路面のペイントの指標にしたがって区間毎に分割し、区間画像データを生成しても良い。ステップＳ１〜Ｓ３は区間画像データ生成手順に相当する。

次に、車両用画像データ生成装置２は、生成した区間画像データ内の影の輝度調整を行い、区間画像データ内の不要物体を除去する（Ｓ４）。車両用画像データ生成装置２は、図７に示すように、例えば区間画像データＡに駐停車している車両が存在する場合には、その区間画像データＡと同一区間の複数の区間画像データＢ，Ｃを適用し、区間画像データＡ〜Ｃを重ね合わせて画像処理することで、区間画像データＡの車両を除去し、車両を除去した区間画像データＸを生成する。

次に、車両用画像データ生成装置２は、生成した区間画像データ内の白線を認識する（Ｓ５）。車両用画像データ生成装置２は、図８に示すように、例えば車両の進行方向に対して右側の区画線が破線の白線であると認識し、左側の区画線が実線の白線であると認識する。

次に、車両用画像データ生成装置２は、区間画像データ内の白線の認識結果から当該区間画像データ内の車線中心線を特定する（Ｓ６）。車両用画像データ生成装置２は、図９に示すように、区間画像データ内の破線の白線と実線の白線との中間位置に車線中心線を特定する。

次に、車両用画像データ生成装置２は、車両のＧＰＳ軌跡を用いて車両の進行方向を特定し、ナビゲーション用地図データの道路中心線及び車両の走行軌跡のうち少なくとも何れかと車両の進行方向とを照合し、特定した区間画像データ内の車線中心線の仮位置を特定する（Ｓ７）。車両用画像データ生成装置２は、図１０に示すように、左側通行の道路交通システムを実施している地域であれば、車両の進行方向に対して道路中心線が右側となるように車線中心線の仮位置を特定する。車両用画像データ生成装置２は、例えばナビゲーション用地図データの道路中心線が北東方向と南西方向とを結ぶように設定されていれば、同じく北東方向と南西方向とを結ぶように車線中心線の仮位置を特定する。尚、車両用画像データ生成装置２は、右側通行の道路交通システムを実施している地域であれば、車両の進行方向に対して道路中心線が左側となるように車線中心線の仮位置を特定する。

次に、車両用画像データ生成装置２は、ナビゲーション用地図データと白線認識部１３による白線の認識結果とを照合し、仮位置が特定された区間画像データ内の車線中心線の絶対位置を特定する（Ｓ８）。車両用画像データ生成装置２は、図１１から図１３に示すように、例えば３車線の道路において、それぞれの車線の属性が規定されていれば、その規定されている属性にしたがって車線中心線の絶対位置を特定する。即ち、車両用画像データ生成装置２は、ナビゲーション用地図データから全車線数が「３」であると判定し、左側区画線が「実線の白線」であり且つ右側区画線が「破線の白線」であると判定すると、その車線中心線の絶対位置を３車線のうちの左側車線である「車線１」内に特定する。同様に、車両用画像データ生成装置２は、ナビゲーション用地図データから全車線数が「３」であると判定し、左側区画線が「破線の白線」であり且つ右側区画線が「破線の白線」であると判定すると、その車線中心線の絶対位置を３車線のうちの中央車線である「車線２」内に特定する。又、車両用画像データ生成装置２は、ナビゲーション用地図データから全車線数が「３」であると判定し、左側区画線が「破線の白線」であり且つ右側区画線が「実線の白線」であると判定すると、その車線中心線の絶対位置を３車線のうちの右側車線である「車線３」内に特定する。

次に、車両用画像データ生成装置２は、生成した区間画像データ対して評価結果を付与し（Ｓ９）、生成した区間画像データと、その区間画像データに対して付与した評価結果とを対応付けて保存する（Ｓ１０）。車両用画像データ生成装置２は、保存しようとする区間画像データと同一区間の区間画像データを既に保存している場合には、その保存しようとする区間画像データに対して付与した評価結果と、既に保存している区間画像データに対して付与した評価結果とを照合し、評価結果が高い方のみを保存する。

次に、車両用画像データ生成装置２は、区間画像データにおいて同一区間の過去の区間画像データからの変化点を変化点情報として特定する（Ｓ１１）。次に、車両用画像データ生成装置２は、車載カメラ２２により生成された画像データから路上情報データを生成し、その生成した路上情報データと区間画像データとを対応付ける（Ｓ１２）。車両用画像データ生成装置２は、図１４に示すように、区間画像データ内において、横断歩道や停止線等の座標位置、道路標識や信号機等の車線中心線からの相対位置及び路面からの高さ等を路上情報データとして生成し、その生成した路上情報データと区間画像データとを対応付ける。図１４の例示では、車両用画像データ生成装置２は、例えば区間画像データの左上端点を基準座標（０，０）とし、横断歩道や停止線がペイントされている範囲を示す座標位置を路上情報データとして特定する。又、車両用画像データ生成装置２は、例えば速度制限が４０キロの道路標識が立設されている地点（Ｐ１）を示す車線中心線からの相対位置や当該道路標識の路面からの高さを路上情報データとして特定する。尚、図１４の例示では、速度制限が４０キロの道路標識の地点（Ｐ１）が区間画像データ内に存在している場合を説明したが、信号機の地点（Ｐ２）が区間画像データ内に存在していれば、車両用画像データ生成装置２は、信号機が立設されている地点（Ｐ２）を示す車線中心線からの相対位置や当該信号機の路面からの高さを路上情報データとして特定する。

そして、車両用画像データ生成装置２は、保存している区間画像データをサーバ３に送信する（Ｓ１３、区間画像データ送信手順に相当する）。このとき、車両用画像データ生成装置２は、区間画像データと共に、白線認識部１３により認識された区間画像データ内の白線の認識結果、絶対位置特定部１６により特定された区間画像データ内の車線中心線の絶対位置、評価結果付与部１６により付与された評価結果、変化点情報特定部１９により特定された変化点情報もサーバ３に送信する。

尚、以上は、区間画像データの単位として３車線のうちの左側車線について説明したが、区間画像データの単位はどのような単位でも良い。即ち、図１５及び図１６に示すように、３車線のうちの中央車線や右側車線でも良いし、それぞれの交差点内の車線でも良い。

以上に説明したように本実施形態によれば、次に示す効果を得ることができる。
車両用画像データ生成装置２において、車載カメラ２２により生成された画像データをそのままサーバ３に送信するのではなく、画像データから区間毎の区間画像データを生成し、その生成した区間画像データをサーバ３に送信するようにした。これにより、自動運転用の走行軌道データを生成するサーバ３に対して車両側から送信されるデータ量を抑えてデータ量の増大により想定される様々な問題を適切に回避しつつ、自動運転用の走行軌道データを生成するのに有効なデータをサーバ３に適切に送信することができる。

即ち、サーバ３では、基盤地図データ、航空写真データ及びナビゲーション用地図データを画像認識することに加え、車両用画像データ生成装置２から受信した区間画像データも画像認識することで、基盤地図データ等からでは区画線を認識することが困難な範囲を、車両側から受信した区間画像データにより補完して走行軌道データを生成することができ、自動運転用の走行軌道データを適切に生成することができる。

又、区間画像データ内の影の輝度調整を行い、区間画像データ内の不要物体を除去するようにした。これにより、不要物体を除去した区間画像データをサーバ３に送信することができ、不要物体を除去する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。

又、区間画像データ内の白線を認識し、区間画像データをサーバ３に送信する際に、区間画像データ内の白線の認識結果をサーバ３に送信するようにした。これにより、区間画像データ内の白線の認識結果をサーバ３に送信することができ、区間画像データ内の白線を認識する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。

又、区間画像データ内の車線中心線を特定し、車線中心線の仮位置を特定し、車線中心線の絶対位置を特定し、区間画像データをサーバ３に送信する際に、区間画像データ内の車線中心線の絶対位置をサーバ３に送信するようにした。これにより、区間画像データ内の車線中心線の絶対位置をサーバ３に送信することができ、区間画像データ内の車線中心線を特定する処理、車線中心線の仮位置を特定する処理及び車線中心線の絶対位置を特定する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。

又、区間画像データに対して評価結果を付与し、区間画像データをサーバ３に送信する際に、評価結果をサーバ３に送信するようにした。これにより、評価結果をサーバ３に送信することができ、区間画像データに対して評価結果を付与する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。

又、変化点情報を特定し、区間画像データをサーバ３に送信する際に、変化点情報をサーバ３に送信するようにした。これにより、変化点情報をサーバ３に送信することができ、変化点情報を特定する処理をサーバ３に負担させることがなく、サーバ３の負荷を軽減することができる。

又、路上情報データを生成し、その生成した路上情報データをサーバ３に送信するようにした。これにより、区間画像データと路上情報データとを対応付けてサーバ３に送信することができる。即ち、サーバ３では、車両用画像データ生成装置２から受信した区間画像データと路上情報データとを対応付けて管理することができ、路上情報データを活用することで、自動運転用の走行軌道データに付加価値を付与することができる。

本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形を包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態を、本開示の範疇や思想範囲に入るものである。

区間画像データ内の不要物体を除去する処理、区間画像データ内の白線を認識する処理、区間画像データ内の車線中心線を特定する処理、車線中心線の仮位置を特定する処理、車線中心線の絶対位置を特定する処理、区間画像データに対して評価結果を付与する処理、変化点情報を特定する処理を、車両用画像データ生成装置２が行う構成を例示したが、これらの処理をサーバ３が行う構成でも良い。即ち、これらの処理を車両用画像データ生成装置２とサーバ３とが適宜分担して行う構成でも良い。

図面中、１は走行軌道データ生成システム、２は車両用画像データ生成装置、３はサーバ、１１は区間画像データ生成部、１１ａは画像データ配列部、１１ｂは画像データ連結部、１１ｃは画像データ分割部、１２は不要物体除去部、１３は白線認識部、１４は車線中心線特定部、１５は仮位置特定部、１６は絶対位置特定部、１７は評価結果付与部、１８は区間画像データ保存部、１９は変化点情報特定部、２０は路上情報データ生成部、２１はデータ送信部である。

Claims

基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラにより生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバ（３）との間でデータ通信する車両用画像データ生成装置（２）であって、
前記車載カメラにより生成された画像データから区間毎の画像データを区間画像データとして生成する区間画像データ生成部（１１）と、
前記区間画像データ生成部により生成された区間画像データを前記サーバに送信するデータ送信部（２１）と、を備える車両用画像データ生成装置。
前記区間画像データ生成部は、
車載カメラにより時系列で撮影された複数の画像データを車両の推測軌跡の座標点にしたがって配列する画像データ配列部（１１ａ）と、
前記画像データ配列部により配列された複数の画像データを路面のペイントにしたがって連結し、連結画像データを生成する画像データ連結部（１１ｂ）と、
前記画像データ連結部により生成された連結画像データを路面のペイント又はナビゲーション用地図データにしたがって区間毎に分割し、区間画像データを生成する画像データ分割部（１１ｃ）と、を備える請求項１に記載した車両用画像データ生成装置。
前記区間画像データ生成部により生成された区間画像データ内の影の輝度調整を行い、区間画像データ内の不要物体を除去する不要物体除去部（１２）を備える請求項１又は２に記載した車両用画像データ生成装置。
前記区間画像データ生成部により生成された区間画像データ内の白線を認識する白線認識部（１３）を備え、
前記データ送信部は、区間画像データを前記サーバに送信する際に、前記白線認識部により認識された区間画像データ内の白線の認識結果を前記サーバに送信する請求項１から３の何れか一項に記載した車両用画像データ生成装置。
前記白線認識部による白線の認識結果から区間画像データ内の車線中心線を特定する車線中心線特定部（１４）を備える請求項１から４の何れか一項に記載した車両用画像データ生成装置。
ナビゲーション用地図データの道路中心線及び車両の走行軌跡のうち少なくとも何れかと車両の進行方向とを照合し、区間画像データ内の車線中心線の仮位置を特定する仮位置特定部（１５）を備える請求項５に記載した車両用画像データ生成装置。
ナビゲーション用地図データと区間画像データ内の白線の認識結果とを照合し、仮位置が特定された区間画像データ内の車線中心線の絶対位置を特定する絶対位置特定部（１６）を備え、
前記データ送信部は、区間画像データを前記サーバに送信する際に、前記絶対位置特定部により特定された区間画像データ内の車線中心線の絶対位置を前記サーバに送信する請求項６に記載した車両用画像データ生成装置。
前記区間画像データ生成部により生成された区間画像データに対して評価結果を付与する評価結果付与部（１７）を備える請求項１から７の何れか一項に記載した車両用画像データ生成装置。
前記区間画像データ生成部により生成された区間画像データを保存する区間画像データ保存部（１８）を備え、
前記区間画像データ保存部は、区間画像データと、その区間画像データに対して前記評価結果付与部により付与された評価結果とを対応付けて保存し、
前記データ送信部は、区間画像データを前記サーバに送信する際に、その区間画像データに対応付けられて前記区間画像データ保存部に保存されている評価結果を前記サーバに送信する請求項８に記載した車両用画像データ生成装置。
前記区間画像データ保存部は、同一区間の複数の区間画像データのうち最良の評価結果が付与されている区間画像データと、その区間画像データに対して前記評価結果付与部により付与された評価結果とを対応付けて保存する請求項９に記載した車両用画像データ生成装置。
前記区間画像データ生成部により生成された区間画像データにおいて同一区間の過去の区間画像データからの変化点を変化点情報として特定する変化点情報特定部（１９）を備え、
前記データ送信部は、区間画像データを前記サーバに送信する際に、前記変化点情報特定部により特定された変化点情報を前記サーバに送信する請求項１から１０の何れか一項に記載した車両用画像データ生成装置。
前記車載カメラにより生成された画像データから路上情報データを生成する路上情報データ生成部（２０）を備え、
前記データ送信部は、区間画像データを前記サーバに送信する際に、前記路上情報データ作成部により作成された路上情報データを前記サーバに送信する請求項１から１１の何れか一項に記載した車両用画像データ生成装置。
請求項１から１２の何れか一項に記載した車両用画像データ生成装置と、
基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラにより生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバ（３）と、を備える走行軌道データ生成システム。
基盤地図データ、航空写真データ及びナビゲーション用地図データのうち少なくとも何れかを画像認識すると共に、車載カメラにより生成された画像データを画像認識し、自動運転用の走行軌道データを生成するサーバ（３）との間でデータ通信する車両用画像データ生成装置（２）に、
前記車載カメラにより生成された画像データから区間毎の画像データを区間画像データとして生成する区間画像データ生成手順と、
前記区間画像データ生成手順により生成した区間画像データを前記サーバに送信させる区間画像データ送信手順と、を実行させる区間画像データ生成プログラム。
請求項１４に記載した区間画像データ生成プログラムを記憶するコンピュータ読み取り可能な非一時的な記憶媒体。