JP2021117048A - 変化点検出装置及び地図情報配信システム - Google Patents

Abstract

【課題】道路またはその周囲の構造物に関して、高精度地図の作成時から何らかの変化点が生じた地点を特定する。【解決手段】変化点検出装置（プロセッサ１６０）は、道路上及び道路周囲の走行条件に関連する構造物を表す地図情報を記憶するメモリ１７０と、車両１００に搭載された車載カメラ１１０により得られた車両１００の周囲の環境を表す画像から、構造物を隠蔽する遮蔽物体２０を検出する物体検出部１６２と、地図情報において遮蔽物体２０により隠蔽される構造物を除いて、画像と地図情報とを照合し、画像と地図情報との一致度を算出する照合部１６３と、一致度が所定の閾値以下である場合、画像に表された構造物に地図情報に表された対応する構造物と異なる変化点があると判定する変化点検出部１６４と、を有する。【選択図】図４

Description

本発明は、変化点検出装置及び地図情報配信システムに関する。

交通情報管理システムに関し、第１自動車が範囲外経路を走行するときに収集されたその範囲外経路の走行情報が、第１自動車からネットワークを介してセンターに逐次収集され、第１自動車が通行した範囲外経路の交通情報が作成された上で管理され、管理されているその交通情報が、ネットワークを介して第２自動車に送信される技術が公知である（例えば、特許文献１を参照）。

特開２００４−２４５７５８号公報

自動運転の実用化に向けて、高精度地図の利用が想定されている。自動運転に利用される高精度地図には、車線区画線などの道路標示、道路標識及び信号機などの情報が含まれる。自動運転にて走行する車両（自動運転車両）は、自車に搭載された車載カメラにより得られた自車周囲の画像と高精度地図とをマッチングすることで、自車の位置を正確に推定するとともに、走行中の車線を特定する。

しかし、自動運転車両が走行中の道路またはその周囲の構造物に関して、高精度地図の作成時から何らかの変化があり、高精度地図と自車周囲の画像とが一致しない場合、自動運転制御に不調をきたすことがある。

そこで、本発明は、道路またはその周囲の構造物に関して、高精度地図の作成時から何らかの変化点が生じた地点を特定することを目的とする。

一つの実施形態によれば、変化点検出装置が提供される。この変化点検出装置は、道路上及び道路周囲の走行条件に関連する構造物を表す地図情報を記憶する記憶部と、車両に搭載された撮像部により得られた車両の周囲を表す画像から、構造物を隠蔽する物体を検出する検出部と、地図情報において物体により隠蔽される構造物を除いて、画像と地図情報とを照合し、画像と地図情報との一致度を算出する照合部と、一致度が所定の閾値以下である場合、画像に表された構造物に地図情報に表された対応する構造物と異なる変化点があると判定する変化点検出部と、を有する。

この変化点検出装置において、変化点検出部は、画像が得られたときの車両の周囲の環境の状況を表す情報、画像上での物体が表された領域のサイズまたは構造物のサイズに基づいて、画像から構造物を判別可能か否かを判定し、画像から構造物を判別可能と判定した場合に限り、変化点があると判定することが好ましい。

この変化点検出装置において、照合部は、画像を分割して得られる複数の部分画像のそれぞれについて、当該部分画像と地図情報の当該部分画像に対応する部分領域とを照合し、部分画像と地図情報の部分領域との部分一致度を算出し、変化点検出部は、一致度が所定の閾値を超えており、且つ、複数の部分画像のいずれかについての部分一致度が所定の部分一致度閾値以下である場合に、当該部分画像に表された構造物と地図情報の当該部分画像に対応する部分領域に表された構造物との間に、変化点があると判定することが好ましい。

この変化点検出装置は、変化点に基づいて、地図情報を更新する地図情報更新部を更に有する。

他の実施形態によれば、地図情報配信システムが提供される。この地図情報配信システムは、複数の車両と、複数の車両のそれぞれと通信可能なサーバとを有する地図情報配信システムであって、複数の車両のそれぞれは変化点検出装置を有し、変化点検出装置は、道路上及び道路周囲の走行条件に関連する構造物を表す地図情報を記憶する記憶部と、車両に搭載された撮像部により得られた車両の周囲の環境を表す画像から、構造物を隠蔽する物体を検出する検出部と、地図情報において物体により隠蔽される構造物を除いて、画像と地図情報とを照合し、画像と地図情報との一致度を算出する照合部と、一致度が所定の閾値以下である場合、画像に表された構造物に地図情報に表された対応する構造物と異なる変化点があると判定する変化点検出部と、変化点検出部により変化点があると判定された場合に、サーバへ変化点の情報を送信する送信部と、を有し、サーバは、複数の車両のいずれかから変化点の情報を受信すると、他の車両へ変化点の情報を送信する。

本発明に係る変化点検出装置は、道路またはその周囲の構造物に関して、高精度地図の作成時から何らかの変化点が生じた地点を特定できるという効果を奏する。

一つの実施形態による変化点検出装置が実装された地図情報配信システムの構成を示す模式図である。 車両に搭載されている車両制御システムの構成を示す模式図である。 サーバの構成を示す模式図である。 プロセッサの変化点検出処理に関する機能ブロックを示す模式図である。 地図情報が更新される例を示す模式図である。 車載カメラが撮影して得られた画像に遮蔽物体が写り込んでいる状態を示す模式図である。 区画線の掠れを検出する手法の一例を示す模式図である。 ＥＣＵのプロセッサが行う変化点検出処理を示すフローチャートである。

以下、図を参照しつつ、変化点検出装置について説明する。変化点検出装置は、例えば、車載カメラにより得られた車両の周囲の環境を表す画像と地図情報とを照合し、地図情報に表された走行条件に関連する構造物と実際の構造物との間の変化点を検出する。

ところで、画像と地図情報とを照合する際に、画像の中に構造物を隠蔽する物体（以下、遮蔽物体とも称する）が含まれている場合がある。この場合、画像と地図情報とを照合した結果、変化点が誤って検出されてしまう可能性がある。本実施形態では、画像の中に遮蔽物体が検出されると、遮蔽物体によって隠蔽される構造物が地図情報における照合対象から除かれた上で、画像と地図情報とが照合される。このような処理が行われることで、遮蔽物体によって隠蔽されていない構造物について、画像と地図情報とが照合されるため、それらの構造物について変化点が正しく検出されることになる。そして、遮蔽物体によって隠蔽された構造物については、変化点が検出されないため、変化点が誤って検出されてしまうことが抑制される。

図１は、一つの実施形態による変化点検出装置が実装された地図情報配信システム１０００の構成を示す模式図である。この地図情報配信システム１０００は、自律走行可能な自動運転車両の一例である複数の車両１００と、サーバ３００とを有する。各車両１００とサーバ３００とは、光通信回線などで構成される通信ネットワーク４００及び通信ネットワーク４００とゲートウェイ（図示せず）を介して接続される無線基地局５００を介して互いに通信可能となっている。すなわち、無線基地局５００は、各車両１００とサーバ３００間の通信を中継する。一例として、変化点検出装置は、車両１００に実装されている。地図情報配信システム１０００では、変化点に基づいて地図情報が最新の情報に更新される。なお、本実施形態では、各車両１００は、変化点検出処理に関して同じ構成を有し、サーバ３００は、各車両１００に対して同じ処理を適用するので、以下では、特に必要が無い限り、１台の車両１００について説明する。

サーバ３００は、管理センターに備えられている。管理センターは、サーバ３００を用いて、複数の車両１００に地図情報などの各種情報を提供する。また、管理センターは、サーバ３００を用いて、各車両１００が検出した変化点に関する情報を収集し、変化点に関する情報、または更新された地図情報を各車両１００に配信する。管理センターは、これら以外にも、サーバ３００を用いて各車両１００を制御するための各種処理を行う。

図２は、車両１００に搭載されている車両制御システムの構成を示す模式図である。車両制御システムは、車載カメラ１１０と、測位情報受信機１２０と、環境情報取得部１３０と、無線端末１４０と、電子制御装置（ＥＣＵ：Electronic Control Unit）１５０と、を有している。ＥＣＵ１５０は、変化点検出装置の一例である。車載カメラ１１０と、測位情報受信機１２０と、環境情報取得部１３０と、無線端末１４０と、ＥＣＵ１５０のそれぞれは、コントローラエリアネットワーク（Controller Area Network (CAN)）、イーサネット（Ethernet）といった規格に準拠した車内ネットワークを介して通信可能に接続される。

車載カメラ１１０は、撮像部の一例であり、ＣＣＤあるいはＣ−ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。車載カメラ１１０は、車両内部のダッシュボード、またはフロントガラスの近辺等に設けられ、所定の撮影周期（例えば１／３０秒〜１／１０秒）ごとに車両１００の周囲（例えば、車両１００の前方）を撮影し、車両１００の周囲の環境を表す画像を生成する。車載カメラ１１０により得られた画像は、カラー画像であることが好ましい。また、車載カメラ１１０は、ステレオカメラから構成されていてもよく、左右画像の視差から画像上の各構造物までの距離を取得するように構成されていてもよい。車載カメラ１１０は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ１５０へ出力する。

測位情報受信機１２０は、車両１００の現在位置及び姿勢を表す測位情報を取得する。例えば、測位情報受信機１２０は、ＧＰＳ(Global Positioning System)受信機とすることができる。そして、測位情報受信機１２０は、測位情報を受信する度に、取得した測位情報を、車内ネットワークを介してＥＣＵ１５０へ出力する。

環境情報取得部１３０は、主に車両１００の周囲の環境を表す情報（以下、環境情報と称する）を取得する。環境情報取得部１３０は、外気温センサ、車両１００の外部の照度を検出する照度センサ、車両１００の外部の降雨量を検出する降雨センサ、等を含む。

なお、環境情報は、これらのセンサが検出する検出値以外にも、アンチロックブレーキシステム（ＡＶＳ：Anti-lock Braking System）、車両安定制御システム（ＶＳＣ：Vehicle Stability Control）、トラクションコントロールシステム（ＴＲＣ：Traction Control System）など、車両安定制御に関わる制御値を含む。なお、これらの車両安定制御では、車輪速センサ、ブレーキ油圧センサ等が検出した検出値が用いられる。また、環境情報は、車両１００のワイパーの動作状態を示す制御値、ヘッドランプの指示信号の設定値（ハイビーム、ロービームのいずれかを示す設定値）なども含む。更に、環境情報は、画像認識（機械学習によるものを含む）による気象状況または路面状況の判定値を含むものであってもよい。これらの、検出値、制御値、設定値、判定値などは、車両１００の周囲の環境に関連して変化する値であり、環境情報取得部１３０は、これらの値を取得する。したがって、環境情報取得部１３０は、上述したセンサ以外に、例えばＥＣＵ１５０とは別に設けられたＥＣＵ、あるいはＥＣＵ１５０自体であってもよい。環境情報取得部１３０は、取得した環境情報を、車内ネットワークを介してＥＣＵ１５０へ出力する。

無線端末１４０は、例えば、アンテナと、無線信号の変調及び復調といった、無線通信に関連する各種の処理を実行する信号処理回路とを有する。そして無線端末１４０は、無線基地局５００からダウンリンクの無線信号を受信し、また、アップリンクの無線信号を無線基地局５００へ送信する。すなわち、無線端末１４０は、無線基地局５００から受信したダウンリンクの無線信号から、サーバ３００から車両１００へ伝送される信号（例えば、地図情報、変化点の情報、後述するブラックリストの情報等）を取り出してＥＣＵ１５０へわたす。また無線端末１４０は、ＥＣＵ１５０から受け取ったサーバ３００へ送信される信号（例えば、車両１００の現在位置及び姿勢、変化点に関する情報、車載カメラ１１０が撮影した画像、画像と地図情報を重畳した重畳画像、環境情報など）を含むアップリンクの無線信号を生成し、その無線信号を送信する。

ＥＣＵ１５０は、プロセッサ１６０と、メモリ１７０と、通信インターフェース１８０とを有する。プロセッサ１６０は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１６０は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。メモリ１７０は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。メモリ１７０には、地図情報、車載カメラ１１０の内部パラメータなどの情報が記憶されている。地図情報は、車両が走行する道路上及び道路周囲の走行条件に関連する構造物（以下、単に構造物と称する）を表す情報であり、これらの構造物の３次元的な位置情報を含む。なお、構造物は、例えば路面上に描画された車線区画線または道路境界線といった道路標示、道路標識、信号機、道路端の縁石または壁、道路に近接する建物などを含む。内部パラメータは、車両１００における車載カメラ１１０の取付位置、車両１００に対する車載カメラ１１０の姿勢、車載カメラ１１０の焦点距離等を含む。通信インターフェース１８０は、ＥＣＵ１５０を車内ネットワークに接続するためのインターフェース回路を有する。なお、ＥＣＵ１５０による変化点検出処理については、後述する。

図３は、サーバ３００の構成を示す模式図である。サーバ３００は、制御装置３１０と、ストレージ装置３２０と、を有している。

制御装置３１０は、プロセッサ３１２と、メモリ３１４と、通信インターフェース３１６とを有する。プロセッサ３１２は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ３１２は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。メモリ３１４は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。通信インターフェース３１６は、制御装置３１０をサーバ３００内のネットワーク、または通信ネットワーク４００に接続するためのインターフェース回路を有する。通信インターフェース３１６は、車両１００と、通信ネットワーク４００及び無線基地局５００を介して通信可能に構成される。すなわち、通信インターフェース３１６は、車両１００から無線基地局５００及び通信ネットワーク４００を介して受信した、情報をプロセッサ３１２へわたす。また、通信インターフェース３１６は、プロセッサ３１２から受け取った情報を、通信ネットワーク４００及び無線基地局５００を介して車両１００へ送信する。

ストレージ装置３２０は、記憶部の一例であり、例えば、ハードディスク装置または光記録媒体及びそのアクセス装置を有する。そして、ストレージ装置３２０は、地図情報を記憶している。また、ストレージ装置３２０は、地図情報配信システム１０００により利用される各種情報を記憶している。さらに、ストレージ装置３２０は、プロセッサ３１２上で実行される処理を実行するためのコンピュータプログラムを記憶してもよい。なお、ストレージ装置３２０は、ハードディスクドライブ等から構成される。サーバ３００側で行われる処理については、後述する。

以下、変化点検出処理の詳細について説明する。図４は、プロセッサ１６０の変化点検出処理に関する機能ブロックを示す模式図である。プロセッサ１６０は、投影部１６１と、物体検出部１６２と、照合部１６３と、変化点検出部１６４と、地図情報更新部１６５と、送信部１６６と、を有している。プロセッサ１６０が有するこれらの各部は、例えば、プロセッサ１６０上で動作するコンピュータプログラムにより実現される機能モジュールである。つまり、プロセッサ１６０が有するこれらの各部は、プロセッサ１６０とこれを機能させるためのプログラム（ソフトウェア）から構成される。また、そのプログラムは、ＥＣＵ１５０が備えるメモリ１７０または外部から接続される記録媒体に記録されていてもよい。あるいは、プロセッサ１６０が有するこれらの各部は、プロセッサ１６０に設けられる専用の演算回路であってもよい。

プロセッサ１６０は、図４に示す構成により、車載カメラ１１０から取得した画像と地図情報とを照合し、画像と地図情報との間の一致度を算出する。そして、プロセッサ１６０は、一致度が所定の閾値以下の場合に変化点を検出する。地図情報に表された構造物に対して実際の構造物が変化した場合は、画像と地図情報を照合すると変化点が検出される。この場合、実際の構造物の変化を地図情報に反映させるため、地図情報が更新される。

図５は、地図情報が更新される例を示す模式図である。ここでは、構造物が変化した例として、道路１０に設けられた分岐路１２と道路１０とを区画する区画線１４、路肩と道路１０の境界または中央分離帯と道路１０との境界を示す道路境界線１７、道路１０の左側の壁１８などの構造物が変化した場合を例に挙げて説明する。

図５は、片側２車線の道路１０を車両１００が走行した際に、車載カメラ１１０が車両前方を撮影して生成した画像を示している。左右に示す画像は、車両１００の位置および姿勢、内部パラメータが同一の条件で撮影されたものであるが、撮影したタイミングが異なっている。図５の左側の画像では、２車線の道路１０の左側に分岐路１２が存在し、道路１０の車線と分岐路１２との境界に沿って区画線１４が存在している。道路１０を走行する車両１００は、区画線１４を跨いで分岐路１２へ進入することで、道路１０とは異なる方向へ進むことができる。なお、道路１０は、区画線１６によって２車線に区画されている。

一方、図５の右側の画像は、分岐路１２が廃止され、区画線１４が無くなった後に撮影されたものである。図５の左側の画像では、分岐路１２が廃止されたことに伴い、路肩と道路１０の境界を示す道路境界線１７、壁１８の形状も変化している。

地図情報には、図５に示す分岐路１２、区画線１４，１６、道路１０の左側の壁１８などの構造物の他にも、道路標識、信号機などの構造物の３次元的な位置が、例えば世界座標系により特徴点群の座標として表されている。

分岐路１２、区画線１４などの構造物が無くなった直後は、地図情報に分岐路１２や区画線１４などの構造物の情報が依然として表されている。このため、地図情報を参照した車両１００に対して誤った情報が与えられてしまい、地図情報を参照した車両制御システムは、分岐路１２、区画線１４などが依然として存在するものと認識してしまう。

一方、プロセッサ１６０は、車載カメラ１１０が撮影して生成した画像を取得する度に、画像と地図情報を逐次照合し、画像と地図情報との間の変化点を検出する。分岐路１２および区画線１４などの構造物が無くなった後に撮影された画像と、地図情報とが照合されると、変化点が検出される。変化点に基づいて地図情報が更新されることで、地図情報は、分岐路１２および区画線１４などの構造物が無くなったことが反映されたものとなる。

図６は、分岐路１２、区画線１４などの構造物が無くなった後に撮影された画像に遮蔽物体２０が写り込んでいる状態を示す模式図である。図６に示す例では、遮蔽物体２０は、先行車両である大型のバスであり、遮蔽物体２０によって、区画線１６、道路境界線１７、壁１８などの構造物の一部が隠蔽されている。分岐路１２および区画線１４などの構造物が無くなったことが地図情報に既に反映されていたとしても、遮蔽物体２０が画像中に写り込んでしまうと、画像と地図情報を照合した際に、両者の一致度が低く判定されてしまい、変化点があるものとして誤検出がなされてしまう。

このため、プロセッサ１６０は、図６に示す車載カメラ１１０の画像から構造物を隠蔽する遮蔽物体２０を検出し、画像と地図情報を照合する際に、地図情報に表された構造物のうち、遮蔽物体２０により隠蔽される構造物（図６の例では、遮蔽物体２０の裏側に隠れている区画線１６、道路境界線１７、壁１８など）を照合対象から除いて照合することで、画像と地図情報との一致度を算出する。そして、プロセッサ１６０は、一致度が所定の閾値以下である場合、画像に表された構造物に、地図情報に表された対応する構造物と異なる変化点があると判定する。

これにより、遮蔽物体２０により隠蔽される構造物については、変化点が検出されないため、構造物を隠蔽する遮蔽物体２０が存在する場合においても、変化点が正確に検出される。また、地図情報に表された、遮蔽物体２０により隠蔽される構造物について、これらの構造物の情報が誤って更新されることが抑制される。

以下では、プロセッサ１６０が行う処理について詳細に説明する。プロセッサ１６０は、車載カメラ１１０が上述の所定の撮影周期ごとに生成した画像、および測位情報受信機１２０が受信した車両１００の現在位置及び姿勢に関する測位情報を逐次取得する。

プロセッサ１６０の投影部１６１は、メモリ１７０に記憶された３次元の地図情報を車載カメラ１１０が生成した画像上に投影することで、地図情報を２次元の情報に変換する。この際、車両１００の現在位置及び姿勢と内部パラメータに基づいて、地図情報に表された構造物が、画像上に投影される。より詳細には、投影部１６１は、車両１００の位置及び姿勢を仮定して、地図情報に表された車両１００の周囲の構造物を車載カメラ１１０が生成した画像上に投影する。例えば、投影部１６１は、測位情報受信機１２０から受信した最新の測位情報で表される車両１００の位置、及び、直近の複数の測位情報から求められる車両１００の進行方向に相当する車両１００の姿勢を、車両１００の仮定位置及び仮定姿勢とする。投影部１６１は、その仮定位置及び仮定姿勢と、内部パラメータに従って、世界座標系から、車載カメラ１１０の位置を原点とし、車載カメラ１１０の光軸方向を一つの軸方向とするカメラ座標系への変換式を求める。そのような変換式は、座標系間の回転を表す回転行列と座標系間の平行移動を表す並進ベクトルの組み合わせで表される。そして投影部１６１は、その変換式に従って、地図情報に含まれる、世界座標系で表された車両１００の周囲の道路上の構造物の座標を、カメラ座標系の座標に変換する。そして投影部１６１は、内部パラメータに基づいて、カメラ座標系の座標に変換された構造物を画像上に投影する。これにより、車載カメラ１１０により得られた画像に対し、地図情報に表された構造物が重畳された重畳画像が生成される。

なお、投影部１６１は、車両１００の仮定位置及び仮定姿勢と、内部パラメータに基づいて、地図情報により表された構造物のうち車載カメラ１１０で撮影可能な領域を特定し、特定した構造物のみをカメラ座標系に変換するようにしてもよい。例えば、車載カメラ１１０の位置を原点とし、車載カメラ１１０の画角（焦点距離）によって定まる領域が撮影可能な領域とされる。これにより、車載カメラ１１０が撮影できない範囲が除かれて座標変換、投影が行われるため、投影部１６１による処理負荷が軽減される。

物体検出部１６２は、車載カメラ１１０により生成された画像から、車両１００の周囲の構造物を検出する。例えば、物体検出部１６２は、画像を識別器に入力することで、画像に表された構造物を検出する。物体検出部１６２は、識別器として、例えば、入力された画像から、その画像の各画素について、その画素に表される可能性の有る物体の種類ごとに、その物体がその画素に表されている確からしさを出力し、確からしさが最大となる物体が表されていると識別するように予め学習されたセグメンテーション用の識別器を用いることができる。物体検出部１６２は、そのような識別器として、例えば、Fully Convolutional Network（ＦＣＮ）といった、セグメンテーション用のコンボリューショナルニューラルネットワーク型（ＣＮＮ）のアーキテクチャを有するディープニューラルネットワーク（ＤＮＮ）を用いることができる。あるいは、物体検出部１６２は、ランダムフォレストあるいはサポートベクトルマシンといった他の機械学習手法に従ったセグメンテーション用の識別器を利用してもよい。この場合、物体検出部１６２は、画像をセグメンテーション用の識別器に入力することで、その画像において構造物が写っている画素を特定する。そして物体検出部１６２は、同じ種類の構造物が写っている画像の集合をその構造物が表された領域とする。

あるいは、物体検出部１６２は、画像に対してSobelフィルタといったエッジ検出フィルタを適用して、画像からエッジが表されたエッジ画素を特徴点として検出してもよい。物体検出部１６２は、エッジ画素の集合に対してハフ変換を実行することで、画像から直線を検出してもよい。そして物体検出部１６２は、画像から検出された直線が車両１００の進行方向に沿って延伸されている場合に、その直線を、道路上の構造物の一例である車線区画線として検出してもよい。

また、物体検出部１６２は、画像を識別器に入力することで遮蔽物体２０を検出する。その際、物体検出部１６２は、構造物の検出に用いる識別器とは別個に、入力された画像から、その画像に表された遮蔽物体２０を検出するように予め学習された識別器を用いてもよい。物体検出部１６２は、そのような識別器として、例えば、Single Shot MultiBox Detector（ＳＳＤ）、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク型（ＣＮＮ）のアーキテクチャを持つＤＮＮを用いることができる。

また、物体検出部１６２は、検出した構造物が表された領域の画像に対して、エッジ検出処理を行うことで、構造物を表す特徴点を検出する。物体検出部１６２は、検出された構造物の種類、その構造物が表された領域を表す情報（例えば、その構造物が表された領域を示すビットマップ）、および特徴点を照合部１６３へ出力する。

照合部１６３は、車載カメラ１１０が生成した画像上に投影された、地図情報に表された構造物と、車載カメラ１１０が生成した画像から検出された構造物とを照合し、両者の一致度を算出する。この際、照合部１６３は、遮蔽物体２０により隠蔽される構造物を照合対象から除いた上で、地図情報に表された構造物と、車載カメラ１１０が生成した画像から検出された構造物とを照合する。

例えば、照合部１６３は、物体検出部１６２が画像から構造物の特徴点を検出している場合、画像の特徴点と地図情報の特徴点とが一致するかのマッチングを行い、重畳画像内において、特徴点の全数に対する一致した特徴点の数の割合を算出することで、地図情報に表された構造物と、車載カメラ１１０が生成した画像から検出された構造物との一致度を算出する。この場合、例えば一致度は以下の式から算出される。
一致度＝地図情報の特徴点のうち、画像から検出された特徴点の何れかまでの距離が所定値以下となるものの数／地図情報について設定された特徴点の総数

なお、照合部１６３は、構造物が表されたビットマップを物体検出部１６２から取得している場合、公知のテンプレートマッチングの手法により、地図情報に表された構造物と画像から検出された構造物との一致度を算出してもよい。

一致度を算出する際、照合部１６３は、物体検出部１６２により遮蔽物体２０が検出されると、地図情報に表された構造物のうち、遮蔽物体２０により隠蔽される構造物を照合対象から除く処理を行う。これにより、遮蔽物体２０で隠蔽される地図情報上の領域は、一致度の算出から除外される。

例えば、図６に示す車載カメラ１１０の画像の場合、物体検出部１６２により遮蔽物体２０として大型のバスが検出される。照合部１６３は、遮蔽物体２０により隠蔽される構造物（遮蔽物体２０の背後に隠れている道路１０、区画線１６、道路境界線１７、壁１８など）を照合対象から除く。そして、照合部１６３は、車載カメラ１１０により得られた画像と、遮蔽物体２０により隠蔽される構造物が除かれた地図情報とを照合することで、画像と地図情報の一致度を算出する。

その際、照合部１６３は、車載カメラ１１０の画像に対して地図情報に表された構造物が重畳された状態で、画像中に検出された遮蔽物体２０の領域に位置する構造物を照合対象から除くことで、遮蔽物体２０により隠蔽される構造物を照合対象から除くことができる。

なお、物体検出部１６２により検出された遮蔽物体２０の位置に誤差が含まれること等を考慮して、照合部１６３は、検出された遮蔽物体２０よりも広い領域に含まれる構造物を照合対象から除いてもよい。

投影部１６１は、仮定位置及び仮定姿勢を所定量ずつ変化させながら、複数の仮定位置及び仮定姿勢において、上記と同様の座標系変換、投影の各処理を実行する。照合部１６３は、一致度が最大となるときの仮定位置及び仮定姿勢を特定し、その仮定位置及び仮定姿勢を、車両１００の実際の位置及び姿勢として推定してもよい。なお、照合部１６３が推定した車両１００の実際の位置及び姿勢に対し、車輪速センサから得られる車両１００の移動量、角速度センサから得られる車両１００のヨー角の変化を適用して、照合部１６３が推定した値が補正されてもよい。このようにして推定された車両１００の実際の位置及び姿勢は、車両１００の自動運転に用いられ得る。すなわち、車両１００の制御システムは、推定された車両１００の実際の位置及び姿勢に基づいて、地図情報を参照しながらアクセル、ブレーキ、操舵を制御することで、車両１００が所望の経路を走行するように自動運転を行うことができる。

照合部１６３が算出した一致度は、変化点検出部１６４へ送られる。変化点検出部１６４は、一致度と所定の閾値とを比較する。なお、照合部１６３は、車両１００の実際の位置及び姿勢を推定しながら、複数の仮定位置及び仮定姿勢のそれぞれについて、地図情報に表された構造物と画像から検出された構造物との一致度を算出し、一致度の最大値を求めてもよい。この場合、一致度の最大値が変化点検出部１６４へ送られ、変化点検出部１６４は、一致度の最大値と所定の閾値とを比較する。

変化点検出部１６４は、一致度が所定の閾値以下である場合、画像に表された構造物に地図情報に表された対応する構造物と異なる変化点があると判定する。例えば、上述した特徴点マッチングの場合、車載カメラ１１０の画像の特徴点のうち、地図情報の特徴点と一致しなかった特徴点が変化点に相当する。または、地図情報の特徴点のうち、車載カメラ１１０の画像の特徴点と一致しなかった特徴点が変化点に相当する。また、テンプレートマッチングの場合、マッチングした領域毎に一致度を求め、一致度が閾値以下の領域が変化点とされる。

一方、構造物によっては、単に画像と地図情報とを照合するのみでは、変化点を検出できない場合がある。例えば、道路上の構造物の一例である道路標示は、劣化するほど掠れて見えなくなる。しかし、道路標示の一部が掠れているような場合、この掠れが一致度に及ぼす影響は低い。このため、画像と地図情報とを照合して掠れに起因する変化点を検出しようとしても、画像と地図情報が全体として一致していると、一致度が所定の閾値を上回る可能性がある。このため、道路標示の掠れは、上述の方法では変化点として検出されない場合がある。

このため、照合部１６３は、道路標示の掠れによる変化点を検出する場合、画像を複数の部分画像に分割し、部分画像ごとに地図情報上で対応する部分領域との部分一致度を算出する。なお、部分画像ごとに部分一致度を算出する処理は、上述した一致度の算出と同様に行われる。画像と地図情報との相違が道路標示の掠れに起因する場合、照合部１６３による照合の結果、画像全体について地図情報と照合した際の一致度は所定の閾値よりも大きくなる。一方、部分画像のうち、掠れが生じている道路標示が部分画像中に存在すると、その部分画像における部分一致度は、所定の閾値（部分一致度閾値）以下となる。したがって、変化点検出部１６４は、部分一致度が部分一致度閾値以下となる場合に、その部分画像に表された構造物と地図情報上で対応する部分領域に表された構造物との間に、道路標示の掠れによる変化点があると判定する。

図７は、道路標示としての区画線の掠れを検出する手法の一例を示す模式図である。ここでは、図５の左側に示した画像を例に挙げ、道路１０を２車線に区画する区画線１６に生じた掠れを変化点として検出する場合について説明する。

図７に示す例では、画像中で道路１０の領域が破線Ｌ１〜Ｌ４を境に８つの部分画像Ｐ１〜Ｐ８に分割されている。照合部１６３は、部分画像Ｐ１〜Ｐ８のそれぞれについて、地図情報の対応する部分領域と照合し、部分一致度を求める。

ここで、道路１０を２車線に区画する区画線１６のうち、部分画像Ｐ３に表されている区画線１６（図７中に破線で示す）のみが掠れているものとする。この際、画像全体について地図情報と照合した際の一致度は所定の閾値よりも大きくなる。また、部分画像Ｐ１，Ｐ２，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８については、画像中に擦れた区画線１６が存在していないか、または画像中に擦れた区画線１６が占める領域が非常に小さい。したがって、部分画像Ｐ１，Ｐ２，Ｐ４，Ｐ５，Ｐ６，Ｐ７，Ｐ８のそれぞれと地図情報の対応する部分領域とを照合して得られる部分一致度は、部分一致度閾値よりも大きくなる。

一方、部分画像Ｐ３については、掠れた区画線１６が部分画像中で大きな領域を占めているため、部分画像Ｐ３と地図情報の対応する部分領域とを照合して得られる部分一致度は、部分一致度閾値よりも小さくなる。したがって、変化点検出部１６４は、照合部１６３による照合の結果、部分画像Ｐ３と地図情報の対応する部分領域との間に、道路標示の掠れに起因する変化点を検出する。例えば、変化点検出部１６４は、上述した特徴点マッチングの場合、部分画像の特徴点のうち、地図情報の対応する部分領域の特徴点と一致しなかった特徴点を、掠れに起因する変化点として検出する。

なお、図７の例において、部分画像Ｐ１，Ｐ２，Ｐ５，Ｐ６については、遮蔽物体２０として先行車両が画像に写り込んでいるため、照合部１６３は、地図情報において遮蔽物体２０により隠蔽される構造物を照合対象から除いて照合することで、部分画像と地図情報との部分一致度を算出する。

図８は、ＥＣＵ１５０のプロセッサ１６０が行う変化点検出処理を示すフローチャートである。図８の処理は、プロセッサ１６０により所定の制御周期毎に実行される。先ず、物体検出部１６２が、車載カメラ１１０により得られた画像から遮蔽物体２０を検出する（ステップＳ１００）。次に、照合部１６３が、地図情報において遮蔽物体２０により隠蔽される構造物を除いて、車載カメラ１１０により得られた画像と地図情報上の対応領域とを照合して一致度を算出する（ステップＳ１０２）。

次に、変化点検出部１６４が、一致度が所定の閾値以下であるか否かを判定し（ステップＳ１０４）、一致度が所定の閾値以下の場合はステップＳ１０６へ進む。ステップＳ１０６では、変化点検出部１６４が、画像上に表された構造物と地図情報上の対応する構造物間の変化点を検出する。ステップＳ１０６の後は処理を終了する。また、ステップＳ１０４で一致度が所定の閾値を超える場合は、処理を終了する。

以上の処理により、プロセッサ１６０は、車載カメラ１１０が生成した画像から構造物を隠蔽する遮蔽物体２０を検出した場合、遮蔽物体２０により隠蔽される構造物を照合対象から除いた上で、車載カメラ１１０が生成した画像と地図情報とを照合して一致度を算出する。このため、遮蔽物体２０によって構造物が隠蔽される場合であっても、画像と地図情報との一致度が正確に算出される。したがって、一致度に基づいて、画像に表された構造物と地図情報に表された構造物との間の変化点が精度良く検出される。

地図情報更新部１６５は、変化点検出部１６４が検出した変化点に基づいて、地図情報を更新する。例えば、地図情報更新部１６５は、重畳画像上で検出された変化点をカメラ座標系の座標に変換する。そして、地図情報更新部１６５は、カメラ座標系で表される変化点の座標を世界座標系に変換することで、世界座標系で表された変化点の座標を得る。そして、地図情報更新部１６５は、世界座標系で表された変化点の座標に基づいて、地図情報を更新する。その際、例えば、地図情報更新部１６５は、車載カメラ１１０の画像の特徴点のうち、地図情報の特徴点と一致しなかった特徴点が変化点として検出されると、変化後の構造物が変化点の座標により表されるように地図情報を更新する。地図情報更新部１６５は、変化点の座標に加えて、物体検出部１６２により識別された、変化点の位置に対応する構造物の種類の情報に基づいて、地図情報を更新してもよい。更新された地図情報は、メモリ１７０に記憶される。

送信部１６６は、変化点に関する情報（変化点の座標、変化点に対応する構造物の種類など）を、変化点が検出されたことを示すフラグとともに、無線端末１４０を介して無線基地局５００へ送信する。送信された変化点に関する情報は、サーバ３００により取得される。その際、画像上の構造物と地図情報に表さられた構造物とが重畳された重畳画像がエビデンスとしてサーバ３００側へ送信されてもよい。これにより、サーバ３００側において変化点の検出結果の納得性が向上される。変化点に関する情報は、サーバ３００のストレージ装置３２０に記憶される。サーバ３００は、変化点に関する情報を各車両１００に送信する。したがって、各車両１００は、変化点に関する情報に基づいて、各車両１００が保有する地図情報を更新することができる。

また、送信部１６６は、地図情報更新部１６５により更新された地図情報を、無線端末１４０を介して無線基地局５００へ送信する。更新された地図情報は、サーバ３００により取得され、ストレージ装置３２０に記憶される。サーバ３００は、更新された地図情報を、各車両１００に送信する。したがって、各車両１００は、更新された地図情報を利用して、自動運転を行うことができる。

以上説明したように本実施形態によれば、車載カメラ１１０が生成した画像から構造物を隠蔽する遮蔽物体２０が検出された場合において、遮蔽物体２０により隠蔽される構造物が照合対象から除かれて、地図情報と画像とが照合される。このため、遮蔽物体２０によって構造物が遮られる場合であっても、画像と地図情報との一致度が正確に算出される。したがって、地図情報に表された構造物と、実際の構造物とが異なっている変化点がある場合に、その変化点が精度良く検出される。

（変形例）
プロセッサ１６０は、画像と地図情報の一致度が所定の閾値以下である場合であっても、画像から構造物が判別可能である場合に限り変化点があると判定してもよい。画像から構造物を判別できない場合、画像と地図情報との一致度が低くても、一致度の低さは画像から構造物を判別できないことに起因している可能性がある。このため、変化点検出部１６４は、環境情報取得部１３０が取得した情報、または画像中の遮蔽物体２０が表された領域のサイズに基づいて、画像から構造物を判別可能か否か判定する。そして、変化点検出部１６４は、画像から構造物を判別できると判定した場合に限り、車載カメラ１１０の画像と地図情報との間に変化点が生じていると判定する。

例えば、変化点検出部１６４は、照度センサから得られる照度が所定の閾値を超えている場合、あるいは照度が計測可能な上限値近傍に達しているような場合は、車載カメラ１１０が逆光を受けている状況、あるいは車載カメラ１１０に西日が当たっている状況などであり、画像から構造物を判別できないと判定する。なお、変化点検出部１６４は、車載カメラ１１０が西日を受けていることの判定を、測位情報受信機１２０から得られる車両前方の向きが西向きであり、且つ時刻が日没時刻（夕刻）であることにより判定してもよい。また、変化点検出部１６４は、画像に表された各画素の輝度の統計値に基づき、輝度の統計値が低いほど、画像から構造物を判別できないと判定してもよい。また、変化点検出部１６４は、逆光時のように輝度の統計値が上限値近傍に達している場合に、画像から構造物を判別できないと判定してもよい。

また、変化点検出部１６４は、ワイパーの動作速度が速いほど降雨により画像上の構造物の判別が困難になるため、ワイパーの動作速度が所定の閾値を超えている場合、画像から構造物を判別できないと判定する。また、変化点検出部１６４は、雨量が多いほど画像上の構造物の判別が困難になるため、降雨センサが検出した降雨量が所定の閾値を超えている場合は、画像から構造物を判別できないと判定する。

また、変化点検出部１６４は、外気温センサの検出値に基づき、気温が所定の閾値以下の場合は、路面に積雪や凍結があることが想定されるため、画像から構造物を判別できないと判定する。また、変化点検出部１６４は、アンチロックブレーキシステム（ＡＶＳ）、車両安定制御システム（ＶＳＣ）、トラクションコントロールシステム（ＴＲＣ）などの車両安定制御に関わる動作情報に基づいて、これらのシステムの動作頻度が所定の閾値を超えている場合は、路面に積雪や凍結があることが想定されるため、画像から構造物を判別できないと判定する。なお、路面に積雪や凍結があると、特に、道路標示など道路上の構造物の判別が困難となる。

また、変化点検出部１６４は、ヘッドランプの指示信号の設定値に基づき、ヘッドランプが点灯している時間に対して、ヘッドランプがハイビームに設定される時間の割合が所定の閾値を超えている場合は、暗い道を走行していることが想定されるため、画像から構造物を判別できないと判定する。更に、変化点検出部１６４は、画像認識による気象、路面状況の判定値に基づき、気象状況、路面状況が悪い場合は、画像から構造物を判別できないと判定する。

また、変化点検出部１６４は、画像内で遮蔽物体２０が表された領域のサイズが所定の閾値よりも大きい場合は、画像から構造物を判別できないと判定する。例えば、図６に示した例において、遮蔽物体２０である大型のバスとの車間距離がより近い場合、画像内で遮蔽物体２０が表された領域が非常に大きくなり、画像から構造物を判別することができなくなる。一例として、車載カメラ１１０が生成した画像の全面積に対して遮蔽物体２０の面積が１／２以上の場合、変化点検出部１６４は、画像から構造物を判別できないと判定する。

また、変化点検出部１６４は、構造物のサイズに基づいて、微小なサイズの構造物については、画像から構造物を判別できないと判定する。例えば、変換点検出部１６４は、道路の端の小さな縁石、道路脇の小さな道路標識または看板など、所定の閾値よりも小さいサイズの構造物については、画像から構造物を認識できないと判定する。これらの小さいサイズの構造物は、予め地図情報上で特定されていてもよい。

以上のように、変化点検出部１６４は、画像から構造物を判別できると判定した場合に限り、車載カメラ１１０の画像と地図情報との間に変化点が生じていると判定することができる。これにより、画像に表された構造物と地図情報に表された対応する構造物とが相違しておらず、画像から構造物が判別できないために一致度が低くなるような場合に、変化点が誤検出されてしまうことが抑制される。

また、変化点に関する情報は、サーバ３００側で、自動運転に支障があることを示すブラックリストの情報として管理されてもよい。そして、ブラックリストの情報は、通信ネットワーク４００及び無線基地局５００を介して各車両１００に送信されてもよい。これにより、例えば、ブラックリストの情報を受信した車両１００は、変化点が検出された位置の近辺に到達する前に車両１００のドライバに対して警告を発することで、ドライバに対して、地図情報に対して実際の構造物が変化していることの注意喚起を行うことができる。特に、サーバ３００が、更新された地図情報を各車両１００に配信するまでにある程度の時間を要するような場合、更新された地図情報を各車両１００が受け取る前に、ブラックリストの情報を各車両１００が認識しておくことで、各車両１００は、地図情報が更新される前であっても、地図情報に対して実際の構造物が変化していることの注意喚起をドライバに対して行うことができる。また、ブラックリストの情報は、サーバ３００または車両１００において、自動運転の禁止区間の設定、自動運転の禁止区間を回避するレーンチェンジプランニング、または自動運転の禁止区間を回避する経路検索のために利用されることも可能である。

プロセッサ１６０は、変化点を検出するための処理を常時行わなくてもよい。例えば、プロセッサ１６０は、自動運転制御において、構造物の変化に関連性の高い不調が発生している場合に限定して、変化点を検出してもよい。このような不調として、例えば、地図情報に表された区画線に対して実際の区画線が変化したことに起因して、車両１００が所望の経路から外れた場合等が挙げられる。これにより、変化点を検出する処理、地図情報を更新する処理の負荷が抑えられるとともに、変化点の検出に伴うサーバ３００との通信処理の負荷が抑制される。

また、プロセッサ１６０は、上述したブラックリストの情報に基づいて、ブラックリストが地図改修中であることを示すことから、ブラックリストの情報に含まれる地点以外で変化点を検出するための処理を行うことで、処理負荷を軽減してもよい。

また、以上の説明では、車両１００側で変化点検出処理を行う場合について説明したが、図４に示す各部の処理をサーバ３００の制御装置３１０のプロセッサ３１２が実行してもよい。この場合、車載カメラ１１０が生成した画像、車両１００の現在位置及び姿勢に関する情報、内部パラメータ、および環境情報が、無線端末１４０から無線基地局５００へ送信され、サーバ３００により取得される。サーバ３００のプロセッサ３１２は、上述したプロセッサ１６０による変化点検出処理と同様の処理を行い、変化点を検出する。更に、サーバ３００のプロセッサ３１２は、上述した地図情報更新部１６５と同様の処理を行い、地図情報を更新する。

また、車両１００側で変化点検出処理までが行われ、地図情報の更新は、サーバ３００側で行われてもよい。この場合、車両１００側で検出された変化点の座標、および構造物の種類に関する情報が、無線端末１４０から無線基地局５００へ送信され、サーバ３００により取得される。サーバ３００のプロセッサ３１２は、上述した地図情報更新部１６５と同様の処理を行い、地図情報を更新する。

更に、他の変形例によれば、変化点検出装置は、車両１００に備えられたドライブレコーダ、ナビゲーション装置などの装置として、ＥＣＵ１５０とは別個に実装されていてもよい。

以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことが可能である。

１０ 道路
１２ 分岐路
１４，１６ 区画線
１８ 壁
２０ 遮蔽物体
１００ 車両
１１０ 車載カメラ
１２０ 測位情報受信機
１３０ 環境情報取得部
１４０ 無線端末
１５０ 制御装置
１６０ プロセッサ
１６１ 投影部
１６２ 物体検出部
１６３ 照合部
１６４ 変化点検出部
１６５ 地図情報更新部
１６６ 送信部
１７０ メモリ
１８０ 通信インターフェース
３００ サーバ
３１０ 制御装置
３１２ プロセッサ
３１４ メモリ
３１６ 通信インターフェース
３２０ ストレージ装置
４００ 通信ネットワーク
５００ 無線基地局
１０００ 地図情報配信システム

Claims (5)

1. 道路上及び道路周囲の走行条件に関連する構造物を表す地図情報を記憶する記憶部と、
   車両に搭載された撮像部により得られた前記車両の周囲の環境を表す画像から、前記構造物を隠蔽する物体を検出する検出部と、
   前記地図情報において前記物体により隠蔽される前記構造物を除いて、前記画像と前記地図情報とを照合し、前記画像と前記地図情報との一致度を算出する照合部と、
   前記一致度が所定の閾値以下である場合、前記画像に表された前記構造物に前記地図情報に表された対応する前記構造物と異なる変化点があると判定する変化点検出部と、
   を有する変化点検出装置。
2. 前記変化点検出部は、前記画像が得られたときの前記車両の周囲の環境の状況を表す情報、前記画像上での前記物体が表された領域のサイズまたは前記構造物のサイズに基づいて、前記画像から前記構造物を判別可能か否かを判定し、前記画像から前記構造物を判別可能と判定した場合に限り、前記変化点があると判定する、請求項１に記載の変化点検出装置。
3. 前記照合部は、前記画像を分割して得られる複数の部分画像のそれぞれについて、当該部分画像と前記地図情報の当該部分画像に対応する部分領域とを照合し、前記部分画像と前記地図情報の前記部分領域との部分一致度を算出し、
   前記変化点検出部は、前記一致度が所定の閾値を超えており、且つ、複数の前記部分画像のいずれかについての前記部分一致度が所定の部分一致度閾値以下である場合に、当該部分画像に表された前記構造物と前記地図情報の当該部分画像に対応する前記部分領域に表された前記構造物との間に、前記変化点があると判定する、請求項１又は２に記載の変化点検出装置。
4. 前記変化点に基づいて、前記地図情報を更新する地図情報更新部を更に有する、請求項１〜３のいずれか１項に記載の変化点検出装置。
5. 複数の車両と、前記複数の車両のそれぞれと通信可能なサーバとを有する地図情報配信システムであって、
   複数の前記車両のそれぞれは変化点検出装置を有し、
   前記変化点検出装置は、
   道路上及び道路周囲の走行条件に関連する構造物を表す地図情報を記憶する記憶部と、
   前記車両に搭載された撮像部により得られた前記車両の周囲の環境を表す画像から、前記構造物を隠蔽する物体を検出する検出部と、
   前記地図情報において前記物体により隠蔽される前記構造物を除いて、前記画像と前記地図情報とを照合し、前記画像と前記地図情報との一致度を算出する照合部と、
   前記一致度が所定の閾値以下である場合、前記画像に表された前記構造物に前記地図情報に表された対応する前記構造物と異なる変化点があると判定する変化点検出部と、
   前記変化点検出部により前記変化点があると判定された場合に、前記サーバへ前記変化点の情報を送信する送信部と、を有し、
   前記サーバは、複数の前記車両のいずれかから前記変化点の情報を受信すると、他の車両へ前記変化点の情報を送信する、地図情報配信システム。

Images