JP2023066897A - 自律走行車、及び自律走行車の制御装置 - Google Patents

Abstract

【課題】画像マッチング処理の処理時間を短縮させつつ自己位置の推定精度が向上する自律走行車、及び自律走行車の制御装置を提供すること。【解決手段】自律走行車は、データ整列処理Ｓ４と、優先順位設定処理Ｓ６と、特定処理Ｓ７と、画像マッチング処理Ｓ８と、自己位置推定処理Ｓ９と、を実行する。データ整列処理Ｓ４は、複数の地図データを所定の並び替え順位に並び替える処理である。特定処理Ｓ７は、データ整列処理Ｓ４の後に所定の条件を満たした場合、画像データに最も類似する地図画像データを含むグループを特定グループとして特定する処理である。優先順位設定処理Ｓ６は、データ整列処理Ｓ４によって並び替えられた複数の地図データを、画像マッチング処理Ｓ８で特定グループに属する地図データが優先的に用いられるように更に並び替える処理である。【選択図】図３

Description

本発明は、自律走行車、及び自律走行車の制御装置に関する。

特許文献１に記載の自律走行車は、カメラと、記憶装置と、制御装置と、を備えている。カメラは、所定時間毎に撮像する。記憶装置は、地図データを記憶している。地図データは、地図画像データと位置情報とを対応付けたデータである。

制御装置は、自律走行車の自己位置を所定時間毎に推定する。自己位置の推定に際し、制御装置は、カメラから画像データを取得する。制御装置は、取得した画像データと、記憶装置に記憶されている地図画像データとを比較する画像マッチング処理を行う。この画像マッチング処理により、制御装置は、画像データに対応する地図画像データを特定する。制御装置は、特定された地図画像データと画像データとの相対位置、及び特定された地図画像データと画像データとの相対角度から自己位置を推定する。

米国特許第８７２５４１３号明細書

ところで、画像マッチング処理において、記憶装置に記憶されている全ての地図データの地図画像データを使用すると、画像マッチング処理の処理時間が長くなる。この処理時間の短縮を目的として、使用する地図画像データの数を減らす方法が考えられる。この方法では、地図データの並び替えが行われる。並び替え順は、画像マッチング処理が実行される所定時間前の位置情報に距離が近い順である。画像マッチング処理は、並び替え順の先頭に位置する地図データから順に、所定数の地図データのみを対象として行う。

しかし、地図データを並び替えたとしても、画像データの撮像環境と、当該画像データと比較する地図画像データの撮像環境とが異なる場合がある。この場合、自律走行車の自己位置の推定精度が低下する虞がある。

上記課題を解決する自律走行車は、自己位置を推定しながら走行する自律走行車であって、所定時間毎に撮像するカメラと、予め撮像された地図画像データに位置情報を対応付けた地図データが複数記憶された記憶装置と、前記カメラから画像データを取得する取得部と、前記地図画像データと前記画像データとを比較することで当該画像データに対応する前記地図画像データを特定する画像マッチング処理を前記所定時間毎に実行し、特定された当該地図画像データと当該画像データとの相対位置、及び特定された当該地図画像データと当該画像データとの相対角度から自己位置を推定する自己位置推定処理を実行する自己位置推定部と、前記自律走行車の自己位置を推定するための処理を実行する処理装置と、を備え、複数の前記地図データは、撮像対象の状態毎に複数のグループに分けられており、前記処理装置は、複数の前記地図データを所定の並び替え順に並び替える処理であるデータ整列処理と、前記データ整列処理の後に所定の条件を満たした場合、前記画像データと複数の前記グループのそれぞれに含まれる前記地図画像データとを比較して、当該画像データに最も類似する前記地図画像データを含む前記グループを特定グループとして特定する特定処理と、前記データ整列処理によって並び替えられた複数の前記地図データを、前記特定グループに属する前記地図データが前記画像マッチング処理で優先的に用いられるように更に並び替える優先順位設定処理と、を実行し、前記画像マッチング処理は、前記優先順位設定処理の後において、並び替え順の先頭から所定数の前記地図データのみを対象として、並び替え順の先頭から順に前記地図画像データと前記画像データとを比較することで当該画像データに対応する前記地図画像データを特定する。

これによれば、特定処理では、画像マッチング処理に使用する画像データの撮像環境に類似する地図データを特定できる。優先順位設定処理では、画像データの撮像環境に対する類似性を判断基準として、データ整列処理後の地図データを更に並び替える。このため、画像マッチング処理において、画像データと、当該画像データの撮像環境と最も類似する撮像環境の地図画像データとを比較しやすくなる。このため、自律走行車の自己位置の推定精度が向上する。

また、画像マッチング処理は、データ整列処理で並び替えた所定数の地図データのみを対象として実行される。このため、全ての地図画像データと画像データとを比較する場合よりも画像マッチング処理の処理時間も短縮できる。したがって、画像マッチング処理の処理時間を短縮させつつ自己位置の推定精度が向上する。

上記の自律走行車において、前記データ整列処理において、前記所定の並び順は、前回の前記画像マッチング処理が実行されたときの前記位置情報に距離が近い順であるとよい。

上記課題を解決する自律走行車の制御装置は、自己位置を推定しながら走行する自律走行車を制御する制御装置であって、所定時間毎に撮像するカメラから画像データを取得する取得部と、予め撮像された地図画像データに位置情報を対応付けた複数の地図データに含まれる当該地図画像データと前記画像データとを比較することで当該画像データに対応する前記地図画像データを特定する画像マッチング処理を前記所定時間毎に実行し、特定された当該地図画像データと、当該画像データとの相対位置、及び特定された当該地図画像データと当該画像データとの相対角度から自己位置を推定する自己位置推定処理を実行する自己位置推定部と、を備え、複数の前記地図データは、撮像対象の状態毎に複数のグループに分けられており、前記制御装置は、複数の前記地図データを所定の並び替え順に並び替える処理であるデータ整列処理と、前記データ整列処理の後に所定の条件を満たした場合、前記画像データと複数の前記グループのそれぞれに含まれる前記地図画像データとを比較して、当該画像データに最も類似する前記地図画像データを含む前記グループを特定グループとして特定する特定処理と、前記データ整列処理によって並び替えられた複数の前記地図データを、前記特定グループに属する前記地図データが前記画像マッチング処理で優先的に用いられるように更に並び替える優先順位設定処理と、を実行し、前記画像マッチング処理は、前記優先順位設定処理の後において、並び替え順の先頭から所定数の前記地図データのみを対象として、並び替え順の先頭から順に前記地図画像データと前記画像データとを比較することで当該画像データに対応する前記地図画像データを特定する。

これによれば、特定処理では、画像マッチング処理に使用する画像データの撮像環境に類似する地図データを特定できる。優先順位設定処理では、画像データの撮像環境に対する類似性を判断基準として、データ整列処理後の地図データを更に並び替える。このため、画像マッチング処理において、画像データと、当該画像データの撮像環境と最も類似する撮像環境の地図画像データとを比較しやすくなる。このため、自律走行車の自己位置の推定精度が向上する。

また、画像マッチング処理は、データ整列処理で並び替えた所定数の地図データのみを対象として実行される。このため、全ての地図画像データと画像データとを比較する場合よりも画像マッチング処理の処理時間も短縮できる。したがって、画像マッチング処理の処理時間を短縮させつつ自己位置の推定精度が向上する。

この発明によれば、画像マッチング処理の処理時間を短縮させつつ自己位置の推定精度が向上する。

自律走行車を示す側面図である。 自律走行車の構成を示すブロック図である。 自律走行車が実行する処理を示すフローチャートである。 画像処理を示す図である。 地図抽出処理を示す図である。 データ整列処理を示す図である。 特定処理を示す図である。 優先順位設定処理を示す図である。 画像マッチング処理を示す図である。 自己位置推定処理を示す図である。 変更例におけるフローチャートである。 変更例におけるフローチャートである。

以下、自律走行車、及び自律走行車の制御装置を具体化した一実施形態を図１～図１０にしたがって説明する。
＜自律走行車の構成＞
図１及び図２に示すように、自律走行車１０は、車体１１と、駆動輪２１と、操舵輪３１と、を備えている。自律走行車１０は、走行モータドライバ２２と、走行モータ２３と、操舵モータドライバ３２と、操舵モータ３３と、を備えている。自律走行車１０は、カメラ４１と、照明装置５１と、測位装置６１と、制御装置８１と、補助記憶装置７１と、を備えている。自律走行車１０は、乗用車であってもよいし、産業車両であってもよい。産業車両は、フォークリフト、トーイングトラクタ、及び無人搬送車を含む。

走行モータ２３は、駆動輪２１を回転させるためのモータである。走行モータドライバ２２は、制御装置８１からの指令に応じて走行モータ２３を駆動させる。走行モータ２３の駆動により駆動輪２１が回転することで、自律走行車１０が走行する。操舵モータ３３は、操舵輪３１を操舵するためのモータである。操舵モータドライバ３２は、制御装置８１からの指令に応じて操舵モータ３３を駆動させる。操舵モータ３３の駆動により操舵輪３１が操舵されることで、自律走行車１０が旋回する。

＜カメラの構成＞
カメラ４１は、デジタルカメラである。カメラ４１は、撮像素子を有している。撮像素子としては、例えば、ＣＣＤイメージセンサ(Charge Coupled Device image sensor)、及びＣＭＯＳイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)を挙げることができる。カメラ４１としては、例えば、ＲＧＢカメラ、赤外線カメラ、グレースケールカメラ、及び可視光カメラを挙げることができる。

カメラ４１は、所定時間毎に撮像を行うことにより画像データを生成する。この画像データは、カメラ４１で撮像した画像のデジタルデータである。所定時間とは、例えば０．１秒である。

カメラ４１は、路面Ｓｒを撮像するように配置されている。カメラ４１は、鉛直方向を向いた状態で車体１１の底部に設けられている。カメラ４１の光軸が鉛直方向に延びるようにカメラ４１は設けられている。カメラ４１が鉛直方向を向いた状態とは、カメラ４１の取付精度による誤差を許容するものである。すなわち、カメラ４１は鉛直方向に対して若干ずれた方向を向いた状態で取り付けられていてもよい。

カメラ４１は、撮像対象としての路面Ｓｒを撮像した画像を示す画像データを生成するといえる。画像データは、一例として、図４に示す円形状の画像データＩＭ１である。画像データＩＭ１には、路面Ｓｒの特徴Ｂが写っている。路面Ｓｒの特徴は、例えば、路面Ｓｒの凹凸である。図４には、路面Ｓｒの特徴Ｂを模式的に示す。なお、図４に示す路面Ｓｒの特徴Ｂは、自律走行車１０が走行する位置によって変更する。

＜照明装置の構成＞
照明装置５１は、路面Ｓｒの照明を行うように配置されている。照明装置５１は、路面Ｓｒのうちカメラ４１によって撮像される範囲の照明を行う。照明装置５１は、下方を向いた状態で車体１１の底部に設けられている。照明装置５１としては、例えば、発光ダイオードを用いることができる。

＜測位装置の構成＞
測位装置６１は、衛星航法装置６２と、慣性測定装置６３と、を有している。衛星航法装置６２は、GNSS（Global Navigation Satellite System）衛星から送信される衛星信号を用いて位置を測定するものである。慣性測定装置６３は、ジャイロセンサ、及び加速度センサを含む。測位装置６１は、自律走行車１０の位置情報を取得可能である。位置情報は、例えば、衛星航法装置６２を用いて取得した経緯度、及び慣性測定装置６３を用いて算出する自律走行車１０の自己移動量によって算出可能である。

＜補助記憶装置の構成＞
補助記憶装置７１は、制御装置８１が読み取り可能な情報を記憶している。補助記憶装置７１としては、例えば、ハードディスクドライブ、ソリッドステートドライブ、及びフラッシュメモリを挙げることができる。

補助記憶装置７１は、複数の地図データＭ１を記憶している。地図データＭ１は、予め撮像された路面Ｓｒの地図画像データと位置情報とを対応付けたものである。位置情報は、座標情報と、方位情報と、を含む。座標情報は、絶対位置を表す座標系である地図座標系の座標である。地図座標系は、直交座標系であってもよいし、地理座標系であってもよい。方位情報は、地図座標系の座標軸に対する傾きを示す情報である。補助記憶装置７１は、地図データＭ１が複数記憶された記憶装置である。

＜自律走行車の制御装置の構成＞
制御装置８１は、プロセッサ８２と、記憶部８３と、を備えている。プロセッサ８２としては、例えば、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、及びDSP（Digital Signal Processor）を挙げることができる。記憶部８３は、RAM（Random Access Memory）及びROM（Read Only Memory）を含む。記憶部８３は、処理をプロセッサ８２に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部８３、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置８１は、ASIC（Application Specific Integrated Circuit）やFPGA（Field Programmable Gate Array）等のハードウェア回路によって構成されていてもよい。処理回路である制御装置８１は、コンピュータプログラムに従って動作する１つ以上のプロセッサ、ASICやFPGA等の１つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。

制御装置８１は、取得部８４と、地図作成部８５と、自己位置推定部８６と、を備えている。取得部８４、地図作成部８５、及び自己位置推定部８６は、制御装置８１が予め定められたプログラムを実行することで機能する機能要素である。なお、自律走行車１０は、取得部８４、地図作成部８５、及び自己位置推定部８６を制御装置８１とは別の装置として備えていてもよい。

取得部８４は、カメラ４１から画像データを取得する。取得部８４は、取得した画像データを地図作成部８５に出力する。
地図作成部８５は、地図作成処理を実行する。地図作成処理は、補助記憶装置７１に記憶された地図データＭ１を予め作成する処理である。地図データＭ１は、例えば、自律走行車１０が走行すると想定される場所を、予め自律走行車１０で走行することで得ることができる。地図データＭ１は、自律走行車１０が走行すると想定される場所を複数回走行することで複数作成される。複数の地図データＭ１は、当該場所の路面Ｓｒの状態毎に作成される。路面Ｓｒの状態とは、例えば、雨が降っているときの路面Ｓｒの凹凸の状態や、晴れているときの路面Ｓｒの凹凸の状態、異物が散布されているときの路面Ｓｒの状態等である。

地図作成部８５は、取得部８４を介してカメラ４１から画像データを取得する。一例として、図４に示す画像データＩＭ１を取得したとして説明を行う。地図作成部８５は、画像データＩＭ１の一部を切り出すことで半円形状の地図画像データＩＭ１１を取得する。画像データＩＭ１から切り出される地図画像データＩＭ１１の大きさ、及び画像データＩＭ１から切り出される地図画像データＩＭ１１の位置は、任意に設定することができる。

地図作成部８５は、地図画像データＩＭ１１に、画像データＩＭ１を取得した時刻と位置情報を対応付ける。位置情報は、画像データＩＭ１を取得した時刻に測位装置６１が取得した情報である。地図作成部８５は、座標ＣＰ１に位置情報を対応付ける。座標ＣＰ１は、地図画像データＩＭ１１の画素位置を表す座標系においてカメラ４１の光軸位置を表す座標である。地図画像データＩＭ１１の画素位置を表す座標系は、画像座標系である。画像座標系とは、画像データＩＭ１の画素位置を表す２軸直交座標系である。画像データＩＭ１の画素位置は、例えば、画素の横位置を表す座標と、画素の縦位置を表す座標とで表現できる。地図画像データＩＭ１１は、画像データＩＭ１の一部を切り出したものであるため、地図画像データＩＭ１１の画素位置は画像座標系で表現することができる。画像座標系において座標ＣＰ１は、地図画像データＩＭ１１を切り出す前の画像データＩＭ１の中心座標に一致する。地図画像データＩＭ１１が半円形状であるため、弦の中点に位置する座標が座標ＣＰ１である。

地図作成部８５は、地図画像データＩＭ１１に、ピクセルスケールを対応付ける。ピクセルスケールとは、１画素当たりの実際のサイズである。地図作成部８５は、画像ナンバーを地図画像データＩＭ１１に対応付ける。画像ナンバーは、撮像時刻や地図画像データＩＭ１１毎に個別に付与されている。地図作成部８５は、地図画像データＩＭ１１に位置情報、ピクセルスケール、撮像時刻、及び画像ナンバーを対応付けることにより地図データＭ１を作成する。

図５に示すように、地図作成部８５が作成した全ての地図データＭ１は、補助記憶装置７１に記憶されている。補助記憶装置７１に記憶される全ての地図データＭ１は、路面Ｓｒの状態毎に複数のグループＧ１，Ｇ２，…Ｇｎに分けられている。複数のグループＧ１，Ｇ２，…Ｇｎのそれぞれには、複数の地図データＭ１が含まれている。

制御装置８１は、上記した地図データＭ１を用いて自律走行車１０の自己位置を推定しながら、走行モータドライバ２２及び操舵モータドライバ３２を制御する。制御装置８１は、自律走行車１０を制御することにより自律走行車１０を目標位置に走行させる。これにより、自律走行車１０は、自己位置を推定しながら走行する。なお、目標位置は、自律走行車１０のユーザーが設定するものであってもよいし、自律走行車１０の上位制御装置が設定するものであってもよい。

＜制御装置が実行する処理について＞
制御装置８１は、自律走行車１０の自己位置を推定するための処理を実行する処理装置である。

図３に示すように、制御装置８１は、画像データ取得処理Ｓ１と、画像処理Ｓ２と、地図データ抽出処理Ｓ３と、を実行する。制御装置８１は、データ整列処理Ｓ４と、判定処理Ｓ５と、優先順位設定処理Ｓ６と、特定処理Ｓ７とを実行する。制御装置８１は、画像マッチング処理Ｓ８と、自己位置推定処理Ｓ９と、を実行する。本実施形態では、各処理Ｓ１～Ｓ９は、自律走行車１０の自己位置を推定するための処理である。各処理Ｓ１～Ｓ９は、カメラ４１が撮像する所定時間内に実行される。各処理Ｓ１～Ｓ９は、所定時間内に実行されるルーチンである。各処理Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ８，Ｓ９は、所定時間内で必ず実行されるが、特定処理Ｓ７は、判定処理Ｓ５の処理において所定の条件を満たした場合にのみ実行される。なお、画像マッチング処理Ｓ８、及び自己位置推定処理Ｓ９は、自己位置推定部８６が実行する。

自己位置推定部８６は、データ整列処理Ｓ４、判定処理Ｓ５、優先順位設定処理Ｓ６、及び特定処理Ｓ７を実行してもよい。制御装置８１は、自己位置推定部８６以外に、データ整列処理Ｓ４、判定処理Ｓ５、優先順位設定処理Ｓ６、及び特定処理Ｓ７を実行するための機能要素を備えていてもよい。自律走行車１０は、データ整列処理Ｓ４、判定処理Ｓ５、優先順位設定処理Ｓ６、及び特定処理Ｓ７を実行する機能要素を制御装置８１とは別の装置として備えていてもよい。自律走行車１０において、各処理Ｓ４，Ｓ５，Ｓ６，Ｓ７を実行する機能要素を制御装置８１と別の装置として備えた場合、制御装置８１及び当該別の装置が処理装置となる。

自律走行車１０において、自己位置推定部８６を制御装置８１とは別の装置とし、且つ各処理Ｓ４，Ｓ５，Ｓ６，Ｓ７を実行する機能要素を制御装置８１とは別の装置とした場合を考える。この場合、自己位置推定部８６の機能を有する装置、及び各処理Ｓ４，Ｓ５，Ｓ６，Ｓ７を実行する機能を有する装置を処理装置としてもよい。また、各処理Ｓ４，Ｓ５，Ｓ６，Ｓ７を実行する機能を有する装置を処理装置としてもよい。各処理Ｓ４，Ｓ５，Ｓ６，Ｓ７を実行する機能を有する装置を処理装置とする場合、各処理Ｓ４，Ｓ５，Ｓ６，Ｓ７は、自律走行車１０の自己位置を推定するための処理である。各処理Ｓ４，Ｓ５，Ｓ６，Ｓ７を実行する機能を有する装置を処理装置とした場合、当該処理装置の処理結果を自己位置推定部８６の機能を有する装置に出力する。そして、自己位置推定部８６は、当該処理結果に基づき各処理Ｓ８，Ｓ９を実行する。

以下、制御装置８１が実行するルーチンについて説明する。
画像データ取得処理Ｓ１において、制御装置８１は、取得部８４によりカメラ４１からの画像データを取得する。以下の説明において、画像データ取得処理Ｓ１では、図４に示す画像データＩＭ２を取得したとして説明を行う。なお、図４に示す画像データＩＭ２は、上述した画像データＩＭ１と同じであるように見えるが、特徴Ｂの位置が異なるデータとする。制御装置８１は、画像データ取得処理Ｓ１を実行した後、画像処理Ｓ２を実行する。

図４に示すように、画像処理Ｓ２において、制御装置８１は、画像データＩＭ２の一部を切り出すことにより切出画像データＩＭ１２を取得する。制御装置８１は、地図画像データＩＭ１１と同一の範囲を画像データＩＭ２から切り出すことで切出画像データＩＭ１２を取得する。切出画像データＩＭ１２の画素位置は、画像座標系の座標で表すことができる。地図画像データＩＭ１１の画素位置と、切出画像データＩＭ１２の画素位置とは同一の座標系で表すことができる。例えば、地図画像データＩＭ１１の弦の中点を表す座標ＣＰ１と、切出画像データＩＭ１２の弦の中点を表す座標ＣＰ２とは、同一座標で表現できる。制御装置８１は、画像処理Ｓ２を実行した後、地図データ抽出処理Ｓ３を実行する。

図３に示すように、地図データ抽出処理Ｓ３において、制御装置８１は、補助記憶装置７１に記憶された全ての地図データＭ１のうち規定数の地図データＭ１のみを抽出する。規定数は、各グループＧ１，Ｇ２，…Ｇｎのそれぞれに含まれる地図データＭ１が複数含まれることを予め確認した数である。規定数は、補助記憶装置７１に記憶されている全ての地図データＭ１の数より少ない。制御装置８１は、地図データ抽出処理Ｓ３を実行した後、データ整列処理Ｓ４を実行する。なお、地図データ抽出処理Ｓ３において、補助記憶装置７１の全ての地図データＭ１が抽出されてもよい。

図６に示すように、データ整列処理Ｓ４は、複数の地図データＭ１を所定の並び替え順に並び替える処理である。データ整列処理Ｓ４において、制御装置８１は、所定の並び替え順に、抽出された地図データＭ１を並び替える。所定の並び替え順は、本ルーチンが実行される前のルーチンにおける画像マッチング処理Ｓ８が実行されたときの位置情報に距離が近い順である。換言すると、データ整列処理において、所定の並び替え順は、前回の画像マッチング処理Ｓ８が実行されたときの位置情報に距離が近い順である。以下の説明において、「本ルーチンが実行される前のルーチン」のことを「前回のルーチン」と記載する。

具体的には、データ整列処理Ｓ４において、制御装置８１は、第１座標情報と第２座標情報との間の距離を比較する。第１座標情報は、前回のルーチンにおける位置情報に含まれる座標情報である。第２座標情報は、抽出された地図データＭ１の地図画像データＩＭ１１に対応付けられた位置情報に含まれる座標情報である。制御装置８１は、第１座標情報と第２座標情報との間の距離に応じて地図データＭ１を並び替える。並び替え順の先頭に近い地図データＭ１ほど、第１座標情報との距離が小さくなる第２座標情報を含む。制御装置８１は、データ整列処理Ｓ４を実行した後、判定処理Ｓ５を実行する。

判定処理Ｓ５において、制御装置８１は、所定の条件を満たしたか否かを判定する。所定の条件とは、本実施形態では、自律走行車１０及び制御装置８１が起動時であること、及び前回のルーチンで実行した画像マッチング処理Ｓ８においてマッチング数が閾値以下であることである。自律走行車１０及び制御装置８１が起動時であることは、自律走行車１０及び制御装置８１が起動して初めてルーチンを実行することである。

判定処理Ｓ５において、所定の条件が満たしていないと判定された場合（判定処理Ｓ５：ＮＯ）には、処理を優先順位設定処理Ｓ６へと進める。判定処理Ｓ５において、所定の条件を満たしたと判定された場合（判定処理Ｓ５：ＹＥＳ）には、処理を特定処理Ｓ７へと進める。

図７に示すように、特定処理Ｓ７において、制御装置８１は、画像データＩＭ２と、抽出された規定数の地図データＭ１に含まれる地図画像データＩＭ１１とを比較する。特定処理Ｓ７において、制御装置８１は、画像データＩＭ２と、抽出された各グループＧ１，Ｇ２，…Ｇｎのそれぞれに含まれる地図画像データＩＭ１１とを比較する。本実施形態において、制御装置８１は、本ルーチンで使用する切出画像データＩＭ１２と、抽出された規定数の地図データＭ１に含まれる地図画像データＩＭ１１とをマッチングする。なお、図７に示すような特徴Ｂを有する地図画像データＩＭ１１は、一例として第２グループＧ２に含まれるデータである。抽出された全ての地図画像データＩＭ１１は、特徴Ｂの位置が異なるデータである。

制御装置８１は、切出画像データＩＭ１２から特徴点を抽出する。制御装置８１は、特徴点の特徴量を記述する。特徴量としては、例えば、特徴量ベクトル、及び輝度値を挙げることができる。制御装置８１は、抽出された地図画像データＩＭ１１から特徴点の抽出、及び特徴量の記述を行う。

制御装置８１は、切出画像データＩＭ１２から得られた特徴点及び特徴量と、抽出された地図画像データＩＭ１１から得られた特徴点及び特徴量とをマッチングする。上記したマッチングは、特徴量記述子を用いて行うことができる。特徴量記述子としては、例えば、ORB(Oriented FAST and Rotated BRIEF)、SIFT(Scale-Invariant Feature Transform)、及びSURF(Speeded Up Robust Features)を挙げることができる。

制御装置８１は、切出画像データＩＭ１２及び抽出された地図画像データＩＭ１１のそれぞれの特徴量が類似する特徴点のペアを探索する。制御装置８１は、切出画像データＩＭ１２との特徴点のペアが最も多くなる、いわゆる最もマッチング数が多くなる地図画像データＩＭ１１を特定する。このように、マッチングを行うことで、切出画像データＩＭ１２と特徴Ｂのパターンが一致、あるいは、類似する地図画像データＩＭ１１を特定することができる。

図７から把握できるように、切出画像データＩＭ１２に含まれる特徴Ｂと、第２グループＧ２に含まれる地図画像データＩＭ１１に含まれる特徴Ｂとは一致している。このため、制御装置８１は、画像データＩＭ２に最も類似するデータとして、第２グループＧ２に含まれる地図画像データＩＭ１１のうちの１つを特定する。

制御装置８１は、特定処理Ｓ７で特定された地図画像データＩＭ１１を含むグループを特定グループとして特定する。図７から把握できるように、特定処理Ｓ７では、特定グループとして第２グループＧ２が特定される。制御装置８１は、特定グループを記憶部８３に記憶した後、優先順位設定処理Ｓ６を実行する。

図６及び図８に示すように、優先順位設定処理Ｓ６において、制御装置８１は、データ整列処理Ｓ４によって並び替えられた地図データＭ１を、特定処理Ｓ７の結果に基づく並び替え順に並び替える。

制御装置８１は、判定処理Ｓ５においてＹＥＳと判定した後に実行する優先順位設定処理Ｓ６において、データ整列処理Ｓ４によって並び替えられた地図データＭ１を、本ルーチンで実行した特定処理Ｓ７の結果を記憶部８３から参照することにより並び替え順に並び替える。

制御装置８１は、判定処理Ｓ５においてＮＯと判定した後に実行する優先順位設定処理Ｓ６において、データ整列処理Ｓ４によって並び替えられた地図データＭ１を、前回のルーチンで実行した特定処理Ｓ７の結果を記憶部８３から参照することにより並び替え順に並び替える。

特定処理Ｓ７の結果に基づく並び替え順とは、特定処理Ｓ７で特定された特定グループに属する地図データＭ１を並び替え順の先頭にすることである。優先順位設定処理Ｓ６において、制御装置８１は、並び替え順の先頭から所定数の地図データＭ１のうち第２グループＧ２に属する地図データＭ１を並び替え順の先頭に並び替える。本実施形態では、所定数は、「４」である。所定数は、データ整列処理Ｓ４の後に地図データＭ１を並び替え順の先頭から順に見たとき、画像データＩＭ２の撮像環境と同じ撮像環境の地図画像データＩＭ１１が必ず含まれることを予め確認して設定される。制御装置８１は、優先順位設定処理Ｓ６を実行した後、画像マッチング処理Ｓ８を実行する。なお、所定数は、適宜変更してもよい。

図９に示すように、制御装置８１は、優先順位設定処理Ｓ６の後における、並び替え順の先頭から所定数の地図データＭ１のみを対象として画像マッチング処理Ｓ８を実行する。画像マッチング処理Ｓ８において、制御装置８１は、並び替え順の先頭から順に地図画像データＩＭ１１と切出画像データＩＭ１２とをマッチングする。マッチングの手法は、特定処理Ｓ７で実行したマッチングの手法と同じである。

画像マッチング処理Ｓ８において、制御装置８１は、切出画像データＩＭ１２との特徴点のペアの数が閾値以上となる地図画像データＩＭ１１を特定する。換言すると、画像マッチング処理Ｓ８において、制御装置８１は、切出画像データＩＭ１２とのマッチング数が閾値以上となる地図画像データＩＭ１１を特定する。制御装置８１は、当該ペアの数が閾値以上となった時点で、当該ペアの数が閾値以上となった地図画像データＩＭ１１を、画像データＩＭ２に対応する地図画像データＩＭ１１として特定する。画像マッチング処理Ｓ８は、並び替え順の先頭から順に地図画像データＩＭ１１と画像データＩＭ２とを比較することで画像データＩＭ２に対応する地図画像データＩＭ１１を特定する処理である。

本実施形態では、画像マッチング処理Ｓ８において、特定グループである第２グループＧ２に属する地図データＭ１が他のグループＧ１，Ｇ３，…Ｇｎに属する地図データＭ１よりも優先的に使用されている。このため、優先順位設定処理Ｓ６は、特定グループに属する地図データＭ１が画像マッチング処理Ｓ８で優先的に用いられるようにデータ整列処理Ｓ４によって並び替えられた複数の地図データＭ１を更に並び替える処理である。画像マッチング処理Ｓ８において、切出画像データＩＭ１２の特徴と、特定された地図画像データＩＭ１１の特徴とのマッチング数は、記憶部８３に記憶される。

記憶部８３に記憶されたマッチング数は、次回のルーチンにおける判定処理Ｓ５にて使用される。判定処理Ｓ５において、当該マッチング数が閾値以下である場合とは、前回の画像マッチング処理Ｓ８で使用された切出画像データＩＭ１２の撮像環境と、特定された地図画像データＩＭ１１の撮像環境とが異なっていることを示している。判定処理Ｓ５で使用される閾値は、画像データＩＭ２の撮像環境と、前回の画像マッチング処理Ｓ８において特定された地図画像データＩＭ１１との撮像環境とが異なることを示す数値である。

図９から把握できるように、切出画像データＩＭ１２に含まれる特徴Ｂと、第２グループＧ２に含まれる地図画像データＩＭ１１に含まれる特徴Ｂとは一致している。このため、制御装置８１は、画像データＩＭ２に対応する地図画像データＩＭ１１として、第２グループＧ２に含まれる地図画像データＩＭ１１のうちの１つを特定する。制御装置８１は、画像マッチング処理Ｓ８を実行した後、自己位置推定処理Ｓ９を実行する。

図１０に示すように、自己位置推定処理Ｓ９において、制御装置８１は、画像マッチング処理Ｓ８で特定された地図画像データＩＭ１１に基づき自己位置を推定する。自己位置とは、地図座標系での自律走行車１０の座標、及び自律走行車１０の姿勢を含む。

制御装置８１は、画像マッチング処理Ｓ８で特定された地図画像データＩＭ１１と切出画像データＩＭ１２との相対位置を算出する。特定された地図画像データＩＭ１１と切出画像データＩＭ１２との相対位置は、特定された地図画像データＩＭ１１と画像データＩＭ２との相対位置ともいえる。

図１０には、特定された地図画像データＩＭ１１と、切出画像データＩＭ１２との相対位置を示す。本実施形態では、特徴点同士が重なるように特定された地図画像データＩＭ１１と切出画像データＩＭ１２とを重ねたとき、座標ＣＰ１と座標ＣＰ２とは、距離Ｌだけ離間している。距離Ｌは、画像座標系での寸法である。制御装置８１は、画像座標系での距離Ｌを、特定された地図画像データＩＭ１１に対応付けられたピクセルスケールを用いて地図座標系の距離に変換する。制御装置８１は、地図座標系に変換された距離を特定された地図画像データＩＭ１１と切出画像データＩＭ１２との相対位置とする。

制御装置８１は、画像マッチング処理Ｓ８で特定された地図画像データＩＭ１１と切出画像データＩＭ１２との相対角度を算出する。特定された地図画像データＩＭ１１と切出画像データＩＭ１２との相対角度は、特定された地図画像データＩＭ１１と画像データＩＭ２との相対角度ともいえる。

特定された地図画像データＩＭ１１と切出画像データＩＭ１２との相対角度とは、特定された地図画像データＩＭ１１と切出画像データＩＭ１２とのずれ角である。特定された地図画像データＩＭ１１を取得した時点と、切出画像データＩＭ１２を取得した時点での自律走行車１０の姿勢に差が生じる。自律走行車１０の姿勢の差によって、切出画像データＩＭ１２は、特定された地図画像データＩＭ１１を回転させたものになる。この回転により生じるずれ角が、特定された地図画像データＩＭ１１と切出画像データＩＭ１２との相対角度である。なお、本実施形態では、特定された地図画像データＩＭ１１の特徴点と、切出画像データＩＭ１２の特徴点とが一致している。このため、図１０には、相対角度が「０」である一例を記載している。

制御装置８１は、特定された地図画像データＩＭ１１に対応付けられた位置情報と、相対位置と、相対角度とに基づき自己位置を推定する。制御装置８１は、特定された地図画像データＩＭ１１に対応付けられた座標情報を相対位置に対応する座標だけずらす。制御装置８１は、特定された地図画像データＩＭ１１に対応付けられた方位情報を相対角度分だけずらす。制御装置８１は、これにより得られる地図座標系での座標、及び姿勢を自己位置とする。制御装置８１は、自己位置推定処理Ｓ９を実行した後、処理を終了する。

＜本実施形態の作用＞
本実施形態の作用を説明する。
特定処理Ｓ７では、画像マッチング処理Ｓ８に使用する画像データＩＭ２の撮像環境に類似する地図データＭ１を特定できる。優先順位設定処理Ｓ６では、画像データＩＭ２の撮像環境に対する類似性を判断基準として、データ整列処理Ｓ４後の地図データＭ１を更に並び替える。このため、画像マッチング処理Ｓ８において、画像データＩＭ２と、画像データＩＭ２の撮像環境と最も類似する撮像環境の地図画像データＩＭ１１とを比較しやすくなる。

また、画像マッチング処理Ｓ８は、データ整列処理Ｓ４で並び替えた所定数の地図データＭ１のみを対象として実行される。このため、全ての地図画像データＩＭ１１と画像データＩＭ２とを比較する場合よりも画像マッチング処理Ｓ８の処理時間が短縮する。

＜本実施形態の効果＞
本実施形態の効果を説明する。
（１）特定処理Ｓ７及び優先順位設定処理Ｓ６が実行されることにより、画像マッチング処理Ｓ８で画像データＩＭ２の撮像環境と最も類似する撮像環境の地図画像データＩＭ１１が使用される。このため、自律走行車１０の自己位置の推定精度が向上する。また、画像マッチング処理Ｓ８において、全ての地図画像データＩＭ１１を使用する必要がないため、画像マッチング処理Ｓ８の処理時間が短くなる。したがって、画像マッチング処理Ｓ８の処理時間を短縮しつつ自己位置の推定精度が向上する。

（２）地図データ抽出処理Ｓ３において、規定数の地図データＭ１が抽出される。このため、特定処理Ｓ７で補助記憶装置７１に記憶された全ての地図画像データＩＭ１１を使用することがなくなる。これにより、画像マッチング処理Ｓ８の処理時間だけでなく、自律走行車１０が実行するルーチンの処理時間も短くなる。

（３）判定処理Ｓ５により特定処理Ｓ７を実行する頻度を抑えることができる。したがって、制御装置８１による処理負荷を抑えることができる。
＜変更例＞
なお、本実施形態は、以下のように変更して実施できる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施できる。

○ 特定処理Ｓ７では、特定グループとして第２グループＧ２が特定されたが、これに限らない。画像データＩＭ２が撮像された撮像環境と同じ撮像環境の地図画像データＩＭ１１を含むグループが特定されるのであれば、第１グループＧ１を特定グループとしてもよい。特定処理Ｓ７にて特定されるグループは、画像データＩＭ２の撮像環境によって適宜変更される。

○ 優先順位設定処理Ｓ６では、データ整列処理Ｓ４により並び替えられた地図データＭ１において、並び替え順の先頭から所定数の地図データＭ１のうち第２グループＧ２に属する地図データＭ１を並び替え順の先頭から２番目に並び替えてもよい。優先順位設定処理Ｓ６では、データ整列処理Ｓ４により並び替えられた地図データＭ１において、先頭から所定数の地図データＭ１のうち特定グループに属する地図データＭ１を並び替え順の先頭に近い位置に並び替えてもよい。

特定グループに属する地図データＭ１は、優先順位設定処理Ｓ６において、データ整列処理Ｓ４の後における、並び替え順の先頭から３番目に並び替えてもよい。所定数が「５」に変更された場合、特定グループに属する地図データＭ１は、優先順位設定処理Ｓ６において、データ整列処理Ｓ４の後における、並び替え順の先頭から４番目に並び替えてもよい。すなわち、優先順位設定処理Ｓ６は、並び順の先頭から所定数の地図データＭ１のうち特定グループに属する地図データＭ１を、優先順位設定処理Ｓ６を実行する前よりも上位に並び替える処理であればよい。換言すると、優先順位設定処理Ｓ６は、特定グループに属する地図データＭ１が画像マッチング処理Ｓ８で優先的に用いられるようにデータ整列処理Ｓ４によって並び替えられた複数の地図データＭ１を更に並び替える処理であればよい。

○ 本実施形態では、データ整列処理Ｓ４により並び替えられた地図データＭ１において、並び替え順の先頭から所定数に特定グループに属する地図データＭ１が１つだけ存在していたが、これに限らない。例えば、並び替え順の先頭から所定数に特定グループに属する地図データＭ１が複数存在するように所定数を決めてもよい。この場合、優先順位設定処理Ｓ６では、所定数に含まれる特定グループに属する地図データＭ１の全てを、優先順位設定処理Ｓ６を実行する前よりも上位に並び替えるとよい。

○ 規定数は、例えば、補助記憶装置７１に記憶された全ての地図データＭ１の数と一致していなければ、どのような数であってもよい。この変更に伴い、データ整列処理Ｓ４後の所定数の地図データＭ１に、画像データＩＭ２を撮像した撮像環境と同じ撮像環境で撮像された地図画像データＩＭ１１が含まれていない場合が考えられる。この場合、所定数の地図データＭ１のうちに、画像データＩＭ２を撮像した撮像環境と同じ撮像環境で撮像された地図画像データＩＭ１１が含まれるまで、地図データ抽出処理Ｓ３を繰り返してもよい。

○ 地図画像データＩＭ１１は、画像データＩＭ１を切り出したデータでなくてもよい。地図画像データＩＭ１１は、円形状のデータであってもよい。この変更に伴い、画像データＩＭ２を切り出して切出画像データＩＭ１２を取得する画像処理Ｓ２をルーチンから割愛してもよい。このように変更された場合、特定処理Ｓ７や画像マッチング処理Ｓ８では、円形状の地図画像データＩＭ１１と、画像データＩＭ２とをマッチングする。すなわち、特定処理Ｓ７や画像マッチング処理Ｓ８では、円形状の地図画像データＩＭ１１と、画像データＩＭ２とを直接的に比較してもよい。

○ 位置情報は、画像座標系においてカメラ４１の光軸位置を表す座標に対応付けられていればよく、地図画像データＩＭ１１に含まれていなくてもよい。すなわち、画像座標系においてカメラ４１の光軸位置を表す座標は、地図画像データＩＭ１１の範囲外であってもよい。

○ 地図データＭ１が記憶される記憶装置は、記憶部８３であってもよい。
○ 地図画像データＩＭ１１の画素位置を表す座標系と、画像データＩＭ２の画素位置を表す座標系は、異なる座標系であってもよい。

○ 制御装置８１は、地図作成部８５を備えていなくてもよい。制御装置８１は、地図データＭ１を作成する機能を備えていなくてもよい。例えば、自律走行車１０が複数存在する場合、１つの自律走行車１０によって地図データＭ１を作成し、この地図データＭ１を複製して、残りの自律走行車１０で用いられるようにすればよい。

○ 本実施形態では、カメラ４１は、鉛直方向を向いて配置できればよく、車体１１の底部とは異なる位置に設けられていてもよい。
○ カメラ４１で撮像する撮像対象を路面Ｓｒとしていたが、これに限らない。カメラ４１で撮像する撮像対象を、自律走行車１０の周囲に存在し得る建造物等に変更してもよい。この場合、カメラ４１は、例えば、自律走行車１０の前方や後方を向いて配置されてもよい。そして、記憶装置に記憶された複数の地図データＭ１は、例えば、撮像対象として建造物の状態毎に複数作成される。建造物の状態とは、例えば、雨が降っているときの建造物の外壁の凹凸の状態や、晴れているときの建造物の外壁の凹凸の状態、建造物の外壁に取り付けられる設備の位置の状態等である。

○ 本実施形態において、各処理Ｓ１～Ｓ９は、所定時間内に実行されるルーチンであったが、これに限らない。例えば、各処理Ｓ１～Ｓ７を所定時間内に実行されるルーチンとしてもよい。このように変更する場合、各処理Ｓ８，Ｓ９は、本ルーチンの次に実行されるルーチンの間に実行されるように変更する。ただし、画像マッチング処理Ｓ８は、１回のルーチンの後に１回のみ行われるようにする。すなわち、画像マッチング処理Ｓ８は、カメラ４１により撮像された画像データに対して１回のみ行われるようにする。換言すると、画像マッチング処理Ｓ８は、所定時間毎に実行されるようにする。

○データ整列処理Ｓ４は、前回のルーチンにおける位置情報を中心として、所定範囲に含まれる地図画像データＩＭ１１を有する地図データＭ１を並び替え順の先頭に近い位置に適宜並び替える処理であってもよい。

○ 図１１に示すように、自己位置推定処理Ｓ９が実行された後に、第２判定処理Ｓ１０及び特定処理Ｓ１１を追加してもよい。第２判定処理Ｓ１０において、制御装置８１は、画像マッチング処理Ｓ８において記憶部８３に記憶されたマッチング数が閾値以下であるか否かを判定する。第２判定処理Ｓ１０にて使用される閾値は、判定処理Ｓ５で使用される閾値と同じである。第２判定処理Ｓ１０において、ＹＥＳと判定された場合、処理を特定処理Ｓ１１へと進める。第２判定処理Ｓ１０において、ＮＯと判定された場合、ルーチンを終了する。特定処理Ｓ１１は、特定処理Ｓ７と同じ処理である。

本ルーチンにおける画像マッチング処理Ｓ８の後に特定処理Ｓ１１を実行することにより、例えば画像マッチング処理Ｓ８をする前後で撮像環境が変化する事象が発生しても、迅速に特定グループを更新することができる。

○ 判定処理Ｓ５において、所定の条件は、例えば、自律走行車１０及び制御装置８１が起動してから予め決められた時間が経過する毎、としてもよい。また、判定処理Ｓ５において、所定の条件は、例えば、自律走行車１０が予め決められた規定の距離を走行する毎、としてもよい。すなわち、所定の条件は、自律走行車１０が走行している環境の変化を定期的に確認するように設定してもよい。

○ 図１２に示すように、制御装置８１が実行するルーチンにおいて、データ整列処理Ｓ４の後に画像マッチング処理Ｓ８を実行し、画像マッチング処理Ｓ８の後に各処理Ｓ５，Ｓ６，Ｓ７が実行されるように変更してもよい。

本ルーチンにおいて初めて実行される画像マッチング処理Ｓ８は、データ整列処理Ｓ４の後において、並び替え順の先頭から所定数の地図データＭ１のみを対象として実行されるように変更する。画像マッチング処理Ｓ８が実行された後に判定処理Ｓ５が実行される。

判定処理Ｓ５において、ＮＯと判定された場合、処理を自己位置推定処理Ｓ９へと進めるように変更する。判定処理Ｓ５において、ＹＥＳと判定された場合、特定処理Ｓ７及び優先順位設定処理Ｓ６を実行した後、再び画像マッチング処理Ｓ８を実行するように変更する。

本ルーチンにおいて優先順位設定処理Ｓ６の後に２回目の画像マッチング処理Ｓ８が実行された場合、所定の条件から「自律走行車１０及び制御装置８１が起動時であること」の条件を割愛する。

１０…自律走行車、４１…カメラ、７１…補助記憶装置、８１…自律走行車の制御装置、８４…取得部、８６…自己位置推定部、Ｍ１…地図データ、ＩＭ１，ＩＭ２…画像データ、ＩＭ１１…地図画像データ、ＩＭ１２…切出画像データ、Ｓ４…データ整列処理、Ｓ７…特定処理、Ｓ６…優先順位設定処理、Ｓ８…画像マッチング処理、Ｓ９…自己位置推定処理、Ｇ１，Ｇ２，…Ｇｎ…グループ。

Claims (3)

1. 自己位置を推定しながら走行する自律走行車であって、
   所定時間毎に撮像するカメラと、
   予め撮像された地図画像データに位置情報を対応付けた地図データが複数記憶された記憶装置と、
   前記カメラから画像データを取得する取得部と、
   前記地図画像データと前記画像データとを比較することで当該画像データに対応する前記地図画像データを特定する画像マッチング処理を前記所定時間毎に実行し、特定された当該地図画像データと当該画像データとの相対位置、及び特定された当該地図画像データと当該画像データとの相対角度から自己位置を推定する自己位置推定処理を実行する自己位置推定部と、
   前記自律走行車の自己位置を推定するための処理を実行する処理装置と、を備え、
   複数の前記地図データは、撮像対象の状態毎に複数のグループに分けられており、
   前記処理装置は、
   複数の前記地図データを所定の並び替え順に並び替える処理であるデータ整列処理と、
   前記データ整列処理の後に所定の条件を満たした場合、前記画像データと複数の前記グループのそれぞれに含まれる前記地図画像データとを比較して、当該画像データに最も類似する前記地図画像データを含む前記グループを特定グループとして特定する特定処理と、
   前記データ整列処理によって並び替えられた複数の前記地図データを、前記特定グループに属する前記地図データが前記画像マッチング処理で優先的に用いられるように更に並び替える優先順位設定処理と、を実行し、
   前記画像マッチング処理は、前記優先順位設定処理の後において、並び替え順の先頭から所定数の前記地図データのみを対象として、並び替え順の先頭から順に前記地図画像データと前記画像データとを比較することで当該画像データに対応する前記地図画像データを特定する
   自律走行車。
2. 前記データ整列処理において、前記所定の並び順は、前回の前記画像マッチング処理が実行されたときの前記位置情報に距離が近い順である
   請求項１に記載の自律走行車。
3. 自己位置を推定しながら走行する自律走行車を制御する制御装置であって、
   所定時間毎に撮像するカメラから画像データを取得する取得部と、
   予め撮像された地図画像データに位置情報を対応付けた複数の地図データに含まれる当該地図画像データと前記画像データとを比較することで当該画像データに対応する前記地図画像データを特定する画像マッチング処理を前記所定時間毎に実行し、特定された当該地図画像データと、当該画像データとの相対位置、及び特定された当該地図画像データと当該画像データとの相対角度から自己位置を推定する自己位置推定処理を実行する自己位置推定部と、を備え、
   複数の前記地図データは、撮像対象の状態毎に複数のグループに分けられており、
   前記制御装置は、
   複数の前記地図データを所定の並び替え順に並び替える処理であるデータ整列処理と、
   前記データ整列処理の後に所定の条件を満たした場合、前記画像データと複数の前記グループのそれぞれに含まれる前記地図画像データとを比較して、当該画像データに最も類似する前記地図画像データを含む前記グループを特定グループとして特定する特定処理と、
   前記データ整列処理によって並び替えられた複数の前記地図データを、前記特定グループに属する前記地図データが前記画像マッチング処理で優先的に用いられるように更に並び替える優先順位設定処理と、を実行し、
   前記画像マッチング処理は、前記優先順位設定処理の後において、並び替え順の先頭から所定数の前記地図データのみを対象として、並び替え順の先頭から順に前記地図画像データと前記画像データとを比較することで当該画像データに対応する前記地図画像データを特定する
   自律走行車の制御装置。

Images