JP2022148593A - 自律走行車 - Google Patents

自律走行車 Download PDF

Info

Publication number
JP2022148593A
JP2022148593A JP2021050338A JP2021050338A JP2022148593A JP 2022148593 A JP2022148593 A JP 2022148593A JP 2021050338 A JP2021050338 A JP 2021050338A JP 2021050338 A JP2021050338 A JP 2021050338A JP 2022148593 A JP2022148593 A JP 2022148593A
Authority
JP
Japan
Prior art keywords
image data
map
camera
map image
clipped
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021050338A
Other languages
English (en)
Other versions
JP7528832B2 (ja
Inventor
峰志 宇野
Mineshi Uno
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Industries Corp
Original Assignee
Toyota Industries Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Industries Corp filed Critical Toyota Industries Corp
Priority to JP2021050338A priority Critical patent/JP7528832B2/ja
Priority to DE112022001710.4T priority patent/DE112022001710T5/de
Priority to US18/282,869 priority patent/US20240167823A1/en
Priority to PCT/JP2022/013624 priority patent/WO2022202915A1/ja
Publication of JP2022148593A publication Critical patent/JP2022148593A/ja
Application granted granted Critical
Publication of JP7528832B2 publication Critical patent/JP7528832B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Signal Processing (AREA)

Abstract

Figure 2022148593000001
【課題】自己位置推定精度の低下を抑制すること。
【解決手段】自律走行車は、カメラと、制御装置と、補助記憶装置と、を備える。カメラは、鉛直方向を向いて配置されている。補助記憶装置は、地図データを記憶している。地図データは、地図画像データと位置情報とを対応付けたデータである。位置情報は、地図画像データの画素位置を表す座標系においてカメラの光軸位置を表す座標に対応付けられている。制御装置は、カメラから画像データを取得する。制御装置は、画像データの一部を切り出す。制御装置は、画像データから切り出された切出画像データと地図画像データとをマッチングすることで切出画像データに対応する地図画像データを特定する。制御装置は、当該地図画像データと切出画像データとの相対位置から自己位置を推定する。
【選択図】図3

Description

本開示は、自律走行車に関する。
特許文献1に開示の自律走行車は、カメラと、記憶装置と、制御部と、を備える。カメラは、路面を撮像するように配置されている。記憶装置は、地図データを記憶している。地図データは、地図画像データと位置情報とを対応付けたデータである。位置情報は、例えば、地図画像データの中心画素に対応付けられる。制御部は、カメラから画像データを取得する。制御部は、画像データと地図画像データとのマッチングを行う。このマッチングにより、制御部は、画像データに対応する地図画像データを特定する。制御部は、地図画像データに対応付けられた位置情報と、地図画像データと画像データとの相対位置と、に基づき自己位置を推定する。地図画像データと画像データとの相対位置とは、地図画像データのうち位置情報が対応付けられた画素と、当該画素に対応する画像データの画素とのずれ量である。地図画像データの中心画素に位置情報が対応付けられていれば、画像データの中心画素と、画像データとマッチングされた地図画像データの中心画素とのずれ量が地図画像データと画像データとの相対位置である。
米国特許第8725413号明細書
自己位置の推定に要する処理時間を短縮するため、画像データの一部のみを用いて自己位置を推定する場合がある。この場合、カメラの上下動によって、地図画像データと画像データとの相対位置が変化する場合がある。この相対位置の変化を原因として、自己位置推定精度が低下するおそれがある。
上記課題を解決する自律走行車は、路面を撮像するように、鉛直方向を向いて配置されたカメラと、前記路面を予め撮像した地図画像データと位置情報とを対応付けた地図データを記憶した記憶装置と、前記カメラから画像データを取得する取得部と、前記画像データから予め定められた範囲を切り出した切出画像データと前記地図画像データとをマッチングすることで前記切出画像データに対応する前記地図画像データを特定し、当該地図画像データと前記切出画像データとの相対位置から自己位置を推定する自己位置推定部と、を備え、前記地図データは、前記地図画像データの画素位置を表す座標系において前記カメラの光軸位置を表す座標に前記位置情報を対応付けたデータである。
地図画像データの画素位置を表す座標系においてカメラの光軸位置を表す座標は、カメラが上下動しても対応する路面の位置が変化しない。従って、カメラが上下動しても、地図画像データと切出画像データとの相対位置が変化しない。カメラの上下動により自己位置推定精度が低下することを抑制できる。
本発明によれば、自己位置推定精度の低下を抑制することができる。
自律走行車を示す側面図。 自律走行車を示すブロック図。 地図作成処理を示すフローチャート。 画像データの一例を示す図。 地図データの一例を示す図。 自己位置推定処理を示すフローチャート。 切出画像データの一例を示す図。 地図画像データと切出画像データの相対位置を説明するための図。 比較例の地図データを示す図。 比較例の切出画像データを示す図。 実施形態の作用を説明するための図。
以下、自律走行車の一実施形態について説明する。以下の説明において、前後左右とは、自律走行車を基準とした場合の前後左右である。前後方向は、自律走行車の進行方向と一致する。左右方向は、自律走行車の車幅方向と一致する。
図1及び図2に示すように、自律走行車10は、車体11と、駆動輪21と、操舵輪31と、走行モータドライバ22と、走行モータ23と、操舵モータドライバ32と、操舵モータ33と、カメラ41と、照明装置51と、測位装置61と、制御装置81と、補助記憶装置71と、を備える。自律走行車10は、乗用車であってもよいし、産業車両であってもよい。産業車両は、フォークリフト、トーイングトラクタ、及び無人搬送車を含む。
走行モータ23は、駆動輪21を回転させるためのモータである。走行モータドライバ22は、制御装置81からの指令に応じて走行モータ23を駆動させる。走行モータ23の駆動により駆動輪21が回転することで、自律走行車10は走行する。操舵モータ33は、操舵輪31を操舵するためのモータである。操舵モータドライバ32は、制御装置81からの指令に応じて操舵モータ33を駆動させる。操舵モータ33の駆動により操舵輪31が操舵されることで、自律走行車10は旋回する。
カメラ41は、デジタルカメラである。カメラ41は、撮像素子を備える。撮像素子としては、例えば、CCDイメージセンサ(Charge Coupled Device image sensor)、及びCMOSイメージセンサ(Complementary Metal Oxide Semiconductor image sensor)を挙げることができる。カメラ41としては、例えば、RGBカメラ、赤外線カメラ、グレースケールカメラ、及び可視光カメラを挙げることができる。
カメラ41は、所定のフレームレートで撮像を行って画像データを生成する。この画像データは、カメラ41で撮像した画像のデジタルデータである。
カメラ41は、路面Srを撮像するように配置されている。カメラ41は、路面Srを撮像した画像を示す画像データを生成するといえる。カメラ41は、鉛直方向を向いた状態で車体11の底部に設けられている。詳細にいえば、カメラ41の光軸と鉛直方向とが一致するようにカメラ41は設けられている。なお、カメラ41が鉛直方向を向いた状態とは、カメラ41の取付精度による誤差を許容するものであり、カメラ41は鉛直方向に対して若干ずれた方向を向いた状態で取り付けられていてもよい。
照明装置51は、路面Srの照明を行うように配置されている。詳細にいえば、照明装置51は、路面Srのうちカメラ41によって撮像される範囲の照明を行う。本実施形態において、照明装置51は、下方を向いた状態で車体11の底部に設けられている。照明装置51としては、例えば、発光ダイオードを用いることができる。
測位装置61は、衛星航法装置62と、慣性測定装置63と、を備える。衛星航法装置62は、GNSS(Global Navigation Satellite System)衛星から送信される衛星信号を用いて位置を測定するものである。慣性測定装置63は、ジャイロセンサ、及び加速度センサを含む。
制御装置81は、プロセッサ82と、記憶部83と、を備える。プロセッサ82としては、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、及びDSP(Digital Signal Processor)を挙げることができる。記憶部83は、RAM(Random Access Memory)及びROM(Read Only Memory)を含む。記憶部83は、処理をプロセッサ82に実行させるように構成されたプログラムコードまたは指令を格納している。記憶部83、即ち、コンピュータ可読媒体は、汎用または専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。制御装置81は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェア回路によって構成されていてもよい。処理回路である制御装置81は、コンピュータプログラムに従って動作する1つ以上のプロセッサ、ASICやFPGA等の1つ以上のハードウェア回路、或いは、それらの組み合わせを含み得る。
制御装置81は、地図作成部84と、取得部85と、自己位置推定部86と、を備える。地図作成部84、取得部85、及び自己位置推定部86は、制御装置81が予め定められたプログラムを実行することで機能する機能要素である。
補助記憶装置71は、制御装置81が読み取り可能な情報を記憶している。補助記憶装置71としては、例えば、ハードディスクドライブ、ソリッドステートドライブ、及びフラッシュメモリを挙げることができる。
補助記憶装置71は、地図データM1を記憶している。地図データM1は、路面Srを予め撮像した地図画像データと位置情報とを対応付けたものである。位置情報は、座標情報と、方位情報と、を含む。座標情報は、絶対位置を表す座標系である地図座標系の座標である。地図座標系は、直交座標系であってもよいし、地理座標系であってもよい。方位情報は、地図座標系の座標軸に対する傾きを示す情報である。補助記憶装置71は、地図データM1を記憶した記憶装置である。
地図データM1は、予め作成されている。地図データM1は、例えば、自律走行車10が走行すると想定される場所を、予め自律走行車10で走行することで得ることができる。以下、地図作成処理について説明する。地図作成処理は、地図データM1を作成する際に制御装置81が行う処理である。
図3に示すように、ステップS1において、制御装置81は、カメラ41から画像データを取得する。一例として、図4に示す画像データIM1を取得したとして説明を行う。図4に示すように、本実施形態の画像データIM1は、円形状の画像データである。画像データIM1には、路面Srの特徴Bが写っている。路面Srの特徴は、例えば、路面Srの凹凸である。本実施形態では、路面Srの特徴Bを模式的に示す。
図3に示すように、次に、ステップS2において、制御装置81は、位置情報を取得する。位置情報は、測位装置61を用いて取得することができる。位置情報は、例えば、衛星航法装置62を用いて取得した経緯度、及び慣性測定装置63を用いて算出する自己移動量によって算出可能である。
次に、ステップS3において、制御装置81は、画像データIM1の一部を切り出す。本実施形態では、画像データIM1の半分を切り出す。図4に示す例では、画像データIM1から、斜線部分を除いた範囲が切り出される。制御装置81は、切り出された画像データを地図画像データIM11とする。地図画像データIM11は、半円形状の画像データといえる。制御装置81は、例えば、画像データIM1の前半分、後半分、右半分、左半分など、任意の方向の範囲を切り出すことができる。本実施形態では、画像データIM1の前半分を切り出しているとする。画像データIM1から切り出される地図画像データIM11の大きさ、及び画像データIM1から切り出される地図画像データIM11の位置は、任意に設定することができる。
次に、ステップS4において、制御装置81は、地図画像データIM11に、ステップS2で取得した位置情報を対応付ける。詳細にいえば、制御装置81は、ステップS1で画像データIM1を取得した時刻と同時刻に取得した位置情報を地図画像データIM11に対応付ける。図4に示すように、制御装置81は、地図画像データIM11の画素位置を表す座標系においてカメラ41の光軸位置を表す座標CP1に位置情報を対応付ける。地図画像データIM11の画素位置を表す座標系は、画像座標系である。画像座標系とは、画像データIM1の画素位置を表す2軸直交座標系である。画像データIM1の画素位置は、例えば、画素の横位置を表す座標と、画素の縦位置を表す座標とで表現できる。地図画像データIM11は、画像データIM1の一部を切り出したものであるため、地図画像データIM11の画素位置は画像座標系で表現することができる。画像座標系においてカメラ41の光軸位置を表す座標CP1は、地図画像データIM11を切り出す前の画像データIM1の中心座標に一致する。地図画像データIM11が半円形状であれば、弦の中点に位置する座標がカメラ41の光軸位置を表す座標CP1である。
また、制御装置81は、地図画像データIM11に、ピクセルスケールを対応付ける。ピクセルスケールとは、1画素当たりの実際のサイズである。制御装置81は、撮像時刻や地図画像データIM11毎に個別に付与される画像ナンバーを地図画像データIM11に対応付けてもよい。
制御装置81がステップS1~ステップS4の処理を所定の周期で繰り返し行うことで、地図データM1が作成される。図5に示すように、地図データM1は、地図座標系において、位置情報に応じて地図画像データIM11~IM13を並べたデータとみなすことができる。一例として、図5に示すように、3つの地図画像データIM11~IM13による地図データM1が作成されたとして説明を行う。地図作成処理を行うことで、制御装置81は、地図作成部84を備えているといえる。
制御装置81は、上記した地図データM1を用いて自己位置を推定しながら、走行モータドライバ22及び操舵モータドライバ32を制御する。これにより、制御装置81は、自律走行車10を目標位置に移動させる。目標位置は、自律走行車10のユーザーが設定するものであってもよいし、自律走行車10の上位制御装置が設定するものであってもよい。
制御装置81が行う自己位置推定処理について説明する。自己位置推定処理は、自律走行車10が起動している間、所定の制御周期で繰り返し行われるルーチンである。
図6に示すように、ステップS11において、制御装置81は、カメラ41から画像データを取得する。ステップS11の処理を行うことで、制御装置81は、取得部85を備えているといえる。
次に、ステップS12において、制御装置81は、画像データの一部を切り出す。この際、制御装置81は、画像データから切り出される範囲が、地図画像データIM11~IM13と同一の範囲となるように画像データを切り出す。即ち、地図画像データIM11~IM13と同一の大きさであり、かつ、地図画像データIM11~IM13と同一の位置を画像データから切り出す。本実施形態では、画像データIM1の前半分を切り出して地図画像データIM11~IM13としている。このため、制御装置81は、画像データの前半分を切り出す。以下、画像データから切り出された画像データを切出画像データと称する。一例として、制御装置81は、画像データを切り出すことで、図7に示す切出画像データIM21を取得したとする。切出画像データIM21の画素位置は、画像座標系の座標で表すことができる。地図画像データIM11~IM13の画素位置と、切出画像データIM21の画素位置とは同一の座標系で表すことができるといえる。例えば、地図画像データIM11~IM13の弦の中点を表す座標CP1と、切出画像データIM21の弦の中点を表す座標CP11とは、同一座標で表現することができる。
図6に示すように、次に、ステップS13において、制御装置81は、切出画像データIM21と、地図画像データIM11~IM13とのマッチングを行う。制御装置81は、切出画像データIM21から特徴点を抽出する。制御装置81は、特徴点の特徴量を記述する。特徴量としては、例えば、特徴量ベクトル、及び輝度値を挙げることができる。また、制御装置81は、地図画像データIM11~IM13を用いて特徴点の抽出、及び特徴量の記述を行う。
制御装置81は、切出画像データIM21から得られた特徴点及び特徴量と、地図画像データIM11~IM13から得られた特徴点及び特徴量とをマッチングし、特徴量が類似する特徴点のペアを探索する。制御装置81は、特徴点のペアに基づき、地図画像データIM11~IM13を特定する。例えば、制御装置81は、特徴点のペアが集中している地図画像データIM11~IM13を切出画像データIM21に対応する地図画像データであると特定する。上記したマッチングは、特徴量記述子を用いて行うことができる。特徴量記述子としては、例えば、ORB(Oriented FAST and Rotated BRIEF)、SIFT(Scale-Invariant Feature Transform)、及びSURF(Speeded Up Robust Features)を挙げることができる。
一例として、切出画像データIM21に対応する地図画像データIM11~IM13として、地図画像データIM13が特定されたとする。図5及び図7から把握できるように、切出画像データIM21に含まれる特徴Bと、地図画像データIM13に含まれる特徴Bとは一致している。このように、マッチングを行うことで、切出画像データIM21と特徴Bのパターンが一致、あるいは、類似する地図画像データIM13を特定することができる。
図6に示すように、次に、ステップS14において、制御装置81は、地図画像データIM13に基づき、自己位置を推定する。自己位置とは、地図座標系での自律走行車10の座標、及び自律走行車10の姿勢を含む。制御装置81は、地図画像データIM13と切出画像データIM21との相対位置、及び切出画像データIM21と地図画像データIM13との相対角度を算出する。地図画像データIM13と切出画像データIM21との相対位置とは、切出画像データIM21と地図画像データIM13とのずれ量である。切出画像データIM21と地図画像データIM13との相対角度とは、切出画像データIM21と地図画像データIM13とのずれ角である。切出画像データIM21と地図画像データIM13とは、完全には一致しない場合が多い。これは、地図画像データIM13を取得した時点と、切出画像データIM21を取得した時点とで自律走行車10の位置及び姿勢が完全に一致することが少ないためである。このため、切出画像データIM21は、地図画像データIM13の一部にのみ一致することが多い。地図画像データIM13を取得した時点と、切出画像データIM21を取得した時点で、自律走行車10の位置がずれていた場合、自律走行車10の位置の差によって地図画像データIM13に写る路面Srの位置と切出画像データIM21に写る路面Srの位置にずれが生じる。このずれ量が、地図画像データIM13と切出画像データIM21との相対位置である。ずれ量は、地図画像データIM13の特徴点と切出画像データIM21の特徴点との位置関係から把握することができる。同様に、地図画像データIM13を取得した時点と、切出画像データIM21を取得した時点での自律走行車10の姿勢の差によって、切出画像データIM21は、地図画像データIM13を回転させたものになる。この回転により生じるずれ角が、切出画像データIM21と地図画像データIM13との相対角度である。制御装置81は、地図画像データIM13に対応付けられた位置情報と、相対位置と、相対角度とに基づき自己位置を推定する。制御装置81は、地図画像データIM13に対応付けられた座標情報を相対位置に対応する座標だけずらす。制御装置81は、地図画像データIM13に対応付けられた方位情報を相対角度分だけずらす。これにより得られる地図座標系での座標、及び姿勢を制御装置81は自己位置とする。
地図画像データIM13と切出画像データIM21との相対位置を算出する際、制御装置81は、地図画像データIM13において位置情報が対応付けられた座標と、この座標と同一座標となる切出画像データIM21の座標とのずれ量を算出する。そして、制御装置81は、このずれ量を地図画像データIM13と切出画像データIM21との相対位置とする。図8には、地図画像データIM13と、切出画像データIM21との相対位置を示す。本実施形態では、地図画像データIM13の弦の中点を表す座標CP1と切出画像データIM21の弦の中点を表す座標CP11との距離L1が、地図画像データIM13と切出画像データIM21との相対位置である。詳細にいえば、特徴点同士が重なるように地図画像データIM13と切出画像データIM21とを並べた場合において、地図画像データIM13の座標CP1と切出画像データIM21の座標CP11との距離L1が、地図画像データIM13と切出画像データIM21との相対位置である。この相対位置は、画像座標系での寸法である。このため、自己位置を算出する際には、画像座標系での相対位置を地図座標系での相対位置に変換する。画像座標系での相対位置を地図座標系での相対位置に変換する際には、ピクセルスケールを用いればよい。ステップS13及びステップS14の処理を行うことで、制御装置81は、自己位置推定部86を備えているといえる。
本実施形態の作用について説明する。まず、比較例について説明を行う。
図9に示すように、地図画像データIM31の中心画素CP21に位置情報が対応付けされているとする。図10に示すように、制御装置81が、切出画像データIM41を取得し、この切出画像データIM41を用いてマッチングを行うとする。なお、説明の便宜上、地図画像データIM31と、切出画像データIM41とは自律走行車10が同一位置、同一姿勢で撮像したものであるとする。従って、地図画像データIM31と、切出画像データIM41とは完全に一致している。
前述したように、地図画像データIM31と切出画像データIM41との相対位置は、地図画像データIM31において位置情報が対応付けられた座標と、この座標と同一座標となる切出画像データIM41の座標とのずれ量である。地図画像データIM31の中心画素CP21と、切出画像データIM41の中心画素CP22とのずれ量は0である。このため、制御装置81は、地図画像データIM31の中心画素CP21に対応付けられた位置情報を自己位置とする。
自律走行車10に積み荷を載せたり、自律走行車10に人が乗り込むと、積み荷や人の重量によって駆動輪21のタイヤ及び操舵輪31のタイヤが収縮する。これにより、カメラ41が下降し、カメラ41と路面Srとの距離が短くなる。すると、カメラ41によって撮像される路面Srの範囲が狭くなる。この状態で制御装置81が取得する切出画像データIM41は、図10に示すように、カメラ41が下降していない状態で取得される切出画像データIM41よりも狭い範囲A1を撮像したデータとなる。切出画像データIM41の中心画素CP22と、範囲A1の中心位置CP23とでは対応する路面Srの位置が異なる。これにより、範囲A1を撮像した切出画像データを用いて自己位置を推定する場合、切出画像データIM41を取得した場合と同一位置、同一姿勢で撮像を行っているにも関わらず、切出画像データの中心画素と地図画像データIM31の中心画素CP21とのずれが生じる。このずれ量が自己位置推定精度の低下の原因となる。例えば、図9に示すように、地図画像データIM31の中心画素CP21と、範囲A1の中心位置CP23とのずれ量によって自己位置推定精度が低下する。
これに対し、本実施形態では、地図画像データにおいて、画像座標系におけるカメラ41の光軸位置に位置情報を対応付けている。カメラ41の光軸位置は、カメラ41が上下動しても画像座標系での座標が変化しない。言い換えれば、画像座標系におけるカメラ41の光軸位置は、カメラ41が上下動しても路面Srにおける同一位置に対応している。
図11に示すように、切出画像データIM41においてカメラ41の光軸位置を表す座標CP31は、範囲A1を撮像した場合の切出画像データにおいてカメラ41の光軸位置を表す座標CP32と一致する。このため、カメラ41の上下動によって切出画像データIM41と地図画像データIM31との相対位置が変化しない。
なお、上記した説明では、一例として、タイヤの収縮によりカメラ41が下降する場合について説明を行った。地図画像データを取得した時点と、切出画像データとを取得した時点とで、カメラ41の上下方向の位置が異なる場合には、同様のことがいえる。例えば、地図画像データの中心画素に位置情報を対応付ける場合、地図画像データと取得した時点よりも、切出画像データを取得した時点のほうがカメラ41の位置が高いと、同様の課題が生じ得る。これに対し、地図画像データにおいて、画像座標系におけるカメラ41の光軸位置に位置情報を対応付けることで、自己位置推定精度の低下を抑制できる。
本実施形態の効果について説明する。
(1)画像座標系においてカメラ41の光軸位置を表す座標CP1は、カメラ41の位置が上下動しても路面Srの対応する位置が変化しない。即ち、画像座標系においてカメラ41の光軸位置を表す座標CP1は、カメラ41が上下動しても路面Srの一定位置を写す。このため、カメラ41が上下動しても、地図画像データと画像データとの相対位置は変化しない。画像座標系においてカメラ41の光軸位置を表す座標CP1に位置情報を対応付けることで、カメラ41の上下動により自己位置推定精度が低下することを抑制できる。
(2)切出画像データを用いて、地図画像データとマッチングを行っている。カメラ41の取付位置によっては、画像データに車体11の一部が入り込むおそれがある。この際、車体11が入り込む領域を除いた切出画像データが切り出されるようにすることで、車体11の一部が入り込む領域を除外した切出画像データを得ることができる。切出画像データに車体11の一部が入り込んでいると、自己位置推定精度の低下の原因となる。車体11の一部が入り込む領域を除外した切出画像データを用いてマッチングを行うことで、自己位置推定精度の低下を抑制できる。
実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変形例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
○地図画像データは、画像データの一部を切り出したデータでなくてもよい。実施形態であれば、地図画像データは、円形の画像データであってもよい。この場合であっても、切出画像データとのマッチングを行う際に、地図画像データの一部を切り出すことでマッチングを行えばよい。
○位置情報は、画像座標系においてカメラ41の光軸位置を表す座標に対応付けられていればよく、地図画像データに含まれていなくてもよい。即ち、画像座標系においてカメラ41の光軸位置を表す座標は、地図画像データの範囲外であってもよい。
○地図データM1が記憶される記憶装置は、記憶部83であってもよい。
○地図画像データの画素位置を表す座標系と、画像データの画素位置を表す座標系は、異なる座標系であってもよい。
○制御装置81は、地図作成部84を備えていなくてもよい。即ち、制御装置81は、地図データM1を作成する機能を備えていなくてもよい。例えば、自律走行車10が複数存在する場合、1つの自律走行車10によって地図データM1を作成し、この地図データM1を複製して、残りの自律走行車10で用いられるようにすればよい。
○カメラ41は、鉛直方向を向いて配置できればよく、車体11の底部とは異なる位置に設けられていてもよい。
○地図作成部84、取得部85、及び自己位置推定部86は、それぞれ、別々の装置であってもよい。
IM11~IM13…地図画像データ、IM21…切出画像データ、M1…地図データ、Sr…路面、10…自律走行車、41…カメラ、71…記憶装置としての補助記憶装置、85…取得部、86…自己位置推定部。

Claims (1)

  1. 路面を撮像するように、鉛直方向を向いて配置されたカメラと、
    前記路面を予め撮像した地図画像データと位置情報とを対応付けた地図データを記憶した記憶装置と、
    前記カメラから画像データを取得する取得部と、
    前記画像データから予め定められた範囲を切り出した切出画像データと前記地図画像データとをマッチングすることで前記切出画像データに対応する前記地図画像データを特定し、当該地図画像データと前記切出画像データとの相対位置から自己位置を推定する自己位置推定部と、を備え、
    前記地図データは、前記地図画像データの画素位置を表す座標系において前記カメラの光軸位置を表す座標に前記位置情報を対応付けたデータである自律走行車。
JP2021050338A 2021-03-24 2021-03-24 自律走行車 Active JP7528832B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021050338A JP7528832B2 (ja) 2021-03-24 2021-03-24 自律走行車
DE112022001710.4T DE112022001710T5 (de) 2021-03-24 2022-03-23 Autonom fahrendes fahrzeug und selbstpositionsschätzungsverfahren für ein autonom fahrendes fahrzeug
US18/282,869 US20240167823A1 (en) 2021-03-24 2022-03-23 Autonomous traveling vehicle, and own-position estimating method for autonomous traveling vehicle
PCT/JP2022/013624 WO2022202915A1 (ja) 2021-03-24 2022-03-23 自律走行車及び自律走行車の自己位置推定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021050338A JP7528832B2 (ja) 2021-03-24 2021-03-24 自律走行車

Publications (2)

Publication Number Publication Date
JP2022148593A true JP2022148593A (ja) 2022-10-06
JP7528832B2 JP7528832B2 (ja) 2024-08-06

Family

ID=83395749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021050338A Active JP7528832B2 (ja) 2021-03-24 2021-03-24 自律走行車

Country Status (4)

Country Link
US (1) US20240167823A1 (ja)
JP (1) JP7528832B2 (ja)
DE (1) DE112022001710T5 (ja)
WO (1) WO2022202915A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936817A (zh) * 2022-12-30 2023-04-07 北京白驹易行科技有限公司 一种乘客订单起点聚合方法、装置及计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012127896A (ja) 2010-12-17 2012-07-05 Kumamoto Univ 移動体位置測定装置
US8725413B2 (en) 2012-06-29 2014-05-13 Southwest Research Institute Location and motion estimation using ground imaging sensor
JP6439972B2 (ja) 2014-12-18 2018-12-19 清水建設株式会社 移動体位置検出システムおよび方法
JP6639557B2 (ja) 2018-05-01 2020-02-05 Ikomaロボテック株式会社 無人搬送車及びその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115936817A (zh) * 2022-12-30 2023-04-07 北京白驹易行科技有限公司 一种乘客订单起点聚合方法、装置及计算机设备
CN115936817B (zh) * 2022-12-30 2024-02-20 北京白驹易行科技有限公司 一种乘客订单起点聚合方法、装置及计算机设备

Also Published As

Publication number Publication date
DE112022001710T5 (de) 2024-01-18
JP7528832B2 (ja) 2024-08-06
WO2022202915A1 (ja) 2022-09-29
US20240167823A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
US20230152461A1 (en) Determining Yaw Error from Map Data, Lasers, and Cameras
US11386567B2 (en) Systems and methods for weakly supervised training of a model for monocular depth estimation
JP7082545B2 (ja) 情報処理方法、情報処理装置およびプログラム
US11144818B2 (en) Network architecture for ego-motion estimation
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
WO2022202915A1 (ja) 自律走行車及び自律走行車の自己位置推定方法
US20210080264A1 (en) Estimation device, estimation method, and computer program product
JP2021193340A (ja) 自己位置推定装置
JP6959032B2 (ja) 位置推定装置、移動装置
US20230097592A1 (en) Systems, Methods, and Apparatus for Aligning Image Frames
WO2022133986A1 (en) Accuracy estimation method and system
JP7574780B2 (ja) 自律走行車、及び自律走行車の制御装置
CN113826145A (zh) 距离测量的系统和方法
JP2023181722A (ja) 自律走行車
JP7564742B2 (ja) 情報処理装置及び情報処理方法
WO2022191015A1 (ja) 自律走行車
JP2024071018A (ja) 地図データ作成装置
JP7489002B2 (ja) 自律走行車
WO2023017624A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
JP2023168725A (ja) 自律走行車
JP2024117489A (ja) 自律走行車及び地図データ作成装置
WO2024145460A1 (en) Systems and methods for downsampling images
CN117581281A (zh) 信息处理装置、信息处理方法、以及信息处理程序
CN118264761A (zh) 用于校准安装在车辆上的摄像头的方法和装置
CN116433771A (zh) 视觉slam定位方法、装置、电子设备及可存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240708

R150 Certificate of patent or registration of utility model

Ref document number: 7528832

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150