JP2020076714A - Position attitude estimation device - Google Patents
Position attitude estimation device Download PDFInfo
- Publication number
- JP2020076714A JP2020076714A JP2018211546A JP2018211546A JP2020076714A JP 2020076714 A JP2020076714 A JP 2020076714A JP 2018211546 A JP2018211546 A JP 2018211546A JP 2018211546 A JP2018211546 A JP 2018211546A JP 2020076714 A JP2020076714 A JP 2020076714A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- unit
- images
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両に搭載された撮像部の位置及び姿勢を推定する位置姿勢推定装置に関する。 The present invention relates to a position / orientation estimation device that estimates the position and orientation of an imaging unit mounted on a vehicle.
車両の運転支援あるいは自動運転制御に利用するため、車両周囲に存在する物体を検知するためのカメラが車両に搭載されることがある。カメラが撮影することで得られた画像に表された物体と車両との位置関係を正確に推定するためには、カメラの位置及び姿勢が正確に求められることが好ましい。そこで、移動体が直進する時の移動体の移動前後において、移動体に設置された各カメラにより得られた画像に基づいて、カメラ間の相対位置を推定する技術が提案されている(例えば、特許文献1を参照)。この技術では、カメラごとに、移動体が直進する時の移動体の移動前後において得られた各画像から特徴点が抽出され、その画像間で抽出された特徴点同士が対応付けられる。そしてカメラごとに、対応付けられた特徴点から、一方の画像から他方の画像への射影変換を行うホモグラフィ行列が推定され、推定されたホモグラフィ行列に従って、一方のカメラに対する他方のカメラの相対位置が推定される。 A camera for detecting an object existing around the vehicle may be mounted on the vehicle for use in driving assistance or automatic driving control of the vehicle. In order to accurately estimate the positional relationship between the vehicle and the object shown in the image obtained by the camera, it is preferable that the position and orientation of the camera be accurately obtained. Therefore, there is proposed a technique of estimating the relative position between the cameras based on the images obtained by the cameras installed on the moving body before and after the moving body moves when the moving body moves straight (for example, See Patent Document 1). In this technique, for each camera, feature points are extracted from each image obtained before and after the movement of the moving body when the moving body moves straight, and the extracted feature points are associated with each other between the images. Then, for each camera, the homography matrix that performs the projective transformation from one image to the other image is estimated from the associated feature points, and according to the estimated homography matrix, the relative of the other camera with respect to one camera is estimated. The position is estimated.
カメラが搭載された車両の周囲に、他の車両といった移動する物体(以下、移動物体と呼ぶ)が存在すると、そのカメラにより得られた画像においても移動物体が表されている領域が含まれることがある。そして移動物体が表された領域から抽出された特徴点が、画像間での対応付け及びホモグラフィ行列の推定に利用されると、各画像の取得時における、その特徴点の実空間での対応位置が互いに異なっているために、ホモグラフィ行列の推定精度が低下してしまい、その結果として、カメラの位置などの推定精度も低下する。 When a moving object such as another vehicle (hereinafter referred to as a moving object) exists around a vehicle equipped with a camera, the image obtained by the camera also includes a region representing the moving object. There is. Then, when the feature points extracted from the region in which the moving object is represented are used for the correspondence between the images and the estimation of the homography matrix, the correspondence of the feature points in the real space at the time of acquiring each image Since the positions are different from each other, the estimation accuracy of the homography matrix is reduced, and as a result, the estimation accuracy of the position of the camera is also reduced.
そこで、本発明は、車両に搭載された撮像部の位置及び姿勢の推定精度を向上できる位置姿勢推定装置を提供することを目的とする。 Therefore, it is an object of the present invention to provide a position / orientation estimation device that can improve the accuracy of estimating the position and orientation of an imaging unit mounted on a vehicle.
一つの実施形態によれば、位置姿勢推定装置が提供される。この位置姿勢推定装置は、車両に搭載された撮像部により得られた時系列の複数の画像のそれぞれについて、静止している物体が写っている静止領域を特定する静止領域特定部と、複数の画像のそれぞれについて、その画像の静止領域から複数の特徴点を抽出し、複数の画像間で、複数の特徴点のうち、実空間上の同一位置に対応する特徴点同士を対応付けることで複数の特徴点の組を求める対応付け部と、複数の特徴点の組に基づいて、複数の画像のうちの一つの画像上の特徴点を複数の画像のうちの他の画像上の対応する特徴点へ投影し、かつ、その一つの画像の取得時と他の画像の取得時間の撮像部の相対的な位置及び姿勢の変化を表す変換行列を求めることで、複数の画像のそれぞれの取得時の撮像部の位置及び姿勢を推定する位置姿勢推定部とを有する。 According to one embodiment, a position and orientation estimation apparatus is provided. This position / orientation estimation apparatus includes a stationary area specifying unit that specifies a stationary area in which a stationary object is captured for each of a plurality of time-series images obtained by an imaging unit mounted on a vehicle, and a plurality of stationary area specifying units. For each of the images, a plurality of feature points are extracted from the still area of the image, and a plurality of feature points are associated with one another in the real space among the plurality of feature points. An associating unit that obtains a set of feature points, and a feature point on one image of a plurality of images corresponding to a feature point on another image of the plurality of images based on the set of a plurality of feature points. By projecting to a single image and obtaining a conversion matrix that represents changes in the relative position and orientation of the image capturing unit at the time of acquiring that one image and the acquisition time of the other image. A position / orientation estimation unit that estimates the position and orientation of the imaging unit.
本発明に係る位置姿勢推定装置は、車両に搭載された撮像部の位置及び姿勢の推定精度を向上できるという効果を奏する。 The position / orientation estimation apparatus according to the present invention has an effect of improving the estimation accuracy of the position and orientation of the image pickup unit mounted on the vehicle.
以下、図を参照しつつ、位置姿勢推定装置について説明する。この位置姿勢推定装置は、車両に搭載されたカメラにより得られた、車両の周囲が表された時系列の複数の画像のそれぞれから静止している物体(以下、単に静止物体と呼ぶ)が表された領域(以下、単に静止領域と呼ぶ)を検出する。そしてこの位置姿勢推定装置は、各画像について、その画像の静止領域から複数の特徴点を抽出し、画像間で抽出された特徴点を対応付け、対応付けられた特徴点の組に基づいて、複数の画像のうちの一方の画像上の各点を他方の画像上の対応点へ射影変換する行列を求めることで、カメラの位置及び姿勢を推定する。 The position / orientation estimation apparatus will be described below with reference to the drawings. The position / orientation estimation apparatus displays a stationary object (hereinafter, simply referred to as a stationary object) from each of a plurality of time-series images representing the surroundings of the vehicle obtained by a camera mounted on the vehicle. The detected area (hereinafter, simply referred to as a still area) is detected. Then, this position and orientation estimation apparatus extracts, for each image, a plurality of feature points from the still region of the image, associates the feature points extracted between the images, and based on the set of associated feature points, The position and orientation of the camera are estimated by obtaining a matrix that projectively transforms each point on one image of the plurality of images into a corresponding point on the other image.
以下では、位置姿勢推定装置を、車両制御システムに適用した例について説明する。この例では、位置姿勢推定装置は、車両に搭載されたカメラにより得られた画像に対して位置姿勢推定処理を実行することで、カメラの位置及び姿勢を推定し、その推定結果に基づいて、車両の周囲に存在する各種の物体、例えば、他の車両または人の移動軌跡を求めて、車両の運転制御に利用する。 Below, the example which applied the position and orientation estimation apparatus to the vehicle control system is demonstrated. In this example, the position and orientation estimation apparatus estimates the position and orientation of the camera by executing the position and orientation estimation processing on the image obtained by the camera mounted on the vehicle, and based on the estimation result, Various objects existing around the vehicle, for example, a moving locus of another vehicle or a person is obtained and used for driving control of the vehicle.
図1は、位置姿勢推定装置が実装される車両制御システムの概略構成図である。また図2は、位置姿勢推定装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両10に搭載され、かつ、車両10を制御する車両制御システム1は、車両10の周囲を撮影するためのカメラ2と、位置姿勢推定装置の一例である電子制御装置(ECU)3とを有する。カメラ2とECU3とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク4を介して通信可能に接続される。
FIG. 1 is a schematic configuration diagram of a vehicle control system in which the position / orientation estimation apparatus is mounted. FIG. 2 is a hardware configuration diagram of an electronic control device that is one embodiment of the position and orientation estimation device. In the present embodiment, a
カメラ2は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ2は、車両10の前方を向くように、例えば、車両10の車室内に取り付けられる。そしてカメラ2は、所定の撮影周期(例えば1/30秒〜1/10秒)ごとに車両10の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ2により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。
The
カメラ2は、画像を生成する度に、その生成した画像を車内ネットワーク4を介してECU3へ出力する。
Each time the
ECU3は、車両10を制御する。本実施形態では、ECU3は、カメラ2により得られた時系列の一連の画像から検出された物体に基づいて車両10を自動運転するよう、車両10を制御する。そのために、ECU3は、通信インターフェース21と、メモリ22と、プロセッサ23とを有する。
The ECU 3 controls the
通信インターフェース21は、通信部の一例であり、ECU3を車内ネットワーク4に接続するためのインターフェース回路を有する。すなわち、通信インターフェース21は、車内ネットワーク4を介して、カメラ2と接続される。そして通信インターフェース21は、カメラ2から画像を受信する度に、受信した画像をプロセッサ23へわたす。
The
メモリ22は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ22は、ECU3のプロセッサ23により実行される位置姿勢推定処理において使用される各種のデータ、例えば、カメラ2から受信した画像、位置姿勢推定処理で利用される識別器を特定するための各種パラメータ、及び、位置姿勢推定処理で利用される各種閾値などを記憶する。さらに、メモリ22は、地図情報などを記憶してもよい。
The
プロセッサ23は、制御部の一例であり、1個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ23は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ23は、車両10が走行している間、カメラ2から画像を受信する度に、受信した画像に対して位置姿勢推定処理を実行する。さらに、プロセッサ23は、受信した画像から検出された車両10の周囲の物体に基づいて、車両10を自動運転するよう、車両10を制御する。
The
図3は、位置姿勢推定処理を含む車両制御処理に関する、ECU3のプロセッサ23の機能ブロック図である。プロセッサ23は、静止領域特定部31と、対応付け部32と、位置姿勢推定部33と、運転計画部34と、車両制御部35とを有する。プロセッサ23が有するこれらの各部は、例えば、プロセッサ23上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ23が有するこれらの各部は、プロセッサ23に設けられる、専用の演算回路であってもよい。また、プロセッサ23が有するこれらの各部のうち、静止領域特定部31、対応付け部32及び位置姿勢推定部33が、位置姿勢推定処理を実行する。
FIG. 3 is a functional block diagram of the
静止領域特定部31は、カメラ2により生成された、時系列の複数の画像のそれぞれにおいて、その画像上で静止物体が写っている静止領域を特定する。
The still
本実施形態では、静止領域特定部31は、カメラ2から画像を受信する度に、受信した最新の画像から写っている物体を検出する。そして静止領域特定部31は、最新の画像から検出された物体及び過去の画像から検出された物体を追跡して、最新の画像から検出された物体が移動している移動物体か否かを判定する。そして静止領域特定部31は、最新の画像において、移動物体が写っている領域以外を静止領域とする。
In the present embodiment, the stationary
例えば、静止領域特定部31は、最新の画像を識別器に入力することで、最新の画像に表された物体を検出する。静止領域特定部31は、識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク(DNN)を用いることができる。静止領域特定部31は、そのようなDNNとして、例えば、Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年(非特許文献1)に記載されたSingle Shot MultiBox Detector(SSD)、または、Shaoqing Ren他、「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、NIPS、2015年(非特許文献2)に記載されたFaster R-CNNといった、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つDNNを用いることができる。この場合、静止領域特定部31が最新の画像をDNNタイプの識別器に入力することで、その識別器は、その画像上で検出対象となる物体(例えば、車、人、道路標識)などが表された領域(以下、物体領域と呼ぶ)を表す情報、及び、物体領域に表された物体の種類を表す情報を出力する。
For example, the still
あるいは、静止領域特定部31は、DNN以外の識別器を用いてもよい。例えば、静止領域特定部31は、識別器として、画像上に設定されるウィンドウから算出される特徴量(例えば、Histograms of Oriented Gradients, HOG)を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン(SVM)を用いてもよい。静止領域特定部31は、最新の画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をSVMへ入力することで、そのウィンドウについて確信度を求める。そして静止領域特定部31は、確信度が所定の確信度閾値以上である場合、そのウィンドウを、検出対象となる物体が表された物体領域とする。
Alternatively, the stationary
あるいはまた、静止領域特定部31は、検出対象となる物体が表されたテンプレートと最新の画像との間でテンプレートマッチングを行うことで、物体領域を検出してもよい。
Alternatively, the still
静止領域特定部31は、最新の画像及び過去の画像から検出された物体を、所定のトラッキング手法に従って追跡する。
例えば、静止領域特定部31は、各画像に対してカメラ2についての車両10への取り付け位置などの情報を用いて視点変換処理を実行することで、その画像を鳥瞰画像に変換する。その際、静止領域特定部31は、画像上での検出された物体のサイズに基づいて車両10からその物体までの距離を推定し、推定した距離に基づいて鳥瞰画像上での検出された物体上の各点の位置を特定してもよい。例えば、検出対象となる物体の種類ごとに、メモリ22に、車両10からその物体までの距離が所定の基準距離である場合の画像上のその物体の基準サイズが予め記憶される。そして静止領域特定部31は、画像上での検出された物体のサイズに対する、その検出された物体に対応する基準サイズの比を、基準距離に乗じて得られる距離を、検出された物体までの推定距離とすることができる。そして静止領域特定部31は、一連の鳥瞰画像に対してKalman Filterなどを用いたトラッキング処理を実行することで、各鳥瞰画像間で、検出された物体のうちの同じものを対応付ける。これにより、静止領域特定部31は、各鳥瞰画像間で対応付けられた物体を追跡することでその物体の軌跡を求める。静止領域特定部31は、その軌跡に基づいて、最新の画像取得時における、車両10に対する追跡中の物体の相対速度をもとめる。
The stationary
For example, the still
あるいは、静止領域特定部31は、オプティカルフローに基づく追跡処理に従って、最新の画像から検出された物体を過去の画像から検出された物体と対応付けることで、最新の画像から検出された物体を追跡してもよい。そして静止領域特定部31は、時間経過に伴う画像上での追跡中の物体のサイズの変化に基づいて、車両10に対するその物体の相対速度を推定してもよい。例えば、追跡中の着目する物体について、静止領域特定部31は、上記のように、画像上での検出された物体のサイズに対する、その検出された物体に対応する基準サイズの比に基づいて、各画像取得時における車両10からその物体までの距離を推定する。そして静止領域特定部31は、画像取得周期ごとの推定距離の差を、その画像取得周期で除することで、その物体の相対速度を推定できる。
Alternatively, the still
静止領域特定部31は、各画像取得時における、追跡中の物体の相対速度に、車両10の速度を加算することで、その物体の速度を推定できる。なお、車両10の速度は、例えば、車両10に設けられた車速センサ(図示せず)により測定され、その測定された車両10の速度は、車内ネットワーク4を介して車速センサからECU3へ送信される。
The stationary
静止領域特定部31は、最新の画像について、その画像から検出された物体のうちの追跡中の物体のそれぞれについて、その物体の推定速度を所定の閾値(例えば、2〜3km/h)と比較する。そして静止領域特定部31は、推定速度が所定の閾値以上となる物体を移動物体と判定する。
The still
静止領域特定部31は、最新の画像について、移動物体が表された物体領域を除いた残りの領域を静止領域とする。静止領域は、例えば、ビットマップなどで表される。
The still
図4は、画像上の静止領域の一例を示す図である。画像400において、n個の物体領域401−1〜401−nが検出されており、これら物体領域に表された物体は移動物体と推定されている。そのため、画像400から物体領域401−1〜401−nを除いた残りの領域402が、静止領域となる。
FIG. 4 is a diagram showing an example of a still area on the image. In the
静止領域特定部31は、最新の画像についての静止領域を表す情報を対応付け部32へ通知する。また、静止領域特定部31は、最新の画像について、その画像から検出された物体領域の位置及び範囲を表す情報を運転計画部34へ通知する。さらに、物体領域に表されている物体の種類も識別器により出力されている場合には、静止領域特定部31は、物体領域に表されている物体の種類も運転計画部34へ通知してもよい。
The still
対応付け部32は、例えば、Structure from Motion(SfM)手法に従ってカメラ2の位置及び姿勢を推定するために、カメラ2により生成された時系列の複数の画像のそれぞれの静止領域から抽出される複数特徴点のうち、実空間の同一の位置に対応する特徴点同士を画像間で対応付ける。
For example, the associating
本実施形態では、対応付け部32は、カメラ2から画像を受信する度に、その最新の画像の静止領域から複数の特徴点を抽出する。例えば、対応付け部32は、静止領域に対してSIFTあるいはHarrisオペレータといった特徴点抽出用のフィルタを適用することで、静止領域から複数の特徴点を抽出する。対応付け部32は、抽出した各特徴点の位置を画像とともにメモリ22に記憶する。
In the present embodiment, the associating
その後、対応付け部32は、最新の画像と過去の画像(例えば、直前の画像あるいは所定フレーム数前の画像)との間で、静止領域から抽出された複数の特徴点のうち、実空間での同一の点に対応する特徴点同士を対応付ける。そのために、対応付け部32は、例えば、特徴点の対応付けを行う画像の組に含まれる一方の画像における、抽出された複数の特徴点のうちの着目する特徴点を中心とする所定サイズ(例えば、5x5画素)の領域をテンプレートとする。そして対応付け部32は、その画像の組に含まれる他方の画像と、着目する特徴点のテンプレートとの間でテンプレートマッチングを実行することで、他方の画像から抽出された複数の特徴点のうち、そのテンプレートと最も一致する領域に含まれる特徴点を、着目する特徴点と対応付ける。
After that, the associating
あるいは、対応付け部32は、Lucas-Kanade法といった追跡手法を利用して、画像間で各特徴点を対応付けてもよい。
Alternatively, the associating
対応付け部32は、最新の画像と過去の画像との組について、互いに対応付けられた複数の特徴点の組を位置姿勢推定部33へ通知する。
The associating
位置姿勢推定部33は、カメラ2から画像が得られる度に、得られた最新の画像と過去の画像との間で対応付けられた複数の特徴点の組に基づいて、最新の画像取得時における、カメラ2の姿勢を推定する。例えば、位置姿勢推定部33は、複数の特徴点の組と、カメラ2の焦点距離といったカメラ2の内部パラメータとに基づいて、最新の画像と過去の画像のうちの一方の画像上の点を、他方の画像上の対応点へ投影するために用いられ、かつ、その二つの画像のそれぞれの取得時間のカメラ2の相対的な位置及び姿勢の変化を表す基本行列を算出する。この場合、位置姿勢推定部33は、例えば、最新の画像から抽出された各特徴点が、基本行列に従って過去の画像の対応する特徴点へ投影されるように、数値解析により基本行列を算出する。なお、基本行列を算出するために、特徴点の組の数は5個以上であることが好ましい。
Whenever an image is obtained from the
基本行列がもとめられると、位置姿勢推定部33は、過去の画像取得時におけるカメラ2の位置及び姿勢と、基本行列または射影変換行列に含まれる、過去の画像取得時から最新の画像取得時までの間のカメラ2の回転を表す回転行列及びカメラ2の並進を表す並進ベクトルにより、最新の画像取得時における、カメラ2の位置及び姿勢を推定できる。なお、位置姿勢推定部33は、過去の画像取得時から最新の画像取得時までの車両10の加速度または角速度に基づいて、過去の画像取得時から最新の画像取得時までの車両10の移動量及び移動方向を推定し、その推定結果を並進ベクトルとしてもよい。なお、車両10の加速度及び角速度は、例えば、車両10に搭載された加速度センサ(図示せず)またはジャイロセンサ(図示せず)により測定され、その測定結果は、車内ネットワーク4を介してECU3へわたされる。
When the basic matrix is obtained, the position /
プロセッサ23は、カメラ2から画像が得られる度に、位置姿勢推定処理を繰り返すことで、何れかの画像取得時におけるカメラ2の位置及び姿勢を基準として、各画像取得時におけるカメラ2の位置及び姿勢を推定できる。
The
また、位置姿勢推定部33は、得られた回転行列及び並進ベクトルに基づいて、三角測量の原理により、各特徴点の組ごとに、その特徴点の組に対応する実空間上の点の位置を推定できる。そして位置姿勢推定部33は、推定した実空間上の点の位置と対応する画像上の特徴点の位置とに基づいて、バンドル調整処理を行うことで、カメラ2の位置及び姿勢の推定精度をさらに向上してもよい。
Further, the position /
位置姿勢推定部33は、最新の画像取得時におけるカメラ2の位置及び姿勢を表す情報を運転計画部34へ通知する。
The position /
運転計画部34は、各画像について検出された、車両10の周囲に存在する物体と車両10とが衝突しないように車両10の走行予定経路を1以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両10の目標位置の集合として表される。例えば、運転計画部34は、静止領域特定部31と同様に、カメラ2から画像を受信する度に、カメラ2についての車両10への取り付け位置などの情報を用いて視点変換処理を実行することで、受信した画像を、カメラ2を基準とする座標系で表される鳥瞰画像に変換する。さらに、運転計画部34は、各画像取得時のカメラ2の位置及び姿勢に基づいて、その鳥瞰画像中に含まれる物体領域の世界座標系での位置を求める。そして運転計画部34は、世界座標系で表された一連の物体領域に対してKalman Filterなどを用いたトラッキング処理を実行することで、各画像から検出された物体を追跡する。そして運転計画部34は、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。運転計画部34は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両10間の距離の予測値が所定距離以上となるように、車両10の走行予定経路を生成する。その際、運転計画部34は、例えば、車両10に搭載されたGPS受信機(図示せず)から得た、車両10の現在位置情報と、メモリ22に記憶されている地図情報とを参照して、車両10が走行可能な車線の数を確認してもよい。そして運転計画部34は、車両10が走行可能な車線が複数存在する場合には、車両10が走行する車線を変更するように走行予定経路を生成してもよい。
なお、運転計画部34は、複数の走行予定経路を生成してもよい。この場合、運転計画部34は、複数の走行予定経路のうち、車両10の加速度の絶対値の総和が最小となる経路を選択してもよい。
The driving
The
運転計画部34は、生成した走行予定経路を車両制御部35へ通知する。
The
車両制御部35は、車両10が通知された走行予定経路に沿って走行するように車両10の各部を制御する。例えば、車両制御部35は、通知された走行予定経路、及び、車速センサ(図示せず)により測定された車両10の現在の車速に従って、車両10の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部35は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両10のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部35は、設定されたブレーキ量に応じた制御信号を車両10のブレーキへ出力する。
The
さらに、車両制御部35は、車両10が走行予定経路に沿って走行するために車両10の進路を変更する場合には、その走行予定経路に従って車両10の操舵角を求め、その操舵角に応じた制御信号を、車両10の操舵輪を制御するアクチュエータ(図示せず)へ出力する。
Further, when the
図5は、プロセッサ23により実行される、位置姿勢推定処理を含む、車両制御処理の動作フローチャートである。プロセッサ23は、カメラ2から画像を受信する度に、図5に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップS101〜S106の処理が位置姿勢推定処理に対応する。
FIG. 5 is an operation flowchart of vehicle control processing including position and orientation estimation processing executed by the
プロセッサ23の静止領域特定部31は、カメラ2から得られた最新の画像から物体を検出し、検出した物体が表された物体領域を求める(ステップS101)。
The still
また、静止領域特定部31は、過去の画像及び最新の画像から検出された物体を追跡することで、最新の画像から検出された物体のうちの移動物体を特定する(ステップS102)。そして静止領域特定部31は、最新の画像において、移動物体が表された物体領域を除いた残りの領域を静止領域として特定する(ステップS103)。
In addition, the stationary
プロセッサ23の対応付け部32は、最新の画像の静止領域から複数の特徴点を抽出する(ステップS104)。そして対応付け部32は、最新の画像から抽出された各特徴点を、過去の画像から抽出された複数の特徴点のうち、実空間での同じ位置を表す特徴点と対応付ける(ステップS105)。
The associating
その後、プロセッサ23の位置姿勢推定部33は、最新の画像と過去の画像との間で対応付けられた特徴点の組に基づいて最新の画像取得時のカメラ2の位置及び姿勢を推定する(ステップS106)。
Then, the position /
プロセッサ23の運転計画部34は、各画像取得時のカメラ2の位置及び姿勢に基づいて各画像取得時の検出された物体の位置を推定することで、その物体を追跡し、その追跡結果に基づいて推定されるその物体の予測軌跡と所定の距離以上となるように、車両10の走行予定経路を生成する(ステップS107)。そしてプロセッサ23の車両制御部35は、走行予定経路に沿って車両10が走行するように車両10を制御する(ステップS108)。そしてプロセッサ23は、車両制御処理を終了する。
The
以上に説明してきたように、この位置姿勢推定装置は、車両に搭載されたカメラにより生成された、時系列の複数の画像のそれぞれにおいて静止領域を特定し、静止領域から抽出された特徴点に基づいて、各画像取得時におけるカメラの位置及び姿勢を推定する。そのため、この位置姿勢推定装置は、車両の周囲に移動物体が多数存在する場合でも、車両に搭載されたカメラの位置及び姿勢の推定精度を向上できる。 As described above, the position-and-orientation estimation apparatus identifies a still area in each of a plurality of time-series images generated by a camera mounted on a vehicle, and determines a feature point extracted from the still area as a feature point. Based on this, the position and orientation of the camera at the time of acquiring each image are estimated. Therefore, the position and orientation estimation apparatus can improve the estimation accuracy of the position and orientation of the camera mounted on the vehicle even when there are many moving objects around the vehicle.
変形例によれば、静止領域特定部31は、カメラ2から画像を受信する度に、受信した最新の画像を、画素ごとに写っている物体の種類を識別するセグメンテーション用の識別器に入力することで、その画像において静止物体が写っている画素を特定してもよい。そして静止領域特定部31は、静止物体が写っている画像の集合をその画像についての静止領域としてもよい。この場合には、静止領域特定部31が用いる識別器は、例えば、Fully Convolutional Network(FCN)といった、セグメンテーション用の何れかのCNNアーキテクチャを有するDNNとすることができる。あるいは、静止領域特定部31は、ランダムフォレストあるいはサポートベクトルマシンといった他の機械学習手法に従ったセグメンテーション用の識別器を利用してもよい。
According to the modification, the still
図6は、この変形例による、静止領域特定部31の処理の動作フローチャートである。静止領域特定部31は、図5に示される位置姿勢推定処理の動作フローチャートにおける、ステップS101〜S103の処理の代わりに、以下の動作フローチャートに従って静止領域を特定すればよい。
FIG. 6 is an operation flowchart of the processing of the still
静止領域特定部31は、カメラ2から得られた最新の画像をセグメンテーション用の識別器に入力することで、その画像上の画素ごとに、その画素に写っている物体の種類を特定する(ステップS201)。そして静止領域特定部31は、静止物体が写っている画像の集合をその画像についての静止領域として特定する(ステップS202)。プロセッサ23は、ステップS202の後、図5に示される動作フローチャートにおける、ステップS104以降の処理を実行すればよい。
The still
図7は、画像上の静止領域の他の一例を示す図である。画像700において、領域701には車両が写っていると判定されている。一方、領域702には、空が写っていると判定されており、領域703には建造物が写っていると判定されており、領域704には路面が写っていると判定されている。この場合、車両は移動する可能性が有る物体であるため、領域701は、静止領域に含まれない。一方、空、建造物及び路面が静止物体に相当するので、領域702〜領域704の和集合が静止領域となる。
FIG. 7 is a diagram showing another example of a still area on an image. In the
また、静止領域特定部31は、SSDまたはFaster R-CNNのように、検出された物体の種類を出力する識別器を利用する場合、検出された物体の種類に応じて静止領域を特定してもよい。すなわち、静止領域特定部31は、建造物、道路標識あるいは道路標示といった静止物体に相当する検出物体が表された物体領域の集合を静止領域としてもよい。あるいは、静止領域特定部31は、車両あるいは人といった、自力で移動する可能性のある物体が表された物体領域を画像から除いた残りの領域を静止領域としてもよい。
Further, when using the discriminator that outputs the type of the detected object, such as SSD or Faster R-CNN, the still
なお、対応付け部32は、複数の画像のそれぞれの静止領域のうち、路面が写っている部分領域よりも路面以外が写っている部分領域の方について特徴点を抽出し易くしてもよい。これは、一般に、路面よりも建造物等の方が、テクスチャが複雑であり、特徴点として利用するのに適した箇所が多いためである。そこで、例えば、対応付け部32は、SIFTまたはHarrisオペレータといった特徴点検出用の処理を行うことで得られる、特徴点である確からしさを表す値と比較される、特徴点検出用の判定閾値を、路面が写っている部分領域よりも路面以外が写っている部分領域の方が低くなるように設定すればよい。また、識別器が、道路標示と道路標示が無い部分の路面とを区別して出力する場合には、対応付け部32は、道路標示が写っている部分領域について適用される判定閾値の値を、道路標示以外の路面が写っている部分領域について適用される判定閾値の値よりも低くしてもよい。また、道路標示のエッジは特徴点として利用し易いので、対応付け部32は、道路標示が写っている部分領域と道路標示以外の路面が写っている部分領域との境界に隣接する画素に適用される判定閾値の値を、道路標示以外の路面が写っている部分領域について適用される判定閾値の値よりも低くしてもよい。
The associating
また、各特徴点の組に対応する実空間上の点が路面上に位置している場合には、位置姿勢推定部33は、最新の画像と過去の画像間で対応付けられた少なくとも4個の特徴点の組と、カメラ2の内部パラメータとに基づいて、基本行列の代わりに射影変換行列を算出してもよい。この場合も、位置姿勢推定部33は、射影変換行列に含まれる、最新の画像取得時と過去の画像取得時間のカメラ2の相対的な位置及び姿勢の変化を表す回転行列及び並進ベクトルに基づいて、各画像取得時における、カメラ2の位置及び姿勢を推定できる。
Further, when the point in the real space corresponding to each set of feature points is located on the road surface, the position /
なお、静止領域特定部31がセグメンテーション用の識別器を用いて静止領域を特定する場合、運転計画部34は、カメラ2から画像が得られる度に、上述したような物体検出用の識別器にその画像を入力することで、その画像に表された物体を検出してもよい。
When the stationary
さらに、車両10には、複数のカメラが搭載されていてもよい。この場合には、位置姿勢推定部33は、特許文献1に記載された手法に従って、カメラごとに得られた複数の画像の静止領域から抽出され、かつ、互いに対応付けられた複数の特徴点の組に基づいて、一方のカメラに対する他方のカメラの相対的な位置を推定してもよい。
Further, the
また、上記の実施形態または変形例による、位置姿勢推定装置のプロセッサ23の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。
The computer program that realizes the functions of the respective units of the
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。 As described above, those skilled in the art can make various modifications according to the embodiment within the scope of the present invention.
1 車両制御システム
2 カメラ
3 電子制御装置(位置姿勢推定装置)
4 車内ネットワーク
21 通信インターフェース
22 メモリ
23 プロセッサ
31 静止領域特定部
32 対応付け部
33 位置姿勢推定部
34 運転計画部
35 車両制御部
1
4 in-
Claims (1)
前記複数の画像のそれぞれについて、当該画像の前記静止領域から複数の特徴点を抽出し、前記複数の画像間で、前記複数の特徴点のうち、実空間上の同一位置に対応する特徴点同士を対応付けることで複数の特徴点の組を求める対応付け部と、
前記複数の特徴点の組に基づいて、前記複数の画像のうちの一つの画像上の特徴点を前記複数の画像のうちの他の画像上の対応する特徴点へ投影し、かつ、前記一つの画像の取得時と前記他の画像の取得時間の前記撮像部の相対的な位置及び姿勢の変化を表す変換行列を求めることで、前記複数の画像のそれぞれの取得時の前記撮像部の位置及び姿勢を推定する位置姿勢推定部と、
を有する位置姿勢推定装置。 For each of a plurality of time-series images obtained by the imaging unit mounted on the vehicle, a still region specifying unit that specifies a still region in which a stationary object is captured,
For each of the plurality of images, a plurality of feature points are extracted from the still region of the image, and among the plurality of images, feature points corresponding to the same position in the real space among the plurality of feature points. An associating unit that obtains a set of a plurality of feature points by associating
Projecting a feature point on one image of the plurality of images to a corresponding feature point on another image of the plurality of images based on the set of the plurality of feature points; The position of the image capturing unit at the time of acquiring each of the plurality of images is obtained by obtaining a conversion matrix representing a change in the relative position and orientation of the image capturing unit at the time of acquiring one image and the acquisition time of the other image. And a position and orientation estimation unit that estimates the orientation,
Position / orientation estimation device having:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211546A JP2020076714A (en) | 2018-11-09 | 2018-11-09 | Position attitude estimation device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018211546A JP2020076714A (en) | 2018-11-09 | 2018-11-09 | Position attitude estimation device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020076714A true JP2020076714A (en) | 2020-05-21 |
Family
ID=70724500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018211546A Pending JP2020076714A (en) | 2018-11-09 | 2018-11-09 | Position attitude estimation device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020076714A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220172396A1 (en) * | 2020-12-02 | 2022-06-02 | Honda Motor Co., Ltd. | Vehicle position estimation apparatus |
JP7553090B2 (en) | 2020-10-09 | 2024-09-18 | Necソリューションイノベータ株式会社 | Position estimation device, position estimation method, and program |
-
2018
- 2018-11-09 JP JP2018211546A patent/JP2020076714A/en active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7553090B2 (en) | 2020-10-09 | 2024-09-18 | Necソリューションイノベータ株式会社 | Position estimation device, position estimation method, and program |
US20220172396A1 (en) * | 2020-12-02 | 2022-06-02 | Honda Motor Co., Ltd. | Vehicle position estimation apparatus |
CN114581877A (en) * | 2020-12-02 | 2022-06-03 | 本田技研工业株式会社 | Vehicle position estimation device |
JP2022087914A (en) * | 2020-12-02 | 2022-06-14 | 本田技研工業株式会社 | Vehicle position estimation device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7052663B2 (en) | Object detection device, object detection method and computer program for object detection | |
TWI722355B (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
JP7147420B2 (en) | OBJECT DETECTION DEVICE, OBJECT DETECTION METHOD AND COMPUTER PROGRAM FOR OBJECT DETECTION | |
JP7078021B2 (en) | Object detection device, object detection method and computer program for object detection | |
JP7135665B2 (en) | VEHICLE CONTROL SYSTEM, VEHICLE CONTROL METHOD AND COMPUTER PROGRAM | |
JP7077910B2 (en) | Bound line detection device and lane marking method | |
US10554951B2 (en) | Method and apparatus for the autocalibration of a vehicle camera system | |
JP2009198445A (en) | Device and method for object detection | |
JP6552448B2 (en) | Vehicle position detection device, vehicle position detection method, and computer program for vehicle position detection | |
CN110717445A (en) | Front vehicle distance tracking system and method for automatic driving | |
JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
JP2021081272A (en) | Position estimating device and computer program for position estimation | |
JP2021026683A (en) | Distance estimation apparatus | |
JP2020076714A (en) | Position attitude estimation device | |
US11120292B2 (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
JP6886136B2 (en) | Alignment device, alignment method and computer program for alignment | |
US20210080264A1 (en) | Estimation device, estimation method, and computer program product | |
JP2023152109A (en) | Feature detection device, feature detection method and computer program for detecting feature | |
JP2018116147A (en) | Map creation device, map creation method and map creation computer program | |
JP7528915B2 (en) | Tracking device, tracking method, and tracking computer program | |
JP7491260B2 (en) | Person detection device, person detection method and computer program for detecting persons | |
JP6593995B2 (en) | Airport monitoring device | |
Unnisa et al. | Obstacle detection for self driving car in Pakistan's perspective | |
CN113492850B (en) | Inclination angle detection device and control device | |
JP7334489B2 (en) | Position estimation device and computer program |