JP2019139290A

JP2019139290A - 姿勢推定装置

Info

Publication number: JP2019139290A
Application number: JP2018019011A
Authority: JP
Inventors: 謙二岡野; Kenji Okano
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2018-02-06
Filing date: 2018-02-06
Publication date: 2019-08-22
Anticipated expiration: 2038-02-06
Also published as: WO2019156072A1; JP6947066B2

Abstract

【課題】撮像部の姿勢を推定する姿勢推定装置において、精度を向上させる技術を提供する。【解決手段】表示システムにおいては、Ｓ１１０で、移動物に搭載された１または複数のカメラ２１により得られたそれぞれの撮像画像を繰り返し取得し、Ｓ１２０で、繰り返し取得された撮像画像の少なくとも１つの中から、複数の特徴点を複数の移動前点として抽出するとともに、複数の移動前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、複数の移動前点に対応する複数の特徴点を複数の移動後点として抽出するように構成される。制御部１０は、Ｓ１３０で、複数の移動前点を複数の移動後点に遷移させるための行列であって、移動物が予め設定された軌跡に従って移動し、かつ回転しないと仮定したときの行列を表す基本行列を推定し、Ｓ１４０で、基本行列に従って１または複数のカメラ２１の姿勢を推定するように構成される。【選択図】図２

Description

本開示は、撮像部の姿勢を推定する姿勢推定装置に関する。

例えば、下記特許文献１には、車両の走行中に、車両に搭載された撮像部の姿勢の推定する技術として、路面上の特徴点のオプティカルフローを求め、このオプティカルフローからホモグラフィ行列を推定することによって、撮像部の姿勢を推定するという技術が開示されている。

特開２０１４−１０１０７５号公報

しかしながら、発明者の詳細な検討の結果、ホモグラフィ行列を求めるには多くのパラメータの推定が必要であり、上記のように一度の処理でホモグラフィ行列を推定する技術では、安定した精度が得られないという課題が見出された。

本開示の１つの局面は、撮像部の姿勢を推定する姿勢推定装置において、精度を向上させる技術を提供することにある。

本開示の一態様による姿勢推定装置は、画像取得部（Ｓ１１０）と、特徴点抽出部（Ｓ１２０）と、基本推定部（Ｓ１３０）と、姿勢推定部（Ｓ１４０）と、を備える。画像取得部は、移動物に搭載された１または複数の撮像部により得られたそれぞれの撮像画像を繰り返し取得するように構成される。

特徴点抽出部は、繰り返し取得された撮像画像の少なくとも１つの中から、複数の特徴点を複数の移動前点として抽出するとともに、複数の移動前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、複数の移動前点に対応する複数の特徴点を複数の移動後点として抽出するように構成される。

基本推定部は、複数の移動前点を複数の移動後点に遷移させるための行列であって、移動物が予め設定された軌跡に従って移動し、かつ回転しないと仮定したときの行列を表す基本行列を推定するように構成される。姿勢推定部は、基本行列に従って１または複数の撮像部の姿勢を推定するように構成される。

このような構成によれば、簡素な基本行列を求めることによって撮像部の移動方向を推定できるので、簡素な処理で撮像部の大まかな姿勢を推定することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

表示システムの構成を示すブロック図である。姿勢推定処理のフローチャートである。座標系を示す説明図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．実施形態］
［１−１．構成］
本実施形態の表示システム１は、乗用車等の車両に搭載され、複数のカメラによって撮像された画像を合成して表示部に表示させるシステムであり、カメラ姿勢を推定し、姿勢に応じて画像を補正する機能を有する。表示システム１は、図１に示すように、制御部１０を備える。表示システム１は、フロントカメラ２１Ｆ、リアカメラ２１Ｂ、右カメラ２１Ｒ、左カメラ２１Ｌ、各種センサ２２、表示部２６、等を備えてもよい。

なお、表示システム１が搭載された車両を自車両ともいう。また、フロントカメラ２１Ｆ、リアカメラ２１Ｂ、右カメラ２１Ｒ、および左カメラ２１Ｌを、まとめて複数のカメラ２１とも表記する。

フロントカメラ２１Ｆおよびリアカメラ２１Ｂは、それぞれ、自車両の前方および後方の道路を撮像するためのものであり、自車両の前部および後部に取り付けられている。また、右カメラ２１Ｒおよび左カメラ２１Ｌは、それぞれ、自車両の右側および左側の道路を撮像するためのものであり、自車両の右側面および左側面に取り付けられている。すなわち、複数のカメラ２１は、それぞれ自車両の異なる位置に配置されている。

また、複数のカメラ２１は、撮像領域の一部がそれぞれ重複するように設定されており、撮像画像において撮像領域が重複する部位を重複領域と定義する。
各種センサ２２としては、例えば、車速センサ、ヨーレートセンサ、舵角センサ等を備える。各種センサ２２は、自車両が、直進運動、定旋回運動等の定常走行をしているか否かを検知するために用いられる。

制御部１０は、ＣＰＵ１１と、例えば、ＲＡＭまたはＲＯＭ等の半導体メモリ（以下、メモリ１２）と、を有するマイクロコンピュータを備える。制御部１０の各機能は、ＣＰＵ１１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ１２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、非遷移的実体的記録媒体とは、記録媒体のうちの電磁波を除く意味である。また、制御部１０は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。

制御部１０は、図１に示すように、カメラ姿勢推定部１６と、画像描画部１７と、を備える。制御部１０に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、またはアナログ回路、あるいはこれらの組合せによって実現されてもよい。

カメラ姿勢推定部１６および画像描画部１７としての機能では、プログラムに従って後述する姿勢推定処理を実施する。特に、カメラ姿勢推定部１６の機能では、複数のカメラ２１の姿勢をそれぞれ推定する。

また、画像描画部１７としての機能では、複数のカメラ２１による撮像画像から、車両周囲の道路を鉛直方向から俯瞰した鳥瞰画像を生成する。そして、その生成した鳥瞰画像を、液晶ディスプレイ等にて構成されて車室内に配置される表示部２６に表示させる。ただし、画像描画部１７としての機能では、鳥瞰画像を生成する際に、合成する画像の境界が適切な位置になるよう、複数のカメラ２１の姿勢に応じてそれぞれの撮像画像の境界となる座標を適宜設定する。なお、制御部１０は、複数のカメラ２１から得られた撮像画像をメモリ１２に一時的に格納する。

［１−２．処理］
次に、制御部１０が実行する姿勢推定処理について、図２のフローチャートを用いて説明する。姿勢推定処理は、例えば、自車両が定常走行を行っている場合に開始され、定常走行を行っている間に繰り返し実施される。

特に、本実施形態での姿勢推定処理は、定常走行として、自車両が直進運動をしている場合に実施される。直進運動とは、自車両の走行速度が予め設定された閾値以上の速度であって、舵角またはヨーレートが予め設定された閾値未満である状態を示す。

姿勢推定処理では、まず、Ｓ１１０で、制御部１０は、複数のカメラ２１による撮像画像をそれぞれ取得する。この際、過去において撮像された撮像画像、例えば、１０フレーム前に撮像された撮像画像についてもメモリ１２から取得する。

続いて、Ｓ１２０で、制御部１０は、各撮像画像から複数の特徴点を抽出し、複数の特徴点についてオプティカルフローを検出する。なお、Ｓ１２０以下の処理は、複数のカメラ２１毎に実施される。

ここで、特徴点とは、撮像画像中の輝度や色度の境界となるエッジを表し、本実施形態では、これらのエッジのうちの、例えば構造物の角部等、画像処理において追跡が比較的容易な部位を示す点を表す。特徴点は、少なくとも２点抽出できればよいが、自車両が都会のビル群を走行中などには、ビル等の構造物の角部や、窓ガラスの角部等を多数抽出してもよい。

また、制御部１０は、繰り返し取得された撮像画像のそれぞれの中から、複数の特徴点を複数の移動前点として抽出し、複数の移動前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、複数の移動前点に対応する複数の特徴点を複数の移動後点として抽出する。そして、制御部１０は、移動前点から移動後点を結ぶ線分をオプティカルフローとして検出する。

続いて、Ｓ１３０で、制御部１０は、直進運動を前提とする基本行列Ｅを推定する。基本行列Ｅは、複数の移動前点Ｕ_１を複数の移動後点Ｕ_２に遷移させるための行列であって、移動物が予め設定された軌跡、本実施形態では直進運動に従って移動し、かつ回転しないと仮定したときの行列を表す。

より詳細には、例えば、以下の数式を用いる。

なお、本実施形態での説明では、車両座標系を図３に示すように定義する。すなわち、車両中心の路面を原点とし、車両の右方向をＸ軸の正、車両の後方向をＹ軸の正、車両の下方向をＺ軸の正とする。

上記数式において、制御部１０は、複数の移動前点Ｕ_１毎に基本行列Ｅを求め、複数の基本行列Ｅに対して、例えば最小二乗法等の最適化演算を行うことによって、最も確からしい基本行列Ｅを求める。

続いて、Ｓ１４０で、制御部１０は、カメラ姿勢を推定する。この処理では、基本行列に従って複数のカメラ２１の姿勢を推定するように構成される。例えば、以下のようにカメラの回転成分を求める。

まず、基本行列Ｅに含まれる並進ベクトルＶを回転行列Ｒを用いて世界座標系に変換する。

続いて、世界座標系における並進ベクトルＶ_Ｗと、車両座標系における並進ベクトルＶとのＸ軸まわりのずれ角ｄｘを計算し、ずれ角ｄｘを補正するための回転行列Ｒｘを求める。

続いて、Ｖ_ＷをＲｘで回転し、Ｖ_Ｗ２を求める。

続いて、Ｖ_Ｗ２と、車両座標系における並進ベクトルＶとのＺ軸まわりのずれ角ｄｚを計算し、ずれ角ｄｚを補正するための回転行列Ｒｚを求める。

続いて、Ｒｘ、Ｒｚで回転行列Ｒを補正し、補正後のカメラ角度に相当する回転行列Ｒ_２を求める。

ただし、Ｙ軸回りの回転成分については、補正前の値になっている。このような回転行列Ｒ_２を基本行列Ｅに乗じた上で、複数の移動前点Ｕ_１を複数の移動後点Ｕ_２に遷移させる演算を行えば、Ｙ軸回りの回転成分を考慮することなくカメラ姿勢を推定することができる。

なお、Ｙ軸回りの回転成分については、無視する構成としてもよいし、予め設定された回転行列Ｒｙを用いてもよいし、或いは、以下のように演算により求める構成としてもよい。

回転行列Ｒｙを求める際には、まずＳ１５０で、制御部１０は、路面フローを抽出する。すなわち、制御部１０は、繰り返し取得された撮像画像の少なくとも１つの中から、移動物が移動の際の走行する路面上の特徴点を路面前点として抽出するように構成される。

また、制御部１０は、路面前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、路面前点に対応する特徴点を複数の路面後点として抽出するように構成される。そして、制御部１０は、路面前点から路面後点を結ぶ線分を、オプティカルフローである路面フローとして検出する。

続いて、Ｓ１６０で、制御部１０は、車両移動量からカメラ角度およびカメラ高さを推定する。この処理では、基本行列Ｅ、路面前点、および路面後点を用いて、１または複数のカメラ２１の路面に対する高さ、および路面に対する回転角を推定するように構成される。

この処理では、例えば、以下のような処理を実施する。すなわち、回転行列Ｒ_２を用いて、ホモグラフィ行列Ｈを求める。

ここで、ニュートン法等の既知の非線形最適化手法を用いて、下記式を最適に満たすＹ軸回りの回転行列Ｒｙを求める。なお、下記の例では、ｄ＝１としている。また、路面法線ベクトルＮｗは、複数の路面フローにより路面を示す平面の位置を特定し、その平面に対する鉛直線を求めることで得られる。

このようにして、Ｒｙを特定することによって、３軸角度を補正するための回転行列Ｒ_３を得ることができる。

本実施形態では、上記のように、回転行列Ｒｘ，Ｒｚの２軸を求めてから、この処理とは分離して回転行列Ｒｙの１軸を求めている。先の２軸は、路面フローが不要であり、構造物フローを用いることができるため、本処理では、コントラスト差が出にくい路面の特徴点を使用する場合よりも、ロバスト性を向上させることができる。

続いて、Ｓ１７０で、制御部１０は、複数のカメラ２１による重複領域内において特徴点の対応付けをする。すなわち、制御部１０は、特徴点のうちの重複領域内に位置する特徴点が同一の物体を表す特徴点であるか否かを判定し、特徴点が同一の物体を表す場合、カメラの姿勢を考慮してそれぞれの撮像画像において対応付ける。このようにして得られたカメラ姿勢は、メモリ１２において累積して記録される。

続いて、Ｓ２１０で、制御部１０は、カメラ間相対位置を推定する。すなわち、制御部１０は、重複領域内に位置する特徴点の座標と、上記補正後のカメラ姿勢に対応する座標とのずれを認識することで、カメラ間相対位置を推定する。

続いて、Ｓ２２０で、制御部１０は、カメラ姿勢の累積を累積カメラ姿勢として取得する。続いて、Ｓ２３０で、制御部１０は、累積カメラ姿勢を統合する。この処理では、制御部１０は、複数の姿勢の推定結果に対してフィルタリングを行い、フィルタリング後の値を複数のカメラ２１の姿勢として出力するように構成される。フィルタリングとしては、単純平均、加重平均、最小二乗法等、任意のフィルタリング手法を採用することができる。

続いて、Ｓ２４０で、制御部１０は、画像変換を実行する。画像変換は、カメラの姿勢を加味して、鳥瞰画像を生成する処理である。カメラの姿勢を考慮して複数の撮像画像を合成する際の境界が設定されるので、鳥瞰画像では、撮像領域内の１つの物体が２つに表示されたり、物体が表示されなかったりすることを抑制することができる。

続いて、Ｓ２５０で、制御部１０は、映像としての鳥瞰画像を表示部２６に表示させた後、図２の姿勢推定処理を終了する。
［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果を奏する。

（１ａ）上記の表示システム１において、制御部１０は、Ｓ１１０で、移動物に搭載された１または複数のカメラ２１により得られたそれぞれの撮像画像を繰り返し取得するように構成される。また、制御部１０は、Ｓ１２０で、繰り返し取得された撮像画像の少なくとも１つの中から、複数の特徴点を複数の移動前点として抽出するとともに、複数の移動前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、複数の移動前点に対応する複数の特徴点を複数の移動後点として抽出するように構成される。

さらに、制御部１０は、Ｓ１３０で、複数の移動前点を複数の移動後点に遷移させるための行列であって、移動物が予め設定された軌跡に従って移動し、かつ回転しないと仮定したときの行列を表す基本行列を推定するように構成される。

また、制御部１０は、Ｓ１４０で、基本行列に従って１または複数のカメラ２１の姿勢を推定するように構成される。
このような構成によれば、簡素な基本行列を求めることによってカメラ２１の移動方向を推定できるので、簡素な処理でカメラ２１の大まかな姿勢を推定することができる。また、このような構成によれば、路面のコントラストが小さい場合のように、路面上の特徴点を正確に抽出できない場合であっても、構造物等から特徴点を抽出することができるので、カメラ姿勢を推定する際の精度を向上させることができる。

（１ｂ）上記の表示システム１において、制御部１０は、Ｓ１５０で、繰り返し取得された撮像画像の少なくとも１つの中から、移動物が移動の際の走行する路面上の特徴点を路面前点として抽出するとともに、路面前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、路面前点に対応する特徴点を複数の路面後点として抽出するように構成される。

また、制御部１０は、Ｓ１６０で、基本行列、路面前点、および路面後点を用いて、１または複数のカメラ２１の路面に対する高さ、および路面に対する回転角を推定するように構成される。

このような構成によれば、基本行列を求めた上で、路面上の特徴点を用いて路面に対する高さ、および路面に対する回転角を推定するので、これらをまとめて推定する構成と比較して、推定精度を向上させることができる。

（１ｃ）上記の表示システム１において、制御部１０は、少なくともＳ１２０〜Ｓ１４０の処理を３回以上繰り返すことで、特徴点を抽出する撮像画像を変更しつつ、繰り返し１または複数のカメラ２１の姿勢を推定するように構成される。

また、制御部１０は、Ｓ２３０で、複数の姿勢の推定結果に対してフィルタリングを行い、フィルタリング後の値を１または複数のカメラ２１の姿勢として出力するように構成される。

このような構成によれば、複数の姿勢の推定結果を用いてカメラ２１の姿勢を推定するので、一時的な誤推定が生じたとしても、その影響を軽減することができる。
［２．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２ａ）上記実施形態では、複数のカメラ２１を備える構成としたが、１つのカメラのみを備えた構成でもよい。
（２ｂ）上記実施形態では、複数のカメラ２１から得られる撮像画像を用いて複数のカメラ２１の姿勢を個別に推定したが、これに限定されるものではない。例えば、他のカメラの高さ等を用いて、姿勢を推定しようとするカメラの高さを推定してもよい。このようにしてもよいのは、姿勢を推定しようとするカメラと、他のカメラとの位置関係は、予め設定されていることが多いためである。

このように構成する場合には、制御部１０は、Ｓ１６０で、路面に対する高さを推定しようとするカメラ２１以外のカメラ２１についての路面からの高さを用いて、１または複数のカメラ２１の路面に対する高さを推定するように構成されてもよい。特に、制御部１０は、Ｓ１６０で、路面に対する高さを推定しようとするカメラ２１以外のカメラ２１のうちの、撮像画像中に路面が占める割合が最も大きなカメラ２１についての路面からの高さを用いて、１または複数のカメラ２１の路面に対する高さを推定するように構成されてもよい。

このような構成によれば、複数のカメラ２１間の位置関係が分かっていれば、他のカメラ２１の路面からの高さを用いることができるので、路面に対する高さを求める際の演算過程を簡素化することができる。

また、このような構成によれば、路面に対する高さを推定しようとするカメラ２１以外のカメラ２１のうちの、撮像画像中に路面が占める割合が最も大きなカメラ２１についての路面からの高さを用いるので、より正確に高さが求められた可能性が高いカメラ２１から高さを用いて精度よく路面からの高さを推定することができる。

（２ｃ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（２ｄ）上述した表示システム１の他、当該表示システム１の構成要素となる装置、当該表示システム１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、姿勢推定方法など、種々の形態で本開示を実現することもできる。

［３．実施形態の構成と本開示との対応関係］
上記実施形態において制御部１０は、本開示での姿勢推定装置に相当する。また、制御部１０が実行する処理のうちのＳ１１０の処理は、本開示でいう画像取得部に相当し、Ｓ１２０の処理は、本開示でいう特徴点抽出部に相当する。

また、制御部１０が実行する処理のうちのＳ１３０の処理は、本開示でいう基本推定部に相当し、Ｓ１４０の処理は、本開示でいう姿勢推定部、第１推定部に相当する。また、Ｓ１５０の処理は、本開示でいう走行点抽出部に相当し、Ｓ１６０の処理は、本開示でいう第２推定部に相当する。また、Ｓ２３０の処理は、本開示でいうフィルタリング部に相当する。

１…表示システム、１０…制御部、１１…ＣＰＵ、１２…メモリ、１６…カメラ姿勢推定部、１７…画像描画部、２１Ｂ…リアカメラ、２１Ｆ…フロントカメラ、２１Ｌ…左カメラ、２１Ｒ…右カメラ、２２…各種センサ、２６…表示部、Ｅ…基本行列、Ｈ…ホモグラフィ行列、Ｒ，Ｒ_２，Ｒ_３，Ｒｘ，Ｒｙ，Ｒｚ…回転行列、Ｕ_１…移動前点、Ｕ_２…移動後点。

Claims

移動物に搭載された１または複数の撮像部により得られたそれぞれの撮像画像を繰り返し取得するように構成された画像取得部（Ｓ１１０）と、
繰り返し取得された撮像画像の少なくとも１つの中から、複数の特徴点を複数の移動前点として抽出するとともに、前記複数の移動前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、前記複数の移動前点に対応する複数の特徴点を複数の移動後点として抽出するように構成された特徴点抽出部（Ｓ１２０）と、
前記複数の移動前点を前記複数の移動後点に遷移させるための行列であって、前記移動物が予め設定された軌跡に従って移動し、かつ回転しないと仮定したときの行列を表す基本行列を推定するように構成された基本推定部（Ｓ１３０）と、
前記基本行列に従って前記１または複数の撮像部の姿勢を推定するように構成された姿勢推定部（Ｓ１４０）と、
を備える姿勢推定装置。
請求項１に記載の姿勢推定装置であって、
繰り返し取得された撮像画像の少なくとも１つの中から、前記移動物が移動の際の走行する路面上の特徴点を路面前点として抽出するとともに、前記路面前点を抽出した撮像画像よりも時系列に沿って後に取得された撮像画像中から、前記路面前点に対応する特徴点を複数の路面後点として抽出するように構成された走行点抽出部（Ｓ１５０）と、
前記姿勢推定部を第１推定部とし、前記基本行列、前記路面前点、および路面後点を用いて、前記１または複数の撮像部の路面に対する高さ、および路面に対する回転角を推定するように構成された第２推定部（Ｓ１６０）、
をさらに備える姿勢推定装置。
請求項１または請求項２に記載の姿勢推定装置であって、
前記特徴点抽出部、前記基本推定部、および前記姿勢推定部は、特徴点を抽出する撮像画像を変更しつつ、繰り返し前記１または複数の撮像部の姿勢を推定するように構成され、
前記姿勢推定部にて推定された複数の姿勢の推定結果に対してフィルタリングを行い、フィルタリング後の値を前記１または複数の撮像部の姿勢として出力するように構成されたフィルタリング部（Ｓ２３０）、
をさらに備える姿勢推定装置。
請求項３に記載の姿勢推定装置であって、
前記第２推定部は、路面に対する高さを推定しようとする撮像部以外の撮像部についての路面からの高さを用いて、前記１または複数の撮像部の路面に対する高さを推定する
ように構成された姿勢推定装置。
請求項４に記載の姿勢推定装置であって、
前記第２推定部は、路面に対する高さを推定しようとする撮像部以外の撮像部のうちの、撮像画像中に路面が占める割合が最も大きな撮像部についての路面からの高さを用いて、前記１または複数の撮像部の路面に対する高さを推定する
ように構成された姿勢推定装置。