JP2019046434A - 画像の動き補償のためのシステムおよび方法 - Google Patents

Abstract

【課題】ローリングシャッタカメラにおける画像撮影中のカメラの動きを補償する方法を提供する。
【解決手段】ローリングシャッタを有するカメラにより撮影されたシーンの画像を受け取ることと、画像中の線分を抽出することと、受け取った画像からの画像の撮影中のカメラの動きを推定することと、画像の撮影中の動きを補償した画像を生成することとを備え、シーンが無限遠直線で交差する水平面および２つの垂直面によって近似され、画像の撮影中のカメラの動きを推定することが、抽出された線分が垂直であり垂直面上にあると仮定することを備える。
【選択図】図３

Description

本明細書に記載される実施形態は、一般的に、コンピュータビジョンの分野に関する。

運転手不要の自動車両が、多数のビジョン研究の口火を切り、コンピュータビジョンにおけるいくつかの未解決の問題についての即時解決の要望を明らかにしている。市販の安いカメラはこれらの車両の魅力的な選択肢であるが、撮影された画像には、著しい歪が観察され得る。これらのカメラは、一般的に、ローリングシャッタ（ＲＳ）として幅広く知られている普及しているメカニズムを持っているＣＭＯＳセンサに基づいて作られる。グローバルシャッタ（ＧＳ）とは対照的に、それは、一定の行間遅延で上から下まで行ごとにシーンを撮影する。ＲＳ撮像は、異なる行について、見かけ上のカメラの動きを捕らえ、パースペクティブカメラモデルの特性に違反する。これは、目立って顕著な歪を引き起こす。

アッカーマン運動を説明するために使用される、回転を受ける車両の概略図。 アッカーマン運動を説明するために使用される、並進を受ける車両の概略図。 車両および車両上のカメラにより観察されるシーン近似を示す概略図。 シーンが対称的でない、車両および車両上のカメラにより観察されるシーン近似を示す概略図。 一実施形態にしたがう方法を示す流れ図。 図３の方法におけるモデルパラメータを導出するステップをより詳細に示す流れ図。 単に角速度を呈する車両についての、測定された角速度対実際の角速度のプロット。 単に並進速度を呈する車両についての、測定された並進速度対実際の並進速度のプロット。 ２０ｋｍ／ｈの並進速度を有する車両についての、測定された角速度および並進速度対実際の角速度のプロット。 ６０ｋｍ／ｈの並進速度を有する車両についての、測定された角速度および並進速度対実際の角速度のプロット。 １００ｋｍ／ｈの並進速度を有する車両についての、測定された角速度および並進速度対実際の角速度のプロット。 １４０ｋｍ／ｈの並進速度を有する車両についての、測定された角速度および並進速度対実際の角速度のプロット。 合成のローリングシャッタ画像。 図６（ａ）の動き補償した画像。 一実施形態にしたがう装置の概略図。

一実施形態では、ローリングシャッタカメラにおける画像撮影中のカメラの動きを補償する方法が提供され、
この方法は、
ローリングシャッタを有するカメラにより撮影された（captured）シーンの画像を受け取ることと、
画像中の線分を抽出することと、
受け取った画像からの画像の撮影中のカメラの動きを推定することと、
画像の撮影中の動きを補償した画像を生成することと
を備え、
シーンが無限遠直線で交差する水平面および２つの垂直面によって近似され、画像の撮影期間中のカメラの動きを推定することが、抽出された線分が垂直であり垂直面上にあると仮定することを備える。

上記の方法は、線分を抽出する。画像において、線分は、建造物などの側面に対応し得る。上記の方法は、シーンの簡略化したモデルも提供し、これらの線分をモデルに適合させる。線分を簡略化したモデルに適合させることにより、他の特徴に対応する線分は無視され得る。一実施形態では、４つの線分が適合される。

一実施形態では、上記の方法は、道路の境界、たとえば建造物などが２つの垂直面によってモデル化される道路に沿って運転する車両上にカメラが搭載されている、都市部用設定で使用される。しかし、道路の側部の境界は、道路の側部のガードレールにより提供され得る。

たとえば、垂直面が掃除される部屋の壁に対応する真空掃除機などといった、車両が自律ロボットであり得る他の設定が使用され得る。しかし、ローリングシャッタカメラについての動き補償の問題は、カメラが迅速に動いている状況では、より深刻である。

一実施形態では、線分が垂直面上にあるかどうかを決定することが、線分に対する法線が垂直方向に対して直角であるかどうかを決定することを備える。さらなる実施形態では、受け取った２次元画像中の画素を、同次座標を使用して３次元で表すことにより、この条件が満足されているかどうかを決定することが可能である。

上で言及されたように、一実施形態では、カメラが車両上に搭載され、道路上の４輪車両の動きが、転回期間に車両の４輪すべてが共通点の周りを動くと仮定される、いわゆるアッカーマン運動によりモデル化され得る。一実施形態では、カメラの動きを推定することが、
ローリングシャッタカメラを使用して撮影された画像中の画素の位置を、カメラの動きを補償した画像の位置に関係付けること
を備え、
画像の撮影中のカメラの動きがアッカーマン運動を使用してモデル化される。

しかし、方法は、純粋な回転運動（すなわち、動きに対して並進成分がない）および純粋な並進運動（すなわち、動きに対して回転成分がない）のために使用され得る。

一実施形態では、垂直の動きがないことが仮定される。

一実施形態では、カメラの場所が垂直である、すなわち、カメラが車に対して垂直に取り付けられていることが仮定される。さらなる実施形態では、カメラ位置は、垂直に対して回転もされ得、画像の撮影中のカメラの動きを推定することが、垂直からのカメラの回転を補正することを備える。

上記の方法が解を提供することになる。しかし、場合によっては、抽出された線分のうちの少なくとも１つが、垂直の側壁からのものでない可能性があるといった、解に誤りが存在し得る。したがって、実施形態では、上記のフレームワークは、無作為抽出一致法（ＲＡＮＳＡＣ）などについての最小の解法を提供する。したがって、一実施形態では、方法は、ロバスト推定器（robust estimator）を使用してモデルを改良することをさらに備え、モデルのモデルパラメータが、シーンの深度および画像撮影を使用してカメラの動きを記述する。

たとえば、ロバスト推定器は、
モデルパラメータを最良モデルの最良モデルパラメータとして設定することと、
最良モデルの適合（fit）を評価することと、
前記画像からさらなる線分を抽出することおよび新しいモデルを生成するために新しいモデルパラメータを計算することと、
新しいモデルの適合を評価することと、
新しいモデルの適合が最良モデルの適合よりも良好である場合、最良モデルパラメータを新しいモデルパラメータで更新することと、
停止基準が達成されるまで、新しいモデルを生成するためにさらなる線分を選択すること、新しいモデルの適合を評価すること、および新しいモデルの適合が最良モデルの適合よりも良好である場合に最良モデルパラメータを新しいモデルパラメータで更新することのプロセスを継続的に繰り返すことと、
を備え得る。

適合は、インライア（inlier）の数を計算することにより評価され得る。

上記の方法は、画像の撮影中のカメラの動きを、単一の受け取った画像からの画像データのみを使用して推定し得ることに留意されたい。

カメラの動きの推定を速めるために、様々な方法が採用され得る。たとえば、カメラ動きパラメータおよびシーンの深度に関係するパラメータの推定を得るために、抽出された線分のうちの３つが、前記垂直面のうちのただ１つに適合され得、
次いで、シーンの深度に関係するさらなるパラメータが、他の線分の制約に対して既に推定されたパラメータを代入することによって推定される。

画像が撮影されたシーンにおける３ＤポイントＰについてのシーン深度は、カメラからの３ＤポイントＰの前方距離である。ローリングシャッタカメラにより撮影された画像中の画素に対応するポイントＰのシーン深度は、カメラの動きに依存することになる。しかし、いくつかの実施形態では、ローリングシャッタカメラにより撮影された画像中の逆シーン深度（inverse scene depth）およびカメラの動きを補償した画像中の逆シーン深度が線形であると仮定される。

さらなる実施形態では、誤った解を処理することを避けるために、抽出された線分は、前記線分が前記２つの垂直面のうちの少なくとも１つの上にあるかどうかを決定する前に決定するための、少なくとも１つの閾値を有し得る。たとえば、線分の長さが閾値と比較され得、閾値よりも短い線は破棄される。

さらなる実施形態では、（補正なしの）ローリングシャッタが撮影した画像についての、同次座標中における抽出された線分のうちの２つの外積が計算される。この計算されたベクトルと垂直との内積の大きさが次いで閾値と比較され、閾値を超えた場合、線は破棄される。代数的誤差
を使用する、こうした線分の事前フィルタ処理は、明らかなアウトライア（outliers）を除去するために、著しくＲＡＮＳＡＣの効率を増加する。上記の数式は、線分が垂直であるかどうかを決定する。

さらなる実施形態では、上記されたロバスト処理期間に、現実的でない解（たとえば、２００ｋｍ／ｈを超える絶対並進速度および９０度／ｓを超える絶対角速度に対応する解）を破棄することによって、解の中でも、可能性のあるものだけが考慮される。

さらなる実施形態では、ローリングシャッタカメラによる画像の撮影中のカメラ動きを補償するためのシステムが提供され、
このシステムは、プロセッサを備え、
このプロセッサは、
ローリングシャッタを有するカメラにより撮影されたシーンの画像を受け取るための受信ポートと、
画像の撮影中のカメラの動きを補償した画像データを出力するための出力と
を備え、
プロセッサが、
受け取った画像から線分を抽出し、
受け取った画像からの画像の撮影中のカメラの動きを推定し、
画像の撮影中のカメラの動きを補償した画像データを生成する
ように構成され、
シーンが無限遠直線で交差する水平面および２つの垂直面によって近似され、画像の撮影中のカメラの動きを推定することが、抽出された線分が垂直であり垂直面上にあると仮定することを備える。

上記は、画像が表示されるように、画像が出力されることを可能にし得る。あるいは、画像は、たとえば物体認識のために画像から特徴を決定することといった、さらなる処理のために出力され得る。１つのさらなる実施形態では、補償した画像が、自律運転システムへの入力として使用される。ここで、ＲＳ補償した画像は、道路に対する車両の位置を決定する、および／または衝突回避のために使用され得る。

シーン深度および車の速度の逆数が、ゲージ自由度を導入する。ここで、並進速度が知られている場合、垂直面に対する車の位置を推定することが可能である。また、壁に対する車の位置が知られている場合、並進速度が推定され得る。

実施形態にしたがういくつかの方法はソフトウェアにより実装され得るために、いくつかの実施形態は、任意の好適なキャリア媒体上で汎用コンピュータに提供されるコンピュータコードを含む。キャリア媒体は、フロッピー（登録商標）ディスク、ＣＤ ＲＯＭ、磁気デバイス、もしくはプログラム可能メモリデバイスなどの任意の記憶媒体、またはたとえば電気、光、もしくはマイクロ波信号といった任意の信号などの任意の過渡的な媒体を備え得る。

上記は、画像中の検出された垂直線分を使用しアッカーマン運動原理を使用してローリングシャッタ画像センサにより撮影された単一画像からカメラの動きを推定する方法、単一のローリングシャッタ画像から粗い深度マップを計算する方法、および単一のローリングシャッタ画像からローリングシャッタ歪を補償する方法を提供する。

図１（ａ）および図１（ｂ）は、カメラ（図示せず）を備えている車両１の動きを説明するために使用されるモデルを示す図である。図１（ａ）は、純粋な円運動を呈示し、図１（ｂ）は、純粋な並進運動を呈示し、さらに、シーン深度と画素座標との間の関係を示す。

グローバルシャッタカメラとローリングシャッタカメラは、写真を撮影するとき、どのように画像センサが露出されるかが異なる。前者の場合、光は、一定の時間期間にわたって同時に画像センサの行のすべてに当たる。ローリングシャッタカメラでは、各行は、規則的な時間間隔の間に露出されるが、カメラは、（小さい）動きを受ける。

図１（ａ）では、車両１の回転運動が考慮されることになる。図１（ａ）では、
を、ＧＳカメラ座標に対する空間中の３Ｄポイントとする。ここで、ＲＳカメラ座標に対するポイントＰの位置は以下である。
上式は、次のように、正規化された画素座標で書かれ得る。
ここで、ｐ＝［ｐ₁，ｐ₂，１］^T、および
は、それぞれＧＳカメラおよびＲＳカメラの画素（ｐ₁，ｐ₂）の同次画素座標である。ｓおよび
は、対応するシーン深度である。Ｋは、固有カメラ行列である。
および
は、時間
における車両１の回転および並進であり、ここで、τは、２つの連続した行の間の時間遅延である。Ａは、アッカーマン運動パラメータである。読みやすさのため、本分析の残りでは、pおよびp^rsは、画像面上と考えられ、すなわち、Ｋ^-1によって事前に乗算される。したがって、（２）式は、次となる。
ここで、
は、
の転置である。シーン深度
が画素で、またカメラの動きで変化することに留意されたい。

アッカーマンステアリング原理は、転回期間に車両の４輪すべてが共通点の周りを動くと仮定する。この原理は、車輪のすべてが転動運動を呈することを確実にする、任意の自動推進車両に当てはまる。この共通点は、瞬間回転中心（ＩＣＲ）３として知られており、車輪の転動軸すべてを交差することにより計算される。ＩＣＲ３は、図１（ａ）に示される。図１（ａ）では、円運動の半径は、純粋な前進運動下では、無限大になる。

車両は、画像を撮影するとき、固定の並進速度および角速度を始めると仮定される。車両１が回転角θ^tで純粋な円運動を実施する場合、車両は、図１（ａ）に示されるように、円運動の制約
を満足しなければならない。ここで、ｘ軸は、ＩＣＲに向かう半径に沿っていることに留意されたい。車両の（以前の位置と現在の位置の）間の相対的な姿勢は、次のように書かれ得る。
ここで、θ^tは相対的なヨー角であり、ρ^tは時間ｔにおける車両の変位である。（３）式に代入すると、シーン深度は次で得られる。
これは、図１（ａ）によっても検証され得る。車両が角速度αおよび並進速度βで円運動を受けると仮定する。この仮定の下では、次の通りである。
ここで、Ａ＝｛α，β｝は、知られていないローリングシャッタパラメータの組である。シーン深度ｓ^rs _Aは、
へと簡略化される。動きパラメータＡの３次以上を含む項が無視されていることに留意されたい。小さい回転の下では、回転行列は、線形に近似され得る。したがって、（６）から２次項をさらに落として（最終的に、γ_tが１になり）、（３）に代入する。
ここで、［．］_Xは、歪対称外積行列を示し、Ｉ₃は、３×３単位行列である。
および
は、角回転および並進に対する円運動の寄与である。

たとえば慣性計測装置（ＩＭＵ）といった外部ハードウェア発生源から容易に入手可能な、垂直方向が知られていることが仮定され得る。ＩＭＵの加速度計およびジャイロスコープは、カメラフレームにおける重力加速度の方向（ロール角およびピッチ角）の正確な測定を可能にし、これから垂直方向ｅ_yが導出され得る。一般性を失うことなく、カメラの知られている垂直方向は、シーン座標に対してやはり垂直である、すなわちｅ_y＝［０，１，０］であることが、さらに仮定され得る。

ｕ_i＝［（ｕ_i1 ｕ_i2 ｕ_i3）］^Tおよびｖ_i＝［（ｖ_i1 ｖ_i2 ｖ_i3）］^Tを線分ｌ_iの動き補償した端点とする。ここで、ｌ_iのインタープリテーション面（interpretation plane）の法線は、ｕ_i×ｖ_iである。ｌｉが垂直である場合、インタープリテーション面は垂直軸を通過しなければならず、このことが、（ｕ_iｘｖ_i）^Tｅ_y＝０、すなわち次式をもたらす。

ローリングシャッタ画素座標に換算して代入すると、上の式（８）は、知られていない動きパラメータＡと知られていないシーン深度ｓとを有する多項式をもたらす。この実施形態では、ローリングシャッタ補償は、あらゆる個々の画素において、シーン深度ｓの推定を必要とする。以下のセクションでは、都市区域で運転している車両についてほぼ有効な、シーン深度ｓの簡略化したパラメータ表示が採用される。

図２（ａ）および図２（ｂ）は、一実施形態でどのように深度がパラメータ化されるのかを説明するために使用されることになる。シーンは、２つの垂直面１３、１５（建造物など）と１つの水平面（道路）１１とから構成されると仮定される。図２（ａ）および図２（ｂ）は、道路１１の２つの側部が、無限遠直線で交差する２つの垂直面によって近似されることを示す。道路１１は、水平の地面と考えられる。ここで、カメラが垂直であると仮定されるので、水平線は、カメラの主点を通過しなければならない。任意の画素におけるシーン深度は、面により囲まれるシーンの最小深度と考えられる。

シーン深度の逆数は、無限遠直線に対応する列についてゼロであると仮定され、道路の側部に沿って線形に増加する。

（ｐ₁，ｐ₂）を、深度ｓにおける地面上の３Ｄポイント
の正規化された画素座標とする。ピンホールカメラモデルによって、
であり、すなわち、図１（ｂ）に示されるように、ｓ^-1＝ｈ^-1ｐ₂であり、ここで、ｈは、地面からのカメラの高さである。

同様に、垂直面のいずれかの点について、ｓ^-1＝ｄ^-1ｐ₁であって、ここで、ｄは垂直面からの車両の距離である。一般的に、図２（ｂ）に示されるように、垂直面に斜めに向いている車両では、ｓ^-1＝ｄ^-1（ｐ₁−δ）であり、ここで、δは、無限遠直線に対応する列である。ここで、シーン深度の逆数ｓ^-1は、正規化された画素座標において、画素の列数に線形である。

ここで、この実施形態では、ｓ^-1＝ｍａｘ｛λ’（ｐ−δ），λ（ｐ−δ），λ^*ｐ｝が、画素（ｐ₁，ｐ₂）における逆深度であることが仮定され得る。列δは、無限遠直線に対応する。λ’、λは、垂直面からのカメラの距離の逆数である。λ＊は、知られていると仮定される、カメラの高さの逆数である。この構造によって、垂直な線分は、λ’、λによって表記される３Ｄにおける垂直面のいずれかになければならない。したがって、式（７）は次式となる。
ここで、［ｘ］_-＝−ｍｉｎ｛０，ｘ｝および［ｘ］₊＝ｍａｘ｛０，ｘ｝は、それぞれの垂直面上でのみ、非ゼロである。深度パラメータλ’、λのスケール、および並進速度βのスケールが、ゲージ自由度を導入する。したがって、１つのパラメータを知れば、他の２つは、明示的に推定され得る。

この作業では、ゲージは、λ’＝１を選択することによって固定される、すなわち、垂直面のうちの１つに対する車両の位置が知られていると仮定され、車両の並進速度βおよび垂直面の他の側のパラメータλが推定される。一方、車両の速度βが知られている場合、垂直面のパラメータλ’およびλの推定は、同じ解法に至る。さらに、検出された垂直線分が、画素座標が知られている地面に接触する場合、車両の速度ならびに位置は、λ_*から計算され得る。それにもかかわらず、歪んだ画像は、スケール（速度、深度など）を知ることなく、常に補償され得る。

２つの動きパラメータ｛α，β｝および２つの深度パラメータ｛λ，δ｝を解くために、モデルならびにシーンの深度を推定するため、４つの線分が必要である。上記において、ｓ^-1＝［ｐ₁−δ］_-＋λ［ｐ₁−δ］₊が、ＧＳカメラ座標に対して計算されることに注意されたい。式（９）を式（８）に代入することが、２９個の単項を有する自由度５の８つの多項式の系をもたらす。この系についてのグレブナー基底解法は、各問題の事例について、約０．１秒かかる、４６７×４７８行列を除去することを含む。

以下の近似で、効率が改善される。深度の逆数ｓ^-1は、ＲＳ画素座標に対して線形であると仮定され、すなわち
である。そのような近似を用いてさえ、パラメータが依然として非常に正確に推定され得ることを、実験は呈示する。

一実施形態では、問題は、グレブナー基底法により解かれる、垂直面のうちの１つの中の３つの線分を考えることによって、さらに簡略化される。それは、αと，βと、δとを計算する。これらは、次いで、他の線分の式（８）の制約に代入され、最小絶対解が選択されるλにおける２次方程式を形成する。グレブナー基底法は、Ｇ−Ｊ消去法が実施される、サイズ１２×１５の消去テンプレート行列を生成する。これは、３つの解を生成し、各問題の事例について、約０．００１ｓかかる。現実的でない解（たとえば、２００ｋｍ／ｈを超える絶対並進速度および９０度／ｓを超える絶対角速度に対応する解）を破棄することによって、解の中でも、可能性のあるものだけが考慮される。

カメラが直交行列Ｒ_ω∈ＳＯ（３）により与えられる知られている角度で設置される、より一般的な場合が、ここで考慮されることになる。ＧＳカメラ座標およびＲＳカメラ座標に対する式（１）中の３Ｄポイント
の画素座標は、ｓ’Ｒ_ωｐ＝Ｐおよび
となり、ここで、ｓ’および
は、シーン深度に対して比例する。したがって、（１）は、次となる。

上記は、次のように、ＧＳ座標フレームに換算しても書かれ得る。
ここで、
および
は、角回転および並進に対する円運動の寄与である。
は、Ｒ_ωに沿った回転行列の直線化としても観察され得る。
および
であることに留意されたい。ここで、ｓは、画素ｐに対応するシーン深度であり、
は、Ｒ_ωの第３の行である。上記に、
と
と
とを代入すると、以下の式が得られる。

ｔが
で置き換えられ得ることに留意されたい。このシナリオでは、ｐ’座標における回転された線分が垂直である。上記を式（８）に代入すると、自由度５の式の組が得られ、次いで、グレブナー基底法により解かれる。これは、次いで、Ｇ−Ｊ消去法が実施される、サイズ３７×４３の消去テンプレート行列を生成する。これは、各問題の事例について、６つの解を生成する。

次いで、車両が純粋な並進運動、α＝０を受けるシナリオが考えられることになる。したがって、面の左側について、式（９）は、次式となる。
ここで、
である。このシナリオでは、有限解を有するために、線分のうちの２つが一方の面上にあり、他の線分が他方の面上にある、３つの線のアルゴリズムが十分となる。したがって、ｐ₁−δは、次式のように、ＧＳ画素座標に換算して、直接計算され得る。

式（８）に、ローリングシャッタ画素座標に換算した画素を代入し、次いで式を簡略化すると、次式を得ることが可能である。

および
が、簡略化の間に代入されたことに留意されたい。２つの線分についての、式（１６）における２つのそのような制約が、一意の解をもたらす。したがって、垂直面の両方について、有限解を有するため、３つの線分が十分であり、線分のうちの２つは、βおよびδを一意に計算する１つの面上にある。

他の線分に対応する、他の制約に対する推定されるパラメータの代入が、やはり一意の解を有するλにおける線形の制約をもたらす。この閉じた形態の解は、消去テンプレートなしで得られるために、極めて速い解法をもたらす。

次いで、車両が純粋な並進運動、β＝０を受けるシナリオが考えられることになる。深度の変化
は、式（８）における垂直方向に影響を及ぼさない。このシナリオでは、ＧＳ画像フレームとＲＳ画像フレームの間の幾何学的関係は、次式となる。
ここで、
である。簡略化後、制約（８）は、次式に簡略化される。
これは、αにおける２次方程式であり、最小絶対値を有する解のみが考慮される。したがって、αを推定するのに、単一の線分が十分であり、これが、効率的で、より速い１つの線のアルゴリズムをもたらす。

しかし、上のシナリオは、アッカーマン運動ではない（図１（ａ）に呈示される運動とも異なる）。

上記を説明するために、提案された最小の解法の有効性を検証する実験が、合成したデータセットおよび現実のデータセット上で実施された。合成した実験は、解法の効率および安定性を分析することを狙った。特に、カメラが純粋な並進または回転速度を受ける縮退した場合。使用された解法は以下である。
・４−ＬＡ：アッカーマン運動についての完全な４つの線の解法［グレブナー基底法、式（９）］。
・３−ＬＡ：純粋な並進運動についての３つの線の解法［式（１７）］。
・１−ＬＡ：純粋な回転運動についての１つの線の解法［式（１８）］。

提案された解法は、ＲＡＮＳＡＣスケジュールに関して評価された。実験のすべてにおいて、インライア閾値は、０．５画素であると選択され、繰り返しの数は、信頼水準０．９９で選択される。

ｓを決定するための能力は、生成されるべきシーンの粗い深度マップも可能にする。

図３は、ＲＡＮＳＡＣを使用して、どのように最小の解法が評価され得るかを示すフローチャートである。

Ｓ１０１において、ローリングシャッタ画像が撮影される。この流れ図に関して議論される分析の残りは、まさにこの単一の画像からのデータに同意することになる。

Ｓ１０３において、画像中の線分が検出される。一実施形態では、線分検出器ｌｓｄが使用され、好適なｌｓｄは、たとえば、ｖｏｎ Ｇｉｏｉ Ｒ Ｇｒｏｍｐｏｎｅ、Ｊｅｒｅｍｉｅ Ｊａｋｕｂｏｗｉｃｚ、Ｊｅａｎ−Ｍｉｃｈｅｌ Ｍｏｒｅｌ、およびＧｒｅｇｏｒｙ Ｒａｎｄａｌｌ著 「ＬＳＤ：ａ ｆａｓｔ ｌｉｎｅ ｓｅｇｍｅｎｔ ｄｅｔｅｃｔｏｒ ｗｉｔｈ ａ ｆａｌｓｅ ｄｅｔｅｃｔｉｏｎ ｃｏｎｔｒｏｌ」 ＩＥＥＥ ＴＰＡＭＩ， ３２（４）：７２２−７３２， ２０１０に記載される。

本明細書には示されないが、ここで、線分がさらなる処理に好適であるかを見るために、線分について様々な試験が行われ得る。一実施形態では、３５画素未満のサイズの線分が破棄される。

線分は、代数的誤差
で事前フィルタ処理される。これは、事前フィルタ処理が明らかなアウトライアを除去するために、著しくＲＡＮＳＡＣの効率を増加する。

次に、反復カウンタが１だけ増分される。システムを通じて最初のパスでは、これは、カウンタを１に設定することになる。次いで、停止基準に対して十分なサンプルが評価されたときを決定するため、このカウンタが使用されることになる。一般的に、ＲＡＮＳＡＣは、決まった数のループを完了することになる。この数を決定するための多くの可能な方法があり、それらは主に、さらなるサンプルを選択することが、モデルパラメータのさらなる改良をもたらさないという基準に基づく。

次に、Ｓ１０７において、カウンタがその終止値に達したかが決定される。終止値は、上で説明された停止基準を満足するように設定されることになる。

次に、ステップＳ１０９において、ＲＡＮＳＡＣ処理が開始する。最初に、ｎ個の線分がランダムに選択される。次に、ステップＳ１１１において、モデルパラメータが推定される。図１および図２に関係する上の説明は、どのようにモデルパラメータが推定されるのかを詳細に説明した。しかし、図４は、ステップＳ１０９およびステップＳ１１１の一般的なプロセスの概要を示すフローチャートである。

ステップＳ１５１において、ｎ個の線分が、抽出された線分から選択される。選択される線分の数は、解かれるべきモデルパラメータの数に依存する。車両は、おそらく、並進運動と回転運動の両方で動いており、４つの線分が選択される必要がある。車両が純粋な並進運動をのみ呈することが事前に知られている場合、３つのパラメータを解くことのみが必要であるために、単に３つの線が選択される必要がある。最後に、車両が純粋な回転運動をのみ呈することが知られている場合、１つのみ知られていないものがあり、したがって単に１つの線が選択される必要がある。

ステップＳ１５３において、各線分からの上限および下限の画素値が、ＲＳ画像から抽出され、同次座標へと変換される。これは、Ｚ座標が１であると仮定することによって、達成される。

ステップＳ１５５において、ＲＳ同次座標は、上の式（９）にしたがって、動き補償された同次座標に変換される。これは、ＲＳ座標および知られていないモデルパラメータに換算した、動き補償された座標を表すことを含むことに留意されたい。

ステップＳ１５７において、ここで、シーンをモデル化するために使用される垂直面上に動き補償された線がなければならないという要件を表す１つの方法である式（８）に記載される条件に、動き補償された同次座標が挿入される。式（８）は、上側座標と下側座標、動き補償された線の外積によって水平線が生成されなければならないということを要求することによって、この条件を提供する。このことは、これらの座標が無限遠に延びる垂直面上にある場合に真でなければならない。知られている垂直とのその内積を計算することによって、生成された線が水平であるのかが決定される。

ここで、図３のフローチャートに戻って、ステップＳ１１３において、モデルパラメータが試験される。これは、データセット中の他の抽出された線分の各々について動き補償された同次座標を計算すること、およびこれらの線分が図４のステップＳ１５７に関して説明された基準を満足するかを見ることにより、これらの線分がインライアであるのかまたはアウトライアであるのかを決定することによって行われる。

ステップＳ１１５において、最新の繰り返しがより良い答を提供するか（すなわち、より多くのインライアを生成するか）どうかが決定される。そうである場合、これらのモデルパラメータは、最良モデルパラメータとして保存され、ループは、ステップＳ１０５でカウンタを増分して再開する。

停止基準が一旦達成されると、最良モデルパラメータは、カメラの動きを補償して、以下の、グローバルフレーム（３）へのＲＳ画素の順方向マッピング手順により、歪のない画像を得るために使用される。
ここで、
および
である。λ*が、知られていると仮定される地面からの、カメラの高さの逆数であることに留意されたい。地面と垂直面の境界が、
または
である画素であることに留意されたい。順方向マッピングの後に、知られていない画素は、線形に補間される。補償されたフレームの外側に位置を特定される画素は、強度０で配置される。

図３および図４に関して説明された上のプロセスは、以下の擬似コードを通して視覚化され得る。

アルゴリズム１：
1: procedure COMPENSATEMOTION(Input image)
2: detectLineSegments(LSD)
3: pruneLineSegments
4: estimateMotion(α;β)andDepth(δ;λ)byAlgorithm 2 (below)
5: warpCompensatedImage
6: return The motion compensated image
7: end procedure
アルゴリズム２：
1: procedure RANSACACKERMANN(Line Segments)
2: while count ≠ maxIterations do
3: (u_rs ; v_rs) ← get4random(LineSegments)
4: (u_rs ; v_rs) ← get3leftmost(u_rs ; v_rs)
5: (α;β;δ) ← estimateGrobnerBasis(u_rs ; v_rs)
6: λ ← solveQuadraticrightmostLineSegment
/*** 式（８）における(α;β;δ)を代入する***/
7: if outofrange (α;β;δ,λ) then
8: continue
9: end if
10: countInliers(α;β;δ,λ)
11: updateBestfoundsofar(α;β;δ,λ)
12: count ← count + 1
13: end while
14: return Bestfoundsofar(α;β;δ,λ)
15: end procedure
カメラが、地面から１．２ｍの高さ、および道路の左側の垂直面から２．５ｍに配置される実験のために、きれいなＧＳ画像が選択された。

ＲＳ画像は、並進速度１０〜１４０ｋｍ／ｈおよび角速度１０〜７０度／ｓの控えめな間隔でランダムにアッカーマン運動をシミュレーションすることにより、３０フレーム／ｓ（４０％読出し時間）で合成された。動きをシミュレーションしているとき、標準２ｋｍ／ｈおよび２度／ｓでランダム雑音がさらに加えられた。

ＲＡＮＳＡＣと組み合わせる提案される最小の解法１−ＬＡ、３−ＬＡ、および４−ＬＡは、合成ＲＳ画像の事例の各々上で実行される。

推定される動きの統計値が図５にプロットされる。ここで、提案される方法１−ＬＡ（図５（ａ））、３−ＬＡ（図５（ｂ））、および４−ＬＡ（２０ｋｍ／ｈの並進速度では図５（ｃ）、６０ｋｍ／ｈの並進速度では図５（ｄ）、１００ｋｍ／ｈの並進速度では図５（ｅ）、および１４０ｋｍ／ｈの並進速度では図５（ｆ））の評価が、合成データから取られて示される。点線は、シミュレーションされた速度を表す。ｘ軸およびｙ軸に沿って、シミュレーションされ予測された動きが表示される。推定される並進速度および角速度は、それぞれ赤いボックスおよび青いボックスにより表され、ここで、推定値の７５％は、ボックス内にある。０＋０および０−０は、推定される動きの平均および中央値である。動きは、並進速度４０〜８０ｋｍ／ｈおよび角速度５０〜１４０度／ｓについて正確に推定され、さらに速度の合同推定が、個別推定と同じくらい正確であることが観察され得る。さらに、ほとんどすべての場合において、提案される最小の解法が、視覚的に美しい画像を生成する。

図６は、角速度４０度／ｓ、並進速度６０ｋｍ／ｈで車両がアッカーマン運動を受ける、図５からのランダムな事例のうちの１つの結果を表示する。推定される角速度は５３．４９度／ｓであり、並進速度は６２．１６ｋｍ／ｈである。図６（ａ）は、合成のローリングシャッタ画像であり、図６（ｂ）は動き補償された画像である。

提案される方法がＭａｔｌａｂに実装され、ランタイムは、単一のコアのみを利用して、ｉ７ ２．８ＧＨｚ ＣＰＵ上で計算される。平均で、ＬＳ検出および修正を除外して、３６０×５２０画像を修正するのに、ほとんどの最近の方法より２〜３桁速い、約０．０８７秒かかる。

詳細な比較については、表１を参照。

上の方法は、単一の視野からの、アッカーマン運動の下での、ローリングシャッタカメラ動き補償についての最小の解法を提供する。４つの線のアルゴリズムは、動きパラメータとともに、シーンの簡略化した深度を推定するために開発される。上の方法は、極めて速い補償方法を有することを可能にする、単眼ローリングシャッタ動き補償のため最小の解法を活用する、その種類の第１のものでもある。結果は、提案された手法の計算効率および有効性を呈示する。

上は、自己運動の並進部を組み込んだ、単一の歪んだ画像からの、ＲＳ補償のための最小の解法を記載する。上の方法は、ローリングシャッタ動き補償のための速い最小の解法を提供する。上の方法は、知られている垂直方向の制約を有するアッカーマン運動のために調整したアルゴリズムを使用する。これは、自動推進車両にとって、通常のシナリオである。ＲＡＮＳＡＣに関して、提案される解法は、実時間で実行される。

現在の自動推進車両は、しばしば、安い市販のローリングシャッタカメラを備える。これらのデバイスは、画像を撮影するときの、カメラの行間遅延に起因する、歪んだ画像をしばしば生成する。

図７は、ローリングシャッタカメラを有する車両に適応されたシステム２０の、可能な基本アーキテクチャを示す。システム２０は、プログラム２５を実行するプロセッサ２３を備える。システム２０は、記憶装置２７をさらに備える。記憶装置２７は、カメラから受け取ったデータを分析するため、プログラム２５により使用されるデータを記憶する。

分析ユニット２０は、入力モジュール３１と出力モジュール３３とをさらに備える。入力モジュール３１は、カメラ入力３５に接続される。カメラ入力３５は、車両のスクリーン４３上に位置決めされるローリングシャッタカメラ４１であるカメラからカメラデータを受け取る。カメラ入力３５は、カメラ４１から直接データを単に受け取り得、あるいは、カメラ入力３５は、外部の記憶媒体またはローリングシャッタカメラが位置決めされるネットワークからカメラデータを受け取り得る。

一実施形態では、出力モジュール３３に接続されるのは、ディスプレイ３７である。ディスプレイは、車両のダッシュボード上のディスプレイ３７’としてもうけられ得る。ディスプレイ３７は、カメラ入力３５により受け取られたカメラデータから生成される動き補償された画像を表示するために使用され得る。ディスプレイ３７の代わりに、出力モジュール３３は、ファイルに、またはインターネットなどを介して出力し得る。

図７のシステムは、他の制御部を備え得る。たとえば、図７のシステムは、補償された画像データを取って、カメラにより撮影されたシーン中の物体を識別することができ得る。これは、次いで、自律運転および他の用途に使用され得る。

上の方法は、並進速度が与えられる場合に側壁に対する車両の位置の推定を上の方法が可能にするために、自動車産業界が、自律車両のために手頃なローリングシャッタカメラを組み込むことを可能にする（または、そこに向かう研究を進める）ことになる。

上の方法では、並進運動と回転運動の両方が、単一のフレームからのデータを使用してモデル化され得る。並進運動は、アッカーマン運動では無視され得ない。上の方法では、アッカーマン運動は、知られている垂直方向の下で推定される。上の方法は、動きパラメータを推定するとき、近似シーン深度も推定する。上記では、最小の解法がローリングシャッタカメラの動きを補償するために垂直線分を利用することによって開発され、提案される方法は、自動推進車両にとって通常のシナリオである、アッカーマン運動原理のために調整される。

上の方法では、最小の解法は、カメラの知られている垂直方向を仮定するローリングシャッタ動き補償について提案される。２つの動きパラメータと、簡略化した深度仮定のための２つのパラメータとだけからなる車両のアッカーマン運動モデルのおかげで、４つの線のアルゴリズムになる。いくつかの実施形態で使用されるＲＡＮＳＡＣに関する、提案される最小の解法は、ローリングシャッタカメラの動きの動きを効率的に正確に推定し、システムが実時間で動作できることも呈示する。

ある種の実施形態が記載されてきたが、これらの実施形態は、単に例として提示されており、本発明の範囲を限定する意図はない。実際に、本明細書に記載される新規の方法およびシステムは、様々な他の形態で具現化され得、さらに、本明細書に記載される方法およびシステムの形態において、様々な省略、代替、および変更を、本発明の精神から逸脱することなく行い得る。添付する請求項およびそれらの等価物は、本発明の範囲および精神に入るので、そのような修正形態をカバーすることが意図される。

Claims (20)

1. ローリングシャッタカメラにおける画像撮影中のカメラ動きを補償する方法であって、
   ローリングシャッタを有するカメラにより撮影されたシーンの画像を受け取ることと、
   前記画像中の線分を抽出することと、
   前記受け取った画像から前記画像の撮影中の前記カメラの動きを推定することと、
   前記画像の撮影中の前記動きを補償した画像を生成することと
   を備え、
   前記シーンが無限遠直線で交差する水平面および２つの垂直面によって近似され、前記画像の撮影中の前記カメラの前記動きを推定することが、前記抽出された線分が垂直であり前記垂直面上にあると仮定することを備える、方法。
2. 線分が垂直面上にあるかどうかを決定することが、前記線分に対する法線が垂直方向に対して直角であるかどうかを決定することを備える、請求項１に記載の方法。
3. 前記カメラの前記動きを推定することが、受け取った２次元画像中の画素を、同次座標を使用して３次元で表すことを備える、請求項１または２に記載の方法。
4. 前記カメラの前記動きを推定することが、前記ローリングシャッタカメラにより撮影された画像中の逆シーン深度と前記カメラの前記動きを補償した画像中の逆シーン深度との間に線形関係を仮定することを備え、前記シーンにおける３ＤポイントＰについてのシーン深度が前記カメラからの前記３ＤポイントＰの前方距離である、請求項１から３のいずれか一項に記載の方法。
5. 前記カメラの前記動きを推定することが、
   前記ローリングシャッタカメラを使用して撮影された画像中の画素の位置を、前記カメラの前記動きを補償した画像の位置に関係付けること
   を備え、
   前記画像の撮影中の前記カメラの前記動きがアッカーマン運動を使用してモデル化される、請求項１から４のいずれか一項に記載の方法。
6. 前記カメラの前記動きを推定することが、
   前記ローリングシャッタカメラを使用して撮影された画像中の画素の位置を、前記カメラの前記動きを補償した画像の位置に関係付けること
   を備え、
   前記画像の撮影中の前記カメラの前記動きが純粋な回転運動を使用してモデル化される、請求項１から４のいずれか一項に記載の方法。
7. 前記カメラの前記動きを推定することが、
   前記ローリングシャッタカメラを使用して撮影された画像中の画素の位置を、前記カメラの前記動きを補償した画像の位置に関係付けること
   を備え、
   前記画像の撮影中の前記カメラの前記動きが純粋な並進運動を使用してモデル化される、請求項１から４のいずれか一項に記載の方法。
8. 前記カメラの垂直位置が、前記画像を撮影した前記カメラに加えて、センサを介して決定される、請求項１から７のいずれか一項に記載の方法。
9. 前記カメラの位置が、前記垂直に対して回転され、前記画像の撮影中の前記カメラの前記動きを推定することが、前記垂直からの前記カメラの回転を補正することを備える、請求項１から８のいずれか一項に記載の方法。
10. ロバスト推定器を使用してモデルを改良することをさらに備え、前記モデルのモデルパラメータが、前記シーンの深度および画像撮影を使用して前記カメラの前記動きを記述する、請求項１から９のいずれか一項に記載の方法。
11. 前記ロバスト推定器を使用することが、
    前記モデルパラメータを最良モデルの最良モデルパラメータとして設定することと、
    前記最良モデルの適合を評価することと、
    前記画像からさらなる線分を抽出し、新しいモデルを生成するために新しいモデルパラメータを計算することと、
    前記新しいモデルの適合を評価することと、
    前記新しいモデルの前記適合が前記最良モデルの前記適合よりも良好である場合、前記最良モデルパラメータを前記新しいモデルパラメータで更新することと、
    停止基準が達成されるまで、新しいモデルを生成するためにさらなる線分を選択すること、前記新しいモデルの前記適合を評価すること、および前記新しいモデルの前記適合が前記最良モデルの前記適合よりも良好である場合に前記最良モデルパラメータを前記新しいモデルパラメータで更新することのプロセスを継続的に繰り返すことと、
    を備える、請求項１０に記載の方法。
12. 前記適合がインライアの数を計算することにより評価される、請求項１１に記載の方法。
13. 前記画像の撮影中の前記カメラの前記動きが、単一の受け取った画像からの画像データのみを使用して推定される、請求項１から１２のいずれか一項に記載の方法。
14. 前記画像の撮影中の前記カメラの前記動きを推定することが、
    カメラ動きパラメータおよび前記シーンの深度に関係するパラメータの推定を得るために、前記抽出された線分のうちの３つを、前記垂直面のうちの１つに適合させることと、
    動き補償された座標で表されたときの前記画像から抽出されたさらなる線分の法線が、前記シーンの前記垂直に対して直角であると仮定することによって、前記シーンの前記深度に関係するさらなるパラメータを決定することと
    を備える、請求項５に記載の方法。
15. 前記線分が前記２つの垂直面のうちの少なくとも１つの上にあるかどうかを決定する前に決定するために、前記抽出された線分を少なくとも１つの閾値と比較することをさらに備える、請求項１から１４のいずれか一項に記載の方法。
16. ローリングシャッタカメラにおける画像撮影中のカメラの動きを補償するためのシステムであって、
    前記システムが、プロセッサを備え、
    前記プロセッサが、
    ローリングシャッタを有するカメラにより撮影されたシーンの画像を受け取るための受信ポートと、
    前記画像の撮影中の前記カメラの動きを補償した画像データを出力するための出力と
    を備え、
    前記プロセッサが、
    前記受け取った画像から線分を抽出し、
    前記受け取った画像から前記画像の撮影中の前記カメラの前記動きを推定し、
    前記画像の撮影中の前記カメラの前記動きを補償した画像データを生成する
    ように構成され、
    前記シーンが無限遠直線で交差する水平面および２つの垂直面によって近似され、前記画像の撮影中の前記カメラの前記動きを推定することが、前記抽出された線分が垂直であり前記垂直面上にあると仮定することを備える、システム。
17. 前記カメラが車両に搭載される、請求項１６に記載のシステム。
18. 車両に設けられる自律運転システムであって、請求項１６に記載のシステムからの画像入力を備える、自律運転システム。
19. 前記画像の撮影中の前記車両の動きを補償した画像データから物体を認識するように適応される、請求項１８に記載の自律運転システム。
20. コンピュータに請求項１に記載の方法を実施させるように構成されるコンピュータ可読コードを備えるキャリア媒体。