JP2015138550A - カメラシステムを用いて自由空間を推定する方法 - Google Patents

カメラシステムを用いて自由空間を推定する方法 Download PDF

Info

Publication number
JP2015138550A
JP2015138550A JP2014261809A JP2014261809A JP2015138550A JP 2015138550 A JP2015138550 A JP 2015138550A JP 2014261809 A JP2014261809 A JP 2014261809A JP 2014261809 A JP2014261809 A JP 2014261809A JP 2015138550 A JP2015138550 A JP 2015138550A
Authority
JP
Japan
Prior art keywords
free space
image
camera system
moving object
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014261809A
Other languages
English (en)
Other versions
JP6272217B2 (ja
JP2015138550A5 (ja
Inventor
スリクマール・ラマリンガム
Ramalingam Srikumar
ジアン・ヤオ
Jian Yao
田口 裕一
Yuichi Taguchi
裕一 田口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JP2015138550A publication Critical patent/JP2015138550A/ja
Publication of JP2015138550A5 publication Critical patent/JP2015138550A5/ja
Application granted granted Critical
Publication of JP6272217B2 publication Critical patent/JP6272217B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776Validation; Performance evaluation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85Markov-related models; Markov random fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

【課題】単眼カメラによってシーンから取得されたビデオ、すなわち画像のシーケンスから、移動する物体の近傍の自由空間を推定する方法を提供する。【解決手段】各ノードが画像内のピクセルの列に対応する1次元グラフを最初に作成する210ことによって、移動する物体上に配置されたカメラシステムによってシーンから取得されたビデオにおける画像のシーケンスから、上記移動する物体の近傍の自由空間を推定する。上記画像内の特徴が求められ220、これらの特徴に基づいて、エネルギー関数がグラフ上に作成される230。動的計画法を用いて、エネルギー関数が最大にされ、上記自由空間が取得される240。【選択図】図2A

Description

この発明は、包括的には、自由空間推定に関し、より詳細には、カメラシステムによって取得された画像から自由空間を推定することに関する。
自律ナビゲーション及びコンピュータービジョンの分野では、自由空間は、移動する物体が他の物体と衝突することなく操縦することができる、当該移動する物体の前方のエリア、例えば、車両、ボート、又はロボットの前方又は後方のエリアとして定義される。この自由空間の別称は、運転可能空間(drivable space)である。
正確なマップ及びローカライゼーションシステムを用いることによって、自律ナビゲーションは、移動する物体に対して、地点Aから地点Bにその経路に沿っていずれの障害物にも衝突することなく進行するようにインクリメンタルナビゲーション(incremental navigation:漸近的ナビゲーション)方向を提供する。これを行うには、障害物を回避するのに必要となる重要な情報、及びこの重要な情報を取得する最も費用効果の高い手法を知ることが必要である。
自律ナビゲーションに最も重要な情報は自由空間である。自由空間は、ステレオカメラを用いて推定することができることがよく知られている。例えば、ステレオカメラシステムを用いると、地表平面と、この地表平面上の障害物とを推定することが可能である。占有グリッドの概念は、自由空間推定に密接に関係している。占有グリッドは、あらゆるセルが環境の占有エビデンス(occupancy evidence)をモデル化する2次元(2D)グリッドを指し、通常、走査型LIDAR及び超音波センサーのアレイ等の、環境の平面スライス上で距離を測定する3次元(3D)センサーを用いて推定される。
自由空間推定問題には、スティクセル世界(stixel world)表現が用いられてきた。スティクセル世界は、地表平面と、障害物を表す地上の垂直なスティックのセットとを用いた、世界の単純化したモデルを指す。このモデルは、2つの曲線を用いて画像をコンパクトに表すことができる。第1の曲線は、カメラの前方の最も大きな自由空間を囲む地表平面上に延びるものであり、第2の曲線は、自由空間の境界にある全ての垂直な障害物の高さ(垂直座標)を示すものである。スティクセル世界は、ステレオカメラから取得された奥行きマップを用いて求めることができる。ステレオ画像から奥行きマップを求めるアルゴリズムには、準大域ステレオマッチング法(SGM)等の幾つかのアルゴリズムがある。スティクセルは、動的計画法(DP)を用いてステレオ画像から奥行きマップを明示的に推定することなく求めることもできる。それらの技法は、立体視センサー又は3Dセンサーを用いて奥行きを暗黙的又は明示的に求める。
システムの複雑度及びコストを低減するには、移動する物体に搭載された単眼カメラによって取得された画像のシーケンス、すなわちビデオから自由空間を求めることが望まれている。ステレオビデオの代わりに単眼ビデオを用いてこの問題を解決する際には、幾つかの課題がある。他のセグメンテーション問題とは異なり、色又はエッジに完全に依拠することが可能ではない。例えば、道路のビデオには、横断歩道及び車線区分線からの強い勾配が存在することが多い。水面の場合には、近傍のボート、建物、又は空からの反射が存在することが多い。平面の道路に依拠するホモグラフィーに基づく特徴は、道路が平坦でないことに起因して正確でない場合がある。さらに、移動する物体は、単眼の自由空間推定において更なる課題を有する。
単一の画像から幾何学的レイアウト推定を実行する方法が知られている。所与の画像内のピクセルを地表、建物、及び空に分類することが可能である。この分類は、建物のポップアップ3Dモデルを取得するのに用いられてきた。シーンは、画像を上部領域、中部領域、及び下部領域に分割する2本の水平曲線を用いてモデル化することができる。画像を領域にセグメンテーションするこの問題は、大域最適法を用いて行うことができることが示されている。
動的計画法を列方向(column-wise:カラムワイズ)マッチングに用いるという一般的なアイデアが、建物の3Dモデルを推定するのに用いられてきており、都市シーンをモデル化するための高さマップの幾つかの層を取り扱うために一般化されている。
単眼ビデオは、同時ローカライゼーションマッピング(SLAM)法によって用いられてきた。それらの方法のほとんどは、疎な点群を提供し、自律ナビゲーションに最も重要な情報である自由空間を明示的に推定するものではない。
本発明者らが知る限りでは、従来技術のコンピュータービジョン技法を用いた水面のボートの自由空間推定方法は分かっていない。シーンの画像内の水面のセグメンテーションは、近傍の障害物又は空が水面で反射する等のその鏡面のような性質に起因して特に困難である。色及びエッジ等の特徴は、そのような状況の下では十分に機能しない。
この発明の実施の形態は、単眼カメラによってシーンから取得されたビデオ、すなわち画像のシーケンスから、移動する物体の近傍の自由空間を推定する方法を提供する。この方法は、路上の車両及び水面のボートの自律ナビゲーションに用いることができる。この方法は、動的計画法(DP)を用いて、移動する物体の前方又は後方で取得された画像を自由空間及び障害物にセグメンテーションする。
立体視センサー又は3Dセンサーを用いる従来の手法と異なり、この発明は、単眼カメラによって取得されたビデオを用いてこの問題を解決することを可能にしている。この発明の方法は、水面及び道路の外観、エッジ情報、連続した画像間のホモグラフィー、並びに平滑性等の幾つかの画像特徴及び幾何学的特徴に依拠している。これらの特徴は、目的関数又はエネルギー関数のポテンシャルの集合を求めるのに用いられる。
自由空間推定問題は、マルコフ確率場(MRF)における最適化問題として定式化される。MRFは、各ノードが画像内のピクセルの列に対応する1次元(1D)グラフとして定義される。この発明のグラフは1Dチェーンを形成するので、DPを用いて正確な推論を行うことができる。MRFのエネルギー関数のパラメーターは、手動で設定することもできるし、構造化サポートベクターマシン(SVM)を用いてトレーニング画像のシーケンスから自動的に求めることもできる。
この発明の方法は、単眼キューしか用いていないが、自由空間を確実に推定する。この発明の方法は、単眼ビデオから求められたオプティカルフロー、及びカメラの動きを推定するとともに単眼ビデオ内の複数のフレームを複数の画像として用いることによって求められる奥行きマップ等の他の単眼キューを組み込むこともできる。この発明の主要な焦点は単眼カメラシステムにあるが、ステレオカメラ又は複数のカメラが利用可能である場合、複数のカメラから求められた奥行きマップ等の、ステレオカメラ又はマルチカメラのキューを組み込むこともできる。
本発明者らは、建物ではなく困難な交通条件を有するシーンに関心があり、また、海上シーンにも関心がある。さらに、ビデオシーケンスにわたって平滑に変化する自由空間セグメンテーションが取得される。
自由空間がこの発明の実施の形態に従って求められるシーンの画像の図である。 自由空間がこの発明の実施の形態に従って求められるシーンの画像の図である。 この発明の実施の形態による自由空間を推定する方法の流れ図である。 この発明の実施の形態によるエネルギー関数のパラメーターを求める方法の流れ図である。 この発明の実施の形態による、自由空間とこの自由空間に対応する曲線とを求めるのに用いられる1次元グラフである。
図2Aに示すように、この発明の実施の形態は、移動する物体上に配置されたカメラシステムによってシーンから取得された画像のシーケンス201から、移動する物体の近傍の自由空間101を推定する方法を提供する。対応する自由空間を有する路上の車両及び水面のボートから取得された例示の画像は、それぞれ図1A及び図1Bに示されている。カメラシステムは、単眼ビデオシステムとすることができるし、ステレオカメラシステム又はマルチカメラシステムとすることもできる。
この発明の実施の形態に従って求められるような自由空間は、或るロケーションから別のロケーションに移動する車両の自律ナビゲーション、停泊又は係留中のボートの操縦、車両の駐車、及び自動電気掃除機等のロボットの移動等の複数の用途において用いることができる。
先ず、1Dグラフ301(図3参照)が作成される(210)。この1Dグラフでは、各ノードは、画像内のピクセルの列に対応し、各エッジは、近接した列を接続する。次に、エッジ、外観、ホモグラフィー、幾何学的状況、及び平滑性に基づいて画像から特徴が求められる(220)。これらの特徴は、上記グラフに基づいて自由空間推定のためのエネルギー関数を作成する(230)のに用いられる。これらの特徴は、画像内のオプティカルフロー、又は単眼ビデオシーケンスから求められた奥行きマップに基づくこともできる。次に、動的計画法が用いられ、エネルギー関数を最大化することによって自由空間101が推定される(240)。
エネルギー関数は、対応する重みパラメーターを有する、特徴によって求められたポテンシャル関数の和として定義される。重みパラメーターは、手動で設定することもできるし、図2Bに示すように、学習アルゴリズムを用いることによって間違いのないデータ(ground truth annotation)を有するトレーニング画像のシーケンス250から自動的に求めることもできる。パラメーターを学習するために、最初に、トレーニング画像のシーケンス250を用いて、1Dグラフが作成され(210)、特徴が求められ(220)、エネルギー関数が作成される(230)。次に、構造化SVMを用いて、重みパラメーター270が推定される(260)。この方法のステップは、当該技術分野において知られているように、バスによってメモリ及び入力/出力インターフェースに接続されたプロセッサ200において実行することができる。
単眼自由空間推定
具体的には、図1に示すように、本発明者らは、船舶ナビゲーション及び都市ナビゲーションの双方の状況において単眼イメージが与えられた場合の自由空間の推定に関心がある。この目標を達成するために、ピクセルの各画像列yについて障害物の垂直座標を推定する問題が、マルコフ確率場(MRF)における推論の問題として表現される。図3に示すように、MRFは、1Dグラフ301として表され、その解は、画像における1D曲線310を提供する。
1Dグラフ301は、画像のw個の列に対応する、yによって示されるノードの集合を含む。各ノードは離散変数を表し、これらの離散変数の値は、画像内のh個の行によって与えられるラベルの集合から得られる。これらのラベルは、最下部のピクセルがラベル1を有し、最上部のピクセルがラベルhを有するように順序付けられている。グラフ上のエネルギー最大化問題を解き、これらのノードをラベル付けすることによって、1D曲線310が取得される。この曲線の下方のエリアが、車両又はボートの近傍の自由空間101を規定する。この1D曲線は、車両、ロボット、及びボートの前方又はおそらく後方の近傍の自由空間を推定するのに用いることができる。
以下では、エネルギー関数、ポテンシャル、推論、及びパラメーター学習に関する詳細を提供する。
エネルギー関数
ビデオ内の時刻tにおける画像をIで示すことにする。画像の寸法はw×hである。ここで、w及びhは、それぞれ幅及び高さである。上記問題は、w個の離散変数y,i∈{1,…,w}があり、各変数がh個の離散ラベルy∈{1,…,h}からの値を取ることができるようにモデル化される。
1Dグラフ301 G={V,E}を考えることにする。ここで、頂点はV={1,…,w}であり、エッジは(i,i+1)∈E,i∈{1,…,w−1}である。yの状態は、地表平面よりも常に上にある水平線320よりも決して上にならないように更に制限することができる。水平線の推定値は、カメラシステムの構成(例えば、カメラの位置及び視野)に基づいて手動で求めることもできるし、トレーニング画像のセットを用いて自動的に求めることもでき、この推定値を用いて、推論手順においてラベルを制限することができる。したがって、水平線の推定値は、シーン内の障害物の垂直座標を制限するのに用いことができる。
画像Iの曲線310を求めるために、画像It−1からの特徴も用いられる。この発明のエネルギー関数Eは以下のとおりである。
Figure 2015138550
ここで、Tは転置演算子であり、y=(y,…,y)であり、エネルギー関数のポテンシャルφは、以下のように1変数項及び2変数項に分解される。
Figure 2015138550
1変数ポテンシャルはφ(y)であり、2変数ポテンシャルはφ(y,y)である。1変数項及び2変数項の重みパラメーターは、それぞれw及びwである。重みパラメーターは、
Figure 2015138550
として形成することができる。これらのパラメーターは、手動で設定されるか、又は構造予測技法を用いてトレーニング画像のセットから学習される。ここで、
Figure 2015138550
は、1変数ポテンシャルの集合を指し、これらについては、次に、より詳細に説明する。
外観
それぞれが5つの成分を有する2つのガウス混合モデル(GMM)を用いて、道路又は水面、及び背景の外観モデルがモデル化される。ここで、道路及び水面という用語は、区別なく用いることができる。GMMは、各ピクセルが道路若しくは水面、又は背景である確率を求めるのに用いられる。対象シーンに固有のGMMは、期待値最大化(EM)法を用いて、間違いのないデータを有するトレーニング画像250から求めることができる。GMMは、間違いのないデータを有する道路/水及び背景を含む画像を用いることによって、より一般的なシーンについても求めることができる。
この発明の目標は、曲線が道路と非道路との間(又は水面と障害物との間)の境界に位置するように自由空間を推定することである。この目標を達成するために、以下のように、ラベルの周囲のパッチにおける分布のエントロピーを考慮したポテンシャルが導出される。
Figure 2015138550
ここで、エントロピーH(i,j)は、各ピクセルロケーション(i,j)を中心としたパッチ内の道路/非道路(又は水面/非水面)ピクセルの分布に関して求められる。エントロピーH(i,j)は、道路/非道路ピクセル間の境界の近傍では高いはずである。曲線は、障害物及び道路の最も接近した集合間の境界を通過するので、画像の最下部を通過する曲線について最大値を達成する累積和が用いられる。この関数は、曲線が、非ゼロのH(i,k)値を有するピクセルを通過することも保証する。この推定値は、かなりの雑音を有する可能性がある。
曲線を平滑化するために、各ピクセルについて道路である確率を表すロケーション事前確率が求められる。この確率は、トレーニングデータから曲線よりも下にある道路ピクセルの実験的なカウントを求めることによって推定される。次に、全ての画像において道路であるピクセルが求められ、それらのピクセルのエントロピーがゼロにされる。これは、控え目な推定値ではあるが、それにもかかわらず、結果をかなり平滑化する。
エッジ
グラウンドトゥルース曲線は、地表平面と障害物との間の境界にある。この曲線が輪郭と一致している方がよいことを符号化したものであるエッジポテンシャルが導出される。画像には多くの輪郭が存在する場合があるが、この曲線は、画像の最下部の近傍に位置するエッジであることが好ましい。これらのエッジは、シーンの3D空間において最も近いエッジに対応する。これを考慮に入れるために、以下のようにエッジエビデンス(edge evidence)を累算する以下のポテンシャルが定義される。
Figure 2015138550
ここで、(i,j)ピクセルにエッジが存在するときはe(i,j)=1であり、そうでないときはゼロである。
幾何学的状況
単一の画像が与えられると、この画像内のピクセルを地表、建物(水平に向いている)、及び空に分類することが可能である。G(i,j)が、この分類に基づいて、ピクセルが地表であるか否かに対応するブールラベルを指すものとする。本発明者らは、最も大きな自由空間を囲む曲線を得ることに関心があるので、以下のポテンシャルを用いる。
Figure 2015138550
ホモグラフィー
画像シーケンスにわたって平滑である自由空間を取得することが重要である。1つの可能性は、或る画像内のノードと直前の画像内のノードとの間のペアになった接続を考慮することによって、2つの連続した画像内の曲線を併せて推定することである。この結果、画像I内のピクセルp(i,j)のラベル付けは、画像It−1内のp(i’,j’)の近接ピクセルを用いて制約され、これによって、1Dチェーンでもなく木構造グラフでもない2Dグラフが得られる。その結果、推論はNP困難となる。
したがって、画像にわたって平滑性を課すとともに、それでも、推論中は1Dグラフを維持するために、ホモグラフィーが用いられる。近傍のピクセルにわたる平滑性を用いる代わりに、地表平面に基づいてホモグラフィー行列が求められる。これによって、或る画像内の地表のピクセルから直前の画像内の地表の対応するピクセルへの1対1マッピングが与えられる。これによって、或る画像内の自由空間曲線と別の画像内の自由空間曲線との間のマッピングも提供される。以下の式によって与えられるように、画像I内の(i,j)におけるピクセルロケーションを画像It−1内のロケーション(i’,j’)におけるピクセルにマッピングするホモグラフィー行列をH(t,t−1)とする。
Figure 2015138550
このようにすることで、ポテンシャルは、以下のように記述することができる。
Figure 2015138550
ここで、u∈U\ホモグラフィーであり、φ(yi’=j’)は、直前の画像It−1内の1変数ポテンシャルである。
画像It−1内の種々の1変数ポテンシャルが、I内のホモグラフィーポテンシャルにマッピングされる。ホモグラフィーは、ランダムサンプルコンセンサス(RANSAC)の枠組みにおけるスケール不変特徴変換(SIFT)を用いて求められる。水面の場合、直前の自由空間曲線の近傍の対応関係のみが検出される。なぜならば、水面には、あまりにも多くの偽りの対応関係が存在するからである。水面での物体の反射からのエッジは、ホモグラフィー行列を用いると整合せず、したがって、この発明の曲線から反射をフィルタリングすることができることに留意されたい。道路シーンの場合、反射は問題とはならないので、直前の自由空間曲線よりも下のSIFTの整合するものを用いて、ホモグラフィー行列が求められる。
平滑性
トランケートされた2次ペナルティを用いて、曲線の平滑化が促進される。この曲線は、障害物が存在するときにしか非平滑でなく、これは数個の列でしか起こらないことに留意されたい。したがって、以下のようになる。
Figure 2015138550
ここで、α、λ、及びTは定数である。
推論
MAP推定値、又は最大エネルギー構成は、以下の式を解くことによって求めることができる。
Figure 2015138550
この発明のグラフは1Dチェーンを形成し、したがって、複雑度O(wn)を有する動的計画法を用いて正確な推論を行うことができる。ここで、wは、画像の幅であり、nは、水平線制約を課した後の各変数のラベルの数である。
重みパラメーター
Figure 2015138550
は、手動で設定することもできるし、以下で説明するように、トレーニング画像250を用いて自動的に求めることもできる。
パラメーター学習
トレーニング画像を用いて重みパラメーターを学習するのに、以下の式の構造化SVMが用いられる。
Figure 2015138550
ここで、y(i)は第iインスタンスのグラウンドトゥルース曲線であり、Δ(y,y(i))は損失関数であり、Nはトレーニング例の総数である。損失関数は、以下の式に示すように、相対ギャップをトランケートしたものである。
Figure 2015138550
ここで、Tは定数である。平面切断(cutting plane)手順が用いられる。この手順では、各反復において、以下の損失増大推論(loss augmented inference)を解いて、最も違反した制約が求められる。
Figure 2015138550
損失は、1変数ポテンシャルに分解されるので、損失増大推論は、動的計画法を介して正確に解くことができる。
この発明の方法は、追加される特徴ごとに1変数ポテンシャルを定義し、このポテンシャルを式(3)の1変数ポテンシャルの集合に追加することによって、他の特徴を組み込むこともできる。これらの他の特徴の重みパラメーターは、手動で設定することもできるし、式(11)に定式化された学習方法によって自動的に求めることもできる。他の特徴には、単眼ビデオから求められたオプティカルフロー及び奥行きマップが含まれる。ステレオカメラ又は複数のカメラが利用可能である場合、複数のカメラから求められた奥行きマップ等の、ステレオカメラ又はマルチカメラのキューから取得された特徴も組み込むことができる。式(3)の1変数ポテンシャルの集合をそれに応じて変更することによって、任意の数の特徴及び特徴の組み合わせをこの発明の方法において用いることができることに留意されたい。

Claims (23)

  1. 移動する物体上に配置されたカメラシステムによってシーンから取得されたビデオにおける画像のシーケンスから前記移動する物体の近傍の自由空間を推定する方法であって、前記ビデオにおける前記各画像について、
    1次元グラフを作成するステップであって、該グラフ内の各ノードは前記画像内のピクセルの列に対応するものと、
    前記画像内の特徴を求めるステップと、
    前記特徴に基づいて前記グラフ上にエネルギー関数を作成するステップと、
    動的計画法を用いるステップであって、前記エネルギー関数を最大にして、曲線の下方のエリアが前記自由空間を規定する該曲線を取得するものと、
    を含み、前記ステップは、プロセッサにおいて実行される、移動する物体上に配置されたカメラシステムによってシーンから取得されたビデオにおける画像のシーケンスから前記移動する物体の近傍の自由空間を推定する方法。
  2. 前記カメラシステムは単眼ビデオシステムである、請求項1に記載の方法。
  3. 前記カメラシステムは、ステレオカメラシステム又はマルチカメラシステムである、請求項1に記載の方法。
  4. 前記移動する物体は車両であり、前記シーンは道路を含む、請求項1に記載の方法。
  5. 前記移動する物体はボートであり、前記シーンは水面を含む、請求項1に記載の方法。
  6. 前記画像内のピクセルの前記各列について、障害物の垂直座標を推定するステップ、
    を更に含む、請求項1に記載の方法。
  7. 前記自由空間は、前記移動する物体の前方又は後方にある、請求項1に記載の方法。
  8. 水平線の推定値を用いるステップであって、前記障害物の前記垂直座標を制限するもの、
    を更に含む、請求項6に記載の方法。
  9. 前記水平線の前記推定値は、前記カメラシステムの構成に基づいて求められる、請求項8に記載の方法。
  10. 前記水平線の前記推定値は、トレーニング画像のセットを用いて求められる、請求項8に記載の方法。
  11. 前記エネルギー関数は、ポテンシャル関数の和として定義され、前記各ポテンシャル関数は、前記各特徴及び対応する重みパラメーターを用いて求められる、請求項1に記載の方法。
  12. 前記重みパラメーターは手動で設定される、請求項11に記載の方法。
  13. 前記重みパラメーターは、構造化サポートベクターマシンを用いてトレーニング画像のセットから自動的に求められる、請求項11に記載の方法。
  14. 前記特徴は、エッジ、外観、ホモグラフィー、幾何学的状況、平滑性、オプティカルフロー、奥行きマップ、及びそれらの組み合わせからなる群から選択される、請求項1に記載の方法。
  15. 前記外観は、ガウス混合モデルによってモデル化される、請求項14に記載の方法。
  16. 前記画像内の前記各ピクセルのロケーション事前確率を求めるステップであって、前記曲線を平滑化するもの、
    を更に含む、請求項1に記載の方法。
  17. 前記ホモグラフィーは、前記画像にわたり平滑性を課し、前記ホモグラフィーは、前記画像内の地表平面に基づいている、請求項14に記載の方法。
  18. トランケートされた2次ペナルティが、前記曲線を平滑化するのに用いられる、請求項1に記載の方法。
  19. 前記自由空間は、或るロケーションから別のロケーションに移動する車両の自律ナビゲーションに用いられる、請求項1に記載の方法。
  20. 前記自由空間は、ボートを停泊又は係留中に操縦するのに用いられる、請求項1に記載の方法。
  21. 前記自由空間は、車両の駐車支援に用いられる、請求項1に記載の方法。
  22. 前記自由空間は、屋内移動ロボットによって建物内の移動に用いられる、請求項1に記載の方法。
  23. 前記自由空間は、真空掃除ロボットによって用いられる、請求項1に記載の方法。
JP2014261809A 2014-01-23 2014-12-25 移動する物体の近傍の自由空間を推定する方法および装置 Active JP6272217B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/162,370 US9305219B2 (en) 2014-01-23 2014-01-23 Method for estimating free space using a camera system
US14/162,370 2014-01-23

Publications (3)

Publication Number Publication Date
JP2015138550A true JP2015138550A (ja) 2015-07-30
JP2015138550A5 JP2015138550A5 (ja) 2017-10-05
JP6272217B2 JP6272217B2 (ja) 2018-01-31

Family

ID=53545066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014261809A Active JP6272217B2 (ja) 2014-01-23 2014-12-25 移動する物体の近傍の自由空間を推定する方法および装置

Country Status (2)

Country Link
US (1) US9305219B2 (ja)
JP (1) JP6272217B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020068014A (ja) * 2018-10-26 2020-04-30 株式会社ストラドビジョン 近接障害物の下段ライン及び上段ラインを検出し、物体存在性を検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting objectness by detecting bottom line and top line of nearest obstacles and testing method, testing device using the same}
JP2020101935A (ja) * 2018-12-20 2020-07-02 株式会社デンソー 画像認識装置
KR102177614B1 (ko) * 2020-01-09 2020-11-12 렉스젠(주) 교통 정보 수집을 위한 차로 생성 시스템 및 그 방법

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6202544B2 (ja) 2012-08-27 2017-09-27 アクティエボラゲット エレクトロラックス ロボット位置決めシステム
CN105101855A (zh) 2013-04-15 2015-11-25 伊莱克斯公司 具有伸出的侧刷的机器人真空吸尘器
US10448794B2 (en) 2013-04-15 2019-10-22 Aktiebolaget Electrolux Robotic vacuum cleaner
US10433697B2 (en) 2013-12-19 2019-10-08 Aktiebolaget Electrolux Adaptive speed control of rotating side brush
KR102137857B1 (ko) 2013-12-19 2020-07-24 에이비 엘렉트로룩스 로봇 청소 장치 및 랜드마크 인식 방법
KR102124235B1 (ko) 2013-12-19 2020-06-24 에이비 엘렉트로룩스 주변 기록 기능을 갖는 로봇 청소 디바이스
US10045675B2 (en) 2013-12-19 2018-08-14 Aktiebolaget Electrolux Robotic vacuum cleaner with side brush moving in spiral pattern
US9946263B2 (en) * 2013-12-19 2018-04-17 Aktiebolaget Electrolux Prioritizing cleaning areas
US10149589B2 (en) 2013-12-19 2018-12-11 Aktiebolaget Electrolux Sensing climb of obstacle of a robotic cleaning device
WO2015090397A1 (en) 2013-12-19 2015-06-25 Aktiebolaget Electrolux Robotic cleaning device
EP3082539B1 (en) 2013-12-20 2019-02-20 Aktiebolaget Electrolux Dust container
EP3167341B1 (en) 2014-07-10 2018-05-09 Aktiebolaget Electrolux Method for detecting a measurement error in a robotic cleaning device
KR20230042386A (ko) 2014-08-15 2023-03-28 에이아이, 아이엔씨. 레이더 전송을 위한 방법 및 시스템
EP3190938A1 (en) 2014-09-08 2017-07-19 Aktiebolaget Electrolux Robotic vacuum cleaner
US10499778B2 (en) 2014-09-08 2019-12-10 Aktiebolaget Electrolux Robotic vacuum cleaner
US10877484B2 (en) 2014-12-10 2020-12-29 Aktiebolaget Electrolux Using laser sensor for floor type detection
WO2016091320A1 (en) 2014-12-12 2016-06-16 Aktiebolaget Electrolux Side brush and robotic cleaner
CN107003669B (zh) 2014-12-16 2023-01-31 伊莱克斯公司 用于机器人清洁设备的基于经验的路标
JP6532530B2 (ja) 2014-12-16 2019-06-19 アクチエボラゲット エレクトロルックス ロボット掃除機の掃除方法
US9928430B2 (en) * 2015-04-10 2018-03-27 GM Global Technology Operations LLC Dynamic stixel estimation using a single moving camera
JP6743828B2 (ja) 2015-04-17 2020-08-19 アクチエボラゲット エレクトロルックス ロボット掃除機およびロボット掃除機を制御する方法
JP6326641B2 (ja) * 2015-08-21 2018-05-23 パナソニックIpマネジメント株式会社 画像処理装置および画像処理方法
KR102445064B1 (ko) 2015-09-03 2022-09-19 에이비 엘렉트로룩스 로봇 청소 장치의 시스템
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
US10908262B2 (en) 2016-02-18 2021-02-02 Aeye, Inc. Ladar transmitter with optical field splitter/inverter for improved gaze on scan area portions
US10042159B2 (en) 2016-02-18 2018-08-07 Aeye, Inc. Ladar transmitter with optical field splitter/inverter
US20170242102A1 (en) 2016-02-18 2017-08-24 Aeye, Inc. Ladar System with Dichroic Photodetector for Tracking the Targeting of a Scanning Ladar Transmitter
JP7035300B2 (ja) 2016-03-15 2022-03-15 アクチエボラゲット エレクトロルックス ロボット清掃デバイス、ロボット清掃デバイスにおける、断崖検出を遂行する方法、コンピュータプログラム、およびコンピュータプログラム製品
US11117517B2 (en) 2016-03-31 2021-09-14 Faraday&Future Inc. Camera based auto drive auto charge
WO2017194102A1 (en) 2016-05-11 2017-11-16 Aktiebolaget Electrolux Robotic cleaning device
JP6660595B2 (ja) * 2016-06-07 2020-03-11 パナソニックIpマネジメント株式会社 駐車空間探索装置、プログラムおよび記録媒体
EP3264763A1 (en) * 2016-06-29 2018-01-03 Thomson Licensing Method and apparatus for improved significance flag coding using simple local predictor
EP3293668B1 (en) 2016-09-13 2023-08-30 Arriver Software AB A vision system and method for a motor vehicle
WO2018131165A1 (ja) * 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
US11092676B2 (en) 2017-02-17 2021-08-17 Aeye, Inc. Method and system for optical data communication via scanning ladar
US20180239969A1 (en) * 2017-02-23 2018-08-23 Ford Global Technologies, Llc Free Space Detection Using Monocular Camera and Deep Learning
US10726614B2 (en) * 2017-05-30 2020-07-28 Edx Technologies, Inc. Methods and systems for changing virtual models with elevation information from real world image processing
WO2018219473A1 (en) 2017-06-02 2018-12-06 Aktiebolaget Electrolux Method of detecting a difference in level of a surface in front of a robotic cleaning device
US10474908B2 (en) * 2017-07-06 2019-11-12 GM Global Technology Operations LLC Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
US10620638B2 (en) * 2017-08-18 2020-04-14 Wipro Limited Method, system, and device for guiding autonomous vehicles based on dynamic extraction of road region
CA3075736A1 (en) 2017-09-15 2019-11-14 Aeye, Inc. Intelligent ladar system with low latency motion planning updates
WO2019063066A1 (en) 2017-09-26 2019-04-04 Aktiebolaget Electrolux CONTROL FOR MOVING A ROBOTIC CLEANING DEVICE
DE102017123582A1 (de) * 2017-10-11 2019-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer Region von Interesse in einem von einer Kamera eines Kraftfahrzeugs aufgenommenen Bild, Steuereinrichtung, Kamerasystem sowie Kraftfahrzeug
DE102017223206A1 (de) 2017-12-19 2019-06-19 Robert Bosch Gmbh Niederdimensionale Ermittlung von abgegrenzten Bereichen und Bewegungspfaden
DE102018202244A1 (de) * 2018-02-14 2019-08-14 Robert Bosch Gmbh Verfahren zur Abbildung der Umgebung eines Fahrzeugs
KR102054926B1 (ko) * 2018-02-27 2019-12-12 주식회사 만도 Free Space 신호 기반 근거리 컷인 차량 검출 시스템 및 방법
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
US10656252B1 (en) 2018-10-25 2020-05-19 Aeye, Inc. Adaptive control of Ladar systems using spatial index of prior Ladar return data
US10641897B1 (en) 2019-04-24 2020-05-05 Aeye, Inc. Ladar system and method with adaptive pulse duration
FI20195678A1 (fi) * 2019-08-14 2021-02-15 Ponsse Oyj Menetelmä ja järjestelmä metsäkoneessa
US11586861B2 (en) 2019-09-13 2023-02-21 Toyota Research Institute, Inc. Embeddings + SVM for teaching traversability
US11378967B2 (en) * 2019-09-25 2022-07-05 Baidu Usa Llc Enumeration based failure prevention QP smoother for autonomous vehicles
US11500093B2 (en) 2021-03-26 2022-11-15 Aeye, Inc. Hyper temporal lidar using multiple matched filters to determine target obliquity
US11630188B1 (en) 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11474212B1 (en) 2021-03-26 2022-10-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control and shot order simulation
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
US20220308214A1 (en) 2021-03-26 2022-09-29 Aeye, Inc. Hyper Temporal Lidar with Controllable Detection Intervals Based on Range Estimates
US11486977B2 (en) 2021-03-26 2022-11-01 Aeye, Inc. Hyper temporal lidar with pulse burst scheduling
DE102021117223A1 (de) 2021-07-05 2023-01-05 Connaught Electronics Ltd. Bestimmen eines Freiraums auf einer Straße in einem Umfeld eines Fahrzeugs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288543A (ja) * 1992-04-07 1993-11-02 Fujitsu Ltd 視覚情報と触覚情報とを統合した認識装置
JP2001103470A (ja) * 1999-09-29 2001-04-13 Canon Inc 領域分割装置及び方法並びに記憶媒体
JP2013021682A (ja) * 2011-07-08 2013-01-31 Mitsubishi Electric Corp 焦点に基づく動的シーンの深度再構成のための装置および方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356664B1 (en) * 1999-02-24 2002-03-12 International Business Machines Corporation Selective reduction of video data using variable sampling rates based on importance within the image
KR100391442B1 (ko) * 2000-12-27 2003-07-12 현대자동차주식회사 차선 이탈 방지용 영상 처리방법
US7412107B2 (en) * 2004-12-17 2008-08-12 The Regents Of The University Of California, Santa Cruz System and method for robust multi-frame demosaicing and color super-resolution
WO2008013568A2 (en) 2005-12-30 2008-01-31 Irobot Corporation Autonomous mobile robot
ATE534974T1 (de) * 2006-04-18 2011-12-15 Ge Healthcare Bio Sciences System zur vorbereitung eines bildes zur segmentierung
EP2153419A4 (en) 2007-05-15 2011-12-07 Lg N Sys Inc DEVICE FOR MEDIA RECOGNITION AND METHOD FOR MEDIA DISTINCTION THEREWITH
US8332134B2 (en) * 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US9098926B2 (en) * 2009-02-06 2015-08-04 The Hong Kong University Of Science And Technology Generating three-dimensional façade models from images
US8487993B2 (en) * 2009-07-29 2013-07-16 Ut-Battelle, Llc Estimating vehicle height using homographic projections
WO2011155123A1 (ja) * 2010-06-07 2011-12-15 株式会社 日立ハイテクノロジーズ 観察画像の分類基準の最適化方法、および画像分類装置
US8195394B1 (en) 2011-07-13 2012-06-05 Google Inc. Object detection and classification for autonomous vehicles
US9275472B2 (en) * 2011-11-18 2016-03-01 Disney Enterprises, Inc. Real-time player detection from a single calibrated camera
US10008002B2 (en) * 2012-02-28 2018-06-26 NXP Canada, Inc. Single-camera distance estimation
US20140071240A1 (en) * 2012-09-11 2014-03-13 Automotive Research & Testing Center Free space detection system and method for a vehicle using stereo vision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05288543A (ja) * 1992-04-07 1993-11-02 Fujitsu Ltd 視覚情報と触覚情報とを統合した認識装置
JP2001103470A (ja) * 1999-09-29 2001-04-13 Canon Inc 領域分割装置及び方法並びに記憶媒体
JP2013021682A (ja) * 2011-07-08 2013-01-31 Mitsubishi Electric Corp 焦点に基づく動的シーンの深度再構成のための装置および方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020068014A (ja) * 2018-10-26 2020-04-30 株式会社ストラドビジョン 近接障害物の下段ライン及び上段ラインを検出し、物体存在性を検出する学習方法及び学習装置、そしてこれを利用したテスト方法及びテスト装置{learning method, learning device for detecting objectness by detecting bottom line and top line of nearest obstacles and testing method, testing device using the same}
JP2020101935A (ja) * 2018-12-20 2020-07-02 株式会社デンソー 画像認識装置
JP7103202B2 (ja) 2018-12-20 2022-07-20 株式会社デンソー 画像認識装置
KR102177614B1 (ko) * 2020-01-09 2020-11-12 렉스젠(주) 교통 정보 수집을 위한 차로 생성 시스템 및 그 방법

Also Published As

Publication number Publication date
US20150206015A1 (en) 2015-07-23
JP6272217B2 (ja) 2018-01-31
US9305219B2 (en) 2016-04-05

Similar Documents

Publication Publication Date Title
JP6272217B2 (ja) 移動する物体の近傍の自由空間を推定する方法および装置
US11080932B2 (en) Method and apparatus for representing a virtual object in a real environment
US10665025B2 (en) Method and apparatus for representing a virtual object in a real environment
EP2757524B1 (en) Depth sensing method and system for autonomous vehicles
Yao et al. Estimating drivable collision-free space from monocular video
CN112184589B (zh) 一种基于语义分割的点云强度补全方法及系统
Siegemund et al. A temporal filter approach for detection and reconstruction of curbs and road surfaces based on conditional random fields
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
EP2948927A1 (en) A method of detecting structural parts of a scene
Alidoost et al. An image-based technique for 3D building reconstruction using multi-view UAV images
EP3293700A1 (en) 3d reconstruction for vehicle
Rangesh et al. Ground plane polling for 6dof pose estimation of objects on the road
CN112115889A (zh) 基于视觉的智能车运动目标检测方法
Badrloo et al. A novel region-based expansion rate obstacle detection method for MAVs using a fisheye camera
Guo et al. Robust road boundary estimation for intelligent vehicles in challenging scenarios based on a semantic graph
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
Surgailis et al. Avoiding forward car collision using stereo vision system
Catalin et al. Object tracking from stereo sequences using particle filter
Pfeiffer et al. Ground truth evaluation of the Stixel representation using laser scanners
Bullinger et al. 3D object trajectory reconstruction using stereo matching and instance flow based multiple object tracking
Guo et al. Semantic-based road environment recognition in mixed traffic for intelligent vehicles and advanced driver assistance systems
Yang et al. Road detection by RANSAC on randomly sampled patches with slanted plane prior
Martinez et al. Map-based lane identification and prediction for autonomous vehicles
Golban et al. Moving rigid objects segmentation in 3D dynamic traffic scenes using a stereovision system
Kim et al. Depth estimation with manhattan world cues on a monocular image

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170823

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171120

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20171128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171228

R150 Certificate of patent or registration of utility model

Ref document number: 6272217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250