JP2020502685A - パッシブ光学センサの画像データを増大させるための電子デバイス、システムおよび方法 - Google Patents

Abstract

本発明は、パッシブ光学センサの画像データを増大させるための車両のための電子デバイス（１）に関する。電子デバイスは、・パッシブ光学センサの第１の画像データを受信するように構成され、第１の画像データは、画像平面内の複数のピクセルを備え、電子デバイスはさらに、・アクティブセンサの第２のデータを受信するように構成され、パッシブ光学センサおよびアクティブセンサは、車両の外側の同じシーンを検知し、アクティブセンサは、シーン上に分布された複数のスキャン領域を備え、第２のデータは、返されたスキャン領域内の測定値を備え、方法はさらに、・返されたスキャン領域の分布に基づき少なくとも１つのクラスタを識別し、・画像平面上へとクラスタを投影し、・画像平面内に投影されたクラスタと一致するピクセルを識別し、・識別されたピクセルを一致するクラスタの第２のデータと関連付けるように構成される。本発明はさらに、システムおよび方法に関する。

Description

開示の分野
本開示は、パッシブ光学センサの画像データを増大させるための車両のための電子デバイス、システムおよび方法に関する。

開示の背景
近年の車両は、衝突警告または回避およびその他のアクティブな安全用途を可能とするために使用される物体検出アルゴリズムを含む。そのようなインテリジェント車両は、すべての種類の天候においてその周囲のシーンを認知し、認識しなければならない。この目的は、それがあらゆる環境条件に煩わされることなくあらゆる障害を検出することを要する。障害を検出するために、環境は、センサを通して認知される。シーンの高い理解は、障害を検出するためのカメラ空間情報を要する。しかし、雨、霧または雪といった難しい天候は、認知される画像を劣化させ得る。

いくつかの種類のセンサを使用し、アクティブおよびパッシブセンサを組み合わせることが提示されてきた。アクティブセンサ（ライダ、レーダ・・・）およびパッシブセンサ（カメラ、慣性センサ）を有するアーキテクチャを導入することは、シーンの認知を向上させることができる。たとえば、霧内で、カメラは、近い障害を認知することができる一方、ライダは、遠い物体を検出することができる。したがって、認知は、センサからの測定を収集すること、そしてこの情報を環境のレイアウトおよびそこにおける物体の両方についての知識を生成するために処理することによって行われることができる。

たとえばカメラといったパッシブセンサは、安価であり、密集し豊富な外観情報を提供する。しかし、それらが提供する画像情報は、環境の変化に非常に敏感であり、そのような画像情報を処理するときに現在のコンピュータビジョンアルゴリズムは、パフォーマンス降下に煩わされる。わずかな雨または晴天でさえも、これらのアルゴリズムは、障害を検出するための問題を抱えている。

他方、レーザといったアクティブセンサは、より疎な深度および方位測定を提供する。レーザによって生成された点群またはカメラによって記録された画像は、都市環境内の汎用物体を検出するために広範囲に使用されている。

ライダおよびカメラデータ内の汎用物体検出はそれぞれ、たとえば以下のいくつかの研究によって提示されている。

R. Kaestner, J. Maye, Y. Pilat, and R. Siegwart. Generative object detection and tracking in 3D range data. IEEE International Conference on Robotics and Automation (ICRA), pages 3075-3081, may 2012,
X. Wang, M. Yang, S. Zhu, and Y. Lin. Regionlets, generic object detection. International Conference on Computer Vision (ICCV), 2013.
高いレベルにおいて、これらの方法は、センサデータを環境内の物体に個々に対応するグループへとクラスタ化する。これらの１センサモダリティに基づく方法は一般に、最先端の性能を有するが、それらが利用する個々のセンサによって提供されるデータの有用性を制限する悪い環境条件が存在する。たとえば浮遊粉塵は、深度測定におけるノイズをかなり増加し得、一方、照明の変動は、画像のいくつかの部分を過度に明るくしまたは過度に暗くし、したがって使用できないようにし得る。

マルチセンサデータ融合は、全天候条件認知を達成するための有望な方法である。それは、車両、すなわちロボティックなシステムが、所与のセンサモダリティの弱点を別の補完的なものの強度を使用することによって補償することを可能とする。センサ融合方法は、融合が行われる抽象化のレベルに従い分類されることができ、R. C. Luo, C.-C. Yih, and K. L. Su. Multisensor fusion and integration: approaches, applications, and future research directions; IEEE Sensors Journal, 2(2):107-119, 2002によって説明される。

高いレベルの融合方法は、各センサモダリティを独立に使用して推定を行い、そしてこれらの推定融合にデータ関連付け問題としてアプローチする。これらのアプローチは、各センサモダリティのための独立推定機構を要し、これは、各センサモダリティを複雑に重畳させるだけでなく、融合プロセスのための価値があり得る生の情報を無視する。

たとえば、V. Romero-Cano, G. Agamennoni, and J. Nieto. A variational approach to simultaneous multi-object tracking and classification; the International Journal of Robotics Research (IJRR), 35(6):654-671, 2015.のように、すべての検知モダリティからの生の測定が融合プロセスにおいて考慮されるより低いレベルのデータ表現を利用するいくつもの推定フレームワークが増えている。この研究では、統合された音波法を用いてすべてのセンサモダリティを一度に処理するために、ピクセル毎外観および幾何特徴に基づき、マルチモーダルモーション検出、セマンテックセグメンテーションおよびセンサキャリブレーションそれぞれを行うことが提示されている。そのようなアプローチは、センサ測定が測定されたシーンを高く密集して覆うことを要する。したがって、統合された認識方法によって最終的に処理されることができる一般のおよび密集した表現へと生のセンサデータを変換する低レベルまたはピクセルレベルマルチモーダル融合方法の必要性が存在する。

文献において、非パラメトリックまたはエネルギに基づくアプローチを使用してこの低レベル融合問題にアプローチする、以下に例示するようないくつかの研究が存在する。

M. P. Gerardo-Castro, T. Peynot, F. Ramos, and R. Fitch. Non- Parametric Consistency Test for Multiple-Sensing-Modality Data Fusion; IEEE International Conference on Information Fusion (FUSION), pages 443-451, 2015,
P. Pinies, L. M. Paz, and P. Newman. Too Much TV is Bad: Dense Reconstruction from Sparse Laser with Non-convex Regularisation; IEEE International Conference on Robotics and Automation (ICRA), 2015.
しかし、これらのアプローチは、すべてのセンサモダリティが同様に密集していることを要する。

車両上の複数のライダセンサからの出力を融合するためのさらに他のシステムが、ＵＳ２０１３２４２２８４（Ａ１）から知られる。システムは、レーダセンサおよび／またはビジョンシステムによって検出される物体に応じて融合プロセスをキュー化することを含む。

開示の概要
現在、センサデータ融合が任意のセンサのシーンカバレッジとは独立であり、アクティブセンサデータを用いてパッシブ光学センサの画像データを増大させるための電子デバイス、システムおよび方法を提供することが、依然として望ましい。

したがって、提示される開示の実施形態に従い、パッシブ光学センサの画像データを増大させるための（特に車両のための）電子デバイスが提供される。電子デバイスは、
−パッシブ光学センサの第１の画像データを受信するように構成され、第１の画像データは、画像平面内の複数のピクセルを備え、電子デバイスはさらに、
−アクティブセンサの第２のデータを受信するように構成され、パッシブ光学センサおよびアクティブセンサは、同じシーンを検知し（特に車両外側）、アクティブセンサは、シーン上に分布された複数のスキャン領域を備え、第２のデータは、返されたスキャン領域内の測定値を備え、電子デバイスはさらに、
−返されたスキャン領域の分布に基づき少なくとも１つのクラスタを識別し、
−画像平面上へとクラスタを投影し、
−画像平面内に投影されたクラスタと一致するピクセルを識別し、
−上記識別されたピクセルを一致するクラスタの第２のデータと関連付けるように構成される。

そのような電子デバイスを提供することによって、ピクセル空間内の低レベルマルチセンサデータ融合が得られることができる。第２のデータは望ましくは、返されたスキャン領域のみにおける、すなわちアクティブセンサによって送出されたスキャン信号を物体が反射したシーンの位置における測定値を備える。そのような位置は、物体を望ましく提示するクラスタを一緒に形成し得る。その結果、一致するピクセルのみ（すなわちクラスタ境界内）が、第２のデータと望ましく関連付けられる。換言すると、その他のピクセル（すなわちクラスタ境界外）は、第２のデータと望ましく関連付けられない。

たとえばレーザをスキャン信号として使用することによって、スキャン領域は、可能な限り点に制限され得る。換言すると、スキャン領域は、スキャン点であり得る。

それゆえ、電子デバイスは、任意のセンサのシーンカバレッジとは独立である。したがって、各ピクセルがたとえば色だけでなくたとえば深度および物体ＩＤといったその他の低レベル特徴も含む、新たな画像様データ表現は、達成されることができる。

クラスタを識別するために、スキャン領域リターン（すなわち返されたスキャン領域）は、潜在的に個々のクラスタに対応し得る（シーンにおいて検出される物体と対応し得る）コヒーレントセグメントへとグループ化され得る。この段階は、クラスタ（物体）仮説生成とも称されることができる。

電子デバイスはさらに、第２のデータの座標系が第１の画像データの座標系と一致するようにそれを変換することによって、第２のデータを画像平面上へと投影するよう構成され得る。

したがって、スキャン領域は、画像平面上へと投影され得、これにより、深度情報（および第２のデータによって含まれるさらに他の情報）は、電子デバイスが最適に動作するためにいくつかのピクセルに対して利用される。この目的のために、センサは、車両と望ましくは正しく整列される。たとえば、実際にはホスト車両の経路内にある物体をセンサが検出したが、センサの誤整列により物体がホスト車両の経路のわずかに左にあるとセンサが決定した場合、これは、電子デバイスに対する重大な結果を有し得る。車両上に前方監視センサが複数存在する場合であっても、競合するセンサ読込みを最小化しまたは除去するように、それらがすべて正しく整列されることが望ましい。換言するとセンサのキャリブレーションが望まれる。

電子デバイスはさらに、各クラスタに対してクラスタ内の返されたスキャン領域における測定値に基づき状態情報の組を決定するよう構成され得、状態情報の組のうちの少なくとも１つは、クラスタの距離、大きさ、および／または速度を含む。

クラスタは、占有グリッドマッピングアルゴリズムによって決定され得る。
各関連付けられたピクセルは、関連付けられたクラスタの画像情報および状態情報を備え得、一方クラスタと関連付けられていない各ピクセルは、画像情報のみを備え得る。

電子デバイスはさらに、
−第１の画像データをスーパーピクセルの組へと分解するよう構成され得、スーパーピクセルは、複数の隣接するピクセルを備え、電子デバイスはさらに、
−隣接するスーパーピクセルを一致するクラスタと関連付けることによって画像平面内の対象の物体を規定するよう構成され得る。

したがって、シーン内の局所的に均質な領域は、スーパーピクセルセグメンテーションによって決定され得る。さらに、画像平面内の対象の物体は、同じクラスタと一致する隣接するスーパーピクセルを組み合わせることによって規定され得る。したがって、クラスタ（物体）仮説とスーパーピクセルとの間のマッピングが提供され得る。このマッピングは、スキャン領域から得られたクラスタ（物体）仮説と関連付けられることができる画像空間内のピクセルを表現し得る。対象の物体は、シーン内で認識された任意の物体、たとえば別の車両であり得る。

スーパーピクセルは、同様の色分布を有する隣接するピクセルを識別することによっておよび／または第１の画像データ内のエッジ識別することによって、特に単純線形反復クラスタリング（ＳＬＩＣ）アルゴリズムを使用することによって決定され得る。

単純線形反復クラスタリング（ＳＬＩＣ）は、ｋ平均クラスタ化に基づき、画像を視覚的に均質の領域またはいわゆるスーパーピクセルの規則的グリッドへと分解するための比較的単純かつ並列化可能な方法であり、R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, and S. Susstrunk. SLIC superpixels compared to state-of-the-art superpixel methods. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 34(11):2274-2281, 2012.などに説明される。

結果として、ＳＬＩＣスーパーピクセルは、空間的におよび色空間内の両方で画像ピクセルの距離に従い、画像ピクセルの規則的グルーピングを望ましく提供する。

電子デバイスは、スーパーピクセル、特にスーパーピクセルの各ピクセルを、一致するクラスタの第２のデータと、特に一致するクラスタの状態情報の組と関連付けるようさらに構成され得る。

したがって、スーパーピクセルガイド外挿は、投影された第２のデータを、たとえば（クラスタ化されたスキャン領域を画像上へと投影することによって得られた）深度値を、近くのピクセルに割り当てるために実行され得る。これらの近くのピクセルは、投影された点に割り当てられたスーパーピクセルによって規定され得る。たとえば、比較的単純な内挿／外挿において、同じ深度は、スーパーピクセル内のすべてのピクセルに割り当てられる。

電子デバイスは、対象の物体の物体外観モデルを作成するようさらに構成され得、外観モデルは、対象の物体の色分布に対する推定を表す。

したがって、セグメンテーション初期化において、各クラスタ（物体仮説）に対して、スーパーピクセルは、深度値を割り当てられ得る。たとえばクラスタ（物体）仮説の色分布全体のための初期的推測を提示するガウシアン混合モデル（ＧＭＭ）は、作成され得る。

電子デバイスは、対象の物体を取り囲んでいるスーパーピクセルに基づき背景外観モデルを作成するようさらに構成され得、背景外観モデルは、シーン内の背景の色分布に対する推定を表す。

したがって、取り囲んでいるスーパーピクセルはまた、背景モデルとして使用されるＧＭＭを作成するために使用され得る。

電子デバイスは、対象の物体の物体外観モデルおよび／または背景外観モデルに基づき、特にエネルギ最小化法を使用することによって、たとえばグラフカットアルゴリズムを使用することによって、対象の物体の境界を再規定するようさらに構成され得る。

したがって、画像空間内の自己監視型（self-supervised）物体セグメンテーション深度高密集化は、実行され得る。そうするために、初期物体および背景モデルは、使用され得る。さらに、初期スーパーピクセルに基づくセグメンテーションを拡張し、精緻化するために、グラフカットアルゴリズムは、それらに適用され得る。

電子デバイスは、再規定された対象の物体の各ピクセルを、対象の物体の第２のデータと、特に対象の物体の状態情報の組と関連付けるようさらに構成され得る。

したがって、グローバル特徴高密集化は、実行され得る。そうするために、各クラスタ（物体仮説）に対してスーパーピクセルに基づく高密集化からの第２のデータ（たとえば深度値）は、以前のステップにおいて得られたグラフカットセグメンテーションによって提供される輪郭全体を覆うためにさらに拡張され得る。

パッシブ光学センサは、デジタルカメラであり得る。
カメラセンサは、歩行者、車、信号機、交通標識等といった物体を検出し得る。デジタルカメラは、比較的密集したデータ（ピクセル空間）、色および物体の外観を提供し得る。この情報は、車両の周囲のシーンを理解するのに望ましい。しかし、このセンサは、光にしばしば依存するので、晴天（過露出ピクセル）、夜（露出不足ピクセル）、雨（雨滴）の影響を受ける。

アクティブセンサは、レーダまたはアクティブ光学センサ、特にレーザセンサおよび／またはライダセンサであり得る。

ライダセンサは、物体を検出し得、これらの物体に対するレンジ測定を提供する。ライダセンサは、それらが追跡された物体の方位を提供することができるという理由で望ましく、これは、ビジョンシステムおよびレーダセンサといったその他の種類のセンサでは、一般に不可能である。ライダセンサの１つの種類に対して、物体からの反射は、点クラスタレンジマップの一部としてのスキャン領域として返され得る。センサの視野にわたり１／２°ごとに別のスキャン領域が提供され得る。したがって、標的車両がホスト車両の正面に検出される場合に、ホスト車両からの標的車両の距離を識別する返された複数スキャン領域が存在し得る。

本発明はさらに、パッシブ光学センサの画像データを増大させるための（特に車両ための）システムに関し、
−上述のような電子デバイスと、
−パッシブ光学センサと、
−アクティブセンサとを備え、
パッシブ光学センサおよびアクティブセンサは、同じシーン（特に車両外側）を検知するために配置される。

本発明はさらに、上述のようなシステムを備える車両に関する。しかし、本発明はまた、上述のようなシステムを備える任意のロボティックなシステムに関し得る。

最後に、本発明は、（特に車両の）パッシブ光学センサの画像データを増大させる方法にも関する。方法は、
−パッシブ光学センサの第１の画像データを受信するステップを備え、第１の画像データは画像平面内の複数のピクセルを備え、方法はさらに、
−アクティブセンサの第２のデータを受信するステップを備え、パッシブ光学センサおよびアクティブセンサは、同じシーンを検知し（特に車両外側）、アクティブセンサは、シーン上に分布された複数のスキャン領域を備え、第２のデータは、返されたスキャン領域内の測定値を備え、方法はさらに、
−返されたスキャン領域の分布に基づき少なくとも１つのクラスタを識別するステップと、
−クラスタを画像平面上へと投影するステップと、
−画像平面内に投影されたクラスタと一致するピクセルを識別するステップと、
−上記識別されたピクセルを一致するクラスタの第２のデータと関連付けるステップとを備える。

方法は、上述のような電子デバイスの機能に対応するさらに他の方法ステップを備え得る。さらに他の望ましい方法ステップは、以下に説明される。

第２のデータは、第２のデータの座標系が第１の画像データの座標系と一致するようにそれを変換することによって、画像平面上へと投影され得る。

各クラスタに対して、状態情報の組は、クラスタ内の返されたスキャン領域における測定値に基づき決定され得、状態情報の組は、クラスタの距離、大きさ、および／または速度のうちの少なくとも１つを含む。

クラスタは、占有グリッドマッピングアルゴリズムによって決定され得る。
各関連付けられたピクセルは、関連付けられたクラスタの画像情報および状態情報を備え得、一方クラスタと関連付けられていない各ピクセルは、画像情報のみを備え得る。

第１の画像データは、スーパーピクセルの組へと分解され得、スーパーピクセルは、複数の隣接するピクセルを備える。

画像平面内の対象の物体は、隣接するスーパーピクセルを一致する同じクラスタと関連付けることによって規定され得る。

スーパーピクセルは、同様の色分布を有する隣接するピクセルを識別することによっておよび／または第１の画像データ内のエッジを識別することによって、特に単純線形反復クラスタリング（ＳＬＩＣ）アルゴリズムを使用することによって決定され得る。

スーパーピクセル、特にスーパーピクセルの各ピクセルは、一致するクラスタの第２のデータと、特に一致するクラスタの状態情報の組と関連付けられ得る。

対象の物体の物体外観モデルは、作成され得る。外観モデルは、対象の物体の色分布のための推定を提示し得る。

背景外観モデルは、対象の物体を取り囲むスーパーピクセルに基づき作成され得る。背景外観モデルは、シーン内の背景の色分布に対する推定を提示し得る。

対象の物体の境界は、対象の物体の物体外観モデルおよび／または背景外観モデルに基づき、特にエネルギ最小化法を使用することによって、たとえばグラフカットアルゴリズムを使用することによって再規定され得る。

再規定された対象の物体の各ピクセルは、対象の物体の第２のデータと、特に対象の物体の状態情報の組と関連付けられ得る。

説明される電子デバイス、システムおよび方法は、車両だけでなく任意の種類のロボティックなシステムに適し得る。

特に矛盾しない限り、上記の要素と本明細書内の要素との組み合わせがなされ得ることが意図される。

上述の一般的な説明および以下の詳細な説明の両方は、例示的かつ説明的なものにすぎず、特許請求の範囲に記載されているように本開示を限定するものではないことを理解されたい。

本明細書に組み込まれその一部を構成する添付の図面は、本開示の実施形態をその説明と共に示し、それらの原理を説明するのに役立つ。

本開示の実施形態に従う電子デバイスを有するシステムのブロック図を示す。 本開示の実施形態に従うシステムビューによって検知される鳥瞰図内の概略的シーンを示す。 図２の鳥瞰図内のシーンの検知された生のデータ（第１のデータおよび第２のデータ）を示す。 本開示の実施形態に従いパッシブ光学センサの画像データを増大させる典型的な方法を描画する概略的フローチャートを示す。 特定例の文脈において図４の典型的な方法を概略的に描画するフローチャートを示す。 図４の典型的な方法に対応するさらに他のフローチャートを示す。

実施形態の説明
ここで、本開示の例示的な実施形態を詳細に参照するが、それらの例は、添付の図面に示されている。同じまたは類似の部分を指すために、可能な限り図面全体を通して同じ参照番号が使用される。

図１は、本開示の実施形態に従う電子デバイス１を有するシステム１０のブロック図を示す。システムは、さまざまな機能を有し得、たとえばロボティックなシステムであり得る。たとえばそれは移動可能であり、たとえばそれは駆動可能な車輪を有し、それは少なくとも１つのグリッパ等の物体を回収するための手段を有し得る。それはさらに、車両１００内に一体化され、またはそれを構成する。

電子デバイス１は、検知されるシーン内の物体の存在および場所を検出するためのコンピュータビジョンアルゴリズムを実行する。たとえば車両およびその他の物体は、検出され得、アプリケーションソフトウェアは、物体検出情報を使用して警告を提供する、または適切な行動を取る。電子デバイス１は、システム１０および／または車両１００内のさらに他の機能を追加的に実施し得る。たとえば電子デバイスは、システムの汎用ＥＣＵ（電子コントロールユニット）として機能し得る。電子デバイス１は、１つまたは複数のソフトウェアプログラムを実行する電子回路、プロセッサ（共有、汎用、またはグループ）、組み合わせロジック回路、メモリ、および／または説明される機能性を提供するその他の適したコンポーネントを備え得る。換言すると、デバイス１は、コンピュータデバイスであり得る。デバイス１は、データ、たとえば実行されると本開示に従う方法を実行するコンピュータプログラムを格納し得るメモリ２に接続され得る。

電子デバイス１はさらに、パッシブ光学センサ３、特にデジタルカメラに接続される。デジタルカメラ３は、それが車両１００の正面のシーンを記録することができるように構成され、特にシーンの外観（色）情報を提供するデジタルデータを出力する。

電子デバイス１はさらに、アクティブセンサ４、特にライダセンサ、レーザセンサ、超音波センサ、またはレーダセンサに接続される。アクティブセンサは、レーダまたはアクティブ光学センサ、特にレーザセンサおよび／またはライダセンサであり得る。

パッシブセンサ３およびアクティブセンサ４の出力は、電子デバイス１に送信される。望ましくは、出力は、瞬間的に、すなわちリアルタイムにまたは準リアルタイムに送信される。それゆえ、検知される物体はまた、電子デバイスによってリアルタイムにまたは準リアルタイムに認識され得る。

システム１０は、システム３０を一緒に形成するために外部サーバ２０に追加的に接続され得る。サーバ２０は、電子デバイス１によって実行されるアルゴリズムを提供するためにおよび最終的に更新するために使用され得る。デバイス１は、サーバに接続可能であり得る。たとえば電子デバイス１は、サーバ２０に無線接続を介して接続され得る。代替的にまたは追加的に、電子デバイス１は、サーバ２０に固定された接続を介して、たとえばケーブルを介して接続可能であり得る。

図２は、本開示の実施形態に従うシステムビューによって検知される鳥瞰図内の概略的シーンを示す。

車両１００は、その正面のシーンを視野１３を有するデジタルカメラ３を用いておよび視野１４を有するライダセンサ４を用いてスキャンする。

カメラセンサは、歩行者、車（標的車両１０１）、信号機、交通標識等といった物体を検出し得る。デジタルカメラは、比較的密集したデータ（ピクセル空間）、色および物体の外観を提供し得る。この情報は、車両の周囲のシーンを理解するために望ましい。しかし、このセンサは、光にしばしば依存するので、それは晴天（過露出ピクセル）、夜（露出不足のピクセル）、雨（雨滴）の影響を受け得る。

ライダセンサは、物体を検出し得、これらの物体に対するレンジ測定を提供する。ライダセンサは、それらが追跡された物体の方位を提供することができるという理由で望ましく、これは、ビジョンシステムおよびレーダセンサといったその他の種類のセンサでは、一般に不可能である。１つの種類のライダセンサに対して、物体からの反射は、点クラスタレンジマップの一部としてのスキャン領域（またはスキャン点）２４として返却され得る。以下ではスキャン領域２４は、スキャン点２４と称される。センサの視野にわたって１／２°毎に別のスキャン点２４が提供され得る。標的車両１０１は、ホスト車両１００の正面に検出される。このため、ホスト車両１００からの標的車両１０１の距離を識別する返された複数のスキャン点２４が存在する。

図３は、図２の鳥瞰図内のシーンの検知された生のデータ（第１のデータおよび第２のデータ）を示す。図３は、Ａにおいてホスト車両１００およびその正面の標的車両１０１（検出されるべき物体）を有する実際のシーンを示す。Ｂにおいてピクセル空間（第１のデータ）は、同じシーンを検知するカメラ３によって生成されるものとして示される。ピクセル空間は、複数のピクセルを備える。Ｃにおいてライダ点またはスキャン点（第２のデータ）は、同じシーンを検知するアクティブセンサ４によって生成されるものとして示される。

図４は、本開示の実施形態に従うパッシブ光学センサの画像データを増大させる典型的な方法を描画する概略的フローチャートを示す。図５は、特定例の文脈において図４の典型的な方法を概略的に描画するフローチャートを示す。

ステップＳ１では、方法が開始される。ステップＳ２では、ライダデータ（第２のデータ）がライダセンサによって生成される。ステップＳ１０では、図５に示されるようにクラスタ３４，４４を識別するために、ライダクラスタ化が実行される。このステップは、ライダリターンを個々のクラスタ（物体）に潜在的に対応することができるコヒーレントセグメントへとグループ化する。この段階は、クラスタ（物体）仮説生成とも称されることができる。ステップＳ１１では、座標変換が実行される。したがって、スキャン点群は、深度情報がいくつかのピクセルに対して利用できるように画像平面上へと投影される。

ステップＳ３では、カメラデータ（第１のデータ）がデジタルセンサによって生成される。ステップＳ２０では、局所的外観に基づく画像セグメンテーションが実行される。したがって、ＳＬＩＣアルゴリズムは、画像を同様の色分布を有する近くのピクセルの組へと分割するために、スーパーピクセルセグメンテーションのために使用され得る。これにより、スーパーピクセル３３，４３，５３，６３は、図５に示されるように決定されることができる。

ステップＳ３０では、ライダクラスタ−スーパーピクセル関連付けが実行される。このステップでは、ライダに基づくクラスタ（物体）仮説３４，４４とスーパーピクセル３３，４３，５３，６３との間のマッピングが図５に示されるように確立される。このマッピングは、画像空間内のどのピクセルがライダ（または任意のその他のアクティブセンサ）から得られたクラスタ（物体）仮説、たとえば図５内のスーパーピクセル６３を有するクラスタ４４と関連付けられることができるかの情報を与える。

ステップＳ４０では、スーパーピクセルガイドされた内挿／外挿を介する深度高密集化が実行される。したがって、以前のステップからのマッピングは、使用され、投影された深度値（すなわち第２のデータ）は、スーパーピクセル６３の文脈で図５に示されるような近くのピクセルに割り当てられる。投影された深度値は、クラスタ化されたスキャン点を画像上へと投影することによって得られ得る。これらの近くのピクセルは、投影された点に割り当てられたスーパーピクセルによって規定される。内挿／外挿は、スーパーピクセル内のすべてのピクセルに同じ深度を割り当てることによって実行され得る。

ステップＳ４１では、各ピクセルに対して、それが第２のデータと関連付けられているかどうか、すなわちそれがライダリターンを含むかどうかが決定される。図５の例では、これは、スーパーピクセル３３，４３，５３および６３によって含まれるすべてのピクセルに対して真である。この決定は、各クラスタ（物体）仮説に対しておよび所与のクラスタ（物体）仮説内の各スーパーピクセルに対して行われ得る。

ステップＳ４２では、セグメンテーション初期化が実行される。したがって、各クラスタ（物体）仮説に対して、このモジュールは、それらに割り当てられた深度値を有するスーパーピクセル（図５におけるスーパーピクセル３３，４３，５３および６３）を取り込み、クラスタ（物体）仮説の色分布全体に対する初期的推測を提示するガウシアン混合モデル（ＧＭＭ）を作成する。取り囲んでいるスーパーピクセルはまた、背景モデルとして使用されるＧＭＭを作成するために使用される。

ステップＳ５０では、自己監視型物体セグメンテーションは、画像空間内の深度高密集化を得るために実行される。このステップは、以前のステップによって提供される初期的モデルを取り込み、グラフカットアルゴリズムを使用して、初期スーパーピクセルに基づくセグメンテーションを拡張し精緻化する。図５の例では、スーパーピクセル３３，４３，５３に対応する車両の境界（すなわち輪郭）が、たとえばこのステップで認識される。さらに、スーパーピクセル６３に対応する車両の境界が認識される。これら車両は、シーン内の対象の物体を構成する。

ステップＳ６０では、グローバル特徴高密集化が実行される。このステップでは、以前のステップで得られたグラフカットセグメンテーションによって提供される輪郭全体を覆うために、各クラスタ（物体）仮説に対して、スーパーピクセルに基づく高密集化からの深度値がさらに拡張される。図５の例では、シーン内で検出される車両のすべてのピクセルはこのため、深度値（第２のデータ）と関連付けられる。

図６は、図４の典型的な方法に対応するさらに他のフローチャートを示す。したがって対応するステップは、同様の参照符号によって示され、これらのステップは、再び詳細に説明されない。しかし、本開示のいくつかの局面は、図６の文脈でさらに説明される。

ステップＳ２０では、レンジ測定が、画像空間上にまず投影される。これらの疎な深度測定は、単純線形反復クラスタリングを使用して局所的に拡張される。単純線形反復クラスタリング（ＳＬＩＣ）は、ｋ平均クラスタ化に基づき、画像を視覚的に均質の領域またはいわゆるスーパーピクセルの規則的グリッドへと分解するための比較的単純かつ並列化可能な方法である。結果として、ＳＬＩＣスーパーピクセルは、空間的におよび色空間内の両方において画像ピクセルの距離に従う、画像ピクセルの規則的グルーピングを望ましく提供する。

このスーパーピクセルセグメンテーションは、２つの補完タスクのために使用される。まず、スーパーピクセルは、ステップＳ３０、Ｓ４０において使用され、少なくとも１つのレンジ測定を有するスーパーピクセル内のピクセルのすべてに深度値を割り当てる。そして次のセクションで説明される物体仮説とともにスーパーピクセルセグメンテーションは、ステップＳ５０，Ｓ６０の文脈で説明される最終の外挿／セグメンテーション段階を導く物体に関する外観モデルの正確な初期化を計算するために使用される。

さらにステップＳ４およびＳ１０では、物体仮説をアクティブセンサから生成するために、たとえばHybrid Sampling Bayesian Occupancy Filter (HSBOF), cf. A. Negre, L. Rummelhard, and C. Laugier. Hybrid Sampling Bayesian Occupancy Filter. IEEE Intelligent Vehicles Symposium, Proceedings, pages 1307-1312, 2014. によって提供される占有グリッドが、利用され得る。

占有グリッドは、閾値処理され、そして最終の物体仮説を得るために、連結成分分析が使用され得る。これら仮説は、地面／グリッド空間上で規定され得、このためそれらは望ましくは、２Ｄであり物体高さ情報を伝えない。ステップＳ５０，Ｓ６０の文脈に示されるように、第３の高さ次元を物体仮説に追加するために、相互作用する画像セグメンテーションが望ましく使用される。物体が本開示内ではセマンテック記述を有する高レベル抽象化というよりもむしろデータのクラスタとして考えられるということにということに留意すべきである。物体仮説は、車および歩行者等の移動中の物体だけでなく、木、壁または緑化領域を含む静止物を包含することができる。

ステップＳ５０，Ｓ６０では、グラフカットガイドされた高密集化が実行される。しかしまた、任意のその他のエネルギ最小化法が使用され得る。レンジ測定の疎な性質により、ステップＳ２０およびＳ３０，Ｓ４０の文脈で説明されるスーパーピクセルガイドされた深度高密集化は、十分にではない場合がある。特に、ライダリターンは、環境内の物体の底部に集中する傾向がある。この結果および物体が不均一な外観を有するという事実の結果、レンジ測定を有するスーパーピクセルは、必ずしも物体全体を覆わない。深度測定をさらに拡張し、物体仮説全体に対し深度推定を利用可能とするために、C. Rother, V. Kolmogorov, Y. Boykov, and A. Blake. Interactive Foreground Extraction using graph cut. Technical report, Microsoft, 2011.によって説明される相互前景／背景セグメンテーションのためのグラフカットアルゴリズムに基づく自己監視型セグメンテーション処理が提示される。

このセクションは、A. Blake, P. Kohli, and C. Rother. Markov Random Fields for Vision and Image Processing. The MIT Press Cambridge, 2011.等によって説明される画像セグメンテーションに適用されるグラフィックカットモデルの要約から始まる。

それはそして、Rother et.al.による相互前景抽出を行うためにこのモデルが拡張される方法rおよびライダ支援された物体セグメンテーションのための自己監視型方法としてそれが使用され得る方法について説明する。

相互セグメンテーションでは、先験的に知られる前景および背景外観モデルに基づき背景から前景をセグメント化することが目的とされる。これらのモデルは、ユーザ入力からまたは初期的にライダに基づくセグメンテーションＴＦからの我々の方法論のように組み立てられることができる。それは、良好なピクセルに関するセグメンテーションと空間的コヒーレンスとの間のトレードオフをエンコードするエネルギ関数を数式化することによって開始され得る。良好なセグメンテーションは、初期的セグメンテーションによって提供される分布に従うが、それはまた空間的な滑らかさも強いる。このトレードオフは、次の形態のエネルギ関数によって捕捉されることができる。

ここでｘは｛０、１｝の要素であり、セグメンテーション出力を提示し、ω＝｛ｈ_Ｂ（ｚ_ｉ）；ｈ_Ｆ（ｚ_ｉ）｝は、ガウシアン混合モデル（ＧＭＭ）を介してパラメタライズされた背景および前景のための色分布に対応する。項Ｕは、モデルωが与えられたときのセグメンテーションｘのデータｚへのフィットを測定する。パラメータωを、上述のようにステップＳ２０，Ｓ３０，Ｓ４０の文脈で我々のスーパーピクセルガイドされた深度外挿モジュールによって提供される初期セグメンテーションに基づき初期化することが提示されている。最後に、Ｖは、近くのピクセルを同じラベルを有するようにする滑らかさの項である。最適なセグメンテーションは、ωおよびｘを次のように結合的に最適化することによって得られる。

A. P. Dempster, N. M. Laird, and D. B. Rubin. Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the Royal Statistical Society. Series B: Statistical Methodology (JRSS), 39(1):1- 38, 1977.に記載されるように、グラフカットを使用してセグメンテーションｘを、期待値最大化（ＥＭ）アルゴリズムを使用してパラメータωを繰り返し更新することによって最適化が実行される。

特許請求の範囲を含む説明全体を通して、「備える」という用語は、特に明記しない限り「少なくとも１つを備える」と同義であると理解されるべきである。加えて、特許請求の範囲を含む本明細書に記載された任意の範囲は、特に明記しない限りその最終値（複数可）を含むと理解されるべきである。記載された要素の具体的な値は、当業者に知られている許容される製造または工業公差内であると理解されるべきであり、「実質的に」および／または「約」および／または「一般的に」という用語の使用はいずれもそのような公差内に入ることを意味すると理解されるべきである。

本明細書において本開示を特定の実施形態を参照して説明したが、これらの実施形態は本開示の原理および用途の単なる例示であることを理解されたい。

明細書および実施例は例示としてのみ考慮されることを意図しており、開示の真の範囲は特許請求の範囲によって示されることが意図される。

Claims (17)

1. パッシブ光学センサの画像データを増大させるための電子デバイスであって、
   前記電子デバイスは、
   パッシブ光学センサの第１の画像データを受信するように構成され、前記第１の画像データは、画像平面内の複数のピクセルを備え、前記電子デバイスはさらに、
   アクティブセンサの第２のデータを受信するように構成され、前記パッシブ光学センサおよび前記アクティブセンサは、同じシーンを検知し、前記アクティブセンサは、前記シーン上に分布された複数のスキャン領域を備え、前記第２のデータは、返されたスキャン領域内の測定値を備え、前記電子デバイスはさらに、
   返されたスキャン領域の前記分布に基づき少なくとも１つのクラスタを識別し、
   前記画像平面上へと前記クラスタを投影し、
   前記画像平面内に前記投影されたクラスタと一致するピクセルを識別し、
   前記識別されたピクセルを前記一致するクラスタの第２のデータと関連付けるように構成される、電子デバイス。
2. 前記電子デバイスはさらに、
   前記第２のデータの座標系を、それが前記第１の画像データの座標系と一致するように変換することによって、前記第２のデータを前記画像平面上へと投影するように構成される、請求項１に記載の電子デバイス。
3. 前記電子デバイスは、
   各クラスタに対して状態情報の組を前記クラスタ内の返されたスキャン領域における測定値に基づき決定するように構成され、前記状態情報の組は、前記クラスタの距離、大きさ、および／または速度のうちの少なくとも１つを含む、上述の請求項のいずれか１項に記載の電子デバイス。
4. クラスタは、占有グリッドマッピングアルゴリズムによって決定される、上述の請求項のいずれか１項に記載の電子デバイス。
5. 各関連付けられたピクセルは、前記関連付けられたクラスタの画像情報および状態情報を備え、一方クラスタと関連付けられていない各ピクセルは、画像情報のみを備える、上述の請求項のいずれか１項に記載の電子デバイス。
6. 前記電子デバイスはさらに、
   前記第１の画像データをスーパーピクセルの組へと分解するように構成され、スーパーピクセルは、複数の隣接するピクセルを備え、
   隣接するスーパーピクセルを一致するクラスタと関連付けることによって前記画像平面内の対象の物体を規定するように構成される、上述の請求項のいずれか１項に記載の電子デバイス。
7. スーパーピクセルは、同様の色分布を有する隣接するピクセルを識別することによっておよび／または前記第１の画像データ内のエッジを識別することによって決定される、上述の請求項のいずれか１項に記載の電子デバイス。
8. 前記電子デバイスはさらに、
   スーパーピクセルを、特に前記スーパーピクセルの各ピクセルを、前記一致するクラスタの第２のデータと、特に前記一致するクラスタの前記状態情報の組と関連付けるように構成される、上述の請求項のいずれか１項に記載の電子デバイス。
9. 前記電子デバイスはさらに、
   前記対象の物体の物体外観モデルを作成するように構成され、前記外観モデルは、前記対象の物体の前記色分布に対する推定を表す、上述の請求項のいずれか１項に記載の電子デバイス。
10. 前記電子デバイスはさらに、
    前記対象の物体を取り囲むスーパーピクセルに基づき背景外観モデルを作成するように構成され、前記背景外観モデルは、前記シーン内の背景の前記色分布に対する推定を表す、上述の請求項のいずれか１項に記載の電子デバイス。
11. 前記電子デバイスはさらに、
    前記対象の物体の前記物体外観モデルおよび／または前記背景外観モデルに基づき、特にエネルギ最小化法を使用することによって、前記対象の物体の境界を再規定するように構成される、上述の請求項のいずれか１項に記載の電子デバイス。
12. 前記電子デバイスはさらに、
    前記再規定された対象の物体の各ピクセルを前記対象の物体の第２のデータと、特に前記対象の物体の前記状態情報の組と関連付けるように構成される、請求項１１に記載の電子デバイス。
13. 前記パッシブ光学センサは、デジタルカメラである、上述の請求項のいずれか１項に記載の電子デバイス。
14. 前記アクティブセンサは、レーダまたはアクティブ光学センサ、特にレーザセンサおよび／またはライダセンサである、上述の請求項に記載の電子デバイス。
15. パッシブ光学センサの画像データを増大させるためのシステムであって、
    上述の請求項のいずれか１項に記載の電子デバイスと、
    パッシブ光学センサと、
    アクティブセンサとを備え、
    前記パッシブ光学センサおよび前記アクティブセンサは、同じシーンを検知するために配置される、システム。
16. 車両であって、
    請求項１５に記載のシステムを備える、車両。
17. パッシブ光学センサの画像データを増大させる方法であって、
    前記方法は、
    パッシブ光学センサの第１の画像データ受信するステップを備え、前記第１の画像データは、画像平面内の複数のピクセルを備え、前記方法はさらに、
    アクティブセンサの第２のデータを受信するステップを備え、前記パッシブ光学センサおよび前記アクティブセンサは、同じシーンを検知し、前記アクティブセンサは、前記シーン上に分布された複数のスキャン領域を備え、前記第２のデータは、返されたスキャン領域内の測定値を備え、前記方法はさらに、
    返されたスキャン領域の前記分布に基づき少なくとも１つのクラスタを識別するステップと、
    前記クラスタを前記画像平面上へと投影するステップと、
    前記画像平面内に前記投影されたクラスタと一致するピクセルを識別するステップと、
    前記識別されたピクセルを前記一致するクラスタの第２のデータと関連付けるステップとを備える、方法。