JP2022550285A - 物体検出回路および物体検出方法 - Google Patents

物体検出回路および物体検出方法 Download PDF

Info

Publication number
JP2022550285A
JP2022550285A JP2022517741A JP2022517741A JP2022550285A JP 2022550285 A JP2022550285 A JP 2022550285A JP 2022517741 A JP2022517741 A JP 2022517741A JP 2022517741 A JP2022517741 A JP 2022517741A JP 2022550285 A JP2022550285 A JP 2022550285A
Authority
JP
Japan
Prior art keywords
data
feature
predetermined
sensor
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022517741A
Other languages
English (en)
Inventor
フローリアン ベッカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JP2022550285A publication Critical patent/JP2022550285A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本開示は概して、第1のセンサの第1のセンシングデータに基づく第1の特徴データを取得し、第1の特徴データを、所定のオブジェクトを表す第1の所定の特徴モデルと比較し、第1の所定の特徴モデルは、第1のセンサに対して特有のものであり、それによって第1の対象確率データを生成し、第2のセンサの第2のセンシングデータに基づく第2の特徴データを取得し、第2の特徴データを、所定のオブジェクトを表す第2の所定の特徴モデルと比較し、第2の所定の特徴モデルは、第2のセンサに対して特有のものであり、それによって第2の対象確率データを生成し、第1および第2の対象確率データを結合し、それによって所定のオブジェクトを検出するための結合確率データを生成するように構成された物体検出回路に関する。【選択図】図６

Description

本開示は、一般に、物体検出回路および物体検出方法に関する。
一般に、物体を検出する方法および装置が知られている。例えば、自動車分野(例えば、自動車セキュリティ、自律運転など)では、車道上の物体を検出するための高速で信頼性の高い方法を有することが望ましい。
物体(例えば、車、歩行者など)を検出する既知の方法は、1つ以上のセンサの出力結果に依存する。
各センサについて、物体検出が実行され、その後、最終的な物体検出を受け取るために、各センサについて検出された物体を示すセンサデータまたはデータが融合されてもよい。
従って、複数のセンサによる物体検出のためのこのような既知の方法は、使用されるセンサの各々に対して物体検出を必要とする場合があり、これは、処理に関して高い複雑さを伴って手に入る場合があり、かつ/または、センサデータが融合された後に物体の遅いまたは劣化した最終検出を行なう場合がある。
物体を検出する技術は存在するが、一般に、物体検出回路および物体検出方法を提供することが望ましい。
本発明の第１の態様によると、本開示は、
第1のセンサの第1のセンシングデータに基づく第1の特徴データを取得し、
第1の特徴データを、所定のオブジェクトを表す第1の所定の特徴モデルと比較し、第1の所定の特徴モデルは、第1のセンサに対して特有のものであり、それによって第1の対象確率データを生成し、
第2のセンサの第2のセンシングデータに基づく第2の特徴データを取得し、
第2の特徴データを、所定のオブジェクトを表す第2の所定の特徴モデルと比較し、第2の所定の特徴モデルは、第2のセンサに対して特有のものであり、それによって第2の対象確率データを生成し、
第1および第2の対象確率データを結合し、それによって所定のオブジェクトを検出するための結合確率データを生成する
ように構成された物体検出回路を提供する。
本発明の第２の態様によると、本開示は、
第1のセンサの第1のセンシングデータに基づく第1の特徴データを取得するステップと、
第1の特徴データを、所定のオブジェクトを表す第1の所定の特徴モデルと比較し、第1の所定の特徴モデルは、第1のセンサに対して特有のものであり、それによって第1の対象確率データを生成するステップと、
第2のセンサの第2のセンシングデータに基づく第2の特徴データを取得するステップと、
第2の特徴データを、所定のオブジェクトを表す第2の所定の特徴モデルと比較し、第2の所定の特徴モデルは、第2のセンサに対して特有のものであり、それによって第2の対象確率データを生成するステップと、
第1の対象確率データおよび第2の対象確率データを結合し、それによって所定のオブジェクトを検出するための結合確率データを生成するステップと
を含む物体検出方法を提供する。
さらなる複数の態様が、従属請求項、以下の説明および図面に示されている。
本開示における実施形態は、添付の図面を参照して例として説明される。
ステレオカメラによって取得された信号分配を含む座標系を示す図である。 レーダーセンサによって取得された信号分配を含む座標系を示す図である。 ステレオカメラのテンプレート(特徴モデル)を示す図である。 レーダーセンサのためのテンプレート(特徴モデル)を示す図である。 融合物体姿勢確率分布を示す図である。 ステレオカメラおよびレーダーセンサの特徴マップに基づいて検出された物体を含む座標系を示す図である。 本開示による一方法のブロック図を示す図である。 本開示による特徴マップの生成方法を概略的に示す図である。 本開示による物体確率データを決定する一方法を概略的に示す図である。 本開示による物体検出回路を含む車両のブロック図を示す図である。
図1を参照して実施形態を詳細に説明する前に、一般的な説明をする。
当初述べたように、物体を検出する既知の方法は、高い処理複雑性をもたらし、それによって、高電力消費およびコストの増加をもたらし得る。
一般に、消費電力およびコストを削減することが望ましいことが認識されている。
さらに、(半)自動運転を提供するために、例えば、経路の計画、危険の推定などのために、環境の完全で信頼できる理解が必要であることが認識されている。
従って、いくつかのセンサの出力およびそれらの測定値の融合を使用する方法を提供すると同時に、物体の予め定義されたリストから物体を検出する信頼性のある高速な方法を提供することが望ましい。
物体を検出するそのような信頼性のある高速な方法を提供するためのシステムまたは回路にいくつかの要求がなされ得ることが更に認識されている。
１つの要件は、抽象化である。例えば、低水準のセンサ測定(例えば、距離)は、物体検出に帰属しない情報をフィルタリングする必要があり、関連情報を環境の表現にバンドルすることができるような(例えば、経路の)計画目的に適していない可能性があり、その表現は、コンパクト性、完全性、正確性の要件を満たす可能性があり、例えば、それらの位置を示すパラメータを含む物体のリストである可能性がある。
さらに、物体のセンサ特有の外観を考慮しなければならない(例えば、物体は、レーダを介するものとカメラを介するものとは異なって表現され得る)。
さらなる要件は、センサフュージョンである。異なるセンサは、異なる測定原理に依存することがあり、各センサの出力データも異なる場合があるので、同様に、システムの複雑さを増大させることなく、センサを動作させるための努力が増大する可能性がある。
さらなる要件は、利用可能なすべての測定の融合（フュージョン）である。既知の装置は、低水準の測定値を各センサについての高レベル抽象表現に変換し、次いで、得られた情報を結合表現に融合し得ることが認識されている。しかしながら、このような抽象化で破棄される情報は、品質が低下する可能性があるように、融合の間またはその後、もはや利用できない可能性がある。
したがって、少なくとも品質損失の量を減らすことが望ましい。
さらなる要件は、視野依存オブジェクト外観を克服することである。物体の向きがセンサの視方向(すなわち、視角)に依存し得るように、予め規定された物体はセンサの外観において変化し得ることが認識されている。例えば、センサが物体の一部のみを観察できるように、物体の自己閉塞効果があるかもしれない。
観測される部分は、センサの視野角によって異なるように見えることがある。したがって、一般に、物体を確実に検出するために、このような効果を克服することが望ましい。
さらなる要件は、クラス内の物体不変性である。同じオブジェクト（物体）の異なる部分は、異なるオブジェクトに属していると見なされる場合がある。例えば、物体は、異なる形状が異なる物体として認識され得るように、異なるスポットにおいて異なる形状および/または色を有することがある。しかしながら、一般に、物体には異なる形状および/または色があるが、物体を一つの物体として検出する方法を提供することが望ましい。
さらなる要件は、マルチオブジェクト検出である。例えば、検出範囲内にあるすべての物体を検出するなど、複数の物体(例えば、最も近い物体)を検出する必要がある。
さらなる要件は、センサノイズである。測定品質の低下を回避するために、品質を低下させることなく、センサノイズおよび/または測定不完全性を補償する(例えば、フィルタリングする)方法を提供することが望ましい。
したがって、いくつかの実施形態は、第1のセンサの第1のセンシングデータに基づく第1の特徴データを取得し、第1の特徴データを、所定のオブジェクトを表す第1の所定の特徴モデルと比較し、第1の所定の特徴モデルは、第1のセンサに対して特有のものであり、それによって第1の対象確率データを生成し、第2のセンサの第2のセンシングデータに基づく第2の特徴データを取得し、第2の特徴データを、所定のオブジェクトを表す第2の所定の特徴モデルと比較し、第2の所定の特徴モデルは、第2のセンサに対して特有のものであり、それによって第2の対象確率データを生成し、第1および第2の対象確率データを結合し、それによって所定のオブジェクトを検出するための結合確率データを生成するように構成された物体検出回路に関する。
物体検出回路は、CPU、GPU、1つ以上のFPGA(フィールド・プログラマブル・ゲート・アレイ)、コンピュータ、サーバなどの1つ以上のプロセッサ、および、指定された要素の複数の組み合わせなどを含むことができる。
物体検出回路は、物体検出回路が(監視)カメラシステムなどの物体検出に利用される任意の分野に適用され得るので、物体検出回路は、本開示を制限することなく、例えば自動車の作動状態に従って実行され得るように、自動車環境にさらに含まれ、またはそれに関連してもよい。
物体検出回路は、特徴データを得るように構成することができる。すなわち、物体検出回路に連結され、接続され、関連付けられる等を行うことができる少なくとも1つのセンサによって、特徴データを物体検出回路に供給することができる。いくつかの実施形態では、物体検出回路に少なくとも1つのセンサを含めることができ、その結果、物体検出回路内で特徴データを取得することができる。
いくつかの実施形態では、複数のセンサによって取得される特徴データは、(構造的または論理的に)区別されてもよく、すなわち、第1のセンサからの特徴データは、第1の特徴データと呼ばれてもよく、第2のセンサからの特徴データは、第2の特徴データと呼ばれてもよく、以下同様である。
いくつかの実施形態において、第1の特徴データは、第1のセンシングデータに基づいてもよい。例えば、第1のセンサは、内部構成に従って測定を実行することができ、例えば、第1のセンシングデータと呼ばれる、アナログまたはデジタルセンサ出力が生成されるような、電波の反射(例えば、レーダーセンサの場合)を検知することができる。
第1の特徴データは、第1のセンシングデータの評価結果、例えば、あらかじめ定義された空間分解能における距離に従った信号強度を含み、それが一般に知られているような特徴マップを生成することができる。
ある実施形態では、第1のセンサは、第1の特徴データを生成するように構成されてもよく、その一方で、ある実施形態では、第1の特徴データは、物体検出回路内で生成される。
特徴データを得ることによって、上述したような抽象化の要件が満たされ得る。それにより、位置、配向度、および補正推定値を含む、所定の物体を含む物体の検出リストが提供され、物体のさらなる姿勢精細化および/またはトラッキングが実行されてもよい。
さらに、特徴データを複数回取得することによって、上述のように、利用可能なすべての測定値のフュージョンの要件を満たすことができる。
物体検出回路は、さらに、第1の特徴データを、第1の事前定義された（第1の所定の）モデルと比較するように構成されてもよい。
この比較は、第1の特徴データとモデル特徴データとの間のマッピング(例えば、生成された特徴マップと事前定義された特徴マップとの比較)を実行し、共通および/または比較可能な信号を検出することによって実行されてもよい。
したがって、この特徴モデルは、第1の特徴データがこの特徴モデルと同等であってもよい意味で、第1のセンサに対して特有のものであってもよい、予め定義された特徴マップを示すデータを含んでもよく、すなわち、レーダ特徴モデルは、本開示をレーダーセンサに限定することなく、レーダーセンサの第1のセンシングデータに基づいて得られた特徴データ等と比較されてもよい。
例えば、カメラ(RGB、赤外線、飛行時間)、ライダーセンサ、飛行時間型センサは、第1のセンサを構成してもよく、あるいは、RGBと飛行時間型カメラの融合信号などの複数のセンシングデータを第1のセンシングデータに融合させてもよい。
この特徴モデルは、事前定義されたオブジェクトの代表となってもよい。例えば、自動車環境では、事前に定義された物体は、自動車、歩行者、車道の標識等であってもよく、これらは、特定の信号シグネチャ（目印情報）によって示されてもよく、すなわち、物体特定センシングデータは、事前に定義された物体の検出に応じて生成されてもよい。
物体特定センシングデータは、予め定義され、キャリブレーション処理、トレーニングプロセスなどで取得され、第1の特徴データと第1の所定の特徴モデルとの比較に基づいて、予め定義された物体と第1の特徴データとの間の割当てを実行することができる。
第1の特徴データと第1の所定特徴モデルとの比較を行うことにより、第1の特徴データと第1の所定の特徴モデルとの対応関係を示す第1の対象確率データを生成してもよい。言い換えると、第1の特徴データが所定の対象物にどの程度対応していてもよいか、または、第1の特徴データが所定の対象物を示している可能性がどの程度高いかを判定してもよい。
第2のセンサの第2のセンシングデータに基づいて、第2の特徴データに対して同様の処理を実行することができ、その場合、その重複説明は省略される。
しかしながら、一般に、第1および第2のセンサは、同一または異なるセンサであってもよく、例えば、第1のセンサは、レーダであってもよく、第2のセンサは、RGBカメラであってもよく、またはその他同様にあってもよいことに留意されたい。
さらに、本開示は、第2のセンサが第1のセンサと同様に動作するように構成されることを制限するものではない。例えば、第1のセンサでは、第1の特徴データは、第1のセンシングデータに基づいて生成されてもよいが、第2のセンサでは、第2のセンシングデータのみが取得されてもよく、第2の特徴データは、物体検出回路内で生成されてもよく、またはその逆であってもよい。
物体検出回路は、さらに、第1の対象確率データと第2の対象確率データとを組み合わせる（結合する）ように構成されてもよい。
それにより、上述のように、センサフュージョンの要件を満たすことができる。
この組み合わせは、確率値をもたらす第1および第2の対象確率データの多重化、乗算、加算などに基づいてもよいが、ある実施形態では、この組み合わせは、人工知能、ニューラルネットワークによって生成される抽象データ構造に基づいてもよく、監視されたトレーニングまたは教師なしトレーニングなどに基づいて生成されてもよい。
組み合わせ手順の後には、一般に知られているように、組み合わせた確率データの正規化が続くことがある。
事前に定義された物体は、結合された確率データに基づいて検出されてもよく、すなわち、物体の空間内の位置が決定されてもよい。さらに、第1および第2の特徴データは、(センサ固有の)空間解像度を有する複数場所に対して取得され得るので、予め定義された物体の姿勢が判定されてもよい。
いくつかの実施形態では、物体検出回路は、所定の物体の少なくとも1つの位置パラメータを示す、結合された確率データの複数の最大値を検出し、所定の物体の少なくとも1つの位置パラメータを決定するようにさらに構成される。
結合された確率データは、高確率(すなわち、所定のしきい値を超える確率)が最大であってもよく、所定のしきい値を下回る確率が最小であってもよく、そのようにして、結合された確率データの所定のしきい値を上回る確率が、予め定義された物体の少なくとも1つの位置パラメータを決定するために考慮されてもよいように、空間内の予め定義されたオブジェクトの特徴(または発生)の確率の分布を表すことができる。
ある実施形態では、最大値は、確率空間における最大値の(記号的な)位置がオブジェクトの(実際の)空間的位置および方向を示すように、所定の位置におけるオブジェクト(例えば、単一または複数)の可能性(または仮説)を示すことができる。
いくつかの実施形態において、複数(すなわち、少なくとも2つ)の最大値の検出は、既知の最大検出処理に基づいてもよく、例えば、最大値がガウス分布(または、Lorentzian、Dirac、フェルミ、ポアソンなどの任意の他の分布)を有するように定義される場合、一般に知られているように、ガウス分布(または他の任意の分布)が検出されてもよい。
複数の最大値は、位置パラメータが決定されるように、空間的順序(またはパターン)で配置されるように検出されてもよい。
例えば、事前定義された物体が自動車である場合、2つの最大値が検出され得、これらは、(仮想)座標系の水平線上に整列され、この2つの最大値は、互いに2メートル離れている。第1のセンサおよび第2のセンサは、横軸上に整列されていてもよく、水平線と平行であってもよい。
このような場合、検出された車の姿勢がセンサの水平軸と平行であることが検出されてもよい。
さらに、本開示に係る物体検出回路を含む自動車にセンサが実装されている場合、物体検出回路を含む自動車のドライバに警告を発したり、緊急ブレーキングを発したりするなど、その点に関して本開示を制限することなく、検知された自動車が物体検出回路を含む自動車に対して垂直である可能性があると推測してもよい。
その一方で、水平センサ軸から傾いた線上で2つの最大値が検出された場合、検出された車の姿勢および/または位置角度が決定されてもよい。
しかしながら、本開示は、姿勢または角度である位置パラメータに限定されず、いくつかの実施形態では、少なくとも1つの位置パラメータは、位置、距離、角度、姿勢の少なくとも1つを含むためである。
したがって、位置を決定して、(仮想)座標系で表すことができ、これもディスプレイ上の物体検出回路のユーザなどに示され得る。
距離は、結合された確率データから直接決定され得るので、本開示を制限することなく、位置から結論付けられ得る。
姿勢および/または角度は、事前定義された物体の方向をさらに含んでもよい。例えば、車が事前定義された物体である場合、車の前部および/または後部がどこにあるかを決定することができる。
いくつかの実施形態では、物体検出回路は、さらに、所定の物体の検出の正確性および精度のうちの少なくとも1つを判定するように構成される。
例えば、測定は、環境の影響(例えば、温度、光の状態など)、センサの一方(または両方)の劣化したキャリブレーション、センサの動き(例えば、自動車に実装されている場合)または事前定義された物体の動き(例えば、ドップラー効果による)によって劣化することがある。
したがって、検出の精度は、仮定された誤差(関数)に基づいて決定することができ、これは、その点に関して本開示を制限することなく、上述の条件のいずれかを考慮することができる。
さらに、検出の正確性を(例えば、精度に基づいて)決定することができ、これは、事前定義された物体が検出された物体に対応するか否かを示すことができる。
いくつかの実施形態では、物体検出回路は、検出された所定の物体を追跡するようにさらに構成される。
例えば、既知の物体追跡技術を適用することができる。
しかしながら、いくつかの実施形態では、物体検出回路は、事前定義された物体の検出のために適用されるときに、追跡のための同じ処理を再び実行することができ、その結果、追跡は、事前定義された物体の繰り返し検出に対応することができる。
いくつかの実施形態では、物体検出回路は、さらに、第1のセンシングデータに基づいて第1の特徴マップを生成し、第2のセンシングデータに基づいて第2の特徴マップを生成し、第1および第2の特徴マップを事前定義された座標系に転送するように構成される。
特徴マップは、例えば、1つの地図または2つの地図のいずれかで、取得された第1および第2の特徴データを描写するマップ(例えば、第1および/または第2のセンシングデータに基づくもの)であってもよい。特徴マップは、いくつかの実施形態では、検出された複数の最大値を含み、その点に関して本開示を制限することなく、鳥瞰的な（バーズアイの）観点からの座標系によって表されてもよい。
さらに、垂直方向を示すデータを取得できるように、空間の異なる層に対して特徴マップを生成してもよい。
一般に、特徴マップに表される特徴は、検出された信号(1つ以上の最大値)であってもよく、これは、事前定義された物体の特定の特性を示す。例えば、特徴は、特定の特徴シグネチャを有する車の特定の部分、例えば、窓、背面などから発せられる検出された信号によって示されてもよい。
事前定義された座標系は、第1および第2の特徴マップの共通座標系であってもよく、あるいは、異なる座標系であってもよく、それは、互いに変換可能であってもよく、また、共通座標系に転送されてもよい。
事前定義された座標系は、ユークリッド座標、球座標、円筒座標、極座標などを表すことができるので、特定の種類の座標系に限定されず、事前定義された座標系の原点は、例えば、2つのセンサのうちの1つの特定の位置、検出された物体、または、空間内の任意の他の位置であってもよい。
いくつかの実施形態では、第1および第2のセンサは、本明細書で論じられるように、レーダーセンサ、ライダーセンサ、カメラ、または飛行時間型センサのうちの少なくとも1つを含む。
いくつかの実施形態では、第1の所定の特徴モデルおよび第2の所定の特徴モデルの少なくとも1つは、人工知能の監視訓練に基づいている。
人工知能(AI)は、例えば、エッジ検出、ヒストグラムベースの方法、テンプレートマッチベースの方法、カラーマッチベースの方法などによる形状マッチングのような、機械学習ベースの方法、または、明示的な特徴ベースの方法を使用することができる。
いくつかの実施形態では、物体認識を行うために、例えば、検出された事前定義された物体と認識された物体とを比較して、検出の正確性を高めるために、マシン学習アルゴリズムを使用することができる。これは、スケール不変特徴転送(SIFT)、グレーレベル共起行列(GLCM)、ガボア特徴、ツベネス(Tubeness)などの少なくとも1つに基づくことができる。
さらに、機械学習アルゴリズムは、分類器技術に基づいてもよく、この場合、このような機械学習アルゴリズムは、ランダムフォレスト、サポートベクトルマシン、ニューラルネット、ベイズネットなどの少なくとも1つに基づいてもよい。さらに、機械学習アルゴリズムは、ディープラーニング技術を適用することができ、このようなディープラーニング技術は、オートエンコーダ、一般悪意のあるネットワーク、弱い監視の学習、ブートストラップなどの少なくとも1つに基づいてもよい。
教師付き学習は、さらに、回帰アルゴリズム、知覚アルゴリズム、ベイズ分類、ナイバーベイヤー分類、次近傍分類、人工ニューラルネットワークなどに基づいてもよい。
このような実施形態では、人工知能は、第1および/または第2の特徴データをグランドトゥルースデータに割り当てることを学習し、それによって第1および/または第2の特徴モデルを開発または生成することができるように、事前定義された物体に対応するか、または、それに基づくことができるグランドトゥルースデータをフィードすることができる。
ある実施形態では、事前定義されたオブジェクトは、事前定義されたオブジェクトのクラスに基づいている。
上述したように、本開示は自動車分野における物体検出に関係することができ、そのような実施形態では、事前定義された物体のクラスは、自動車、乗客、道路標識、通り、家屋、木、生物、交通ライトなどを含むことができる。
しかしながら、他の実施形態では、物体検出回路は、例えば倉庫等の監視システムに適用することができ、事前定義された物体のクラスは、自動車または監視アプリケーションに関する本開示を制限することなく、顧客、従業員、棚、製品等を含むことができる。一般に、本開示は、物体検出が実行され得る任意の分野に適用され得る。
いくつかの実施形態では、物体検出回路は、さらに、第1の特徴データを第1の所定の特徴モデルと反復的に畳み込み、それによって第1の対象確率データを生成し、第2の特徴データを第2の所定の特徴モデルと反復的に畳み込み、それによって第2の対象確率データを生成し、第1および第2の対象確率データを反復的に畳み込み、それによって結合された対象確率データを生成するように構成される。
例えば、複数の第1の特徴データを(例えば、異なる高さまたは層のために、異なる角度のために、等々)取得することができ、これは、それぞれ、連続した順序で(すなわち、反復的に)第1の所定の特徴モデルと畳み込むことができ、本開示では、垂直反復と呼ぶことができる。
さらに、複数の第2の特徴データが取得されてもよく、これは、垂直反復において同様に、連続した順序で第2の所定の特徴モデルとそれぞれ畳み込まれてもよい。
さらに、(例えば、第1のセンサの第1の測定値から)第1の生成された第1の対象確率データは、第1の生成された第2の対象確率データと畳み込まれてもよく(例えば、それぞれの確率を合計することによって)、それを水平方向の反復と呼ぶことができ、それによって、結合された確率データが生成される。
いくつかの実施形態は、本明細書で論じるように、第1のセンサの第1のセンシングデータに基づく第1の特徴データを取得するステップと、第1の特徴データを、所定のオブジェクトを表す第1の所定の特徴モデルと比較し、第1の所定の特徴モデルは、第1のセンサに対して特有のものであり、それによって第1の対象確率データを生成するステップと、第2のセンサの第2のセンシングデータに基づく第2の特徴データを取得するステップと、第2の特徴データを、所定のオブジェクトを表す第2の所定の特徴モデルと比較し、第2の所定の特徴モデルは、第2のセンサに対して特有のものであり、それによって第2の対象確率データを生成するステップと、第1の対象確率データおよび第2の対象確率データを結合し、それによって所定のオブジェクトを検出するための結合確率データを生成するステップとを含む物体検出方法に関する。
この物体検出方法は、物体検出方法を実行するように構成されたプロセッサ(または複数のプロセッサ)などの、本開示に係る物体検出回路などを用いて実行することができる。
いくつかの実施形態において、本明細書で論じるように、この物体検出方法は、事前に定義されたオブジェクトの少なくとも1つの位置パラメータを示す、結合された確率データの複数の最大値を検出するステップと、事前に定義されたオブジェクトの少なくとも1つの位置パラメータを決定するステップとを含む。
いくつかの実施形態では、本明細書で説明するように、少なくとも1つの位置パラメータは、位置、距離、角度、および姿勢のうちの少なくとも1つを含む。
いくつかの実施形態において、本方法は、本明細書で論じるように、事前に定義されたオブジェクトを検出する正確性および精度のうちの少なくとも1つを判定するステップをさらに含む。
ある実施形態では、本方法は、本明細書で論じるように、検出された事前に定義されたオブジェクトを追跡するステップをさらに含む。
いくつかの実施形態において、本方法は、本明細書で論じるように、第1のセンシングデータに基づいて第1の特徴マップを生成するステップと、第2のセンシングデータに基づいて第2の特徴マップを生成するステップと、第1および第2の特徴マップを、事前に定義された座標系に転送するステップとをさらに含む。
いくつかの実施形態では、本明細書で論じられるように、第1および第2のセンサは、レーダーセンサ、ライダーセンサ、カメラ、または飛行時間型センサのうちの少なくとも1つを含む。
いくつかの実施形態では、本明細書で論じるように、第1の所定の特徴モデルおよび第2の所定の特徴モデルの少なくとも1つは、人工知能の監視訓練に基づいている。
いくつかの実施形態では、事前に定義されたオブジェクトは、本明細書で説明されるように、事前に定義されたオブジェクトのクラスに基づいている。
いくつかの実施形態において、本明細書で論じるように、本方法は、第1の所定の特徴モデルで第1の特徴データを繰り返し畳み込み、それによって第1の対象確率データを生成するステップと、第2の所定の特徴モデルで第2の特徴データを繰り返し畳み込み、それによって第2の対象確率データを生成するステップと、第1の畳み込み特徴データおよび第2の畳み込み特徴データを繰り返し畳み込み、それによって結合確率データを生成するステップとをさらに含む。
本明細書に記載する方法は、コンピュータおよび/またはプロセッサ上で実行されるときに、コンピュータおよび/またはプロセッサに方法を実行させるコンピュータプログラムとして、いくつかの実施形態においても実施される。
いくつかの実施形態では、機械読み取り可能な非一時的記録媒体も、コンピュータプログラム製品内に記憶するように提供され、コンピュータプログラム製品は、上述のプロセッサのようなプロセッサによって実行されると、本明細書に記載する方法が実行される。
一般に、各センサ(すなわち、第1および第2のセンサ、ただしこれに限定されない)は、(所定の)回数の測定Mを提供することができ、ここで、各測定fに応答して、特徴は、本明細書で論じられるように、特徴マップ(または、各測定が特徴マップを示す複数の特徴マップ)が生成され得るように、2次元座標系の2つの座標lxおよびlz(または、短くl = (lx, lz))に割り当てられ得る。
各特長マップは、多数のiグリッドセルを有することができ、ここで、グリッドセルは、同一または異なるサイズを有することができ、各グリッドセルは、n(f=1 | l,i)のような関数として表示される特定の特徴nを検出する測定数と、特定の特徴を検出しない測定数、すなわちn(f=0 | l,i)と、を表す2つの値を含むことができる。
得られた特徴マップのすべてまたはサブセットに基づいて、オブジェクトパラメータ空間内のオブジェクトの存在確率p(O(c,θ) = 1 | f1,...,fM)を決定することができ、ここで、Oはオブジェクトであり、cはオブジェクトの座標(cx、cz)に相当し、θはオブジェクトの姿勢(すなわち角度)を示し、(c,θ)は(3次元)パラメータ空間である。
特に、cxはx方向におけるオブジェクトの中心を含み、czはz方向におけるオブジェクトの中心を含み、θは、x-z面におけるオブジェクトの向きを含み、θは、(0,2π)のような値の間隔に制限され得る。
それによって、上述したように、視野依存オブジェクト外観を克服する要件を満たすことができる。
確率pは、次の式に従って決定されてもよい。
Figure 2022550285000002
いくつかの実施形態では、パラメータ空間の離散化された表現が生成され、これは、x軸に沿った多数の離散化点と、z軸に沿った多数の離散化点と、配向軸(すなわち、角度)に沿った多数の離散化点とを含む3次元アレイによって表され得る。
さらに、いくつかの実施形態では、p(O(c,θ) = 1 | f1,...,fM)の対数値が計算され、推論ステップの数を畳み込みの数に減らしてもよい。
いくつかの実施形態において、条件p(O(c,θ) = 1 | fi(l)=1)およびp(O(c,θ) = 1 | fi(l)=0)は、p(O(c,θ) = 1 | fi(l)=1) = p(O(c-l,θ) = 1 | fi(l)=1)およびp(O(c,θ) = 1 | fi(l)=0) = p(O(c-l,θ) = 1 | fi(l)=0)などのように、lにシフト不変量が実装される。
それにより、上述したようなクラス内の物体不変性の要件を満たすことができる。
したがって、このような実施形態では、特徴がlで検出された場合(すなわち、f = 1)、または、lで検出されなかった場合(すなわち、f = 0)、これらの条件は、物体が方向(c-l;θ)を有する位置に配置されていることを示すことができる。
いくつかの実施形態において、条件p(O(c-1,θ)=1| fi(0) = 1)およびp(O(c-l,θ) = 1 | fi(0) = 0)は、実際のまたはシミュレートされたセンサ測定からの監視トレーニングに基づいて判定され、これは、いくつかの実施形態では、所定の姿勢を有する所定の数の所定のオブジェクトにノイズが発生する可能性がある。
それによって、センサノイズは、上述のようなセンサノイズの要件を満たすように、認識および/またはフィルタリングされてもよい。
いくつかの実施形態では、局所最大値、即ち、p(O(c-l,θ)=1| fi(0) = 1)は、非最大抑制に基づく他のパラメータを除外しながら、パラメータ空間に配置される。
いくつかの実施形態において、局所最大値の位置(c,θ)は、所定の一物体(または複数の所定の物体)の姿勢(例えば、位置および向き)を示すことができ、ここで、決定された姿勢の正確性は、局所最大値の位置におけるp(O(c,θ)=1 | f1,...,fM)を評価することによって決定され得、ここで、p(O(c,θ)=1 | f1,...,fM)が所定のしきい値を超えている場合、正確性が与えられてもよい。
それにより、上述のように、複数の物体検出の要件は、検出のリストを提供することによって満たされ得、姿勢の精度は、姿勢空間の解像度(c,θ)によって決まってもよい。
ある実施形態では、決定された姿勢の精度は、局所最大値の位置におけるp(O(c,θ)=1 | fi,...,fM)の曲率を評価することによって決定されてもよい。ここで、より高い精度は、曲率のより高い値に相当してもよい(他の実施形態では、より高い精度は、曲率のより低い値に相当してもよい)。
姿勢(または配置)の検出は、測定の正確性および/または精度に基づいて、連続した測定で洗練されてもよい。
図1に戻ると、各々が位置座標を示す2つの軸2aおよび2bを含む第1の座標系1が描かれている。
さらに、3つの信号分配3a、3bおよび3c(第1の特徴データ)が示され、これらは第1のセンサとしてステレオカメラによる第1のセンシングデータに基づいて得られる。反復的な議論を省略するために、ここでは、信号分配3aのみが議論される。
信号分配3aは、第1のサブ信号4および第2のサブ信号5を有し、第1のサブ信号4は、第2のサブ信号5よりも強い信号強度を有する。
図2は、図1の軸2aおよび2bに対応する2つの軸12aおよび12bを含む第2の座標系10を示す。
さらに、3つの信号分配13a、13bおよび13c(第2の特徴データ)が示され、これらは第2のセンサとしてのレーダーセンサによる第2のセンシングデータに基づいて得られる。
信号分配13a(および同様に明示的には説明しないが、13bおよび13cも同様に)は、第1のサブ信号14、第2のサブ信号15、および第3のサブ信号16を含み、これらは、例示的な理由により、異なるパターンによってグループ化され、パターン強度は、それぞれの信号強度に対応し、すなわち、第1のサブ信号14は、第1から第3のサブ信号14～16の最も強い信号強度を有し、第2のサブ信号15は、第1から第3のサブ信号14～16の２番目に強い信号強度を有し、第3のサブ信号16は、第1から第3のサブ信号14～16の３番目に強い信号強度を有する。
現在記載されている実施形態では、図1および図2に関して説明されている信号分配3a、3b、3c、13a、13b、および13cは、3台の車の第1および第2のセンシングデータを所定の物体として取得することによって得られる。すなわち、信号分配3a～3c、および13a～13cは車を示す。
図3は、センサとしてのステレオカメラのためのテンプレート(すなわち、特徴モデル)20を描いており、これは、人工知能の教師つき訓練に基づいている。
テンプレート20は、車24から39の異なる姿勢を表し、各姿勢は、本明細書で論じるように、確率に割り当てられる。
さらに、信号の異なる強度は、異なる線21～23によって記号的に描かれ、線21は、最も強い強度を表し、線22は、2番目に強い強度を表し、線23は、検出された最も弱い強度を表し、一般に知られているように、同様に、強度の連続的な分布が検出され得るので、その点で本開示を制限することはない。
割り当ては次の表に表示される。(図に示されている姿勢に対応する)各参照符号は、確率に割り当てられ、姿勢は角度θで表される。
Figure 2022550285000003
図4は、人工知能の教師あり訓練に基づく、センサとしてのレーダ用テンプレート(すなわち、特徴モデル)40を示す。
テンプレート40は、図3のテンプレート20の順序付け(確率および角度)に対応する自動車の異なる姿勢を表し、したがって、(参照符号と共に)繰り返し記述は省略される。
信号の異なる強度は、異なる形でハッチングされた楕円41～43によって記号的に描かれ、楕円41は最も強い強度を表し、楕円42は2番目に強い強度を表し、楕円43は検出された最も弱い強度を表すが、一般に知られているように、同様に強度の連続分布が検出され得るので、その点で本開示を制限することはない。
物体姿勢の対数確率は、ここで議論するように、テンプレート20および40を用いて決定され、物体姿勢確率分布は、融合された姿勢確率分布(または融合された特徴モデル)が生成されるように融合される。
図5は、(参照符号と共に)繰り返しの記述が省略されるように、図3および4と同じ車の姿勢の順序付けを伴う、融合された姿勢確率分布50を描いている。
信号の異なる強度は、異なるハッチングされた四角形51～53によって記号的に描かれ、四角形51は最も強い強度を表し、四角形52は2番目の強度を表し、四角形53は検出された最も弱い強度を表し、一般に知られているように、同様に強度の連続分布が検出され得るので、本開示を制限することはない。
(図1および図2の)第1および第2の特徴データの対数確率は、3台の車の姿勢となる図1および図2の3つの物体(車)のそれぞれについて、結合された姿勢確率分布50に融合される。
比較の結果が図6に表示される。
図6は、各々が位置座標を示す2つの軸61aおよび61bを含む座標系60を描いている。
さらに、検出された3つの物体62a、62bおよび62cが示され、それぞれ図1および図2の特徴マップ1および10の特徴63を合計した形でオーバーレイされる。検出された3つの物体の表示は、検出されたそれぞれの物体62a、62b、および62cの姿勢をそれぞれ示すポインタ64a、64b、および64cをさらに含む。
図7は、本開示による方法70のブロック図を示す。
71では、センサ測定が実行される。この実施形態では、第1のセンシングRAW（未加工）データとしてのステレオカメラ画像対が711で取得され、第2のセンシングRAWデータとしてのレーダデータが712で取得される。
それぞれのセンシングRAWデータで、低レベルの処理が実行される。
ステレオカメラ画像対の場合、キャリブレーションと視差推定は713で行われる。レーダデータの場合、キャリブレーションと高速フーリエ変換が714で行われる。
72において、低レベル処理された第1および第2のセンシングRAWデータは、それぞれの特徴マップに転送され、その結果、低レベル処理された第1のセンシングRAWデータは、721において、バードアイビューの特徴マップに転送され、低レベル処理された第2のセンシングRAWデータは、722においてバードアイビュー(全景)の特徴マップに転送される。
73では、本明細書で論じるように、対数確率は、特徴マップから決定される。
特に、731において、ステレオカメラ特徴マップの姿勢対数確率量は、732において姿勢対数確率量の判定に供給されている、先に訓練された条件付き確率に基づいて判定される。
さらに、733において、レーダーセンサのポーズ対数確率量は、734において姿勢対数確率体積の判定に供給される、先に訓練された条件付き確率に基づいて判定される。
決定されたポーズ対数確率量は、本明細書で論じられるように、735で結合(すなわち融合)される。
74において、局所最大値が、本明細書に論じられるように、決定され、処理される。
結合された確率に基づいて、最大値は、本明細書に論じるように、741内の非最大抑制アルゴリズムで検出される。
742では、姿勢、正確性、および精度が、本明細書で説明するように、検出された最大値に基づいて決定される。
75では、本明細書で説明するように、決定された姿勢(すなわち、位置および向き)、正確性および精度に基づいて、さらなる処理が実行される。
特に本明細書で論じるように、検出された姿勢のさらなる改善が751で実行され、検出された1つの物体(または検出された複数の物体)が752で追跡される。
図8は、特徴マップを生成するための方法80を概略的に示す。
座標lxおよびlz(すなわちlx、lz))によって定義される複数のセル82を含む座標系81が描かれている。
さらに、座標系81は、検出83が一般にセル82の内部に完全に存在してもよいので、本開示を制限することなく、セル82の境界と重なり合う複数の検出83を含む。
検出83は、複数のセル82の検出信号が最も存在する1つに割り当てられ、すなわち、検出83のセル分別蓄積が84で実行される。
座標系85が描かれており、これは基本的に座標系81に対応し、重複説明が省略されている。
しかしながら、座標系85は、検出83が特徴86に累積される点で座標系81とは異なる。
特定の座標に対応するセルごとに、検出の数が決定され、空のセル、例えばセル(4,3)は、n(f = 1 | l = ((4,3)、i) = 0、1つの検出または特徴を持つセル、例えばセル(5,16)、(23,13)、(17,16) はそれぞれ、n(f = 1 | l = ((5,16)、i) = 1、n(f = 1 | l = ((23、13)、i) = 1、および、n(f = 1 |l = ((16、17)、i) = 1 で表現され、2つの検出または特徴を持つセル、例えばセル(19、5)は、n(f = 1 |l = ((19、5)、i) = 2で表現され、1つのセル内の検出の最大数に対して本開示を制限しない。
図9は、本開示による物体確率データを決定する方法90を概略的に示す。
以下の方法90の説明では、2つのセンサ91および91'の測定のみを考慮に入れている。しかしながら、当業者が図9から取り得るように、本開示は、任意の数の測定を有する任意の数のセンサに対して想定され得るので、2つのセンサに限定されない。
センサ91のセンサ測定に基づく第1の特徴データは、93において、所定の特徴モデル92(すなわち、センサ91に特有である教師あり訓練に基づく所定の条件付き確率)と畳み込まれる。
第2の特徴データは、センサ91'のセンサ測定に基づくものであり、93'内の所定の特徴モデル92'(すなわち、センサ91'に特有である教師あり訓練に基づく所定の条件付き確率)と畳み込まれる。
さらに、93のたたみ込みデータと93'のたたみ込みデータの和94が決定され、これは、物体を検出するためのさらなるセンシングデータのさらなる畳み込みの基礎として、または、ある実施形態では、物体を検出するための基礎として機能する。
図10は、本開示による物体検出回路として機能するように構成されたCPU101を含む車両100のブロック図を示す。
車両100はさらに、第1のセンシングデータを取得するためのステレオカメラ102と、第2のセンシングデータを取得するためのレーダー103とを含み、これらは、第1および第2の特徴データが生成されるように、CPU101に供給される。
しかしながら、いくつかの実施形態では、第1および第2の特徴データは、本明細書で論じられるように、第1および第2のセンサ内、または、第1および/または第2の特徴データを生成するための特定の回路内で生成される。
例えば、特徴マップは、各センサで計算されてもよく、融合・検出部に転送されてもよく、融合・検出部は、特徴マップを融合し、確率を決定し、物体を検出するように構成される。
上述した実施形態は、方法ステップの例示的な順序付けを伴う方法を説明していることを理解されたい。しかしながら、方法ステップの特定の順序付けは、例示のみを目的として与えられており、結合力のあるものとして解釈されるべきではない。例えば、図9の実施形態における91および91'の順序付けが交換されてもよい。
また、図7の実施形態における711と712の順序を交換してもよい。また、図7の実施形態における721と722の順序も変更することができる。方法ステップの順序の他の変更も、当業者には明らかである。
ある実施形態では、また、上述のプロセッサのようなプロセッサによって実行されると、記載された方法が実行されるコンピュータプログラム製品に記憶する、機械読み取り可能な非一時的記録媒体も提供される。
本明細書に記載され、添付の特許請求の範囲に請求されるすべてのユニットおよびエンティティは別段の記載がない限り、例えばチップ上の集積回路ロジックとして実装することができ、そのようなユニットおよびエンティティによって提供される機能は、別段の記載がない限り、ソフトウェアによって実装することができる。
上述の開示の実施形態が少なくとも部分的に、ソフトウェア制御されたデータ処理装置を使用して実施される限り、そのようなソフトウェア制御を提供するコンピュータプログラム、および、そのようなコンピュータプログラムが提供される伝送、記憶、または他の媒体が、本開示の態様として想定されることが理解される。
さらに、本開示は、自動車の検出および車両内の実装に関して例示的に説明されているが、説明されている実施形態に限定されないことに留意されたい。特に、本開示は、自動車、自律車両、ロボット、ボート、船舶などにおける運転支援システムのような、地上ベースまたは海面ベースの任意のナビゲーションシステムにおいて、周囲のシナリオを2次元座標系で表すことができる各ケースまたは状況において適用することができる。
なお、本技術は、以下のように構成することも可能である。
（１）第1のセンサの第1のセンシングデータに基づく第1の特徴データを取得し、
前記第1の特徴データを、所定のオブジェクトを表す第1の所定の特徴モデルと比較し、前記第1の所定の特徴モデルは、前記第1のセンサに対して特有のものであり、それによって第1の対象確率データを生成し、
第2のセンサの第2のセンシングデータに基づく第2の特徴データを取得し、
前記第2の特徴データを、所定のオブジェクトを表す第2の所定の特徴モデルと比較し、前記第2の所定の特徴モデルは、前記第2のセンサに対して特有のものであり、それによって第2の対象確率データを生成し、
前記第1の対象確率データおよび前記第2の対象確率データを結合し、それによって所定のオブジェクトを検出するための結合確率データを生成する
ように構成された
物体検出回路。
（２）前記所定のオブジェクトの少なくとも1つの位置パラメータを示す前記結合確率データの複数の最大値を検出し、
前記所定のオブジェクトの前記少なくとも1つの位置パラメータを決定する
ようにさらに構成されている
（１）に記載の物体検出回路。
（３）前記少なくとも1つの位置パラメータは、位置、距離、角度、および姿勢のうちの少なくとも1つを含む
（１）または（２）に記載の物体検出回路。
（４）前記所定のオブジェクトの検出の正確性および精度のうちの少なくとも1つを判定するようにさらに構成されている
（１）～（３）のいずれか１つに記載の物体検出回路。
（５）検出された前記所定のオブジェクトを追跡するようにさらに構成されている
（１）～（４）のいずれか１つに記載の物体検出回路。
（６）前記第1のセンシングデータに基づいて第1の特徴マップを生成し、
前記第2のセンシングデータに基づいて第2の特徴マップを生成し、
前記第1の特徴マップおよび第2の特徴マップを所定の座標系に変換する
ようにさらに構成されている
（１）～（５）のいずれか１つに記載の物体検出回路。
（７）前記第1のセンサおよび第2のセンサは、レーダーセンサ、ライダーセンサ、カメラ、または飛行時間型センサのうちの少なくとも1つを含む
（１）～（６）のいずれか１つに記載の物体検出回路。
（８）前記第1の所定の特徴モデルおよび前記第2の所定の特徴モデルのうちの少なくとも1つは、人工知能の教師あり訓練に基づくものである
（１）～（７）のいずれか１つに記載の物体検出回路。
（９）前記所定のオブジェクトは、前記所定のオブジェクトのクラスに基づくものである
（１）～（８）のいずれか１つに記載の物体検出回路。
（１０）前記第1の特徴データを前記第1の所定の特徴モデルと反復的に畳み込み、それによって前記第1の対象確率データを生成し、
前記第2の特徴データを前記第2の所定の特徴モデルと反復的に畳み込み、それによって前記第2の対象確率データを生成し、
第1の対象確率データおよび第2の対象確率データを反復的に畳み込み、それによってオブジェクトの前記結合確率データを生成する
ようにさらに構成されている
（１）～（９）のいずれか１つに記載の物体検出回路。
（１１）第1のセンサの第1のセンシングデータに基づく第1の特徴データを取得するステップと、
前記第1の特徴データを、所定のオブジェクトを表す第1の所定の特徴モデルと比較し、前記第1の所定の特徴モデルは、前記第1のセンサに対して特有のものであり、それによって第1の対象確率データを生成するステップと、
第2のセンサの第2のセンシングデータに基づく第2の特徴データを取得するステップと、
前記第2の特徴データを、所定のオブジェクトを表す第2の所定の特徴モデルと比較し、前記第2の所定の特徴モデルは、前記第2のセンサに対して特有のものであり、それによって第2の対象確率データを生成するステップと、
前記第1の対象確率データおよび前記第2の対象確率データを結合し、それによって所定のオブジェクトを検出するための結合確率データを生成するステップと
を含む物体検出方法。
（１２）前記所定のオブジェクトの少なくとも1つの位置パラメータを示す前記結合確率データの複数の最大値を検出するステップと、
前記所定のオブジェクトの前記少なくとも1つの位置パラメータを決定するステップと
をさらに含む
（１１）に記載の物体検出方法。
（１３）前記少なくとも1つの位置パラメータは、位置、距離、角度、および姿勢のうちの少なくとも1つを含む
（１１）または（１２）に記載の物体検出方法。
（１４）前記所定のオブジェクトの検出の正確性および精度のうちの少なくとも1つを判定するステップをさらに含む
（１１）～（１３）のいずれか１つに記載の物体検出方法。
（１５）検出された前記所定のオブジェクトを追跡するステップをさらに含む
（１１）～（１４）のいずれか１つに記載の物体検出方法。
（１６）前記第1のセンシングデータに基づいて第1の特徴マップを生成するステップと、
前記第2のセンシングデータに基づいて第2の特徴マップを生成するステップと、
前記第1の特徴マップおよび第2の特徴マップを所定の座標系に変換するステップと
をさらに含む
（１１）～（１５）のいずれか１つに記載の物体検出方法。
（１７）前記第1のセンサおよび第2のセンサは、レーダーセンサ、ライダーセンサ、カメラ、または飛行時間型センサのうちの少なくとも1つを含む
（１１）～（１６）のいずれか１つに記載の物体検出方法。
（１８）前記第1の所定の特徴モデルおよび前記第2の所定の特徴モデルのうちの少なくとも1つは、人工知能の教師あり訓練に基づくものである
（１１）～（１７）のいずれか１つに記載の物体検出方法。
（１９）前記所定のオブジェクトは、前記所定のオブジェクトのクラスに基づくものである
（１１）～（１８）のいずれか１つに記載の物体検出方法。
（２０）前記第1の特徴データを前記第1の所定の特徴モデルと反復的に畳み込み、それによって前記第1の対象確率データを生成するステップと、
前記第2の特徴データを前記第2の所定の特徴モデルと反復的に畳み込み、それによって前記第2の対象確率データを生成するステップと、
第1の対象確率データおよび第2の対象確率データを反復的に畳み込み、それによってオブジェクトの前記結合確率データを生成するステップと
をさらに含む
（１１）～（１９）のいずれか１つに記載の物体検出方法。
（２１）コンピュータ上で実行されるときに、前記コンピュータに、（１１）～（２０）のいずれか1つに記載の方法を実行させるプログラムコードを含むコンピュータプログラム。
（２２）プロセッサによって実行されると、（１１）～（２０）のいずれか１つに記載の方法が実行されるコンピュータプログラム製品を記憶する、機械読み取り可能な非一時的記憶媒体。

Claims (20)

  1. 第1のセンサの第1のセンシングデータに基づく第1の特徴データを取得し、
    前記第1の特徴データを、所定のオブジェクトを表す第1の所定の特徴モデルと比較し、前記第1の所定の特徴モデルは、前記第1のセンサに対して特有のものであり、それによって第1の対象確率データを生成し、
    第2のセンサの第2のセンシングデータに基づく第2の特徴データを取得し、
    前記第2の特徴データを、所定のオブジェクトを表す第2の所定の特徴モデルと比較し、前記第2の所定の特徴モデルは、前記第2のセンサに対して特有のものであり、それによって第2の対象確率データを生成し、
    前記第1の対象確率データおよび前記第2の対象確率データを結合し、それによって所定のオブジェクトを検出するための結合確率データを生成する
    ように構成された
    物体検出回路。
  2. 前記所定のオブジェクトの少なくとも1つの位置パラメータを示す前記結合確率データの複数の最大値を検出し、
    前記所定のオブジェクトの前記少なくとも1つの位置パラメータを決定する
    ようにさらに構成されている
    請求項１に記載の物体検出回路。
  3. 前記少なくとも1つの位置パラメータは、位置、距離、角度、および姿勢のうちの少なくとも1つを含む
    請求項２に記載の物体検出回路。
  4. 前記所定のオブジェクトの検出の正確性および精度のうちの少なくとも1つを判定するようにさらに構成されている
    請求項２に記載の物体検出回路。
  5. 検出された前記所定のオブジェクトを追跡するようにさらに構成されている
    請求項２に記載の物体検出回路。
  6. 前記第1のセンシングデータに基づいて第1の特徴マップを生成し、
    前記第2のセンシングデータに基づいて第2の特徴マップを生成し、
    前記第1の特徴マップおよび第2の特徴マップを所定の座標系に変換する
    ようにさらに構成されている
    請求項１に記載の物体検出回路。
  7. 前記第1のセンサおよび第2のセンサは、レーダーセンサ、ライダーセンサ、カメラ、または飛行時間型センサのうちの少なくとも1つを含む
    請求項１に記載の物体検出回路。
  8. 前記第1の所定の特徴モデルおよび前記第2の所定の特徴モデルのうちの少なくとも1つは、人工知能の教師あり訓練に基づくものである
    請求項１に記載の物体検出回路。
  9. 前記所定のオブジェクトは、前記所定のオブジェクトのクラスに基づくものである
    請求項１に記載の物体検出回路。
  10. 前記第1の特徴データを前記第1の所定の特徴モデルと反復的に畳み込み、それによって前記第1の対象確率データを生成し、
    前記第2の特徴データを前記第2の所定の特徴モデルと反復的に畳み込み、それによって前記第2の対象確率データを生成し、
    第1の対象確率データおよび第2の対象確率データを反復的に畳み込み、それによってオブジェクトの前記結合確率データを生成する
    ようにさらに構成されている
    請求項１に記載の物体検出回路。
  11. 第1のセンサの第1のセンシングデータに基づく第1の特徴データを取得するステップと、
    前記第1の特徴データを、所定のオブジェクトを表す第1の所定の特徴モデルと比較し、前記第1の所定の特徴モデルは、前記第1のセンサに対して特有のものであり、それによって第1の対象確率データを生成するステップと、
    第2のセンサの第2のセンシングデータに基づく第2の特徴データを取得するステップと、
    前記第2の特徴データを、所定のオブジェクトを表す第2の所定の特徴モデルと比較し、前記第2の所定の特徴モデルは、前記第2のセンサに対して特有のものであり、それによって第2の対象確率データを生成するステップと、
    前記第1の対象確率データおよび前記第2の対象確率データを結合し、それによって所定のオブジェクトを検出するための結合確率データを生成するステップと
    を含む物体検出方法。
  12. 前記所定のオブジェクトの少なくとも1つの位置パラメータを示す前記結合確率データの複数の最大値を検出するステップと、
    前記所定のオブジェクトの前記少なくとも1つの位置パラメータを決定するステップと
    をさらに含む
    請求項１１に記載の物体検出方法。
  13. 前記少なくとも1つの位置パラメータは、位置、距離、角度、および姿勢のうちの少なくとも1つを含む
    請求項１２に記載の物体検出方法。
  14. 前記所定のオブジェクトの検出の正確性および精度のうちの少なくとも1つを判定するステップをさらに含む
    請求項１２に記載の物体検出方法。
  15. 検出された前記所定のオブジェクトを追跡するステップをさらに含む
    請求項１２に記載の物体検出方法。
  16. 前記第1のセンシングデータに基づいて第1の特徴マップを生成するステップと、
    前記第2のセンシングデータに基づいて第2の特徴マップを生成するステップと、
    前記第1の特徴マップおよび第2の特徴マップを所定の座標系に変換するステップと
    をさらに含む
    請求項１１に記載の物体検出方法。
  17. 前記第1のセンサおよび第2のセンサは、レーダーセンサ、ライダーセンサ、カメラ、または飛行時間型センサのうちの少なくとも1つを含む
    請求項１１に記載の物体検出方法。
  18. 前記第1の所定の特徴モデルおよび前記第2の所定の特徴モデルのうちの少なくとも1つは、人工知能の教師あり訓練に基づくものである
    請求項１１に記載の物体検出方法。
  19. 前記所定のオブジェクトは、前記所定のオブジェクトのクラスに基づくものである
    請求項１１に記載の物体検出方法。
  20. 前記第1の特徴データを前記第1の所定の特徴モデルと反復的に畳み込み、それによって前記第1の対象確率データを生成するステップと、
    前記第2の特徴データを前記第2の所定の特徴モデルと反復的に畳み込み、それによって前記第2の対象確率データを生成するステップと、
    第1の対象確率データおよび第2の対象確率データを反復的に畳み込み、それによってオブジェクトの前記結合確率データを生成するステップと
    をさらに含む
    請求項１１に記載の物体検出方法。
JP2022517741A 2019-09-25 2020-09-10 物体検出回路および物体検出方法 Pending JP2022550285A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19199664 2019-09-25
EP19199664.4 2019-09-25
PCT/EP2020/075417 WO2021058300A1 (en) 2019-09-25 2020-09-10 Object detection circuitry and object detection method

Publications (1)

Publication Number Publication Date
JP2022550285A true JP2022550285A (ja) 2022-12-01

Family

ID=68069601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517741A Pending JP2022550285A (ja) 2019-09-25 2020-09-10 物体検出回路および物体検出方法

Country Status (5)

Country Link
US (1) US20220406044A1 (ja)
EP (1) EP4035059A1 (ja)
JP (1) JP2022550285A (ja)
CN (1) CN114424254A (ja)
WO (1) WO2021058300A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9224053B1 (en) * 2013-07-31 2015-12-29 Google Inc. Combining multiple estimates of an environment into a consolidated estimate for an autonomous vehicle
US20160299229A1 (en) * 2015-04-09 2016-10-13 Sharper Shape Oy Method and system for detecting objects
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
WO2018229549A2 (en) * 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US10733755B2 (en) * 2017-07-18 2020-08-04 Qualcomm Incorporated Learning geometric differentials for matching 3D models to objects in a 2D image
US10726275B2 (en) * 2018-03-07 2020-07-28 Visteon Global Technologies, Inc. System and method for correlating vehicular sensor data
EP3702802A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Method of multi-sensor data fusion
US11062454B1 (en) * 2019-04-16 2021-07-13 Zoox, Inc. Multi-modal sensor data association architecture

Also Published As

Publication number Publication date
US20220406044A1 (en) 2022-12-22
EP4035059A1 (en) 2022-08-03
WO2021058300A1 (en) 2021-04-01
CN114424254A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
JP7254823B2 (ja) 物体の検出および特徴付けのためのニューラルネットワーク
Arnold et al. A survey on 3d object detection methods for autonomous driving applications
EP3293670B1 (en) Lidar object detection system for automated vehicles
US10366310B2 (en) Enhanced camera object detection for automated vehicles
JP7090105B2 (ja) 珍しい事例の分類
Kim et al. Robust lane detection based on convolutional neural network and random sample consensus
US20180025640A1 (en) Using Virtual Data To Test And Train Parking Space Detection Systems
CN115244421A (zh) 使用相机地图和/或雷达信息的对象尺寸估计
CN112997187A (zh) 基于鸟瞰图点云的二维对象边界框信息估计
US10726275B2 (en) System and method for correlating vehicular sensor data
CN114022830A (zh) 一种目标确定方法以及目标确定装置
Jung et al. Localization of AUVs using visual information of underwater structures and artificial landmarks
JP2010061655A (ja) 線形特徴を用いた対象追跡
Dey et al. VESPA: A framework for optimizing heterogeneous sensor placement and orientation for autonomous vehicles
US20220108544A1 (en) Object detection apparatus, system and method
GB2560619A (en) Object tracking by unsupervised learning
CN110969064A (zh) 一种基于单目视觉的图像检测方法、装置及存储设备
WO2020127151A1 (en) Method for improved object detection
CN113177429A (zh) 车辆神经网络训练
Dinesh Kumar et al. Stereo camera and LIDAR sensor fusion-based collision warning system for autonomous vehicles
Bougharriou et al. Vehicles distance estimation using detection of vanishing point
JP2022550285A (ja) 物体検出回路および物体検出方法
Klappstein Optical-flow based detection of moving objects in traffic scenes
Dey et al. Sensing Optimization in Automotive Platforms
Yamashita et al. Pedestrian and part position detection using a regression-based multiple task deep convolutional neural network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240617