JP2020042791A

JP2020042791A - マルチモデルに基づく障害物分布シミュレーション方法、装置及び端末

Info

Publication number: JP2020042791A
Application number: JP2019133666A
Authority: JP
Inventors: チンファン; Jin Fang; フェイロンイエン; Feilong Yan; フェイフーチャン; Feihu Zhang; ルイカンヤン; Ruigang Yang; リーアンワン; Liang Wang; ユイマー; Yu Ma
Original assignee: Baidu Online Network Technology Beijing Co Ltd
Current assignee: Baidu Online Network Technology Beijing Co Ltd
Priority date: 2018-09-07
Filing date: 2019-07-19
Publication date: 2020-03-19
Anticipated expiration: 2039-07-19
Also published as: US20200082619A1; EP3620945A1; CN109255181A; US10984588B2; JP6850324B2; CN109255181B

Abstract

【課題】マルチモデルに基づく障害物分布シミュレーション方法を提供する。【解決手段】障害物分布シミュレーション方法は、各フレームの点群には、複数の障害物が含まれる複数フレームの点群を取得するステップと、障害物の実標記データを取得し、障害物の実標記データに基づき複数のニューラルネットワークモデルを訓練するステップと、点群における標記されない障害物のデータを抽出し、ニューラルネットワークモデルに入力し、属性データを有する複数のシミュレーション障害物を含む複数のシミュレーション障害物の予測結果を出力するステップと、シミュレーション障害物の予測結果に基づき少なくとも一つのシミュレーション障害物を選択するステップと、選択されたシミュレーション障害物の属性データを各ニューラルネットワークモデルに入力し、シミュレーション障害物の位置座標を得て、シミュレーション障害物の位置分布を得るステップと、を含む。【選択図】図１

Description

本発明は、コンピュータの技術分野に関し、具体的には、マルチモデルに基づく障害物分布シミュレーション方法、装置及び端末に関する。

オフライン状態では、高精度地図に対して、地図における障害物の標記データを収集でき、標記データは、障害物の現在の位置、向き、ＩＤ及びタイプ等を含む。そのうち、障害物のタイプとして、車両、通行人、ライダー及びコーン等の移動障害物或いは静止障害物が挙げられる。できるだけ実際の状況に近づくように、障害物の数及び位置分布を如何にシミュレーションするかは、ますます当業者によって重要視されつつある。

従来の技術案では、高精度地図を用いて、ルールに基づく障害物配置によってシミュレーションを行い、ルールに基づく障害物配置は、車両が車線方向に沿って配置されること、通行人がランダムに配置されること等の例を含む。しかしながら、ルールに基づく障害物配置により表現されるシーンは非常に限られ、高精度地図に幹線道路のみがあり、支線道路や分岐道路がないため、同一種類の障害物の位置分布及び異なる種類の障害物の個数分布のシミュレーション結果は、実際の状況と大きく異なる。また、ルールに基づく配置は、実際のシーンに出現する可能性のあるすべての状況を網羅できないため、カバー率が不十分である。

本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、マルチモデルに基づく障害物分布シミュレーション方法、装置及び端末を提供する。

第一態様によれば、本発明の実施例は、マルチモデルに基づく障害物分布シミュレーション方法を提供し、該方法は、
複数のフレームの点群を取得し、各フレームの点群には、複数の障害物が含まれるステップと、
前記障害物の実標記データを取得し、前記障害物の実標記データに基づき複数のニューラルネットワークモデルを訓練するステップと、
前記点群における標記されない障害物のデータを抽出し、各前記ニューラルネットワークモデルにそれぞれ入力し、属性データを有する複数のシミュレーション障害物を含む複数のシミュレーション障害物の予測結果を出力するステップと、
各前記シミュレーション障害物の予測結果に基づき少なくとも一つの前記シミュレーション障害物を選択するステップと、
選択された前記シミュレーション障害物の属性データを各前記ニューラルネットワークモデルに入力し、前記シミュレーション障害物の位置座標を得て、前記シミュレーション障害物の位置分布を得るステップと、を含む。

第一態様に合わせて、本発明の第一態様の第一実施形態では、複数のシミュレーション障害物の予測結果を出力した後、
前記シミュレーション障害物の予測結果に対応する信頼度を出力するステップと、
前記信頼度が閾値より大きいか否かを判断し、ＹＥＳであると、前記シミュレーション障害物の予測結果を保留するステップと、をさらに含む。

第一態様に合わせて、本発明の第一態様の第二実施形態では、各前記シミュレーション障害物の予測結果に基づき少なくとも一つのシミュレーション障害物を選択することは、
各前記シミュレーション障害物の予測結果には、同じシミュレーション障害物が含まれるか否かを判断し、ＹＥＳであると、該シミュレーション障害物を選択するステップを含む。

第一態様に合わせて、本発明の第一態様の第三実施形態では、選択された前記シミュレーション障害物の属性データを各前記ニューラルネットワークモデルに入力し、前記シミュレーション障害物の位置座標を得ることは、
選択された前記シミュレーション障害物の属性データを各前記ニューラルネットワークモデルにそれぞれ入力し、複数の前記シミュレーション障害物の境界ボックスを得るステップと、
各前記シミュレーション障害物の境界ボックスに基づきそれぞれ対応する長さと幅を取得するステップと、
各前記長さと前記幅に基づき前記境界ボックスの長さ平均値と幅平均値を算出するステップと、
前記長さ平均値と前記幅平均値に基づき平均値境界ボックスの中心座標を得て、前記中心座標を前記シミュレーション障害物の位置座標とするステップと、を含む。

第二態様によれば、本発明の実施例は、マルチモデルに基づく障害物分布シミュレーション装置を提供し、該装置は、
複数のフレームの点群を取得し、各フレームの点群には、複数の障害物が含まれる点群取得モジュールと、
前記障害物の実標記データを取得し、前記障害物の実標記データに基づき複数のニューラルネットワークモデルを訓練するモデル訓練モジュールと、
前記点群における標記されない障害物のデータを抽出し、各前記ニューラルネットワークモデルにそれぞれ入力し、属性データを有する複数のシミュレーション障害物を含む複数のシミュレーション障害物の予測結果を出力するシミュレーション障害物予測モジュールと、
各前記シミュレーション障害物の予測結果に基づき少なくとも一つの前記シミュレーション障害物を選択するシミュレーション障害物選択モジュールと、
選択された前記シミュレーション障害物の属性データを各前記ニューラルネットワークモデルに入力し、前記シミュレーション障害物の位置座標を得て、前記シミュレーション障害物の位置分布を得るシミュレーション障害物位置分布モジュールと、を備える。

第二態様に合わせて、本発明の第二態様の第一実施形態では、前記装置は、
前記シミュレーション障害物の予測結果に対応する信頼度を出力し、前記信頼度が閾値より大きいか否かを判断し、ＹＥＳであると、前記シミュレーション障害物の予測結果を保留する信頼度判断モジュールをさらに備える。

第二態様に合わせて、本発明の第二態様の第二実施形態では、前記シミュレーション障害物位置分布モジュールは、
選択された前記シミュレーション障害物の属性データを各前記ニューラルネットワークモデルにそれぞれ入力し、複数の前記シミュレーション障害物の境界ボックスを得る境界ボックス算出ユニットと、
各前記シミュレーション障害物の境界ボックスに基づきそれぞれ対応する長さと幅を取得する長さ幅算出ユニットと、
各前記長さと前記幅に基づき前記境界ボックスの長さ平均値と幅平均値を算出する長さ幅平均値算出ユニットと、
前記長さ平均値と前記幅平均値に基づき平均値境界ボックスの中心座標を得て、前記中心座標を前記シミュレーション障害物の位置座標とする位置座標算出ユニットと、を備える。

第三態様によれば、本発明の実施例は、マルチモデルに基づく障害物分布シミュレーション端末を提供し、該端末は、プロセッサ及びメモリを備え、前記メモリは、マルチモデルに基づく障害物分布シミュレーション装置が上記第一態様に係るマルチモデルに基づく障害物分布シミュレーション方法を実行することをサポートするプログラムを記憶し、前記プロセッサは、前記メモリに記憶されたプログラムを実行するように配置される。前記端末は、前記端末がほかの装置又は通信ネットワークと通信する通信インターフェースをさらに備えてもよい。

前記機能はハードウェアによって実現されてもよく、ハードウェアが対応するソフトウェアを実行することによって実現されてもよい。前記ハードウェア又はソフトウェアは、上記機能に対応する１つ又は複数のモジュールを含む。

第四態様によれば、本発明の実施例は、本発明の実施例は、マルチモデルに基づく障害物分布シミュレーション装置用のコンピュータソフトウェア指令が記憶されるコンピュータ可読記憶媒体を提供し、該指令は、上記第一態様に係るマルチモデルに基づく障害物分布シミュレーション方法を実行するプログラムを含む。

上記技術案のいずれかは、障害物の実標記データを取得して、ニューラルネットワークモデルを訓練し、標記されない障害物のデータとニューラルネットワークモデルを用いて、シミュレーション障害物を予測し、予測されたシミュレーション障害物の位置分布を算出する。シミュレーション障害物の位置の多様性を向上させ、障害物の位置分布及び各障害物の個数分布のシミュレーション結果が実際状況により近づくという利点又は有益な効果を有する。

以上、明細書の目的のために発明の概要を説明したが、何らかの形態に限定されるものではない。上記説明された例示的な態様、実施形態及び特徴に加えて、本発明のさらなる態様、実施形態及び特徴は図面及び以下の詳細説明によって容易に明らかになる。

図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。
本発明の実施例に係るマルチモデルに基づく障害物分布シミュレーション方法のフローチャートである。本発明の実施例に係るシミュレーション障害物の境界ボックスの模式図である。本発明の実施例に係るマルチモデルに基づく障害物分布シミュレーション装置の構成ブロック図である。本発明の実施例に係るシミュレーション障害物位置分布モジュールの構成ブロック図である。本発明の実施例に係るマルチモデルに基づく障害物分布シミュレーション端末の模式図である。

以下、いくつかの例示的な実施例を説明する。当業者が理解できるように、本発明の趣旨又は範囲を逸脱せずに、説明された実施例を様々な形態で変更することができる。従って、図面及び説明は本質的に限定的ではなく例示的なものである。

実施例１
一具体的な実施形態では、図１に示すように、マルチモデルに基づく障害物分布シミュレーション方法を提供し、該方法は、以下のステップＳ１００〜Ｓ５００を含む。

ステップＳ１００では、複数のフレームの点群を取得し、各フレームの点群には、複数の障害物が含まれる。

プローブカーは、走行ルールに従って走行する時、レーダーによって周囲の障害物を走査し、複数のフレームの点群を取得する。プローブカーは、幹線道路上を走行し、又は指定した支線道路上を走行することなどをしてもよく、すべて本実施形態の保護範囲に属する。外部から該複数のフレームの点群を直接取得してもよい。

ステップＳ２００では、障害物の実標記データを取得し、障害物の実標記データに基づき複数のニューラルネットワークモデルを訓練する。

各フレームの点群における障害物の絶対座標を取得する。具体的には、一実施形態では、プローブカーの世界座標系における絶対座標を取得する。各フレームの点群において、プローブカーを原点に、点群座標系を作成する。プローブカーに対する各障害物の相対座標を算出する。プローブカーの絶対座標と障害物の相対座標に基づき世界座標系における障害物の絶対座標を得る。障害物の実属性データを取得し、該属性データは、シミュレーション障害物の識別子ＩＤ、障害物のタイプ、障害物の向き等の属性を含む。障害物の絶対座標と属性データを障害物の実標記データとし、障害物に標記を行い。障害物の実標記データに基づき複数のニューラルネットワークモデルを設計して訓練する。複数のニューラルネットワークモデルは、機能が同じであるが、ネットワーク構造及びパラメータが異なる。一般的に使用されるネットワーク構造は、ＶＧＧｎｅｔ（ビジュアルジオメトリグループ、ＶｉｓｕａｌＧｅｏｍｅｔｒｙＧｒｏｕｐ）ＲｅｓＮｅｔ（深層残差ネットワーク、Ｄｅｅｐｒｅｓｉｄｕａｌｎｅｔｗｏｒｋ、ＧｏｏｇｌｅＮｅ）等を含み、パラメータがネットワーク構造に対応付けられている。

各フレームの点群において、すべての障害物が標記されるのではないが、標記されていない障害物が絶対座標を有する。

ステップＳ３００では、前記点群における標記されない障害物のデータを抽出し、各ニューラルネットワークモデルに入力し、属性データを有する複数のシミュレーション障害物を含む複数のシミュレーション障害物の予測結果を出力する。

具体的には、標記されない障害物のデータを複数のニューラルネットワークモデルに入力し、シミュレーション障害物を予測し、シミュレーション障害物の属性データを得る。なお、異なるニューラルネットワークモデルによって予測される予測結果は異なる。すなわち、異なる予測結果に含まれるシミュレーション障害物の個数、タイプ等は、異なってもよい。

ステップＳ４００では、各シミュレーション障害物の予測結果に基づき少なくとも一つのシミュレーション障害物を選択する。

ステップＳ５００では、選択されたシミュレーション障害物の属性データを各ニューラルネットワークモデルに入力し、シミュレーション障害物の位置座標を得て、シミュレーション障害物の位置分布を得る。

該実施形態によれば、シミュレーション障害物の位置の多様性を向上させ、障害物の位置分布及び各障害物の個数分布のシミュレーション結果が実際状況により近づく。

一実施形態では、複数のシミュレーション障害物の予測結果を出力した後、
シミュレーション障害物の予測結果に対応する信頼度を出力するステップと、
信頼度が閾値より大きいか否かを判断し、ＹＥＳであると、シミュレーション障害物の予測結果を保留するステップと、をさらに含む。

ニューラルネットワークモデルの予測によって、シミュレーション障害物の予測結果を出力するだけでなく、対応する信頼度を出力し、信頼度は、この予測結果がどの程度信頼できるかを示す。シミュレーション障害物の予測結果に対して、信頼度判断を行い、信頼度が閾値より大きいシミュレーション障害物の予測結果を保留し、信頼度が閾値未満のシミュレーション障害物の予測結果を放棄する。

一実施形態では、各シミュレーション障害物の属性データに基づき少なくとも一つのシミュレーション障害物を選択することは、各シミュレーション障害物の予測結果には同じシミュレーション障害物が含まれるか否かを判断し、ＹＥＳであると、該シミュレーション障害物を選択するステップを含む。

一例では、ニューラルネットワークモデルは、第一モデル、第二モデル及び第三モデルを含む。標記されない障害物のデータを第一モデル、第二モデル及び第三モデルにそれぞれ入力し、Ａ属性データ、Ｂ属性データ及びＣ属性データを得る。Ａ属性データ、Ｂ属性データ及びＣ属性データがいずれも同じ障害物Ｘを指し示す場合、この障害物Ｘをシミュレーション障害物として選択する。又は、個数閾値以上の結果が同じ障害物を指し示す場合、この障害物をシミュレーション障害物として選択する。例えば、Ａ属性データ及びＢ属性データがいずれも別の障害物Ｙを指し示す場合、個数閾値が２であると、この障害物Ｙをシミュレーション障害物として選択する。

一実施形態では、各ニューラルネットワークモデルに基づきシミュレーション障害物の位置座標を取得することは、
選択された前記シミュレーション障害物の属性データを各前記ニューラルネットワークモデルに入力し、前記シミュレーション障害物の位置座標を得るステップを含み、当該ステップは、
選択されたシミュレーション障害物の属性データを各ニューラルネットワークモデルに入力し、複数の前記シミュレーション障害物の境界ボックスを得るステップと、
各シミュレーション障害物の境界ボックスに基づき対応する長さと幅とをそれぞれ取得するステップと、
各前記長さと前記幅に基づき前記境界ボックスの長さ平均値と幅平均値を算出するステップと、
前記長さ平均値と前記幅平均値に基づき平均値境界ボックスの中心座標を得て、前記中心座標を前記シミュレーション障害物の位置座標とするステップと、をさらに含む。

図３に示すように、「走行停止」というシミュレーション障害物を例に説明する。「走行停止」というシミュレーション障害物に対して、２つのニューラルネットワークモデルによって第一境界ボックスと第二境界ボックスを得る。第一境界ボックスと第二境界ボックスを用いてこのシミュレーション障害物の位置座標を算出する。

実施例２
別の具体的な実施形態では、図３に示すように、マルチモデルに基づく障害物分布シミュレーション装置を提供し、該装置は、
複数のフレームの点群を取得し、各フレームの点群には、複数の障害物が含まれる点群取得モジュール１０と、
障害物の実標記データを取得し、障害物の実標記データに基づき複数のニューラルネットワークモデルを訓練するモデル訓練モジュール２０と、
点群における標記されない障害物のデータを抽出し、各ニューラルネットワークモデルにそれぞれ入力し、属性データを有する複数のシミュレーション障害物を含む複数のシミュレーション障害物の予測結果を出力するシミュレーション障害物予測モジュール３０と、
各シミュレーション障害物の予測結果に基づき少なくとも一つのシミュレーション障害物を選択するシミュレーション障害物選択モジュール４０と、
選択されたシミュレーション障害物の属性データを各ニューラルネットワークモデルに入力し、シミュレーション障害物の位置座標を得て、シミュレーション障害物の位置分布を得るシミュレーション障害物位置分布モジュール５０と、を備える。

一実施形態では、前記装置は、
シミュレーション障害物の予測結果に対応する信頼度を出力し、信頼度が閾値より大きいか否かを判断し、ＹＥＳであると、シミュレーション障害物の予測結果を保留する信頼度判断モジュールをさらに備える。

一実施形態では、図４に示すように、シミュレーション障害物位置分布モジュール５０は、
選択されたシミュレーション障害物の属性データを各ニューラルネットワークモデルにそれぞれ入力し、複数のシミュレーション障害物の境界ボックスを得る境界ボックス算出ユニット５１と、
各シミュレーション障害物の境界ボックスに基づき対応する長さと幅とをそれぞれ取得する長さ幅算出ユニット５２と、
各長さと幅に基づき境界ボックスの長さ平均値と幅平均値を算出する長さ幅平均値算出ユニット５３と、
長さ平均値と幅平均値に基づき境界ボックスの中心座標を得て、中心座標をシミュレーション障害物の位置座標とする位置座標算出ユニット５４と、を備える。

実施例３
本発明の実施例は、マルチモデルに基づく障害物分布シミュレーション端末を提供し、図５に示すように、該端末は、メモリ４００、プロセッサ５００、及び通信インターフェース６００を備え、
メモリ４００には、プロセッサ５００上で実行可能なコンピュータプログラムが記憶され、プロセッサ５００は、前記コンピュータプログラムを実行すると、上記実施例に係るマルチモデルに基づく障害物分布シミュレーション方法を実現し、メモリ４００とプロセッサ５００との数は、１つ又は複数であってもよい、通信インターフェース６００は、メモリ４００とプロセッサ５００とが外部と通信するために用いられる。

メモリ４００は、高速ＲＡＭメモリを含む可能性もあるし、不揮発性メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅｍｅｍｏｒｙ）、例えば、少なくとも１つの磁気ディスクメモリをさらに含む可能性もある。

メモリ４００、プロセッサ５００及び通信インターフェース６００が独立して実現する場合、メモリ４００、プロセッサ５００及び通信インターフェース６００はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、ＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、ＥｘｔｅｎｄｅｄＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図５では、１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。

選択的に、具体的に実現する時、メモリ４００、プロセッサ５００及び通信インターフェース６００が１枚のチップに統合される場合、メモリ４００、プロセッサ５００及び通信インターフェース６００は、内部インターフェースによって、相互間の通信を実現することができる。

実施例４
本発明の実施例は、コンピュータプログラムが記憶されるコンピュータ可読記憶媒体を提供し、該プログラムがプロセッサにより実行されると、上記実施例１のいずれかに記載のマルチモデルに基づく障害物分布シミュレーション方法を実現する。

本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。

また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。

当業者であれば、フローチャートにおける、又はここでほかの方式で説明されるいかなる過程又は方法についての説明は、確定の論理機能又は過程を実現するための１つ又は複数のステップの実行可能命令のコードを含むモジュール、セグメント又は部分を示すと理解されてもよく、且つ本発明の好適な実施形態の範囲はほかの実現を含み、指示又は検討される順序通りでなくてもよく、関わる機能に基づいて、ほぼ同時に、又は逆順序で機能を実行してもよいと理解すべきである。

フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。

本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。

当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。

また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

Claims

マルチモデルに基づく障害物分布シミュレーション方法であって、
複数のフレームの点群を取得し、各フレームの点群には、複数の障害物が含まれるステップと、
前記障害物の実標記データを取得し、前記障害物の前記実標記データに基づき複数のニューラルネットワークモデルを訓練するステップと、
前記点群における標記されない障害物のデータを抽出し、前記ニューラルネットワークモデルに入力し、属性データを有する複数のシミュレーション障害物を含む複数のシミュレーション障害物の予測結果を出力するステップと、
前記シミュレーション障害物の予測結果に基づき少なくとも１つの前記シミュレーション障害物を選択するステップと、
選択された前記シミュレーション障害物の属性データを前記ニューラルネットワークモデルに入力し、前記シミュレーション障害物の位置座標を得て、前記シミュレーション障害物の位置分布を得るステップと、を含むことを特徴とするマルチモデルに基づく障害物分布シミュレーション方法。
複数のシミュレーション障害物の予測結果を出力した後、
前記シミュレーション障害物の予測結果に対応する信頼度を出力するステップと、
前記信頼度が閾値より大きいか否かを判断し、ＹＥＳであると、前記シミュレーション障害物の予測結果を保留するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
前記シミュレーション障害物の予測結果に基づき少なくとも一つのシミュレーション障害物を選択することは、
前記シミュレーション障害物の予測結果において、同じシミュレーション障害物が含まれるか否かを判断し、ＹＥＳであると、該シミュレーション障害物を選択するステップを含むことを特徴とする請求項１に記載の方法。
選択された前記シミュレーション障害物の属性データを前記ニューラルネットワークモデルに入力し、前記シミュレーション障害物の位置座標を得ることは、
選択された前記シミュレーション障害物の属性データを前記ニューラルネットワークモデルに入力し、複数の前記シミュレーション障害物の境界ボックスを得るステップと、
前記シミュレーション障害物の境界ボックスに基づき対応する長さと幅を取得するステップと、
前記長さと前記幅に基づき前記境界ボックスの長さ平均値と幅平均値を算出するステップと、
前記長さ平均値と前記幅平均値に基づき前記境界ボックスの中心座標を得て、前記中心座標を前記シミュレーション障害物の位置座標とするステップと、を含むことを特徴とする請求項１に記載の方法。
マルチモデルに基づく障害物分布シミュレーション装置であって、
複数のフレームの点群を取得し、各フレームの点群には、複数の障害物が含まれる点群取得モジュールと、
前記障害物の実標記データを取得し、前記障害物の前記実標記データに基づき複数のニューラルネットワークモデルを訓練するモデル訓練モジュールと、
前記点群における標記されない障害物のデータを抽出し、前記ニューラルネットワークモデルに入力し、属性データを有する複数のシミュレーション障害物を含む複数のシミュレーション障害物の予測結果を出力するシミュレーション障害物予測モジュールと、
前記シミュレーション障害物の予測結果に基づき少なくとも一つの前記シミュレーション障害物を選択するシミュレーション障害物選択モジュールと、
選択された前記シミュレーション障害物の属性データを前記ニューラルネットワークモデルに入力し、前記シミュレーション障害物の位置座標を得て、前記シミュレーション障害物の位置分布を得るシミュレーション障害物位置分布モジュールと、を備えることを特徴とするマルチモデルに基づく障害物分布シミュレーション装置。
前記シミュレーション障害物の予測結果に対応する信頼度を出力し、前記信頼度が閾値より大きいか否かを判断し、ＹＥＳであると、前記シミュレーション障害物の予測結果を保留する信頼度判断モジュールをさらに備えることを特徴とする請求項５に記載の装置。
前記シミュレーション障害物位置分布モジュールは、
選択された前記シミュレーション障害物の属性データを前記ニューラルネットワークモデルに入力し、複数の前記シミュレーション障害物の境界ボックスを得る境界ボックス算出ユニットと、
前記シミュレーション障害物の境界ボックスに基づき対応する長さと幅とを得る長さ幅算出ユニットと、
前記長さと前記幅に基づき前記境界ボックスの長さ平均値と幅平均値を算出する長さ幅平均値算出ユニットと、
前記長さ平均値と前記幅平均値に基づき平均値境界ボックスの中心座標を得て、前記中心座標を前記シミュレーション障害物の位置座標とする位置座標算出ユニットと、を備えることを特徴とする請求項５に記載の装置。
マルチモデルに基づく障害物分布シミュレーション端末であって、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するメモリと、を備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサが請求項１乃至４のいずれか一項に記載の方法を実現することを特徴とするマルチモデルに基づく障害物分布シミュレーション端末。
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、前記プログラムがプロセッサにより実行されると、請求項１乃至４のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。