JP2022073894A - 運転シーンの分類方法、装置、機器及び読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】運転データに運転シーン分類を自動的に行う運転シーンの分類方法、装置、機器及び読み取り可能な記憶媒体を提供する。【解決手段】本願の実施例は運転シーンの分類方法、装置、機器及び読み取り可能な記憶媒体を開示する。上記分類方法は、車両運転中の連続的な複数のサンプリング点の運転データを取得すること、各サンプリング点の運転データの運転特徴を抽出し、複数のサンプリング点の運転特徴を得ること、設定時間に応じて、複数のサンプリング点の運転特徴をスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウを得ること、前記運転特徴の数、前記設定時間、及び前記タイムウィンドウの数を３次元データの次元とし、前記複数のサンプリング点の運転特徴をテンソルとして構築すること、前記テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得ることを含む。【選択図】図１a

Description

本願の実施例はインテリジェントコネクティビティー技術に関し、特に運転シーンの分類方法、装置、機器及び読み取り可能な記憶媒体に関する。

インテリジェントコネクテッドカーとは、車のインターネットとインテリジェントカーの有機的な連携で、先進的な車載センサ、コントローラ、アクチュエータ等の装置を搭載し、現代の通信とネットワーク技術を融合した次世代自動車である。

運転シーンデータはインテリジェントコネクテッドカーの開発を支えるうえで重要な役割を果たし、開発ニーズに基づく様々な運転シーンデータを生成し、データ価値を実現するために、インテリジェントコネクテッドカーが採集したデータが属する運転シーンを特定する必要がある。現在、一般的には人工ラベル付け方式が採用されているが、採集されるデータ量が膨大であり、人工ラベル付け方法は非効率的で、再利用性が低く、膨大な人件費と時間コストがかかる。

本願の実施例は運転シーンの分類方法、装置、機器及び読み取り可能な記憶媒体を提供することにより、運転データに運転シーン分類を自動的に行う。

第１の態様において、本願の実施例は運転シーンの分類方法を提供し、
車両運転中の連続的な複数のサンプリング点の運転データを取得することと、
各サンプリング点の運転データの運転特徴を抽出し、複数のサンプリング点の運転特徴を得ることと、
設定時間に応じて、複数のサンプリング点の運転特徴のスライディングウィンドウ処理（Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ Ｐｒｏｃｅｓｓｉｎｇ）を行い、それぞれ複数のタイムウィンドウを得ることと、
前記運転特徴の数、前記設定時間、及び前記タイムウィンドウの数を３次元データの次元とし、前記複数のサンプリング点の運転特徴をテンソルとして構築することと、
前記テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得ることを含む。

第２の態様において、本願の実施例は運転シーンの分類装置をさらに提供し、
車両運転中の連続的なの複数のサンプリング点の運転データを取得するための取得モジュールと、
各サンプリング点の運転データの運転特徴を抽出し、複数のサンプリング点の運転特徴を得るための抽出モジュールと、
設定時間に応じて、複数のサンプリング点の運転特徴をスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウを得るための処理モジュールと、
前記運転特徴の数、前記設定時間、及び前記タイムウィンドウの数を３次元データの次元とし、前記複数のサンプリング点の運転特徴をテンソルとして構築するための構築モジュールと、
前記テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得るための入力モジュールとを含む。

第３の態様において、本願の実施例は電子機器を提供し、前記電子機器は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するためのメモリとを含み、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行される場合に、前記１つ又は複数のプロセッサにいずれかの実施例に記載の運転シーンの分類方法を実現させる。

第４の態様において、本願の実施例はコンピュータ読み取り可能な記憶媒体をさらに提供し、それにはコンピュータプログラムが記憶され、当該プログラムがプロセッサに実行される時に、いずれかの実施例に記載の運転シーンの分類方法を実現する。

本実施例に係る方法は、運転シーン分類モデルで各サンプリング点の運転データ分類を実現し、人工ラベル付けが非効率的で、コストが高く、柔軟性が悪いという欠点を効果的に解決し、データラベル付けの効率を大幅に向上させるとともに、データ応用の柔軟性を向上させる。分類の正確性を高めるために、運転データの運転特徴を抽出し、分類効率を高めるために、テンソル形式で運転特徴を組織することができ、また、複数のサンプリング点の運転特徴をスライディングウィンドウ処理することにより、複数のタイムウィンドウが得られ、各サンプリング点の運転特徴を複数回分類処理を得させ、各サンプリング点の分類の正確性をさらに向上させる。

本願の実施例に係る第１種の運転シーンの分類方法のフローチャートである。 本願の実施例に係る自車と周辺車両の位置模式図である。 本願の実施例に係る４種類の車線変更種別の模式図である。 本願の実施例に係るスライディングウィンドウの模式図である。 本願の実施例に係る運転特徴のテンソルの模式図である。 本願の実施例に係る第２種の運転シーンの分類方法のフローチャートである。 本願の実施例に係る運転シーンの時系列に対してウィンドウ補正を行う模式図である。 本願の実施例に係る運転シーンの分類装置の構造模式図である。 本願の実施例に係る電子機器の構造模式図である。

以下、図面と実施例を参照しながら本願を詳細に説明する。ここで説明される具体的な実施例は、本願を解釈するためのものに過ぎず、本願を限定するものではないことを理解すべきである。なお、説明の便宜上、図面においては、本願に関連する部分のみを示しており、全ての構造を示すものではない。

本願の実施例は第１の運転シーンの分類方法を提供し、そのフローチャートは図１ａに示すように、実際に採集された運転データを分類する場合に適用できる。当該方法は運転シーンの分類装置によって実行されてもよく、当該装置はソフトウェア及び／又はハードウェアで構成されてもよく、かつ一般的に電子機器に集積される。

図１ａに示すように、本実施例に係る方法は具体的に以下のステップを含む。

Ｓ１１０、車両運転中の連続的な複数のサンプリング点の運転データを取得する。

本実施例において、車両には採集プラットフォームが搭載され、採集プラットフォームには例えばカメラ、レーダー、慣性計測装置などの様々なセンサが設けられる。車両運転中に、多種のセンサが採集した生運転データを採集プラットフォームで取得する。

センサがそれぞれのサンプリング周波数に応じて採集することで、生運転データの異なる周波数を引き起こす可能性がある。好ましくは、設定サンプリング精度、例えば０．１秒（ｓ）に応じて、全ての生運転データを再サンプリングし、同じ周波数の複数のサンプリング点の運転データを得る。さらに運転データに対してスクリーニング及びクリーニングを行うことができる。

好ましくは、各サンプリング点の運転データは、自車運転データと、周辺車両運転データと、区画線データと、交通環境データとを含む。例えば、サンプリング時間は３０ｓであり、０．１ｓで再サンプリングを行い、３００個の連続的なサンプリング点を取得し、各サンプリング点は自車運転データと、周辺車両運転データと、区画線データと、交通環境データとを含む。ここで、自車運転データは自車運転速度と、自車運転方向と、自車位置とを含むが、これらに限定されるものではない。周辺車両は図１ｂに示すように、運転番号１～８の車両を含む。周辺車両運転データは、周辺の各車両の運転速度と、運転方向と、位置とを含む。区画線データは自車の両側区画線からの距離と、車道中心からずれる距離とを含むが、これに限定されるものではない。交通環境データは、道路種別と、速度制限と、交通信号機と、渋滞度と、天気とを含む。

運転データは、車両の運転シーンを反映可能なデータである。好ましくは、運転シーンは車線変更及び直進の二種類を含む。車線変更はさらに周囲の車両の分布状況に応じて異なる種類に細分化される。図１ｂの番号１～８である周囲の車両と自車で構成された３ｘ３行列を参照し、自車の車線変更行為に大きく影響を与える先行車両（番号１の位置）と両側車道の先行車両（自車の左への車線変更に対応する番号６、自車の右への車線変更に対応する番号３の位置）を選び取り、車線変更の初期時刻番号１、６、３の車両の存在状況に準じ、図１ｃに示すように、車線変更種別を４種類に細分化する。直進の運転シーンに対して、運転者の視界前方の車両が自車の走行に影響を与えるかどうかによって、自由運転シーン（先行車両なし）、先行車両切出シーン、臨時車両切込シーン及び追従シーンに細分化できる。上述の車線変更と直進のシーンに対する細分類は、全面的に運転中の全ての運転行動分析に意味のある典型的なシーン種別をカバーすることができる。

Ｓ１２０、各サンプリング点の運転データの運転特徴を抽出し、複数のサンプリング点の運転特徴を得る。

本実施例は運転データを再処理し、運転シーンを直接的に体現することができ、かつ運転シーン分類モデルに直接入力することができる運転特徴を得る。具体的には、各サンプリング点の運転データにそれぞれ再処理を行い、複数のサンプリング点の運転特徴を得る。これは、運転シーンの分類の正確性を高めることに有利である。

好ましくは、各サンプリング点における自車位置と周辺車両位置によって、各サンプリング点における周辺車両と自車との横方向の距離及び縦方向の距離を算出し、各サンプリング点における周辺車両の運転速度から横方向の速度及び縦方向の速度を分離し、各サンプリング点の運転特徴として、各サンプリング点における周辺車両と自車との横方向の距離及び縦方向の距離、周辺車両の横方向の速度及び縦方向の速度、周辺車両の運転方向、区画線データ、及び交通環境データを横方向に配列する。

区画線データと交通環境データは運転シーンへの影響が相対的に小さいので、運転特徴に含める必要はなく、運転特徴は周囲車両と自車の横方向の距離及び縦方向の距離、周囲車両の横方向の速度及び縦方向の速度、及び運転方向の５つの要因のみを含む。具体的には、前のｎ列データは番号１の車両と自車との横方向の距離及び縦方向の距離、横方向の速度及び縦方向の速度、及び運転方向であり、第ｎ＋１～２ｎ列データは番号２の車両と自車との横方向の距離及び縦方向の距離、横方向の速度及び縦方向の速度、及び運転方向であり、以後もこのように類推する。ある位置に周囲車両が存在しなければ、０をセットし、これによりデータ次元の整列性を保証する。図１ｂに示すように、周辺車両は一般的に８個存在し、データ次元を４０列と設定する。

Ｓ１３０、設定時間に応じて、複数のサンプリング点の運転特徴をスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウを得る。

分類効率を高めるために、複数のサンプリング点の運転特徴を設定時間に応じて分割することができ、設定時間は自主的に設定することができ、例えば３ｓである。運転シーンの交替が途切れのない連続的な動作であることを考慮し、各サンプリング点ごの運転シーンをより良く分類するために、設定時間のスライディングウィンドウで分割処理を行う方式で、各タイムウィンドウ内の各サンプリング点を最小単位として運転シーン分類を行う。

図１ｄは本願の実施例に係るスライディングウィンドウの模式図であり、３ｓをスライディングウィンドウの長さと仮定すると、サンプリング精度が０．１ｓである場合、各ウィンドウに含まれる３０行のデータを全体として分類する。スライディングウィンドウの方法を採用し、つまり各サンプリング点の運転特徴は３０回のウィンドウの計算に参与し、３０回の運転シーン分類結果を得る。

Ｓ１４０、運転特徴の数、設定時間、及びタイムウィンドウの数を３次元データの次元とし、複数のサンプリング点の運転特徴をテンソルとして構築する。

Ｓ１５０、テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得る。

図１ｅは運転特徴のテンソルの模式図であり、Ｘ軸は運転特徴の数であり、例えば４０個の運転特徴は４０列のデータを構成する。Ｚ軸は設定時間であり、すなわちタイムウィンドウの長さで、例えば３ｓである。Ｙ軸はタイムウィンドウの数であり、つまり同時に処理されるバッチデータであり、モデルは複数のタイムウィンドウをバッチで同時に処理することができ、例えば各バッチ１００個のタイムウィンドウを処理できる。テンソルの全体を運転シーン分類モデルに入力し、運転シーン分類モデルが出力する各サンプリング点の運転特徴（又は運転データ）が属する運転シーンを得る。

好ましくは、運転シーン分類モデルは、ディープニューラルネットワークモデル（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ）であり、入力されたテンソルのうち各タイムウィンドウ内の各サンプリング点の運転特徴に運転シーン分類を行うために用いられる。具体的には、運転シーン分類モデルは、まず各タイムウィンドウに運転シーン分類を行い、スライディングウィンドウの処理方法を採用することで、各サンプリング点の運転特徴が属する複数の運転シーンの分類結果を得ることができる。そして、複数の運転シーン分類結果を融合し、各サンプリング点の運転データが属する運転シーンを得る。

本実施例に係る方法は、運転シーン分類モデルで各サンプリング点の運転データ分類を実現し、人工ラベル付けの非効率的で、コストが高く、柔軟性が悪いという欠点を効果的に解決し、データラベル付けの効率を大幅に向上させるとともに、データ応用の柔軟性を向上させる。分類の正確性を高めるために、運転データの運転特徴を抽出し、分類効率を高めるために、テンソル形式で運転特徴を組織することができ、また、複数のサンプリング点の運転特徴をスライディングウィンドウ処理することにより、複数のタイムウィンドウが得られ、各サンプリング点の運転特徴に複数回分類処理を得させ、各サンプリング点の分類の正確性をさらに向上させる。

上述の実施例と後述の実施例において、運転シーン分類モデルを細分化する。具体的には、運転シーン分類モデルは、シングルタイムウィンドウ分類ネットワークと融合ネットワークを含む。

シングルタイムウィンドウ分類ネットワークは、テンソルにおけるシングルタイムウィンドウに運転シーン分類を行うために用いられ、各タイムウィンドウが属する運転シーンを得、すなわち各タイムウィンドウを１つの全体として運転シーン分類を行う。好ましくは、シングルタイムウィンドウ分類ネットワークはＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ，長・短期記憶ネットワーク）である。

各タイムウィンドウが属する運転シーンを融合ネットワークに入力する。融合ネットワークは、各サンプリング点の運転特徴が属する複数の目標タイムウィンドウを統計し、かつ各タイムウィンドウが属する運転特徴を結合し、各サンプリング点の運転特徴が属する複数の運転シーンを得るために用いられる。各サンプリング点の運転特徴が属する複数の運転シーンを融合し、各サンプリング点の運転データが属する運転シーンを得る。

具体的には、タイムウィンドウが属する運転シーンを、その中の各サンプリング点の運転データが属する運転シーンとする。例えば、タイムウィンドウが先行車両切出シーンであれば、タイムウィンドウ内の各サンプリング点の運転特徴が属する運転シーンも先行車両切出シーンである。各サンプリング点の運転特徴は複数のタイムウィンドウに属するので、記述と区別の便宜上、各サンプリング点の運転特徴が属するタイムウィンドウを目標タイムウィンドウと呼ぶ。そうすると、各サンプリング点の運転特徴は複数の運転シーンに属する。複数の運転シーンは同じである可能性があり、異なる可能性もある。好ましくは、複数の運転シーンに対して最頻値を取り、各サンプリング点の運転データが属する最終で唯一の運転シーンを得る。もちろん、最頻値を取るほか、いずれかの運転シーンを選択したり、複数の運転シーンを纏めて要約したりすることもでき、例えば、左折と右折を左右折に要約する。

本願の実施例は運転シーン分類モデルの構造を提供し、シングルタイムウィンドウ分類により各サンプリング点に対応する運転シーンの融合を結合し、各サンプリング点はいずれも異なるタイムウィンドウで運転特徴の分類を行うことができ、マルチ時間スケールの分類を実現し、複数の運転特徴の融合操作によって、複数のタイムウィンドウ分類結果からより正確な分類結果を融合する。本実施例は、シングルタイムウィンドウ分類と比べて、分類の次元をタイムウィンドウから各サンプリング点に細分化し、かつ融合ネットワークを補完することで、複数のタイムウィンドウ分類結果を統合し、各サンプリング点分類の正確性をさらに向上させる。

図２ａは本願の実施例に係る第２種の運転シーンの分類方法のフローチャートであり、上述の実施例及び下述の実施例を基に、モデルトレーニングの過程を追加する。図２ａに示すように、具体的には、以下のような操作を含む。

Ｓ２１０、車両運転中の連続的な複数のサンプリング点の運転データサンプル及び各サンプリング点の運転データサンプルが属する運転シーンラベル付けを取得する。

運転シーンラベル付けは、人工的又は半人工と人工を結び付ける方式で行うことができる。ラベル付けした運転データサンプルは、モデルトレーニングに直接参加するために、下述の処理を行う必要がある。

好ましくは、設定サンプリング精度に応じて、全ての採集した生運転データサンプルを再サンプリングし、同じ周波数の複数のサンプリング点の運転データサンプルを得る。さらに運転データサンプルにスクリーニング及びクリーニングを行う。その後、運転データサンプルにラベル付けを行う。

Ｓ２２０、各サンプリング点の運転データサンプルの運転特徴を抽出し、複数のサンプリング点の運転特徴サンプルを得る。

複数のサンプリング点の運転特徴サンプルをトレーニングセットとテストセットの２つの部分に区画する。トレーニングセットを採用して運転シーン分類モデルに予備トレーニングを行い、テストセットを採用して予備トレーニングが行われた運転シーン分類モデルをテストし、かつパラメータの微調整を行う。

Ｓ２３０、設定時間に応じて、複数のサンプリング点の運転特徴サンプルにスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウサンプルを得る。

Ｓ２４０、運転特徴サンプルの数、設定時間、及びタイムウィンドウサンプルの数を３次元データの次元とし、複数のサンプリング点の運転特徴サンプルをテンソルサンプルとして構築する。

Ｓ２２０～Ｓ２４０について、上述の実施例におけるＳ１２０～Ｓ１４０を参照する。記述と区別の便宜上、Ｓ２２０～Ｓ２４０はＳ１２０～Ｓ１４０において同様の意味を持つ言葉の後に「サンプル」という接尾辞を付ける。

Ｓ２５０、テンソルサンプルと各サンプリング点の運転データサンプルが属する運転シーンラベル付けによって、運転シーン分類モデルに予備トレーニングを行う。

好ましくは、テンソルサンプルを運転シーン分類モデルに入力し、モデルパラメータを最適化することにより、運転シーン分類モデルの出力を運転シーンラベル付けに接近させる。運転シーン分類モデルはシングルタイムウィンドウ分類ネットワーク及び融合ネットワークを含む場合、融合ネットワークにおけるパラメータを固定し、シングルタイムウィンドウ分類ネットワークにおけるパラメータを最適化することができる。テンソル形式で運転シーン分類モデルをトレーニングすることにより、トレーニング効率を向上させることができる。

具体的な実施形態において、シングルタイムウィンドウ分類ネットワークがＬＳＴＭを採用する場合、テンソル次元、隠れ層の特徴の数、層数、双方向伝送の選択等のモデルパラメータを設定する必要がある。トレーニングされたモデルを用いてラベルなしのテストセットをテストし、ラベル付けされたラベルと比較してモデルのテスト精度を得る。特徴パラメータの選択、タイムウィンドウの長さ、モデルパラメータの設定を調整するなどの方法により、モデルを最適化させ、テスト精度を高め、目標認識精度を達成する。トレーニングセットとテストセットの選択を調整し、モデルのロバスト性をテストし、モデルのロバスト性が許容可能な範囲内にあることを確認する。

Ｓ２６０、予備トレーニングが行われた運転シーン分類モデルから出力された、各サンプリング点の運転データが属する運転シーンを時間ソートし、運転シーンの時系列を得る。

本実施例は運転シーン分類モデルに２ステップのトレーニングを行い、まずテンソルサンプル及びラベル付けを用いて予備トレーニングを行う。このようなトレーニング方式はラベル付けの正確性に依存し、ラベル付けの正確性が低いと、モデルのトレーニングの精度に影響を与える。これに基づいて、本実施例は予備トレーニングが行われたモデルを再トレーニングすることにより、モデルの精度をさらに向上させる。

Ｓ２７０、運転シーンの時系列から少なくとも１つの補正ウィンドウを切り出し、各補正ウィンドウは連続的な複数の運転シーンを含み、かつ首尾運転シーンが一致する。

Ｓ２８０、予備トレーニングが行われた運転シーン分類モデルを再トレーニングすることにより、各補正ウィンドウ内の連続的な複数の運転シーンをいずれも一致させる。

予備トレーニングが行われたモデルの出力は運転シーンがジャンプする場合があるが、実際には運転シーンは短時間で変化しない。図２ｂは本願の実施例に係る運転シーンの時系列に対してウィンドウ補正を行う模式図である。図２ｂにおける左図において、０．２ｓ及び０．４ｓでの運転データは追従シーンに属し、０．３ｓでの運転データは車線変更シーンに属するため、運転シーンのジャンプが出現することが分かる。

上述の分析に基づいて、モデルパラメータを最適化し続け、それにより運転シーンの時系列を滑らかにさせ、モデルの精度をさらに向上させる。好ましくは、０．５ｓを補正ウィンドウとして選択し、５つの運転シーンを含む。この補正ウィンドウ内の首尾運転シーンが一致すれば、補正ウィンドウ内に首尾運転シーンと異なるジャンプ状況があるか否かをチェックし、ジャンプ状況があれば、モデルパラメータを最適化し、それを首尾運転シーンと同じ運転シーンに変更し、図２ｂに示すように、モデルパラメータを最適化することにより、ウィンドウ補正を実現し、それにより０．３ｓでの車線変更シーンを追従シーンに変更する。

Ｓ２９０、車両運転中の連続的な複数のサンプリング点の運転データを取得する。

Ｓ３００、各サンプリング点の運転データの運転特徴を抽出し、複数のサンプリング点の運転特徴を得る。

Ｓ３１０、設定時間に応じて、複数のサンプリング点の運転特徴をスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウを得る。

Ｓ３２０、運転特徴の数、設定時間、及びタイムウィンドウの数を３次元データの次元とし、複数のサンプリング点の運転特徴をテンソルとして構築する。

Ｓ３３０、テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得る。

説明すべきは、モデルトレーニング過程Ｓ２１０～Ｓ２８０はＳ３３０の前に実行すべきであり、具体的には、Ｓ２１０～Ｓ２８０はＳ２９０～Ｓ３２０のいずれかのステップの間に実行されてもよい。

好ましくは、予備トレーニングが行われた運転シーン分類モデルを再トレーニングすることにより、各補正ウィンドウ内の連続的な複数の運転シーンをいずれも一致させた後、運転シーン分類モデルの精度が設定閾値に達するまで、設定時間を調整し、かつタイムウィンドウサンプルの取得操作に戻ることをさらに含む。設定閾値は例えば９５％である。

本実施例は、設定時間を調整し、タイムウィンドウサンプルのサイズを変更し、かつモデルのトレーニングを行うことにより、モデルの精度を向上させることに役立つ最適な設定時間を見つける。

上記実施例において、テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得た後、各サンプリング点の運転データが属する運転シーンによって、同じ運転シーンに属する運転データを統計することと、同じ運転シーンに属する運転データによって、シミュレーションシーンを生成することと、シミュレーションシーンのテストケースを用いて自動運転機能を開発して検証することとをさらに含む。

運転シーン分類モデルを介して、大量のサンプリング点の運転データを異なる運転シーンに分類することができ、同じ運転シーンの運転データを統計することができる。同じ運転シーンに属する運転データによって、当該運転シーンでのロジックパラメータ空間を得、さらに実際の運転データに基づくシミュレーションシーンのテストケースを生成し、自動運転機能の開発及び検証を行うために用いられる。

図３は本願の実施例に係る運転シーンの分類装置の構造模式図であり、本願の実施例は実際に採集された運転データを分類する場合に適用できる。図３に示すように、運転シーンの分類装置は、取得モジュール３１０、抽出モジュール３２０、処理モジュール３３０、構築モジュール３４０及び入力モジュール３５０を含む。

取得モジュール３１０は、車両運転中の連続的な複数のサンプリング点の運転データを取得するために用いられる。
抽出モジュール３２０は、各サンプリング点の運転データの運転特徴を抽出し、複数のサンプリング点の運転特徴を得るために用いられる。
処理モジュール３３０は、設定時間に応じて、複数のサンプリング点の運転特徴をスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウを得るために用いられる。
構築モジュール３４０は、運転特徴の数、設定時間、及びタイムウィンドウの数を３次元データの次元とし、複数のサンプリング点の運転特徴をテンソルとして構築するために用いられる。
入力モジュール３５０は、テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得るために用いられる。

本実施例は、運転シーン分類モデルにより各サンプリング点の運転データ分類を実現し、人工ラベル付けが非効率的で、コストが高く、柔軟性が悪いという欠点を効果的に解決し、データラベル付けの効率を大幅に向上させるとともに、データ応用の柔軟性を向上させる。分類の正確性を高めるために、運転データの運転特徴を抽出し、分類効率を高めるために、テンソル形式で運転特徴を組織することができ、また、複数のサンプリング点の運転特徴をスライディングウィンドウ処理することにより、複数のタイムウィンドウが得られ、各サンプリング点の運転特徴に複数回分類処理を得させ、各サンプリング点の分類の正確性をさらに向上させる。

好ましくは、各サンプリング点の運転データは自車運転データ、周辺車両運転データ、区画線データ及び交通環境データを含み、抽出モジュール３２０は、具体的には、各サンプリング点における自車位置と周辺車両位置によって、各サンプリング点における周辺車両と自車との横方向の距離及び縦方向の距離を算出し、各サンプリング点における周辺車両の運転速度から横方向の速度及び縦方向の速度を分離し、各サンプリング点の運転特徴として、各サンプリング点における周辺車両と自車との横方向の距離及び縦方向の距離、周辺車両の横方向の速度及び縦方向の速度、周辺車両の運転方向、区画線データ、及び交通環境データを横方向に配列するために用いられる。

好ましくは、運転シーン分類モデルはシングルタイムウィンドウ分類ネットワーク及び融合ネットワークを含み、シングルタイムウィンドウ分類ネットワークはテンソルにおけるシングルタイムウィンドウに運転シーン分類を行い、各タイムウィンドウが属する運転シーンを取得するために用いられ、融合ネットワークは、各サンプリング点の運転特徴が属する複数の目標タイムウィンドウを統計し、かつ各タイムウィンドウが属する運転特徴を結合し、各サンプリング点の運転特徴が属する複数の運転シーンを得、各サンプリング点の運転特徴が属する複数の運転シーンを融合し、各サンプリング点の運転データが属する運転シーンを得るために用いられる。

好ましくは、シングルタイムウィンドウ分類ネットワークは長・短期記憶ネットワークＬＳＴＭである。

好ましくは、当該装置は、トレーニングモジュールをさらに含み、当該トレーニングモジュールは、テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得る前に、車両運転中の連続的な複数のサンプリング点の運転データサンプル、及び各サンプリング点の運転データサンプルが属する運転シーンラベル付けを取得し、各サンプリング点の運転データサンプルの運転特徴を抽出し、複数のサンプリング点の運転特徴サンプルを得、設定時間に応じて、複数のサンプリング点の運転特徴サンプルをスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウサンプルを得、運転特徴サンプルの数、設定時間及びタイムウィンドウサンプルの数を３次元データの次元として、複数のサンプリング点の運転特徴サンプルをテンソルサンプルとして構築し、テンソルサンプルと各サンプリング点の運転データサンプルが属する運転シーンラベル付けによって、運転シーン分類モデルに予備トレーニングを行い、予備トレーニングが行われた後の運転シーン分類モデルが出力した、各サンプリング点の運転データが属する運転シーンを時間ソートし、運転シーンの時系列を得、運転シーンの時系列から少なくとも１つの補正ウィンドウを切り出し、各補正ウィンドウは連続的な複数の運転シーンを含み、かつ首尾運転シーンが一致し、予備トレーニングが行われた運転シーン分類モデルを再トレーニングすることにより、各補正ウィンドウ内の連続的な複数の運転シーンをいずれも一致させるために用いられる。

好ましくは、当該装置は、調整モジュールをさらに含み、当該調整モジュールは、予備トレーニングが行われた運転シーン分類モデルを再トレーニングすることにより、各補正ウィンドウ内の連続的な複数の運転シーンをいずれも一致させた後、運転シーン分類モデルの精度が設定閾値に達するまで、設定時間を調整し、かつタイムウィンドウサンプルの取得操作に戻るために用いられる。

好ましくは、当該装置は、開発及び検証モジュールをさらに含み、当該開発及び検証モジュールは、テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得た後、各サンプリング点の運転データが属する運転シーンによって、同じ運転シーンに属する運転データを統計し、同じ運転シーンに属する運転データによって、シミュレーションシーンのテストケースを生成し、シミュレーションシーンのテストケースを用いて自動運転機能を開発して検証するために用いられる。

本願の実施例に係る運転シーンの分類装置は、本願の任意の実施例に係る運転シーンの分類方法を実行することができ、実行方法に応じた機能モジュールと有益な効果を備える。

図４は、本願の実施例に係る電子機器の構造模式図であり、図４に示すように、当該機器は、プロセッサ４０と、メモリ４１と、入力装置４２と、出力装置４３を含み、機器におけるプロセッサ４０の数は、１個又は複数個であり、図４ではプロセッサ４０が１個であることを例とし、機器におけるプロセッサ４０、メモリ４１、入力装置４２、及び出力装置４３は、バス又はその他の方式で接続することができ、図４ではバスで接続することを例として、示している。

メモリ４１は、コンピュータ読み取り可能な記憶媒体として、ソフトウェアプログラム、コンピュータ実行可能なプログラム、及びモジュール、例えば本願の実施例における運転シーンの分類方法に対応するプログラム命令／モジュール（例えば、運転シーンの分類装置における取得モジュール３１０、抽出モジュール３２０、処理モジュール３３０、構築モジュール３４０及び入力モジュール３５０）を記憶するために用いられる。プロセッサ４０は、メモリ４１に記憶されたソフトウェアプログラム、命令およびモジュールを実行することにより、機器の各種機能アプリケーション及びデータ処理を実行し、すなわち上述の運転シーンの分類方法を実現する。

メモリ４１は、主に、プログラム記憶領域とデータ記憶領域を含み、ここで、プログラム記憶領域はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、端末の使用に応じて作成されたデータなどを記憶することができる。さらに、メモリ４１は、高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリを含んでもよいし、例えば少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性固体記憶デバイスなどである。ある実施例において、メモリ４１はさらにプロセッサ４０に対して遠隔で設定されたメモリを含んでもよく、これらの遠隔メモリはネットワークを介して機器に接続される。上述のネットワークの実例はインターネット、企業内部ネットワーク、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを含むがそれらに限定されない。

入力装置４２は入力された数字又は文字情報を受信し、かつ機器のユーザー設定及び機能制御に関するキー信号入力を生成するために用いられることができる。出力装置４３は、ディスプレイ等の表示機器を含んでもよい。

本願の実施例はコンピュータ読み取り可能な記憶媒体をさらに提供し、それにはコンピュータプログラムが記憶され、当該プログラムがプロセッサに実行される時に、いずれかの実施例の運転シーンの分類方法を実現する。

本願の実施例のコンピュータ記憶媒体は、１つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを用いてもよい。コンピュータ読み取り可能な媒体はコンピュータ読み取り可能な信号媒体又はコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いはこれらのいずれかの組み合わせとしてもよいが、これらに限定されるものではない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、１つ又は複数のワイアを有する電気的な接続、ポータブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトな磁気ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、あるいは上述の任意の適切な組み合わせを含む。本書類では、コンピュータ読み取り可能な記憶媒体は、プログラムを含む又は記憶する任意の有形媒体であってもく、当該プログラムは、命令実行システム、装置又はデバイスに使用され、あるいはそれを結合して使用される。

コンピュータ読み取り可能な信号媒体は、ベースバンド内又は搬送波の一部として伝播されるデータ信号を含んでもよく、その中にコンピュータ読み取り可能なプログラムコードが搭載されている。このような伝播されるデータ信号は、様々な形式を用いてもよく、電磁信号、光信号、又は上述の任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよいし、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置、又はデバイスに使用され、あるいはそれを結合して使用されるプログラムを、送信、伝播、又は伝送することができる。

コンピュータ読み取り可能な媒体に含まれるプログラムコードは任意の適切な媒体で伝送されることができ、無線、電線、光ケーブル、ＲＦなど、又は上述の任意の適切な組み合わせを含むがこれらに限定されない。

１種類又は複数種類のプログラミング言語又はそれらの組み合わせで本願の操作を実行するために用いられるコンピュータプログラムコードを作成することができ、プログラミング言語は例えばＪａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、さらに例えば「Ｃ」言語又は類似するプログラミング言語などの一般的なプロセス式プログラミング言語を含む。プログラムコードは完全にユーザコンピュータ上で実行されてもよいし、一部はユーザコンピュータ上で実行されてもよいし、１つの独立したソフトウェアパッケージとして実行されてもよいし、一部はユーザコンピュータで、一部は遠隔コンピュータで実行されてもよいし、又は完全に遠隔コンピュータ又はサーバで実行されてもよい。遠隔コンピュータに関する状況において、遠隔コンピュータはローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介して、ユーザコンピュータに接続されてもよいし、又は、外部コンピュータに接続されてもよい（例えばインターネットサービスプロバイダを利用してインターネットを介して接続される）。

注意すべきことは、上述したのは本願の好ましい実施例及び適用される技術原理に過ぎず。当業者であれば理解されるように、本願はここで述べた特定の実施例に限定されるものではなく、当業者であれば本願の保護範囲から逸脱することなく、様々な明らかな変化、再調整及び代替を行うことができる。したがって、以上の実施例により本願をより詳細に説明したが、本願は上記実施例に限定されるものではなく、本願の構想から逸脱することなく、さらに多くの他の等価実施例を含むことができ、本願の保護範囲は添付する特許請求の範囲によって決定される。

Claims (10)

1. 車両運転中の連続的な複数のサンプリング点の運転データを取得することと、
   各サンプリング点の運転データの運転特徴を抽出し、複数のサンプリング点の運転特徴を得ることと、
   設定時間に応じて、複数のサンプリング点の運転特徴をスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウを得ることと、
   前記運転特徴の数、前記設定時間、及び前記タイムウィンドウの数を３次元データの次元とし、前記複数のサンプリング点の運転特徴をテンソルとして構築することと、
   前記テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得ることとを含む、ことを特徴とする運転シーンの分類方法。
2. 前記各サンプリング点の運転データは、自車運転データと、周辺車両運転データと、区画線データと、交通環境データとを含み、
   前記の各サンプリング点の運転データの運転特徴を抽出し、複数のサンプリング点の運転特徴を得ることは、
   各サンプリング点における自車位置と周辺車両位置によって、各サンプリング点における前記周辺車両と自車との横方向の距離及び縦方向の距離を算出することと、
   各サンプリング点における周辺車両の運転速度から横方向の速度及び縦方向の速度を分離することと、
   各サンプリング点における前記周辺車両と自車との横方向の距離及び縦方向の距離、前記周辺車両の横方向の速度及び縦方向の速度、前記周辺車両の運転方向、前記区画線データ、及び前記交通環境データを横方向に配列し、各サンプリング点の運転特徴とすることとを含む、
   ことを特徴とする請求項１に記載の運転シーンの分類方法。
3. 前記運転シーン分類モデルは、シングルタイムウィンドウ分類ネットワークと融合ネットワークを含み、
   前記シングルタイムウィンドウ分類ネットワークは、前記テンソルにおけるシングルタイムウィンドウに運転シーン分類を行うために用いられ、各タイムウィンドウが属する運転シーンを得、
   前記融合ネットワークは、各サンプリング点の運転特徴が属する複数の目標タイムウィンドウを統計し、かつ各タイムウィンドウが属する運転特徴を結合し、各サンプリング点の運転特徴が属する複数の運転シーンを得るために用いられ、各サンプリング点の運転特徴が属する複数の運転シーンを融合し、各サンプリング点の運転データが属する運転シーンを得る、
   ことを特徴とする請求項１に記載の運転シーンの分類方法。
4. 前記シングルタイムウィンドウ分類ネットワークは長・短期記憶ネットワークＬＳＴＭである、
   ことを特徴とする請求項３に記載の運転シーンの分類方法。
5. 前記の前記テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得る前に、
   車両運転中の連続的な複数のサンプリング点の運転データサンプルと、各サンプリング点の運転データサンプルが属する運転シーンラベル付けを取得することと、
   各サンプリング点の運転データサンプルの運転特徴を抽出し、複数のサンプリング点の運転特徴サンプルを得ることと、
   設定時間に応じて、前記複数のサンプリング点の運転特徴サンプルをスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウサンプルを得ることと、
   前記運転特徴の数、前記設定時間、及び前記タイムウィンドウの数を３次元データの次元とし、前記複数のサンプリング点の運転特徴サンプルをテンソルサンプルとして構築することと、
   前記テンソルサンプルと各サンプリング点の運転データサンプルが属する運転シーンラベル付けによって、前記運転シーン分類モデルに予備トレーニングを行うことと、
   予備トレーニングが行われた運転シーン分類モデルから出力された、各サンプリング点の運転データが属する運転シーンを時間ソートし、運転シーンの時系列を得ることと、
   前記運転シーンの時系列から少なくとも１つの補正ウィンドウを切り出し、各補正ウィンドウは連続的な複数の運転シーンを含み、かつ首尾の運転シーンが一致することと、
   予備トレーニングが行われた運転シーン分類モデルを再トレーニングすることにより、各補正ウィンドウ内の連続的な複数の運転シーンがいずれも一致することとをさらに含む、
   ことを特徴とする請求項１～４のいずれか一項に記載の運転シーンの分類方法。
6. 前記の予備トレーニングが行われた運転シーン分類モデルを再トレーニングすることにより、各補正ウィンドウ内の連続的な複数の運転シーンがいずれも一致した後、
   前記運転シーン分類モデルの精度が設定閾値に達するまで、前記設定時間を調整し、かつタイムウィンドウサンプルの取得操作に戻ることをさらに含む、
   ことを特徴とする請求項５に記載の運転シーンの分類方法。
7. 前記の前記テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得た後、
   各サンプリング点の運転データが属する運転シーンによって、同じ運転シーンに属する運転データを統計することと、
   同じ運転シーンに属する運転データによって、シミュレーションシーンのテストケースを生成することと、
   前記シミュレーションシーンのテストケースを用いて自動運転機能を開発し検証することとをさらに含む、
   ことを特徴とする請求項１～４のいずれか一項に記載の運転シーンの分類方法。
8. 車両運転中の連続的な複数のサンプリング点の運転データを取得するための取得モジュールと、
   各サンプリング点の運転データの運転特徴を抽出し、複数のサンプリング点の運転特徴を得るための抽出モジュールと、
   設定時間に応じて、複数のサンプリング点の運転特徴をスライディングウィンドウ処理し、それぞれ複数のタイムウィンドウを得るための処理モジュールと、
   前記運転特徴の数、前記設定時間、及び前記タイムウィンドウの数を３次元データの次元とし、前記複数のサンプリング点の運転特徴をテンソルとして構築するための構築モジュールと、
   前記テンソルを運転シーン分類モデルに入力し、各サンプリング点の運転データが属する運転シーンを得るための入力モジュールとを含む、
   ことを特徴とする運転シーンの分類装置。
9. １つ又は複数のプロセッサと、
   １つ又は複数のプログラムを記憶するためのメモリとを含み、
   前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行される場合に、前記１つ又は複数のプロセッサに請求項１～７のいずれか一項に記載の運転シーンの分類方法を実現させる、
   ことを特徴とする電子機器。
10. コンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
    当該プログラムはプロセッサに実行される時に、請求項１～７のいずれか一項に記載の運転シーンの分類方法を実現する、
    コンピュータ読み取り可能な記憶媒体。

Images