JP2022058593A - 自律運転車両を使用した自動オーディオデータラベル付け - Google Patents

Abstract

【課題】ラベル付きオーディオデータを自動生成するためのシステム及び方法を提供する。【解決手段】本方法では、運転環境内の物体により発せられる音を記録し、記録した音をオーディオデータに変換する。更に、音の記録中に物体の少なくとも１つの位置を取得し、物体の取得した少なくとも１つの位置をオーディオラベルとして使用してオーディオデータに自動的にラベル付けし、ラベル付きオーディオデータを生成し、ラベル付きオーディオデータを使用して、続いて機械学習アルゴリズムを訓練し、ＡＤＶの自律運転中に音源を認識する。【選択図】図６

Description

本開示の実施形態は一般に、自律運転車両の運転に関する。より具体的には、本開示の実施形態は、自律運転車両を使用した自動オーディオデータラベル付けに関する。

自律モード（例えば、ドライバなし）で走行する車両は、乗る人、特にドライバから運転に関わる幾つかの責任を取り除くことができる。車両は、自律モードで走行しているとき、搭載されたセンサを使用して様々な場所に進むことができるため、人の介入を最小限に抑えて、又は場合によっては乗客なしで車両は走行することができる。

運転の計画及び制御は、自律運転における重要な操作である。しかしながら、従来の運転計画操作では、様々なタイプの車両について特徴の違いを考慮することなく、所与の経路を主にその曲率及び速度から完成することの困難さを推定する。運転の同じ計画及び制御が全てのタイプの車両に適用され、これは、状況によっては正確ではなくスムーズではない場合がある。

加えて、運転の計画及び制御の操作は一般に、周囲の障害物又は物体の認知、及び運転環境内の音源の聴取又は検出を必要とする。従って、障害物の識別及び音源の識別には、機械学習モデルのデータを訓練して試験するために、データ（例えば、センサデータ）のラベル付けが必要になる。残念ながら、教師あり機械学習モデルのラベル付きデータはまれであり、これは、ネットワークが収束してデータに適合するために、モデルの多数のパラメータが大量のラベル付きデータを通常必要とするためである。従来、データのラベル付けは人間により手動で行われていたため、このような規模のデータに手動でラベル付けを行うには、時間及びコストがかかる（例えば、人の雇用）。

また、人間本来の欠点のために、手動でラベル付けされたデータはあまり正確ではなく、モデルの精度に影響を与える。オーディオデータのラベル付けに関して、音源の位置のラベル付けは、人間の感覚の限界を考慮すると、人間にとって理想的なタスクではない。更に、録音に使用されるオーディオセンサが移動している、音源が移動している、又は、オーディオセンサ及び音源の両方が何らかの相対的な移動をしている（特にオーディオセンサ及び音源が非常に速く移動している）状況など、複雑な状況では、オーディオセンサ（例えば、マイクロフォン）に対する音源の位置をリアルタイムで手動でラベル付けすることはできない。更に、堅固なオーディオデータにするには、ドップラー効果などの多くの影響要因を考慮すべきである。

本開示の一態様は、自律運転車両（ＡＤＶ）の自律運転システム（ＡＤＳ）によって、ラベル付きオーディオデータを自動生成する方法であって、運転環境内の物体により発せられる音を記録し、記録した音をオーディオデータに変換し、前記音の記録中に前記物体の少なくとも１つの位置を取得し、前記物体の取得した少なくとも１つの位置をオーディオラベルとして使用して前記オーディオデータに自動的にラベル付けして、ラベル付きオーディオデータを生成し、前記ラベル付きオーディオデータを使用して、続いて機械学習アルゴリズムを訓練し、前記ＡＤＶの自律運転中に音源を認識する、方法である。

本開示の実施形態は、同様の参照符号が同様の要素を示す添付図面に限定されることなく、例として図示されている。

一実施形態によるネットワーク化されたシステムを示すブロック図である。 一実施形態による自律運転車両（ＡＤＶ）の例を示すブロック図である。 一実施形態による自律運転車両と共に使用される自律運転システムの例を示すブロック図である。 一実施形態による自律運転車両と共に使用される自律運転システムの例を示すブロック図である。 一実施形態による自動オーディオデータラベル付けのためのシステムを示すブロック図である。 一実施形態による、ＡＤＶ及び物体を使用するオーディオデータラベル付けシステムを示す図である。 一実施形態による自動オーディオデータラベル付けのための方法を示すフローチャートである。 一実施形態による、特定の運転状況におけるラベル付きオーディオデータの自動生成のための方法を示すフローチャートである。

本開示の様々な実施形態及び態様を、以下の詳細な記述を参照して説明し、添付図面は様々な実施形態を示す。以下の記述及び図面は本開示の例示であり、本開示を限定していると解釈されるべきではない。本開示の様々な実施形態の完全な理解を提供すべく、多くの特定の詳細な記述を説明する。しかしながら、場合によっては、本開示の実施形態の簡潔な記述を提供すべく、周知又は従来の詳細な記述を説明しない。

本明細書における「一実施形態」又は「実施形態」の言及は、実施形態と併せて記載されている特定の特徴、構造又は特性が本開示の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所における「一実施形態」という表現は全て、必ずしも同一の実施形態について言及しているわけではない。

一態様によれば、ラベル付きオーディオデータを自動生成するためにコンピュータが実行する方法が説明される。本方法は、自律運転車両（ＡＤＶ）の自律運転システム（ＡＤＳ）によって実行される。本方法では、運転環境内の物体により発せられる音を記録し、記録した音をオーディオデータに変換する。本方法では更に、音の記録中に物体の少なくとも１つの位置を取得する。本方法では更に、物体の取得した少なくとも１つの位置をオーディオラベルとして使用してオーディオデータに自動的にラベル付けしてラベル付きオーディオデータを生成し、ラベル付きオーディオデータを使用して、続いて機械学習アルゴリズムを訓練し、ＡＤＶの自律運転中に音源を認識する。

一実施形態では、本方法で更に、物体の取得した少なくとも１つの位置が、音を発する音源の少なくとも１つの位置に対応すると決定する。オーディオデータに自動的にラベル付けを行う際に、オーディオデータに物体の取得した位置のタグを付けることができる。物体の位置を取得する際に、ＡＤＶから物体への方向ベクトルを決定し、方向ベクトル及びＡＤＶの基準水平軸に基づいて方向角を決定することができる。一実施形態では、ＡＶＤは静止していて物体は動いている、ＡＤＶは動いていて物体は静止している、又はＡＤＶ及び物体は動いている。一実施形態では、物体は緊急車両であり、音はサイレン音である。

別の態様によれば、運転状況でラベル付きオーディオデータを自動生成するための方法が説明される。本方法では、自律運転車両（ＡＤＶ）及び別の車両を運転環境に提供する。本方法では更に、別の車両の音を有効にする。本方法では更に、音の記録及び別の車両の１つ以上の位置の監視をＡＤＶで開始する。本方法では更に、記録した音を含むストリーミングオーディオデータと別の車両の対応位置情報とをＡＤＶで取得する。本方法では更に、音の記録及び別の車両の１つ以上の位置の監視をＡＤＶで停止する。本方法では更に、ストリーミングオーディオデータ及び別の車両の対応位置情報をラベル付きオーディオデータとしてＡＤＶでダウンロードする。

図１は、本開示の一実施形態による自律運転ネットワーク構成を示すブロック図である。図１を参照すると、ネットワーク構成１００は、ネットワーク１０２を介して１つ以上のサーバ１０３～１０４に通信可能に結合され得る自律運転車両（ＡＤＶ）１０１を含む。示されているＡＤＶは１つであるが、複数のＡＤＶがネットワーク１０２を介して互いに及び／又はサーバ１０３～１０４に結合され得る。ネットワーク１０２は、有線又は無線の、ローカルエリアネットワーク（ＬＡＮ）、インターネットなどのワイドエリアネットワーク（ＷＡＮ）、セルラーネットワーク、衛星ネットワーク又はそれらの組み合わせなどの任意のタイプのネットワークであり得る。サーバ（複数可）１０３～１０４は、ウェブサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ、又はそれらの組み合わせなどの、任意の種類のサーバ又は一群のサーバであり得る。サーバ１０３～１０４は、データ分析サーバ、コンテンツサーバ、交通情報サーバ、地図・特定地点（ＭＰＯＩ）サーバ、又は位置サーバなどであり得る。

ＡＤＶは、ドライバからの入力がほとんど又は全くない状態で車両が環境を進む自律モードで構成され得る車両を指す。そのようなＡＤＶは、車両が走行する環境に関する情報を検出するように構成された１つ以上のセンサを有するセンサシステムを備えることができる。車両及び車両の関連する制御部（複数可）は、環境を進むために、検出された情報を使用する。ＡＤＶ１０１は、手動モード、完全な自律モード、又は部分的な自律モードで走行することができる。

一実施形態では、ＡＤＶ１０１は、自律運転システム（ＡＤＳ）１１０、車両制御システム１１１、無線通信システム１１２、ユーザインタフェースシステム１１３、及びセンサシステム１１５を含むが、これらに限定されない。ＡＤＶ１０１は、エンジン、車輪、ステアリングホイール、トランスミッションなどの通常の車両に含まれるある共通の部品を更に含み得、共通の部品は、例えば加速信号又は加速コマンド、減速信号又は減速コマンド、ステアリング信号又はステアリングコマンド、制動信号又は制動コマンドなどの様々な通信信号及び／又は通信コマンドを使用して、車両制御システム１１１及び／又はＡＤＳ１１０によって制御され得る。

部品１１０～１１５は、相互接続、バス、ネットワーク、又はそれらの組み合わせを介して互いに通信可能に結合され得る。例えば、部品１１０～１１５は、コントローラエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に結合され得る。ＣＡＮバスは、ホストコンピュータがなくてもマイクロコントローラとデバイスとがアプリケーションで相互に通信できるように設計された車両バス規格である。ＣＡＮバスは、自動車内の多重電気配線のために本来設計されたメッセージベースのプロトコルであるが、多くの他の状況でも使用される。

ここで図２を参照すると、一実施形態では、センサシステム１１５は、１つ以上のカメラ２１１、全地球測位システム（ＧＰＳ）ユニット２１２、慣性測定ユニット（ＩＭＵ）２１３、レーダユニット２１４、及び光検出・測距（ＬＩＤＡＲ）ユニット２１５を含むが、これらに限定されない。ＧＰＳユニット２１２は、ＡＤＶの位置に関する情報を提供するように作動可能な送受信機を含み得る。ＩＭＵユニット２１３は、慣性加速度に基づいて、ＡＤＶの位置及び向きの変化を検知し得る。レーダユニット２１４は、無線信号を使用してＡＤＶのローカル環境内の物体を検知するシステムを表し得る。ある実施形態では、レーダユニット２１４は、物体を検知することに加えて、物体の速度及び／又は進路を更に検知し得る。ＬＩＤＡＲユニット２１５は、レーザを使用して、ＡＤＶが配置されている環境内の物体を検知し得る。ＬＩＤＡＲユニット２１５は、他のシステム部品の中でもとりわけ、１つ以上のレーザ源、レーザスキャナ、及び１つ以上の検出器を含むことができる。カメラ２１１は、ＡＤＶを取り巻く環境の画像を取り込むための１つ以上のデバイスを含み得る。カメラ２１１は、スチルカメラ及び／又はビデオカメラであり得る。カメラは、例えば、回転及び／又は傾斜するプラットフォームにカメラを取り付けることによって、機械的に移動可能であり得る。

センサシステム１１５は、ソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、制動センサ、及びオーディオセンサ（例えば、マイクロフォン）などの他のセンサを更に含み得る。オーディオセンサは、ＡＤＶを取り巻く環境からの音を取り込むように構成され得る。ステアリングセンサは、車両のステアリングホイール、車輪のステアリング角又はそれらの組み合わせを検知するように構成され得る。スロットルセンサ及び制動センサは、車両のスロットル位置及び制動位置を夫々検知する。ある状況では、スロットルセンサ及び制動センサは、一体化されたスロットル／制動センサとして一体化され得る。

一実施形態では、車両制御システム１１１は、ステアリングユニット２０１、スロットルユニット２０２（加速ユニットとも称される）、及び制動ユニット２０３を含むが、これらに限定されない。ステアリングユニット２０１は、車両の方向又は進路を調整するためのユニットである。スロットルユニット２０２は、モータ又はエンジンの速度を制御することにより、車両の速度及び加速度を制御するためのユニットである。制動ユニット２０３は、摩擦を与えて車両の車輪又はタイヤを減速させることによって車両を減速させるためのユニットである。図２に示す部品は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得ることに留意されたい。

図１に戻って参照すると、無線通信システム１１２は、ＡＤＶ１０１と、デバイス、センサ、他の車両などの外部システムとの通信を可能にするためのシステムである。例えば、無線通信システム１１２は、１つ以上のデバイスと直接、又はネットワーク１０２上のサーバ１０３～１０４などの通信ネットワークを介して無線通信することができる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）を使用して、例えばＷｉＦｉを使用して別の部品又はシステムと通信することができる。無線通信システム１１２は、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ（登録商標）などを使用して、デバイス（例えば、乗客のモバイルデバイス、ディスプレイデバイス、車両１０１内のスピーカ）と直接、通信することができる。ユーザインタフェースシステム１１３は、例えば、キーボード、タッチスクリーンディスプレイデバイス、マイクロフォン、及びスピーカなどを含む、車両１０１内に実装された周辺機器の一部であり得る。

ＡＤＶ１０１の機能の一部又は全ては、特に自律運転モードで走行しているとき、ＡＤＳ１１０によって制御又は管理され得る。ＡＤＳ１１０は、センサシステム１１５、車両制御システム１１１、無線通信システム１１２及び／又はユーザインタフェースシステム１１３から情報を受信し、受信した情報を処理し、出発地点から目的地点までのルート又は経路を計画し、その後、計画・制御情報に基づいて車両１０１を運転するために必要なハードウェア（例えば、プロセッサ（複数可）、メモリ、記憶部）及びソフトウェア（例えば、オペレーティングシステム、計画・ルーティングプログラム）を含む。或いは、ＡＤＳ１１０は、車両制御システム１１１と一体化され得る。

例えば、乗客としてのユーザは、例えばユーザインタフェースを介して、旅行の出発位置及び目的地を指定し得る。ＡＤＳ１１０は、旅行関連のデータを取得する。例えば、ＡＤＳ１１０は、サーバ１０３～１０４の一部であり得るＭＰＯＩサーバから位置及びルートのデータを取得し得る。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは、特定の位置の地図サービス及びＰＯＩを提供する。或いは、そのような位置及びＭＰＯＩの情報は、ＡＤＳ１１０の永続記憶装置にローカルにキャッシュされ得る。

ＡＤＶ１０１がルートに沿って移動している間、ＡＤＳ１１０は、交通情報システム又は交通情報サーバ（ＴＩＳ）からリアルタイムの交通情報を更に取得し得る。サーバ１０３～１０４は、第三者のエンティティによって作動してもよいことに留意されたい。或いは、サーバ１０３～１０４の機能は、ＡＤＳ１１０と一体化され得る。リアルタイムの交通情報、ＭＰＯＩ情報、及び位置情報、並びにセンサシステム１１５によって検出又は検知されたリアルタイムのローカル環境データ（例えば、障害物、物体、近くの車両）に基づいて、ＡＤＳ１１０は、最適なルートを計画し、指定された目的地に安全且つ効率的に到着すべく、計画されたルートに従って、例えば制御システム１１１を介して車両１０１を運転することができる。

サーバ１０３は、様々なクライアントのためにデータ分析サービスを行うためのデータ分析システムであり得る。一実施形態では、データ分析システム１０３は、機械学習エンジン１２２を含む。機械学習エンジン１２２は、ラベル付きオーディオデータ１２６に基づいて、運転の計画及び制御のための音源の認識などの様々な目的のために、一連の規則、アルゴリズム、及び／又は予測モデル１２４を生成又は訓練する。そのため、アルゴリズム１２４は、ＡＤＶにアップロードされて、自律運転中にリアルタイムで使用され得る。以下でより詳細に説明するように、ラベル付きオーディオデータ１２６は、音源のオーディオデータ及び音源の位置を含み得る。

図３Ａ及び図３Ｂは、一実施形態によるＡＤＶと共に使用される自律運転システムの例を示すブロック図である。システム３００は、ＡＤＳ１１０、制御システム１１１、及びセンサシステム１１５を含むがこれらに限定されない、図１のＡＤＶ１０１の一部として実装され得る。図３Ａ及び図３Ｂを参照すると、ＡＤＳ１１０は、位置特定モジュール３０１、認知モジュール３０２、予測モジュール３０３、決定モジュール３０４、計画モジュール３０５、制御モジュール３０６、ルーティングモジュール３０７、オーディオレコーダ３０８、音源位置決定モジュール３０９、及びオーディオデータラベル付けモジュール３１０を含むが、これらに限定されない。

モジュール３０１～３１０の一部又は全ては、ソフトウェア、ハードウェア、又はそれらの組み合わせで実装され得る。例えば、これらのモジュールは、永続記憶装置３５２にインストールされ、メモリ３５１にロードされ、１つ以上のプロセッサ（図示せず）によって実行され得る。これらのモジュールの一部又は全ては、図２の車両制御システム１１１の一部又は全てのモジュールに通信可能に結合又は一体化され得ることに留意されたい。モジュール３０１～３１０の一部は、一体化されたモジュールとして共に一体化され得る。

位置特定モジュール３０１は、（例えば、ＧＰＳユニット２１２を使用して）ＡＤＶ３００の現在の位置を決定し、ユーザの旅行又はルートに関連するあらゆるデータを管理する。位置特定モジュール３０１（地図・ルートモジュールとも称される）は、ユーザの旅行又はルートに関連するあらゆるデータを管理する。ユーザは、例えばユーザインタフェースを介してログインし、旅行の出発位置及び目的地を指定し得る。位置特定モジュール３０１は、地図・ルートデータ３１１のように、ＡＤＶ３００の他の部品と通信して旅行関連データを取得する。例えば、位置特定モジュール３０１は、位置サーバ及び地図・ＰＯＩ（ＭＰＯＩ）サーバから位置及びルートのデータを取得し得る。位置サーバは位置サービスを提供し、ＭＰＯＩサーバは、地図・ルートデータ３１１の一部としてキャッシュされ得る地図サービス及び特定の位置のＰＯＩを提供する。ＡＤＶ３００がルートに沿って移動している間、位置特定モジュール３０１は、交通情報システム又は交通情報サーバからリアルタイムの交通情報を更に取得し得る。

センサシステム１１５によって提供されるセンサデータ及び位置特定モジュール３０１によって得られる位置特定情報に基づいて、認知モジュール３０２によって周囲環境の認知情報を決定する。認知情報は、一般のドライバが運転している車両の周囲でドライバが何を認知しているかを表し得る。認知情報には、例えば物体の形態で車線構成、信号機、別の車両の相対位置、歩行者、建物、横断歩道、又は他の交通関連標識（例えば、一時停止標識、道を譲れ標識）などが含まれ得る。車線構成には、例えば、車線の形状（例えば、直線又は湾曲）、車線の幅、道路内の車線数、一方通行又は対面通行の車線、合流又は分離する車線、出口車線など、１つ以上の車線について記述する情報が含まれる。

認知モジュール３０２は、ＡＤＶの環境内の物体及び／又は特徴を識別するために、１つ以上のカメラによって取り込まれた画像を処理して分析するためのコンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含み得る。物体は、信号機、道路境界、他の車両、歩行者、及び／又は障害物などを含むことができる。コンピュータビジョンシステムは、物体認識アルゴリズム、ビデオ追跡、及び他のコンピュータビジョン技術を使用し得る。ある実施形態では、コンピュータビジョンシステムは、環境をマッピングし、物体を追跡し、物体の速度などを推定することができる。認知モジュール３０２は、レーダ及び／又はＬＩＤＡＲなどの他のセンサによって提供される他のセンサデータに基づいて物体を検出することもできる。

物体毎に、予測モジュール３０３は、その状況下で物体がどう振る舞うかを予測する。一連の地図・ルート情報３１１及び交通規則３１２を考慮して、ある時点での運転環境を認知する認知データに基づいて予測する。例えば、物体が反対方向の車両であり、現在の運転環境が交差点を含む場合、予測モジュール３０３は、車両が直進するか又は曲がる可能性があると予測する。認知データが交差点に信号機がないことを示す場合、予測モジュール３０３は、車両が交差点に入る前に完全に停止しなければならない可能性があると予測し得る。認知データが、車両が現在、左折専用車線又は右折専用車線にいることを示す場合、予測モジュール３０３は、車両が左折又は右折する可能性が高いと予測し得る。

物体毎に、決定モジュール３０４は、物体にどのように対応するかに関する決定を行う。例えば、特定の物体（例えば、交差するルート内の別の車両）、及び物体について記述するメタデータ（例えば、速度、方向、回転角度）について、決定モジュール３０４は、物体に対処する方法（例えば、追い越す、道を譲る、停止する、通過する）を決定する。決定モジュール３０４は、永続記憶装置３５２に記憶され得る交通規則又は運転規則３１２などの一連の規則に従ってそのような決定を行い得る。

ルーティングモジュール３０７は、出発地点から目的地点までの１つ以上のルート又は経路を提供するように構成される。例えば、ユーザから受けた出発位置から目的地位置への所与の旅行について、ルーティングモジュール３０７は、地図・ルート情報３１１を取得し、出発位置から目的地位置に到着するための全ての可能なルート又は経路を決定する。ルーティングモジュール３０７は、出発位置から目的地位置に到着するためにルーティングモジュール３０７が決定するルート毎に、地形図の形態で基準線を生成し得る。基準線とは、他の車両、障害物、又は交通状況などの、他からの干渉がない理想的なルート又は経路を指す。つまり、道路に他の車両、歩行者、又は障害物がない場合、ＡＤＶは、基準線に正確又は厳密に従うべきである。その後、地形図は、決定モジュール３０４及び／又は計画モジュール３０５に提供される。決定モジュール３０４及び／又は計画モジュール３０５は可能な全てのルートを調べて、位置特定モジュール３０１からの交通状況、認知モジュール３０２によって認知される運転環境、及び予測モジュール３０３によって予測される交通状況などの、他のモジュールによって提供される他のデータを考慮して最適なルートの１つを選択して修正する。ＡＤＶを制御するための実際の経路又はルートは、ある時点での特定の運転環境に応じて、ルーティングモジュール３０７によって提供される基準線に近いか又はこの基準線と異なり得る。

認知された物体毎の決定結果に基づいて、計画モジュール３０５は、ルーティングモジュール３０７によって提供された基準線を基準として使用して、ＡＤＶの経路又はルート、並びに運転パラメータ（例えば、距離、速度、及び／又は回転角度）を計画する。すなわち、所与の物体について、決定モジュール３０４は、物体に対処するためになすべきことを決定する一方、計画モジュール３０５は、その方法を決定する。例えば、所与の物体について、決定モジュール３０４は、物体を通過すると決定し得る一方、計画モジュール３０５は、物体の左側又は右側のどちらを通過するかを決定し得る。車両３００が次の移動サイクル（例えば、次のルート／経路セグメント）でどのように移動するかについて記述する情報を含む計画・制御データを、計画モジュール３０５によって生成する。例えば、計画・制御データは、時速３０マイル（ｍｐｈ）の速度で１０メートル移動し、次に２５ｍｐｈの速度で右車線に変わるように車両３００に指示し得る。

計画・制御データに基づいて、制御モジュール３０６は、計画・制御データによって定められたルート又は経路に従って、適切なコマンド又は信号を車両制御システム１１１に送信することによって、ＡＤＶを制御して運転する。計画・制御データには、経路又はルートに沿って様々な時点で適切な車両設定又は運転パラメータ（例えば、スロットルコマンド、制動コマンド、ステアリングコマンド）を使用してルート又は経路の第１の地点から第２の地点まで車両を運転するのに十分な情報が含まれる。

一実施形態では、計画段階は、運転サイクルとも称される複数の計画サイクルで、例えば１００ミリ秒（ｍｓ）の時間間隔毎に実行される。計画サイクル又は運転サイクル毎に、計画・制御データに基づいて１つ以上の制御コマンドが発せられる。すなわち、１００ｍｓ毎に、計画モジュール３０５は、例えば目標位置及びＡＤＶが目標位置に到着するのに必要な時間を含む次のルートセグメント又は経路セグメントを計画する。或いは、計画モジュール３０５は、特定の速度、方向及び／又はステアリング角などを更に指定し得る。一実施形態では、計画モジュール３０５は、５秒間などの次の所定の時間、ルートセグメント又は経路セグメントを計画する。計画サイクル毎に、計画モジュール３０５は、前のサイクルで計画された目標位置に基づいて、現在のサイクル（例えば、次の５秒間）の目標位置を計画する。その後、制御モジュール３０６は、現在のサイクルの計画・制御データに基づいて、１つ以上の制御コマンド（例えば、スロットル制御コマンド、制動制御コマンド、ステアリング制御コマンド）を生成する。

決定モジュール３０４及び計画モジュール３０５は、一体化されたモジュールとして一体化され得ることに留意されたい。決定モジュール３０４／計画モジュール３０５は、ＡＤＶの運転経路を決定するためのナビゲーションシステム又はナビゲーションシステムの機能を含み得る。例えば、ナビゲーションシステムは、最終目的地に至る車道に基づく経路に沿ってＡＤＶを一般に前進させながら、認知された障害物を実質的に避ける経路に沿ってＡＤＶを移動させるための一連の速度及び方向進路を決定し得る。目的地は、ユーザインタフェースシステム１１３を介したユーザ入力に従って設定され得る。ナビゲーションシステムは、ＡＤＶが走行している間に運転経路を動的に更新し得る。ナビゲーションシステムは、ＡＤＶの運転経路を決定するためにＧＰＳシステムからのデータ及び１つ以上の地図を組み込むことができる。

一実施形態による自動オーディオデータラベル付けのためのシステムを示すブロック図である図４を更に参照すると、オーディオレコーダ３０８は、センサシステム１１５のオーディオセンサ（例えば、マイクロフォン）と通信して、ＡＤＶを取り巻く環境からの音を記録し得るか又は取り込み得る。例えば、ＡＤＶのユーザは、ユーザインタフェースシステム１１３を介してオーディオレコーダ３０８を作動させる（オンする）ことができ、オーディオレコーダ３０８を作動させるためのユーザの入力に応答して、オーディオレコーダ３０８は、物体（例えば、警察車両、救急車、消防車などの緊急車両）によって発せられる音（例えば、サイレン音）を記録し、その音をオーディオデータ３１３（例えば、適切なフォーマットのオーディオファイル）に変換し得る。十分なオーディオデータが記録されると（例えば、特定のデータサイズ又は経過時間に到達した場合、又は様々な運転状況を網羅した場合）、ユーザはオーディオレコーダ３０８の動作を停止させる（オフする）ことができ、オーディオデータ３１３は永続記憶装置３５２又はリモートサーバ（例えば、サーバ１０３）に記憶され得る。

同時的に、オーディオレコーダ３０８が記録している間、認知モジュール３０２及び音源位置決定モジュール３０９は、センサシステム１１５の他のセンサ（例えば、カメラ（複数可）２１１、レーダユニット２１４、ＬＩＤＡＲユニット２１５）と通信及び／又は動作して、音源の１つ以上の位置を決定して取得し得る。前述したように、認知モジュール３０２は、様々な時点で、レーダ、カメラ、及び／又はＬＩＤＡＲなどの他のセンサによって提供されるセンサデータに基づいて物体を検出することができる。それらのセンサデータを使用して、認知モジュール３０２は、ある時点での物体の相対位置を決定することができ、音源位置決定モジュール３０９は、物体の相対位置が音源の位置に対応すると想定又は決定し得る（音源の位置の決定に関連する態様は、図５に関して以下でより詳細に説明される）。その後、音源位置決定モジュール３０９は、物体の相対位置を音源位置３１４の一部として記憶することができ、物体の相対位置は、永続記憶装置３５２又はリモートサーバ（例えば、サーバ１０３）に記憶され得る。

記録されたオーディオデータ３１３及び音源位置３１４は、ラベル付きオーディオデータ１２６を自動的に生成するためにオーディオデータラベル付けモジュール３１０に提供される。一実施形態では、オーディオデータラベル付けモジュール３１０は、音源位置３１４を（オーディオラベルとして）オーディオデータ３１３に追加又はタグ付けしてラベル付きオーディオデータ１２６を生成し得る。音源位置３１４は、オーディオデータ３１３の一部として記録された音を発する源（例えば、緊急車両）の相対位置を表す。別の実施形態では、オーディオデータラベル付けモジュール３１０はまた、ラベル付きオーディオデータ１２６の一部としてオーディオデータ３１３及び音源位置３１４に１つ以上のタイムスタンプをタグ付けし得る。各タイムスタンプは、位置及び音が取り込まれた現在時刻を含み得る。ラベル付きオーディオデータ１２６は、永続記憶装置３５２にローカルに記憶され、及び／又はリモートサーバ（例えば、サーバ１０３）にアップロードされて、運転の計画及び制御などの様々な目的のための一連の規則、アルゴリズム、及び／又は予測モデルを生成又は訓練する機械学習エンジンへの入力として使用され得る。

図５は、一実施形態による、ＡＤＶ及び物体を使用するオーディオデータラベル付けシステムを示す図である。図５では、システムは、運転環境内で動作するＡＤＶ１０１及び物体５０１（例えば、警察車両、救急車、消防車などを含む緊急車両などの別の車両）を含む。ＡＤＶ１０１及び物体５０１は、様々な運転状況で構成され得る。例えば、１つの状況には、ＡＤＶ１０１が静止しており、物体５０１が動いていることが含まれ得る（例えば、物体５０１がＡＤＶ１０１に近づく、物体５０１がＡＤＶ１０１から離れる、物体５０１がＡＤＶ１０１の周りを移動する）。別の状況には、物体５０１が静止しており、ＡＤＶ１０１が動いていることが含まれ得る（例えば、ＡＤＶ１０１が物体５０１に近づく、ＡＤＶ１０１が物体５０１から離れる、ＡＤＶ１０１が物体５０１の周りを移動する）。更に別の状況には、ＡＤＶ１０１及び物体５０１の両方が動いていることが含まれ得る。更に別の状況には、ＡＤＶ１０１及び物体５０１の両方が静止していることが含まれ得る。

一実施形態では、物体５０１は、音５２１（例えば、物体５０１に設置されたサイレン音プレーヤを作動させることによって生成されるサイレン）を発するように構成される。同時的に、ＡＤＶ１０１は、オーディオセンサ５１５（例えば、マイクロフォン）を使用して（例えば、オーディオレコーダ３０８によって）音５２１を記録するように構成され得る。音５２１を記録している間、ＡＤＶ１０１の認知センサ（複数可）５１３（例えば、カメラ（複数可）、レーダユニット、ＬＩＤＡＲユニット）及びＡＤＳ１１０を有効にして、物体５０１の相対位置を検出し得る。オーディオセンサ５１５及び認知センサ（複数可）５１３は、センサシステム１１５の一部であり得る。

運転環境における物体５０１の検出に応答して、認知センサ（複数可）５１３は、デカルト平面又は２Ｄ地図における物体５０１の座標（例えば、ｘ、ｙ座標）を提供し得る。提供された座標及びＡＤＶ１０１の基準水平軸（ｘ軸）に基づいて、認知モジュール３０２は、ＡＤＶ１０１から物体５０１に引かれた方向ベクトル５２２を決定することができる。方向ベクトル５２２及びＡＤＶ１０１の基準水平軸に基づいて、方向角５１２を決定することができる。方向角５１２及び方向ベクトル５２２に基づいて、物体５０１の高さ（例えば、ｚ座標）を更に決定することができる。従って、ＡＤＶ１０１に対する物体５０１の位置（例えば、ｘ、ｙ、ｚ座標）を決定することができる。前述したように、音源位置決定モジュール３０９は、物体５０１の位置を想定して、音５２１を発する音源の位置に対応させ得る。音源位置決定モジュール３０９は、音源位置３１４の一部として位置を取得又は記録し得る。

十分なオーディオデータが記録されると、オーディオレコーダ３０８及びオーディオセンサ５１５の動作を停止し、記録した音を変換し、オーディオデータ３１３の一部として記憶し得る。オーディオデータラベル付けモジュール３１０は、音源位置３１４をオーディオラベルとしてオーディオデータ３１３にタグ付けして、ラベル付きオーディオデータ１２６を生成し得る。図５は、簡略化のために単一の物体５０１のみを示していることに留意されたい。ある実施形態では、複数の物体が、各物体が別の物体と同じ又は異なる音を発し得る状況で使用されて、ＡＤＶ１０１は、発せられた音及び一部又は全ての物体の位置を取得し得る。

図６は、一実施形態による自動オーディオデータラベル付けのための方法を示すフローチャートである。方法又は処理６００は、ソフトウェア、ハードウェア、又はそれらの組み合わせを含み得る処理論理回路によって実行され得る。例えば、処理６００は、図１のＡＤＳ１１０によって実行され得る。

図６を参照すると、ステップ６０１で、処理論理回路は、運転環境内の物体（例えば、緊急車両などの別の車両）によって発せられる音を記録し、記録した音をオーディオデータに変換する。ステップ６０２で、処理論理回路は、音の記録中に物体の少なくとも１つの位置を取得する。ステップ６０３で、処理論理回路は、物体の取得した位置をオーディオラベルとして使用してオーディオデータに自動的にラベル付けし、ラベル付きオーディオデータを生成し、ラベル付きオーディオデータを使用して、続いて機械学習アルゴリズムを訓練し、ＡＤＶの自動運転中に音源を認識する。

図７は、一実施形態による、特定の運転状況におけるラベル付きオーディオデータの自動生成のための方法を示すフローチャートである。方法又は処理７００は、図１のＡＤＶ１０１及び別の車両によって実行され得る。

図７を参照すると、ステップ７０１で、ＡＤＶ（例えば、ＡＤＶ１０１）及び別の車両（例えば、緊急車両）を開放環境に提供する。ステップ７０２で、ＡＤＶのセンサシステム（例えば、認知システム及びオーディオセンサ）並びにＡＤＳを有効にする。ステップ７０３で、別の車両の音（例えば、サイレン音）を有効にする。ステップ７０４で、音の記録及び別の車両の１つ以上の位置の監視をＡＤＶで開始する。ステップ７０５で、（例えば、ＡＤＶのＡＤＳ及びセンサシステムによって）ストリーミングオーディオデータ及び別の車両の対応位置情報を取得する。ステップ７０６で、音の記録及び位置の監視を停止する。ステップ７０７で、ストリーミングオーディオデータ及び対応位置情報を、ラベル付きオーディオデータとしてダウンロードする。ステップ７０８で、ダウンロードしたラベル付きオーディオデータが様々な運転状況に十分であるか否かを決定する。例えば、ＡＤＶが静止していて別の車両が動いている、別の車両が静止していてＡＤＶ１０１が動いている、ＡＤＶ及び別の車両の両方が動いている、及び／又はＡＤＶ及び別の車両の両方が静止しているという状況を、ラベル付きオーディオデータが網羅しているか否かを決定し得る。ダウンロードしたラベル付きオーディオデータが十分であると決定された場合、処理は終了する。そうでなければ、ステップ７０９で、別の状況（例えば、構成されていない状況）に切り替え、処理はステップ７０２に戻る。

上記に示されて説明された部品の一部又は全ては、ソフトウェア、ハードウェア又はそれらの組み合わせで実装され得ることに留意されたい。例えば、そのような部品は、永続記憶装置にインストールされて記憶されたソフトウェアとして実装されることができ、そのソフトウェアは、プロセッサ（図示せず）によってメモリにロードされて実行され、本願全体で説明される処理又は演算を実行することができる。或いは、そのような部品は、集積回路（例えば、特定用途向けＩＣ、すなわちＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの専用ハードウェアにプログラムされた又は埋め込まれた実行可能コードとして実装されることができ、その実行可能コードは、アプリケーションから対応するドライバ及び／又はオペレーティングシステムを介してアクセスされ得る。更に、そのような部品は、１つ以上の特定の命令を介してソフトウェア部品によってアクセス可能な命令セットの一部としての、プロセッサ又はプロセッサコア内の特定のハードウェア論理回路として実装され得る。

前述の詳細な説明の一部は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号表現に関して示されている。これらのアルゴリズムの記述及び表現は、データ処理の技術分野における当業者が自身の仕事内容を他の当業者に最も効率的に伝えるために使用する方法である。アルゴリズムは、本明細書では一般に、所望の結果につながるセルフコンシステントシーケンスの演算であると考えられている。演算は、物理量の物理的操作を必要とする演算である。

しかしながら、これらの用語及び同様の用語の全ては、適切な物理量に関連付けられるべきであり、これらの量に適用される単なる便利なラベルであることに留意されたい。上記の記述から明らかなように、特に別段の記載がない限り、本明細書全体を通して、以下の特許請求の範囲に記載されるような用語を使用した記述は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作して、コンピュータシステムのメモリ又はレジスタ又は他のそのような情報記憶装置、送信装置若しくは表示装置内の物理量として同様に表される他のデータに変換するコンピュータシステム又は同様の電子コンピューティングデバイスの動作及び処理を指すことを理解されたい。

本開示の実施形態は、本明細書における演算を実行するための装置に更に関する。このようなコンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶されている。機械可読媒体は、機械（例えば、コンピュータ）によって可読な形態で情報を記憶するためのあらゆるメカニズムを含む。例えば、機械可読（例えば、コンピュータ可読）媒体は、機械（例えば、コンピュータ）可読記憶媒体（例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス）を含む。

前述の図面に示されている処理又は方法を、ハードウェア（例えば回路、専用論理回路など）、（例えば、非一時的なコンピュータ可読媒体に埋め込まれた）ソフトウェア又はこれら両方の組み合わせを備えた処理論理回路によって行ってもよい。処理又は方法が複数の連続的な演算の点から上述されているが、記載されている演算の一部を異なる順に行ってもよいと認識されるべきである。更に、一部の演算を連続的ではなく並行して行ってもよい。

本開示の実施形態は、コンピュータ上で動作しているときに、前述の図面に示されている処理又は方法を前記コンピュータに実行させるためのコンピュータプログラムに更に関する。

本開示の実施形態は、特定のプログラミング言語を参照して記載されていない。様々なプログラミング言語を使用して、本明細書に記載されているような本開示の実施形態の教示を実施してもよいことが認識される。

前述の明細書では、本開示の実施形態は、本開示の特定の例示的な実施形態を参照して記載されている。以下の特許請求の範囲に記載されているような本開示のより広い趣旨及び範囲から逸脱することなく、様々な変更がなされ得ることは明らかである。従って、明細書及び図面は限定的な意味ではなく例示の意味で考慮されるべきである。

Claims (21)

1. 自律運転車両（ＡＤＶ）の自律運転システム（ＡＤＳ）によって、ラベル付きオーディオデータを自動生成する方法であって、
   運転環境内の物体により発せられる音を記録し、記録した音をオーディオデータに変換し、
   前記音の記録中に前記物体の少なくとも１つの位置を取得し、
   前記物体の取得した少なくとも１つの位置をオーディオラベルとして使用して前記オーディオデータに自動的にラベル付けして、ラベル付きオーディオデータを生成し、
   前記ラベル付きオーディオデータを使用して、続いて機械学習アルゴリズムを訓練し、前記ＡＤＶの自律運転中に音源を認識する、方法。
2. 前記物体の取得した少なくとも１つの位置が、前記音を発する音源の少なくとも１つの位置に対応すると決定する、請求項１に記載の方法。
3. 前記オーディオデータに自動的にラベル付けする際に、前記オーディオデータに前記物体の取得した少なくとも１つの位置のタグを付ける、請求項１に記載の方法。
4. 前記物体の少なくとも１つの位置を取得する際に、
   前記ＡＤＶから前記物体への方向ベクトルを決定し、
   前記方向ベクトルと前記ＡＤＶの基準水平軸とに基づいて方向角を決定する、請求項１に記載の方法。
5. 前記ＡＤＶは静止しており、前記物体は動いている、請求項１に記載の方法。
6. 前記ＡＤＶは動いており、前記物体は静止している、請求項１に記載の方法。
7. 前記ＡＤＶ及び前記物体は動いている、請求項１に記載の方法。
8. 前記物体は緊急車両である、請求項１に記載の方法。
9. 前記音はサイレン音である、請求項１に記載の方法。
10. 自律運転車両（ＡＤＶ）の自律運転システムであって、
    プロセッサと、
    前記プロセッサに結合されて命令を記憶するメモリと
    備えており、
    前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
    運転環境内の物体により発せられる音を記録させて、記録させた音をオーディオデータに変換させ、
    前記音の記録中に前記物体の少なくとも１つの位置を取得させ、
    前記物体の取得させた少なくとも１つの位置をオーディオラベルとして使用して前記オーディオデータに自動的にラベル付けさせ、ラベル付きオーディオデータを生成させ、
    前記ラベル付きオーディオデータを使用して、続いて機械学習アルゴリズムを訓練させ、前記ＡＤＶの自律運転中に音源を認識させる、自律運転システム。
11. 前記物体の取得させた少なくとも１つの位置が、前記音を発する音源の少なくとも１つの位置に対応すると決定させる、請求項１０に記載の自律運転システム。
12. 前記オーディオデータに自動的にラベル付けさせる際に、前記オーディオデータに前記物体の取得させた少なくとも１つの位置のタグを付けさせる、請求項１０に記載の自律運転システム。
13. 前記物体の少なくとも１つの位置を取得させる際に、
    前記ＡＤＶから前記物体への方向ベクトルを決定させ、
    前記方向ベクトルと前記ＡＤＶの基準水平軸とに基づいて方向角を決定させる、請求項１０に記載の自律運転システム。
14. 前記ＡＤＶは静止しており、前記物体は動いている、請求項１０に記載の自律運転システム。
15. 前記ＡＤＶは動いており、前記物体は静止している、請求項１０に記載の自律運転システム。
16. 前記ＡＤＶ及び前記物体は動いている、請求項１０に記載の自律運転システム。
17. 前記物体は緊急車両である、請求項１０に記載の自律運転システム。
18. 前記音はサイレン音である、請求項１０に記載の自律運転システム。
19. 運転状況でラベル付きオーディオデータを自動生成する方法であって、
    自律運転車両（ＡＤＶ）及び別の車両を運転環境に提供し、
    前記別の車両の音を有効にし、
    前記音の記録、及び前記別の車両の１つ以上の位置の監視を前記ＡＤＶで開始し、
    記録した音を含むストリーミングオーディオデータと前記別の車両の対応位置情報とを前記ＡＤＶで取得し、
    前記音の記録及び前記別の車両の１つ以上の位置の監視を前記ＡＤＶで停止し、
    前記ストリーミングオーディオデータと前記別の車両の対応位置情報とを前記ラベル付きオーディオデータとして前記ＡＤＶでダウンロードする、方法。
20. ダウンロードしたラベル付きオーディオデータが様々な運転状況に十分であるか否かを決定し、
    ダウンロードしたラベル付きオーディオデータが前記様々な運転状況に不十分であると決定したことに応じて、別の運転状況に切り替える、請求項１９に記載の方法。
21. コンピュータ上で動作しているときに、請求項１～９及び１９～２０のいずれか１つに記載の方法を前記コンピュータに実行させるためのコンピュータプログラム。

Images