JP2022058556A - 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング - Google Patents
自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング Download PDFInfo
- Publication number
- JP2022058556A JP2022058556A JP2022002306A JP2022002306A JP2022058556A JP 2022058556 A JP2022058556 A JP 2022058556A JP 2022002306 A JP2022002306 A JP 2022002306A JP 2022002306 A JP2022002306 A JP 2022002306A JP 2022058556 A JP2022058556 A JP 2022058556A
- Authority
- JP
- Japan
- Prior art keywords
- audio sample
- adv
- obstacle
- labeled
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010200 validation analysis Methods 0.000 title abstract description 3
- 238000012549 training Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000010801 machine learning Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000002372 labelling Methods 0.000 claims abstract description 18
- 238000007670 refining Methods 0.000 claims abstract description 10
- 238000001514 detection method Methods 0.000 claims description 22
- 238000012795 verification Methods 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000001052 transient effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims 1
- 230000033001 locomotion Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 230000004807 localization Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000012517 data analytics Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009429 electrical wiring Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002379 ultrasonic velocimetry Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/15—Vehicle, aircraft or watercraft design
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
- G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
- G01S3/802—Systems for determining direction or deviation from predetermined direction
- G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
- G01S3/8083—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems determining direction of source
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0808—Diagnosing performance data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0965—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages responding to signals from another vehicle, e.g. emergency vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0002—Automatic control, details of type of controller or control system architecture
- B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
- B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/005—Sampling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
- B60W2050/0057—Frequency analysis, spectral techniques or transforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/007—Switching between manual and automatic parameter input, and vice versa
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4044—Direction of movement, e.g. backwards
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- Transportation (AREA)
- Mathematical Physics (AREA)
- Mechanical Engineering (AREA)
- Acoustics & Sound (AREA)
- Aviation & Aerospace Engineering (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
【解決手段】ADVの走行環境内の物体によって発せられた音を記録すること、記録された前記音をオーディオサンプルに変換すること、オーディオサンプルをラベル付けすること、ラベル付けされたオーディオサンプルをリファイニングして、リファイニングされたラベル付け後のオーディオデータを作成することを含む。ADVの自律走行中の音源を認識する機械学習アルゴリズムを訓練するために、リファイニングされたラベル付け後のオーディオデータが利用される。少なくともオーディオサンプル、物体の位置、及び物体の相対方向に基づいて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することを含む。
【選択図】図6
Description
本開示の様々な実施形態及び態様は、以下で論じられる詳細を参照して説明され、添付図面は、これらの様々な実施形態を示す。以下の説明及び図面は、本開示の例示であって、本開示を限定するものと解釈されるべきではない。多くの具体的な詳細が、本開示の様々な実施形態の十分な理解を提供するために記載される。しかし、特定の例において、本開示の実施形態の簡潔な議論を提供するために、周知の又は従来の詳細は記載しない。
本開示の実施形態は、コンピュータ上で動作しているときに、前述した図面に示されるプロセス又は方法を前記コンピュータに実行させるためのコンピュータプログラムに更に関する。
本明細書に記載される開示の実施形態の教示を実行するために、各種プログラミング言語を使用できることが理解される。
Claims (22)
- 自律走行車両(ADV)が走行環境内を動作している間、前記ADVを利用して、ラベル付けされたオーディオデータと、前記ラベル付けされたオーディオデータの車中検証とを生成する方法であって、
前記ADVの前記走行環境内の物体によって発せられた音を記録し、記録された前記音をオーディオサンプルに変換すること、
前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングして、前記ADVの自律走行中に音源を認識する機械学習アルゴリズムを、後に訓練するために利用されるリファイニングされたラベル付け後のオーディオデータを作成することと、
少なくとも前記オーディオサンプル並びに前記ADVの感知システムによってそれぞれ決定される前記物体の位置及び前記物体の相対方向に基づいて、前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することと
を含むことを特徴とする方法。 - 前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記物体の前記位置、及び前記物体の前記相対方向に対してプロファイリングすることを含む請求項1に記載の方法。
- 前記リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することが、更に、前記ADVの視覚センサによって提供される検知データに基づいて、前記物体の前記位置及び前記物体の前記相対方向を決定することを含み、前記視覚センサが前記感知システムに接続されている請求項2に記載の方法。
- 前記オーディオサンプルをラベル付けすることが、前記オーディオサンプルを、オーディオサンプル識別子(ID)、前記オーディオサンプルに関連する1以上の位置、及び前記オーディオサンプルに関連する方向でタグを付けることを含む請求項1に記載の方法。
- 前記物体が緊急車両であり、発せられた前記音がサイレン音である請求項1に記載の方法。
- 前記オーディオサンプルが、前記ADVのユーザによって手動でラベル付けされる請求項1に記載の方法。
- 自律走行車両(ADV)が走行環境内を動作している間、前記ADVを利用するラベル付けされたオーディオデータの車中検証のためのコンピュータで実行される方法であって、
前記ADVの前記走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することと、
前記ADVの視覚センサによって提供される検知データに基づいて、前記障害物の位置と、前記障害物の相対方向とを決定することと、
前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含み、前記リファイニングされたラベル付け後のオーディオデータが、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成され、前記ADVの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用されることを特徴とする方法。 - 前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、前記性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向に対してプロファイリングすることを含む請求項7に記載の方法。
- 前記ラベル付けされたオーディオサンプルが、前記オーディオサンプル、オーディオサンプル識別子(ID)、前記オーディオサンプルに関連する1以上の位置、及び前記オーディオサンプルに関連する方向を含む請求項7に記載の方法。
- 前記障害物が緊急車両であり、発せられた前記音がサイレン音である請求項7に記載の方法。
- 前記オーディオサンプルが、前記ADVのユーザによって手動でラベル付けされる請求項7に記載の方法。
- ラベル付けされたオーディオデータの車中検証のためのシステムであって、
プロセッサと、
前記プロセッサに接続され、前記プロセッサによって実行されたときに、前記プロセッサにオペレーションを行わせる命令を記憶するメモリとを含み、前記オペレーションが、
自律走行車両(ADV)の走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することと、
前記ADVの視覚センサによって提供された検知データに基づいて、前記障害物の位置及び前記障害物の相対方向を決定することと、
前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含み、前記リファイニングされたラベル付け後のオーディオデータが、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成され、前記ADVの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用されることを特徴とするシステム。 - 前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、前記性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向に対してプロファイリングすることを含む請求項12に記載のシステム。
- 前記ラベル付けされたオーディオサンプルが、前記オーディオサンプル、オーディオサンプル識別子(ID)、前記オーディオサンプルに関連する1以上の位置、及び前記オーディオサンプルに関連する方向を含む請求項12に記載のシステム。
- 前記障害物が緊急車両であり、発せられた前記音がサイレン音である請求項12に記載のシステム。
- 前記オーディオサンプルが、前記ADVのユーザによって手動でラベル付けされる請求項12に記載のシステム。
- プロセッサによって実行されたときに、前記プロセッサにオペレーションを行わせる命令が記憶された非一過性のマシン可読媒体であって、前記オペレーションが、
自律走行車両(ADV)の走行環境内の障害物によって発せられた音を記録し、オーディオサンプルを作成することと、
前記ADVの視覚センサによって提供された検知データに基づいて、前記障害物の位置及び前記障害物の相対方向を決定することと、
前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、リファイニングされたラベル付け後のオーディオデータの性能プロファイルを生成することとを含み、前記リファイニングされたラベル付け後のオーディオデータが、前記オーディオサンプルをラベル付けし、ラベル付けされた前記オーディオサンプルをリファイニングすることによって生成され、前記ADVの自律走行中の音源を認識する機械学習アルゴリズムを、後に訓練するために利用されることを特徴とする非一過性のマシン可読媒体。 - 前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向を用いて、前記性能プロファイルを生成することが、前記リファイニングされたラベル付け後のオーディオデータを、前記オーディオサンプル、前記障害物の前記位置、及び前記障害物の前記相対方向に対してプロファイリングすることを含む請求項17に記載の非一過性のマシン可読媒体。
- 前記ラベル付けされたオーディオサンプルが、前記オーディオサンプル、オーディオサンプル識別子(ID)、前記オーディオサンプルに関連する1以上の位置、及び前記オーディオサンプルに関連する方向を含む請求項17に記載の非一過性のマシン可読媒体。
- 前記障害物が緊急車両であり、発せられた前記音がサイレン音である請求項17に記載の非一過性のマシン可読媒体。
- 前記オーディオサンプルが、前記ADVのユーザによって手動でラベル付けされる請求項17に記載の非一過性のマシン可読媒体。
- コンピュータ上で動作しているときに、請求項1~11のいずれかに記載の方法を前記コンピュータに実行させるためのコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/248,172 | 2021-01-12 | ||
US17/248,172 US11735205B2 (en) | 2021-01-12 | 2021-01-12 | Audio logging for model training and onboard validation utilizing autonomous driving vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022058556A true JP2022058556A (ja) | 2022-04-12 |
JP7316394B2 JP7316394B2 (ja) | 2023-07-27 |
Family
ID=80035068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022002306A Active JP7316394B2 (ja) | 2021-01-12 | 2022-01-11 | 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング |
Country Status (5)
Country | Link |
---|---|
US (1) | US11735205B2 (ja) |
EP (1) | EP4024365B1 (ja) |
JP (1) | JP7316394B2 (ja) |
KR (1) | KR102599790B1 (ja) |
CN (1) | CN114764523A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4253059A1 (en) | 2022-03-31 | 2023-10-04 | Seiko Epson Corporation | Liquid discharge device and wiring substrate |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11893978B2 (en) * | 2021-08-12 | 2024-02-06 | Ford Global Technologies, Llc | Speech recognition in a vehicle |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000352993A (ja) * | 1999-06-14 | 2000-12-19 | Oki Electric Ind Co Ltd | 音声認識システム及びヒドン・マルコフ・モデルの学習方法 |
US20190228305A1 (en) * | 2018-01-19 | 2019-07-25 | Zf Friedrichshafen Ag | Vehicle system for identifying and localizing non-automobile road users by means of sound |
JP2019182412A (ja) * | 2018-04-13 | 2019-10-24 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | 自動運転車に用いられる自動データラベリング |
JP2020044930A (ja) * | 2018-09-18 | 2020-03-26 | 株式会社東芝 | 移動体制御装置、方法及びプログラム |
JP2020521660A (ja) * | 2018-03-28 | 2020-07-27 | ボン ウォン,キン | 車両ロック状態検出器、検出システム及び検出方法 |
JP2020525885A (ja) * | 2017-06-27 | 2020-08-27 | ウェイモ エルエルシー | サイレンの検出およびサイレンに対する対応 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020131497A1 (en) * | 2018-12-21 | 2020-06-25 | Navio International, Inc. | Edge intelligence powered security solutions and other applications for a smart city |
US11351988B2 (en) * | 2018-07-26 | 2022-06-07 | Byton North America Corporation | Use of sound with assisted or autonomous driving |
US10996680B2 (en) * | 2018-12-31 | 2021-05-04 | Siemens Industry Software Inc. | Environmental perception in autonomous driving using captured audio |
US11567510B2 (en) * | 2019-01-24 | 2023-01-31 | Motional Ad Llc | Using classified sounds and localized sound sources to operate an autonomous vehicle |
KR102176098B1 (ko) * | 2019-01-28 | 2020-11-10 | 김영언 | 음원 인식 방법 및 장치 |
US20210027629A1 (en) * | 2019-07-25 | 2021-01-28 | Baidu Usa Llc | Blind area processing for autonomous driving vehicles |
US11609576B2 (en) * | 2019-12-05 | 2023-03-21 | Baidu Usa Llc | Emergency vehicle audio detection |
US11485308B2 (en) * | 2020-06-29 | 2022-11-01 | Nvidia Corporation | In-cabin hazard prevention and safety control system for autonomous machine applications |
US11958505B2 (en) * | 2020-07-21 | 2024-04-16 | Waymo Llc | Identifying the position of a horn honk or other acoustical information using multiple autonomous vehicles |
KR20220026004A (ko) * | 2020-08-24 | 2022-03-04 | 현대자동차주식회사 | 자율 주행 제어 장치 및 방법 |
US11816987B2 (en) * | 2020-11-18 | 2023-11-14 | Nvidia Corporation | Emergency response vehicle detection for autonomous driving applications |
DE102021205466A1 (de) * | 2021-05-28 | 2022-12-01 | Robert Bosch Gesellschaft mit beschränkter Haftung | Vorrichtung zur Detektion von Schall in der Umgebung eines Automobils |
US11705141B2 (en) * | 2021-05-28 | 2023-07-18 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods to reduce audio distraction for a vehicle driver |
-
2021
- 2021-01-12 US US17/248,172 patent/US11735205B2/en active Active
- 2021-12-29 CN CN202111642930.3A patent/CN114764523A/zh active Pending
-
2022
- 2022-01-11 JP JP2022002306A patent/JP7316394B2/ja active Active
- 2022-01-11 EP EP22150954.0A patent/EP4024365B1/en active Active
- 2022-01-12 KR KR1020220004653A patent/KR102599790B1/ko active IP Right Grant
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000352993A (ja) * | 1999-06-14 | 2000-12-19 | Oki Electric Ind Co Ltd | 音声認識システム及びヒドン・マルコフ・モデルの学習方法 |
JP2020525885A (ja) * | 2017-06-27 | 2020-08-27 | ウェイモ エルエルシー | サイレンの検出およびサイレンに対する対応 |
US20190228305A1 (en) * | 2018-01-19 | 2019-07-25 | Zf Friedrichshafen Ag | Vehicle system for identifying and localizing non-automobile road users by means of sound |
JP2020521660A (ja) * | 2018-03-28 | 2020-07-27 | ボン ウォン,キン | 車両ロック状態検出器、検出システム及び検出方法 |
JP2019182412A (ja) * | 2018-04-13 | 2019-10-24 | バイドゥ ユーエスエイ エルエルシーBaidu USA LLC | 自動運転車に用いられる自動データラベリング |
JP2020044930A (ja) * | 2018-09-18 | 2020-03-26 | 株式会社東芝 | 移動体制御装置、方法及びプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4253059A1 (en) | 2022-03-31 | 2023-10-04 | Seiko Epson Corporation | Liquid discharge device and wiring substrate |
Also Published As
Publication number | Publication date |
---|---|
JP7316394B2 (ja) | 2023-07-27 |
KR20220012955A (ko) | 2022-02-04 |
US20220223169A1 (en) | 2022-07-14 |
US11735205B2 (en) | 2023-08-22 |
KR102599790B1 (ko) | 2023-11-09 |
EP4024365A1 (en) | 2022-07-06 |
EP4024365B1 (en) | 2024-07-03 |
CN114764523A (zh) | 2022-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10915766B2 (en) | Method for detecting closest in-path object (CIPO) for autonomous driving | |
US11679764B2 (en) | Method for autonomously driving a vehicle based on moving trails of obstacles surrounding the vehicle | |
CN113050618B (zh) | 用于操作自动驾驶车辆的计算机实现的方法 | |
JP2021147030A (ja) | シナリオに基づく自動運転車両の制御 | |
EP3965066B1 (en) | Machine learning model to detect emergency vehicles fusing audio and visual signals | |
EP4113393A2 (en) | Learning-based critic for tuning a motion planner of autonomous driving vehicle | |
JP7316394B2 (ja) | 自律走行車両を利用するモデル訓練及び車中検証のためのオーディオロギング | |
EP3998609A2 (en) | Automatic audio data labelling utilizing autonomous driving vehicle | |
KR102359497B1 (ko) | 단일 차량 동작용으로 설계된 자율 주행 시스템에 따른 차량 플래툰 구현 | |
EP3914492B1 (en) | A parking-trajectory generation method combined with offline and online solutions | |
US20210229704A1 (en) | A feedback based real time steering calibration system | |
US11300414B2 (en) | Estimated time of arrival based on history | |
KR102597917B1 (ko) | 자율 주행 차량을 위한 음원 검출 및 위치 측정 | |
US11288528B2 (en) | Differentiation-based traffic light detection | |
US11325529B2 (en) | Early brake light warning system for autonomous driving vehicle | |
US20210370941A1 (en) | Precautionary slowdown speed planning | |
CN113799789B (zh) | 融合紧急车辆音频和视觉检测的机器学习模型 | |
CN113525510B (zh) | 自动将自主驾驶车辆的转向返回至中心位置的系统和方法 | |
US20230202516A1 (en) | Planning under prediction with confidence region for an autonomous driving vehicle | |
US20210197793A1 (en) | Control assistant system to align driving and riding experience between gasoline and electric vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220112 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20220527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7316394 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |