CN116229703A - 用于检测交通信号的方法、系统和存储介质 - Google Patents

用于检测交通信号的方法、系统和存储介质 Download PDF

Info

Publication number
CN116229703A
CN116229703A CN202210149180.4A CN202210149180A CN116229703A CN 116229703 A CN116229703 A CN 116229703A CN 202210149180 A CN202210149180 A CN 202210149180A CN 116229703 A CN116229703 A CN 116229703A
Authority
CN
China
Prior art keywords
traffic signal
image
data
autonomous vehicle
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210149180.4A
Other languages
English (en)
Inventor
D·夏尔玛
B·德拉·考特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN116229703A publication Critical patent/CN116229703A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18154—Approaching an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/60—Traffic rules, e.g. speed limits or right of way
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/07—Controlling traffic signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了用于检测交通信号的方法、系统和存储介质。提供了使用传感器数据来自动检测交通信号的方法。该方法可以包括：获得与自主运载工具的环境相关的第一传感器数据和第二传感器数据，其中，第一传感器数据表示自主运载工具的至少一个图像传感器所生成的环境的至少一个图像，其中，第二传感器数据表示与环境相关联的三维点云，以及其中，由自主运载工具的至少一个距离传感器来生成第二传感器数据。该方法还可以包括：确定至少一个图像的与环境中的交通信号相对应的部分，确定点云的与至少一个图像的该部分相对应的点簇，以及基于该点簇来确定交通信号的地点。还提供了系统和计算机程序产品。

Description

用于检测交通信号的方法、系统和存储介质
技术领域
本发明涉及用于使用传感器数据来自动检测交通信号的方法、系统和存储介质。
背景技术
交通信号是用于调节沿着一个或多于一个道路的交通流量的信号装置。作为示例，交通信号可以调节通过交叉口(例如，两个或多于两个道路的汇合)的运载工具和/或行人交通的流量。例如，交通信号可以指示在第一方向上行驶的交通前进通过交叉口，而同时指示在第二方向上行驶的交通在交叉口之前停止，使得不发生碰撞。
发明内容
本发明的一方面提供一种用于检测交通信号的方法，包括：通过至少一个处理器，获得与自主运载工具的环境相关的第一传感器数据和第二传感器数据，其中，所述第一传感器数据表示所述自主运载工具的至少一个图像传感器所生成的所述环境的至少一个图像，以及其中，所述第二传感器数据表示与所述环境相关联的三维点云，由所述自主运载工具的至少一个距离传感器来生成所述第二传感器数据；通过所述至少一个处理器，确定所述至少一个图像的与所述环境中的交通信号相对应的部分；通过所述至少一个处理器，确定所述点云的与所述至少一个图像的所述部分相对应的点簇；以及通过所述至少一个处理器，基于所述点簇来确定所述交通信号的地点。
本发明的另一方面提供一种用于检测交通信号的系统，包括：至少一个处理器；以及至少一个非暂时性存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时，使得所述至少一个处理器：获得与自主运载工具的环境相关的第一传感器数据和第二传感器数据，其中，所述第一传感器数据表示所述自主运载工具的至少一个图像传感器所生成的所述环境的至少一个图像，以及其中，所述第二传感器数据表示与所述环境相关联的三维点云，由所述自主运载工具的至少一个距离传感器来生成所述第二传感器数据；确定所述至少一个图像的与所述环境中的交通信号相对应的部分；确定所述点云的与所述至少一个图像的所述部分相对应的点簇；以及基于所述点簇来确定所述交通信号的地点。
本发明的又一方面提供至少一个非暂时性存储介质，其存储有指令，所述指令在由至少一个处理器执行时，使得所述至少一个处理器进行上述方法。
附图说明
图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
图2是包括自主系统的运载工具的一个或多于一个系统的图；
图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
图4是示例自主运载工具计算的图；
图5是示例交通信号检测系统的图；
图6A至图6C是交通信号检测系统所进行的示例操作的图；
图7A是神经网络的实现的图；
图7B和图7C是例示神经网络的示例操作的图；
图8是用于使用传感器数据来自动检测交通信号的处理的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
在一些方面和/或实施例中，本文所述的系统、方法和计算机程序产品包括和/或实现用于使用传感器数据来自动检测交通信号的技术。在示例实现中，计算机化的交通信号检测系统被配置为检测一个或多于一个交通信号的存在，并且生成与所检测到的交通信号中的各个交通信号的地点和朝向相关的信息。与所检测到的信号相关的信息可以用于训练人工智能系统以自动识别自主运载工具的环境中的交通信号和/或引导自主运载工具通过环境的导航。
作为说明性示例，交通信号检测信号可以接收二维图像数据(例如，自主运载工具的一个或多于一个照相机所捕获的图像)和三维点云数据(例如，自主运载工具的一个或多于一个LiDAR传感器所捕获的点云数据)。使用神经网络，系统可以自动识别图像的与交通信号相对应的部分，并且识别与所识别的部分重合的点簇。基于所识别的簇，系统可以确定交通信号在三维空间中的地点和/或朝向。
这些技术的一些优点包括(例如，与在不借助本文所描述的系统和技术的情况下检测交通信号相比)能够使得自动化系统以更大的精确度检测交通信号。在一些实现中，这使得自动化系统能够在不依赖可能耗时和/或低效的手动人类输入的情况下检测交通信号。此外，与所检测到的交通信号相关的信息可以用于改进自主运载工具的安全性。作为示例，与所检测到的交通信号相关的信息可以用于训练机器学习系统以识别交通信号，使得能够在没有人类输入的情况下更准确地检测交通信号。作为另一示例，可以将与所检测到的交通信号相关的信息提供至导航系统，使得导航系统可以根据交通信号来引导自主运载工具通过环境。
在一些实施例中，本文所描述的技术可以在诸如具有自主系统的运载工具(例如，自主运载工具)和/或不具有自主系统的运载工具等的运载工具内实现。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主系统的运载工具以及不包括自主系统的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)系统114、队列管理系统116和V2I系统118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)系统114、队列管理系统116和V2I系统118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主系统(例如，与自主系统202相同或类似的自主系统)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I系统118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114、队列管理系统116和/或V2I系统118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV系统114和/或队列管理系统116经由V2I系统118进行通信。在一些实施例中，V2I装置110被配置为与V2I系统118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、第四代(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV系统114包括被配置为与运载工具102、V2I装置110、网络112、队列管理系统116和/或V2I系统118经由网络112进行通信的至少一个装置。在示例中，远程AV系统114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程AV系统114与队列管理系统116位于同一位置。在一些实施例中，远程AV系统114参与运载工具的组件(包括自主系统、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV系统114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理系统116包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或V2I系统118进行通信的至少一个装置。在示例中，队列管理系统116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理系统116与拼车公司(例如，用于控制多个运载工具(例如，包括自主系统的运载工具和/或不包括自主系统的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I系统118包括被配置为与运载工具102、V2I装置110、远程AV系统114和/或队列管理系统116经由网络112进行通信的至少一个装置。在一些示例中，V2I系统118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I系统118包括服务器、服务器组和/或其他类似装置。在一些实施例中，V2I系统118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主系统202、动力总成控制系统204、转向控制系统206和制动系统208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶系统相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主系统202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主系统202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主系统202使用自主系统202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主系统202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个系统使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主系统202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其他系统的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
激光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的系统。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的系统。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理系统生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理系统生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个系统可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控(DBW)系统202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW系统202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f被配置为与自主运载工具系统(例如，与图1的远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW系统202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW系统202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW系统202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制系统204、转向控制系统206和/或制动系统208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW系统202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制系统204包括被配置为与DBW系统202h进行通信的至少一个装置。在一些示例中，动力总成控制系统204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制系统204从DBW系统202h接收控制信号，并且动力总成控制系统204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制系统204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制系统206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制系统206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制系统206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动系统208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动系统208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动系统208包括自动紧急制动(AEB)系统和/或再生制动系统等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位系统(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
现在参考图3，例示装置300的示意图。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的系统的至少一个装置)；以及/或者运载工具200的至少一个装置；远程AV系统114、队列管理系统116、V2I系统118的至少一个装置；以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)。在一些实施例中，运载工具102和/或200的一个或多于一个装置(例如，运载工具102和200的系统(诸如自主系统202等)的一个或多于一个装置)、远程AV系统114、队列管理系统116、V2I系统118以及/或者网络112的一个或多于一个装置(例如，网络112的系统的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。在一些实现中，(例如，如参考图5所进一步详细描述的)交通信号检测系统500可以至少通过使用一个或多于一个装置300来实现。
如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位系统(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
Figure BDA0003510026970000161
接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器306和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知系统402(有时称为感知模块)、规划系统404(有时称为规划模块)、定位系统406(有时称为定位模块)、控制系统408(有时称为控制模块)和数据库410。在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在运载工具的自动导航系统(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航系统中实现。附加地或可替代地，在一些实施例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库410包括在一个或多于一个独立系统(例如，与自主运载工具计算400相同或类似的一个或多于一个系统等)中。在一些示例中，感知系统402、规划系统404、定位系统406、控制系统408和数据库41包括在位于运载工具中的一个或多于一个独立系统以及/或者如本文所述的至少一个远程系统中。在一些实施例中，自主运载工具计算400中所包括的系统中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程系统(例如，与远程AV系统114相同或类似的自主运载工具系统、与队列管理系统116相同或类似的队列管理系统116、以及/或者与V2I系统118相同或类似的V2I系统等)进行通信。
在一些实施例中，感知系统402接收与环境中的至少一个物理对象相关联的数据(例如，感知系统402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知系统402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知系统402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知系统402对物理对象进行分类，感知系统402将与物理对象的分类相关联的数据传输到规划系统404。
在一些实施例中，规划系统404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划系统404定期地或连续地从感知系统402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划系统404基于感知系统402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划系统404从定位系统406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划系统404基于定位系统406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位系统406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位系统406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位系统406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位系统406基于各个点云来生成组合点云。在这些示例中，定位系统406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位系统406将至少一个点云或组合点云与地图进行比较，定位系统406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号等)的空间地点的地图。在一些实施例中，基于感知系统所接收到的数据来实时地生成地图。
在另一示例中，定位系统406接收由全球定位系统(GPS)接收器所生成的全球导航卫星系统(GNSS)数据。在一些示例中，定位系统406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位系统406确定运载工具在区域中的纬度和经度。在这样的示例中，定位系统406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位系统406生成与运载工具的位置相关联的数据。在一些示例中，基于定位系统406确定运载工具的位置，定位系统406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408控制运载工具的操作。在一些示例中，控制系统408从规划系统404接收与至少一个轨迹相关联的数据，并且控制系统408通过生成并传输控制信号以使动力总成控制系统(例如，DBW系统202h和/或动力总成控制系统204等)、转向控制系统(例如，转向控制系统206)和/或制动系统(例如，制动系统208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制系统408传输控制信号以使转向控制系统206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制系统408生成并传输控制信号以使运载工具200的其他装置(例如，前灯、转向信号、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408单独地或与上述系统中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知系统402、规划系统404、定位系统406和/或控制系统408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。以下关于图7A至图7C包括机器学习模型的实现的示例。
数据库410存储传输至感知系统402、规划系统404、定位系统406和/或控制系统408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个系统的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具系统(例如，与远程AV系统114相同或类似的自主运载工具系统)、队列管理系统(例如，与图1的队列管理系统116相同或类似的队列管理系统)中和/或V2I系统(例如，与图1的V2I系统118相同或类似的V2I系统)等中。
交通检测系统示例
图5示出示例交通信号检测系统500的方面。如上所述，交通信号检测系统500被配置为检测(例如，在诸如运载工具200等的自主运载工具的环境中的)一个或多于一个交通信号的存在，并且生成与所检测到的交通信号中的各个交通信号的地点和朝向相关的信息。与所检测到的信号相关的信息可以用于训练人工智能系统以自动识别自主运载工具的环境中的交通信号和/或引导自主运载工具通过环境的导航。
在一些实施例中，交通信号检测系统500可以至少部分地实现为运载工具200的一个或多于一个组件。例如，交通信号检测系统500可以实现为自主系统202的一部分，诸如自主运载工具计算202f、400和/或其一个或多于一个组件(例如，感知系统402、规划系统404、定位系统406、控制系统408和/或数据库410)的一部分等。作为另一示例，交通信号检测系统500可以至少部分地实现为运载工具200的一个或多于一个独立组件。
在一些实施例中，交通信号检测系统500可以至少部分地实现为远离运载工具200的一个或多于一个组件。作为示例，交通信号检测系统500可以实现为远程AV系统114、队列管理系统116和/或V2I系统118的组件。作为另一示例，交通信号检测系统500可以至少部分地实现为远离运载工具200的一个或多于一个独立系统(例如，诸如云计算系统等的一个或多于一个计算机装置)。
交通信号包括图像分割模块502、点投射模块504、标注模块506和数据库508。这些模块各自可以以软件、固件、硬件或其任何组合来实现。
在交通信号检测系统500的示例操作期间，交通信号检测系统500接收表示和/或包括外部环境(例如，运载工具200的环境)的一个或多于一个二维图像的图像数据510。在一些实现中，可以至少部分地使用一个或多于一个图像传感器(例如，静态照相机、视频照相机等)来生成图像数据510。作为示例，图像数据510可以至少部分地由(例如，如参考图2所述的)运载工具200的一个或多于一个照相机202a生成，并提供至交通信号检测系统500。作为另一示例，图像数据510可以至少部分地由远离运载工具200的一个或多于一个照相机生成，并提供至交通信号检测系统500以供处理。
图像分割模块502根据图像数据510的特性和/或内容将该图像数据510分割成不同的部分。
作为示例，图像分割模块502可以分析图像分割模块502所表示的图像中的各个图像的内容，确定图像的与一个或多于一个交通信号相对应的部分。此外，图像分割模块502可以将图像分割成两个或多于两个图像片段(例如，图像的一部分)，使得与交通信号相对应的一个或多于一个图像片段与不对应于交通信号的一个或多于一个其他图像片段区分开。
在一些实现中，图像分割模块502可以确定使图像片段彼此分离的一个或多于一个边界。作为示例，图像分割模块502可以确定包围第一图像片段的一个或多于一个边界框，并且将第一图像片段与一个或多于一个其他图像片段(例如，未被边界框包围的图像片段)区分开。边界框可以包括形成一个或多于一个二维和/或三维形状的一个或多于一个封闭多边形轮廓。作为示例，边界框可以包括用于限定一个或多于一个三角形、正方形、五边形、六边形和/或任何其他二维形状的一个或多于一个多边形轮廓。作为另一示例，边界框可以包括用于限定一个或多于一个多面体的一个或多于一个多边形轮廓。在一些实现中，边界框可以被表示为一系列顶点和/或线(例如，被表示为诸如x-y坐标等的图像坐标和/或向量的集合)。
此外，对于至少一些图像片段，图像分割模块502可以确定各自表示图像片段中的相应图像片段与交通信号相对应的可能性的一个或多于一个置信度量。例如，如果图像分割模块502以高置信度确定为第一图像片段与交通信号相对应，则图像分割模块502可以将高置信度量分配给第一图像片段。作为另一示例，如果图像分割模块502以低置信度确定为第二图像片段与交通信号相对应，则图像分割模块502可以将低置信度量分配给第二图像片段。
作为说明性示例，图6A(左侧窗格)示出外部环境的图像600(例如，一个或多于一个照相机所生成的道路的图像)。图像分割模块502可以分析图像600的特性和内容。此外，基于该分析，图像分割模块502可以将图像600分割成与第一交通信号604a相对应(例如，由第一边界框606a所包围)的第一图像片段602a、与第二交通信号604b相对应(例如，由第二边界框606b所包围)的第二图像片段602b以及与图像600的其余部分(例如，图像600的未被第一边界框606a或第二边界框606b包围的部分)相对应的第三图像片段602c。在图6B(右侧窗格)中示出示例经分割图像620。
此外，图像分割模块502可以针对图像片段602a和602b中的各个图像片段确定表示该图像片段与交通信号相对应的可能性的相应置信度量。例如，在图6A所示的示例中，图像分割模块502确定为图像片段602a与交通信号相对应的可能性是98.1％(例如，P＝0.981，其中，P＝1指示100％的可能性)。此外，图像分割模块502确定为图像片段602b与交通信号相对应的可能性是99.3％(例如，P＝0.993)。
在一些实现中，图像分割模块502可以基于一个或多于一个机器学习模型来进行本文所描述的至少一些确定。例如，可以训练机器学习模型以接收输入数据(例如，表示环境的一个或多于一个图像的图像数据)，并且基于该输入数据来生成与同那些图像内的交通信号的地点相关的一个或多于一个预测相关联的输出数据。图像分割模块502可以基于这些预测将图像分割成一个或多于一个图像片段。
作为示例，可以使用包括先前所生成的一个或多于一个外部环境的一个或多于一个图像的训练数据(例如，数据库508中所存储的训练数据)来训练机器学习模型。在一些实现中，这些图像中的至少一些可以由单个运载工具200(例如，实现交通信号检测系统500的运载工具200)来生成。在一些实现中，这些图像中的至少一些可以由一个或多于一个其他运载工具或系统(例如，除了实现交通信号检测系统500的运载工具以外的运载工具、远程计算机系统等)来生成。
对于各个图像，训练数据可以包括表示是否在该图像中描绘了任何交通信号的数据，并且在描绘了交通信号的数据的情况下，包括该图像的与(一个或多于一个)交通信号相对应的部分。例如，训练数据可以包括(例如，由一系列顶点和/或线所表示的)一个或多于一个边界框，各个边界框包围了图像中所描绘的不同交通信号。顶点和/或线例如可以表示为图像坐标(例如，x-y坐标)和/或向量的集合。
基于训练数据，可以训练机器学习模型以识别(i)输入数据(例如，一个或多于一个图像)和(ii)输入数据的与交通信号相对应的部分(如果有的话)(例如，图像的描绘交通信号的部分)之间的相关性、关系和/或趋势。
一旦已经训练了机器学习模型，图像分割模块502就可以将新获得的输入数据(例如，图像数据510)提供至机器学习模型，以确定输入数据的被预测与交通信号相对应的部分。此外，图像分割模块502可以(例如，使用一个或多于一个边界框)对图像数据510进行分割，以将图像的与交通信号相对应的部分与图像的未与交通信号相对应的其他部分区分开。
参考图7A至图7C进一步详细描述示例机器学习模型。
返回参考图5，图像分割模块502将经分割图像512提供至点投射模块504。此外，点投射模块504接收与外部环境(例如，运载工具200的环境)相关的点云数据514。例如，点云数据514可以表示和/或包括与图像数据510的图像和/或经分割图像512中所描绘的外部环境相同的外部环境的三维云。
在一些实现中，点云数据514和图像数据510可以由传感器系统同时生成。例如，当运载工具200穿过环境时，传感器系统可以(例如，使用一个或多于一个照相机)同时生成一个或多于一个图像以及一个或多于一个点云，使得这些图像和点云表示来自相同视点和/或视窗的外角中的被摄体。
在一些实现中，可以至少部分地使用一个或多于一个距离传感器(例如，LiDAR传感器、飞行时间传感器、雷达传感器等)来生成点云数据514。作为示例，可以至少部分地由(例如，如参考图2所述的)运载工具200的LiDAR传感器202b和/或雷达传感器202c中的一个或多于一个来生成点云数据514，并且将点云数据514提供至交通信号检测系统500以供处理。作为另一示例，可以至少部分地由远离运载工具200的一个或多于一个距离传感器来生成点云数据514，并且将点云数据514提供至交通信号检测系统500以供处理。
点投射模块504将点云数据514的至少一部分投射到经分割图像512上。例如，点投射模块504可以对经分割图像512和点云数据514进行对准或配准，使得它们共同提供与外部环境中的一个或多于一个被摄体相关的空间信息。作为示例，可以旋转、平移、倾斜、弯曲或以其他方式操纵点云数据514和/或经分割图像512，使得经分割图像512和点云数据514表示外部环境的根据公共视点和/或视窗的公共部分。
此外，点投射模块504可以确定点云数据514中的与被图像分割模块502识别为与交通信号相对应的图像片段重合的点的子集。例如，在将点云数据514的至少一部分投射到经分割图像512上时，点投射模块504可以识别点云数据514的被图像分割模块502所生成的边界框(例如，包围图像数据510的与交通信号相对应的部分的边界框)包围的点的子集。此外，点投射模块504可以丢弃或以其他方式忽略点云数据514中的其余点。
作为说明性示例，图6B(左侧窗格)示出环境的经分割图像620。通常，经分割图像620可以与参考图6A所示和所描述的经分割图像类似。例如，如图6B所示，经分割图像620可以是一个或多于一个照相机所生成的道路的图像，并且基于在该图像中所识别的交通信号被分割成不同的图像片段602a-602c。
点投射模块504可以将与环境相关的点云数据投射到经分割图像620上，使得点云中的各个点对准或配准到经分割图像620上的(例如，与该点在环境中的空间位置相对应的)特定地点。此外，如图6B(右侧窗格)所示，点投射模块504可以选择与被图像分割模块502识别为与交通信号相对应的图像片段602a和602b重合的点622a和622b的簇。此外，点投射模块504可以丢弃或以其他方式忽略点云数据514中的其余点(图6B中未示出)。
作为示例，在将点云数据的至少一部分投射到经分割图像620上时，点投射模块504可以识别边界框606a所包围(例如，与交通信号604a相对应)的点622a的簇以及边界框606b所包围(例如，与交通信号604b相对应)的点622b的簇。此外，点投射模块504可以丢弃或以其他方式忽略点云数据中的其余点(例如，不与交通信号相对应的点)。
返回参考图5，点投射模块504提供针对所识别的交通信号中的各个交通信号的交通信号数据516(例如，表示图像分割模块502所生成的边界框以及点投射模块504所识别的相应点云簇的数据)。基于交通信号数据516，标注模块506生成与图像数据510和点云数据514中所表示的交通信号中的各个交通信号相关的标注518。
作为示例，针对各个交通信号，(例如，如果交通信号检测系统500先前尚未检测到该交通信号，则)标注模块506可以生成针对该交通信号的唯一标识符，或者(例如，如果交通信号检测系统500先前已检测到该交通信号，则)确定先前针对该交通信号已生成的唯一标识符。在一些实现中，唯一标识符可以包括用于区分交通信号与其他交通信号的字母数字序列或代码。
此外，标注模块506可以将唯一标识符与表示针对该交通信号的边界框和/或点簇的数据相关联。
此外，针对各个交通信号，标注模块506可以生成指示该交通信号的地理地点的地点数据，并且将该地点数据与该交通信号的唯一标识符相关联。
例如，标注模块506可以访问指示生成图像数据510和点云数据514的地理地点的数据520(例如，指示在照相机和/或距离传感器生成图像和/或点云时它们的地点的地理坐标)。此外，标注模块506可以访问指示图像数据510和点云数据514的朝向或透视关系(例如，在照相机和/或距离传感器生成图像和/或点云时它们正面向的方向，诸如相对于一个或多于一个方向轴的角位移等)的数据520。在一些实现中，数据520可以包括在图像数据510和/或点云数据514中(例如，存储为元数据)。在一些实现中，数据520可以与图像数据510和/或点云数据514分别存储。
基于数据520，标注模块506确定表示图像数据510和点云数据514的各个交通信号的地理地点。例如，标注模块506可以确定图像数据510和/或点云数据514的与交通信号相对应的部分(例如，交通信号在图像和/或点云中的空间位置)，并且确定与该部分相对应的地理地点。在一些实现中，标注模块506可以使用地理坐标(例如，纬度和经度坐标)和海拔(例如，海平面以上的距离、地面以上的距离等)来指示交通信号的地点。
在一些实现中，交通信号标注518还可以针对各个交通信号指示该交通信号的朝向。例如，交通信号标注518可以诸如使用指南针指向和/或方向向量等指示交通信号的视觉指示器(例如，信号灯)正面向的方向。
在一些实现中，交通信号检测系统500可以通过获得针对该交通信号的点簇并使一个或多于一个平面与该点簇适配来确定交通信号的朝向。此外，交通信号检测系统500选择与点簇适配得最佳的平面(例如，与点簇对准得最接近的平面)，并且确定与该平面垂直的方向向量。选择该方向向量作为交通信号的朝向。在一些实现中，可以使用回归技术(例如，多线性回归)来使平面与点簇适配。
作为说明性示例，图6C(左侧窗格)示出表示交通信号的(例如，三维边界框642所包围的)点簇640。如图6C(右侧窗格)所示，交通信号检测系统500可以确定与点簇640适配得最佳的平面644以及与平面644垂直的向量646。可以选择向量646作为交通信号的朝向。
在一些实现中，交通信号标注518可以包括一个或多于一个数据记录或数据结构，其中各个数据记录或数据结构指示与相应交通信号相关的信息。例如，各个数据记录或数据结构可以指示针对特定交通信号的唯一标识符、表示该交通信号的一个或多于一个图像和/或点云、针对该交通信号的边界框、该交通信号的地理地点和/或该交通信号的朝向。
在一些实现中，交通信号检测系统500可以针对各个新检测到的交通信号选择性地生成新的数据记录或数据结构。例如，每当(例如，使用本文所描述的技术)检测到新的交通信号时，交通信号检测系统500可以生成新的数据记录或数据结构。此外，交通信号检测系统500可以在数据记录或数据结构中包括与交通信号相关的信息，诸如针对该交通信号的唯一标识符、表示该交通信号的一个或多于一个图像和/或点云、针对该交通信号的边界框、该交通信号的地理地点和/或该交通信号的朝向等。
在一些实现中，交通信号检测系统500可以选择性地修改现有的数据记录或数据结构，以包括与交通信号相关的附加信息。例如，当交通信号检测系统500检测到先前(例如，交通信号检测系统500或其他系统)已检测到的交通信号时，交通信号检测系统500可以检索与该数据结构相关联的数据记录或数据结构，并且用与交通信号相关的附加信息来更新数据记录或数据结构。例如，交通信号检测系统500可以更新数据记录或数据结构以包括表示该交通信号的附加图像和/或点云。作为另一示例，交通信号检测系统500可以更新数据记录或数据结构以包括针对该交通信号的经修改边界框(例如，至少部分地基于与交通信号相关的附加图像数据和/或点云数据所确定的经修改边界框)。作为另一示例，交通信号检测系统500可以更新数据记录或数据结构以包括该交通信号的经修改地点和/或朝向(例如，至少部分地基于与交通信号相关的附加图像数据和/或点云数据所确定的经修改地点和/或朝向)。
在一些实现中，可以将交通信号标注518提供至自主运载工具的导航系统，使得该导航系统可以根据交通信号来引导自主运载工具通过环境。作为示例，可以将交通信号标注518提供至自主运载工具计算202f、400。基于交通信号标注518，自主运载工具计算202f、400可以确定自主运载工具的环境中的交通信号的地理地点和/或朝向，确定交通信号用信号通知的任何指令，并且根据这些指令来导航自主运载工具。在一些实现中，自主运载工具计算202f、400可以被配置为优先检测更接近自主运载工具和/或朝向自主运载工具的交通信号。
在一些实现中，交通信号标注518可以用于生成特定地理区的特征地图，其包括与该地理区中的各个交通信号的地理地点和/或朝向相关的数据。作为示例，计算机系统可以生成地理区的地图(例如，诸如空中地图(overhead map)等的二维地图或三维地图)。此外，计算机系统可以(例如，使用图形图标、文本信息等)指示地图中的各个交通信号的地理地点和/或朝向。在一些实现中，地图可以呈现给人类操作员(例如，以辅助运载工具的手动导航)和/或呈现给自主运载工具(例如，以辅助运载工具的自主导航)。
在一些实现中，交通信号标注518可以用于训练机器学习系统以使用图像和/或点云来检测环境中的交通信号。例如，交通信号标注518可以用作图像和/或点云中的交通信号的正面示例(例如，“地面真实”示例)。基于这些示例，可以训练机器学习系统以识别(i)特性或图像和/或点云与(ii)图像或云(如果有的话)中的与交通信号相对应的部分之间的相关性、关系和/或趋势。因此，可以训练机器学习系统以在没有人类输入的情况下更准确地识别交通。
本文所描述的至少一些技术可以使用一个或多于一个机器学习模型来实现。作为示例，图7A示出机器学习模型的实现的图。更具体地，例示卷积神经网络(CNN)720的实现的图。为了说明的目的，CNN 720的以下说明将关于通过交通信号检测系统500实现CNN 720。然而，将要理解，在一些示例中，CNN 720(例如，CNN 720的一个或多于一个组件)由不同于可访问性系统的或除可访问性系统之外的其他系统(诸如自主运载工具计算202f等)来实现。尽管CNN 720包括如本文所述的某些特征，但这些特征是为了说明的目的而提供的，并且不旨在限制本公开。
CNN 720包括包含第一卷积层722、第二卷积层724和卷积层726的多个卷积层。在一些实施例中，CNN 720包括子采样层728(有时称为池化层)。在一些实施例中，子采样层728和/或其他子采样层具有比上游系统的维度(即，节点的量)小的维度。借助于具有比上游层的维度小的维度的子采样层728，CNN 720合并与上游层的初始输入和/或输出相关联的数据量，由此减少CNN 720进行下游卷积运算所需的计算量。附加地或可替代地，借助于子采样层728与至少一个子采样函数相关联(例如，被配置为进行至少一个子采样函数)(如以下关于图7B和图7C所描述的)，CNN 720合并与初始输入相关联的数据量。
基于交通信号检测系统500提供与第一卷积层722、第二卷积层724和卷积层726各自相关联的相应输入和/或输出以生成相应输出，交通信号检测系统500进行卷积运算。在一些示例中，基于交通信号检测系统500将数据作为输入提供至第一卷积层722、第二卷积层724和卷积层726，交通信号检测系统500实现CNN 720。在这样的示例中，基于交通信号检测系统500从一个或多于一个不同系统接收数据(例如，图像数据、点云数据、训练数据等)，交通信号检测系统500将数据作为输入提供至第一卷积层722、第二卷积层724和卷积层726。以下关于图7B包括卷积运算的详细说明。
在一些实施例中，交通信号检测系统500将与输入(称为初始输入)相关联的数据提供至第一卷积层722，并且交通信号检测系统500使用第一卷积层722生成与输出相关联的数据。在一些实施例中，交通信号检测系统500将由卷积层生成的输出作为输入提供至不同的卷积层。例如，交通信号检测系统500将第一卷积层722的输出作为输入提供至子采样层728、第二卷积层724和/或卷积层726。在这样的示例中，第一卷积层722被称为上游层，并且子采样层728、第二卷积层724和/或卷积层726被称为下游层。类似地，在一些实施例中，交通信号检测系统500将子采样层728的输出提供至第二卷积层724和/或卷积层726，并且在该示例中，子采样层728将被称为上游层，并且第二卷积层724和/或卷积层726将被称为下游层。
在一些实施例中，在可访问性系统向CNN 720提供输入之前，交通信号检测系统500对与提供至CNN 720的输入相关联的数据进行处理。例如，基于交通信号检测系统500对传感器数据(例如，图像数据和/或点云数据等)进行归一化，交通信号检测系统500对与提供至CNN 720的输入相关联的数据进行处理。
在一些实施例中，基于交通信号检测系统500进行与各个卷积层相关联的卷积运算，CNN 720生成输出。在一些示例中，基于交通信号检测系统500进行与各个卷积层和初始输入相关联的卷积运算，CNN 720生成输出。在一些实施例中，交通信号检测系统500生成输出并将该输出提供至全连接层730。在一些示例中，交通信号检测系统500将卷积层726的输出提供至全连接层730，其中全连接层730包括与被称为F1、F2、...、FN的多个特征值相关联的数据。在该示例中，卷积层726的输出包括与表示预测的多个输出特征值相关联的数据。
在一些实施例中，基于交通信号检测系统500识别与作为多个预测中的正确预测的最高可能性相关联的特征值，交通信号检测系统500从这多个预测中识别预测。例如，在全连接层730包括特征值F1、F2、...、FN并且F1是最大特征值的情况下，交通信号检测系统500将与F1相关联的预测识别为多个预测中的正确预测。在一些实施例中，交通信号检测系统500训练CNN 720以生成预测。在一些示例中，基于交通信号检测系统500将与预测相关联的训练数据提供至CNN 720，交通信号检测系统500训练CNN 720以生成预测。
预测可以例如包括图像的与交通信号相对应的预测部分。作为另一示例，预测可以包括包围图像的被预测为与交通信号相对应的部分的(例如，被表示为一系列顶点和/或线的)一个或多于一个边界框。
现在参考图7B和图7C，例示利用交通信号检测系统500的CNN 740的示例操作的图。在一些实施例中，CNN 740(例如，CNN 740的一个或多于一个组件)与CNN 720(例如，CNN720的一个或多于一个组件)(参见图7A)相同或相似。
在步骤750，交通信号检测系统500将数据作为输入提供至CNN 740(步骤750)。例如，交通信号检测系统500将可以提供(例如，一个或多于一个照相机202a和LiDAR传感器200b所获得的)图像数据510和/或点云数据514。作为另一示例，交通信号检测系统500可以提供从数据库508接收到的数据。
在步骤755，CNN 740进行第一卷积函数。例如，基于CNN 740将表示输入数据的值作为输入提供至第一卷积层742中所包括的一个或多于一个神经元(未明确例示出)，CNN740进行第一卷积函数。作为示例，表示图像或视频的值可以对应于表示图像或视频的区(有时称为感受野)的值。作为另一示例，表示某些其他传感器测量的值可以对应于表示该传感器测量的一部分(例如，特定时间部分和/或特定频谱部分)的值。
在一些实施例中，各个神经元与滤波器(未明确例示出)相关联。滤波器(有时称为内核)可表示为在大小上与作为输入提供至神经元的值相对应的值阵列。在一个示例中，滤波器可被配置为识别图像中的边缘(例如，水平线、垂直线和/或直线等)。在连续的卷积层中，与神经元相关联的滤波器可被配置为连续地识别图像中的更复杂的图案(例如，弧和/或对象等)。在另一示例中，滤波器可以被配置为识别音频信号的频谱部分(例如，音频信号的与特定频率和/或频率范围相对应的部分)。在连续卷积层中，与神经元相关联的滤波器可以被配置为连续识别音频信号中的更复杂的图案(例如，指示音频源的地点、音频源的标识或类型的图案等)。
在一些实施例中，基于CNN 740将作为输入提供至第一卷积层742中所包括的一个或多于一个神经元中的各个神经元的值与同一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，CNN 740进行第一卷积函数。例如，CNN 740可以将作为输入提供至第一卷积层742中所包括的一个或多于一个神经元中的各个神经元的值与同该一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，以生成单个值或值阵列作为输出。在一些实施例中，第一卷积层742的神经元的集体输出被称为卷积输出。在一些实施例中，在各个神经元具有相同滤波器的情况下，卷积输出被称为特征图。
在一些实施例中，CNN 740将第一卷积层742的各个神经元的输出提供至下游层的神经元。为了清楚起见，上游层可以是将数据传输至不同层(称为下游层)的层。例如，CNN740可以将第一卷积层742的各个神经元的输出提供至子采样层的相应神经元。在示例中，CNN 740将第一卷积层742的各个神经元的输出提供至第一子采样层744的相应神经元。在一些实施例中，CNN 740向提供至下游层的各个神经元的所有值的集合添加偏置值。例如，CNN 740向提供至第一子采样层744的各个神经元的所有值的集合添加偏置值。在这样的示例中，CNN 740基于提供至各个神经元的所有值的集合和与第一子采样层744的各个神经元相关联的激活函数来确定要提供至第一子采样层744的各个神经元的最终值。
在步骤760，CNN 740进行第一子采样函数。例如，基于CNN 740将由第一卷积层742输出的值提供至第一子采样层744的相应神经元，CNN 740可以进行第一子采样函数。在一些实施例中，CNN 740基于聚合函数来进行第一子采样函数。在示例中，基于CNN 740确定提供至给定神经元的值中的最大输入(称为最大池化函数)，CNN 740进行第一子采样函数。在另一示例中，基于CNN 740确定提供至给定神经元的值中的平均输入(称为平均池化函数)，CNN 740进行第一子采样函数。在一些实施例中，基于CNN 740向第一子采样层744的各个神经元提供值，CNN 740生成输出，该输出有时被称为子采样卷积输出。
在步骤765，CNN 740进行第二卷积函数。在一些实施例中，CNN 740以与上述的CNN740如何进行第一卷积函数类似的方式进行第二卷积函数。在一些实施例中，基于CNN 740将由第一子采样层744输出的值作为输入提供至第二卷积层746中所包括的一个或多于一个神经元(未明确例示出)，CNN 740进行第二卷积函数。在一些实施例中，如上所述，第二卷积层746的各个神经元与滤波器相关联。如上所述，与第二卷积层746相关联的(一个或多于一个)滤波器与同第一卷积层742相关联的滤波器相比可被配置为识别更复杂的图案。
在一些实施例中，基于CNN 740将作为输入提供至第二卷积层746中所包括的一个或多于一个神经元中的各个神经元的值与同该一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，CNN 740进行第二卷积函数。例如，CNN 740可以将作为输入提供至第二卷积层746中所包括的一个或多于一个神经元中的各个神经元的值与同该一个或多于一个神经元中的各个神经元相对应的滤波器的值相乘，以生成单个值或值阵列作为输出。
在一些实施例中，CNN 740将第二卷积层746的各个神经元的输出提供至下游层的神经元。例如，CNN 740可以将第一卷积层742的各个神经元的输出提供至子采样层的相应神经元。在示例中，CNN 740将第一卷积层742的各个神经元的输出提供至第二子采样层748的相应神经元。在一些实施例中，CNN 740向提供至下游层的各个神经元的所有值的集合添加偏置值。例如，CNN 740向提供至第二子采样层748的各个神经元的所有值的集合添加偏置值。在这样的示例中，CNN 740基于提供至第二子采样层748的各个神经元的所有值的集合和与第二子采样层748的各个神经元相关联的激活函数来确定提供至第二子采样层748的各个神经元的最终值。
在步骤770，CNN 740进行第二子采样函数。例如，基于CNN 740将由第二卷积层746输出的值提供至第二子采样层748的相应神经元，CNN 740可以进行第二子采样函数。在一些实施例中，基于CNN 740使用聚合函数，CNN 740进行第二子采样函数。在示例中，如上所述，基于CNN 740确定提供至给定神经元的值中的最大输入或平均输入，CNN 740进行第一子采样函数。在一些实施例中，基于CNN 740向第二子采样层748的各个神经元提供值，CNN740生成输出。
在步骤775，CNN 740将第二子采样层748的各个神经元的输出提供至全连接层749。例如，CNN 740将第二子采样层748的各个神经元的输出提供至全连接层749，以使得全连接层749生成输出。在一些实施例中，全连接层749被配置成生成与预测(有时称为分类)相关联的输出。
作为示例，输出可以包括与图像数据中的交通信号的地点相关的预测。例如，输出可以指示表示包围图像的与交通信号相对应的部分的边界框的一系列顶点和/或线。顶点和/或线例如可以表示为图像坐标(例如，x-y坐标)和/或向量的集合。
作为另一示例，输出可以包括表示图像的相应部分(例如，图像的被边界框包围的部分)与交通信号相对应的可能性的置信度量。
现在参考图8，例示用于使用传感器数据来自动检测交通信号的处理800的流程图。在一些实施例中，关于处理800所描述的一个或多于一个步骤(例如，完全地和/或部分地等)由交通信号检测系统500进行。附加地或可替代地，在一些实施例中，关于处理800所描述的一个或多于一个步骤(例如，完全地和/或部分地等)由与交通信号检测系统500分离或者包括交通信号检测系统500的其他装置或装置的群组(诸如远离运载工具的计算机系统(例如，服务器计算机和/或云计算机系统)等)进行。
继续参考图8，系统获得与自主运载工具的环境相关的第一传感器数据和第二传感器数据(块802)。第一传感器数据表示自主运载工具的至少一个图像传感器所生成的环境的至少一个图像。此外，第二传感器数据表示与环境相关联的三维点云。由自主运载工具的至少一个距离传感器来生成第二传感器数据。
在一些实现中，获得第一传感器数据可以包括：接收自主运载工具的至少一个静态照相机或视频照相机所生成的至少一个图像(例如，一个或多于一个二维图像和/或三维图像)。
在一些实现中，获得第二传感器数据可以包括：接收自主运载工具的至少一个LiDAR传感器所生成的点云数据。
继续参考图8，系统确定至少一个图像的与环境中的交通信号(例如，交通灯、停车灯等)相对应的部分(块804)。
系统确定点云的与至少一个图像的该部分相对应的点簇(块806)。
在一些实现中，确定至少一个图像的与交通信号相对应的部分可以包括：(例如，至少部分地使用计算机化的神经网络)确定包围至少一个图像中的交通信号的边界框。
此外，可以针对边界框来确定置信度量。置信度量可以表示边界框包围至少一个图像中的交通信号的可能性。在一些实现中，可以至少部分地基于计算机化的神经网络来确定置信度量。
此外，确定与至少一个图像的该部分相对应的点簇还可以包括：确定点云的与边界框重合的点的子集。例如，系统可以将边界框和点云彼此配准，并确定边界框所包围的点。
系统基于点簇来确定交通信号的地点(例如，交通信号的地理地点)(块808)。
在一些实现中，系统还可以基于点簇来确定交通信号的朝向。作为示例，系统可以使平面与点簇适配，并且基于平面的朝向来确定交通信号的朝向。例如，交通信号的朝向可以由平面的法向量表示。
在一些实现中，系统还可以将表示交通信号的地点的数据传输至自主运载工具的导航系统(例如，以使得导航系统能够根据交通信号来导航AV)。作为示例，可以将表示交通信号的地点的数据传输至自主运载工具的自主运载工具计算、感知系统、规划系统、定位系统或任何其他组件，以辅助自主运载工具通过环境的导航。
在一些实现中，系统还可以将表示交通信号的地点的数据传输至远离自主运载工具的计算机系统。例如，计算机系统可以被配置为基于数据平面来生成环境的一个或多于一个特征图(例如，以使得其他系统能够使用交通信号数据来诸如产生用于机器学习系统、识别地理区中的关注点的通用地图构建系统等的训练数据等)。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (14)

1.一种用于检测交通信号的方法，包括：
通过至少一个处理器，获得与自主运载工具的环境相关的第一传感器数据和第二传感器数据，
其中，所述第一传感器数据表示所述自主运载工具的至少一个图像传感器所生成的所述环境的至少一个图像，以及
其中，所述第二传感器数据表示与所述环境相关联的三维点云，由所述自主运载工具的至少一个距离传感器来生成所述第二传感器数据；
通过所述至少一个处理器，确定所述至少一个图像的与所述环境中的交通信号相对应的部分；
通过所述至少一个处理器，确定所述点云的与所述至少一个图像的所述部分相对应的点簇；以及
通过所述至少一个处理器，基于所述点簇来确定所述交通信号的地点。
2.根据权利要求1所述的方法，其中，获得所述第一传感器数据包括：接收所述自主运载工具的至少一个静止照相机或视频照相机所生成的至少一个图像。
3.根据权利要求1所述的方法，其中，获得所述第二传感器数据包括：接收所述自主运载工具的至少一个LiDAR传感器所生成的点云数据。
4.根据权利要求1所述的方法，其中，确定所述至少一个图像的与所述交通信号相对应的部分包括：
确定包围所述至少一个图像中的所述交通信号的边界框。
5.根据权利要求4所述的方法，其中，确定所述边界框包括：使用计算机化的神经网络来确定所述边界框。
6.根据权利要求4所述的方法，还包括：
确定表示所述边界框包围所述至少一个图像中的所述交通信号的可能性的置信度量。
7.根据权利要求6所述的方法，其中，确定所述置信度量包括：基于计算机化的神经网络来确定所述置信度量。
8.根据权利要求4所述的方法，其中，确定与所述至少一个图像的所述部分相对应的点簇包括：
确定所述点云的与所述边界框重合的点的子集。
9.根据权利要求1所述的方法，还包括：基于所述点簇来确定所述交通信号的朝向。
10.根据权利要求9所述的方法，其中，确定所述交通信号的朝向包括：
使平面与点簇适配，以及
基于所述平面的朝向来确定所述交通信号的朝向。
11.根据权利要求1所述的方法，还包括：
将表示所述交通信号的地点的数据传输至所述自主运载工具的导航系统。
12.根据权利要求1所述的方法，还包括：
将表示所述交通信号的地点的数据传输至远离所述自主运载工具的计算机系统，其中，所述计算机系统被配置为基于数据平面来生成所述环境的一个或多于一个特征图。
13.一种用于检测交通信号的系统，包括：
至少一个处理器；以及
至少一个非暂时性存储介质，其存储有指令，所述指令在由所述至少一个处理器执行时，使得所述至少一个处理器：
获得与自主运载工具的环境相关的第一传感器数据和第二传感器数据，
其中，所述第一传感器数据表示所述自主运载工具的至少一个图像传感器所生成的所述环境的至少一个图像，以及
其中，所述第二传感器数据表示与所述环境相关联的三维点云，由所述自主运载工具的至少一个距离传感器来生成所述第二传感器数据；
确定所述至少一个图像的与所述环境中的交通信号相对应的部分；
确定所述点云的与所述至少一个图像的所述部分相对应的点簇；以及
基于所述点簇来确定所述交通信号的地点。
14.至少一个非暂时性存储介质，其存储有指令，所述指令在由至少一个处理器执行时，使得所述至少一个处理器进行根据权利要求1-12中任一项所述的方法。
CN202210149180.4A 2021-12-01 2022-02-18 用于检测交通信号的方法、系统和存储介质 Pending CN116229703A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/539,412 2021-12-01
US17/539,412 US20230169780A1 (en) 2021-12-01 2021-12-01 Automatically detecting traffic signals using sensor data

Publications (1)

Publication Number Publication Date
CN116229703A true CN116229703A (zh) 2023-06-06

Family

ID=86317299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210149180.4A Pending CN116229703A (zh) 2021-12-01 2022-02-18 用于检测交通信号的方法、系统和存储介质

Country Status (5)

Country Link
US (1) US20230169780A1 (zh)
KR (1) KR102631148B1 (zh)
CN (1) CN116229703A (zh)
DE (1) DE102022103060A1 (zh)
GB (2) GB2613400B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792316A (zh) * 2010-01-22 2012-11-21 谷歌公司 交通信号的映射和检测
CN109635640A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 基于点云的交通灯识别方法、装置、设备及存储介质
US20200135030A1 (en) * 2018-10-24 2020-04-30 Waymo Llc Traffic light detection and lane state recognition for autonomous vehicles
CN111837136A (zh) * 2019-02-19 2020-10-27 深圳市大疆创新科技有限公司 基于本地感测的自主导航以及相关联的系统和方法
CN112735253A (zh) * 2020-10-22 2021-04-30 深圳裹动智驾科技有限公司 红绿灯自动标注方法及计算机设备
CN112986979A (zh) * 2019-12-17 2021-06-18 动态Ad有限责任公司 使用融合的照相机/LiDAR数据点的自动对象标注

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102117546B (zh) * 2011-03-10 2013-05-01 上海交通大学 车载交通信号灯辅助装置
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
US8831849B2 (en) * 2012-02-13 2014-09-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for traffic signal recognition
US9145140B2 (en) * 2012-03-26 2015-09-29 Google Inc. Robust method for detecting traffic signals and their associated states
DE102012021419B3 (de) * 2012-10-30 2013-07-25 Audi Ag Verfahren zum Warnen eines Fahrers eines Fahrzeugs vor einem Überschreiten einer Geschwindigkeitsbeschränkung und Fahrzeug
EP3123397A4 (en) * 2014-03-27 2017-11-08 The Georgia Tech Research Corporation Systems and methods for identifying traffic control devices and testing the retroreflectivity of the same
US20200151611A1 (en) * 2017-05-26 2020-05-14 Google Llc Machine-Learned Model System
US10719641B2 (en) * 2017-11-02 2020-07-21 Airworks Solutions, Inc. Methods and apparatus for automatically defining computer-aided design files using machine learning, image analytics, and/or computer vision
DE112019000383T5 (de) * 2018-03-07 2020-11-12 Robert Bosch Gesellschaft mit beschränkter Haftung Odometriesystem und Verfahren zum Verfolgen von Ampelanlagen
CN111238494B (zh) * 2018-11-29 2022-07-19 财团法人工业技术研究院 载具、载具定位系统及载具定位方法
US11543534B2 (en) * 2019-11-22 2023-01-03 Samsung Electronics Co., Ltd. System and method for three-dimensional object detection
US10816993B1 (en) * 2019-11-23 2020-10-27 Ha Q Tran Smart vehicle
US11335100B2 (en) * 2019-12-27 2022-05-17 Industrial Technology Research Institute Traffic light recognition system and method thereof
CN111724616B (zh) * 2020-06-11 2021-11-05 徐州国云信息科技有限公司 基于人工智能的数据获取及共享的方法与装置
US20220185324A1 (en) * 2020-12-10 2022-06-16 Motional Ad Llc Merging LiDAR Information and Camera Information
CN113673386A (zh) * 2021-08-06 2021-11-19 南京航空航天大学 一种交通信号灯在先验地图中的标注方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102792316A (zh) * 2010-01-22 2012-11-21 谷歌公司 交通信号的映射和检测
US20200135030A1 (en) * 2018-10-24 2020-04-30 Waymo Llc Traffic light detection and lane state recognition for autonomous vehicles
CN109635640A (zh) * 2018-10-31 2019-04-16 百度在线网络技术（北京）有限公司 基于点云的交通灯识别方法、装置、设备及存储介质
CN111837136A (zh) * 2019-02-19 2020-10-27 深圳市大疆创新科技有限公司 基于本地感测的自主导航以及相关联的系统和方法
CN112986979A (zh) * 2019-12-17 2021-06-18 动态Ad有限责任公司 使用融合的照相机/LiDAR数据点的自动对象标注
CN112735253A (zh) * 2020-10-22 2021-04-30 深圳裹动智驾科技有限公司 红绿灯自动标注方法及计算机设备

Also Published As

Publication number Publication date
KR20230083192A (ko) 2023-06-09
GB2613400A (en) 2023-06-07
GB202317203D0 (en) 2023-12-27
KR102631148B1 (ko) 2024-01-30
US20230169780A1 (en) 2023-06-01
DE102022103060A1 (de) 2023-06-01
GB2613400B (en) 2024-01-10

Similar Documents

Publication Publication Date Title
US11715237B2 (en) Deep learning-based camera calibration
US11562556B1 (en) Prediction error scenario mining for machine learning models
CN116265862A (zh) 运载工具、用于运载工具的系统和方法以及存储介质
US20230150549A1 (en) Hybrid log simulated driving
CN115705693A (zh) 用于传感器数据的标注的方法、系统和存储介质
CN115393677A (zh) 使用融合图像的端到端系统训练
CN116580366A (zh) 用于运载工具的方法、系统和存储介质
CN117011816A (zh) 跟踪对象的踪迹段清理
US20240054660A1 (en) Point cloud alignment systems for generating high definition maps for vehicle navigation
US20230109909A1 (en) Object detection using radar and lidar fusion
CN116149309A (zh) 用于运载工具的方法、系统和介质
KR20230033551A (ko) 운전 가능 영역 검출을 사용한 운행
CN115840441A (zh) 用于运载工具的方法、用于运载工具的系统和存储介质
KR102631148B1 (ko) 센서 데이터를 사용하여 자동으로 교통 신호 검출
US11967159B2 (en) Semantic annotation of sensor data with overlapping physical features
US20240126254A1 (en) Path selection for remote vehicle assistance
US20230391367A1 (en) Inferring autonomous driving rules from data
US20240078790A1 (en) Enriching later-in-time feature maps using earlier-in-time feature maps
US20230382427A1 (en) Motion prediction in an autonomous vehicle using fused synthetic and camera images
US20230063368A1 (en) Selecting minimal risk maneuvers
CN115705061A (zh) 用于运载工具的装置和方法
CN116483062A (zh) 用于运载工具的方法、系统以及存储介质
CN116461538A (zh) 用于运载工具的方法、系统和存储介质
CN117152709A (zh) 计算机系统、计算机实现的方法和计算机可读介质
WO2023028437A1 (en) Selecting minimal risk maneuvers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination