CN110543814A - 一种交通灯的识别方法及装置 - Google Patents

一种交通灯的识别方法及装置 Download PDF

Info

Publication number
CN110543814A
CN110543814A CN201910662904.3A CN201910662904A CN110543814A CN 110543814 A CN110543814 A CN 110543814A CN 201910662904 A CN201910662904 A CN 201910662904A CN 110543814 A CN110543814 A CN 110543814A
Authority
CN
China
Prior art keywords
sub
graph
image
traffic light
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910662904.3A
Other languages
English (en)
Other versions
CN110543814B (zh
Inventor
夏晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910662904.3A priority Critical patent/CN110543814B/zh
Publication of CN110543814A publication Critical patent/CN110543814A/zh
Priority to PCT/CN2020/103581 priority patent/WO2021013193A1/zh
Priority to US17/581,472 priority patent/US11915492B2/en
Application granted granted Critical
Publication of CN110543814B publication Critical patent/CN110543814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了人工智能领域中涉及自动驾驶技术的一种交通灯的识别方法及装置，识别装置根据车辆当前的定位信息、图像传感器的标定参数以及预先存储的地图数据，确定n个第一交通灯在第一图像中的位置信息，以及采用图像检测方法对第一图像进行检测，得到m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息，指示信息包括颜色和语义指示信息中的至少一个；后续，识别装置根据n个第一交通灯在第一图像中的位置信息和m个第二交通灯在第一图像中的位置信息，基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯，并获取与第一交通灯匹配的第二交通灯的指示信息，有效地降低了识别交通灯的误差，提高了识别的准确度。

Description

一种交通灯的识别方法及装置
技术领域
本申请涉及人工智能领域中的自动驾驶技术，尤其涉及一种交通灯的识别方法及装置。
背景技术
无人驾驶车辆在行驶过程中，通常需要识别交通灯的颜色以及位置(还可能需要识别交通灯的指向方向)，以便于根据识别结果，控制该无人驾驶车辆的运行。
现有的交通灯识别方法为：根据车辆的定位信息，获取地图中目标路口处交通灯组的位置信息，并对该交通灯组的位置信息进行坐标转换，以确定车辆的目标相机捕获的图像包含交通灯组的感兴趣区域；后续，解析感兴趣区域得到交通灯组的亮灯状态，并根据交通灯组的亮灯状态，从地图中查询当前亮灯的交通灯的指示信息，该指示信息用于指示目标路口处的通行状态。
但是，上述方法在根据交通灯组的位置信息确定感兴趣区域的过程中会存在误差，若该误差超出预期，很容易出现交通灯的误检或漏检，进而会对交通灯所属车道和交通灯的颜色等做出错误的判断，识别结果的准确度低。
发明内容
本申请提供一种交通灯的识别方法及装置，能够解决识别交通灯准确度低的问题。
为达到上述目的，本申请采用如下技术方案：
第一方面，提供一种交通灯的识别方法，交通灯的识别装置(简称为识别装置)获取车辆当前的定位信息以及通过图像传感器当前获取到的第一图像，并根据车辆当前的定位信息、图像传感器的标定参数以及预先存储的地图数据，确定n(n为大于或等于1的整数)个第一交通灯在第一图像中的位置信息，还采用图像检测方法对第一图像进行检测，得到m(m为大于或等于1的整数)个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息，该指示信息包括颜色和语义指示信息中的至少一个；之后，识别装置根据n个第一交通灯在第一图像中的位置信息和m个第二交通灯在第一图像中的位置信息，基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯，并获取与第一交通灯匹配的第二交通灯的指示信息。
本申请中相互匹配的第一交通灯和第二交通灯的数量为小于或等于min(m，n)的整数。
为了便于描述，本申请将第二交通灯在第一图像中的位置信息和第二交通灯的指示信息简称为图像检测结果，将第一交通灯在第一图像中的位置信息简称为地图定位结果。
识别装置在识别交通灯的过程中，综合考虑图像检测结果和地图定位结果，有效地防止了交通灯的误检或漏检。识别装置根据图像检测结果和地图定位结果，以预设的误差约束为条件，确定相互匹配的第一交通灯和第二交通灯，并获取与第一交通灯匹配的第二交通灯的指示信息，有效地降低了识别交通灯的误差，提高了识别的准确度。
可选的，在本申请的一种可能的实现方式中，上述“识别装置根据n个第一交通灯在第一图像中的位置信息和m个第二交通灯在第一图像中的位置信息，基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯”的方法包括：识别装置执行下述步骤A、步骤B以及步骤C，以确定第一子图组和第二子图组中是否存在相互匹配的子图对。若存在相互匹配的子图对，则识别装置根据相互匹配的子图对，确定相互匹配的第一交通灯和第二交通灯。
具体的，步骤A为：识别装置从n个第一交通灯中选取i个第一交通灯，并生成第一子图组，该第一子图组包括k个子图，第一子图组中的每一子图均包括第一位置或第一位置关系，第一位置用于表示该子图所包括的i个第一交通灯在第一图像中的位置，第一位置关系用于表示该子图所包括的i个第一交通灯在第一图像中的位置之间的关系，1≤i≤min(n，m)。步骤B为：识别装置从m个第二交通灯中选取i个第二交通灯，并生成第二子图组，该第二子图组包括p个子图，第二子图组中的每一子图均包括第二位置或第二位置关系，第二位置用于表示该子图所包括的i个第二交通灯在第一图像中的位置，第二位置关系用于表示该子图所包括的i个第二交通灯在第一图像中的位置之间的关系，步骤C为：识别装置判断第一子图组和第二子图组中是否存在相互匹配的子图对，相互匹配的子图对中分别包括的第一位置和第二位置之间的误差小于预设的误差约束，或相互匹配的子图对中分别包括的第一位置关系和第二位置关系之间的误差小于预设的误差约束。
识别装置当前获取到的第一子图组中每个子图所包括的交通灯的数量与当前获取到的第二子图组中每个子图所包括的交通灯的数量相同。识别装置通过确定相互匹配的子图对，确定出相互匹配的第一交通灯和第二交通灯。
本申请中的子图包括一个或多个交通灯。若子图仅包括一个交通灯，则该子图用于表示该交通灯在第一图像中的位置。若子图包括多个交通灯，则该子图用于表示多个交通灯中每个交通灯在第一图像中的位置，以及多个交通灯在第一图像中的位置之间的关系。
在本申请中，若第一子图组中的一个子图(如子图A)与第二子图组中的一个子图(如子图B)相互匹配，则子图A和子图B称为“相互匹配的子图对”，即“相互匹配的子图对”包括子图A和子图B。
可选的，在本申请的另一种可能的实现方式中，上述“识别装置根据相互匹配的子图对，确定相互匹配的第一交通灯和第二交通灯”的方法包括：若存在至少两对相互匹配的子图对，则识别装置从至少两对相互匹配的子图对中选择一对相互匹配的子图对，选择出的相互匹配的子图对分别包括第一子图组中的第一子图和第二子图组中的第二子图；识别装置确定第一子图中按照预设顺序排列的第j个第一交通灯与第二子图中按照预设顺序排列的第j个第二交通灯匹配。若仅存在一对相互匹配的子图对，且相互匹配的子图对分别包括第一子图组中的第一子图和第二子图组中的第二子图，则识别装置确定第一子图中按照预设顺序排列的第j个第一交通灯与第二子图中按照预设顺序排列的第j个第二交通灯匹配。其中，j∈[1，i]。
若第一子图与第二子图相匹配，则说明第一子图中第一交通灯在第一图像中的位置与第二子图中第二交通灯在第一图像中的位置之间的误差小于预设误差值，且在第一子图和第二子图中相互对应的交通灯之间的距离小于预设距离。这样，识别装置确定第一子图中按照预设顺序排列的第j个第一交通灯与第二子图中按照预设顺序排列的第j个第二交通灯匹配。这里的预设顺序可以为空间从左到右的顺序，也可以为空间从上到下的顺序，还可以为空间从右到左的顺序，本申请对此不作限定。
可选的，在本申请的另一种可能的实现方式中，若上述第一子图组和第二子图组中不存在相互匹配的子图对，识别装置则重新确定i的取值，并根据重新确定的i的取值，执行步骤A、步骤B以及步骤C。
识别装置可以随机确定i的取值，也可以从n和m的最小值开始以递减的顺序确定i的取值，本申请对此不作限定。识别装置从n和m的最小值开始以递减的顺序确定i的取值，能够有效地防止交通灯的误检或漏检。相比于识别装置随机确定i的取值的方式而言，该方式还能有效的提高识别交通灯的效率。
可选的，在本申请的另一种可能的实现方式中，本申请中的误差约束为几何误差和距离误差。上述“识别装置判断第一子图组和第二子图组中是否存在相互匹配的子图对”的方法包括：识别装置计算第三子图(第一子图组中的任一子图)与第四子图(第二子图组中的任一子图)之间的几何误差(包括比例误差和角度误差中的至少一个)和距离误差；后续，识别装置通过判断几何误差是否满足预设条件，以及距离误差是否小于预设距离，确定第三子图与第四子图是否匹配，即确定出第一子图组和第二子图组中是否存在相互匹配的子图对。具体的，若几何误差满足预设条件，且距离误差小于预设距离，则第三子图与第四子图相互匹配。
上述比例误差用于表示第一长度与第二长度的比值，第一长度为第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度，第二长度为第四子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度。角度误差用于表示第一角度与第二角度的差值，第一角度为第一连线与第一图像的坐标系中预设坐标轴之间的夹角的角度，第二角度为第二连线与预设坐标轴之间的夹角的角度，第一连线为第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间连线，第二连线为第四子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的连线；距离误差用于表示第三子图中按照预设顺序排列的第j个交通灯与第四子图中按照预设顺序排列的第j个交通灯之间的距离；j∈[1，i]。
相应的，几何误差满足预设条件包括：若几何误差包括比例误差，比例误差小于或等于第一预设阈值；若几何误差包括角度误差，角度误差小于或等于第二预设阈值。
可选的，在本申请的另一种可能的实现方式中，本申请的几何误差还包括语义误差。其中，语义误差用于表示第四子图中按照预设顺序排列的第j个交通灯的语义信息相对于第三子图中按照预设顺序排列的第j个交通灯的语义信息的置信度。
相应的，几何误差满足预设条件还包括：语义误差小于或等于第三预设阈值。
可选的，在本申请的另一种可能的实现方式中，上述“若存在至少两对相互匹配的子图对，则识别装置从至少两对相互匹配的子图对中选择一对相互匹配的子图对”的方法包括：识别装置从至少两对相互匹配的子图对中选择几何误差与距离误差的和最小的一对子图对，有效地提高了识别的准确性。
可选的，在本申请的另一种可能的实现方式中，上述“识别装置采用图像检测方法对第一图像进行检测，得到m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息”的方法包括：识别装置通过预设的神经网络模型对第一图像进行检测，得到m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息。
本申请的识别装置可以采用神经网络模型对第一图像进行检测，或者，识别装置采用物体识别算法或其他计算机视觉技术对第一图像进行检测。
第二方面，提供一种识别装置。本申请提供的识别装置包括存储单元、获取单元、确定单元、图像检测单元和匹配单元。
具体的，上述获取单元，用于获取车辆当前的定位信息以及第一图像，第一图像为通过图像传感器当前获取到的。上述确定单元，用于根据上述获取单元获取到的车辆当前的定位信息、图像传感器的标定参数以及上述存储单元预先存储的地图数据，确定n个第一交通灯在第一图像中的位置信息，n为大于或等于1的整数。上述图像检测单元，用于采用图像检测方法对上述获取单元获取到的第一图像进行检测，得到m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息，指示信息包括颜色和语义指示信息中的至少一个，m为大于或等于1的整数。上述匹配单元，用于根据上述确定单元确定出的n个第一交通灯在第一图像中的位置信息和上述图像检测单元得到的m个第二交通灯在第一图像中的位置信息，基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯。上述获取单元，还用于获取上述匹配单元确定出的与第一交通灯匹配的第二交通灯的指示信息。
可选的，在本申请的一种可能的实现方式中，上述匹配单元具体用于：步骤A：从n个第一交通灯中选取i个第一交通灯，并生成第一子图组，第一子图组包括k个子图，第一子图组中的每一子图均包括第一位置或第一位置关系，第一位置用于表示该子图所包括的i个第一交通灯在第一图像中的位置，第一位置关系用于表示该子图所包括的i个第一交通灯在第一图像中的位置之间的关系，1≤i≤min(n，m)；步骤B：从m个第二交通灯中选取i个第二交通灯，并生成第二子图组，第二子图组包括p个子图，第二子图组中的每一子图均包括第二位置或第二位置关系，第二位置用于表示该子图所包括的i个第二交通灯在第一图像中的位置，第二位置关系用于表示该子图所包括的i个第二交通灯在第一图像中的位置之间的关系，步骤C：判断第一子图组和第二子图组中是否存在相互匹配的子图对；相互匹配的子图对中分别包括的第一位置和第二位置之间的误差小于的误差约束，或相互匹配的子图对中分别包括的第一位置关系和第二位置关系之间的误差小于预设的误差约束；若存在相互匹配的子图对，则根据相互匹配的子图对，确定相互匹配的第一交通灯和第二交通灯。
可选的，在本申请的另一种可能的实现方式中，上述匹配单元具体用于：若存在至少两对相互匹配的子图对，则从至少两对相互匹配的子图对中选择一对相互匹配的子图对，选择出的相互匹配的子图对分别包括第一子图组中的第一子图和第二子图组中的第二子图；确定第一子图中按照预设顺序排列的第j个第一交通灯与第二子图中按照预设顺序排列的第j个第二交通灯匹配；若仅存在一对相互匹配的子图对，且相互匹配的子图对分别包括第一子图组中的第一子图和第二子图组中的第二子图，则确定第一子图中按照预设顺序排列的第j个第一交通灯与第二子图中按照预设顺序排列的第j个第二交通灯匹配；其中，j∈[1，i]。
可选的，在本申请的另一种可能的实现方式中，上述确定单元，还用于若匹配单元确定不存在相互匹配的子图对，则重新确定i的取值。上述匹配单元，还用于根据上述确定单元重新确定的i的取值，执行步骤A、步骤B以及步骤C。
可选的，在本申请的另一种可能的实现方式中，上述误差约束为几何误差和距离误差。相应的，上述匹配单元具体用于：计算第三子图与第四子图之间的几何误差和距离误差，第三子图为第一子图组中的任一子图，第四子图为第二子图组中的任一子图；若几何误差满足预设条件，且距离误差小于预设距离，则确定第三子图与第四子图相互匹配，几何误差包括比例误差和角度误差中的至少一个。
比例误差用于表示第一长度与第二长度的比值，第一长度为第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度，第二长度为第四子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度。角度误差用于表示第一角度与第二角度的差值，第一角度为第一连线与第一图像的坐标系中预设坐标轴之间的夹角的角度，第二角度为第二连线与预设坐标轴之间的夹角的角度，第一连线为第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间连线，第二连线为第四子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的连线；j∈[1，i]。距离误差用于表示第三子图中按照预设顺序排列的第j个交通灯与第四子图中按照预设顺序排列的第j个交通灯之间的距离。几何误差满足预设条件包括：若几何误差包括比例误差，比例误差小于或等于第一预设阈值；若几何误差包括角度误差，角度误差小于或等于第二预设阈值。
可选的，在本申请的另一种可能的实现方式中，几何误差还包括语义误差；语义误差用于表示第四子图中按照预设顺序排列的第j个交通灯的语义信息相对于第三子图中按照预设顺序排列的第j个交通灯的语义信息的置信度。几何误差满足预设条件还包括：语义误差小于或等于第三预设阈值。
可选的，在本申请的另一种可能的实现方式中，上述匹配单元，具体用于若存在至少两对相互匹配的子图对，则从至少两对相互匹配的子图对中选择几何误差与距离误差的和最小的一对子图对。
可选的，在本申请的另一种可能的实现方式中，上述图像检测单元，具体用于通过预设的神经网络模型对第一图像进行检测，得到m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息。
第三方面，提供一种交通灯的识别装置，该识别装置包括：一个或多个处理器和存储器。存储器与上述一个或多个处理器耦合。存储器用于存储计算机程序代码，该计算机程序代码包括指令，当一个或多个处理器执行该指令时，识别装置执行如上述第一方面及其任意一种可能的实现方式中任意之一所述的交通灯的识别方法。
第四方面，提供一种包含指令的计算机程序产品，该计算机程序产品包括指令，当上述第三方面所述的识别装置的处理器执行该指令时，使得所述识别装置执行如上述第一方面及其任意一种可能的实现方式中任意之一所述的交通灯的识别方法。
第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质包括指令，当上述第三方面所述的识别装置的处理器执行该指令时，使得所述识别装置执行如上述第一方面及其任意一种可能的实现方式中任意之一所述的交通灯的识别方法。
第六方面，提供一种车辆，该车辆包括上述第三方面所述的识别装置。
可选的，在识别装置获取到与第一交通灯匹配的第二交通灯的指示信息后，车辆根据该指示信息控制该车辆的运行。
本申请中的车辆可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、手推车等。
在本申请中，上述识别装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申请权利要求及其等同技术的范围之内。
本申请中第二方面到第五方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面到第五方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
图1A为本申请实施例中识别装置的硬件结构示意图；
图1B为本申请实施例中车辆的硬件结构示意图；
图2为本申请实施例中交通灯的识别方法的流程示意图一；
图3为本申请实施例中识别装置确定第一交通灯在第一图像中的位置信息的示意图；
图4为本申请实施例中识别装置确定第二交通灯在第一图像中的位置信息，以及第二交通灯的指示信息的示意图；
图5为本申请实施例中第一交通灯和第二交通灯在第一图像中的分布示意图；
图6为图5中第一交通灯和第二交通灯的分布示意图；
图7为本申请实施例中第一子图组和第二子图组的示意图；
图8为本申请实施例中识别装置确定几何误差和距离误差的原理图；
图9为本申请实施例中交通灯的识别方法的流程示意图二；
图10为本申请实施例中交通灯的识别装置的结构示意图；
图11为本申请实施例中计算机程序产品的结构示意图。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于限定特定顺序。
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
无人驾驶是人工智能领域的一种主流应用，无人驾驶技术依靠计算机视觉、雷达、监控装置和全球定位系统等协同合作，让机动车辆可以在不需要人类主动操作下，实现自动驾驶。
通常，无人驾驶车辆需要通过摄像头、激光雷达等传感器感应环境。在行驶过程中，无人驾驶车辆需要识别前方是否存在交通灯，并且在识别到交通灯后获取交通信号信息，以便于根据交通信号信息对无人驾驶车辆进行控制。
现有技术中，交通灯识别方法有很多种。例如：利用摄像机获取车辆前方区域的至少一个图像，并对获取到的图像进行目标检测，以根据检测结果控制车辆的运行。但是，该方法很容易出现交通灯的误检或漏检，并且很难检测出交通灯所属车道，识别结果的准确度低。又例如：根据车辆的定位信息，获取地图中目标路口处交通灯组的位置信息，并对该交通灯组的位置信息进行坐标转换，以确定车辆的目标相机捕获的图像包含交通灯组的感兴趣区域；后续，解析感兴趣区域得到交通灯组的亮灯状态，并根据交通灯组的亮灯状态，从地图中查询当前亮灯的交通灯的指示信息，该指示信息用于指示目标路口处的通行状态。但是，该方法在根据交通灯组的位置信息确定感兴趣区域的过程中会存在误差，若该误差超出预期，很容易出现交通灯的误检或漏检，进而会对交通灯所属车道和交通灯的颜色等做出错误的判断，识别结果的准确度低。
为此，本申请实施例提供一种交通灯的识别方法及装置。具体的，识别装置获取并检测图像传感器获得的图像，以获取第二交通灯在该图像中的位置信息以及该第二交通灯的指示信息(简称为图像检测结果)；识别装置还根据车辆的定位信息、图像传感器的标定参数以及预先存储的地图数据，获取第一交通灯在上述图像中的位置信息(简称为地图定位结果)；之后，识别装置基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯，并获取与第一交通灯匹配的第二交通灯的指示信息，有效地降低了识别交通灯的误差，提高了识别的准确度。
上述交通灯的指示信息包括颜色和语义指示信息中的至少一个。其中，语义指示信息可以为指向方向、限速数值等。
例如：识别装置对获取到的图像进行检测，获取到位于A位置的交通灯B的颜色为红色，指向方向用于指示车辆左转。
本申请实施例涉及到的第一交通灯和第二交通灯仅仅是用于区分识别装置采用不同方法得到的交通灯，并不是对交通灯的限定。
需要说明的是，本申请实施例所描述的交通灯可以指常规的红绿灯，也可以指显示内容可变的交通指示标志，如潮汐车道的指示灯/指示牌、根据车流量的变化限速要求不同的限速指示牌等。
为了便于理解，后续交通灯主要以常规的红绿灯为例进行说明。
上述识别装置为车辆中用于识别交通灯的设备，该设备可以为车载设备，也可以为车载设备中的芯片。
通常，该识别装置与车辆中的图像传感器、惯导设备、激光雷达以及摄像头等仪器建立有线通信连接或无线通信连接，以获取图像传感器捕获到的图像，惯导设备测量出的车辆定位信息，激光雷达测量出的交通灯的位置信息等。
为了便于理解，现在对本申请实施例中的识别装置的结构进行描述。
在一种示例中，图1A示出了本申请实施例中识别装置的一种硬件结构示意图。如图1A所示，该识别装置可以包括处理器10，存储器11和通信接口12，处理器10，存储器11和通信接口12通过通信总线13连接。通信接口12还可以与车辆中的图像传感器、惯导设备等连接。
处理器10可以包括一个或多个处理单元，例如：处理器10可以包括应用处理器(application processor，AP)，特定应用集成电路(application-specific integratedcircuit，ASIC)，图形处理器(graphics processing unit，GPU)，图像信号处理器(imagesignal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signalprocessor，DSP)，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
处理器10可以是识别装置的神经中枢和指挥中心。处理器10可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
示例性的，处理器10可以用于采集图像传感器发出的数字图像信号，并对采集的图像数据进行检测，以确定第二交通灯在图像中的位置信息，以及第二交通灯的指示信息(包括颜色和语义指示信息中的至少一个)，还可以用于利用管道设备或激光雷达等检测到的车辆的定位信息，确定第一交通灯在图像中的位置信息，还可以根据用户设置，调整图像传感器的各种参数，以达到算法或客户要求的图像效果，如调整图像传感器的曝光时间、增益等参数；还可以用于为不同环境条件下所拍摄的图像选择正确的图像处理参数，确保图像质量，为识别对象的系统提供保证；还可以用于对图像传感器输入的原始图像进行剪裁，以输出其他用户要求的图像分辨率。
作为一种实施例，处理器10中还可以设置存储器，用于存储指令和数据。
一种可能的实现方式中，处理器10中的存储器为高速缓冲存储器。该存储器可以保存处理器10刚用过或循环使用的指令或数据。如果处理器10需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器10的等待时间，因而提高了系统的效率。
作为一种实施例，处理器10可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，以太网接口，和/或通用串行总线(universal serial bus，USB)接口等。
存储器11可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器10通过运行存储在存储器11的指令，从而执行识别装置的各种功能应用以及数据处理。例如，在本申请实施例中，处理器10可以通过执行存储在存储器11中的指令，根据车辆当前的定位信息、图像传感器的标定参数以及预先存储的地图数据，确定n个第一交通灯在第一图像(图像传感器获得的图像)中的位置信息。
存储器11可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如用于确定交通灯是否匹配的功能等)等。存储数据区可存储识别装置使用过程中所创建、生成的数据(比如n个第一交通灯在第一图像中的位置信息，m个第二交通灯在第一图像中的位置信息，以及所述m个第二交通灯的指示信息)等。
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
通信接口12用于与其他设备连接，例如，处理器10通过通信接口12获取图像传感器得到的第一图像。可选的，通信接口12用于接收系统工作的配置参数(如图像传感器的标定参数)，并传递到处理器10。通信接口12还可以用于连接如目标物体检测器、雷达等外接设备，保证了系统的扩展性。
在本申请实施例中，通信总线13，可以是工业标准体系结构(Industry StandardArchitecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图1A中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
需要指出的是，图1A中示出的设备结构并不构成对该识别装置的限定，除图1A所示部件之外，该识别装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本申请实施例所描述的车辆包括上述识别装置，该车辆可以是指无人驾驶汽车，也可以是指常规的需要驾驶员驾驶的汽车，具体可以配备有激光雷达、图像传感器、惯导设备、摄像头等仪器。
无论本申请实施例中的车辆是否需要驾驶员驾驶，该车辆的形态可以为多种。例如，本申请实施例中的车辆可以为轿车、卡车、摩托车、公共汽车、船、飞机、直升飞机、割草机、娱乐车、游乐场车辆、施工设备、电车、高尔夫球车、火车、手推车等。
若车辆为无人驾驶汽车，则在采用本申请实施例提供的交通灯的识别方法识别到交通灯后，无人驾驶汽车根据识别结果控制车辆的运行。若车辆为驾驶员驾驶的汽车，则该汽车可以采用本申请实施例提供的交通灯的识别方法识别交通灯，识别结果辅助驾驶员的驾驶。
图1B是本申请实施例提供的车辆的功能框图。如图1B所示，车辆可包括行进系统20、传感器系统21、控制系统22、一个或多个外围设备23以及电源24、计算机系统25和用户接口26。
可选的，车辆可包括更多或更少的子系统，并且每个子系统可包括多个元件。另外，车辆的每个子系统和元件可以通过有线或者无线互连。
行进系统20可包括为车辆提供动力运动的组件。在一个实施例中，行进系统20可包括引擎201、能量源202、传动装置203和车轮/轮胎204。
其中，引擎201可以是内燃引擎、电动机、空气压缩引擎或其他类型的引擎组合，例如气油发动机和电动机组成的混动引擎，内燃引擎和空气压缩引擎组成的混动引擎。引擎201将能量源202转换成机械能量。
能量源202可以包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、太阳能电池板、电池和其他电力来源。能量源202也可以为车辆的其他系统提供能量。
传动装置203可以将来自引擎201的机械动力传送到车轮204。传动装置203可包括变速箱、差速器和驱动轴。在一个实施例中，传动装置203还可以包括其他器件，比如离合器。其中，驱动轴可包括可耦合到一个或多个车轮204的一个或多个轴。
传感器系统21可包括感测关于车辆周边的环境的信息的若干个传感器。例如，传感器系统21可包括定位系统211(定位系统可以是全球定位系统(global positioningsystem，GPS)系统，也可以是北斗系统或者其他定位系统)、惯导设备(例如：惯性测量单元(inertial measurement unit，IMU))212、雷达213、激光测距仪214以及图像传感器215。传感器系统21还可包括用于监视车辆的内部系统的传感器，例如，车内空气质量监测器、燃油量表、机油温度表等。
传感器系统21中的传感器数据可用于检测对象及其相应特性(位置、形状、方向、速度等)。这种检测和识别是车辆安全操作的关键功能。
定位系统211可用于估计车辆的地理位置。
惯导设备212用于基于惯性加速度来感测车辆的位置和朝向变化。在一个实施例中，惯导设备212可以是加速度计和陀螺仪的组合。
雷达213可利用无线电信号来感测车辆的周边环境内的物体。在一些实施例中，除了感测物体以外，雷达213还可用于感测物体的速度和/或前进方向。
激光测距仪214可利用激光来感测车辆所位于的环境中的物体。在一些实施例中，激光测距仪214可包括一个或多个激光源、激光扫描器以及一个或多个检测器，以及其他系统组件。
图像传感器215可用于捕捉车辆的周边环境的多个图像。一般的，图像传感器与摄像头一一对应。
物体通过摄像头生成光学图像投射到图像传感器215。图像传感器215可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor，CMOS)光电晶体管。图像传感器215把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。
在一些实施例中，车辆可以包括一个或多个摄像头。一般的，摄像头和图像传感器之间一一对应。示例性的，本申请实施例中若车辆包括N(N为大于或等于1的整数)个摄像头，则该车辆包括N个图像传感器。
摄像头在车辆的设置/分布情况需视实际情况而定。示例性的，若摄像头可以安装在车辆的挡风玻璃上边缘的中间位置，也可以安装在车辆的前后左右四侧等，本申请实施例对此不作具体限定。
若车辆包括多个摄像头，该多个摄像头的安装位置、安装角度、焦距等参数中的一项或多项参数可设为不同，以实现捕获不同距离范围内的交通灯的图像，有效扩大了交通灯的识别范围，提高识别的准确性。
传感器系统21中的全部或部分组件，如上述图像传感器215、惯导设备212、激光测距仪214等仪器中的部分或全部，可以一直处于开启状态，以提高识别交通灯的准确率。当然，为了节约能耗，传感器系统21中的全部或部分组件也可以周期性处于开启状态，本申请实施例对此不作限定。
控制系统22为控制车辆及其组件的操作。控制系统22可包括各种元件，例如：转向系统220、油门221、制动单元222、识别装置223、路线控制系统224以及障碍物避免系统225。
转向系统220可操作来调整车辆的前进方向。例如：在一个实施例中可以为方向盘系统。
油门221用于控制引擎201的操作速度并进而控制车辆的速度。
制动单元222用于控制车辆减速。制动单元222可使用摩擦力来减慢车轮204。在其他实施例中，制动单元222可将车轮204的动能转换为电流。制动单元222也可采取其他形式来减慢车轮204转速从而控制车辆的速度。
识别装置223的结构可以参考上述图1A的描述。
识别装置223可以对图像传感器215获取到的图像进行图像检测，以识别车辆周边环境中的物体和/或特征。所述物体和/或特征可包括交通等(或交通信号)、道路边界和障碍物。识别装置223可使用神经网络模型、物体识别算法、运动中恢复结构(Structure fromMotion，SFM)算法、视频跟踪和其他计算机视觉技术进行图像检测。
此外，识别装置223还可以获取惯导设备212所测量的车辆的位置信息、图像传感器215的标定参数，并根据车辆的位置信息、图像传感器215的标定参数和预先存储的地图数据，确定第一交通灯在图像传感器215得到的图像中的位置信息。
进一步地，识别装置223还基于预设的误差约束，根据地图定位结果(参考上述描述)和图像检测结果(参考上述描述)，确定相互匹配的第一交通灯和第二交通灯，进而获取与第一交通灯相互匹配的第二交通灯的指示信息，即确定交通灯的识别结果。
路线控制系统224用于确定车辆的行驶路线。在一些实施例中，路线控制系统224可结合来自图像传感器215、定位系统211和一个或多个预定地图的数据，为车辆确定行驶路线。
障碍物避免系统225用于识别、评估和避免或者以其他方式越过车辆的环境中的潜在障碍物。
当然，在一个实例中，控制系统22可以增加或替换地包括除了所示出和描述的那些以外的组件。或者也可以减少一部分上述示出的组件。
车辆通过外围设备23与外部传感器、其他车辆、其他计算机系统或用户之间进行交互。外围设备23可包括无线通信系统27、车载电脑28、麦克风29和/或扬声器30。
在一些实施例中，外围设备23提供车辆的用户与用户接口26交互的手段。例如，车载电脑28可向车辆的用户提供信息。用户接口26还可操作车载电脑28来接收用户的输入。车载电脑28可以通过触摸屏进行操作。在其他情况中，外围设备23可提供用于车辆与位于车内的其它设备通信的手段。例如，麦克风29可从车辆的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器30可向车辆的用户输出音频。
无线通信系统27可以直接地或者经由通信网络来与一个或多个设备无线通信。例如，无线通信系统27可使用3G蜂窝通信，例如CDMA、GSM/GPRS，或者4G蜂窝通信，例如LTE。或者5G蜂窝通信。无线通信系统27可利用WiFi与无线局域网(wireless local areanetwork，WLAN)通信。在一些实施例中，无线通信系统27可利用红外链路、蓝牙或ZigBee与设备直接通信。其他无线协议，例如各种车辆通信系统，例如，无线通信系统27可包括一个或多个专用短程通信(dedicated short range communications，DSRC)设备，这些设备可包括车辆和/或路边台站之间的公共和/或私有数据通信。
电源24可向车辆的各种组件提供电力。在一个实施例中，电源24可以为可再充电锂离子或铅酸电池。这种电池的一个或多个电池组可被配置为电源为车辆的各种组件提供电力。在一些实施例中，电源24和能量源202可一起实现，例如一些全电动车中那样。
车辆的部分或所有功能还受计算机系统25控制。计算机系统25可包括至少一个处理器250和存储器251，处理器250执行存储于存储器251中的指令。计算机系统25还可以是采用分布式方式控制车辆的个体组件或子系统的多个计算设备。
处理器250可以是任何常规的处理器，诸如商业可获得的CPU、ASIC或其它基于硬件的处理器的专用设备。
存储器251可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器250通过运行存储在存储器251的指令，实现车辆的各种功能，包括以上描述的那些功能。当然，存储器251也可包括行进系统20、传感器系统21、控制系统22和外围设备23中的一个或多个数据，例如地图数据、路线信息等，也可以存储行进系统20、传感器系统21、控制系统22和外围设备23中的指令。
用户接口26，用于向车辆的用户提供信息或从其接收信息。可选地，用户接口26可包括在外围设备23的集合内的一个或多个输入/输出设备，例如无线通信系统27、车载电脑28、麦克风29和扬声器30。
计算机系统25可基于从各种子系统(例如，行进系统20、传感器系统21、控制系统22)以及用户接口26接收的数据来控制车辆的功能。例如，计算机系统25可利用来自控制系统22的数据控制转向系统220，以躲避障碍物避免系统225检测到的障碍物。
可选地，图1B示出的组件可以采用有线和/或无线方式耦合在一起。图1B示出的组件中的一个或多个可与车辆分开安装，也可以安装于车辆中。例如，存储器251可以置于车辆外的服务器中。
可选地，图1B示出的车辆的结构只是一个示例。在实际应用中，除图1B所示部件之外，车辆可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图1A所示的识别装置和图1B所示的车辆对本申请实施例提供的交通灯的识别方法进行描述。
图2为本申请实施例提供的一种交通灯的识别方法的流程示意图。如图2所示，本申请实施例提供的交通灯的识别方法包括：
S200、识别装置获取车辆当前的定位信息以及通过图像传感器当前获取到的第一图像。
在车辆运行过程中，识别装置可以通过惯导设备/激光雷达实时获取车辆的定位信息，也可以采用卫星定位技术(例如：GPS技术)实时获取车辆的定位信息，还可以采用其他现有的任意一种定位技术实时获取车辆的定位信息，本申请实施例对此不作限定。
这里，车辆的定位信息可以包括经纬度、海拔高度以及车辆的姿态信息(如车头朝向)等。
上述车辆的定位信息中的经纬度以及海拔高度均是在世界坐标系(也可称为地理坐标系)中的数据。世界坐标系是指通过经纬度来表示地球表面点位的坐标系，该坐标系可用于描述车辆周边的任一物体的位置。
识别装置与图像传感器连接，因此，识别装置还能够获取通过图像传感器当前获取到的第一图像(例如：如图5示出的图像)。
为了有效地提高识别交通灯的准确率，识别装置获取车辆的定位信息和图像传感器获取第一图像的时间应该保持一致，否则会出现数据完全不匹配的问题。
本申请实施例中的“车辆的当前的定位信息”用于表示在当前时刻车辆的定位信息，“图像传感器当前获取到的第一图像”用于表示在所述当前时刻图像传感器获取到的第一图像。
S201、识别装置根据车辆当前的定位信息、图像传感器的标定参数以及预先存储的地图数据，确定n(n为大于或等于1的整数)个第一交通灯在第一图像中的位置信息。
由于识别装置与图像传感器连接，因此，识别装置能够获取并利用图像传感器的标定参数，如曝光时间、帧率等。
本申请实施例中图像传感器的标定参数可以为离线标定参数，也可以为在线标定参数，本申请实施例对此不作限定。
具体的，识别装置根据车辆当前的定位信息以及预先存储的地图数据，确定地图数据中n个第一交通灯的位置信息；然后，识别装置根据车辆当前的定位信息，将n个第一交通灯在地图中的位置信息进行坐标转换，得到n个第一交通灯在车体坐标系中的位置信息；再然后，识别装置根据图像传感器的标定参数，将n个第一交通灯在车体坐标系中的位置信息进行坐标转换，得到n个第一交通灯在相机坐标系中的位置信息；最后，识别装置将n个第一交通灯在相机坐标系中的位置信息进行坐标转换，得到n个第一交通灯在第一图像(具体为在第一图像的图像坐标系)中的位置信息。
上述车体坐标系可以是以车辆的某一角为坐标系原点，车辆的长度所在的方向、宽度所在的方向以及高度所在的方向分别为该坐标系中坐标轴的方向。
上述相机坐标系可以是以光轴与图像平面的交点为坐标系的原点，所构成的直角坐标系。
上述图像坐标系可以是以图像的左上角为坐标系的原点，以像素为单位的直角坐标系。
结合上述描述可以看出，识别装置在确定出地图数据中n个第一交通灯的位置信息后，通过不同坐标系之间的转换(具体为：世界坐标系→车体坐标系的转换→相机坐标系的转换→图像坐标系)，得到了第一信息。
一般的，坐标系之间的转换是根据两个坐标系之间的旋转矩阵R和平移矩阵T完成的。其中，旋转矩阵R和平移矩阵T的数值均与待转换坐标系相对应。
例如，上述“将n个第一交通灯在地图中的位置信息进行坐标转换，得到n个第一交通灯在车体坐标系中的位置信息”的过程可以为：将n个第一交通灯在地图中的位置信息乘以旋转矩阵R1，然后再加上平移矩阵T1，即可得到n个第一交通灯在车体坐标系中的位置信息。这里的R1是根据世界坐标系和车体坐标系确定出的，T1也是根据世界坐标系和车体坐标系确定出的。
在一个示例中，图5示出的图像为第一图像，识别装置根据车辆当前的定位信息、图像传感器的标定参数以及预先存储的地图数据，确定出4个第一交通灯的位置信息。图5中采用圆圈表示这4个第一交通灯的位置信息。
本申请实施例中预先存储的地图数据可以包括实际道路场景中每一交通灯的位置信息。
上述“识别装置根据车辆当前的定位信息以及预先存储的地图数据，确定地图数据中n个第一交通灯的位置信息”的方法可以为：识别装置根据车辆当前的定位信息，查询地图数据，以确定车辆前方将要到达的路口，并获取到该路口处设置的与车辆行驶道路相关联的交通灯(即上述第一交通灯)的位置信息。
示例性的，如图3所示，若车辆当前的定位信息包括位置A，车辆的姿态为X方向(即车头朝向为X方向)，识别装置查询地图数据，确定该车辆前方将要到达的路口包括路口P和路口Q，并从地图数据中获取路口P处与X方向对应的交通灯的位置信息(a1，b1)，以及路口Q处与X方向对应的交通灯的位置信息(a2，b2)。需要说明的是，该示例中的X方向、位置信息(a1，b1)和位置信息(a2，b2)只是为了示例说明。在实际应用中，所述X方向可以采用方位角表示，所述位置信息(a1，b1)和所述位置信息(a2，b2)均可采用经纬度表示。
S202、识别装置采用图像检测方法对第一图像进行检测，得到m(m为大于或等于1的整数)个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息。
其中，指示信息包括颜色和语义指示信息中的至少一个。
语义指示信息可以包括指向方向(如左转、直行、右转、掉头等)、安装方式(如横装，竖装等)、灯体朝向、指示目标类别(如机动车、行人、非机动车等)等。
示例性的，图5示出的图像为第一图像，识别装置采用图像检测方法对第一图像进行检测，得到5个第二交通灯在第一图像中的位置信息和这5个第二交通灯的指示信息。图5中采用矩形框表示这5个第二交通灯。
可选的，识别装置可以采用神经网络模型对第一图像进行检测，也可以采用物体识别算法或其他计算机视觉技术对第一图像进行检测，本申请实施例对此不作限定。
这里以识别装置采用神经网络模型对第一图像进行检测为例进行说明。
本申请实施例中神经网络模型为深度神经网络。深度神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。
深度神经网络一般包括多个网络层(如卷积层、全连接层等)。深度神经网络的多层结构能自动学习特征，并且可以学习到多个层次的特征：较浅的卷积层感知域较小，学习到一些局部区域的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。
示例性的，本申请实施例中涉及到的神经网络模型可以为采用ResNet结构表示的卷积神经网络(convolutional neural network，CNN)模型，也可以为其他深度神经网络模型，本申请实施例对此不作限定。
在一个示例中，神经网络模型包括卷积模块、候选区域网络(region proposalnetwork，RPN)模块、信息确定模块。卷积模块包括多个卷积层，较浅的卷积层感知域较小，能够学习到一些局部区域(与小目标(如10像素的对象～90像素的对象)对应)的特征；较深的卷积层具有较大的感知域，能够学习到更加抽象一些的区域(与大目标(如包括96像素的对象)对应)的特征。候选区域网络模块包括第一RPN和第二RPN，其中，第一RPN用于确定大目标的候选区域(region proposal)，第二RPN用于确定小目标的候选区域。信息确定模块包括多个卷积层和全连接层，用于确定交通灯在图像中的位置信息和交通灯的指示信息。
识别装置在获取到第一图像后，将第一图像输入到神经网络模型中。识别装置从卷积模块的不同层获取多个特征图，并将多个特征图经由RPN模块处理，以得到第一候选区域和第二候选区域，其中，第一候选区域与第一图像中的大目标对应，第二候选区域与第一图像中的小目标对应。之后，识别装置将第一候选区域和第二候选区域经由信息确定模块处理，以确定第一图像中交通灯的位置信息和该交通灯的指示信息。
示例性的，交通灯的指示信息包括颜色，图4示出了识别装置采用神经网络模型对第一图像进行检测，得到第二信息的流程。图4中的卷积模块包括第1卷积层、第2卷积层、第3卷积层、第4卷积层等。识别装置将第一图像输入到神经网络模型后，从第3卷积层获取小目标的特征图，从第4卷积层获取大目标的特征图；之后，大目标的特征图输入到第一RPN，得到第一候选区域和候选上下文区域，该第一候选区域为包括大目标的区域，候选上下文区域用于辅助确定包括小目标的区域，小目标的特征图和候选上下文区域输入到第二RPN，得到第二候选区域，该第二候选区域为包括小目标的区域；最后，识别装置将第一候选区域和第二候选区域经由信息确定模块的处理，得到交通灯在第一图像中的位置信息(一般采用bounding box表示位置信息)和该交通灯的颜色。
可选的，识别装置可以先执行S201，后执行S202，也可以先执行S202，后执行S201，还可以同时执行S201和S202，本申请对此不作限定。
通常，识别装置执行S201得到“n个第一交通灯在第一图像中的位置信息”的速度要比执行S202得到“m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息”的速度快，因此，若识别装置在确定出“n个第一交通灯在第一图像中的位置信息”后，还未确定出“m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息”，则识别装置需缓存“n个第一交通灯在第一图像中的位置信息”，以保证时间戳的同步。
S203、识别装置根据n个第一交通灯在第一图像中的位置信息和m个第二交通灯在第一图像中的位置信息，基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯。
具体的，识别装置在确定出n个第一交通灯在第一图像中的位置信息和m个第二交通灯在第一图像中的位置信息后，执行步骤A、步骤B以及步骤C，以确定出第一子图组和第二子图组中是否存在相互匹配的子图对。相互匹配的子图对满足预设的误差约束。
其中，步骤A为：识别装置从n个第一交通灯中选取i个第一交通灯，并生成第一子图组，第一子图组包括k个子图，第一子图组中的每一子图均包括第一位置或第一位置关系，第一位置用于表示该子图所包括的i个第一交通灯在第一图像中的位置，第一位置关系用于表示该子图所包括的i个第一交通灯在第一图像中的位置之间的关系，1≤i≤min(n，m)。步骤B为：识别装置从m个第二交通灯中选取i个第二交通灯，并生成第二子图组，第二子图组包括p个子图，第二子图组中的每一子图均包括第二位置或第二位置关系，第二位置用于表示该子图所包括的i个第二交通灯在第一图像中的位置，第二位置关系用于表示该子图所包括的i个第二交通灯在第一图像中的位置之间的关系，步骤C为：识别装置判断第一子图组和第二子图组中是否存在相互匹配的子图对。相互匹配的子图对满足预设的误差约束可以体现为：相互匹配的子图对中分别包括的第一位置和第二位置之间的误差小于预设的误差约束，或相互匹配的子图对中分别包括的第一位置关系和第二位置关系之间的误差小于预设的误差约束。
本申请实施例中的子图用于表示该子图所包括的交通灯在第一图像中的位置，或者用于表示该子图所包括的交通灯在第一图像中的位置之间的关系。
具体的，若子图仅包括一个交通灯，则该子图用于表示该交通灯在第一图像中的位置。若子图包括多个交通灯，则该子图可以用于表示多个交通灯中的每个交通灯在第一图像中的位置，也可以用于表示多个交通灯在第一图像中的位置之间的关系。
从上面可以看出，第一子图组和第二子图组均包括一个或多个子图。由于第一子图组和第二子图组均包括一个或多个子图，因此，相互匹配的子图对的数量可能为至少一对。
本申请实施例中相互匹配的子图对包括相互匹配的第一子图组中的一个子图和第二子图组中的一个子图。
若第一子图组和第二子图组中存在至少两对相互匹配的子图对，则识别装置从至少两对相互匹配的子图对中选择一对相互匹配的子图对，并根据选取出的子图对确定相互匹配的第一交通灯和第二交通灯。
若第一子图组和第二子图组中仅存在一对相互匹配的子图对，则识别装置根据这一对相互匹配的子图对确定相互匹配的第一交通灯和第二交通灯。
此外，若第一子图组和第二子图组中不存在相互匹配的子图对，则识别装置重新确定i的取值，并根据重新确定的i的取值，执行上述步骤A、步骤B以及步骤C，直到存在相互匹配的子图对为止。
可以看出，识别装置确定相互匹配的子图对的这一过程是一个循环迭代过程。
可选的，识别装置可以随机确定i的取值，也可以从min(n，m)开始以递减的顺序确定i的取值，本申请实施例对此不作限定。
示例性的，识别装置首次确定出的i的取值为min(n，m)，若在第一次执行步骤A、步骤B以及步骤C后，识别装置确定第一子图组和第二子图组不存在相互匹配的子图，则识别装置重新确定i的取值为min(n，m)-1。
为了更加清楚的理解方案，现在结合图5、图6和图7对识别装置确定子图组的过程进行说明。
为了便于理解，图6采用英文字母将图5中的“n个第一交通灯在第一图像中的位置信息”和“m个第二交通灯在第一图像中的位置信息”进行表示。如图6所示，采用圆圈表示4个第一交通灯(a、b、c、d)在第一图像中的位置信息，采用矩形框表示5个第二交通灯(e、f、g、h、i)在第一图像中的位置信息。若i＝4，则识别装置从圆圈表示的交通灯和矩形框表示的交通灯中分别选取4个，并进行组合，得到第一子图组和第二子图组。其中，第一子图组包括1个子图，第二子图组包括5个子图。图7示出了第一子图组和第二子图组，且每个子图均包括4个交通灯。接着，识别装置判断第一子图组和第二子图组中是否存在相互匹配的子图对。若识别装置确定第一子图组和第二子图组中不存在相互匹配的子图对，则识别装置重新确定i为3，并重新生成第一子图组和第二子图组。
现在对上述“识别装置判断第一子图组和第二子图组中是否存在相互匹配的子图对”的方法进行说明。
相互匹配的子图对中分别包括的第一位置和第二位置之间的误差小于预设的误差约束，或相互匹配的子图对中分别包括的第一位置关系和第二位置关系之间的误差小于预设的误差约束。误差约束为几何误差(请参考下面描述)以及距离误差(请参考下面描述)。
具体的，识别装置计算第三子图与第四子图之间的几何误差和距离误差，该几何误差包括比例误差和角度误差中的至少一个。
上述比例误差用于表示第一长度与第二长度的比值，第一长度为第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度，第二长度为第四子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度。
角度误差用于表示第一角度与第二角度的差值，第一角度为第一连线与第一图像的坐标系中预设坐标轴之间的夹角的角度，第二角度为第二连线与第一图像的坐标系中预设坐标轴之间的夹角的角度，第一连线为第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间连线，第二连线为第四子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的连线；j∈[1，i]。
上述预设顺序可以为空间从左到右的顺序，也可以为空间从上到下的顺序，本申请实施例对此不作限定。
为了便于描述，本申请主要以预设顺序为空间从左到右的顺序为例进行说明。
上述预设坐标轴可以为第一图像的坐标系(即图像坐标系)中的任一坐标轴，本申请实施例对此不作限定。
可选的，在计算比例误差时，识别装置可以直接将第一长度与第二长度的比值作为比例误差，也可以计算多个比值，并对计算出的多个比值进行加权求和，将加权和的数值作为比例误差，本申请实施例对此不作限定。
示例性的，识别装置采用下述公式计算比例误差scale_error：
该公式中的lm表示上述第一长度，ld表示上述第二长度，abs()表示取绝对值，x为当前选取交通灯的数量，即子图所包括的交通灯的数量。
容易理解的是，当前选取交通灯的数量为x，则每一子图均中包括x个交通灯。按空间从左到右的顺序计算子图中每相邻两个交通灯之间的长度，能够得到x-1个长度。因为图像传感器的标定参数相对准确，所以两个子图中的对应长度比例趋近于1，这样，scaleerror的数值应趋近于0。
可选的，在计算角度误差时，识别装置可以直接将第一角度与第二角度的差值作为角度误差，也可以计算多个差值，并对计算出的多个差值进行加权求和，将加权和的数值作为角度误差，本申请实施例对此不作限定。
示例性的，识别装置采用下述公式计算角度误差angle_error：
该公式中的αm表示上述第一角度，αd表示上述第二角度，abs()表示取绝对值，A为经验阈值，A的数值与车辆的姿态角、图像传感器的姿态角相关。
在确定n个第一交通灯在第一图像中的位置信息的过程中(具体的是在坐标系转换过程中)，车辆的姿态角和图像传感器的姿态角对数据造成的偏差影响较小，因此，第三子图和第四子图中对应交通灯连线的角度偏差趋近于0，这样，angle_error的数值也应趋近于0。
距离误差用于表示第三子图中按照预设顺序排列的第j个交通灯与第四子图中按照预设顺序排列的第j个交通灯之间的距离。
示例性的，识别装置采用下述公式计算距离误差dis_error：
该公式中的d表示第三子图中按照预设顺序排列的第j个交通灯与第四子图中按照预设顺序排列的第j个交通灯之间的距离，D为经验系数，D的数值通常为图像的长边的长度。
可选的，几何误差还可以包括语义误差。语义误差用于表示第四子图中按照预设顺序排列的第j个交通灯的语义信息相对于第三子图中按照预设顺序排列的第j个交通灯的语义信息的置信度。
示例性的，识别装置采用下述公式计算指向误差shape_error：
p＝0，Sd＝＝Sm
p＝prob，Sd！＝Sm
其中，prob表示语义信息的置信度，Sd为第四子图中按照预设顺序排列的第j个交通灯的语义信息，Sm为第三子图中按照预设顺序排列的第j个交通灯的语义信息。如果第四子图中按照预设顺序排列的第j个交通灯的语义信息和第三子图中按照预设顺序排列的第j个交通灯的语义信息不一致，则识别装置以第四子图中按照预设顺序排列的第j个交通灯的语义信息为准。
图8示出了上述lm、ld、αm、αd、d的示例。
在计算出上述几何误差和距离误差后，识别装置判断几何误差是否满足预设条件，以及距离误差是否小于预设距离。若几何误差满足预设条件，且距离误差小于预设距离，则第三子图与第四子图相互匹配。
示例性的，若几何误差包括比例误差，则预设条件包括：比例误差小于或等于第一预设阈值；若几何误差包括角度误差，则预设条件包括：角度误差小于或等于第二预设阈值。
结合上面描述可知，第一子图组和第二子图组中相互匹配的子图对的数量为一对或至少两对。
若第一子图组和第二子图组中仅存在一对相互匹配的子图对，则识别装置直接将这一对子图中的交通灯确定为相互匹配的第一交通灯和第二交通灯即可。
若第一子图组和第二子图组中存在至少两对相互匹配子图对，则识别装置可以采用下述任一方式确定相互匹配的第一交通灯和第二交通灯：
第一种方式：识别装置从相互匹配的子图对中随机选取一对，并将选取的子图对所包括的交通灯确定为相互匹配的第一交通灯和第二交通灯。
第二种方式：识别装置确定至少两对相互匹配的子图对中，几何误差与距离误差之和最小的一对子图对所包括的交通灯为相互匹配的第一交通灯和第二交通灯。
采用上述第二种方式确定出相互匹配的第一交通灯和第二交通灯的准确率更高。
当然，识别装置也可采用其他方式确定相互匹配的第一交通灯和第二交通灯，本申请实施例对此不作限定。
容易理解的是，子图中交通灯的数量为i，1≤i≤min(n，m)，因此，在确定出相互匹配的第一子图和第二子图后，第一子图中的i个第一交通灯和第二子图中的i个第二交通灯相互匹配。
假设识别装置选择出第一子图组中的第一子图和第二子图组中的第二子图相互匹配，在确定出第一子图和第二子图相互匹配后，识别装置确定第一子图中按照预设顺序排列的第j个第一交通灯与第二子图中按照预设顺序排列的第j个第二交通灯匹配，j∈[1，i]。
该预设顺序可以为空间从左到右的顺序，也可以为空间从上到下的顺序，还可以为空间从右到左的顺序，本申请实施例对此不作限定。
S204、识别装置获取与第一交通灯相互匹配的第二交通灯的指示信息。
第二交通灯的指示信息为识别装置通过检测第一图像得到的，可以包括颜色和语义信息中的至少一个。在确定出与第一交通灯匹配的第二交通灯后，识别装置可直接根据与第一交通灯匹配的第二交通灯的指示信息。
若S203中确定出的相互匹配的第一交通灯和第二交通灯的数量为i，则识别装置获取i对相互匹配的第一交通灯和第二交通灯中所有第二交通灯的指示信息。
可选的，识别装置获取到与第一交通灯相互匹配的第二交通灯的指示信息后，将该指示信息发送至车辆中的计算机系统，以便于车辆的计算机系统根据该指示信息控制车辆的运行。
综上，识别装置在识别交通灯的过程中，以预设的误差约束为条件，综合考虑了图像检测结果和地图定位结果，有效地防止了交通灯的误检或漏检，降低了匹配误差，提高了识别交通灯的准确度。
下述图9为本申请实施例提供的交通灯的识别方法的另一流程示意图。如图9所示，本申请实施例提供的交通灯的识别方法包括：
S900、识别装置获取车辆当前的定位信息以及通过图像传感器当前获取到的第一图像。
S900可以参考上述S200的描述，这里不再进行详细赘述。
S901、识别装置根据车辆当前的定位信息、图像传感器的标定参数以及预先存储的地图数据，确定n个第一交通灯在第一图像中的位置信息。
S901可以参考上述S201的描述，这里不再进行详细赘述。
S902、识别装置采用图像检测方法对第一图像进行检测，得到m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息。
S902可以参考上述S202的描述，这里不再进行详细赘述。
S903、识别装置将n个第一交通灯在第一图像中的位置信息和m个第二交通灯的位置信息的时间戳进行同步。
S904、识别装置确定选取交通灯的数量i，并根据确定出的选取交通灯的数量i，确定第一子图组和第二子图组。
S904可以参考上述S203中识别装置确定子图组的描述，这里不再进行详细赘述。
S905、识别装置判断第一子图组和第二子图组中是否存在相互匹配的子图对。
S905可以参考上述S203中识别装置判断第一子图组和第二子图组中是否存在相互匹配的子图对的描述，这里不再进行详细赘述。
S906、若第一子图组和第二子图组中存在相互匹配的子图对，则识别装置确定相互匹配的第一交通灯和第二交通灯。
S907、识别装置获取与第一交通灯匹配的第二交通灯的指示信息。
若第一子图组和第二子图组中不存在相互匹配的子图对，则识别装置重新确定选取交通灯的数量，并根据确定出的选取交通灯的数量，确定第一子图组和第二子图组，即重新执行S904。
相比于现有技术，本申请实施例提供的交通灯的识别方法有效地防止了交通灯的误检或漏检，降低了匹配误差，提高了识别交通灯的准确度。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对交通灯的识别装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
如图10所示，为本申请实施例提供的一种交通灯的识别装置的结构示意图。交通灯的识别装置用于识别交通灯，获取交通灯的指示信息，例如用于执行图2和/或图9所示的方法。交通灯的识别装置可以包括获取单元100、确定单元101、图像检测单元102、匹配单元103、存储单元104。
获取单元100，用于获取车辆当前的定位信息以及第一图像；确定单元101，用于根据获取单元100获取到的车辆当前的定位信息、图像传感器的标定参数以及存储单元104预先存储的地图数据，确定n个第一交通灯在第一图像中的位置信息；图像检测单元102，用于采用图像检测方法对获取单元100获取到的第一图像进行检测，得到m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息；匹配单元103，用于根据确定单元确定出的n个第一交通灯在第一图像中的位置信息和图像检测单元得到的m个第二交通灯在第一图像中的位置信息，基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯；获取单元100，还用于获取匹配单元103确定出的与第一交通灯匹配的第二交通灯的指示信息。
例如，结合图2，获取单元100可以用于执行S200，确定单元101可以用于执行S201，图像检测单元102可以用于执行S202，匹配单元103可以用于执行S203，存储单元104用于存储地图数据。
可选的，匹配单元103具体用于：步骤A：从n个第一交通灯中选取i个第一交通灯，并生成第一子图组，第一子图组包括k个子图，第一子图组中的每一子图均包括第一位置或第一位置关系，第一位置用于表示该子图所包括的i个第一交通灯在第一图像中的位置，第一位置关系用于表示该子图所包括的i个第一交通灯在第一图像中的位置之间的关系，1≤i≤min(n，m)；步骤B：从m个第二交通灯中选取i个第二交通灯，并生成第二子图组，第二子图组包括p个子图，第二子图组中的每一子图均包括第二位置或第二位置关系，第二位置用于表示该子图所包括的i个第二交通灯在第一图像中的位置，第二位置关系用于表示该子图所包括的i个第二交通灯在第一图像中的位置之间的关系，步骤C：判断第一子图组和第二子图组中是否存在相互匹配的子图对；相互匹配的子图对中分别包括的第一位置和第二位置之间的误差小于预设的误差约束，或相互匹配的子图对中分别包括的第一位置关系和第二位置关系之间的误差小于预设的误差约束；若存在相互匹配的子图对，则根据相互匹配的子图对，确定相互匹配的第一交通灯和第二交通灯。
例如，结合图9，匹配单元103可以用于执行S904、S905、S906。
可选的，在本申请的另一种可能的实现方式中，匹配单元103具体用于：若存在至少两对相互匹配的子图对，则从至少两对相互匹配的子图对中选择一对相互匹配的子图对，选择出的相互匹配的子图对分别包括第一子图组中的第一子图和第二子图组中的第二子图；确定第一子图中按照预设顺序排列的第j个第一交通灯与第二子图中按照预设顺序排列的第j个第二交通灯匹配；若仅存在一对相互匹配的子图对，且相互匹配的子图对分别包括第一子图组中的第一子图和第二子图组中的第二子图，则确定第一子图中按照预设顺序排列的第j个第一交通灯与第二子图中按照预设顺序排列的第j个第二交通灯匹配；其中，j∈[1，i]。
可选的，在本申请的另一种可能的实现方式中，确定单元101，还用于若匹配单元103确定不存在相互匹配的子图对，则重新确定i的取值。匹配单元103，还用于根据确定单元重新确定的i的取值，执行步骤A、步骤B以及步骤C。
可选的，在本申请的另一种可能的实现方式中，误差约束为几何误差和距离误差，匹配单元103具体用于：计算第三子图与第四子图之间的几何误差和距离误差，第三子图为第一子图组中的任一子图，第四子图为第二子图组中的任一子图；若几何误差满足预设条件，且距离误差小于预设距离，则确定第三子图与第四子图相互匹配。
其中，比例误差用于表示第一长度与第二长度的比值，第一长度为第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度，第二长度为第四子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度；角度误差用于表示第一角度与第二角度的差值，第一角度为第一连线与第一图像的坐标系中预设坐标轴之间的夹角的角度，第二角度为第二连线与预设坐标轴之间的夹角的角度，第一连线为第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间连线，第二连线为第四子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的连线；j∈[1，i]；距离误差用于表示第三子图中按照预设顺序排列的第j个交通灯与第四子图中按照预设顺序排列的第j个交通灯之间的距离；几何误差满足预设条件包括：若几何误差包括比例误差，比例误差小于或等于第一预设阈值；若几何误差包括角度误差，角度误差小于或等于第二预设阈值。
可选的，在本申请的另一种可能的实现方式中，几何误差还包括语义误差；该语义误差用于表示第四子图中按照预设顺序排列的第j个交通灯的语义信息相对于第三子图中按照预设顺序排列的第j个交通灯的语义信息的置信度；几何误差满足预设条件还包括：语义误差小于或等于第三预设阈值。
可选的，在本申请的另一种可能的实现方式中，匹配单元103，具体用于若存在至少两对相互匹配的子图对，则从至少两对相互匹配的子图对中选择几何误差与距离误差的和最小的一对子图对。
可选的，在本申请的另一种可能的实现方式中，图像检测单元102，具体用于通过预设的神经网络模型对第一图像进行检测，得到m个第二交通灯在第一图像中的位置信息，以及m个第二交通灯的指示信息。
作为一个示例，结合图1A，识别装置中的获取单元100实现的功能与图1A中的通信接口12的功能相同，确定单元101、图像检测单元102以及匹配单元103实现的功能与图1A中的处理器10的功能相同，存储单元104实现的功能与图1A中的存储器11的功能相同。
本实施例中相关内容的解释可参考上述方法实施例，此处不再赘述。
本申请另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在识别装置上运行时，该识别装置执行上述方法实施例所示的方法流程中识别装置执行的各个步骤。
本申请另一实施例还提供一种车辆，该车辆包括上述识别装置，在识别装置获取到与第一交通灯匹配的第二交通灯的指示信息后，车辆根据该指示信息控制该车辆的运行。
在一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。
图11示意性地示出本申请实施例提供的计算机程序产品的概念性局部视图，所述计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。
在一个实施例中，计算机程序产品是使用信号承载介质110来提供的。所述信号承载介质110可以包括一个或多个程序指令，其当被一个或多个处理器运行时可以提供以上针对图2或图9描述的功能或者部分功能。因此，例如，参考图2中所示的实施例，S201～S203的一个或多个特征可以由与信号承载介质110相关联的一个或多个指令来承担。此外，图11中的程序指令也描述示例指令。
在一些示例中，信号承载介质110可以包含计算机可读介质111，诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等等。
在一些实施方式中，信号承载介质110可以包含计算机可记录介质112，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。
在一些实施方式中，信号承载介质110可以包含通信介质113，诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。
信号承载介质110可以由无线形式的通信介质113(例如，遵守IEEE 802.11标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令可以是，例如，计算机可执行指令或者逻辑实施指令。
在一些示例中，诸如针对图2或图9描述的识别装置可以被配置为，响应于通过计算机可读介质111、计算机可记录介质112、和/或通信介质113中的一个或多个程序指令，提供各种操作、功能、或者动作。
应该理解，这里描述的布置仅仅是用于示例的目的。因而，本领域技术人员将理解，其它布置和其它元素(例如，机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用，并且一些元素可以根据所期望的结果而一并省略。另外，所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能实体。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时，全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digitalsubscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
以上所述，仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式，可想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (19)

1.一种交通灯的识别方法，其特征在于，包括：
获取车辆当前的定位信息以及第一图像，所述第一图像为通过图像传感器当前获取到的；
根据所述车辆当前的定位信息、所述图像传感器的标定参数以及预先存储的地图数据，确定n个第一交通灯在所述第一图像中的位置信息，n为大于或等于1的整数；
采用图像检测方法对所述第一图像进行检测，得到m个第二交通灯在所述第一图像中的位置信息，以及所述m个第二交通灯的指示信息，所述指示信息包括颜色和语义指示信息中的至少一个，m为大于或等于1的整数；
根据所述n个第一交通灯在所述第一图像中的位置信息和所述m个第二交通灯在所述第一图像中的位置信息，基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯；
获取与所述第一交通灯匹配的所述第二交通灯的指示信息。
2.根据权利要求1所述的识别方法，其特征在于，所述根据所述n个第一交通灯在所述第一图像中的位置信息和所述m个第二交通灯在所述第一图像中的位置信息，基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯，包括：
步骤A：从所述n个第一交通灯中选取i个第一交通灯，并生成第一子图组，所述第一子图组包括k个子图，所述第一子图组中的每一子图均包括第一位置或第一位置关系，所述第一位置用于表示该子图所包括的i个第一交通灯在所述第一图像中的位置，所述第一位置关系用于表示该子图所包括的i个第一交通灯在所述第一图像中的位置之间的关系，1≤i≤min(n，m)；
步骤B：从所述m个第二交通灯中选取i个第二交通灯，并生成第二子图组，所述第二子图组包括p个子图，所述第二子图组中的每一子图均包括第二位置或第二位置关系，所述第二位置用于表示该子图所包括的i个第二交通灯在所述第一图像中的位置，所述第二位置关系用于表示该子图所包括的i个第二交通灯在所述第一图像中的位置之间的关系，
步骤C：判断所述第一子图组和所述第二子图组中是否存在相互匹配的子图对；所述相互匹配的子图对中分别包括的所述第一位置和所述第二位置之间的误差小于所述预设的误差约束，或所述相互匹配的子图对中分别包括的所述第一位置关系和所述第二位置关系之间的误差小于所述预设的误差约束；
若存在相互匹配的子图对，则根据所述相互匹配的子图对，确定所述相互匹配的第一交通灯和第二交通灯。
3.根据权利要求2所述的识别方法，其特征在于，所述根据所述相互匹配的子图对，确定所述相互匹配的第一交通灯和第二交通灯，包括：
若存在至少两对相互匹配的子图对，则从所述至少两对相互匹配的子图对中选择一对相互匹配的子图对，选择出的所述相互匹配的子图对分别包括所述第一子图组中的第一子图和所述第二子图组中的第二子图；确定所述第一子图中按照预设顺序排列的第j个第一交通灯与所述第二子图中按照所述预设顺序排列的第j个第二交通灯匹配；
若仅存在一对相互匹配的子图对，且所述相互匹配的子图对分别包括所述第一子图组中的第一子图和所述第二子图组中的第二子图，则确定所述第一子图中按照预设顺序排列的第j个第一交通灯与所述第二子图中按照所述预设顺序排列的第j个第二交通灯匹配；
其中，j∈[1，i]。
4.根据权利要求2或3所述的识别方法，其特征在于，所述识别方法还包括：
若不存在相互匹配的子图对，则重新确定i的取值，并根据重新确定的i的取值，执行所述步骤A、所述步骤B以及所述步骤C。
5.根据权利要求2-4中任意一项所述的识别方法，其特征在于，所述误差约束为几何误差和距离误差，所述判断所述第一子图组和所述第二子图组中是否存在相互匹配的子图对，包括：
计算第三子图与第四子图之间的所述几何误差和所述距离误差，所述第三子图为所述第一子图组中的任一子图，所述第四子图为所述第二子图组中的任一子图；
若所述几何误差满足预设条件，且所述距离误差小于预设距离，则确定所述第三子图与所述第四子图相互匹配，所述几何误差包括比例误差和角度误差中的至少一个；
其中，所述比例误差用于表示第一长度与第二长度的比值，所述第一长度为所述第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度，所述第二长度为所述第四子图中按照所述预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度；
所述角度误差用于表示第一角度与第二角度的差值，所述第一角度为第一连线与所述第一图像的坐标系中预设坐标轴之间的夹角的角度，所述第二角度为第二连线与所述预设坐标轴之间的夹角的角度，所述第一连线为所述第三子图中按照所述预设顺序排列的第j个交通灯与第j+1个交通灯之间连线，所述第二连线为所述第四子图中按照所述预设顺序排列的第j个交通灯与第j+1个交通灯之间的连线；j∈[1，i]；
所述距离误差用于表示所述第三子图中按照所述预设顺序排列的第j个交通灯与所述第四子图中按照所述预设顺序排列的第j个交通灯之间的距离；
所述几何误差满足预设条件包括：若所述几何误差包括所述比例误差，所述比例误差小于或等于第一预设阈值；若所述几何误差包括所述角度误差，所述角度误差小于或等于第二预设阈值。
6.根据权利要求5所述的识别方法，其特征在于，
所述几何误差还包括语义误差；其中，所述语义误差用于表示所述第四子图中按照所述预设顺序排列的第j个交通灯的语义信息相对于所述第三子图中按照所述预设顺序排列的第j个交通灯的语义信息的置信度；
所述几何误差满足预设条件还包括：所述语义误差小于或等于第三预设阈值。
7.根据权利要求5或6所述的识别方法，其特征在于，所述若存在至少两对相互匹配的子图对，则从所述至少两对相互匹配的子图对中选择一对相互匹配的子图对，包括：
从所述至少两对相互匹配的子图对中选择所述几何误差与所述距离误差的和最小的一对子图对。
8.根据权利要求1-7中任意一项所述的识别方法，其特征在于，所述采用图像检测方法对所述第一图像进行检测，得到m个第二交通灯在所述第一图像中的位置信息，以及所述m个第二交通灯的指示信息，包括：
通过预设的神经网络模型对所述第一图像进行检测，得到所述m个第二交通灯在所述第一图像中的位置信息，以及所述m个第二交通灯的指示信息。
9.一种交通灯的识别装置，其特征在于，包括：
获取单元，用于获取车辆当前的定位信息以及第一图像，所述第一图像为通过图像传感器当前获取到的；
确定单元，用于根据所述获取单元获取到的所述车辆当前的定位信息、所述图像传感器的标定参数以及存储单元预先存储的地图数据，确定n个第一交通灯在所述第一图像中的位置信息，n为大于或等于1的整数；
图像检测单元，用于采用图像检测方法对所述获取单元获取到的所述第一图像进行检测，得到m个第二交通灯在所述第一图像中的位置信息，以及所述m个第二交通灯的指示信息，所述指示信息包括颜色和语义指示信息中的至少一个，m为大于或等于1的整数；
匹配单元，用于根据所述确定单元确定出的所述n个第一交通灯在所述第一图像中的位置信息和所述图像检测单元得到的所述m个第二交通灯在所述第一图像中的位置信息，基于预设的误差约束，确定相互匹配的第一交通灯和第二交通灯；
所述获取单元，还用于获取所述匹配单元确定出的与第一交通灯匹配的第二交通灯的指示信息。
10.根据权利要求9所述的识别装置，其特征在于，所述匹配单元具体用于：
步骤A：从所述n个第一交通灯中选取i个第一交通灯，并生成第一子图组，所述第一子图组包括k个子图，所述第一子图组中的每一子图均包括第一位置或第一位置关系，所述第一位置用于表示该子图所包括的i个第一交通灯在所述第一图像中的位置，所述第一位置关系用于表示该子图所包括的i个第一交通灯在所述第一图像中的位置之间的关系，1≤i≤min(n，m)；
步骤B：从所述m个第二交通灯中选取i个第二交通灯，并生成第二子图组，所述第二子图组包括p个子图，所述第二子图组中的每一子图均包括第二位置或第二位置关系，所述第二位置用于表示该子图所包括的i个第二交通灯在所述第一图像中的位置，所述第二位置关系用于表示该子图所包括的i个第二交通灯在所述第一图像中的位置之间的关系，
步骤C：判断所述第一子图组和所述第二子图组中是否存在相互匹配的子图对；所述相互匹配的子图对中分别包括的所述第一位置和所述第二位置之间的误差小于所述预设的误差约束，或所述相互匹配的子图对中分别包括的所述第一位置关系和所述第二位置关系之间的误差小于所述预设的误差约束；
若存在相互匹配的子图对，则根据所述相互匹配的子图对，确定所述相互匹配的第一交通灯和第二交通灯。
11.根据权利要求10所述的识别装置，其特征在于，所述匹配单元具体用于：
若存在至少两对相互匹配的子图对，则从所述至少两对相互匹配的子图对中选择一对相互匹配的子图对，选择出的所述相互匹配的子图对分别包括所述第一子图组中的第一子图和所述第二子图组中的第二子图；确定所述第一子图中按照预设顺序排列的第j个第一交通灯与所述第二子图中按照所述预设顺序排列的第j个第二交通灯匹配；
若仅存在一对相互匹配的子图对，且所述相互匹配的子图对分别包括所述第一子图组中的第一子图和所述第二子图组中的第二子图，则确定所述第一子图中按照预设顺序排列的第j个第一交通灯与所述第二子图中按照所述预设顺序排列的第j个第二交通灯匹配；
其中，j∈[1，i]。
12.根据权利要求10或11所述的识别装置，其特征在于，
所述确定单元，还用于若所述匹配单元确定不存在相互匹配的子图对，则重新确定i的取值；
所述匹配单元，还用于根据所述确定单元重新确定的i的取值，执行所述步骤A、所述步骤B以及所述步骤C。
13.根据权利要求10-12中任意一项所述的识别装置，其特征在于，所述误差约束为几何误差和距离误差，所述匹配单元具体用于：
计算第三子图与第四子图之间的所述几何误差和所述距离误差，所述第三子图为所述第一子图组中的任一子图，所述第四子图为所述第二子图组中的任一子图；
若所述几何误差满足预设条件，且所述距离误差小于预设距离，则确定所述第三子图与所述第四子图相互匹配，所述几何误差包括比例误差和角度误差中的至少一个；
其中，所述比例误差用于表示第一长度与第二长度的比值，所述第一长度为所述第三子图中按照预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度，所述第二长度为所述第四子图中按照所述预设顺序排列的第j个交通灯与第j+1个交通灯之间的长度；
所述角度误差用于表示第一角度与第二角度的差值，所述第一角度为第一连线与所述第一图像的坐标系中预设坐标轴之间的夹角的角度，所述第二角度为第二连线与所述预设坐标轴之间的夹角的角度，所述第一连线为所述第三子图中按照所述预设顺序排列的第j个交通灯与第j+1个交通灯之间连线，所述第二连线为所述第四子图中按照所述预设顺序排列的第j个交通灯与第j+1个交通灯之间的连线；j∈[1，i]；
所述距离误差用于表示所述第三子图中按照所述预设顺序排列的第j个交通灯与所述第四子图中按照所述预设顺序排列的第j个交通灯之间的距离；
所述几何误差满足预设条件包括：若所述几何误差包括所述比例误差，所述比例误差小于或等于第一预设阈值；若所述几何误差包括所述角度误差，所述角度误差小于或等于第二预设阈值。
14.根据权利要求13所述的识别装置，其特征在于，
所述几何误差还包括语义误差；所述语义误差用于表示所述第四子图中按照所述预设顺序排列的第j个交通灯的语义信息相对于所述第三子图中按照所述预设顺序排列的第j个交通灯的语义信息的置信度；
所述几何误差满足预设条件还包括：所述语义误差小于或等于第三预设阈值。
15.根据权利要求13或14所述的识别装置，其特征在于，
所述匹配单元，具体用于若存在至少两对相互匹配的子图对，则从所述至少两对相互匹配的子图对中选择所述几何误差与所述距离误差的和最小的一对子图对。
16.根据权利要求9-15中任意一项所述的识别装置，其特征在于，
所述图像检测单元，具体用于通过预设的神经网络模型对所述第一图像进行检测，得到所述m个第二交通灯在所述第一图像中的位置信息，以及所述m个第二交通灯的指示信息。
17.一种交通灯的识别装置，其特征在于，所述识别装置包括：一个或多个处理器，以及存储器；
所述存储器与所述一个或多个处理器耦合；所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令，当所述一个或多个处理器执行所述指令时，所述识别装置执行如权利要求1-8中任意一项所述的交通灯的识别方法。
18.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在识别装置上运行时，使得所述识别装置执行如权利要求1-8中任意一项所述的交通灯的识别方法。
19.一种车辆，其特征在于，包括如上述权利要求17所述的识别装置。
CN201910662904.3A 2019-07-22 2019-07-22 一种交通灯的识别方法及装置 Active CN110543814B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910662904.3A CN110543814B (zh) 2019-07-22 2019-07-22 一种交通灯的识别方法及装置
PCT/CN2020/103581 WO2021013193A1 (zh) 2019-07-22 2020-07-22 一种交通灯的识别方法及装置
US17/581,472 US11915492B2 (en) 2019-07-22 2022-01-21 Traffic light recognition method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910662904.3A CN110543814B (zh) 2019-07-22 2019-07-22 一种交通灯的识别方法及装置

Publications (2)

Publication Number Publication Date
CN110543814A true CN110543814A (zh) 2019-12-06
CN110543814B CN110543814B (zh) 2022-05-10

Family

ID=68709772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910662904.3A Active CN110543814B (zh) 2019-07-22 2019-07-22 一种交通灯的识别方法及装置

Country Status (3)

Country Link
US (1) US11915492B2 (zh)
CN (1) CN110543814B (zh)
WO (1) WO2021013193A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310708A (zh) * 2020-02-14 2020-06-19 广州文远知行科技有限公司 交通信号灯状态识别方法、装置、设备和存储介质
CN111444810A (zh) * 2020-03-23 2020-07-24 东软睿驰汽车技术（沈阳）有限公司 一种红绿灯信息识别方法、装置、设备及存储介质
CN111507204A (zh) * 2020-03-27 2020-08-07 北京百度网讯科技有限公司 倒计时信号灯的检测方法、装置、电子设备及存储介质
CN111582189A (zh) * 2020-05-11 2020-08-25 腾讯科技（深圳）有限公司 交通信号灯识别方法、装置、车载控制终端及机动车
CN111695546A (zh) * 2020-06-28 2020-09-22 北京京东乾石科技有限公司 用于无人车的交通信号灯识别方法和装置
CN112183382A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 无人驾驶交通灯检测分类方法和装置
WO2021013193A1 (zh) * 2019-07-22 2021-01-28 华为技术有限公司 一种交通灯的识别方法及装置
CN112699773A (zh) * 2020-12-28 2021-04-23 北京百度网讯科技有限公司 交通灯识别方法、装置及电子设备
CN112970030A (zh) * 2021-02-10 2021-06-15 华为技术有限公司 交通灯检测的方法和装置
WO2021115455A1 (zh) * 2019-12-13 2021-06-17 上海商汤临港智能科技有限公司 交通信息识别和智能行驶方法、装置、设备及存储介质
CN113156935A (zh) * 2020-01-07 2021-07-23 动态Ad有限责任公司 用于交通灯检测的系统和方法
CN113313936A (zh) * 2020-02-26 2021-08-27 动态Ad有限责任公司 用于运载工具的交通灯检测系统
CN113343872A (zh) * 2021-06-17 2021-09-03 湖北亿咖通科技有限公司 交通灯识别方法、装置、设备、介质及产品
CN113408409A (zh) * 2021-06-17 2021-09-17 阿波罗智联(北京)科技有限公司 交通信号灯识别方法、设备、云控平台和车路协同系统
CN113645378A (zh) * 2021-06-21 2021-11-12 福建睿思特科技股份有限公司 一种基于边缘计算的安全管控便携式视频布控终端
CN115984826A (zh) * 2023-03-02 2023-04-18 安徽蔚来智驾科技有限公司 交通信号灯感知方法、车辆控制方法、设备、介质及车辆
CN116758763A (zh) * 2023-05-06 2023-09-15 西藏金采科技股份有限公司 一种基于车联网的交通数据处理系统及方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112214106B (zh) * 2020-09-16 2023-05-30 青岛小鸟看看科技有限公司 高精度抗干扰的vr系统、运行方法
CN113724511A (zh) * 2021-08-12 2021-11-30 黄琼英 一种智慧城市交通信号灯总控设备
CN114821451B (zh) * 2022-06-28 2022-09-20 南开大学 一种交通信号灯视频的离线目标检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506760A (zh) * 2017-08-04 2017-12-22 西南大学 基于gps定位与视觉图像处理的交通信号检测方法及系统
US20180218226A1 (en) * 2016-03-09 2018-08-02 Uber Technologies, Inc. Traffic signal analysis system
CN108804983A (zh) * 2017-05-03 2018-11-13 腾讯科技（深圳）有限公司 交通信号灯状态识别方法、装置、车载控制终端及机动车
CN109492507A (zh) * 2017-09-12 2019-03-19 百度在线网络技术（北京）有限公司 红绿灯状态的识别方法及装置、计算机设备及可读介质
CN109767637A (zh) * 2019-02-28 2019-05-17 杭州飞步科技有限公司 倒计时信号灯识别及处理的方法和装置
US20190195649A1 (en) * 2017-12-27 2019-06-27 Automotive Research & Testing Center Image positioning method and image positioning device for using the same
CN109949594A (zh) * 2019-04-29 2019-06-28 北京智行者科技有限公司 实时的交通灯识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111199218A (zh) 2014-01-30 2020-05-26 移动眼视力科技有限公司 用于车辆的控制系统、和图像分析系统
US9977975B2 (en) 2016-08-18 2018-05-22 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic light detection using multiple regions of interest and confidence scores
US10762660B2 (en) * 2018-09-28 2020-09-01 Verizon Patent And Licensing, Inc. Methods and systems for detecting and assigning attributes to objects of interest in geospatial imagery
CN110543814B (zh) * 2019-07-22 2022-05-10 华为技术有限公司 一种交通灯的识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180218226A1 (en) * 2016-03-09 2018-08-02 Uber Technologies, Inc. Traffic signal analysis system
CN108804983A (zh) * 2017-05-03 2018-11-13 腾讯科技（深圳）有限公司 交通信号灯状态识别方法、装置、车载控制终端及机动车
CN107506760A (zh) * 2017-08-04 2017-12-22 西南大学 基于gps定位与视觉图像处理的交通信号检测方法及系统
CN109492507A (zh) * 2017-09-12 2019-03-19 百度在线网络技术（北京）有限公司 红绿灯状态的识别方法及装置、计算机设备及可读介质
US20190195649A1 (en) * 2017-12-27 2019-06-27 Automotive Research & Testing Center Image positioning method and image positioning device for using the same
CN109767637A (zh) * 2019-02-28 2019-05-17 杭州飞步科技有限公司 倒计时信号灯识别及处理的方法和装置
CN109949594A (zh) * 2019-04-29 2019-06-28 北京智行者科技有限公司 实时的交通灯识别方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021013193A1 (zh) * 2019-07-22 2021-01-28 华为技术有限公司 一种交通灯的识别方法及装置
US11915492B2 (en) 2019-07-22 2024-02-27 Huawei Technologies Co., Ltd. Traffic light recognition method and apparatus
WO2021115455A1 (zh) * 2019-12-13 2021-06-17 上海商汤临港智能科技有限公司 交通信息识别和智能行驶方法、装置、设备及存储介质
CN112991791A (zh) * 2019-12-13 2021-06-18 上海商汤临港智能科技有限公司 交通信息识别和智能行驶方法、装置、设备及存储介质
CN113156935A (zh) * 2020-01-07 2021-07-23 动态Ad有限责任公司 用于交通灯检测的系统和方法
CN111310708A (zh) * 2020-02-14 2020-06-19 广州文远知行科技有限公司 交通信号灯状态识别方法、装置、设备和存储介质
CN111310708B (zh) * 2020-02-14 2024-05-14 广州文远知行科技有限公司 交通信号灯状态识别方法、装置、设备和存储介质
CN113313936A (zh) * 2020-02-26 2021-08-27 动态Ad有限责任公司 用于运载工具的交通灯检测系统
CN111444810A (zh) * 2020-03-23 2020-07-24 东软睿驰汽车技术（沈阳）有限公司 一种红绿灯信息识别方法、装置、设备及存储介质
CN111507204A (zh) * 2020-03-27 2020-08-07 北京百度网讯科技有限公司 倒计时信号灯的检测方法、装置、电子设备及存储介质
CN111582189A (zh) * 2020-05-11 2020-08-25 腾讯科技（深圳）有限公司 交通信号灯识别方法、装置、车载控制终端及机动车
CN111695546A (zh) * 2020-06-28 2020-09-22 北京京东乾石科技有限公司 用于无人车的交通信号灯识别方法和装置
CN111695546B (zh) * 2020-06-28 2023-06-27 北京京东乾石科技有限公司 用于无人车的交通信号灯识别方法和装置
CN112183382A (zh) * 2020-09-30 2021-01-05 深兰人工智能(深圳)有限公司 无人驾驶交通灯检测分类方法和装置
CN112699773B (zh) * 2020-12-28 2023-09-01 阿波罗智联(北京)科技有限公司 交通灯识别方法、装置及电子设备
CN112699773A (zh) * 2020-12-28 2021-04-23 北京百度网讯科技有限公司 交通灯识别方法、装置及电子设备
CN112970030A (zh) * 2021-02-10 2021-06-15 华为技术有限公司 交通灯检测的方法和装置
CN113408409A (zh) * 2021-06-17 2021-09-17 阿波罗智联(北京)科技有限公司 交通信号灯识别方法、设备、云控平台和车路协同系统
CN113343872A (zh) * 2021-06-17 2021-09-03 湖北亿咖通科技有限公司 交通灯识别方法、装置、设备、介质及产品
CN113645378A (zh) * 2021-06-21 2021-11-12 福建睿思特科技股份有限公司 一种基于边缘计算的安全管控便携式视频布控终端
CN115984826A (zh) * 2023-03-02 2023-04-18 安徽蔚来智驾科技有限公司 交通信号灯感知方法、车辆控制方法、设备、介质及车辆
CN116758763A (zh) * 2023-05-06 2023-09-15 西藏金采科技股份有限公司 一种基于车联网的交通数据处理系统及方法
CN116758763B (zh) * 2023-05-06 2024-02-20 西藏金采科技股份有限公司 一种基于车联网的交通数据处理系统及方法

Also Published As

Publication number Publication date
US11915492B2 (en) 2024-02-27
US20220148318A1 (en) 2022-05-12
WO2021013193A1 (zh) 2021-01-28
CN110543814B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN110543814B (zh) 一种交通灯的识别方法及装置
CN112640417B (zh) 匹配关系确定方法及相关装置
CN112639883B (zh) 一种相对位姿标定方法及相关装置
CN110930323B (zh) 图像去反光的方法、装置
US11294387B2 (en) Systems and methods for training a vehicle to autonomously drive a route
CN113498529B (zh) 一种目标跟踪方法及其装置
CN113591518B (zh) 一种图像的处理方法、网络的训练方法以及相关设备
CN115100377B (zh) 地图构建方法、装置、车辆、可读存储介质及芯片
US20230048680A1 (en) Method and apparatus for passing through barrier gate crossbar by vehicle
CN114056347A (zh) 车辆运动状态识别方法及装置
CN112810603B (zh) 定位方法和相关产品
CN114531913A (zh) 车道线检测方法、相关设备及计算机可读存储介质
CN115042821A (zh) 车辆控制方法、装置、车辆及存储介质
WO2022089577A1 (zh) 一种位姿确定方法及其相关设备
CN115220449A (zh) 路径规划的方法、装置、存储介质、芯片及车辆
CN114255275A (zh) 一种构建地图的方法及计算设备
CN115056784B (zh) 车辆控制方法、装置、车辆、存储介质及芯片
CN115205311B (zh) 图像处理方法、装置、车辆、介质及芯片
CN114782638B (zh) 生成车道线的方法、装置、车辆、存储介质及芯片
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
CN115100630A (zh) 障碍物检测方法、装置、车辆、介质及芯片
CN114842455A (zh) 障碍物检测方法、装置、设备、介质、芯片及车辆
WO2021159397A1 (zh) 车辆可行驶区域的检测方法以及检测装置
CN115035357A (zh) 目标检测模型构建方法、目标检测方法、装置和计算设备
CN111845786B (zh) 自动行驶策略的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant