CN111292531A - 交通信号灯的跟踪方法、装置、设备及存储介质 - Google Patents
交通信号灯的跟踪方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111292531A CN111292531A CN202010081837.9A CN202010081837A CN111292531A CN 111292531 A CN111292531 A CN 111292531A CN 202010081837 A CN202010081837 A CN 202010081837A CN 111292531 A CN111292531 A CN 111292531A
- Authority
- CN
- China
- Prior art keywords
- traffic signal
- signal lamp
- target traffic
- image
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims description 82
- 230000015654 memory Effects 0.000 claims description 20
- 230000006399 behavior Effects 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000013461 design Methods 0.000 description 31
- 238000004590 computer program Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/095—Traffic lights
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了交通信号灯的跟踪方法、装置、设备及存储介质，涉及辅助驾驶、自动驾驶和智能交通技术领域。具体实现方案为：通过在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；识别当前时刻采集的图像中包括的目标交通信号灯；创建目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。通过创建虚拟跟踪器对车辆行驶过程中实时采集的图像中包含的交通信号灯进行跟踪，具有较强的针对性，且准确性和跟踪效率较高，能够为车辆的行为决策提供基础。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及辅助驾驶、自动驾驶和智能交通技术。
背景技术
在高级驾驶辅助系统(Advanced Driving Assistance System，ADAS)和自动驾驶领域中，交通信号是必不可少需要自动化检测和识别的道路信息。其中交通信号灯(如红绿灯)又是其中最为重要的交通信号标识，正确的检测和识别交通信号灯，能够帮助车辆做出准确的符合交通规则的行为决策，避免交通事故的发生。
现有的交通信号灯的识别过程通常是基于单帧图像进行的，也即通过图像处理过程检测单帧图像中包含的交通信号灯，存在一定程度的漏检和误检问题，且无法通过时序图像来跟踪交通信号灯，也即无法缓解漏检和误检问题，导致交通信号灯的识别不够准确、不够高效。
发明内容
本申请提供一种交通信号灯的跟踪方法、装置、设备及存储介质，以实现车辆对交通信号灯的跟踪，提高对信号灯识别的准确性。
本申请第一个方面提供一种交通信号灯的跟踪方法，包括：
在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；
识别当前时刻采集的图像中包括的目标交通信号灯；
创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；
基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。
本实施例中通过创建虚拟跟踪器对车辆行驶过程中实时采集的图像中包含的交通信号灯进行跟踪，具有较强的针对性，且准确性和跟踪效率较高，能够为车辆的行为决策提供基础。
在一种可能的设计中，所述识别所述图像中包括的目标交通信号灯，包括：
通过预设检测模型检测所述图像中包括的候选交通信号灯，并获取每一所述候选交通信号灯的世界坐标；
根据所述候选交通信号灯的世界坐标以及预设地图，将所述候选交通信号灯与车辆前方的路口信息进行匹配；
删除世界坐标处于车辆前方的路口的预定范围外的候选交通信号灯，将世界坐标处于车辆前方的路口的预定范围内的候选交通信号灯作为所述目标交通信号灯。
在一种可能的设计中，所述获取每一所述候选交通信号灯的世界坐标，包括：
根据任一所述候选交通信号灯在图像中的尺寸、所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，获取所述候选交通信号灯的世界坐标。
在一种可能的设计中，所述图像采集设备有多个，所述识别当前时刻采集的图像中包括的目标交通信号灯，包括：
根据各图像采集设备的焦距长短信息、车辆距离路口距离信息以及路口范围信息中的至少一项，对当前时刻各图像采集设备采集的多个图像进行筛选；
识别筛选的图像中包括的目标交通信号灯。
在一种可能的设计中，所述目标交通信号灯的属性信息包括所述目标交通信号灯的标识、所述目标交通信号灯的世界坐标、所述目标交通信号灯关联的路口信息、检测次数、漏检次数、连续漏检次数中的至少一项。
在一种可能的设计中，所述基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，包括：
根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，并将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配；
若所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配，则跟踪成功；
若所述目标交通信号灯的投影不能够与该后续采集的图像中识别到的候选交通信号灯匹配，确定所述虚拟跟踪器漏检。
在一种可能的设计中，所述根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，包括：
通过所述虚拟跟踪器，根据所述目标交通信号灯的世界坐标、以及该后续采集的图像对应的所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，将所述目标交通信号灯投影到该后续采集的图像中。
在一种可能的设计中，所述将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配，包括：
根据所述目标交通信号灯和该后续采集的图像中识别到的候选交通信号灯的属性信息、以及在图像中的位置和/或面积，获取所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯之间的匹配得分；
若所述匹配得分满足预设条件，则确定所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配。
在一种可能的设计中，所述跟踪成功后，还包括：
根据所有能够与所述目标交通信号灯的投影匹配的图像重新获取所述目标交通信号灯的世界坐标，对所述虚拟跟踪器记录的所述目标交通信号灯的世界坐标进行更新。
在一种可能的设计中，所述将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配后，还包括：
若该后续采集的图像中出现新目标交通信号灯、且不能与已有的虚拟跟踪器匹配，创建所述新目标交通信号灯对应的虚拟跟踪器。
在一种可能的设计中，所述方法还包括：
若确定所述虚拟跟踪器漏检，且在所述虚拟跟踪器连续漏检次数达到预设次数时，删除所述虚拟跟踪器；或者
根据所述车辆的位姿、以及所述目标交通信号灯或与所述目标交通信号灯关联的路口的世界坐标，确定所述车辆已经通过所述目标交通信号灯，删除所述虚拟跟踪器；或者
所述匹配得分的时序平均值低于预设阈值，删除所述虚拟跟踪器。
本申请第二个方面提供一种交通信号灯的跟踪装置，包括：
采集模块，用于在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；
识别模块，用于识别当前时刻采集的图像中包括的目标交通信号灯，并获取所述目标交通信号灯的世界坐标；
创建模块，用于创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；
跟踪模块，用于基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。
在一种可能的设计中，所述识别模块在识别所述图像中包括的目标交通信号灯时，用于：
通过预设检测模型检测所述图像中包括的候选交通信号灯，并获取每一所述候选交通信号灯的世界坐标；
根据所述候选交通信号灯的世界坐标以及预设地图，将所述候选交通信号灯与车辆前方的路口信息进行匹配；
删除世界坐标处于车辆前方的路口的预定范围外的候选交通信号灯，将世界坐标处于车辆前方的路口的预定范围内的候选交通信号灯作为所述目标交通信号灯。
在一种可能的设计中，所述识别模块在获取每一所述候选交通信号灯的世界坐标时，用于：
根据任一所述候选交通信号灯在图像中的尺寸、所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，获取所述候选交通信号灯的世界坐标。
在一种可能的设计中，所述图像采集设备有多个，所述识别模块在识别当前时刻采集的图像中包括的目标交通信号灯时，用于：
根据各图像采集设备的焦距长短信息、车辆距离路口距离信息以及路口范围信息中的至少一项，对当前时刻各图像采集设备采集的多个图像进行筛选；
识别筛选的图像中包括的目标交通信号灯。
在一种可能的设计中，所述目标交通信号灯的属性信息包括所述目标交通信号灯的标识、所述目标交通信号灯的世界坐标、所述目标交通信号灯关联的路口信息、检测次数、漏检次数、连续漏检次数中的至少一项。
在一种可能的设计中，所述跟踪模块在基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪时，用于：
根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，并将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配；
若所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配，则跟踪成功；
若所述目标交通信号灯的投影不能够与该后续采集的图像中识别到的候选交通信号灯匹配，确定所述虚拟跟踪器漏检。
在一种可能的设计中，所述跟踪模块在根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中时，用于：
通过所述虚拟跟踪器，根据所述目标交通信号灯的世界坐标、以及该后续采集的图像对应的所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，将所述目标交通信号灯投影到该后续采集的图像中。
在一种可能的设计中，所述跟踪模块在将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配时，用于：
根据所述目标交通信号灯和该后续采集的图像中识别到的候选交通信号灯的属性信息、以及在图像中的位置和/或面积，获取所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯之间的匹配得分；
若所述匹配得分满足预设条件，则确定所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配。
在一种可能的设计中，所述跟踪模块在跟踪成功后，还用于：
根据所有能够与所述目标交通信号灯的投影匹配的图像重新获取所述目标交通信号灯的世界坐标，对所述虚拟跟踪器记录的所述目标交通信号灯的世界坐标进行更新。
在一种可能的设计中，所述创建模块还用于：
若该后续采集的图像中出现新目标交通信号灯、且不能与已有的虚拟跟踪器匹配，创建所述新目标交通信号灯对应的虚拟跟踪器。
在一种可能的设计中，所述装置还包括删除模块，用于：
若确定所述虚拟跟踪器漏检，且在所述虚拟跟踪器连续漏检次数达到预设次数时，删除所述虚拟跟踪器；或者
根据所述车辆的位姿、以及所述目标交通信号灯或与所述目标交通信号灯关联的路口的世界坐标，确定所述车辆已经通过所述目标交通信号灯，删除所述虚拟跟踪器；或者
所述匹配得分的时序平均值低于预设阈值，删除所述虚拟跟踪器。
本申请第三个方面提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
本申请第四个方面提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面所述的方法。
本申请第五个方面提供一种计算机程序，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如第一方面所述的方法。
本申请第六个方面提供一种交通信号灯的跟踪方法，包括：
车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；
识别当前时刻采集的图像中包括的目标交通信号灯；
根据所述目标交通信号灯的属性信息以及后续采集的图像，对所述目标交通信号灯进行跟踪。
上述申请中的一个实施例具有如下优点或有益效果：通过创建虚拟跟踪器对车辆行驶过程中实时采集的图像中包含的交通信号灯进行跟踪，具有较强的针对性，且准确性和跟踪效率较高，能够为车辆的行为决策提供基础。并且通过对虚拟跟踪器动态的创建、跟踪、删除过程，可实现在车辆运行过程中不断的识别、跟踪前方的交通信号灯，并在经过交通信号灯后不再关注已经通过的交通信号灯，并且能够有效的处理受遮挡、光照、环境因素等影响造成误检或漏检的情况。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是本申请实施例提供的交通信号灯的跟踪方法的场景图；
图2是本申请一实施例提供的交通信号灯的跟踪方法流程图；
图3是本申请另一实施例提供的交通信号灯的跟踪方法流程图；
图4是本申请另一实施例提供的交通信号灯的跟踪方法流程图；
图5是本申请一实施例提供的交通信号灯的跟踪装置的结构框图；
图6是用来实现本申请实施例的交通信号灯的跟踪方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
现有的交通信号灯的识别过程通常是基于单帧图像进行的，也即通过图像处理过程检测单帧图像中包含的交通信号灯，存在一定程度的漏检和误检问题，且无法跟踪交通信号灯来无法缓解漏检和误检问题，因此本申请中可根据交通信号灯位置固定、尺寸标准化、且通常存在于路口等特性，对时序图像来跟踪交通信号灯，具体通过创建虚拟跟踪器对行驶过程中实时采集的图像中包含的交通信号灯进行跟踪，具有较强的针对性，且准确性和跟踪效率较高，能够在辅助驾驶、自动驾驶和智能交通中为车辆的行为决策提供基础。
本申请实施例提供的方法应用如图1所示的场景图，车辆10在行驶过程中通过图像采集设备实时采集其周围图像，车辆的处理单元对于当前时刻采集的图像识别其中包含的目标交通信号灯11，创建与目标交通信号灯11对应的虚拟跟踪器，虚拟跟踪器用于记录目标交通信号灯的属性信息11；通过该虚拟跟踪器以及后续采集的图像，对目标交通信号灯11进行跟踪，从而可根据跟踪结果对车辆进行行为决策。
下面将结合具体实施例对交通信号灯的跟踪过程进行详细说明。
本申请一实施例提供一种交通信号灯的跟踪方法，图2为本发明实施例提供的交通信号灯的跟踪方法流程图。所述执行主体可以为车辆的处理单元，如图2所示，所述方法具体步骤如下：
S101、在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像。
在本实施例中，车辆上安装有图像采集设备，可实时采集车辆周围的图像。
在一种可选实施例中，所述图像采集设备有一个或多个，当图像采集设备有多个时，可以根据各图像采集设备的焦距长短信息、车辆距离路口距离信息以及路口范围信息中的至少一项，对当前时刻各图像采集设备采集的多个图像进行筛选。例如车辆上设置有N(N≥1)个车载相机，当前时刻可采集到N个图像，可根据上述信息中的一项或多项，从N个图像中选择M个图像进行后续的交通信号灯跟踪流程，其中0≤M≤N。
S102、识别当前时刻采集的图像中包括的目标交通信号灯，并获取所述目标交通信号灯的世界坐标。
在本实施例中，对于上述图像采集设备当前时刻采集的图像(或从当前时刻的多个图像筛选的图像)，从图像中识别出其中包含的交通信号灯(例如红绿灯、方向指示指示灯等)。可选的，本实施例中可以采用现有的任意交通信号灯识别算法或者检测模型等，例如机器学习模型识别图像中包含的交通信号灯。
在一种可选实施例中，如图3所示，S102所述的识别所述图像中包括的目标交通信号灯，具体可包括：
S201、通过预设检测模型检测所述图像中包括的候选交通信号灯，并获取每一所述候选交通信号灯的世界坐标；
S202、根据所述候选交通信号灯的世界坐标以及预设地图，将所述候选交通信号灯与车辆前方的路口信息进行匹配；
S203、删除世界坐标处于车辆前方的路口的预定范围外的候选交通信号灯，将世界坐标处于车辆前方的路口的预定范围内的候选交通信号灯作为所述目标交通信号灯。
在本实施例中，首先从当前时刻采集的图像中识别出所有可能的交通信号灯，作为候选交通信号灯；进一步的，获取每一候选交通信号灯交通信号灯的世界坐标，可选的，根据任一所述候选交通信号灯在图像中的尺寸、所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿(可以从自动驾驶车辆的导航系统获取)，获取每一候选交通信号灯在世界坐标系下的坐标(3D坐标)，具体的，根据图像采集设备内参将交通信号灯在像素坐标系转换至图像坐标系(2D→2D)，根据相似三角形原理及交通信号灯模板计算交通信号灯目标在图像采集设备坐标系的3D坐标(2D→3D)，根据图像采集设备相对于车辆的外参将图像坐标系转换至车辆坐标系，再根据车辆的位姿，将车辆坐标系转换至世界坐标系，从而得到每一候选交通信号灯的世界坐标。当然获取候选交通信号灯的世界坐标的过程并不限于上述举例的方法。例如也可以为通过检测模型直接给出候选交通信号灯在图像采集设备坐标系中的坐标，再结合图像采集设备相对所述车辆的外参以及所述车辆的位姿，获取候选交通信号灯的世界坐标。
在获取到每一候选交通信号灯的世界坐标后，将候选交通信号灯的位置与车辆前方的路口进行匹配，也即，从预设地图中获取车辆前方的路口信息，例如路口的世界坐标，将候选交通信号灯的世界坐标与路口的世界坐标进行对比，若候选交通信号灯的世界坐标处于路口的世界坐标的预定范围内，则确定该候选交通信号灯位于该路口处。本实施例中将能够与车辆前方的路口信息匹配的候选交通信号灯作为后续处理过程的目标交通信号灯；而对于无法匹配的候选交通信号灯，则可能是检测模型或检测算法出现误识别，可忽略，从而可以筛除检测模型或检测算法误识别的候选交通信号灯，实现误检过滤，提高准确性。
此外，可选的，对于多个图像采集设备当前时刻采集的多个图像，还可以对检测出的候选交通信号灯(或者目标交通信号灯)进行去重复操作，具体可根据候选交通信号灯在图像坐标系下的坐标或者世界坐标、图像表观信息等进行去重复。
S103、创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息。
在本实施例中，对于任一目标交通信号灯，创建一个虚拟跟踪器，虚拟跟踪器为用于记录目标交通信号灯的属性信息的程序模块，可以根据所记录的属性信息检测和跟踪图像中包含的相同的目标交通信号灯。本实施例中考虑到交通信号灯位置固定、尺寸标准化、且通常存在于路口等因素，通过虚拟跟踪器对时序多帧图像中包含的交通信号灯进行跟踪，具有针对性，准确率和效率大大提高。
可选的，所述目标交通信号灯的属性信息包括所述目标交通信号灯的标识(如ID)、所述目标交通信号灯的世界坐标、所述目标交通信号灯关联的路口信息(如世界坐标、路口ID)、检测次数、漏检次数(若下一时刻T1的图像中虚拟跟踪器未检测到目标交通信号灯A1，则漏检次数加1)、连续漏检次数中的至少一项。其中，检测次数和漏检次数具体例如：T0时刻对目标交通信号灯A1创建虚拟跟踪器，检测次数记为1，虚拟跟踪器在下一时刻T1的图像中也检测到目标交通信号灯A1，则检测次数加1；若下一时刻T1的图像中虚拟跟踪器未检测到目标交通信号灯A1，则漏检次数加1，若连续漏检，则连续漏检次数加1。
S104、基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。
在本实施例中，通过任一目标交通信号灯对应的虚拟跟踪器，可在后续采集的图像中检测和跟踪对应的目标交通信号灯，并且根据跟踪结果对车辆做出符合交通规则的行为决策，具体的，可以根据跟踪结果确定准确的目标交通信号灯和所在路口信息，也可实时确定车辆与目标交通信号灯之间的距离，以及对图像中的目标交通信号灯进行颜色识别，判断在车辆行进过程中目标交通信号灯的颜色变化，从而控制车辆的行为，例如停车、减速、加速、转弯、变道等行为。本实施例中通过虚拟跟踪器跟踪后续采集图像中对应的目标交通信号灯，可有效的避免漏检和误检问题的发生，即使某一帧图像中出现漏检和误检问题并不影响在其他帧图像中对目标交通信号灯的跟踪，也可避免检测到的交通信号灯位置发生大幅跳变，提高准确性。
在一种可选实施例中，如图4所示，所述基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，包括：
S301、根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，并将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配。
在本实施例中，任一目标交通信号灯对应的虚拟跟踪器可根据其记录的目标交通信号灯的属性信息预测该目标交通信号灯在后续采集的图像中的投影位置，例如T0时刻对目标交通信号灯A1创建的虚拟跟踪器，可以根据目标交通信号灯A1的世界坐标、以及图像采集设备T0时刻的内参、图像采集设备T0时刻相对于车辆的外参和车辆T0时刻的位姿，以及图像采集设备在下一时刻T1时刻的内参、图像采集设备T1时刻相对于车辆的外参和车辆T1时刻的位姿，预测目标交通信号灯A1在T1时刻的图像中的投影位置；此外，通过预设检测模型检测T1时刻的图像中包括的候选交通信号灯，若目标交通信号灯A1的投影位置存在相匹配的候选交通信号灯，则说明目标交通信号灯在后续T1时刻采集的图像中的投影与该后续T1时刻采集的图像中识别到的候选交通信号灯能够匹配。
具体的，所述根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，包括：
通过所述虚拟跟踪器，根据所述目标交通信号灯的世界坐标、以及该后续采集的图像对应的所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，将所述目标交通信号灯投影到该后续采集的图像中。
在本实施例中，在投影时根据虚拟跟踪器中记录的目标交通信号灯的世界坐标，以及某一帧后续采集的图像对应的图像采集设备的内参、图像采集设备相对所述车辆的外参以及车辆的位姿，将目标交通信号投影到该后续采集的图像中，上述的投影过程能够跨图像采集设备投影，从而实现跨图像采集设备的跟踪，也即在所有图像采集设备中对目标交通信号进行跟踪。
在上述实施例的基础上，S301具体还可以为：
根据所述目标交通信号灯和该后续采集的图像中识别到的候选交通信号灯的属性信息、以及在图像中的位置和/或面积，获取所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯之间的匹配得分；进而根据匹配得分判断是否匹配。
在本实施例中，目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配过程，基于图像中的交通信号灯的位置和面积大小、世界坐标、关联的路口信息，构建能量方程，根据能量方程计算匹配得分，若所述匹配得分满足预设条件，则确定所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配。
进一步的，若能够匹配，则执行S302；若不能匹配，则执行S303。
S302、若所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配，则跟踪成功。
在本实施例中，跟踪成功后可输出跟踪结果，还可更新虚拟跟踪器记录的信息，例如检测次数等，此外还可更新目标交通信号灯的世界坐标，由于每次获取的目标交通信号灯的世界坐标均可能存在误差，因此可通过不断更新来提高准确度。可选的，可根据所有能够与所述目标交通信号灯的投影匹配的图像重新获取所述目标交通信号灯的世界坐标，对所述虚拟跟踪器记录的所述目标交通信号灯的世界坐标进行更新，例如通过计算均值、重心、质心、或RANSAC后求中心等方法结合多帧图像中目标交通信号灯的世界坐标获取更新后的目标交通信号灯的世界坐标。
S303、若所述目标交通信号灯的投影不能够与该后续采集的图像中识别到的候选交通信号灯匹配，确定所述虚拟跟踪器漏检。
在本实施例中，跟踪器漏检时可更新虚拟跟踪器记录的漏检次数和/或连续漏检次数等，此外，可不更新目标交通信号灯的其他属性信息。
进一步的，若该后续采集的图像中出现新目标交通信号灯、且不能与已有的虚拟跟踪器匹配，创建所述新目标交通信号灯对应的虚拟跟踪器。其中创建虚拟跟踪器的过程同上，此处不再赘述。
在上述任一实施例的基础上，所述方法还包括删除虚拟跟踪器的过程，具体如下：
若确定所述虚拟跟踪器漏检，且在所述虚拟跟踪器连续漏检次数达到预设次数时，删除所述虚拟跟踪器；或者
根据所述车辆的位姿、以及所述目标交通信号灯或与所述目标交通信号灯关联的路口的世界坐标，确定所述车辆已经通过所述目标交通信号灯，删除所述虚拟跟踪器；或者
所述匹配得分的时序平均值低于预设阈值，删除所述虚拟跟踪器。
在本实施例中，若某一虚拟跟踪器连续漏检，也即在后续采集的图像中连续未检测到其对应的目标交通信号灯，则说明该目标交通信号灯已不在图像采集设备的视野范围内，车辆可能已经通过该目标交通信号灯，或者可能存在受遮挡、光照、环境因素等影响造成误检或漏检的情况；同样的，通过车辆的位姿(世界坐标)与该目标交通信号灯或与该目标交通信号灯关联的路口的世界坐标进行对比，也可以确定车辆是否经过目标交通信号灯，并在确定车辆已经通过该目标交通信号灯后删除对应的虚拟跟踪器；此外，若匹配过程中匹配得分的时序平均值低于预设阈值，说明图像中已无法找到能够与该目标交通信号灯的投影匹配度较高的候选交通信号灯，可能存在受遮挡、光照、环境因素等影响造成误检或漏检的情况，也可对该虚拟跟踪器进行删除。
通过上述对虚拟跟踪器动态的创建、跟踪、删除过程，可实现在车辆运行过程中不断的识别、跟踪前方的交通信号灯，并在经过交通信号灯后不再关注已经通过的交通信号灯，并且能够有效的处理受遮挡、光照、环境因素等影响造成误检或漏检的情况。
本实施例提供的交通信号灯的跟踪方法，通过在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；识别当前时刻采集的图像中包括的目标交通信号灯；创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。本实施例中通过创建虚拟跟踪器对车辆行驶过程中实时采集的图像中包含的交通信号灯进行跟踪，具有较强的针对性，且准确性和跟踪效率较高，能够为车辆的行为决策提供基础。
本申请一实施例提供一种交通信号灯的跟踪装置，图5为本发明实施例提供的交通信号灯的跟踪装置的结构图。如图5所示，所述交通信号灯的跟踪装置500具体包括：采集模块501、识别模块502、创建模块503以及跟踪模块504。
采集模块501，用于在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；
识别模块502，用于识别当前时刻采集的图像中包括的目标交通信号灯，并获取所述目标交通信号灯的世界坐标；
创建模块503，用于创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；
跟踪模块504，用于基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。
在一种可能的设计中，所述识别模块502在识别所述图像中包括的目标交通信号灯时，用于：
通过预设检测模型检测所述图像中包括的候选交通信号灯，并获取每一所述候选交通信号灯的世界坐标；
根据所述候选交通信号灯的世界坐标以及预设地图，将所述候选交通信号灯与车辆前方的路口信息进行匹配；
删除世界坐标处于车辆前方的路口的预定范围外的候选交通信号灯，将世界坐标处于车辆前方的路口的预定范围内的候选交通信号灯作为所述目标交通信号灯。
在一种可能的设计中，所述识别模块502在获取每一所述候选交通信号灯的世界坐标时，用于：
根据任一所述候选交通信号灯在图像中的尺寸、所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，获取所述候选交通信号灯的世界坐标。
在一种可能的设计中，所述图像采集设备有多个，所述识别模块502在识别当前时刻采集的图像中包括的目标交通信号灯时，用于：
根据各图像采集设备的焦距长短信息、车辆距离路口距离信息以及路口范围信息中的至少一项，对当前时刻各图像采集设备采集的多个图像进行筛选；
识别筛选的图像中包括的目标交通信号灯。
在一种可能的设计中，所述目标交通信号灯的属性信息包括所述目标交通信号灯的标识、所述目标交通信号灯的世界坐标、所述目标交通信号灯关联的路口信息、检测次数、漏检次数、连续漏检次数中的至少一项。
在一种可能的设计中，所述跟踪模块504在基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪时，用于：
根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，并将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配；
若所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配，则跟踪成功；
若所述目标交通信号灯的投影不能够与该后续采集的图像中识别到的候选交通信号灯匹配，确定所述虚拟跟踪器漏检。
在一种可能的设计中，所述跟踪模块504在根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中时，用于：
通过所述虚拟跟踪器，根据所述目标交通信号灯的世界坐标、以及该后续采集的图像对应的所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，将所述目标交通信号灯投影到该后续采集的图像中。
在一种可能的设计中，所述跟踪模块504在将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配时，用于：
根据所述目标交通信号灯和该后续采集的图像中识别到的候选交通信号灯的属性信息、以及在图像中的位置和/或面积，获取所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯之间的匹配得分；
若所述匹配得分满足预设条件，则确定所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配。
在一种可能的设计中，所述跟踪模块504在跟踪成功后，还用于：
根据所有能够与所述目标交通信号灯的投影匹配的图像重新获取所述目标交通信号灯的世界坐标，对所述虚拟跟踪器记录的所述目标交通信号灯的世界坐标进行更新。
在一种可能的设计中，所述创建模块503还用于：
若该后续采集的图像中出现新目标交通信号灯、且不能与已有的虚拟跟踪器匹配，创建所述新目标交通信号灯对应的虚拟跟踪器。
在一种可能的设计中，所述装置500还包括删除模块505，用于：
若确定所述虚拟跟踪器漏检，且在所述虚拟跟踪器连续漏检次数达到预设次数时，删除所述虚拟跟踪器；或者
根据所述车辆的位姿、以及所述目标交通信号灯或与所述目标交通信号灯关联的路口的世界坐标，确定所述车辆已经通过所述目标交通信号灯，删除所述虚拟跟踪器；或者
所述匹配得分的时序平均值低于预设阈值，删除所述虚拟跟踪器。
本实施例提供的交通信号灯的跟踪装置可以具体用于执行上述图所提供的方法实施例，具体功能此处不再提供的赘述。
本实施例提供的交通信号灯的跟踪装置，通过在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；识别当前时刻采集的图像中包括的目标交通信号灯；创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。本实施例中通过创建虚拟跟踪器对车辆行驶过程中实时采集的图像中包含的交通信号灯进行跟踪，具有较强的针对性，且准确性和跟踪效率较高，能够为车辆的行为决策提供基础。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图6所示，是根据本申请实施例的交通信号灯的跟踪方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图6所示，该电子设备包括：一个或多个处理器601、存储器602，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图6中以一个处理器601为例。
存储器602即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的交通信号灯的跟踪方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的交通信号灯的跟踪方法。
存储器602作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的交通信号灯的跟踪方法对应的程序指令/模块(例如，附图5所示的采集模块501、识别模块502、创建模块503、跟踪模块504以及删除模块505)。处理器601通过运行存储在存储器602中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的交通信号灯的跟踪方法。
存储器602可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据交通信号灯的跟踪电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器602可选包括相对于处理器601远程设置的存储器，这些远程存储器可以通过网络连接至交通信号灯的跟踪电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
交通信号灯的跟踪方法的电子设备还可以包括：输入装置603和输出装置604。处理器601、存储器602、输入装置603和输出装置604可以通过总线或者其他方式连接，图6中以通过总线连接为例。
输入装置603可接收输入的数字或字符信息，以及产生与交通信号灯的跟踪电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；识别当前时刻采集的图像中包括的目标交通信号灯；创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。本实施例中通过创建虚拟跟踪器对车辆行驶过程中实时采集的图像中包含的交通信号灯进行跟踪，具有较强的针对性，且准确性和跟踪效率较高，能够为车辆的行为决策提供基础。
本申请还提供了一种计算机程序，包括程序代码，当计算机运行所述计算机程序时，所述程序代码执行如上述实施例所述的交通信号灯的跟踪方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (24)
1.一种交通信号灯的跟踪方法，其特征在于，包括：
在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；
识别当前时刻采集的图像中包括的目标交通信号灯，并获取所述目标交通信号灯的世界坐标；
创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；
基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。
2.根据权利要求1所述的方法，其特征在于，所述识别所述图像中包括的目标交通信号灯，包括：
通过预设检测模型检测所述图像中包括的候选交通信号灯，并获取每一所述候选交通信号灯的世界坐标；
根据所述候选交通信号灯的世界坐标以及预设地图，将所述候选交通信号灯与车辆前方的路口信息进行匹配；
删除世界坐标处于车辆前方的路口的预定范围外的候选交通信号灯，将世界坐标处于车辆前方的路口的预定范围内的候选交通信号灯作为所述目标交通信号灯。
3.根据权利要求2所述的方法，其特征在于，所述获取每一所述候选交通信号灯的世界坐标，包括：
根据任一所述候选交通信号灯在图像中的尺寸、所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，获取所述候选交通信号灯的世界坐标。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述图像采集设备有多个，所述识别当前时刻采集的图像中包括的目标交通信号灯，包括：
根据各图像采集设备的焦距长短信息、车辆距离路口距离信息以及路口范围信息中的至少一项，对当前时刻各图像采集设备采集的多个图像进行筛选；
识别筛选的图像中包括的目标交通信号灯。
5.根据权利要求2或3所述的方法，其特征在于，所述目标交通信号灯的属性信息包括所述目标交通信号灯的标识、所述目标交通信号灯的世界坐标、所述目标交通信号灯关联的路口信息、检测次数、漏检次数、连续漏检次数中的至少一项。
6.根据权利要求5所述的方法，其特征在于，所述基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，包括：
根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，并将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配；
若所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配，则跟踪成功；
若所述目标交通信号灯的投影不能够与该后续采集的图像中识别到的候选交通信号灯匹配，确定所述虚拟跟踪器漏检。
7.根据权利要求6所述的方法，其特征在于，所述根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，包括：
通过所述虚拟跟踪器，根据所述目标交通信号灯的世界坐标、以及该后续采集的图像对应的所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，将所述目标交通信号灯投影到该后续采集的图像中。
8.根据权利要求6所述的方法，其特征在于，所述将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配，包括：
根据所述目标交通信号灯和该后续采集的图像中识别到的候选交通信号灯的属性信息、以及在图像中的位置和/或面积，获取所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯之间的匹配得分；
若所述匹配得分满足预设条件，则确定所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配。
9.根据权利要求6所述的方法，其特征在于，所述跟踪成功后，还包括：
根据所有能够与所述目标交通信号灯的投影匹配的图像重新获取所述目标交通信号灯的世界坐标，对所述虚拟跟踪器记录的所述目标交通信号灯的世界坐标进行更新。
10.根据权利要求6所述的方法，其特征在于，所述将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配后，还包括：
若该后续采集的图像中出现新目标交通信号灯、且不能与已有的虚拟跟踪器匹配，创建所述新目标交通信号灯对应的虚拟跟踪器。
11.根据权利要求6所述的方法，其特征在于，还包括：
若确定所述虚拟跟踪器漏检，且在所述虚拟跟踪器连续漏检次数达到预设次数时，删除所述虚拟跟踪器；或者
根据所述车辆的位姿、以及所述目标交通信号灯或与所述目标交通信号灯关联的路口的世界坐标，确定所述车辆已经通过所述目标交通信号灯，删除所述虚拟跟踪器；或者
所述匹配得分的时序平均值低于预设阈值，删除所述虚拟跟踪器。
12.一种交通信号灯的跟踪装置，其特征在于，包括：
采集模块，用于在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；
识别模块，用于识别当前时刻采集的图像中包括的目标交通信号灯，并获取所述目标交通信号灯的世界坐标；
创建模块，用于创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；
跟踪模块，用于基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。
13.根据权利要求12所述的装置，其特征在于，所述识别模块在识别所述图像中包括的目标交通信号灯时，用于：
通过预设检测模型检测所述图像中包括的候选交通信号灯，并获取每一所述候选交通信号灯的世界坐标；
根据所述候选交通信号灯的世界坐标以及预设地图，将所述候选交通信号灯与车辆前方的路口信息进行匹配；
删除世界坐标处于车辆前方的路口的预定范围外的候选交通信号灯，将世界坐标处于车辆前方的路口的预定范围内的候选交通信号灯作为所述目标交通信号灯。
14.根据权利要求13所述的装置，其特征在于，所述识别模块在获取每一所述候选交通信号灯的世界坐标时，用于：
根据任一所述候选交通信号灯在图像中的尺寸、所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，获取所述候选交通信号灯的世界坐标。
15.根据权利要求12-14任一项所述的装置，其特征在于，所述图像采集设备有多个，所述识别模块在识别当前时刻采集的图像中包括的目标交通信号灯时，用于：
根据各图像采集设备的焦距长短信息、车辆距离路口距离信息以及路口范围信息中的至少一项，对当前时刻各图像采集设备采集的多个图像进行筛选；
识别筛选的图像中包括的目标交通信号灯。
16.根据权利要求13或14所述的装置，其特征在于，所述目标交通信号灯的属性信息包括所述目标交通信号灯的标识、所述目标交通信号灯的世界坐标、所述目标交通信号灯关联的路口信息、检测次数、漏检次数、连续漏检次数中的至少一项。
17.根据权利要求16所述的装置，其特征在于，所述跟踪模块在基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪时，用于：
根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，并将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配；
若所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配，则跟踪成功；
若所述目标交通信号灯的投影不能够与该后续采集的图像中识别到的候选交通信号灯匹配，确定所述虚拟跟踪器漏检。
18.根据权利要求17所述的装置，其特征在于，所述跟踪模块在根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中时，用于：
通过所述虚拟跟踪器，根据所述目标交通信号灯的世界坐标、以及该后续采集的图像对应的所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，将所述目标交通信号灯投影到该后续采集的图像中。
19.根据权利要求17所述的装置，其特征在于，所述跟踪模块在将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配时，用于：
根据所述目标交通信号灯和该后续采集的图像中识别到的候选交通信号灯的属性信息、以及在图像中的位置和/或面积，获取所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯之间的匹配得分；
若所述匹配得分满足预设条件，则确定所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配。
20.根据权利要求17所述的装置，其特征在于，所述跟踪模块在跟踪成功后，还用于：
根据所有能够与所述目标交通信号灯的投影匹配的图像重新获取所述目标交通信号灯的世界坐标，对所述虚拟跟踪器记录的所述目标交通信号灯的世界坐标进行更新。
21.根据权利要求17所述的装置，其特征在于，所述创建模块还用于：
若该后续采集的图像中出现新目标交通信号灯、且不能与已有的虚拟跟踪器匹配，创建所述新目标交通信号灯对应的虚拟跟踪器。
22.根据权利要求17所述的装置，其特征在于，还包括删除模块，用于：
若确定所述虚拟跟踪器漏检，且在所述虚拟跟踪器连续漏检次数达到预设次数时，删除所述虚拟跟踪器；或者
根据所述车辆的位姿、以及所述目标交通信号灯或与所述目标交通信号灯关联的路口的世界坐标，确定所述车辆已经通过所述目标交通信号灯，删除所述虚拟跟踪器；或者
所述匹配得分的时序平均值低于预设阈值，删除所述虚拟跟踪器。
23.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010081837.9A CN111292531B (zh) | 2020-02-06 | 2020-02-06 | 交通信号灯的跟踪方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010081837.9A CN111292531B (zh) | 2020-02-06 | 2020-02-06 | 交通信号灯的跟踪方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111292531A true CN111292531A (zh) | 2020-06-16 |
| CN111292531B CN111292531B (zh) | 2022-07-29 |
Family
ID=71025520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010081837.9A Active CN111292531B (zh) | 2020-02-06 | 2020-02-06 | 交通信号灯的跟踪方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111292531B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695546A (zh) * | 2020-06-28 | 2020-09-22 | 北京京东乾石科技有限公司 | 用于无人车的交通信号灯识别方法和装置 |
| CN112330961A (zh) * | 2020-11-03 | 2021-02-05 | 厦门理工学院 | 一种基于时序规律的交通指示红黄绿灯的图像识别方法 |
| CN112418031A (zh) * | 2020-11-11 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 图像识别方法和装置、存储介质及电子设备 |
| CN112699773A (zh) * | 2020-12-28 | 2021-04-23 | 北京百度网讯科技有限公司 | 交通灯识别方法、装置及电子设备 |
| CN112991290A (zh) * | 2021-03-10 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像稳像方法、装置、路侧设备、云控平台 |
| US20220081011A1 (en) * | 2020-09-15 | 2022-03-17 | Volkswagen Aktiengesellschaft | Method, computer program and apparatus for controlling operation of a vehicle equipped with an automated driving function |
| CN115249407A (zh) * | 2021-05-27 | 2022-10-28 | 上海仙途智能科技有限公司 | 指示灯状态识别方法、装置、电子设备、存储介质及产品 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012173879A (ja) * | 2011-02-18 | 2012-09-10 | Toyota Central R&D Labs Inc | 信号機検出装置及びプログラム |
| US20150012200A1 (en) * | 2012-02-13 | 2015-01-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for traffic signal recognition |
| CN108305475A (zh) * | 2017-03-06 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种交通灯识别方法及装置 |
| CN108831168A (zh) * | 2018-06-01 | 2018-11-16 | 江苏数翰信息科技有限公司 | 一种基于关联路口视觉识别的交通信号灯控制方法与系统 |
| CN109472989A (zh) * | 2018-12-05 | 2019-03-15 | 斑马网络技术有限公司 | 交通信号灯的提示方法、装置、设备及可读存储介质 |
| CN109903574A (zh) * | 2017-12-08 | 2019-06-18 | 华为技术有限公司 | 路口交通信息的获取方法和装置 |
| CN110390829A (zh) * | 2019-07-30 | 2019-10-29 | 北京百度网讯科技有限公司 | 交通信号灯识别的方法及装置 |
| CN110660254A (zh) * | 2018-06-29 | 2020-01-07 | 北京市商汤科技开发有限公司 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
| CN110688992A (zh) * | 2019-12-09 | 2020-01-14 | 中智行科技有限公司 | 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆 |
-
2020
- 2020-02-06 CN CN202010081837.9A patent/CN111292531B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012173879A (ja) * | 2011-02-18 | 2012-09-10 | Toyota Central R&D Labs Inc | 信号機検出装置及びプログラム |
| US20150012200A1 (en) * | 2012-02-13 | 2015-01-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for traffic signal recognition |
| CN108305475A (zh) * | 2017-03-06 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种交通灯识别方法及装置 |
| CN109903574A (zh) * | 2017-12-08 | 2019-06-18 | 华为技术有限公司 | 路口交通信息的获取方法和装置 |
| CN108831168A (zh) * | 2018-06-01 | 2018-11-16 | 江苏数翰信息科技有限公司 | 一种基于关联路口视觉识别的交通信号灯控制方法与系统 |
| CN110660254A (zh) * | 2018-06-29 | 2020-01-07 | 北京市商汤科技开发有限公司 | 交通信号灯检测及智能驾驶方法和装置、车辆、电子设备 |
| CN109472989A (zh) * | 2018-12-05 | 2019-03-15 | 斑马网络技术有限公司 | 交通信号灯的提示方法、装置、设备及可读存储介质 |
| CN110390829A (zh) * | 2019-07-30 | 2019-10-29 | 北京百度网讯科技有限公司 | 交通信号灯识别的方法及装置 |
| CN110688992A (zh) * | 2019-12-09 | 2020-01-14 | 中智行科技有限公司 | 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆 |
Non-Patent Citations (2)
| Title |
|---|
| JESSE LEVINSON,JAKE ASKELAND,JENNIFER DOLSON,SEBASTIAN THRUN: "Traffic Light Mapping, Localization, and State Detection for Autonomous Vehicles", 《2011 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 * |
| 谷明琴: "复杂环境中交通标识识别与状态跟踪估计算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111695546A (zh) * | 2020-06-28 | 2020-09-22 | 北京京东乾石科技有限公司 | 用于无人车的交通信号灯识别方法和装置 |
| US20220081011A1 (en) * | 2020-09-15 | 2022-03-17 | Volkswagen Aktiengesellschaft | Method, computer program and apparatus for controlling operation of a vehicle equipped with an automated driving function |
| US11904898B2 (en) * | 2020-09-15 | 2024-02-20 | Volkswagen Aktiengesellschaft | Method, computer program and apparatus for controlling operation of a vehicle equipped with an automated driving function |
| CN112330961A (zh) * | 2020-11-03 | 2021-02-05 | 厦门理工学院 | 一种基于时序规律的交通指示红黄绿灯的图像识别方法 |
| CN112418031A (zh) * | 2020-11-11 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 图像识别方法和装置、存储介质及电子设备 |
| CN112699773A (zh) * | 2020-12-28 | 2021-04-23 | 北京百度网讯科技有限公司 | 交通灯识别方法、装置及电子设备 |
| CN112699773B (zh) * | 2020-12-28 | 2023-09-01 | 阿波罗智联(北京)科技有限公司 | 交通灯识别方法、装置及电子设备 |
| CN112991290A (zh) * | 2021-03-10 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像稳像方法、装置、路侧设备、云控平台 |
| CN112991290B (zh) * | 2021-03-10 | 2023-12-05 | 阿波罗智联(北京)科技有限公司 | 图像稳像方法、装置、路侧设备、云控平台 |
| CN115249407A (zh) * | 2021-05-27 | 2022-10-28 | 上海仙途智能科技有限公司 | 指示灯状态识别方法、装置、电子设备、存储介质及产品 |
| WO2022247299A1 (zh) * | 2021-05-27 | 2022-12-01 | 上海仙途智能科技有限公司 | 指示灯状态识别 |
| CN115249407B (zh) * | 2021-05-27 | 2023-09-26 | 上海仙途智能科技有限公司 | 指示灯状态识别方法、装置、电子设备、存储介质及产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111292531B (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292531B (zh) | 交通信号灯的跟踪方法、装置、设备及存储介质 | |
| CN111723768B (zh) | 车辆重识别的方法、装置、设备和存储介质 | |
| CN111273268B (zh) | 自动驾驶障碍物类型的识别方法、装置及电子设备 | |
| CN111428663B (zh) | 红绿灯状态的识别方法、装置、电子设备和存储介质 | |
| CN111275983B (zh) | 车辆追踪方法、装置、电子设备和计算机可读存储介质 | |
| CN110910665B (zh) | 信号灯控制方法、装置以及计算机设备 | |
| CN112132109B (zh) | 车道线处理和车道定位方法、装置、设备及存储介质 | |
| CN112528786B (zh) | 车辆跟踪方法、装置及电子设备 | |
| US20210110168A1 (en) | Object tracking method and apparatus | |
| CN110929639A (zh) | 用于确定图像中障碍物位置的方法、装置、设备和介质 | |
| CN110968718B (zh) | 目标检测模型负样本挖掘方法、装置及电子设备 | |
| CN110717933B (zh) | 针对运动物体漏检的后处理方法、装置、设备和介质 | |
| JP7200207B2 (ja) | 地図生成方法、地図生成装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム | |
| CN110703732B (zh) | 相关性检测方法、装置、设备及计算机可读存储介质 | |
| EP3842753A2 (en) | Method and apparatus for positioning vehicle, vehicle, storage medium, and computer program product | |
| CN111640301B (zh) | 故障车辆检测方法及包括路侧单元的故障车辆检测系统 | |
| CN111275011A (zh) | 移动红绿灯检测方法、装置、电子设备和存储介质 | |
| CN111652112A (zh) | 一种车道流向的识别方法、装置、电子设备及存储介质 | |
| CN111666876A (zh) | 用于检测障碍物的方法、装置、电子设备和路侧设备 | |
| CN113255411A (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN113673281B (zh) | 限速信息确定方法、装置、设备以及存储介质 | |
| CN111339877B (zh) | 盲区的长度检测方法、装置、电子设备及存储介质 | |
| CN111540010B (zh) | 一种道路监测的方法、装置、电子设备及存储介质 | |
| CN111027195B (zh) | 仿真场景的生成方法、装置及设备 | |
| CN113011298A (zh) | 截断物体样本生成、目标检测方法、路侧设备和云控平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211022 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |