CN111428663A - 红绿灯状态的识别方法、装置、电子设备和存储介质 - Google Patents
红绿灯状态的识别方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN111428663A CN111428663A CN202010238384.6A CN202010238384A CN111428663A CN 111428663 A CN111428663 A CN 111428663A CN 202010238384 A CN202010238384 A CN 202010238384A CN 111428663 A CN111428663 A CN 111428663A
- Authority
- CN
- China
- Prior art keywords
- traffic light
- current frame
- frame image
- vehicle
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000015654 memory Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开了红绿灯状态的识别方法、装置、电子设备和存储介质，涉及自动驾驶技术领域。具体实现方案为：确定车辆上目标车载摄像头所采集的当前帧图像检测到红绿灯设备，并在确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备时，结合当前帧图像中红绿灯设备所在的图像区域进行红绿灯状态识别，以得到当前帧图像的红绿灯状态识别结果。由此，采用连续多帧的方式对红绿灯设备进行跟踪，减少了误检和漏检的情况的发生，能够提高识别红绿灯灯头的状态信息的准确性，进而可结合所确定出的红绿灯灯头的状态信息进行控制规划。
Description
技术领域
本申请涉及计算机技术领域，具体涉及自动驾驶领域技术领域，尤其涉及红绿灯状态的识别方法、装置、电子设备和存储介质。
背景技术
在自动驾驶技术中，为保障自动驾驶车辆能够安全通过路口，需要自动驾驶车辆能够实时检测路口红绿灯状态，并识别红灯、绿灯和黄灯，得到这些灯的状态后，输出给后台的自动驾驶车辆的控制系统，由控制系统根据灯的状态发出通过或者停止的命令。
相关技术中的红绿灯状态识别方式，由于红绿灯设备检测算法或模型容易出现检测错误(例如误检、漏检红绿灯设备)的情况，从而导致输出的红绿灯状态信息不准确，进而导致自动驾车车辆规划错误，增加了发生事故的危险。因此，如何使得自动驾驶车辆准确识别出红绿灯的状态信息对于保证自动驾驶车辆的行车安全是十分重要的。
发明内容
本申请提出一种红绿灯状态的识别方法、装置、电子设备和存储介质，采用连续多帧的方式对红绿灯设备进行跟踪，减少了误检和漏检的情况的发生，能够提高识别红绿灯灯头的状态信息的准确性，进而可结合所确定出的红绿灯灯头的状态信息进行控制规划。
本申请第一方面实施例提出了一种红绿灯状态的识别方法，包括：获取车辆上目标车载摄像头采集的当前帧图像；确定在所述当前帧图像检测到红绿灯设备；确定所述目标车载摄像头在所述当前帧图像之前所采集到的连续N帧图像均跟踪到所述红绿灯设备，其中，N为大于或者等于1的整数；对所述当前帧图像的感兴趣区域进行红绿灯状态识别，以得到所述当前帧图像对应的红绿灯状态识别结果，并输出所述红绿灯状态识别结果，其中，所述感兴趣区域包括所述红绿灯设备的图像。
本申请实施例的红绿灯状态的识别方法，确定车辆上目标车载摄像头所采集的当前帧图像检测到红绿灯设备，并在确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备时，结合当前帧图像中红绿灯设备所在的图像区域进行红绿灯状态识别，以得到当前帧图像的红绿灯状态识别结果。由此，采用连续多帧的方式对红绿灯设备进行跟踪，减少了误检和漏检的情况的发生，能够提高识别红绿灯灯头的状态信息的准确性，进而可结合所确定出的红绿灯灯头的状态信息进行控制规划。
本申请第二方面实施例提出了一种红绿灯状态的识别装置，包括：第一获取模块，用于获取车辆上目标车载摄像头采集的当前帧图像；第一确定模块，用于确定在所述当前帧图像检测到红绿灯设备；第二确定模块，用于确定所述目标车载摄像头在所述当前帧图像之前所采集到的连续N帧图像均跟踪到所述红绿灯设备，其中，N为大于或者等于1的整数；识别模块，用于对所述当前帧图像的感兴趣区域进行红绿灯状态识别，以得到所述当前帧图像对应的红绿灯状态识别结果，并输出所述红绿灯状态识别结果，其中，所述感兴趣区域包括所述红绿灯设备的图像。
本申请实施例的红绿灯状态的识别装置，确定车辆上目标车载摄像头所采集的当前帧图像检测到红绿灯设备，并在确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备时，结合当前帧图像中红绿灯设备所在的图像区域进行红绿灯状态识别，以得到当前帧图像的红绿灯状态识别结果。由此，采用连续多帧的方式对红绿灯设备进行跟踪，减少了误检和漏检的情况的发生，能够提高识别红绿灯灯头的状态信息的准确性，进而可结合所确定出的红绿灯灯头的状态信息进行控制规划。
本申请第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例的红绿灯状态的识别方法。
本申请第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请实施例公开的红绿灯状态的识别方法。
上述申请中的一个实施例具有如下优点或有益效果：采用连续多帧的方式对红绿灯设备进行跟踪，减少了误检和漏检的情况的发生，能够提高识别红绿灯灯头的状态信息的准确性，进而可结合所确定出的红绿灯灯头的状态信息进行控制规划。因为采用了在确定车辆上目标车载摄像头所采集的当前帧图像检测到红绿灯设备后，如果确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备，则结合当前帧图像中红绿灯设备所在的图像区域进行红绿灯状态识别，以得到当前帧图像的红绿灯状态识别结果的技术手段，所以克服了相关技术中红绿灯识别容易出现误检或漏检的技术问题，从而达到了减少了误检和漏检的情况的发生，能够提高识别红绿灯灯头的状态信息的准确性，进而可结合所确定出的红绿灯灯头的状态信息进行控制规划的技术效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的示意图；
图2是根据本申请第二实施例的示意图；
图3是根据本申请第三实施例的示意图
图4是确定感兴趣区域中的红绿灯灯头目标区域的细化流程图；
图5是根据本申请第四实施例的示意图；
图6是根据本申请第五实施例的示意图；
图7根据本申请第六实施例的示意图；
图8是根据本申请第七实施例的示意图；
图9是用来实现本申请实施例的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请实施例的红绿灯状态的识别方法、装置、电子设备和存储介质。
图1是根据本申请第一实施例的示意图。其中，需要说明的是，本实施例的红绿灯状态的识别方法的执行主体为红绿灯状态的识别装置，红绿灯状态的识别装置可以由软件和/或硬件的方式实现，该红绿灯状态的识别装置可配置或者安装车辆中。其中，本实施例中的车辆可以为无人驾驶车辆，也可以为具有自动驾驶模式的普通车辆，该实施对此不作限定。
如图1所示，该红绿灯状态的识别方法可以包括：
步骤101，获取车辆上目标车载摄像头采集的当前帧图像。
步骤102，确定在当前帧图像检测到红绿灯设备。
在本实施例中，可通过预先训练好的红绿灯设备检测模型，对当前帧图像是否存在红绿灯设备进行检测。
其中，本实施例中的红绿灯设备的形态是多样的，例如，红绿灯设备可以为常见悬挂式红绿灯设备、可移动临时红绿灯设备、固定式直立杆红绿灯设备等。
其中，上述目标车载摄像头可以是车辆中预先设定的用于对红绿灯设备进行图像采集的车载摄像头，还可以是采用预设的策略从车辆上多个车载摄像头选出的目标车载摄像头。
步骤103，确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备，其中，N为大于或者等于1的整数。
步骤104，对当前帧图像的感兴趣区域进行红绿灯状态识别，以得到当前帧图像对应的红绿灯状态识别结果，并输出红绿灯状态识别结果，其中，感兴趣区域包括红绿灯设备的图像。
本申请实施例的红绿灯状态的识别方法，在确定车辆上目标车载摄像头所采集的当前帧图像检测到红绿灯设备，并在确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备时，结合当前帧图像中红绿灯设备所在的图像区域进行红绿灯状态识别，以得到当前帧图像的红绿灯状态识别结果。由此，采用连续多帧的方式对红绿灯设备进行跟踪，减少了误检和漏检的情况的发生，能够提高识别红绿灯灯头的状态信息的准确性，进而可结合所确定出的红绿灯灯头的状态信息进行控制规划。
图2是根据本申请第二实施例的示意图。
步骤201，在确定车辆上目标车载摄像头所采集的当前帧图像检测到红绿灯设备时，确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备，其中，N为大于或者等于1的整数。
其中，本实施例中的红绿灯设备的形态是多样的，例如，红绿灯设备可以为常见悬挂式红绿灯设备、可移动临时红绿灯设备、固定式直立杆红绿灯设备等。
可以理解的是，如果在当前帧图像之前不存在连续的N帧图像跟踪到红绿灯设备，则继续对目标摄像头所采集到的下一帧图像继续进行红绿灯设备跟踪。
其中，上述目标车载摄像头可以是车辆中预先设定的用于对红绿灯设备进行图像采集的车载摄像头，还可以是采用预设的策略从车辆上多个车载摄像头选出的目标车载摄像头。
在一个实施例中，在车辆上包括多个车载摄像头时，为了减小所需检测时间和资源成本，可以选择其中部分摄像头所采集到的图像进行红绿灯状态检测，在本实施例中可通过下述方式来确定出目标车载摄像头，作为一种可能的方式，具体地，在车辆距离前方最近路口的距离小于预设距离阈值时，可根据各个车载摄像头的内参和外参、以及前方路口的位置信息，将前方最近路口信息(如路口中心的位置、路口的边缘线、路口的距离)向各个车载摄像头投影，并根据前方最近路口信息在各个车载摄像头的投影结果，从多个车载摄像头中选择出目标车载摄像头。例如，选择最近路口所有边缘点3D位置进行投影，并从多个车载摄像头中，获取整个路口范围都在对应车载摄像头的采集范围内的车载摄像头作为目标车载摄像头。
作为另一种可能的实现方式，可在车辆距离前方最近路口的距离小于预设距离阈值时，获取各个车载摄像头对距离车辆最近路口所采集到的路口图像，然后，确定各个车载摄像头的路口图像中红绿灯设备所对应的图像区域，并根据图像区域在路口图像中的位置信息和图像区域的尺寸信息，从多个车载摄像头确定出目标车载摄像头。
具体而言，可根据图像区域在路口图像中的位置信息和图像区域的尺寸信息，对各个车载摄像头进行评分，并将评分最高的车载摄像头作为目标车载摄像头。其中，图像区域在路口图像中越靠近路口图像的中心，其对应的位置维度的评分越高，图像区域的尺寸信息越大，其对应的评分越高。
步骤202，获取当前帧图像中的感兴趣区域(ROI，region of interest)，其中，感兴趣区域包括红绿灯设备的图像。
可以应理解的是，预设的目标跟踪算法的具体算法可根据实际需求来进行选择，只要保证跟踪算法能够进行目标跟踪即可。例如，该跟踪算法包括但不限于：均值漂移算法、基于Kalman(卡尔曼滤波)滤波的目标跟踪算法、基于粒子滤波的目标跟踪算法，本申请实施例对此不作限定。
在本实施例中，为了可以准确确定出当前帧图像中的感兴趣区域，可使用预设的目标跟踪算法，根据当前帧图像的前F帧图像、前F帧图像中的感兴趣区域和当前帧图像，确定当前帧图像中的感兴趣区域，其中，F为大于等于1的整数。
当然，在实际应用中，还可以通过其他方式获取当前帧图像中的感兴趣区域，例如，可通过预先训练好的红绿灯设备检测模型，确定当前帧图像中红绿灯设备所在的图像区域，并根据该图像区域，确定当前帧图像中的感兴趣区域，(比如，可以直接将该图像区域作为感兴趣区域，或者将该图像区域扩大预定比例后作为感兴趣区域)，该实施例对此不作具体限定。
步骤203，确定感兴趣区域中的红绿灯灯头目标区域，其中，红绿灯灯头目标区域包括红绿灯设备上红绿灯灯头的图像。
也就是说，在感兴趣区域中确定出红绿灯设备上红绿灯灯头所对应的图像区域，该图像区域即为绿灯灯头目标区域。
步骤204，根据红绿灯灯头目标区域，确定在采集到当前帧图像时，红绿灯设备上红绿灯灯头的状态信息，以及输出当前帧图像所对应的红绿灯灯头的状态信息。
其中，红绿灯灯头的状态信息可以包括红绿灯灯头当前显示的红绿灯状态，红绿灯状态可以包括但不限于红灯状态、绿灯状态、黄灯状态、红转弯状态等。
本实施例，结合感兴趣区域中的红绿灯灯头目标区域，确定在采集到当前帧图像时，红绿灯设备上红绿灯灯头的状态信息。由此，可以进一步提高识别红绿灯状态的准确度。
其中，可以理解的是，本实施例中的目标车载摄像头可以为一个或者多个，在目标车载摄像头为多个，各个目标车载摄像头采集图像的采样时间可以是一样的，在各个采集时间所对应的最终红绿灯状态识别结果，可以是基于各个目标车载摄像头在对应采集时间点上的红绿灯识别结果而确定出的。
图3是根据本申请第三实施例的示意图。该实施是上述实施例的进一步细化和扩展。
如图3所示，该红绿灯状态的识别方法可以包括：
步骤301，在确定车辆上目标车载摄像头所采集的当前帧图像检测到红绿灯设备时，确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备，其中，N为大于或者等于1的整数。
步骤302，获取当前帧图像中的感兴趣区域，其中，感兴趣区域包括红绿灯设备的图像。
步骤303，确定感兴趣区域中的红绿灯灯头目标区域，其中，红绿灯灯头目标区域包括红绿灯设备上红绿灯灯头的图像。
步骤304，根据红绿灯灯头目标区域，确定在采集到当前帧图像时，红绿灯设备上红绿灯灯头的状态信息。
其中，关于上述步骤301-步骤304的相关解释说明可参见上述实施例的相关描述，此处不再赘述。
步骤305，根据在当前帧图像之前的连续K帧图像的红绿灯灯头的状态信息，对当前帧图像所对应的红绿灯灯头的状态信息进行修正，其中，K为大于等于1的整数。
步骤306，将修正后的红绿灯灯头的状态信息作为当前帧图像的红绿灯识别结果输出。
例如，红绿灯设备上包括3个红绿灯灯头，分别为红绿灯灯头A、红绿灯灯头b和红绿灯灯头c，根据当前帧图像可以确定出其中红绿灯灯头A、红绿灯灯头b当前显示的颜色信息均为红灯状态，而无法确定出红绿灯灯头c当前显示的颜色信息，此时，可获取当前帧图像之前的前两帧图像，如果前两帧图像中均确定红绿灯灯头c当前显示的颜色信息为绿灯状态，可以确定当前帧图像中红绿灯灯头c当前显示的颜色信息也为绿灯状态，此时，当前帧图像的红绿灯识别结果为：红绿灯灯头A、红绿灯灯头b当前显示的颜色信息均为红灯状态，红绿灯灯头A、红绿灯灯头b当前显示的颜色信息均为红灯状态。
本实施例，在获取当前帧图像得到红绿灯灯头的状态信息后，结合当前帧图像之前的连续K帧图像的红绿灯灯头的状态信息，对当前帧图像所对应的红绿灯灯头的状态信息进行修正。由此，可以解决因遮挡、频闪、环境光照等原因从而造成仅基于当前帧图像无法准确提供红绿灯状态信息情况的发生，提高了车辆所输出的红绿灯识别结果的准确性。
基于上述实施例的基础上，在本申请的一个实施例中，为了准确识别出感兴趣区域中的红绿灯灯头目标区域，如图4所示，该确定感兴趣区域中的红绿灯灯头目标区域，可以包括：
步骤401，将感兴趣区域输入到预先训练好的红绿灯灯头检测模型，以得到M个红绿灯灯头候选区域。
作为一种示例，为了可准确确定出红绿灯灯头所在的图像区域，可获取车辆前方的红绿灯设备的类型，并获取与红绿灯设备的类型的红绿灯灯头检测模型，然后，将感兴趣区域输入到所获取的红绿灯灯头检测模型中，以通过该红绿灯灯头检测模型得到感兴趣区域中的M个红绿灯灯头候选区域。
其中，本实施的红绿灯灯头检测模型还可以提供各个红绿灯灯头候选区域的置信度。
步骤402，判断红绿灯灯头候选区域的数量M是否超过红绿灯设备上红绿灯灯头的数量L，其中，L和M均为大于或者等于1的整数。
步骤403，如果红绿灯灯头候选区域的数量M超过红绿灯设备上红绿灯灯头的数量L，则从M个红绿灯灯头候选区域中选择出L个红绿灯灯头候选区域作为红绿灯灯头目标区域。
在本实施例中，从M个红绿灯灯头候选区域中选择出L个红绿灯灯头候选区域作为红绿灯灯头目标区域的具体实现方式可以为：根据各个红绿灯灯头候选区域的属性信息，从M个红绿灯灯头候选区域中选择出L个红绿灯灯头候选区域作为红绿灯灯头目标区域。
其中，红绿灯灯头候选区域的属性信息可以包括红绿灯灯头候选区域的置信度、红绿灯灯头候选区域在感兴趣区域中的位置信息、红绿灯灯头候选区域的长宽比和红绿灯灯头候选区域的面积信息中的一种或者多种，该实施例对此不作限定。
例如，红绿灯灯头候选区域的属性信息为红绿灯灯头候选区域的长宽比，假设红绿灯设备上只有两个红绿灯灯头，此时，如果红绿灯灯头检测模型输出三个红绿灯灯头候选区域，假设三个红绿灯灯头候选区域中的两个红绿灯灯头候选区域各自对应的长宽比为3:1，而另一个红绿灯灯头候选区域的长宽比为1:1，此时，可将长宽比为3:1的红绿灯灯头候选区域作为红绿灯灯头目标区域。
例如，红绿灯灯头候选区域的属性信息为红绿灯灯头候选区域的面积信息，假设红绿灯设备上只有两个红绿灯灯头，此时，如果红绿灯灯头检测模型输出三个红绿灯灯头候选区域，假设三个红绿灯灯头候选区域中的两个红绿灯灯头候选区域各自对应的面积信息为100X100，而另一个红绿灯灯头候选区域的长宽比为10X10，此时，可将面积信息为100X100的红绿灯灯头候选区域作为红绿灯灯头目标区域。
基于上述实施例的基础上，在L为大于1的整数时，为了可以准确确定出红绿灯设备上各个红绿灯灯头的状态信息，上述步骤104的具体实方式可以为：
步骤a，将L个红绿灯灯头目标区域与感兴趣区域进行匹配，以确定每个红绿灯灯头目标区域与红绿灯设备上相应红绿灯灯头的对应关系。
步骤b，利用红绿灯状态识别模型，确定每个绿灯灯头目标区域所对应的红绿灯状态。
步骤c，根据对应关系，确定在采集到当前帧图像时，红绿灯设备上各个红绿灯灯头所对应的红绿灯状态。
也就是说，本实施例在在获取L个红绿灯灯头目标区域后，将L个红绿灯灯头目标区域与感兴趣区域进行匹配，以确定每个红绿灯灯头目标区域与红绿灯设备上相应红绿灯灯头的对应关系，以及利用红绿灯状态识别模型，确定每个绿灯灯头目标区域所对应的红绿灯状态，进而根据对应关系，确定在采集到当前帧图像时，红绿灯设备上各个红绿灯灯头所对应的红绿灯状态。由此，可以准确确定出红绿灯设备上各个红绿灯灯头当前的红绿灯状态，方便后续车辆根据红绿灯状态对车辆进行准确控制。
相关技术中通常依赖高精地图中标注地红绿灯设备的位置信息进行红绿灯状态识别，然而这种方式出现标注错误或者因道路施工或红绿灯故障，容易影响车辆对红绿灯状态识别。在本申请的一个实施例中，为了使得车辆在使用未标注红绿灯设备的普通地图时，也可以准确获取红绿灯设备的位置信息，并基于该位置信息对车辆进行控制规划，基于上述任意一个实施例的基础上，如图5所示，该方法还可以包括：
步骤501，根据感兴趣区域的属性信息、目标车载摄像头在世界坐标系中的位置信息以及目标车载摄像头的内参，确定红绿灯设备在世界坐标系中的位置信息。
其中，感兴趣区域的属性信息包括感兴趣区域在当前帧图像的位置、感兴趣区域的尺寸信息。
步骤502，将红绿灯设备在世界坐标系中的位置信息，与车辆前方对应路口绑定，其中，路口在世界坐标系中的位置信息和在世界坐标系中的位置信息相匹配。
本实施例，结合当前帧图像中感兴趣区域的属性信息、目标车载摄像头在世界坐标系中的位置信息以及目标车载摄像头的内参，准确确定出了红绿灯设备在世界坐标系中的位置信息，并将红绿灯设备在世界坐标系中的位置信息与车辆上地图中的相应路口进行绑定，从而使得车辆无需使用高精地图，即可准确确定出前方对应路口上红绿灯设备在世界坐标系中的位置信息，进而使得车辆可根据路口与红绿灯设备之间的位置关系，控制车辆安全通过具有红绿灯设备的路口。
本实施例，根据是否能绑定到路口，可以过滤掉一些误检情况，如检测结果无法绑定到某个路口，可以认为是误检。
在本申请的一个实施例中，在车辆从当前位置行驶到对应路口的过程中，车辆的位置不断发生改变，从而设置在车辆上的车载摄像头所采集到的图像信息也会发生变化，为了可使得车辆可准确实时地获知车辆前方的红绿灯设备的状态信息，在本申请的一个实施例中，在获取红绿灯设备在世界坐标系中的位置信息后，可将红绿灯设备在世界坐标系中的位置信息投影到图像中，选择最优的N帧图像进行后续检测步骤。最优选择方法，可以是对红绿灯设备投影到图像中的ROI区域面积进行排序，选最大的前N幅图像所对应的车载摄像头作为目标车载摄像头，并基于目标车载摄像头所采集的各帧图像进行后续红绿灯状态识别。
基于上述实施例的基础上，为了可以实现对红绿灯设备进行准确跟踪，在获取红绿灯设备在世界坐标系中的位置信息后，还可以根据红绿灯设备在世界坐标系中的位置信息，对目标车载摄像头采集的下一帧图像进行红绿灯设备跟踪。具体而言，可根据红绿灯设备在世界坐标系中的位置信息，确定采集当前帧图像时，目标车载摄像头与红绿灯设备之间的距离，并根据目标车载摄像头采集下一帧图像的采集时间，确定采集下一帧图像时，目标车载摄像头和红绿灯设备之间的位置关系，并根据该位置关系，预测红绿灯设备在下一帧图像中的区域信息，进而结合所预测出的区域信息，确定下一帧图像是否跟踪到红绿灯设备。
可以理解的是，车辆上可以设置一个或者多个车载摄像头，通常为了使得车辆可根据车载摄像头采集的图像信息进行控制规划，车辆上通常设置多个车载摄像头，下面结合图6对本实施例的红绿灯状态的识别方法进行进一步描述。
如图6所示，该红绿灯状态的识别方法可以包括：
步骤601，获取各个车载摄像头对距离车辆最近路口所采集到的路口图像。
步骤602，确定各个车载摄像头的路口图像中红绿灯设备所对应的图像区域。
步骤603，根据图像区域在路口图像中的位置信息和图像区域的尺寸信息，从多个车载摄像头确定出目标车载摄像头。
步骤604，在确定车辆上目标车载摄像头所采集的当前帧图像检测到红绿灯设备时，确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备，
其中，N为大于或者等于1的整数。
步骤605，获取当前帧图像中的感兴趣区域，其中，感兴趣区域包括红绿灯设备的图像。
步骤606，确定感兴趣区域中的红绿灯灯头目标区域，其中，红绿灯灯头目标区域包括红绿灯设备上红绿灯灯头的图像。
在本实施中，为了进一步提高所确定出的红绿灯灯头目标区域，在本申请的一个实施例中，在确定感兴趣区域中的红绿灯灯头目标区域之前，还可以按照预定的比例对感兴趣区域进行区域扩展，以扩大感兴趣区域。然后，确定扩大后的感兴趣区域中红绿灯灯头目标区域。
步骤607，根据红绿灯灯头目标区域，确定在采集到当前帧图像时，红绿灯设备上红绿灯灯头的状态信息，以及输出当前帧图像所对应的红绿灯灯头的状态信息。
本实施例中，在车辆上设置多个车载摄像头时，为了在准确识别车辆前方红绿灯设备上红绿灯灯头的状态信息的同时，降低红绿灯状态的识别的耗时，结合红绿灯设备的图像区域在各个路口图像中的位置信息和图像区域的尺寸信息，从多个车载摄像头确定出目标车载摄像头，并采用目标车载摄像头所采集的各帧图像进行红绿灯灯头的状态信息的识别。
为了使得本领域的技术人员更加清楚地理解本申请下面结合图6对本实施例的红绿灯状态的识别方法进行示意性描述。
如图7所示，该红绿灯状态的识别方法，可以包括：
1.获取N>＝1个目标车载摄像头的图像。
可选择通过焦距长短、距离路口距离、路口范围信息选择其中1个或多个相机图像进行后续红绿灯检测识别过程。
在检测到车辆距离前方最近路口的距离小于预设距离阈值，控制车辆上的多个车载摄像头对路口进行图像采集，以得到各个车载摄像头的路口图像，以及并结合各个车载摄像头的路口图像，从多个车载摄像头中选择出目标车载摄像头，并基于目标车载摄像头所采集的各帧图像进行红绿灯识别，以使车辆根据红绿灯识别结果安全通过车辆前方路口。
2.粗检测红绿灯位置。
具体地，通过预先训练得到的红绿灯设备检测模型，确定目标车载摄像头当前所采集的图像信息中红绿灯设备所在的图像区域。
本实施例通过红绿灯设备检测模型对图像信息进行识别，可以将红绿灯与路灯、车尾灯、霓虹灯及自然环境中各种与红绿灯类似图像进行区分，连通红绿灯设备中的红绿灯灯头和灯杆一起检出。
3.红绿灯目标跟踪。
具体地，利用目标跟踪算法对连续帧图像检测到的红绿灯目标进行跟踪，处理模型误检和漏检问题，输出N>＝1个准确的红绿灯目标ROI。同时在此过程中可以根据检测框尺寸和相机在世界坐标系的pose和相机内参，计算出红绿灯在世界坐标系中的3D位置坐标并能根据计算红绿灯的3D坐标，可与前方对应路口进行绑定。
4.精确检测红绿灯灯头。
具体地，通过机器学习方法预先学习得到的红绿灯灯头检测模型，在N个红绿灯目标ROI范围中检测出M>＝N个红绿灯灯头候选区域。
5.匹配红绿灯灯头。
基于检测模型输出绿灯灯头候选区域的置信度、绿灯灯头候选区域在ROI内的位置、绿灯灯头候选区域的长宽比、绿灯灯头候选区域的面积等信息在M个绿灯灯头候选区域中选出N个准确的红绿灯灯头目标区域并与N个感兴趣区域进行匹配；
6.红绿灯颜色识别。
使用机器学习方法预先学习得到的红绿灯识别模型，识别出红绿灯的颜色；
7.后处理。
累积M>＝2帧红绿灯颜色识别结果，通过时序平滑算法等后处理方法，解决部分因为遮挡、频闪、环境光照等造成的颜色识别错误情况，修正红绿灯的颜色并输出。
为了实现上述实施例，本申请实施例还提供一种红绿灯状态的识别装置。
图8是根据本申请第七实施例的示意图。如图8所示，该红绿灯状态的识别装置100包括第一获取模块110、第一确定模块120、第二确定模块130和识别模块140，其中：
第一获取模块110，用于获取车辆上目标车载摄像头采集的当前帧图像。
第一确定模块120，用于确定在当前帧图像检测到红绿灯设备。
第二确定模块130，用于确定所述目标车载摄像头在所述当前帧图像之前所采集到的连续N帧图像均跟踪到所述红绿灯设备，其中，N为大于或者等于1的整数。
识别模块140，用于对当前帧图像的感兴趣区域进行红绿灯状态识别，以得到当前帧图像对应的红绿灯状态识别结果，并输出红绿灯状态识别结果，其中，感兴趣区域包括红绿灯设备的图像。
在一个实施例中，识别模块140可以包括：
第一获取单元，用于获取当前帧图像的感兴趣区域。
第一确定单元，用于确定感兴趣区域中的红绿灯灯头目标区域，其中，红绿灯灯头目标区域包括红绿灯设备上红绿灯灯头的图像。
第二确定单元，用于根据红绿灯灯头目标区域，确定在采集到当前帧图像时，红绿灯设备上红绿灯灯头的状态信息。
在一个实施例中，该装置还包括：
修正模块，用于根据在当前帧图像之前的连续K帧图像的红绿灯灯头的状态信息，对当前帧图像所对应的红绿灯灯头的状态信息进行修正，其中，K为大于等于1的整数。
在一个实施例中，第一获取单元，具体用于：使用预设的目标跟踪算法，根据当前帧图像的前F帧图像、前F帧图像中的感兴趣区域和当前帧图像，确定当前帧图像中的感兴趣区域，其中，F为大于等于1的整数。
在一个实施例中，第一确定单元，具体用于：将感兴趣区域输入到预先训练好的红绿灯灯头检测模型，以得到M个红绿灯灯头候选区域。判断红绿灯灯头候选区域的数量M是否超过红绿灯设备上红绿灯灯头的数量L，其中，L和M均为大于或者等于1的整数。如果红绿灯灯头候选区域的数量M超过红绿灯设备上红绿灯灯头的数量L，则从M个红绿灯灯头候选区域中选择出L个红绿灯灯头候选区域作为红绿灯灯头目标区域。
在一个实施例中，在L为大于1的整数时，第二确定单元，具体用于：将L个红绿灯灯头目标区域与感兴趣区域进行匹配，以确定每个红绿灯灯头目标区域与红绿灯设备上相应红绿灯灯头的对应关系。利用红绿灯状态识别模型，确定每个绿灯灯头目标区域所对应的红绿灯状态。根据对应关系，确定在采集到当前帧图像时，红绿灯设备上各个红绿灯灯头所对应的红绿灯状态。
在一个实施例中，装置还包括：
第三确定模块，用于根据感兴趣区域的属性信息、目标车载摄像头在世界坐标系中的位置信息以及目标车载摄像头的内参，确定红绿灯设备在世界坐标系中的位置信息，其中，感兴趣区域的属性信息包括感兴趣区域在当前帧图像的位置、感兴趣区域的尺寸信息。
绑定模块，用于将红绿灯设备在世界坐标系中的位置信息，与车辆前方对应路口绑定，其中，路口在世界坐标系中的位置信息和在世界坐标系中的位置信息相匹配。
在一个实施例中，装置还包括：
跟踪模块，用于根据红绿灯设备在世界坐标系中的位置信息，对目标车载摄像头采集的下一帧图像进行红绿灯设备跟踪。
在一个实施例中，车辆上设置多个车载摄像头，装置还包括：
第二获取模块，用于获取各个车载摄像头对距离车辆最近路口所采集到的路口图像。
第四确定模块，用于确定各个车载摄像头的路口图像中红绿灯设备所对应的图像区域。
第五确定模块，用于根据图像区域在路口图像中的位置信息和图像区域的尺寸信息，从多个车载摄像头确定出目标车载摄像头。
在一个实施例中，识别模块140还可以包括：
区域扩展单元，用于按照预定的比例对感兴趣区域进行区域扩展，以扩大感兴趣区域。
其中，需要说明的是，前述对红绿灯状态的识别装置的解释说明也适用于本实施例的红绿灯状态的识别方法，此处不再赘述。
本申请实施例的红绿灯状态的识别装置，在确定车辆上目标车载摄像头所采集的当前帧图像检测到红绿灯设备，并在确定目标车载摄像头在当前帧图像之前所采集到的连续N帧图像均跟踪到红绿灯设备时，结合当前帧图像中红绿灯设备所在的图像区域进行红绿灯状态识别，以得到当前帧图像的红绿灯状态识别结果。由此，采用连续多帧的方式对红绿灯设备进行跟踪，减少了误检和漏检的情况的发生，能够提高识别红绿灯灯头的状态信息的准确性，进而可结合所确定出的红绿灯灯头的状态信息进行控制规划。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图9所示，是根据本申请实施例的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的红绿灯状态的识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的红绿灯状态的识别方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的红绿灯状态的识别方法对应的程序指令/模块。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的红绿灯状态的识别方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (22)
1.一种红绿灯状态的识别方法，其特征在于，所述方法包括：
获取车辆上目标车载摄像头采集的当前帧图像；
确定在所述当前帧图像检测到红绿灯设备；
确定所述目标车载摄像头在所述当前帧图像之前所采集到的连续N帧图像均跟踪到所述红绿灯设备，其中，N为大于或者等于1的整数；
对所述当前帧图像的感兴趣区域进行红绿灯状态识别，以得到所述当前帧图像对应的红绿灯状态识别结果，并输出所述红绿灯状态识别结果，其中，所述感兴趣区域包括所述红绿灯设备的图像。
2.根据权利要求1所述的方法，其特征在于，所述对所述当前帧图像的感兴趣区域进行红绿灯状态识别，以得到所述当前帧图像对应的红绿灯状态识别结果，包括：
获取所述当前帧图像的感兴趣区域；
确定所述感兴趣区域中的红绿灯灯头目标区域，其中，所述红绿灯灯头目标区域包括所述红绿灯设备上红绿灯灯头的图像；
根据所述红绿灯灯头目标区域，确定在采集到当前帧图像时，所述红绿灯设备上所述红绿灯灯头的状态信息。
3.根据权利要求2所述的方法，其特征在于，在所述输出所述红绿灯状态识别结果之前，包括：
根据在所述当前帧图像之前的连续K帧图像的红绿灯灯头的状态信息，对当前帧图像所对应的红绿灯灯头的状态信息进行修正，其中，K为大于等于1的整数。
4.根据权利要求2所述的方法，其特征在于，所述获取所述当前帧图像中的感兴趣区域，包括：
使用预设的目标跟踪算法，根据所述当前帧图像的前F帧图像、所述前F帧图像中的感兴趣区域和所述当前帧图像，确定所述当前帧图像中的感兴趣区域，其中，F为大于等于1的整数。
5.根据权利要求2所述的方法，其特征在于，所述确定所述感兴趣区域中的红绿灯灯头目标区域，包括：
将所述感兴趣区域输入到预先训练好的红绿灯灯头检测模型，以得到M个红绿灯灯头候选区域；
判断所述红绿灯灯头候选区域的数量M是否超过所述红绿灯设备上红绿灯灯头的数量L，其中，L和M均为大于或者等于1的整数；
如果所述红绿灯灯头候选区域的数量M超过所述红绿灯设备上红绿灯灯头的数量L，则从所述M个红绿灯灯头候选区域中选择出L个红绿灯灯头候选区域作为所述红绿灯灯头目标区域。
6.根据权利要求5所述的方法，其特征在于，在L为大于1的整数时，所述根据所述红绿灯灯头目标区域，确定在采集到当前帧图像时，所述红绿灯设备上所述红绿灯灯头的状态信息，包括：
将L个所述红绿灯灯头目标区域与所述感兴趣区域进行匹配，以确定每个所述红绿灯灯头目标区域与所述红绿灯设备上相应红绿灯灯头的对应关系；
利用红绿灯状态识别模型，确定每个所述绿灯灯头目标区域所对应的红绿灯状态；
根据所述对应关系，确定在采集到当前帧图像时，所述红绿灯设备上各个所述红绿灯灯头所对应的红绿灯状态。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述感兴趣区域的属性信息、所述目标车载摄像头在世界坐标系中的位置信息以及所述目标车载摄像头的内参，确定所述红绿灯设备在世界坐标系中的位置信息，其中，所述感兴趣区域的属性信息包括所述感兴趣区域在所述当前帧图像的位置、所述感兴趣区域的尺寸信息；
将所述红绿灯设备在世界坐标系中的位置信息，与所述车辆前方对应路口绑定，其中，所述路口在世界坐标系中的位置信息和在世界坐标系中的位置信息相匹配。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述红绿灯设备在世界坐标系中的位置信息，对所述目标车载摄像头采集的下一帧图像进行红绿灯设备跟踪。
9.根据权利要求1所述的方法，其特征在于，所述车辆上设置多个车载摄像头，在所述获取车辆上目标车载摄像头采集的当前帧图像之前，所述方法还包括：
获取各个车载摄像头对距离所述车辆最近路口所采集到的路口图像；
确定各个车载摄像头的路口图像中所述红绿灯设备所对应的图像区域；
根据所述图像区域在所述路口图像中的位置信息和所述图像区域的尺寸信息，从所述多个车载摄像头确定出所述目标车载摄像头。
10.根据权利要求2-9中任一项所述的方法，其特征在于，在所述确定所述感兴趣区域中的红绿灯灯头目标区域之前，所述方法还包括：
按照预定的比例对所述感兴趣区域进行区域扩展，以扩大所述感兴趣区域。
11.一种红绿灯状态的识别装置，其特征在于，所述装置包括：
第一获取模块，用于获取车辆上目标车载摄像头采集的当前帧图像；
第一确定模块，用于确定在所述当前帧图像检测到红绿灯设备；
第二确定模块，用于确定所述目标车载摄像头在所述当前帧图像之前所采集到的连续N帧图像均跟踪到所述红绿灯设备，其中，N为大于或者等于1的整数；
识别模块，用于对所述当前帧图像的感兴趣区域进行红绿灯状态识别，以得到所述当前帧图像对应的红绿灯状态识别结果，并输出所述红绿灯状态识别结果，其中，所述感兴趣区域包括所述红绿灯设备的图像。
12.根据权利要求11所述的装置，其特征在于，所述识别模块，包括：
第一获取单元，用于获取所述当前帧图像的感兴趣区域；
第一确定单元，用于确定所述感兴趣区域中的红绿灯灯头目标区域，其中，所述红绿灯灯头目标区域包括所述红绿灯设备上红绿灯灯头的图像；
第二确定单元，用于根据所述红绿灯灯头目标区域，确定在采集到当前帧图像时，所述红绿灯设备上所述红绿灯灯头的状态信息。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
修正模块，用于根据在所述当前帧图像之前的连续K帧图像的红绿灯灯头的状态信息，对当前帧图像所对应的红绿灯灯头的状态信息进行修正，其中，K为大于等于1的整数。
14.根据权利要求12所述的装置，其特征在于，所述第一获取单元，具体用于：
使用预设的目标跟踪算法，根据所述当前帧图像的前F帧图像、所述前F帧图像中的感兴趣区域和所述当前帧图像，确定所述当前帧图像中的感兴趣区域，其中，F为大于等于1的整数。
15.根据权利要求12所述的装置，其特征在于，所述第一确定单元，具体用于：
将所述感兴趣区域输入到预先训练好的红绿灯灯头检测模型，以得到M个红绿灯灯头候选区域；
判断所述红绿灯灯头候选区域的数量M是否超过所述红绿灯设备上红绿灯灯头的数量L，其中，L和M均为大于或者等于1的整数；
如果所述红绿灯灯头候选区域的数量M超过所述红绿灯设备上红绿灯灯头的数量L，则从所述M个红绿灯灯头候选区域中选择出L个红绿灯灯头候选区域作为所述红绿灯灯头目标区域。
16.根据权利要求15所述的装置，其特征在于，在L为大于1的整数时，所述第二确定单元，具体用于：
将L个所述红绿灯灯头目标区域与所述感兴趣区域进行匹配，以确定每个所述红绿灯灯头目标区域与所述红绿灯设备上相应红绿灯灯头的对应关系；
利用红绿灯状态识别模型，确定每个所述绿灯灯头目标区域所对应的红绿灯状态；
根据所述对应关系，确定在采集到当前帧图像时，所述红绿灯设备上各个所述红绿灯灯头所对应的红绿灯状态。
17.根据权利要求12所述的装置，其特征在于，所述装置还包括：
第三确定模块，用于根据所述感兴趣区域的属性信息、所述目标车载摄像头在世界坐标系中的位置信息以及所述目标车载摄像头的内参，确定所述红绿灯设备在世界坐标系中的位置信息，其中，所述感兴趣区域的属性信息包括所述感兴趣区域在所述当前帧图像的位置、所述感兴趣区域的尺寸信息；
绑定模块，用于将所述红绿灯设备在世界坐标系中的位置信息，与所述车辆前方对应路口绑定，其中，所述路口在世界坐标系中的位置信息和在世界坐标系中的位置信息相匹配。
18.根据权利要求17所述的装置，其特征在于，所述装置还包括：
跟踪模块，用于根据所述红绿灯设备在世界坐标系中的位置信息，对所述目标车载摄像头采集的下一帧图像进行红绿灯设备跟踪。
19.根据权利要求10所述的装置，其特征在于，所述车辆上设置多个车载摄像头，所述装置还包括：
第二获取模块，用于获取各个车载摄像头对距离所述车辆最近路口所采集到的路口图像；
第四确定模块，用于确定各个车载摄像头的路口图像中所述红绿灯设备所对应的图像区域；
第五确定模块，用于根据所述图像区域在所述路口图像中的位置信息和所述图像区域的尺寸信息，从所述多个车载摄像头确定出所述目标车载摄像头。
20.根据权利要求12-19中任一项所述的装置，其特征在于，所述识别模块还包括：
区域扩展单元，用于按照预定的比例对所述感兴趣区域进行区域扩展，以扩大所述感兴趣区域。
21.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010238384.6A CN111428663B (zh) | 2020-03-30 | 2020-03-30 | 红绿灯状态的识别方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010238384.6A CN111428663B (zh) | 2020-03-30 | 2020-03-30 | 红绿灯状态的识别方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111428663A true CN111428663A (zh) | 2020-07-17 |
| CN111428663B CN111428663B (zh) | 2023-08-29 |
Family
ID=71549275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010238384.6A Active CN111428663B (zh) | 2020-03-30 | 2020-03-30 | 红绿灯状态的识别方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111428663B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084905A (zh) * | 2020-08-27 | 2020-12-15 | 深圳市森国科科技股份有限公司 | 交通灯状态识别方法、系统、设备及存储介质 |
| CN112180285A (zh) * | 2020-09-23 | 2021-01-05 | 北京百度网讯科技有限公司 | 识别交通信号灯故障的方法、装置、导航系统和路侧设备 |
| CN112348879A (zh) * | 2020-10-30 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 交通工具运行控制方法、装置、电子设备及存储介质 |
| CN112396668A (zh) * | 2020-12-03 | 2021-02-23 | 北京百度网讯科技有限公司 | 识别信号灯中异常灯色的方法、装置、路侧设备 |
| CN112528795A (zh) * | 2020-12-03 | 2021-03-19 | 北京百度网讯科技有限公司 | 信号灯的灯色识别方法、装置及路侧设备 |
| CN112991290A (zh) * | 2021-03-10 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像稳像方法、装置、路侧设备、云控平台 |
| CN112989956A (zh) * | 2021-02-20 | 2021-06-18 | 潍柴动力股份有限公司 | 基于感兴趣区域的红绿灯识别方法、系统及存储介质 |
| CN113033464A (zh) * | 2021-04-10 | 2021-06-25 | 阿波罗智联(北京)科技有限公司 | 信号灯检测方法、装置、设备以及存储介质 |
| CN113989774A (zh) * | 2021-10-27 | 2022-01-28 | 广州小鹏自动驾驶科技有限公司 | 一种交通灯检测方法、装置、车辆和可读存储介质 |
| WO2022110106A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 一种扫码方法及装置 |
| CN114863386A (zh) * | 2022-03-30 | 2022-08-05 | 广州文远知行科技有限公司 | 交通信号灯的检测方法、装置及电子设备 |
| CN115394103A (zh) * | 2022-07-29 | 2022-11-25 | 阿波罗智联(北京)科技有限公司 | 识别信号灯的方法、装置、设备以及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763734A (zh) * | 2010-01-21 | 2010-06-30 | 上海交通大学 | 交通信号灯智能控制系统及其控制方法 |
| CN103473946A (zh) * | 2013-06-25 | 2013-12-25 | 中国计量学院 | 一种基于坐标的路口信号灯状态即时提示方法及系统 |
| CN103680142A (zh) * | 2013-12-23 | 2014-03-26 | 苏州君立软件有限公司 | 一种交通路口智能监控方法 |
| CN104517275A (zh) * | 2013-09-27 | 2015-04-15 | 株式会社理光 | 对象检测方法和系统 |
| CN105489035A (zh) * | 2015-12-29 | 2016-04-13 | 大连楼兰科技股份有限公司 | 应用在主动驾驶技术中检测交通信号灯的方法 |
| CN107038423A (zh) * | 2017-04-20 | 2017-08-11 | 常州智行科技有限公司 | 一种车辆实时检测与跟踪方法 |
| CN107886048A (zh) * | 2017-10-13 | 2018-04-06 | 西安天和防务技术股份有限公司 | 目标跟踪方法及系统、存储介质及电子终端 |
| US20180112997A1 (en) * | 2017-12-21 | 2018-04-26 | GM Global Technology Operations LLC | Traffic light state assessment |
| CN108305475A (zh) * | 2017-03-06 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种交通灯识别方法及装置 |
| CN109374008A (zh) * | 2018-11-21 | 2019-02-22 | 深动科技（北京）有限公司 | 一种基于三目摄像头的图像采集系统及方法 |
| CN109598244A (zh) * | 2018-12-07 | 2019-04-09 | 吉林大学 | 一种交通信号灯识别系统及其识别方法 |
| US20190122059A1 (en) * | 2016-03-31 | 2019-04-25 | Agency For Science, Technology And Research | Signal light detection |
| CN110543818A (zh) * | 2019-07-25 | 2019-12-06 | 长沙行深智能科技有限公司 | 基于权图匹配的红绿灯跟踪方法、装置、介质及设备 |
| CN110688992A (zh) * | 2019-12-09 | 2020-01-14 | 中智行科技有限公司 | 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆 |
-
2020
- 2020-03-30 CN CN202010238384.6A patent/CN111428663B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763734A (zh) * | 2010-01-21 | 2010-06-30 | 上海交通大学 | 交通信号灯智能控制系统及其控制方法 |
| CN103473946A (zh) * | 2013-06-25 | 2013-12-25 | 中国计量学院 | 一种基于坐标的路口信号灯状态即时提示方法及系统 |
| CN104517275A (zh) * | 2013-09-27 | 2015-04-15 | 株式会社理光 | 对象检测方法和系统 |
| CN103680142A (zh) * | 2013-12-23 | 2014-03-26 | 苏州君立软件有限公司 | 一种交通路口智能监控方法 |
| CN105489035A (zh) * | 2015-12-29 | 2016-04-13 | 大连楼兰科技股份有限公司 | 应用在主动驾驶技术中检测交通信号灯的方法 |
| US20190122059A1 (en) * | 2016-03-31 | 2019-04-25 | Agency For Science, Technology And Research | Signal light detection |
| CN108305475A (zh) * | 2017-03-06 | 2018-07-20 | 腾讯科技（深圳）有限公司 | 一种交通灯识别方法及装置 |
| CN107038423A (zh) * | 2017-04-20 | 2017-08-11 | 常州智行科技有限公司 | 一种车辆实时检测与跟踪方法 |
| CN107886048A (zh) * | 2017-10-13 | 2018-04-06 | 西安天和防务技术股份有限公司 | 目标跟踪方法及系统、存储介质及电子终端 |
| US20180112997A1 (en) * | 2017-12-21 | 2018-04-26 | GM Global Technology Operations LLC | Traffic light state assessment |
| CN109374008A (zh) * | 2018-11-21 | 2019-02-22 | 深动科技（北京）有限公司 | 一种基于三目摄像头的图像采集系统及方法 |
| CN109598244A (zh) * | 2018-12-07 | 2019-04-09 | 吉林大学 | 一种交通信号灯识别系统及其识别方法 |
| CN110543818A (zh) * | 2019-07-25 | 2019-12-06 | 长沙行深智能科技有限公司 | 基于权图匹配的红绿灯跟踪方法、装置、介质及设备 |
| CN110688992A (zh) * | 2019-12-09 | 2020-01-14 | 中智行科技有限公司 | 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆 |
Non-Patent Citations (4)
| Title |
|---|
| ZHILU CHEN等: "Accurate and Reliable Detection of Traffic Lights Using Multiclass Learning and Multiobject Tracking", 《IEEE INTELLIGENT TRANSPORTATION SYSTEMS MAGAZINE》 * |
| ZHILU CHEN等: "Accurate and Reliable Detection of Traffic Lights Using Multiclass Learning and Multiobject Tracking", 《IEEE INTELLIGENT TRANSPORTATION SYSTEMS MAGAZINE》, 25 October 2016 (2016-10-25), pages 28 - 42, XP011626697, DOI: 10.1109/MITS.2016.2605381 * |
| 陈飘依: "基于深度模型的实时交通灯检测", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 * |
| 陈飘依: "基于深度模型的实时交通灯检测", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》, no. 08, 15 August 2019 (2019-08-15), pages 034 - 186 * |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084905A (zh) * | 2020-08-27 | 2020-12-15 | 深圳市森国科科技股份有限公司 | 交通灯状态识别方法、系统、设备及存储介质 |
| CN112084905B (zh) * | 2020-08-27 | 2024-03-12 | 深圳市森国科科技股份有限公司 | 交通灯状态识别方法、系统、设备及存储介质 |
| CN112180285B (zh) * | 2020-09-23 | 2024-05-31 | 阿波罗智联(北京)科技有限公司 | 识别交通信号灯故障的方法、装置、导航系统和路侧设备 |
| CN112180285A (zh) * | 2020-09-23 | 2021-01-05 | 北京百度网讯科技有限公司 | 识别交通信号灯故障的方法、装置、导航系统和路侧设备 |
| CN112348879A (zh) * | 2020-10-30 | 2021-02-09 | 深圳市优必选科技股份有限公司 | 交通工具运行控制方法、装置、电子设备及存储介质 |
| CN112348879B (zh) * | 2020-10-30 | 2023-12-19 | 深圳市优必选科技股份有限公司 | 交通工具运行控制方法、装置、电子设备及存储介质 |
| WO2022110106A1 (zh) * | 2020-11-30 | 2022-06-02 | 华为技术有限公司 | 一种扫码方法及装置 |
| CN112396668A (zh) * | 2020-12-03 | 2021-02-23 | 北京百度网讯科技有限公司 | 识别信号灯中异常灯色的方法、装置、路侧设备 |
| CN112396668B (zh) * | 2020-12-03 | 2024-05-07 | 阿波罗智联(北京)科技有限公司 | 识别信号灯中异常灯色的方法、装置、路侧设备 |
| US11967093B2 (en) | 2020-12-03 | 2024-04-23 | Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. | Light color identifying method and apparatus of signal light, and roadside device |
| CN112528795A (zh) * | 2020-12-03 | 2021-03-19 | 北京百度网讯科技有限公司 | 信号灯的灯色识别方法、装置及路侧设备 |
| CN112989956A (zh) * | 2021-02-20 | 2021-06-18 | 潍柴动力股份有限公司 | 基于感兴趣区域的红绿灯识别方法、系统及存储介质 |
| CN112991290A (zh) * | 2021-03-10 | 2021-06-18 | 北京百度网讯科技有限公司 | 图像稳像方法、装置、路侧设备、云控平台 |
| CN112991290B (zh) * | 2021-03-10 | 2023-12-05 | 阿波罗智联(北京)科技有限公司 | 图像稳像方法、装置、路侧设备、云控平台 |
| CN113033464B (zh) * | 2021-04-10 | 2023-11-21 | 阿波罗智联(北京)科技有限公司 | 信号灯检测方法、装置、设备以及存储介质 |
| CN113033464A (zh) * | 2021-04-10 | 2021-06-25 | 阿波罗智联(北京)科技有限公司 | 信号灯检测方法、装置、设备以及存储介质 |
| CN113989774A (zh) * | 2021-10-27 | 2022-01-28 | 广州小鹏自动驾驶科技有限公司 | 一种交通灯检测方法、装置、车辆和可读存储介质 |
| CN114863386A (zh) * | 2022-03-30 | 2022-08-05 | 广州文远知行科技有限公司 | 交通信号灯的检测方法、装置及电子设备 |
| CN115394103A (zh) * | 2022-07-29 | 2022-11-25 | 阿波罗智联(北京)科技有限公司 | 识别信号灯的方法、装置、设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111428663B (zh) | 2023-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428663B (zh) | 红绿灯状态的识别方法、装置、电子设备和存储介质 | |
| CN111753765B (zh) | 感知设备的检测方法、装置、设备及存储介质 | |
| CN111611901B (zh) | 车辆逆行检测方法、装置、设备以及存储介质 | |
| US10317231B2 (en) | Top-down refinement in lane marking navigation | |
| CN111859778B (zh) | 泊车模型的生成方法和装置、电子设备和存储介质 | |
| CN111292531B (zh) | 交通信号灯的跟踪方法、装置、设备及存储介质 | |
| CN112132109B (zh) | 车道线处理和车道定位方法、装置、设备及存储介质 | |
| KR20200128145A (ko) | 교통 신호등 검출 및 지능형 주행을 위한 방법 및 디바이스, 차량, 및 전자 디바이스 | |
| US11694436B2 (en) | Vehicle re-identification method, apparatus, device and storage medium | |
| KR20220113829A (ko) | 차량 추적 방법, 장치 및 전자 기기 | |
| CN111797187A (zh) | 地图数据的更新方法、装置、电子设备和存储介质 | |
| KR20180042254A (ko) | 오브젝트 추적을 위한 시스템들 및 방법들 | |
| CN111784836B (zh) | 高精地图生成方法、装置、设备及可读存储介质 | |
| US11288887B2 (en) | Object tracking method and apparatus | |
| CN110595459B (zh) | 车辆定位方法、装置、设备和介质 | |
| CN111523471B (zh) | 车辆所在车道的确定方法、装置、设备以及存储介质 | |
| JP7200207B2 (ja) | 地図生成方法、地図生成装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラム | |
| Nienhüser et al. | Visual state estimation of traffic lights using hidden Markov models | |
| CN115147809B (zh) | 一种障碍物检测方法、装置、设备以及存储介质 | |
| CN112147632A (zh) | 车载激光雷达感知算法的测试方法、装置、设备和介质 | |
| CN111507204A (zh) | 倒计时信号灯的检测方法、装置、电子设备及存储介质 | |
| Chen et al. | Automatic detection of traffic lights using support vector machine | |
| CN111652112A (zh) | 一种车道流向的识别方法、装置、电子设备及存储介质 | |
| CN111640301B (zh) | 故障车辆检测方法及包括路侧单元的故障车辆检测系统 | |
| CN112581533A (zh) | 定位方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211013 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |