CN117475411B - 信号灯倒计时识别方法、计算机可读存储介质及智能设备 - Google Patents
信号灯倒计时识别方法、计算机可读存储介质及智能设备 Download PDFInfo
- Publication number
- CN117475411B CN117475411B CN202311811494.7A CN202311811494A CN117475411B CN 117475411 B CN117475411 B CN 117475411B CN 202311811494 A CN202311811494 A CN 202311811494A CN 117475411 B CN117475411 B CN 117475411B
- Authority
- CN
- China
- Prior art keywords
- lamp
- countdown
- loss function
- image
- single lamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000001514 detection method Methods 0.000 claims abstract description 62
- 238000012549 training Methods 0.000 claims abstract description 34
- 230000006870 function Effects 0.000 claims description 80
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 8
- 230000008447 perception Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及自动驾驶技术领域，具体提供一种信号灯倒计时识别方法、计算机可读存储介质及智能设备，旨在解决提高信号灯倒计时识别的效率、准确性的问题。为此目的，本申请提供的方法包括采用预设的检测模型对信号灯的当前帧图像进行单灯检测，以获取当前点亮的单灯并获取单灯的倒计时区域在当前帧图像上的检测框；从当前帧图像上获取倒计时区域的图像，采用预设的倒计时识别模型对倒计时区域的图像进行倒计时识别；预设的检测模型与预设的倒计时识别模型采用信号灯图像及其标注数据联合训练得到。上述方法基于检测模型和倒计时识别模型，实现了对信号灯图像端到端的倒计时识别，简化了识别流程并提高了识别准确性。
Description
技术领域
本申请涉及自动驾驶技术领域，具体涉及一种信号灯倒计时识别方法、计算机可读存储介质及智能设备。
背景技术
在对车辆进行自动驾驶控制时经常会遇到具有倒计时显示功能的交通信号灯，为了保证车辆行驶的安全性和舒适性，需要准确地识别出倒计时信息，根据倒计时信息对车辆进行自动驾驶控制。
目前常规的信号灯倒计时识别方法主要包括以下三种：
第一，如图1所示，先采用yolo、faster-rcnn等检测模型，分别检测信号灯图像中的个位数字、十位数字，再通过后处理融合模块对检测模型得到的个位数字、十位数字进行后处理融合，后处理融合的策略通常比较复杂，例如其可以包含个位、十位数字匹配、同颜色矫正、误检过滤等处理。由于方法策略比较复杂，因而这种方法的准确性和效率都比较低。
第二，基于V2X（Vehicle to X）通信技术获取信号灯的倒计时信息，但是这种方法必须在车辆上配置V2X通信功能，具有一定的局限性。
第三，利用可以检测车流状态的地图app，从这种地图app上获取车流状态，根据车流状态估计信号灯的倒计时。但是，这种方法只能在车流比较密集时才能准确地估计出倒计时。
相应地，本领域需要一种新的技术方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本申请，以提供解决或至少部分地解决如何提高信号灯倒计时识别的效率、准确性的技术问题的信号灯倒计时识别方法、计算机可读存储介质及智能设备。
在第一方面，提供一种信号灯倒计时识别方法，包括：
采用预设的检测模型对信号灯的当前帧图像进行单灯检测，以获取所述信号灯中当前点亮的单灯，并获取所述单灯的倒计时区域在当前帧图像上的检测框；
根据所述检测框在当前帧图像上的位置，从当前帧图像上获取所述倒计时区域的图像；
采用预设的倒计时识别模型对所述倒计时区域的图像进行倒计时识别，以识别所述单灯是否在倒计时以及显示的倒计时数字；
其中，
所述预设的检测模型与所述预设的倒计时识别模型采用信号灯图像及其标注数据联合训练得到，所述标注数据包括信号灯图像中每个点亮且在倒计时的单灯的标注信息，所述标注信息包括单灯的倒计时区域在信号灯图像上的检测框和显示的倒计时数字。
在上述信号灯倒计时识别方法的一个技术方案中，在识别出所述单灯在倒计时以及显示的倒计时数字之后，所述方法还包括通过以下方式判断是否正在对所述单灯进行稳定跟踪：
获取在当前帧图像之前连续的多个历史帧图像；
获取所述单灯在每一所述历史帧图像中显示的倒计时数字；
根据所述单灯在当前帧图像、每一所述历史帧图像中显示的倒计时数字，获取所述倒计时数字的变化趋势；
根据所述变化趋势，判断是否正在对所述单灯进行稳定跟踪。
在上述信号灯倒计时识别方法的一个技术方案中，所述根据所述变化趋势，判断是否正在对所述单灯进行稳定跟踪，包括：
在由所述多个历史帧图像和当前帧图像形成的图像序列中，
若所述单灯在每一帧图像中显示的倒计时数字，都小于或等于前一帧图像中显示的倒计时数字，则判断为正在对所述单灯进行稳定跟踪。
在上述信号灯倒计时识别方法的一个技术方案中，在判断出正在对所述单灯进行稳定跟踪之后，所述方法还包括：
若当前帧图像有多个点亮的单灯，则进行以下处理：
分别获取每一所述点亮的单灯的灯头形状；
将被稳定跟踪的所述单灯作为目标单灯，从所述多个点亮的单灯中获取与所述目标单灯的灯头形状不同且属于同一个信号灯的第一单灯；
获取根据当前帧图像得到的所述目标单灯的倒计时识别结果；
将所述倒计时识别结果与所述第一单灯绑定。
在上述信号灯倒计时识别方法的一个技术方案中，所述方法还包括：
若未获取到所述第一单灯，则从所述多个点亮的单灯中获取与所述目标单灯的颜色相同的第二单灯；
将所述倒计时识别结果与所述第二单灯绑定。
在上述信号灯倒计时识别方法的一个技术方案中，所述方法还包括：在将所述目标单灯的倒计时识别结果与其他点亮的单灯绑定之后，将绑定的结果与所述信号灯的虚拟灯融合；
其中，所述其他点亮的单灯为第一单灯或第二单灯；
所述信号灯的虚拟灯通过以下方式得到：
对所述信号灯的当前图像帧进行感知识别，以获取所述信号灯中当前点亮的单灯的灯头形状和颜色；根据所述单灯的灯头形状，确定所述信号灯对应的虚拟灯的交通指示方向；根据所述单灯的颜色，确定所述交通指示方向的颜色，以形成虚拟灯。
在上述信号灯倒计时识别方法的一个技术方案中，所述预设的检测模型与所述预设的倒计时识别模型还通过以下方式联合训练得到：
获取第一损失函数，所述第一损失函数用于对点亮的单灯的倒计时区域在信号灯图像上的检测框进行检测训练；
获取第二损失函数，所述第二损失函数用于对所述检测框在信号灯图像上的图像区域是否在倒计时进行识别训练；
获取第三损失函数，所述第三损失函数用于对所述图像区域显示的倒计时数字进行识别训练；
对所述第一损失函数、第二损失函数与第三损失函数进行加权和计算，以形成目标损失函数；
采用所述目标损失函数训练对所述预设的检测模型与所述预设的倒计时识别模型进行联合训练。
在上述信号灯倒计时识别方法的一个技术方案中，所述获取第三损失函数，包括：获取十位损失函数和个位损失函数，所述十位损失函数用于对所述图像区域显示的十位数字进行识别训练，所述个位损失函数用于对所述图像区域显示的个位数字进行识别训练；
所述形成目标损失函数，包括：对所述第一损失函数、第二损失函数、十位损失函数与个位损失函数进行加权和计算，形成目标损失函数。
在第二方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述信号灯倒计时识别方法的技术方案中任一项技术方案所述的方法。
在第三方面，提供一种智能设备，该智能设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述信号灯倒计时识别方法的技术方案中任一项技术方案所述的方法。
本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：
在实施本申请提供的信号灯倒计时识别方法的技术方案中，可以采用预设的检测模型对信号灯的当前帧图像进行单灯检测，以获取信号灯中当前点亮的单灯，并获取单灯的倒计时区域在当前帧图像上的检测框，再根据检测框在当前帧图像上的位置，从当前帧图像上获取倒计时区域的图像，进而采用预设的倒计时识别模型对倒计时区域的图像进行倒计时识别，以识别单灯是否在倒计时以及显示的倒计时数字。
其中，预设的检测模型与预设的倒计时识别模型采用信号灯图像及其标注数据联合训练得到，标注数据包括信号灯图像中每个点亮且在倒计时的单灯的标注信息，标注信息包括单灯的倒计时区域在信号灯图像上的检测框和显示的倒计时数字。
基于上述实施方式中的检测模型和倒计时识别模型，实现了对信号灯图像进行端到端的倒计时识别，相比于现有技术中先采用检测模型得到个位数字、十位数字，再通过后处理融合模块对检测模型得到的个位数字、十位数字进行后处理融合的方法，上述实施方式可以直接利用模型得到最终的倒计时识别结果，简化了识别流程并提高了识别准确性，克服了现有技术由于后处理融合导致的识别准确性和效率都比较低的问题。此外，上述实施方式，不依赖于V2X通信技术和地图app检测的车流状态，因此，也就不会存在现有技术中基于二者进行倒计时识别所产生的问题。
附图说明
参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：
图1是现有技术中的信号灯倒计时识别方法的主要步骤流程示意图；
图2是根据本申请的一个实施例的信号灯倒计时识别方法的主要步骤流程示意图；
图3是现有技术和本申请标注检测框的示意图一；
图4是现有技术和本申请标注检测框的示意图二；
图5是根据本申请的一个实施例的判断是否对单灯的倒计时识别结果进行稳定跟踪的方法的主要步骤流程示意图；
图6是根据本申请的一个实施例的对检测模型和倒计时识别模型进行联合训练的方法的主要步骤流程示意图；
图7是根据本申请的一个实施例的智能设备的主要结构示意图。
附图标记列表：
11：存储器；12：处理器。
具体实施方式
下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。
在本申请的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。
本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。
本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。
下面对本申请的信号灯倒计时识别方法的实施例进行说明。
参阅附图2，图2是根据本申请的一个实施例的信号灯倒计时识别方法的主要步骤流程示意图。如图2所示，本申请实施例中的信号灯倒计时识别方法主要包括下列步骤S101至步骤S103。
步骤S101：采用预设的检测模型对信号灯的当前帧图像进行单灯检测，以获取信号灯中当前点亮的单灯，并获取单灯的倒计时区域在当前帧图像上的检测框。
图像帧可以是通过车辆上的视觉传感器（比如相机）对交通信号灯进行图像采集得到的。点亮的单灯是指显示预设颜色的单灯，预设颜色是指能够进行交通引导的颜色，比如预设颜色可以包括绿色、红色和黄色，绿色表示允许通行，红色表示禁止通行，黄色表示警示。通过对图像帧进行检测，可以得到单灯在一个或多个图像帧中显示的颜色，若单灯在一个或多个图像帧中显示的颜色为预设颜色，则可以判定该单灯处于点亮状态。此外，单灯的颜色除了可以包括上述能够进行交通引导的预设颜色以外，还可以包括表示不进行交通引导的非预设颜色，比如单灯熄灭时其可以显示黑色。
倒计时区域是指单灯上用于显示倒计时数字的区域，这个区域可以容纳单灯能够显示的所有位数的倒计时数字，与单灯实时显示的位数无关。例如，单灯能够显示两位数，倒计时数字的范围是15至0。即使，单灯当前显示的是5，那么这个倒计时区域也是能够容纳两位数的区域，并不是仅仅容纳5这个个位数的区域。
步骤S102：根据检测框在当前帧图像上的位置，从当前帧图像上获取倒计时区域的图像。
步骤S103：采用预设的倒计时识别模型对倒计时区域的图像进行倒计时识别，以识别单灯是否在倒计时以及显示的倒计时数字。
如果倒计时区域的图像没有显示倒计时数字，那么单灯就没有在倒计时，否则在倒计时。同时，根据倒计时区域的图像显示的倒计时数字，可以得到单灯正在显示的倒计时数字。
在本实施例中，预设的检测模型与预设的倒计时识别模型采用信号灯图像及其标注数据联合训练得到，标注数据包括信号灯图像中每个点亮且在倒计时的单灯的标注信息，标注信息包括单灯的倒计时区域在信号灯图像上的检测框和显示的倒计时数字。
下面结合附图3和附图4，对现有技术和本申请标注检测框的区别进行简单说明。在附图3和附图4中，信号灯包括红灯、绿灯和黄灯，绿灯是点亮的，剩下两个没有点亮。如图3所示，绿灯显示的倒计时数字是15，现有技术会为15中的每一位数字分别标注一个检测框，即检测框1和检测框2。而本申请是对绿灯的整个倒计时区域标注一个检测框3，这个检测框3同时包含15。如图4所示，绿灯显示的倒计时数字是5，现有技术只为5标注一个检测框4，而本申请仍然是对绿灯的整个倒计时区域标注一个检测框5，这个检测框5不仅包含了数字5，还包含十位数字区域。
在本实施例中，可以采用常规的模型训练方法，利用信号灯图像及其标注数据对预设的检测模型与预设的倒计时识别模型进行联合训练。基于上述标注数据进行联合训练，可以使检测模型学习到从图像中获取单灯倒计时区域的能力，并可以使倒计时识别模型直接从倒计时区域的图像中识别出倒计时数字的能力。这样，当需要进行倒计时识别时只需要将信号灯图像输入到检测模型，就可以通过检测模型、倒计时识别模型得到倒计时识别结果，实现了端到端的倒计时识别。
基于上述步骤S101至步骤S103所述的方法，实现了对信号灯图像进行端到端的倒计时识别，简化了识别流程并提高了识别准确性，克服了现有技术由于后处理融合导致的识别准确性和效率都比较低的问题。
例如，在一些实施方式中，对同一个信号灯图像的数据集，分别采用现有技术和本申请的方法进行倒计时识别。对于识别单灯是否在倒计时的准确率，现有技术和本申请分别是0.83和0.92。对于识别显示的倒计时数字的准确率，现有技术和本申请分别是0.956和0.992。可见，无论是识别单灯是否在倒计时，还是识别显示的倒计时数字，本申请的准确率都高于现有技术，具有较高的准确性。
下面参阅附图5，在根据本申请的信号灯倒计时识别方法的实施例中，在通过步骤S103识别出单灯（以下称为点亮单灯）在倒计时以及显示的倒计时数字之后，还可以通过下列步骤S201至步骤S204，判断是否正在对这个点亮单灯进行稳定跟踪。
步骤S201：获取在当前帧图像之前连续的多个历史帧图像。
为了便捷且准确地获取上述历史帧图像，可以先设定一个预设尺寸的滑动窗口，按照图像帧采集时刻由先至后的顺序，根据该滑动窗口对图像帧进行滑动选取，获取落入该滑动窗口内的图像，从这些图像中选取位于当前帧图像之前多个连续的历史帧图像。本领域技术人员可以根据实际需求灵活设置滑动窗口的尺寸，本发明实施例对此不进行具体限定。例如，滑动窗口的尺寸可以是10个连续的图像帧采集时刻。
步骤S202：获取点亮单灯在每一历史帧图像中显示的倒计时数字。通过历史帧图像得到的倒计时数字的方法，与当前帧图像采用的方法相同。
步骤S203：根据点亮单灯在当前帧图像、每一历史帧图像中显示的倒计时数字，获取倒计时数字的变化趋势。
步骤S204：根据变化趋势，判断是否正在对点亮单灯进行稳定跟踪。若倒计时数字的变化趋势呈现出了倒计时数字在持续稳定地下降，则此时正在对点亮单灯进行稳定跟踪，此时根据当前帧图像得到的倒计时识别结果也是准确的，可信程度比较高。
在一些实施方式中，在由多个历史帧图像和当前帧图像形成的图像序列中，若点亮单灯在每一帧图像中显示的倒计时数字，都小于或等于前一帧图像中显示的倒计时数字，则判断为正在对点亮单灯进行稳定跟踪；否则还没有对点亮单灯进行稳定跟踪。例如，N表示倒计时数字，T表示图像的帧数，若连续出现n帧都满足NT≤NT-1，则表明此时正在对单灯进行稳定跟踪。
基于上述步骤S201至步骤S204所述的方法，可以利用多个连续帧图像的倒计时识别结果，准确地判断出是否在对单灯进行稳定跟踪，保证倒计时识别结果的可靠性和准确性。
在一些实施方式中，当通过步骤S204判断出正在对点亮单灯进行稳定跟踪，此时可以判断当前帧图像有多个点亮的单灯，若有多个点亮的单灯，则可以通过下列步骤S205至步骤S208，对步骤S204得到的被稳定跟踪的单灯与其他单灯进行绑定处理。
步骤S205：分别获取每一点亮的单灯的灯头形状。
单灯的灯头形状可以包括第一灯头形状和第二灯头形状。第一灯头形状可以包括数字，其表示单灯在倒计时。第二灯头形状可以包括圆饼、直行箭头、左转箭头、右转箭头和掉头箭头等，不同的第二灯头形状表示不同的交通指示方向。例如，圆饼可以表示直行、左转和掉头三个方向。
步骤S206：将被稳定跟踪的单灯作为目标单灯，从当前帧图像包含的多个点亮的单灯中获取与目标单灯的灯头形状不同且属于同一个信号灯的第一单灯。
根据交通规则，在同一个信号灯中，点亮的单灯可以同时包含第一灯头形状和一种第二灯头形状。例如，可以同时包含数字和圆饼，圆饼表示直行、左转和掉头这三个方向，此时可以利用第一灯头形状（即数字灯头形成）的单灯显示的数字，来表示直行、左转和掉头这三个方向的倒计时时间。本实施方式正是基于上述特点，获取与目标单灯的灯头形状不同且属于同一个信号灯的第一单灯。例如，从同时包含数字和圆饼的信号灯中获取点亮且灯头形状是圆饼的单灯作为第一单灯。
步骤S207：获取根据当前帧图像得到的目标单灯的倒计时识别结果。步骤S208：将倒计时识别结果与第一单灯绑定。
由于数字表示单灯在倒计时，通常无法表示交通指示方向，但是与数字不同的第二灯头形状可以表示交通指示方向，如果将倒计时识别结果与具有第二灯头形状的第一单灯绑定，就可以同时得到信号灯当前指示的方向以及这个方向的倒计时时间。
在一些实施方式中，若未获取到第一单灯，则从当前帧图像包含的多个点亮的单灯中获取与目标单灯的颜色相同的第二单灯，将倒计时识别结果与第二单灯绑定。根据交通规则，在同一个路口，同一个交通指示方向的颜色应该是相同的，不可能出现既显示允许通行和不允许通行的颜色。因此，在没有获取到第一单灯的情况下，可以获取与目标单灯颜色相同的第二单灯，目标单灯显示的倒计时数字，应该是这些目标单灯所指示方向的倒计时时间，可以将倒计时识别结果与第二单灯绑定。
基于上述步骤S205至步骤S208所述的方法，可以将倒计时结果与能够表示交通指示方向的单灯进行绑定，从而有利于准确得到信号灯当前指示的方向以及这个方向的倒计时时间。
在一些实施方式中，在将目标单灯的倒计时识别结果与其他点亮的单灯绑定之后，将绑定的结果与信号灯的虚拟灯融合，其中，其他点亮的单灯为第一单灯或第二单灯。
在本实施方式中，信号灯的虚拟灯通过以下方式得到：对信号灯的当前图像帧进行感知识别，以获取信号灯中当前点亮的单灯的灯头形状和颜色；根据单灯的灯头形状，确定信号灯对应的虚拟灯的交通指示方向；根据单灯的颜色，确定交通指示方向的颜色，以形成虚拟灯。具体地，可以采用申请号为CN202310169608.6的专利公开的交通信号灯感知方法，来形成虚拟灯。
在一些实施方式中，将绑定了倒计时识别结果的第一单灯的信息发送至虚拟灯生成环节，在此环节，可以根据第一单灯的灯头形状确定信号灯对应的虚拟灯的交通指示方向、根据第一单灯的颜色确定上述交通指示方向的颜色，以形成虚拟灯；同时，还可以将第一单灯绑定的倒计时识别结果与虚拟灯融合，以确定虚拟灯中上述交通指示方向的倒计时时间。
下面对检测模型与倒计时识别模型的训练作进一步说明。
参阅附图6，在根据本申请的信号灯倒计时识别方法的实施例中，还可以通过下列步骤S301至步骤S305，对这两个模型进行联合训练。
步骤S301：获取第一损失函数，第一损失函数用于对点亮的单灯的倒计时区域在信号灯图像上的检测框进行检测训练。
在本实施例中可以采用机器学习技术领域中常规的用于目标检测的损失函数，将倒计时区域作为目标，构建第一损失函数。
步骤S302：获取第二损失函数，第二损失函数用于对检测框在信号灯图像上的图像区域是否在倒计时进行识别训练。
在本实施例中可以采用机器学习技术领域中常规的分类损失函数，构建第二损失函数。
步骤S303：获取第三损失函数，第三损失函数用于对图像区域显示的倒计时数字进行识别训练。
在本实施例中可以采用机器学习技术领域中常规的用于目标检测的损失函数，将倒计时数字作为目标，构建第三损失函数。
步骤S304：对第一损失函数、第二损失函数与第三损失函数进行加权和计算，以形成目标损失函数。
目标损失函数可以表示为Loss = w1*Ldet + w2*Lcls1 + w3*Lcls2，Ldet、Lcls1、Lcls2分别表示第一、第二、第三损失函数。
在一些实施方式中，在获取第三损失函数时可以获取十位损失函数和个位损失函数，然后对第一损失函数、第二损失函数、十位损失函数与个位损失函数进行加权和计算，形成目标损失函数。
此时，目标损失函数可以表示为Loss = w1*Ldet + w2*Lcls1 + w3*Lcls2_d1+w4*Lcls2_d2，Ldet、Lcls1、Lcls2_d1、Lcls2_d2分别表示第一、第二、个位、十位损失函数。
其中，十位损失函数用于对图像区域显示的十位数字进行识别训练，个位损失函数用于对图像区域显示的个位数字进行识别训练。这两个损失函数均可以采用常规的用于目标检测的损失函数进行构建。
步骤S305：采用目标损失函数训练对预设的检测模型与预设的倒计时识别模型进行联合训练。
在利用训练好的这两个模型进行倒计时识别时，倒计时识别模型的输出结果可以是一个24维的向量，前12维表示对十位数字的预测结果，后12维表示对个位数字的预测结果。在前12维中，第0至9维表示倒计时数字0至9；第11维表示是否看不清楚数字，若第11维置位则表示看不清楚数字；第12维表示是否在倒计时，若第12维置位则表示十位在倒计时。后12维与前12维类似，不再赘述。
倒计时识别模型输出的是否在倒计时的结果、十位数字的结果、个位数字的结果可以分别如以下cls、cls_d1、cls_d2表示。
cls = argmax(softmax(light_type_outputs))
cls_d1 = argmx(softmax(light_number_outputs[:12]))
cls_d2 = argmax(softmax(light_number_outputs[12:24]))
基于上述步骤S301至步骤S305所述的方法，可以将多个不同训练目标的损失函数形成一个目标损失函数，利用这一个目标损失函数同时完成对两个模型的联合训练，提高模型的训练效率。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本申请中描述的技术方案属于等同技术方案，因此也将落入本申请的保护范围之内。
本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
本申请的另一方面还提供了一种计算机可读存储介质。
在根据本申请的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的信号灯倒计时识别方法的程序，该程序可以由处理器加载并运行以实现上述信号灯倒计时识别方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
本申请的另一方面还提供了一种智能设备。
在根据本申请的一个智能设备的实施例中，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请所述的智能设备，可以包括驾驶设备、智能车、机器人等设备。参阅附图7，图7中示例性地示出了存储器11和处理器12通过总线通信连接。
在本申请的一些实施例中，智能设备还可以包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还可以包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。
至此，已经结合附图所示的一个实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。
Claims (9)
1.一种信号灯倒计时识别方法，其特征在于，所述方法包括：
采用预设的检测模型对信号灯的当前帧图像进行单灯检测，以获取所述信号灯中当前点亮的单灯，并获取所述单灯的倒计时区域在当前帧图像上的检测框；
根据所述检测框在当前帧图像上的位置，从当前帧图像上获取所述倒计时区域的图像；
采用预设的倒计时识别模型对所述倒计时区域的图像进行倒计时识别，以识别所述单灯是否在倒计时以及显示的倒计时数字；
其中，
所述预设的检测模型与所述预设的倒计时识别模型采用信号灯图像及其标注数据联合训练得到，所述标注数据包括信号灯图像中每个点亮且在倒计时的单灯的标注信息，所述标注信息包括单灯的倒计时区域在信号灯图像上的检测框和显示的倒计时数字；
在识别出所述单灯在倒计时以及显示的倒计时数字之后，所述方法还包括通过以下方式判断是否正在对所述单灯进行稳定跟踪：获取在当前帧图像之前连续的多个历史帧图像；获取所述单灯在每一所述历史帧图像中显示的倒计时数字；根据所述单灯在当前帧图像、每一所述历史帧图像中显示的倒计时数字，获取所述倒计时数字的变化趋势；根据所述变化趋势，判断是否正在对所述单灯进行稳定跟踪。
2.根据权利要求1所述的方法，其特征在于，所述根据所述变化趋势，判断是否正在对所述单灯进行稳定跟踪，包括：
在由所述多个历史帧图像和当前帧图像形成的图像序列中，
若所述单灯在每一帧图像中显示的倒计时数字，都小于或等于前一帧图像中显示的倒计时数字，则判断为正在对所述单灯进行稳定跟踪。
3.根据权利要求1所述的方法，其特征在于，在判断出正在对所述单灯进行稳定跟踪之后，所述方法还包括：
若当前帧图像有多个点亮的单灯，则进行以下处理：
分别获取每一所述点亮的单灯的灯头形状；
将被稳定跟踪的所述单灯作为目标单灯，从所述多个点亮的单灯中获取与所述目标单灯的灯头形状不同且属于同一个信号灯的第一单灯；
获取根据当前帧图像得到的所述目标单灯的倒计时识别结果；
将所述倒计时识别结果与所述第一单灯绑定。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若未获取到所述第一单灯，则从所述多个点亮的单灯中获取与所述目标单灯的颜色相同的第二单灯；
将所述倒计时识别结果与所述第二单灯绑定。
5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：
在将所述目标单灯的倒计时识别结果与其他点亮的单灯绑定之后，将绑定的结果与所述信号灯的虚拟灯融合；
其中，所述其他点亮的单灯为第一单灯或第二单灯；
所述信号灯的虚拟灯通过以下方式得到：
对所述信号灯的当前图像帧进行感知识别，以获取所述信号灯中当前点亮的单灯的灯头形状和颜色；根据所述单灯的灯头形状，确定所述信号灯对应的虚拟灯的交通指示方向；根据所述单灯的颜色，确定所述交通指示方向的颜色，以形成虚拟灯。
6.根据权利要求1所述的方法，其特征在于，所述预设的检测模型与所述预设的倒计时识别模型还通过以下方式联合训练得到：
获取第一损失函数，所述第一损失函数用于对点亮的单灯的倒计时区域在信号灯图像上的检测框进行检测训练；
获取第二损失函数，所述第二损失函数用于对所述检测框在信号灯图像上的图像区域是否在倒计时进行识别训练；
获取第三损失函数，所述第三损失函数用于对所述图像区域显示的倒计时数字进行识别训练；
对所述第一损失函数、第二损失函数与第三损失函数进行加权和计算，以形成目标损失函数；
采用所述目标损失函数训练对所述预设的检测模型与所述预设的倒计时识别模型进行联合训练。
7.根据权利要求6所述的方法，其特征在于，
所述获取第三损失函数，包括：获取十位损失函数和个位损失函数，所述十位损失函数用于对所述图像区域显示的十位数字进行识别训练，所述个位损失函数用于对所述图像区域显示的个位数字进行识别训练；
所述形成目标损失函数，包括：对所述第一损失函数、第二损失函数、十位损失函数与个位损失函数进行加权和计算，形成目标损失函数。
8.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至6中任一项所述的信号灯倒计时识别方法。
9.一种智能设备，其特征在于，包括：
至少一个处理器；
以及，与所述至少一个处理器通信连接的存储器；
其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至6中任一项所述的信号灯倒计时识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311811494.7A CN117475411B (zh) | 2023-12-27 | 2023-12-27 | 信号灯倒计时识别方法、计算机可读存储介质及智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311811494.7A CN117475411B (zh) | 2023-12-27 | 2023-12-27 | 信号灯倒计时识别方法、计算机可读存储介质及智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117475411A CN117475411A (zh) | 2024-01-30 |
| CN117475411B true CN117475411B (zh) | 2024-03-26 |
Family
ID=89638202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311811494.7A Active CN117475411B (zh) | 2023-12-27 | 2023-12-27 | 信号灯倒计时识别方法、计算机可读存储介质及智能设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117475411B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080109381A (ko) * | 2007-06-13 | 2008-12-17 | 김경복 | 복수신호표현 신호등 |
| CN105825696A (zh) * | 2016-04-18 | 2016-08-03 | 吉林大学 | 基于信号灯信息提示的驾驶辅助系统 |
| CN110390292A (zh) * | 2018-10-26 | 2019-10-29 | 西安电子科技大学 | 基于动态关联模型的遥感视频车辆目标检测与跟踪方法 |
| CN110688992A (zh) * | 2019-12-09 | 2020-01-14 | 中智行科技有限公司 | 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆 |
| CN112149509A (zh) * | 2020-08-25 | 2020-12-29 | 浙江浙大中控信息技术有限公司 | 深度学习与图像处理融合的交通信号灯故障检测方法 |
| CN114373297A (zh) * | 2021-12-14 | 2022-04-19 | 青岛海信网络科技股份有限公司 | 一种数据处理装置、方法及电子设备 |
| CN115063764A (zh) * | 2022-05-26 | 2022-09-16 | 广州文远知行科技有限公司 | 交通信号灯的状态估计方法、装置及电子设备 |
| CN115909731A (zh) * | 2022-11-09 | 2023-04-04 | 北京百度网讯科技有限公司 | 交通信号灯切换时刻的预测方法、装置、电子设备及介质 |
| CN116311193A (zh) * | 2021-12-17 | 2023-06-23 | 广州汽车集团股份有限公司 | 交通灯检测方法、计算机设备和汽车 |
| CN116416594A (zh) * | 2022-12-27 | 2023-07-11 | 阿波罗智联(北京)科技有限公司 | 用于生成虚拟信号灯的方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2249686C (en) * | 1998-10-19 | 2004-08-17 | Phillip Georgalis | Green light (traffic signal) countdown device |
| US7793851B2 (en) * | 2005-05-09 | 2010-09-14 | Dynamics Inc. | Dynamic credit card with magnetic stripe and embedded encoder and methods for using the same to provide a copy-proof credit card |
| US10081308B2 (en) * | 2011-07-08 | 2018-09-25 | Bendix Commercial Vehicle Systems Llc | Image-based vehicle detection and distance measuring method and apparatus |
| US10431079B2 (en) * | 2016-03-17 | 2019-10-01 | Shenzhen Yijie Innovative Technology Co., Ltd. | Driving control apparatus for intersection traffic light array |
| CN112396073A (zh) * | 2019-08-15 | 2021-02-23 | 广州虎牙科技有限公司 | 基于双目图像的模型训练方法、装置及数据处理设备 |
-
2023
- 2023-12-27 CN CN202311811494.7A patent/CN117475411B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080109381A (ko) * | 2007-06-13 | 2008-12-17 | 김경복 | 복수신호표현 신호등 |
| CN105825696A (zh) * | 2016-04-18 | 2016-08-03 | 吉林大学 | 基于信号灯信息提示的驾驶辅助系统 |
| CN110390292A (zh) * | 2018-10-26 | 2019-10-29 | 西安电子科技大学 | 基于动态关联模型的遥感视频车辆目标检测与跟踪方法 |
| CN110688992A (zh) * | 2019-12-09 | 2020-01-14 | 中智行科技有限公司 | 交通信号识别方法、装置、车辆导航设备和无人驾驶车辆 |
| CN112149509A (zh) * | 2020-08-25 | 2020-12-29 | 浙江浙大中控信息技术有限公司 | 深度学习与图像处理融合的交通信号灯故障检测方法 |
| CN114373297A (zh) * | 2021-12-14 | 2022-04-19 | 青岛海信网络科技股份有限公司 | 一种数据处理装置、方法及电子设备 |
| CN116311193A (zh) * | 2021-12-17 | 2023-06-23 | 广州汽车集团股份有限公司 | 交通灯检测方法、计算机设备和汽车 |
| CN115063764A (zh) * | 2022-05-26 | 2022-09-16 | 广州文远知行科技有限公司 | 交通信号灯的状态估计方法、装置及电子设备 |
| CN115909731A (zh) * | 2022-11-09 | 2023-04-04 | 北京百度网讯科技有限公司 | 交通信号灯切换时刻的预测方法、装置、电子设备及介质 |
| CN116416594A (zh) * | 2022-12-27 | 2023-07-11 | 阿波罗智联(北京)科技有限公司 | 用于生成虚拟信号灯的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 崔帅华.基于深度学习的交通信号灯检测与识别方法研究.《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》.2023,(第07期),第C034-597页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117475411A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11037005B2 (en) | Method and apparatus for identifying traffic light | |
| CN111212772B (zh) | 用于确定车辆的驾驶策略的方法和设备 | |
| CN110197589B (zh) | 一种基于深度学习的闯红灯违法检测方法 | |
| US20220130153A1 (en) | Vehicle control method, apparatus, electronic device and vehicle | |
| CN102298693B (zh) | 基于计算机视觉的高速公路弯道检测方法 | |
| CN111950536A (zh) | 信号灯图像的处理方法、装置、计算机系统和路侧设备 | |
| CN103778786A (zh) | 一种基于显著车辆部件模型的交通违章检测方法 | |
| US20190087674A1 (en) | Method and apparatus for detecting braking behavior of front vehicle of autonomous vehicle | |
| CN112101272B (zh) | 交通灯检测的方法、装置、计算机存储介质和路侧设备 | |
| CN107644538A (zh) | 交通信号灯的识别方法及装置 | |
| CN112750170A (zh) | 一种雾特征识别方法、装置及相关设备 | |
| CN111931726A (zh) | 交通灯检测的方法、装置、计算机存储介质和路侧设备 | |
| CN115690441A (zh) | 交通信号灯区域检测方法、装置及设备 | |
| CN117475411B (zh) | 信号灯倒计时识别方法、计算机可读存储介质及智能设备 | |
| CN112084905B (zh) | 交通灯状态识别方法、系统、设备及存储介质 | |
| CN115984825B (zh) | 信号灯闪烁感知方法、车辆控制方法、设备、介质及车辆 | |
| CN115984826B (zh) | 交通信号灯感知方法、车辆控制方法、设备、介质及车辆 | |
| CN112912892A (zh) | 自动驾驶方法和装置、距离确定方法和装置 | |
| CN117237907A (zh) | 交通信号灯识别方法、装置、存储介质及电子设备 | |
| CN114972731A (zh) | 交通灯检测识别方法及装置、移动工具、存储介质 | |
| CN113593253A (zh) | 车辆的闯红灯监测方法和装置 | |
| CN114022848A (zh) | 一种隧道自动照明的控制方法及系统 | |
| CN113085861A (zh) | 自动驾驶车辆的控制方法及装置、自动驾驶车辆 | |
| CN117935225B (zh) | 交通信号灯的遮挡识别方法、智能设备及存储介质 | |
| CN112970030A (zh) | 交通灯检测的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |