CN115223141A - 交通灯检测方法、电子设备及存储介质 - Google Patents
交通灯检测方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115223141A CN115223141A CN202210751996.4A CN202210751996A CN115223141A CN 115223141 A CN115223141 A CN 115223141A CN 202210751996 A CN202210751996 A CN 202210751996A CN 115223141 A CN115223141 A CN 115223141A
- Authority
- CN
- China
- Prior art keywords
- traffic light
- image
- information
- sample
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 133
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 238000012216 screening Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- LKJPSUCKSLORMF-UHFFFAOYSA-N Monolinuron Chemical compound CON(C)C(=O)NC1=CC=C(Cl)C=C1 LKJPSUCKSLORMF-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开一种交通灯检测方法、电子设备及存储介质，该方法包括：接收待检测的第一图像；对所述第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像；将所述第二图像输入交通灯检测模型进行处理，获得所述交通灯检测模型输出的检测结果，其中，所述检测结果包括：所述第一图像中是否存在交通灯以及交通灯的位置信息。
Description
技术领域
本申请涉及机器视觉技术领域，特别涉及一种交通灯检测方法、电子设备及存储介质。
背景技术
交通灯检测是辅助驾驶领域或者自动驾驶领域中极为重要的一项任务，对于车辆的安全行驶起着至关重要的作用。目前的通用目标检测算法在coco等数据集上已经取得了很高的指标，拥有了较高的准确率。但是，交通灯检测和通用目标检测还是有很大的不同的，交通灯检测因为自身任务需求的特性，对于误检测的容忍度比较低，而且交通灯通常需要在远距离就检出，因此目标会普遍偏小，检测难度大，误检测率高。因此，如何有效降低交通灯的误检测率，提升检测性能，是交通灯检测中不得不面对的一个难题。
发明内容
本申请实施例提供一种交通灯检测方法、电子设备及存储介质，以解决现有技术中存在的交通灯误检测率高的技术问题。
根据本申请的第一方面，公开了一种交通灯检测方法，所述方法包括：
接收待检测的第一图像；
对所述第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像；
将所述第二图像输入交通灯检测模型进行处理，获得所述交通灯检测模型输出的检测结果，其中，所述检测结果包括：所述第一图像中是否存在交通灯以及交通灯的位置信息。
根据本申请的第二方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现如第一方面中的交通灯检测方法。
根据本申请的第三方面，公开了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的交通灯检测方法。
根据本申请的第四方面，公开了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如第一方面中的交通灯检测方法。
本申请实施例中，接收待检测的第一图像，对第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像，将第二图像输入交通灯检测模型进行处理，获得交通灯检测模型输出的检测结果，其中，检测结果包括：第一图像中是否存在交通灯以及交通灯的位置信息。本申请实施例中，由于交通灯在图像中有显著的位置特征，也就是，位置分布是比较固定的，因此基于这个特征，对待检测图像的位置信息进行编码，将包含有位置编码信息的图像输入到交通灯检测模型中进行处理，可以提高图像中交通灯位置的检测准确率，从而降低在非交通灯位置的误检测率。
附图说明
图1是本申请实施例提供的一种交通灯检测方法的流程图；
图2是本申请实施例提供的交通灯检测模型的训练过程的流程图；
图3是本申请实施例提供的另一种交通灯检测方法的流程图；
图4是本申请实施例提供的交通灯识别模型的训练过程的流程图；
图5是本申请实施例提供的一种交通灯检测装置的结构示意图；
图6是本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本申请实施例所必须的。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安全防范、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
以辅助驾驶领域或者自动驾驶领域为例，交通灯检测是辅助驾驶领域或者自动驾驶领域中极为重要的一项任务，对于车辆的安全行驶起着至关重要的作用。目前的通用目标检测算法在coco等数据集上已经取得了很高的指标，拥有了较高的准确率。但是，交通灯检测和通用目标检测还是有很大的不同的，交通灯检测因为自身任务需求的特性，对于误检测的容忍度比较低，而且交通灯通常需要在远距离就检出，因此目标会普遍偏小，检测难度大，误检测率高。
为了解决上述技术问题，本申请实施例提供了一种交通灯检测方法、电子设备及存储介质。
下面首先对本申请实施例提供的一种交通灯检测方法进行介绍。
图1是本申请实施例提供的一种交通灯检测方法的流程图，如图1所示，该方法可以包括以下步骤：步骤101、步骤102和步骤103，其中，
在步骤101中，接收待检测的第一图像。
本申请实施例中，第一图像可以为RGB格式的图像，也可以为其他格式的图像，例如YUV格式的图像，本申请实施例对此不作限定。
在步骤102中，对第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像。
考虑到交通灯在图像中有着显著的位置特征，即位置分布是比较固定的，一般出现在图像的固定位置区间内，例如出现在图像的1/3～2/3等中间上下位置，一般不会出现在很上面或很下面等边缘处，为避免误识别，本申请实施例中，可以对第一图像中各像素点的位置信息进行编码，以重点关注交通灯在图像中的分布位置。
本申请实施例中，在对第一图像中每个像素点的位置信息进行编码得到第二图像后，该第二图像中的每个像素点对应多个位置编码信息，以确保编码信息能全面地反映像素点的位置特征。如，第二图像中每个像素点对应两个、三个、四个或者更多等多个位置编码信息，不同的位置编码信息是基于不同的编码方式和/或编码参数所生成的。
可选地，在一种具体实施方式中，第二图像中的每个像素点对应四个位置编码信息。
本申请实施例中，在编码时可以将四个位置编码信息分为两组，两组采用不同的编码方式，此时，每个像素点所对应的四个位置编码信息是通过两种编码方式生成的，也就是，可以将图像中各像素点的位置特征进行不同维度的表达，以进一步确保编码信息能全面地反映像素点的位置特征。
本申请实施例中，当第一图像为三通道的彩色图像时，第二图像中的每个像素点包括七个通道的像素值，其中，七个通道的像素值包括三个颜色通道的像素值和四个位置通道的位置编码信息，四个位置通道中的每一个通道对应于四个位置编码信息中的一个位置编码信息。
在一个例子中，第一图像为RGB图像，即第一图像中每个像素点包括三个颜色通道的像素值，分别为R通道的像素值、G通道的像素值和B通道的像素值；在对第一图像进行位置信息编码后，得到的第二图像中每个像素点包括七个通道的像素值，分别为RBG三个通道的像素值、P1、P2、P3和P4，其中，P1～P4为四个位置编码信息。
在一些实施例中，上述步骤102可以包括以下步骤(图中未示出)：步骤1021和步骤1022，其中，
在步骤1021中，针对第一图像中的每个像素点，基于像素点的位置信息和正弦三角函数，确定像素点所对应的第一编码信息和第二编码信息，基于像素点的位置信息和余弦三角函数，确定像素点所对应的第三编码信息和第四编码信息；其中，第一编码信息和第二编码信息的编码周期不同，第三编码信息和第四编码信息的编码周期不同；
在一个例子中，第一编码信息和第二编码信息分别为sinω1t、sinω2t，第三编码信息和第四编码信息分别为cosω1t、cosω2t，其中，t为像素点的位置坐标，ω1和ω2代表不同的编码周期，编码周期ω不同代表三角函数不同，目的是为避免同一像素位置的编码数值是一样的。
在步骤1022中，将第一编码信息和第二编码信息作为像素点的四个位置通道中奇数位的位置编码信息，将第三编码信息和第四编码信息作为像素点的四个位置通道中偶数位的位置编码信息，得到包含位置编码信息的第二图像。
在一个例子中，第二图像中的每个像素点的四个位置通道的位置编码信息可以为[sinω1t，cosω1t，sinω2t，cosω2t]。
可以理解的是，除此之外，也可以将第一编码信息和第二编码信息作为像素点的四个位置通道中偶数位的位置编码信息，将第三编码信息和第四编码信息作为像素点的四个位置通道中奇数位的位置编码信息。如，在一个具体例子中，第二图像中的每个像素点的四个位置通道的位置编码信息可以为[cosω1t，sinω1t，cosω2t，sinω2t]。
在步骤103中，将第二图像输入交通灯检测模型进行处理，获得交通灯检测模型输出的检测结果，其中，检测结果包括：第一图像中是否存在交通灯以及交通灯的位置信息。
本申请实施例中，在训练交通灯检测模型时，可以对其训练集中图像的每个像素位置进行显式编码，将编码得到的图像作为输入，送入到网络中进行学习，从而有效的将位置信息嵌入到模型中，通过对最终结果的可视化，发现在非交通灯位置的误检测显著减少。
相应地，如图2所示，交通灯检测模型的训练过程，可以包括以下步骤：步骤201、步骤202和步骤203，其中，
在步骤201中，获取第一训练集，其中，第一训练集中包括：初始样本图像和初始样本图像的交通灯位置标注信息。
本申请实施例中，初始样本图像可以为用户拿着手机对交通灯拍摄的图像，或者可以为通过其他图像采集设备采集到的包含交通灯影响的图像。
本申请实施例中，交通灯位置标注信息可以包括：交通灯所在图像区域的位置坐标。
在步骤202中，对初始样本图像中像素点的位置信息进行编码，得到包含位置编码信息的目标样本图像。
本申请实施例中，初始样本图像的编码方式，与第一图像的编码方式类似，在此不再赘述。
在步骤203中，将目标样本图像输入初始检测模型进行处理，获得初始检测模型输出的第一预测结果，基于第一预测结果和交通灯位置标注信息，对初始检测模型中的参数进行调整，直至模型收敛，得到交通灯检测模型；其中，第一预测结果包括：目标样本图像中是否存在交通灯以及交通灯的位置信息。
可见，本申请实施例中，在训练交通灯检测模型时，可以对其训练集中图像的每个像素位置进行显式编码，将编码得到的图像作为输入，送入到网络中进行学习，从而有效的将位置信息嵌入到模型中，使得在使用该交通灯检测模型检测其他图像中的交通灯时，可以降低误检测率。
在一些实施例中，交通灯检测模型可以由特征提取网络、FPN网络、分类网络和坐标回归网络构成，此时，交通灯检测模型在处理第二图像时，可以包括以下步骤：
通过特征提取网络，提取第二图像的语义特征，其中，特征提取网络可以为ResNet或者DarkNet；
通过FPN网络对第二图像的语义特征进行特征复用，得到目标特征，其中，FPN网络用于将小的特征进行特征强化，以及进行不同层级特征的交互，进行特征/信息共享；
通过分类网络和坐标回归网络对目标特征进行处理，输出检测结果，其中，分类网络用于判别是否为交通灯，坐标回归网络用于预测交通灯的位置，即交通灯在图像中的位置坐标。
由上述实施例可见，该实施例中，接收待检测的第一图像，对第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像，将第二图像输入交通灯检测模型进行处理，获得交通灯检测模型输出的检测结果，其中，检测结果包括：第一图像中是否存在交通灯以及交通灯的位置信息。本申请实施例中，由于交通灯在图像中有显著的位置特征，也就是，位置分布是比较固定的，因此基于这个特征，对待检测图像的位置信息进行编码，将包含有位置编码信息的图像输入到交通灯检测模型中进行处理，可以提高图像中交通灯位置的检测准确率，从而降低在非交通灯位置的误检测率。
除交通灯检测之外，交通灯识别也是辅助驾驶领域或者自动驾驶领域中极为重要的一项任务。目前，对于交通灯识别，在实际场景中，由于距离、光照以及相机成像等因素，交通灯在成像上存在各种差异，会出现模型容易检测并且分类正确的样本，称之为“容易样本”；相对的，存在部分难以检测、分类正确的样本，我们称之为“难例样本”。现有技术中，在交通灯识别模型训练过程中，模型对所有输入样本是同等对待的，这样就导致模型在收敛过程中不能兼顾不同难度层级样本，最终导致在难例样本效果较差，交通灯误识别率高。为了解决上述技术问题，本申请实施例在图1所示实施例的基础上，提出了另一种交通灯检测方法。
图3是本申请实施例提供的另一种交通灯检测方法的流程图，如图3所示，该方法可以包括以下步骤：步骤301、步骤302、步骤303、步骤304和步骤305，其中，
在步骤301中，接收待检测的第一图像。
在步骤302中，对第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像。
在步骤303中，将第二图像输入交通灯检测模型进行处理，获得交通灯检测模型输出的检测结果，其中，检测结果包括：第一图像中是否存在交通灯以及交通灯的位置信息。
本申请实施例中的步骤301～步骤303，与图1所示实施例中的步骤101～步骤103类似，在此不再赘述。
在步骤304中，在检测结果指示第一图像中存在交通灯的情况下，根据检测结果中的交通灯的位置信息，从第一图像中提取交通灯所在区域的第三图像。
本申请实施例中，在第一图像中存在交通灯的情况下，可以通过“抠图”操作，从第一图像中提取交通灯所在区域的第三图像。
在步骤305中，将第三图像输入交通灯识别模型进行处理，获得交通灯识别模型输出的识别结果，其中，识别结果包括：交通灯的颜色信息。
考虑到现有技术中在训练交通灯识别模型时，难例样本和容易样本混合到一起作为输入，不会主动区分难例样本和容易样本，导致难例样本占比小，对难例样本的训练不够充分。针对交通灯识别难易样本不均衡的问题，本申请实施例中，采用难易样本均衡训练的方案进行交通灯识别模型的训练，该方案在训练过程中会根据模型表现效果，筛选出难例样本，基于难例样本继续进行模型训练，使模型能兼顾不同难易程度的样本，进而使最终模型对不同样本都具有较高泛化能力。
相应地，如图4所示，交通灯识别模型的训练过程，可以包括以下步骤：步骤401、步骤402、步骤403和步骤404，其中，
在步骤401中，获取第二训练集，其中，第二训练集中包括：样本交通灯图像和样本交通灯图像的交通灯颜色标注信息。
本申请实施例中，第二训练集中的样本交通灯图像可以为：从第一训练集的初始样本图像中提取的交通灯图像。
本申请实施例中，交通灯颜色标注信息可以包括：交通灯的颜色，例如交通灯是红色、黄色、绿色还是黑色(即灭灯的情况)。
在一个例子中，交通灯的颜色标注信息的格式为(D1，D2，D3，D4)，其中，D1代表红色，D2代表黄色，D3代表绿色，D4代表黑色，如果交通灯为红色，则颜色标注信息为(1,0,0,0)；如果交通灯为黄色，则颜色标注信息为(0,1,0,0)。
在步骤402中，将样本交通灯图像输入初始识别模型进行处理，获得初始识别模型输出的第二预测结果，基于第二预测结果和交通灯颜色标注信息，对初始识别模型中的参数进行调整，得到中间识别模型；其中，第二预测结果包括：样本交通灯图像中交通灯颜色为各种颜色的概率。
本申请实施例中，第二预测结果的格式为(M1，M2，M3，M4)，其中，M1～M4用于代表交通灯为红色、黄色、绿色和黑色的概率。
本申请实施例中，在基于初始识别网络训练到一定程度后，会基于训练得到的模型(即中间识别模型)，对之前参与模型训练的样本图像进行筛选，筛选出哪些是难例样本，哪些是容易样本，在下一轮训练时，使用筛选出来的难例样本，进行模型训练，其目的在于，增加难易样本在训练数据中的占比，迫使网络向难例样本收敛，提高模型对难例样本的识别能力。
在步骤403中，基于中间识别模型，筛选样本交通灯图像中的难例样本交通灯图像。
在一些实施例中，上述步骤403可以包括以下步骤(图中未示出)：步骤4031、步骤4032和步骤4033，其中，
在步骤4031中，将样本交通灯图像输入中间识别模型进行处理，获得中间识别模型输出的第三预测结果，其中，第三预测结果包括：样本交通灯图像中交通灯颜色为各种颜色的概率。
本申请实施例中，第三预测结果的格式与第二预测结果的格式相同，可以为(M1，M2，M3，M4)，其中，M1～M4用于代表交通灯为红色、黄色、绿色和黑色的概率。
在步骤4032中，根据第三预测结果和交通灯颜色标注信息，计算样本交通灯图像对应的损失值。
本申请实施例中，对第三预测结果和交通灯颜色标注信息，可以采用交叉熵的方式，计算样本交通灯图像对应的损失值。也就是，若第三预测结果为(M1，M2，M3，M4)，交通灯颜色标注信息为(D1，D2，D3，D4)，则损失值为M1*D1+M2*D2+M3*D3+M4*D4。
在步骤4033中，根据损失值，筛选样本交通灯图像中的难例样本交通灯图像。
在一些实施例中，可以直接根据损失值进行难例样本的筛选，此时，上述步骤4033包括：
按照损失值的大小，对参与训练中间识别模型的样本交通灯图像进行降序排序，将排在前N位的样本交通灯图像确定为难例样本交通灯图像，其中，N为大于零的第二数值。
在另一些实施例中，为了尽可能地筛选出预测结果与标注结果不相同的难例样本，可以在预测结果与标注结果不同时，为损失值增加一个权重系数，该权重系数的值大于1，将损失值与权重系数相乘得到最终的损失值，根据最终的损失值，对之前参与模型训练的图像进行由大到小的排序，将排序在前的部分图像，确定为难例样本，此时，上述步骤4033包括：
根据系数矩阵，对样本交通灯图像对应的损失值进行修正，按照修正后数值的大小，对参与训练中间识别模型的样本交通灯图像进行降序排序，将排在前I位的样本交通灯图像确定为难例样本交通灯图像，其中，系数矩阵中包括：不同的交通灯识别错误情况对应的权重系数，I为大于零的第三数值。
本申请实施例中，交通灯识别错误情况可以包括：红灯被识别为绿灯、红灯被识别为黄灯、红灯被识别为灭灯、黄灯被识别为绿灯、黄灯被识别为红灯、黄灯被识别为灭灯、绿灯被识别为红灯、绿灯被识别为黄灯、绿灯被识别为灭灯、灭灯被识别为绿灯、灭灯被识别为红灯，以及灭灯被识别为黄灯。不同的交通灯识别错误情况都会有一个对应的权重系数。
在步骤404中，基于难例样本交通灯图像对中间识别模型进行训练，重复上述筛选、训练过程，直至训练得到的模型在测试集上的测试结果的准确度大于M，得到交通灯识别模型，其中，M为大于零且小于1的第一数值。例如，M可以为0.99。
由上述实施例可见，该实施例中，在对交通灯图像进行识别时，由于所采用的交通灯识别模型在其训练过程中能够兼顾不同的难易程度的样本，因此使用该模型进行交通灯检测，可以降低误检测率。
图5是本申请实施例提供的一种交通灯检测装置的结构示意图，如图5所示，交通灯检测装置500，可以包括：
接收模块501，用于接收待检测的第一图像；
编码模块502，用于对所述第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像；
检测模块503，用于将所述第二图像输入交通灯检测模型进行处理，获得所述交通灯检测模型输出的检测结果，其中，所述检测结果包括：所述第一图像中是否存在交通灯以及交通灯的位置信息。
由上述实施例可见，该实施例中，接收待检测的第一图像，对第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像，将第二图像输入交通灯检测模型进行处理，获得交通灯检测模型输出的检测结果，其中，检测结果包括：第一图像中是否存在交通灯以及交通灯的位置信息。本申请实施例中，由于交通灯在图像中有显著的位置特征，也就是，位置分布是比较固定的，因此基于这个特征，对待检测图像的位置信息进行编码，将包含有位置编码信息的图像输入到交通灯检测模型中进行处理，可以提高图像中交通灯位置的检测准确率，从而降低在非交通灯位置的误检测率。
可选地，作为一个实施例，所述第二图像中的每个像素点对应多个位置编码信息。
可选地，作为一个实施例，所述第二图像中的每个像素点对应四个位置编码信息。
可选地，作为一个实施例，每个所述像素点所对应的四个位置编码信息是通过两种编码方式生成的。
可选地，作为一个实施例，所述第二图像中的每个像素点包括七个通道的像素值；其中，所述七个通道的像素值包括三个颜色通道的像素值和四个位置通道的位置编码信息。
可选地，作为一个实施例，所述编码模块502，可以包括：
编码子模块，用于针对所述第一图像中的每个像素点，基于所述像素点的位置信息和正弦三角函数，确定所述像素点所对应的第一编码信息和第二编码信息，基于所述像素点的位置信息和余弦三角函数，确定所述像素点所对应的第三编码信息和第四编码信息；其中，所述第一编码信息和所述第二编码信息的编码周期不同，所述第三编码信息和所述第四编码信息的编码周期不同；
将所述第一编码信息和所述第二编码信息作为所述像素点的四个位置通道中奇数位的位置编码信息，将所述第三编码信息和所述第四编码信息作为所述像素点的四个位置通道中偶数位的位置编码信息，得到包含位置编码信息的第二图像。
可选地，作为一个实施例，所述交通灯检测装置500，还可以包括：
提取模块，用于根据所述检测结果中的交通灯的位置信息，从所述第一图像中提取所述交通灯所在区域的第三图像；
识别模块，用于将所述第三图像输入交通灯识别模型进行处理，获得所述交通灯识别模型输出的识别结果，其中，所述识别结果包括：所述交通灯的颜色信息。
可选地，作为一个实施例，所述交通灯检测模型通过如下过程训练得到：
获取第一训练集，其中，所述第一训练集中包括：初始样本图像和所述初始样本图像的交通灯位置标注信息；
对所述初始样本图像中像素点的位置信息进行编码，得到包含位置编码信息的目标样本图像；
将所述目标样本图像输入初始检测模型进行处理，获得所述初始检测模型输出的第一预测结果，基于所述第一预测结果和所述交通灯位置标注信息，对所述初始检测模型中的参数进行调整，直至模型收敛，得到所述交通灯检测模型，其中，所述第一预测结果包括：所述目标样本图像中是否存在交通灯以及交通灯的位置信息。
可选地，作为一个实施例，所述交通灯识别模型通过如下过程训练得到：
获取第二训练集，其中，所述第二训练集中包括：样本交通灯图像和所述样本交通灯图像的交通灯颜色标注信息；
将所述样本交通灯图像输入初始识别模型进行处理，获得所述初始识别模型输出的第二预测结果，基于所述第二预测结果和所述交通灯颜色标注信息，对所述初始识别模型中的参数进行调整，得到中间识别模型，其中，所述第二预测结果包括：所述样本交通灯图像中交通灯颜色为各种颜色的概率；
基于所述中间识别模型，筛选所述样本交通灯图像中的难例样本交通灯图像；
基于所述难例样本交通灯图像对所述中间识别模型进行训练，重复上述筛选、训练过程，直至训练得到的模型在测试集上的测试结果的准确度大于M，得到所述交通灯识别模型，其中，M为大于零且小于1的第一数值。
可选地，作为一个实施例，所述样本交通灯图像中的难例样本交通灯图像通过如下过程筛选得到：
将所述样本交通灯图像输入所述中间识别模型进行处理，获得所述中间识别模型输出的第三预测结果，其中，所述第三预测结果包括：所述样本交通灯图像中交通灯颜色为各种颜色的概率；
根据所述第三预测结果和所述交通灯颜色标注信息，计算所述样本交通灯图像对应的损失值；
根据所述损失值，筛选所述样本交通灯图像中的难例样本交通灯图像。
可选地，作为一个实施例，所述样本交通灯图像中的难例样本交通灯图像通过如下过程筛选得到：
按照所述损失值的大小，对参与训练所述中间识别模型的样本交通灯图像进行降序排序，将排在前N位的样本交通灯图像确定为难例样本交通灯图像，其中，N为大于零的第二数值；或者，
根据系数矩阵，对所述样本交通灯图像对应的损失值进行修正，按照修正后数值的大小，对参与训练所述中间识别模型的样本交通灯图像进行降序排序，将排在前I位的样本交通灯图像确定为难例样本交通灯图像，其中，所述系数矩阵中包括：不同的交通灯识别错误情况对应的权重系数，I为大于零的第三数值。
本申请提供的交通灯检测方法的实施例中的任意一个步骤和任意一个步骤中的具体操作均可以由交通灯检测装置中的相应的模块完成交通灯检测装置中的各个模块完成的相应的操作的过程参考在交通灯检测方法的实施例中描述的相应的操作的过程。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
图6是本申请的一个实施例的一种电子设备的结构框图。电子设备包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行上述方法。
电子设备还可以包括一个电源组件626被配置为执行电子设备的电源管理，一个有线或无线网络接口650被配置为将电子设备连接到网络，和一个输入输出(I/O)接口658。电子设备可以操作基于存储在存储器632的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
根据本申请的再一个实施例，本申请还提供了计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的交通灯检测方法中的步骤。
根据本申请的再一个实施例，本申请还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述任意一个实施例所述的交通灯检测方法中的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种交通灯检测方法、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (14)
1.一种交通灯检测方法，其特征在于，所述方法包括：
接收待检测的第一图像；
对所述第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像；
将所述第二图像输入交通灯检测模型进行处理，获得所述交通灯检测模型输出的检测结果，其中，所述检测结果包括：所述第一图像中是否存在交通灯以及交通灯的位置信息。
2.根据权利要求1所述的方法，其特征在于，所述第二图像中的每个像素点对应多个位置编码信息。
3.根据权利要求1或2所述的方法，其特征在于，所述第二图像中的每个像素点对应四个位置编码信息。
4.根据权利要求3所述的方法，其特征在于，每个所述像素点所对应的四个位置编码信息是通过两种编码方式生成的。
5.根据权利要求3或4所述的方法，其特征在于，所述第二图像中的每个像素点包括七个通道的像素值；
其中，所述七个通道的像素值包括三个颜色通道的像素值和四个位置通道的位置编码信息。
6.根据权利要求5所述的方法，其特征在于，所述对所述第一图像中像素点的位置信息进行编码，得到包含位置编码信息的第二图像，包括：
针对所述第一图像中的每个像素点，基于所述像素点的位置信息和正弦三角函数，确定所述像素点所对应的第一编码信息和第二编码信息，基于所述像素点的位置信息和余弦三角函数，确定所述像素点所对应的第三编码信息和第四编码信息；其中，所述第一编码信息和所述第二编码信息的编码周期不同，所述第三编码信息和所述第四编码信息的编码周期不同；
将所述第一编码信息和所述第二编码信息作为所述像素点的四个位置通道中奇数位的位置编码信息，将所述第三编码信息和所述第四编码信息作为所述像素点的四个位置通道中偶数位的位置编码信息，得到包含位置编码信息的第二图像。
7.根据权利要求1所述的方法，其特征在于，在所述检测结果指示所述第一图像中存在交通灯的情况下，在所述将所述第二图像输入交通灯检测模型进行处理，获得所述交通灯检测模型输出的检测结果的步骤之后，所述方法还包括:
根据所述检测结果中的交通灯的位置信息，从所述第一图像中提取所述交通灯所在区域的第三图像；
将所述第三图像输入交通灯识别模型进行处理，获得所述交通灯识别模型输出的识别结果，其中，所述识别结果包括：所述交通灯的颜色信息。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述交通灯检测模型通过如下过程训练得到：
获取第一训练集，其中，所述第一训练集中包括：初始样本图像和所述初始样本图像的交通灯位置标注信息；
对所述初始样本图像中像素点的位置信息进行编码，得到包含位置编码信息的目标样本图像；
将所述目标样本图像输入初始检测模型进行处理，获得所述初始检测模型输出的第一预测结果，基于所述第一预测结果和所述交通灯位置标注信息，对所述初始检测模型中的参数进行调整，直至模型收敛，得到所述交通灯检测模型，其中，所述第一预测结果包括：所述目标样本图像中是否存在交通灯以及交通灯的位置信息。
9.根据权利要求7所述的方法，其特征在于，所述交通灯识别模型通过如下过程训练得到：
获取第二训练集，其中，所述第二训练集中包括：样本交通灯图像和所述样本交通灯图像的交通灯颜色标注信息；
将所述样本交通灯图像输入初始识别模型进行处理，获得所述初始识别模型输出的第二预测结果，基于所述第二预测结果和所述交通灯颜色标注信息，对所述初始识别模型中的参数进行调整，得到中间识别模型，其中，所述第二预测结果包括：所述样本交通灯图像中交通灯颜色为各种颜色的概率；
基于所述中间识别模型，筛选所述样本交通灯图像中的难例样本交通灯图像；
基于所述难例样本交通灯图像对所述中间识别模型进行训练，重复上述筛选、训练过程，直至训练得到的模型在测试集上的测试结果的准确度大于M，得到所述交通灯识别模型，其中，M为大于零且小于1的第一数值。
10.根据权利要求9所述的方法，其特征在于，所述基于所述中间识别模型，筛选所述样本交通灯图像中的难例样本交通灯图像，包括：
将所述样本交通灯图像输入所述中间识别模型进行处理，获得所述中间识别模型输出的第三预测结果，其中，所述第三预测结果包括：所述样本交通灯图像中交通灯颜色为各种颜色的概率；
根据所述第三预测结果和所述交通灯颜色标注信息，计算所述样本交通灯图像对应的损失值；
根据所述损失值，筛选所述样本交通灯图像中的难例样本交通灯图像。
11.根据权利要求10所述的方法，其特征在于，所述根据所述损失值，筛选所述样本交通灯图像中的难例样本交通灯图像，包括：
按照所述损失值的大小，对参与训练所述中间识别模型的样本交通灯图像进行降序排序，将排在前N位的样本交通灯图像确定为难例样本交通灯图像，其中，N为大于零的第二数值；或者，
根据系数矩阵，对所述样本交通灯图像对应的损失值进行修正，按照修正后数值的大小，对参与训练所述中间识别模型的样本交通灯图像进行降序排序，将排在前I位的样本交通灯图像确定为难例样本交通灯图像，其中，所述系数矩阵中包括：不同的交通灯识别错误情况对应的权重系数，I为大于零的第三数值。
12.一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-11任一项所述的方法。
13.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-11任一项所述的方法。
14.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751996.4A CN115223141A (zh) | 2022-06-29 | 2022-06-29 | 交通灯检测方法、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210751996.4A CN115223141A (zh) | 2022-06-29 | 2022-06-29 | 交通灯检测方法、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115223141A true CN115223141A (zh) | 2022-10-21 |
Family
ID=83610451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210751996.4A Pending CN115223141A (zh) | 2022-06-29 | 2022-06-29 | 交通灯检测方法、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115223141A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117336453A (zh) * | 2023-11-27 | 2024-01-02 | 湖南苏科智能科技有限公司 | 一种安检图像转换方法、系统、设备及存储介质 |
-
2022
- 2022-06-29 CN CN202210751996.4A patent/CN115223141A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117336453A (zh) * | 2023-11-27 | 2024-01-02 | 湖南苏科智能科技有限公司 | 一种安检图像转换方法、系统、设备及存储介质 |
| CN117336453B (zh) * | 2023-11-27 | 2024-01-30 | 湖南苏科智能科技有限公司 | 一种安检图像转换方法、系统、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709408B (zh) | 图像真伪检测方法和装置 | |
| CN111242097B (zh) | 一种人脸识别方法、装置、计算机可读介质及电子设备 | |
| CN113822951B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN113255678A (zh) | 一种基于语义分割的道路裂缝自动识别方法 | |
| CN115147936A (zh) | 一种活体检测方法、电子设备、存储介质及程序产品 | |
| CN115577768A (zh) | 半监督模型训练方法和装置 | |
| CN112101114A (zh) | 一种视频目标检测方法、装置、设备以及存储介质 | |
| CN115861756A (zh) | 基于级联组合网络的大地背景小目标识别方法 | |
| CN115223141A (zh) | 交通灯检测方法、电子设备及存储介质 | |
| CN115049675A (zh) | 生成区域确定及光斑生成方法、设备、介质及程序产品 | |
| CN115131634A (zh) | 图像识别方法、装置、设备、存储介质及计算机程序产品 | |
| CN112651333B (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
| Mukhopadhyay et al. | A hybrid lane detection model for wild road conditions | |
| CN116977209A (zh) | 图像降噪方法、电子设备及存储介质 | |
| CN116597260A (zh) | 图像处理方法、电子设备、存储介质及计算机程序产品 | |
| CN115984093A (zh) | 基于红外图像的深度估计方法、电子设备以及存储介质 | |
| CN116309050A (zh) | 图像超分辨率方法、程序产品、存储介质及电子设备 | |
| CN114648604A (zh) | 一种图像渲染方法、电子设备、存储介质及程序产品 | |
| CN112699798A (zh) | 一种车路协同的交警动作识别方法和装置 | |
| CN115879488A (zh) | Dm码的解码方法、电子设备、存储介质及程序产品 | |
| CN114882079A (zh) | 图像配准检测方法、电子设备及存储介质 | |
| CN115841705A (zh) | 活体检测方法 | |
| CN115049956A (zh) | 深度视频增强方法、电子设备及存储介质 | |
| CN115439464A (zh) | 一种智能中医望诊方法、装置、设备和介质 | |
| CN115631296A (zh) | 一种3d目标检测方法、计算机程序产品及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230315 Address after: 1201, China Vision Valley Building, 88 Ruixiang Road, Guandou Street, Jiujiang District, Wuhu City, Anhui Province, 241005 Applicant after: Wuhu Maichi Zhixing Technology Co.,Ltd. Address before: 317, floor 3, No. 2, South Road, Academy of Sciences, Haidian District, Beijing 100086 Applicant before: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd. |