CN111009003B - 交通信号灯纠偏的方法、系统及存储介质 - Google Patents

交通信号灯纠偏的方法、系统及存储介质 Download PDF

Info

Publication number
CN111009003B
CN111009003B CN201911015637.7A CN201911015637A CN111009003B CN 111009003 B CN111009003 B CN 111009003B CN 201911015637 A CN201911015637 A CN 201911015637A CN 111009003 B CN111009003 B CN 111009003B
Authority
CN
China
Prior art keywords
coordinates
image
traffic signal
signal lamp
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911015637.7A
Other languages
English (en)
Other versions
CN111009003A (zh
Inventor
刘谱
王强
王辰昊
潘苗苗
陈程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Xuntu Information Technology Co ltd
Original Assignee
Hefei Xuntu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Xuntu Information Technology Co ltd filed Critical Hefei Xuntu Information Technology Co ltd
Priority to CN201911015637.7A priority Critical patent/CN111009003B/zh
Publication of CN111009003A publication Critical patent/CN111009003A/zh
Application granted granted Critical
Publication of CN111009003B publication Critical patent/CN111009003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施方式提供一种交通信号灯纠偏的方法、系统及存储介质，属于交通信号灯的图像识别技术领域。该方法包括：确定样本图片中交通信号灯的至少一部分所在的区域；根据至少一部分所在的区域确定纠偏范围；采用训练好的卷积神经网络基于纠偏范围在待纠偏的图片中寻找至少一部分的所在区域；根据所在区域和交通信号灯的结构关系确定交通信号灯整体的实际位置。本发明提供的交通信号灯纠偏的方法、系统及存储介质克服了现有技术中由于考虑因素单一导致的识别不准确的问题，同时通过对交通信号灯的至少一部分进行识别也降低了该方法中的算法的复杂度，提高了算法的运行效率，降低了设备的负载。

Description

交通信号灯纠偏的方法、系统及存储介质
技术领域
本发明涉及交通信号灯的图像处理技术领域，具体地涉及一种交通信号灯纠偏的方法、系统及存储介质。
背景技术
在路口交通管理中，交通信号灯作为城市交通管理系统的末端，对城市交通起着直接调节的作用。而路口违章监控摄像机在交通违章取证过程中发挥着重要作用，信号灯的状态是路口违章的重要惩治依据；通过电子警察基于机器视觉的方式对信号灯进行故障检测也是一种很有效的故障检测方式。目前这两种用途都需要对信号灯的状态进行详细的识别和判断，设置安装初期一般都比较准确，但时间久了，信号灯的区域因为人为的、环境的因素产生设备晃动、偏移都对信号灯的状态判断产生较大的影响。本发明一种交通信号灯纠偏的方法及系统就是针对交通信号灯和电警相机设备在发生位置偏移的情况下，能完成对抓拍图片中的信号灯的实际位置纠偏和重定位的功能。只有保证了信号灯区域的准确性才能保证电子警察对违章行为的准确取证，也才能保证电警相机对信号灯进行故障检测效果的准确性。
在目前的相关技术中，有通过像素点的颜色与信号灯的颜色进行比对来完成对信号灯的重定位纠偏的，也有结合信号灯初始信息，并通过多帧图片进行灰度处理的方式计算偏移量对信号灯进行重定位纠偏的；但上述方法无论是通过颜色比对还是连续的图像灰度处理都只能针对某一个特定的信号灯，考虑到信号灯区域在图片中的尺寸、光晕因素以及信号灯区域在电警图片中的色差因素，上述技术的准确性的都会受很大的影响，鲁棒性不够好。
发明内容
本发明实施方式的目的是提供一种交通信号灯纠偏的方法、系统及存储介质，该方法、系统及存储介质可以更加准确地确定抓拍的图片中的交通信号灯的实际位置。
为了实现以上目的，本发明提供一种交通信号灯纠偏的方法，所述方法包括：
确定样本图片中交通信号灯的至少一部分所在的区域；
根据所述至少一部分所在的区域确定纠偏范围；
采用训练好的卷积神经网络基于所述纠偏范围在待纠偏的图片中寻找所述至少一部分的所在区域；
根据所述所在区域和所述交通信号灯的结构关系确定所述交通信号灯整体的实际位置。
可选地，所述交通信号灯为三单元灯组，所述至少一部分包括所述三单元灯组中的至少一个单元灯组。
可选地，所述至少一部分所在的区域为矩形，所述根据所述至少一部分所在的区域确定纠偏范围包括：
根据公式(1)至公式(4)确定所述纠偏范围，
X1＝x1-len，(1)
Y1＝y1-len，(2)
X2＝x2+len，(3)
Y2＝y2+len，(4)
其中，(x1，y1)为所述至少一部分所在的区域的左上角的坐标，(x2，y2)为所述至少一部分所在的区域的右下角的坐标，(X1，Y1)为所述纠偏范围的左上角的坐标，(X2，Y2)为所述纠偏范围的右下角的坐标，len为根据公式(5)计算的纠偏长度值，
len＝min(width，heigh)，(5)
其中，width为所述至少一部分所在的区域的长度，heigh为所述至少一部分所在的区域的高度。
可选地，所述方法进一步包括训练初始的卷积神经网络以得到所述训练好的卷积神经网络。
可选地，所述训练初始的卷积神经网络以得到所述训练好的卷积神经网络包括：
获取设备抓拍的所述交通信号灯的图像，标定所述图像中交通信号灯所在的位置以及当前状态；
根据所述位置对所述图像进行切图操作以得到用于训练所述卷积神经网络的训练集和测试集；
将所述训练集输入所述卷积神经网络中以对所述卷积神经网络进行调参；
采用测试集测试所述卷积神经网络直到所述卷积神经网络满足精度要求。
可选地，所述当前状态包括信号灯状态和外界因素，所述信号灯状态包括红灯亮、绿灯亮、黄灯亮、全熄灭以及全点亮，所述外界因素包括阳光反光、物体遮挡、亮灯单元偏色以及灯色光晕；
所述根据所述位置对所述图像进行切图操作以得到用于训练所述卷积神经网络的训练集和测试集包括：
标注每张所述图像中的所述交通信号灯的区域；
根据公式(6)至公式(9)对所述图像进行第一切图操作以得到第一数据集，
X11＝xmin-len1，(6)
Y11＝ymin-len1，(7)
X12＝xmax+len1，(8)
Y12＝ymax+len1，(9)
其中，(X11，Y11)为执行第一切图操作后的切图区域的左上角的坐标，(xmin，ymin)为所述图像中的所述交通信号灯的区域的左上角的坐标，(X12，Y12)为执行第一切图操作后的切图区域的右下角的坐标，(xmax，ymax)为所述图像中的所述交通信号灯的区域的右下角的坐标，len1为采用公式(10)计算的第一切图尺寸，
len1＝min(|xmax-xmin|，|ymax，ymin|)，(10)；
根据公式(11)至公式(14)对所述图像进行第二切图操作以得到第二数据集，
X21＝xmin-len2，(11)
Y21＝ymin-len2，(12)
X22＝xmax+len2，(13)
Y22＝ymax+len2，(14)
其中，(X21，Y21)为执行第二切图操作后的切图区域的左上角的坐标，(xmin，ymin)为所述图像中的所述交通信号灯的区域的左上角的坐标，(X22，Y22)为执行第二切图操作后的切图区域的右下角的坐标，(xmax，ymax)为所述图像中的所述交通信号灯的区域的右下角的坐标，len2为采用公式(15)计算的第一切图尺寸，
len2＝min(|xmax-xmin|，|ymax，ymin|)*2，(15)；
根据公式(16)至公式(19)对所述图像进行第三切图操作以得到第三数据集，
X31＝xmin-len3，(16)
Y31＝ymin-len3，(17)
X32＝xmax+len3，(18)
Y32＝ymax+len3，(19)
其中，(X31，Y31)为执行第三切图操作后的切图区域的左上角的坐标，(xmin，ymin)为所述图像中的所述交通信号灯的区域的左上角的坐标，(X32，Y32)为执行第三切图操作后的切图区域的右下角的坐标，(xmax，ymax)为所述图像中的所述交通信号灯的区域的右下角的坐标，len3为采用公式(20)计算的第一切图尺寸，
len3＝min(|xmax-xmin|，|ymax，ymin|)*3，(20)；
集成所述第一数据集、所述第二数据集以及所述第三数据集以得到用于训练所述卷积神经网络的数据集；
将所述数据集分割以得到所述训练集和所述测试集。
可选地，所述卷积神经网络包括数据接入层和压平层，所述数据接入层用于将所述测试集中的各张图像进行归一化操作以使得每张所述图像的尺寸为预定尺寸，所述压平层包括依次串接的卷积层、激励层、池化层和全连接层，其中，所述卷积层的数量为35，所述激励层的数量为23，所述池化层的数量为5，所述全连接层的数量为3。
可选地，所述采用训练好的卷积神经网络基于所述纠偏范围在待纠偏的图片中寻找所述至少一部分的所在区域包括：
针对所述纠偏范围对所述待纠偏的图片进行抠图操作，记录抠图后的图像在抠图前的图像中的坐标(startX，startY)；
采用训练好的卷积神经网络确定所述交通信号灯的至少一部分在抠图后的所述图像中的所在区域{(xmin0，ymin0)，(xmax0，ymax0)}；
所述根据所述所在区域和所述交通信号灯的结构关系确定所述交通信号灯整体的实际位置包括：
根据公式(21)和公式(22)计算所述至少一部分的中心点的坐标，
X0c＝(xmax0-xmin0)/2，(21)
Y0c＝(ymax0-ymin0)/2，(22)
其中，(X0c，Y0c)为所述至少一部分的中心点的坐标，(xmin0，ymin0)为至少一部分在抠图后的所述图像中的所在区域的左上角的坐标，(xmax0，ymax0)为所述至少一部分在抠图后的所述图像中的所在区域的右下角的坐标；
根据公式(23)和公式(24)确定中心点的坐标(X0c，Y0c)在抠图前的图像中的坐标，
Xc＝X0c+startX，(23)
Yc＝Y0c+startY，(24)
其中，(Xc，Yc)为中心点的坐标(X0c，Y0c)在抠图前的图像中的坐标，(X0c，Y0c)为所述至少一部分的中心点的坐标，(startX，startY)为抠图后的图像在抠图前的图像中的坐标；
根据公式(25)和公式(26)计算所述样本图片中的所述至少一部分的中心点的坐标，
x0＝(x2-x1)/2，(25)
y0＝(y2-y1)/2，(26)
其中，(x0，y0)为所述样本图片中的所述至少一部分的中心点的坐标，(x1，y1)为所述样本图片中所述至少一部分所在的区域的左上角的坐标，(x2，y2)为所述样本图片中所述至少一部分所在的区域的右下角的坐标；
根据所述样本图片中的所述至少一部分的中心点的坐标和所述待纠偏的图片中的所述至少一部分的中心点的坐标算所述交通信号灯的偏移量；
根据所述偏移量和所述交通信号灯的结构关系确定所述交通信号灯整体的实际位置。
另一方面，本发明提供一种交通信号灯纠偏的系统，所述系统包括处理器，所述处理器用于执行如上述任一所述的方法。
再一方面，本发明还提供一种存储介质，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如上述任一所述的方法。
通过上述技术方案，本发明提供的交通信号灯纠偏的方法、系统及存储介质通过确定样本图片中交通信号灯的至少一部分的特征信息，并结合交通信号灯自身的信号灯状态和可能影响图片清晰度的外界因素，采用卷积神经网络对待纠偏的图片中的交通信号灯的至少一部分进行识别，最后，基于识别的结果和交通信号灯本身的结构关系来确定该交通信号灯整体的位置，克服了现有技术中由于考虑因素单一导致的识别不准确的问题，同时通过对交通信号灯的至少一部分进行识别也降低了该方法中的算法的复杂度，提高了算法的运行效率，降低了设备的负载。
本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施方式的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
图1是根据本发明的一个实施方式的交通信号灯纠偏的方法的流程图；
图2是根据本发明的一个实施方式的交通信号灯纠偏的方法的部分流程图；
图3是根据本发明的一个实施方式的交通信号灯纠偏的方法的部分流程图；
图4是根据本发明的一个实施方式的交通信号灯纠偏的方法的部分流程图；以及
图5是根据本发明的一个实施方式的交通信号灯纠偏的方法的部分流程图。
具体实施方式
以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。
在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重力方向上而言的各部件相互位置关系描述用词。
另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
如图1所示是根据本发明的一个实施方式的交通信号灯纠偏的方法的流程图。在图1中，该方法可以包括：
在步骤S10中，确定样本图片中交通信号灯的至少一部分所在的区域。在该实施方式中，该至少一部分可以是该交通信号灯上的任意部分。以该交通信号灯为三单元灯组为例，该至少一部分可以为其中的至少一个单元灯组。由于在现有技术中没有综合考虑到交通信号灯自身的信号灯状态和影响图片清晰度的外界因素，从而导致了在采用神经网络(卷积神经网络)对交通信号灯进行识别时错误率高的问题出现。但是，如果采用神经网络同时结合该信号灯状态和外界因素来对交通信号灯进行识别，这虽然会提高识别的准确度，但同时也会大大增加神经网络算法整体的复杂度，现在技术中交管系统的设备显然难以满足这一要求。因此，在该实施方式中，可以采用样本图片中交通信号灯的至少一部分来作为识别交通信号灯的依据，这样就使得本发明提供的方法在通过同时综合信号灯状态和外界因素来提高识别准确率的同时，又降低了整体算法的复杂度，从而使得现有技术中交管系统的设备能够负载本发明提供的方法。
在步骤S11中，根据该至少一部分所在的区域确定纠偏范围。对于确定该纠偏范围的具体方法，可以是本领域人员所知的多种形式。在本发明的一个示例中，考虑到在设备没有被损坏或者人为移动的情况下，交通信号灯在现场多数为固定状态，可能存在的偏移量会很小，并且该纠偏范围过大也会导致神经网络在识别时系统负载的过高。因此，可以采用(1)至公式(4)确定该纠偏范围，
X1＝x1-len，(1)
Y1＝y1-len，(2)
X2＝x2+len，(3)
Y2＝y2+len，(4)
其中，(x1，y1)为样本图片中至少一部分所在的区域的左上角的坐标，(x2，y2)为样本图片中至少一部分所在的区域的右下角的坐标，(X1，Y1)为纠偏范围的左上角的坐标，(X2，Y2)为纠偏范围的右下角的坐标，len为根据公式(5)计算的纠偏长度值，
len＝min(width，heigh)，(5)
其中，width为至少一部分所在的区域的长度，heigh为至少一部分所在的区域的高度。
在步骤S12中，采用训练好的卷积神经网络基于纠偏范围在待纠偏的图片中寻找该至少一部分的所在区域。在该实施方式中，由于采用的是训练好的卷积神经网络，那么在该步骤S12中，也可以包括“训练初始的卷积神经网络以得到该训练好的卷积神经网络”的步骤。具体地，训练该卷积神经网络的过程可以是如图2所示。在图2中，该方法可以包括：
在步骤S121中，获取备抓拍的交通信号灯的图像，标定图像中交通信号灯所在的位置以及当前状态。对于该当前状态，可以包括表示信号灯自身状态的信号灯状态和可能影响该图像的清晰度的交通信号灯的外界因素。其中，该信号灯状态可以包括红灯亮、绿灯亮、黄灯亮、全熄灭以及全点亮。该外界因素可以包括阳光反光、物体遮挡、亮灯单元偏色以及灯色光晕。
在步骤S122中，根据图像中该交通信号灯的位置对该图像进行切图操作以得到用于训练卷积神经网络的训练集和测试集。对于得到该训练集和测试集的具体方式，可以是本领域人员所知的多种形式。在本发明的一个示例中，为了减少算法的复杂度，提高算法的效率，该训练过程可以是如图3所示的方法。在图3中，该方法可以包括：
在步骤S1221中，标注每张图像中的交通信号灯的区域；
在步骤S1222中，根据公式(6)至公式(9)对图像进行第一切图操作以得到第一数据集，
X11＝xmin-len1，(6)
Y11＝ymin-len1，(7)
X12＝xmax+len1，(8)
Y12＝ymax+len1，(9)
其中，(X11，Y11)为执行第一切图操作后的切图区域的左上角的坐标，(xmin，ymin)为图像中的交通信号灯的区域的左上角的坐标，(X12，Y12)为执行第一切图操作后的切图区域的右下角的坐标，(xmax，ymax)为图像中的交通信号灯的区域的右下角的坐标，len1为采用公式(10)计算的第一切图尺寸，
len1＝min(|xmax-xmin|，|ymax，ymin|)，(10)；
在步骤S1223中，根据公式(11)至公式(14)对图像进行第二切图操作以得到第二数据集，
X21＝xmin-len2，(11)
Y21＝ymin-len2，(12)
X22＝xmax+len2，(13)
Y22＝ymax+len2，(14)
其中，(X21，Y21)为执行第二切图操作后的切图区域的左上角的坐标，(xmin，ymin)为图像中的交通信号灯的区域的左上角的坐标，(X22，Y22)为执行第二切图操作后的切图区域的右下角的坐标，(xmax，ymax)为图像中的交通信号灯的区域的右下角的坐标，len2为采用公式(15)计算的第一切图尺寸，
len2＝min(|xmax-xmin|，|ymax，ymin|)*2，(15)；
在步骤S1224中，根据公式(16)至公式(19)对图像进行第三切图操作以得到第三数据集，
X31＝xmin-len3，(16)
Y31＝ymin-len3，(17)
X32＝xmax+len3，(18)
Y32＝ymax+len3，(19)
其中，(X31，Y31)为执行第三切图操作后的切图区域的左上角的坐标，(xmin，ymin)为图像中的交通信号灯的区域的左上角的坐标，(X32，Y32)为执行第三切图操作后的切图区域的右下角的坐标，(xmax，ymax)为图像中的交通信号灯的区域的右下角的坐标，len3为采用公式(20)计算的第一切图尺寸，
len3＝min(|xmax-xmin|，|ymax，ymin|)*3，(20)；
在步骤S1225中，集成第一数据集、第二数据集以及第三数据集以得到用于训练卷积神经网络的数据集。另外，步骤S1222至步骤S1224中示出的切图操作仅限于补充和解释本发明的内容。在本发明的同一技术构思下，该切图操作可以是不限于3次，即在执行第一切图操作、第二切图操作和第三切图操作后，还可以进一步执行与该第一切图操作、第二切图操作和第三切图操作类似的第四切图操作等，该第四切图操作等的具体内容本领域人员可以根据该第一切图操作、第二切图操作和第三切图操作合理推断后得到。
在步骤S1226中，将数据集分割以得到训练集和测试集。
在步骤S123中，将训练集输入卷积神经网络中以对卷积神经网络进行调参。对于该卷积神经网络的具体结构，可以是本领域人员所知的多种形式。在本发明的一个示例中，通过实验证明，在满足高训练效率和高识别效率的情况下，该卷积神经网络可以包括数据接入层和压平层。该数据接入层可以用于将测试集中的各张图像进行归一化操作以使得每张图像的尺寸为预定尺寸。该压平层可以包括依次串接的卷积层、激励层、池化层和全连接层。其中，该卷积层的数量可以为35，该激励层的数量可以为23，该池化层的数量可以为5，该全连接层的数量可以为3。
在步骤S124中，采用测试集测试卷积神经网络直到卷积神经网络满足精度要求。
在该步骤S12中，该训练好的卷积神经网络基于纠偏范围在待纠偏的图片中寻找该至少一部分(例如三单元灯组中的至少一个单元灯组)所在的区域可以具体包括如图4中所示出的步骤。在该图4中，该步骤S12可以包括：
在步骤S125中，针对纠偏范围对待纠偏的图片进行抠图操作，记录抠图后的图像在抠图前的图像中的坐标(startX，startY)；
在步骤S126中，采用训练好的卷积神经网络确定交通信号灯的至少一部分在抠图后的图像中的所在区域{(xmin0，ymin0)，(xmax0，ymax0)}。
在步骤S13中，根据所在区域和交通信号灯的结构关系确定交通信号灯整体的实际位置。具体地，该步骤S13可以包括如图5中所示出的步骤。在图5中，该步骤S13可以包括：
在步骤S131中，根据公式(21)和公式(22)计算该至少一部分的中心点的坐标，
X0c＝(xmax0-xmin0)/2，(21)
Y0c＝(ymax0-ymin0)/2，(22)
其中，(X0c，Y0c)为该至少一部分的中心点的坐标，(xmin0，ymin0)为该至少一部分在抠图后的图像中的所在区域的左上角的坐标，(xmax0，ymax0)为至少一部分在抠图后的图像中的所在区域的右下角的坐标；
在步骤S132中，根据公式(23)和公式(24)确定中心点的坐标(X0c，Y0c)在抠图前的图像中的坐标，
Xc＝X0c+startX，(23)
Yc＝Y0c+startY，(24)
其中，(Xc，Yc)为中心点的坐标(X0c，Y0c)在抠图前的图像中的坐标，(X0c，Y0c)为至少一部分的中心点的坐标，(startX，startY)为抠图后的图像在抠图前的图像中的坐标；
在步骤S133中，根据公式(25)和公式(26)计算样本图片中的至少一部分的中心点的坐标，
x0＝(x2-x1)/2，(25)
y0＝(y2-y1)/2，(26)
其中，(x0，y0)为样本图片中的至少一部分的中心点的坐标，(x1，y1)为样本图片中至少一部分所在的区域的左上角的坐标，(x2，y2)为样本图片中至少一部分所在的区域的右下角的坐标；
在步骤S134中，根据样本图片中的至少一部分的中心点的坐标和待纠偏的图片中的至少一部分的中心点的坐标计算交通信号灯的偏移量；
在步骤S135中，根据该偏移量和交通信号灯的结构关系确定交通信号灯整体的实际位置。
另一方面，本发明提供一种交通信号灯纠偏的系统，该系统可以包括处理器，该处理器可以用于执行如上述任一的方法。
再一方面，本发明还提供一种存储介质，该存储介质可以存储有指令，该指令可以用于被机器读取以使得机器执行如上述任一的方法。
通过上述技术方案，本发明提供的交通信号灯纠偏的方法、系统及存储介质通过确定样本图片中交通信号灯的至少一部分的特征信息，并结合交通信号灯自身的信号灯状态和可能影响图片清晰度的外界因素，采用卷积神经网络对待纠偏的图片中的交通信号灯的至少一部分进行识别，最后，基于识别的结果和交通信号灯本身的结构关系来确定该交通信号灯整体的位置，克服了现有技术中由于考虑因素单一导致的识别不准确的问题，同时通过对交通信号灯的至少一部分进行识别也降低了该方法中的算法的复杂度，提高了算法的运行效率，降低了设备的负载。
以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。

Claims (8)

1.一种交通信号灯纠偏的方法，其特征在于，所述方法包括：
确定样本图片中交通信号灯的至少一部分所在的区域；
根据所述至少一部分所在的区域确定纠偏范围；
采用训练好的卷积神经网络基于所述纠偏范围在待纠偏的图片中寻找所述至少一部分的所在区域；
根据所述所在区域和所述交通信号灯的结构关系确定所述交通信号灯整体的实际位置；
所述交通信号灯为三单元灯组，所述至少一部分包括所述三单元灯组中的至少一个单元灯组；
所述采用训练好的卷积神经网络基于所述纠偏范围在待纠偏的图片中寻找所述至少一部分的所在区域包括：
针对所述纠偏范围对所述待纠偏的图片进行抠图操作，记录抠图后的图像在抠图前的图像中的坐标(startX,startY)；
采用训练好的卷积神经网络确定所述交通信号灯的至少一部分在抠图后的所述图像中的所在区域{(xmin0,ymin0),(xmax0,ymax0)}；
所述根据所述所在区域和所述交通信号灯的结构关系确定所述交通信号灯整体的实际位置包括：
根据公式(21)和公式(22)计算所述至少一部分的中心点的坐标，
X0c＝(xmax0-xmin0)/2， (21)
Y0c＝(ymax0-ymin0)/2，(22)
其中，(X0c,Y0c)为所述至少一部分的中心点的坐标，(xmin0,ymin0)为至少一部分在抠图后的所述图像中的所在区域的左上角的坐标，(xmax0,ymax0)为所述至少一部分在抠图后的所述图像中的所在区域的右下角的坐标；
根据公式(23)和公式(24)确定中心点的坐标(X0c,Y0c)在抠图前的图像中的坐标，
Xc＝X0c+startX，(23)
Yc＝Y0c+startY，(24)
其中，(Xc,Yc)为中心点的坐标(X0c,Y0c)在抠图前的图像中的坐标，(X0c,Y0c)为所述至少一部分的中心点的坐标，(startX,startY)为抠图后的图像在抠图前的图像中的坐标；
根据公式(25)和公式(26)计算所述样本图片中的所述至少一部分的中心点的坐标，
x0＝(x2-x1)/2，(25)
y0＝(y2-y1)/2，(26)
其中，(x0,y0)为所述样本图片中的所述至少一部分的中心点的坐标，(x1,y1)为所述样本图片中所述至少一部分所在的区域的左上角的坐标，(x2,y2)为所述样本图片中所述至少一部分所在的区域的右下角的坐标；
根据所述样本图片中的所述至少一部分的中心点的坐标和所述待纠偏的图片中的所述至少一部分的中心点的坐标算所述交通信号灯的偏移量；
根据所述偏移量和所述交通信号灯的结构关系确定所述交通信号灯整体的实际位置。
2.根据权利要求1所述的方法，其特征在于，所述至少一部分所在的区域为矩形，所述根据所述至少一部分所在的区域确定纠偏范围包括：
根据公式(1)至公式(4)确定所述纠偏范围，
X1＝x1-len，(1)
Y1＝y1-len，(2)
X2＝x2+len，(3)
Y2＝y2+len，(4)
其中，(x1,y1)为所述至少一部分所在的区域的左上角的坐标，(x2,y2)为所述至少一部分所在的区域的右下角的坐标，(X1,Y1)为所述纠偏范围的左上角的坐标，(X2,Y2)为所述纠偏范围的右下角的坐标，len为根据公式(5)计算的纠偏长度值，
len＝min(width，heigh)， (5)
其中，width为所述至少一部分所在的区域的长度，heigh为所述至少一部分所在的区域的高度。
3.根据权利要求1所述的方法，其特征在于，所述方法进一步包括训练初始的卷积神经网络以得到所述训练好的卷积神经网络。
4.根据权利要求3所述的方法，其特征在于，所述训练初始的卷积神经网络以得到所述训练好的卷积神经网络包括：
获取设备抓拍的所述交通信号灯的图像，标定所述图像中交通信号灯所在的位置以及当前状态；
根据所述位置对所述图像进行切图操作以得到用于训练所述卷积神经网络的训练集和测试集；
将所述训练集输入所述卷积神经网络中以对所述卷积神经网络进行调参；
采用测试集测试所述卷积神经网络直到所述卷积神经网络满足精度要求。
5.根据权利要求4所述的方法，其特征在于，所述当前状态包括信号灯状态和外界因素，所述信号灯状态包括红灯亮、绿灯亮、黄灯亮、全熄灭以及全点亮，所述外界因素包括阳光反光、物体遮挡、亮灯单元偏色以及灯色光晕；
所述根据所述位置对所述图像进行切图操作以得到用于训练所述卷积神经网络的训练集和测试集包括：
标注每张所述图像中的所述交通信号灯的区域；
根据公式(6)至公式(9)对所述图像进行第一切图操作以得到第一数据集，
X11＝xmin-len1， (6)
Y11＝ymin-len1， (7)
X12＝xmax+len1， (8)
Y12＝ymax+len1， (9)
其中，(X11,Y11)为执行第一切图操作后的切图区域的左上角的坐标，(xmin,ymin)为所述图像中的所述交通信号灯的区域的左上角的坐标，(X12,Y12)为执行第一切图操作后的切图区域的右下角的坐标，(xmax,ymax)为所述图像中的所述交通信号灯的区域的右下角的坐标，len1为采用公式(10)计算的第一切图尺寸，
len1＝min(|xmax-xmin|,|ymax,ymin|)， (10)；
根据公式(11)至公式(14)对所述图像进行第二切图操作以得到第二数据集，
X21＝xmin-len2， (11)
Y21＝ymin-len2， (12)
X22＝xmax+len2， (13)
Y22＝ymax+len2， (14)
其中，(X21,Y21)为执行第二切图操作后的切图区域的左上角的坐标，(xmin,ymin)为所述图像中的所述交通信号灯的区域的左上角的坐标，(X22,Y22)为执行第二切图操作后的切图区域的右下角的坐标，(xmax,ymax)为所述图像中的所述交通信号灯的区域的右下角的坐标，len2为采用公式(15)计算的第一切图尺寸，
len2＝min(|xmax-xmin|,|ymax,ymin|)*2， (15)；
根据公式(16)至公式(19)对所述图像进行第三切图操作以得到第三数据集，
X31＝xmin-len3， (16)
Y31＝ymin-len3， (17)
X32＝xmax+len3， (18)
Y32＝ymax+len3， (19)
其中，(X31,Y31)为执行第三切图操作后的切图区域的左上角的坐标，(xmin,ymin)为所述图像中的所述交通信号灯的区域的左上角的坐标，(X32,Y32)为执行第三切图操作后的切图区域的右下角的坐标，(xmax,ymax)为所述图像中的所述交通信号灯的区域的右下角的坐标，len3为采用公式(20)计算的第一切图尺寸，
len3＝min(|xmax-xmin|,|ymax,ymin|)*3， (20)；
集成所述第一数据集、所述第二数据集以及所述第三数据集以得到用于训练所述卷积神经网络的数据集；
将所述数据集分割以得到所述训练集和所述测试集。
6.根据权利要求4所述的方法，其特征在于，所述卷积神经网络包括数据接入层和压平层，所述数据接入层用于将所述测试集中的各张图像进行归一化操作以使得每张所述图像的尺寸为预定尺寸，所述压平层包括依次串接的卷积层、激励层、池化层和全连接层，其中，所述卷积层的数量为35，所述激励层的数量为23，所述池化层的数量为5，所述全连接层的数量为3。
7.一种交通信号灯纠偏的系统，其特征在于，所述系统包括处理器，所述处理器用于执行如权利要求1至6任一所述的方法。
8.一种存储介质，其特征在于，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行如权利要求1至6任一所述的方法。
CN201911015637.7A 2019-10-24 2019-10-24 交通信号灯纠偏的方法、系统及存储介质 Active CN111009003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911015637.7A CN111009003B (zh) 2019-10-24 2019-10-24 交通信号灯纠偏的方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911015637.7A CN111009003B (zh) 2019-10-24 2019-10-24 交通信号灯纠偏的方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN111009003A CN111009003A (zh) 2020-04-14
CN111009003B true CN111009003B (zh) 2023-04-28

Family

ID=70110906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911015637.7A Active CN111009003B (zh) 2019-10-24 2019-10-24 交通信号灯纠偏的方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN111009003B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507956B (zh) * 2020-12-21 2024-06-28 阿波罗智联(北京)科技有限公司 信号灯识别方法、装置、电子设备、路侧设备和云控平台
CN113408409A (zh) * 2021-06-17 2021-09-17 阿波罗智联(北京)科技有限公司 交通信号灯识别方法、设备、云控平台和车路协同系统
CN115082871B (zh) * 2022-07-22 2022-12-20 合肥讯图信息科技有限公司 交通信号灯定位纠偏方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018201835A1 (zh) * 2017-05-03 2018-11-08 腾讯科技（深圳）有限公司 信号灯状态识别方法、装置、车载控制终端及机动车
CN109583481A (zh) * 2018-11-13 2019-04-05 杭州电子科技大学 一种基于卷积神经网络的细粒度服装的属性识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018201835A1 (zh) * 2017-05-03 2018-11-08 腾讯科技（深圳）有限公司 信号灯状态识别方法、装置、车载控制终端及机动车
CN109583481A (zh) * 2018-11-13 2019-04-05 杭州电子科技大学 一种基于卷积神经网络的细粒度服装的属性识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周强 ; .交通信号灯状态判别.电子技术应用.2006,(12),全文. *
李海霞 ; 罗芳芳 ; .汽车辅助驾驶系统交通信号灯识别.电子技术与软件工程.2018,(13),全文. *

Also Published As

Publication number Publication date
CN111009003A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN111009003B (zh) 交通信号灯纠偏的方法、系统及存储介质
TW561427B (en) Image processing system for use with inspection systems
CN110992725B (zh) 用于检测交通信号灯故障的方法、系统及存储介质
US10902640B2 (en) Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
CN111652230B (zh) 车牌识别方法、电子设备及存储介质
CN111767780A (zh) 一种ai与视觉结合的智能集卡定位方法和系统
CN112179294A (zh) 一种土地校对方法、装置以及系统
CN110400340A (zh) 深度图处理方法和装置
US20230342937A1 (en) Vehicle image analysis
CN112036391A (zh) 一种基于页岩气田生产站场的电子巡检方法及系统
CN116386373A (zh) 车辆定位方法、装置、存储介质及电子设备
CN115205317B (zh) 一种桥梁监测光电标靶图像光斑中心点提取方法
CN114612563B (zh) 航空线缆自动化插接方法、系统及存储介质
CN115690771A (zh) 电力房仪表巡检方法和系统
CN116128853A (zh) 一种产线装配检测方法、系统、计算机及可读存储介质
CN115775245A (zh) 线圈绕线的检测方法及装置、电子设备和存储介质
CN107092912A (zh) 一种车牌的识别方法和装置
CN113408514A (zh) 一种基于深度学习检测路侧停车场泊位的方法及装置
JP2004326382A (ja) 部品認識システム及び方法並びに部品認識用プログラム
CN112581534A (zh) 一种信号灯重定位方法、装置、电子设备及存储介质
JPH09245213A (ja) 画像切出方法
CN115082871B (zh) 交通信号灯定位纠偏方法及系统
CN117635733A (zh) 一种led颜色巡检小车的巡检方法及系统
WO2024087290A1 (zh) 一种道路标牌及安防设施缺失的检测方法、介质及系统
CN116740397A (zh) 发电机定子线棒的故障检测方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Qiang

Inventor after: Liu Pu

Inventor after: Wang Chenhao

Inventor after: Pan Miaomiao

Inventor after: Chen Cheng

Inventor before: Liu Pu

Inventor before: Wang Qiang

Inventor before: Wang Chenhao

Inventor before: Pan Miaomiao

Inventor before: Chen Cheng