CN111832493A - 图像交通信号灯检测方法、装置、电子设备及存储介质 - Google Patents

图像交通信号灯检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111832493A
CN111832493A CN202010690262.0A CN202010690262A CN111832493A CN 111832493 A CN111832493 A CN 111832493A CN 202010690262 A CN202010690262 A CN 202010690262A CN 111832493 A CN111832493 A CN 111832493A
Authority
CN
China
Prior art keywords
image
resolution
detection
convolution
deconvolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010690262.0A
Other languages
English (en)
Inventor
钟志权
庄伯金
王少军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202010690262.0A priority Critical patent/CN111832493A/zh
Priority to PCT/CN2020/121870 priority patent/WO2021139302A1/zh
Publication of CN111832493A publication Critical patent/CN111832493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及图像检测/图像分类/神经网络技术领域，尤其涉及一种图像交通信息灯检测方法、装置、电子设备及计算机可读存储介质，可应用于辅助驾驶与导航/自动驾驶/智慧交通等场景中，推动智慧城市建设。所述图像交通信息灯检测方法包括：获取原始图像；将所述原始图像的分辨率降低而获得粗检图像；使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测以获得所述目标区域的区域信息；将所述目标区域的区域信息与所述原始图像匹配并获得所述原始图像中与所述目标区域对应的原始图像块；及使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测以获得交通信号灯区域的位置及类别信息。

Description

图像交通信号灯检测方法、装置、电子设备及存储介质
技术领域
本发明涉及图像检测/图像分类/神经网络技术领域，尤其涉及一种图像交通信息灯检测方法、装置、电子设备及计算机可读存储介质，可应用于辅助驾驶与导航/自动驾驶/智慧交通等场景中，推动智慧城市建设。
背景技术
随着社会经济的不断发展，社会大众生活水平的逐步改善，计算机技术在生产生活中得到广泛推广，特别是计算机图像处理技术，成为当前计算机应用领域中的重要技术类型之一。
计算机图像处理技术中，交通信号灯检测技术对辅助驾驶与导航/自动驾驶/智慧交通技术具有重要的意义，在交通违法行为的自动判断中也有巨大的作用。百度、特斯拉、Waymo、苹果等国内外研究公司在自动驾驶上投入的力度之大也无疑说明了未来行业的发展趋势与该方向的美好前景。在行人、车辆识别上由于深度学习的发展以及大数据时代造就的海量行人、车辆检测数据集已经有了巨大的进展，但是对于交通信号灯检测技术由于各种原因在精度与效率上尚有很大的发展空间。
交通信号灯检测技术包含了交通信号灯位置的确定及交通信号灯类别(如颜色)的判断。交通信号灯检测技术主要面临着几大难点。首先，国内交通信号灯的共享数据特别少，国外的共享数据中并没有交通信号灯的方向信息，而且中西方交通信号灯的差别也限制了国内研究的进展。其次，交通信号灯属于小目标，它的尺寸特别小，尽管现有的高清摄像头能获取较高分辨率的图片，但是极小的相对尺度也增加了它的检测难度。传统检测方法精度和鲁棒性较差，而一些相关技术也大致存在以下缺点：一是将原始高分辨率图像(如2400×2400)缩放成通用检测框架大小(如512×512)后输入，但缩小后图像信息的损失将导致信号灯难以检测；二是以原始图像分辨率输入，此时会极大增加网络的计算量与时间成本；三是将完整的原图分成多个图像块后输入，这同样大大增加了计算成本，且很多图像块的计算是无效的。并且一些相关技术难以在检测精度及效率之间取得一个相对较好的平衡。
发明内容
本发明的目的为提供一种检测精度及效率较高的图像交通信息灯检测方法、装置、电子设备及计算机可读存储介质，可应用于辅助驾驶与导航/自动驾驶/智慧交通等场景中，推动智慧城市建设。
为实现上述目的，本发明提供一种图像交通信息灯检测方法，其包括以下步骤：
获取原始图像；
降低所述原始图像的分辨率降低生成粗检图像；
使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息，其中，所述目标区域包括交通信号灯图像及其周边环境图像；
将所述区域信息与所述原始图像匹配并获得所述原始图像中与所述目标区域对应的原始图像块；及
使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息。
优选地，所述目标区域的区域信息包括所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息；所述粗粒度检测卷积神经网络包括第一特征迁移模块、第二特征迁移模块、第一卷积结构、第一反卷积结构及第一叠加器，所述使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息的步骤中，所述第一特征迁移模块接收所述粗检图像并输出具有第一分辨率的第一迁移图像，所述第一卷积结构接收所述粗检图像并输出具有所述第一分辨率的第一卷积图像以及依据所述第一卷积图像生成具有第二分辨率的第二卷积图像，所述第二特征迁移模块接收所述第一迁移图像及所述第一卷积图像并输出具有所述第二分辨率的第二迁移图像，所述第一反卷积结构还依据所述第一卷积结构的输出结果生成具有所述第二分辨率的最终反卷积图像，所述第一叠加器接收所述第二迁移图像、所述第二卷积图像、及所述最终反卷积图像并输出所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息，其中，所述粗检图像的分辨率、所述第一分辨率及所述第二分辨率依次降低。
优选地，所述第一卷积结构包括第一至第五卷积层，所述第一反卷积结构包括第一至第三反卷积层，所述使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息的步骤中，所述第一卷积层接收所述粗检图像并输出所述第一卷积图像，所述第二卷积层接收所述第一卷积图像并输出所述第二卷积图像，所述第三卷积层接收所述第二卷积图像并输出具有第三分辨率的第三卷积图像，所述第四卷积层接收所述第三卷积图像生成具有第四分辨率的第四卷积图像，所述第五卷积层接收所述第四卷积图像生成具有第五分辨率的第五卷积图像，所述第一反卷积层接收所述第五卷积图像生成具有所述第四分辨率的第一反卷积图像，所述第二反卷积层接收所述具有所述第四分辨率的第一反卷积图像及所述第四卷积图像生成具有所述第三分辨率的第二反卷积图像，所述第三反卷积层接收所述具有所述第三分辨率的第二反卷积图像及所述第三卷积图像生成具有所述第二分辨率的第三反卷积图像，所述第三反卷积图像作为所述最终反卷积图像被提供至所述第一叠加器；所述粗检图像的分辨率、所述第一分辨率、所述第二分辨率、所述第三分辨率、所述第四分辨率、所述第五分辨率按照上述排列顺序依次减半。
优选地，所述粗粒度检测卷积神经网络中，所述第一特征迁移模块及所述第二特征迁移模块均包括依序连接的首卷积层、第一残差结构、第一转换子卷积结构、及尾卷积层，所述第一特征迁移模块的首卷积层接收所述粗检图像，所述第一特征迁移模块的尾卷积层输出所述第一迁移图像，所述使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息的步骤中，所述第二特征迁移模块的首卷积层接收所述第一迁移图像，所述第二特征迁移模块的尾卷积层输出所述第二迁移图像，设输入所述第一转换子卷积层的图像维度为rH×rW×C，则所述第一转换子卷积层输出的图像维度为H×W×C*r2，r＝2，其中，H、W、C分别代表图像的长、宽和颜色通道数，r代表采样的像素间隔。
优选地，所述交通信号灯区域的类别及位置信息包括每个类别交通信号灯区域的高斯热图、每个类别交通信号灯区域的宽和高、及每个类别交通信号灯区域中心坐标的偏移信息，所述类别包括红色、绿色及黄色中的至少一个；所述细粒度检测卷积神经网络包括第三特征迁移模块、第四特征迁移模块、第二卷积结构、第二反卷积结构及第二叠加器，所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第三特征迁移模块接收所述原始图像块并输出具有第六分辨率的第一迁移图像块，所述第二卷积结构接收所述原始图像块并输出具有所述第六分辨率的第一卷积图像块以及依据所述第一卷积图像块生成具有第七分辨率的第二卷积图像块，所述第四特征迁移模块接收所述第一迁移图像块及所述第一卷积图像块并输出具有所述第七分辨率的第二迁移图像块，所述第二反卷积结构还依据所述第二卷积结构的输出结果生成具有所述第七分辨率的最终反卷积图像块，所述第二叠加器接收所述第二迁移图像块、第二卷积图像块、及所述具有所述第七分辨率的最终反卷积图像块并输出所述交通信号灯区域类别及位置信息，其中，所述原始图像块的分辨率、所述第六分辨率及所述第七分辨率依次降低。
优选地，所述第二卷积结构包括第六至第十卷积层，所述第二反卷积结构包括第四至第六反卷积层，所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第六卷积层接收所述原始图像块并输出所述第一卷积图像块，所述第七卷积层接收所述第一卷积图像块并输出所述第二卷积图像块，所述第八卷积层接收所述第二卷积图像块并输出具有第八分辨率的第三卷积图像块，所述第九卷积层接收所述第三卷积图像块生成具有第九分辨率的第四卷积图像块，所述第十卷积层接收所述第四卷积图像块生成具有第十分辨率的第五卷积图像块，所述第四反卷积层接收所述第五卷积图像块块生成具有所述第九分辨率的第一反卷积图像块，所述第五反卷积层接收所述具有所述第九分辨率的第一反卷积图像块及所述第四卷积图像块生成具有所述第八分辨率的第二反卷积图像块，所述第六反卷积层接收所述具有所述第八分辨率的第二反卷积图像块及所述第三卷积图像块生成具有所述第七分辨率的第三反卷积图像块，所述第三反卷积图像块作为所述最终反卷积图像块被提供至所述第二叠加器；所述原始图像块的分辨率、所述第六分辨率、所述第七分辨率、所述第八分辨率、所述第九分辨率、所述第十分辨率按照上述排列顺序依次减半。
优选地，所述第三特征迁移模块及所述第四特征迁移模块均包括依序连接的首卷积层、第二残差结构、第二转换子卷积结构、及尾卷积层，所述第三特征迁移模块的首卷积层接收所述原始图像块，所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第三特征迁移模块的尾卷积层输出所述第一迁移图像块，所述第四特征迁移模块的首卷积层接收所述第一迁移图像块，所述第四特征迁移模块的尾卷积层输出所述第二迁移图像块，设输入所述第二转换子卷积层的图像块维度为rH×rW×C，则所述第二转换子卷积层输出的图像块维度为H×W×C*r2，r＝2，其中，H、W、C分别代表图像块的长、宽和颜色通道数，r代表采样的像素间隔。
本发明提出的图像交通信息灯检测方法中，提出基于粗粒度到细粒度的交通信号灯级联检测方案，不仅能够获得交通信号灯的位置，还能得到交通信号灯的类别，相比一些相关技术方案，交通信号灯的位置偏移减小，交通信号灯的检测精度提升；并且，由于粗粒度检测针对分辨率降低的粗检图像进行，特别是细粒度检测仅针对目标区域对应的原始图像块进行，两级检测的分辨率都不高，使得整体计算成本及损耗均较小、计算时间较少，可基本满足实时检测的要求，也具有较高的检测效率。
进一步地，所述目标区域的区域信息包括所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息。可以理解，通过对高斯热图的应用及分析，可以提高所述目标区域的检测精度。
进一步地，通过具有第一特征迁移模块、第二特征迁移模块、第一卷积结构、第一反卷积结构及第一叠加器的所述粗粒度检测卷积神经网络，并且所述粗检图像的分辨率、所述第一分辨率及所述第二分辨率依次降低，不仅可以有效利用各分辨率特征图像的信息，尽可能保留了较小目标(如目标区域)的上下文信息，达到较高检测精度的要求，而且采用第一特征迁移模块、第二特征迁移模块可以不具有池化操作，从而尽量做到几乎无损实现特征分辨率的转换，进而不会带来太多的计算成本，计算时间也较少，检测效率提高。
进一步地，所述第一卷积结构包括第一至第五卷积层，所述第一反卷积结构包括第一至第三反卷积层，所述粗检图像的分辨率、所述第一分辨率、所述第二分辨率、所述第三分辨率、所述第四分辨率、所述第五分辨率按照上述排列顺序依次减半，通过对所述第一卷积结构及所述第一反卷积结构的输入、输出及分辨率控制，也可以达到有效利用各分辨率特征图像的信息，有效融合所述目标区域的浅层与深层的特征，以获得更好的语义信息和上下文信息的表达，达到较高检测精度的要求，而且还可以尽量做到几乎无损实现特征分辨率的转换，且不会带来太多的计算成本，进而计算时间也较少，检测效率提高。
进一步地，所述第一特征迁移模块及所述第二特征迁移模块均包括依序连接的首卷积层、第一残差结构、第一转换子卷积结构、及尾卷积层，其中，第一转换子卷积结构能够实现大分辨率特征图到小分辨率特征图的转换，且转换过程与普通的池化层相比几乎没有信息的损失，进而做到几乎无损实现特征分辨率的转换，且不会带来太多的计算成本，进而计算时间也较少，检测效率提高。
进一步地，所述交通信号灯区域的类别及位置信息包括每个类别交通信号灯区域的高斯热图、每个类别交通信号灯区域的宽和高、及每个类别交通信号灯区域中心坐标的偏移信息，所述类别包括红色、绿色及黄色中的至少一个。可以理解，通过对高斯热图的应用及分析，可以获得交通信号灯区域的类别及位置信息，并提高所述目标区域的检测精度。
进一步地，通过具有第三特征迁移模块、第四特征迁移模块、第二卷积结构、第二反卷积结构及第二叠加器的所述细粒度检测卷积神经网络，并且所述原始图像块的分辨率、所述第六分辨率及所述第七分辨率依次降低，不仅可以有效利用各分辨率特征图像的信息，尽可能保留了较小目标(如交通信号灯区域)的上下文信息，达到较高检测精度的要求，而且采用第三特征迁移模块、第四特征迁移模块可以不具有池化操作，从而尽量做到几乎无损实现特征分辨率的转换，进而不会带来太多的计算成本，计算时间也较少，检测效率提高。
进一步地，所述第二卷积结构包括第六至第十卷积层，所述第二反卷积结构包括第四至第六反卷积层，所述原始图像块的分辨率、所述第六分辨率、所述第七分辨率、所述第八分辨率、所述第九分辨率、所述第十分辨率按照上述排列顺序依次减半，通过对所述第二卷积结构及所述第二反卷积结构的输入、输出及分辨率控制，也可以达到有效利用各分辨率特征图像的信息，有效融合所述交通信号区域的浅层与深层的特征，以获得更好的语义信息和上下文信息的表达，达到较高检测精度的要求，而且还可以尽量做到几乎无损实现特征分辨率的转换，且不会带来太多的计算成本，进而计算时间也较少，检测效率提高。
进一步地，所述第三特征迁移模块及所述第四特征迁移模块均包括依序连接的首卷积层、第二残差结构、第二转换子卷积结构、及尾卷积层，其中，第二转换子卷积结构能够实现大分辨率特征图到小分辨率特征图的转换，且转换过程与普通的池化层相比几乎没有信息的损失，进而做到几乎无损实现特征分辨率的转换，且不会带来太多的计算成本，进而计算时间也较少，检测效率提高。
为实现上述目的，本发明还提供一种图像交通信息灯检测装置，其包括：
获取模块，用于获取原始图像；
分辨率处理模块，用于降低所述原始图像的分辨率生成粗检图像；
粗粒度检测模块，用于使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得目标区域的区域信息，所述目标区域包括交通信号灯图像及其周边环境图像；
匹配模块，用于将所述目标区域的区域信息与所述原始图像匹配并获得所述原始图像中与所述目标区域对应的原始图像块；及
细粒度检测模块，用于使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的类别及位置信息。
本发明提出的图像交通信息灯检测装置中，提出基于粗粒度到细粒度的交通信号灯级联检测方案，不仅能够获得交通信号灯的位置，还能得到交通信号灯的类别，相比一些相关技术方案，交通信号灯的位置偏移减小，交通信号灯的检测精度提升；并且，由于粗粒度检测针对分辨率降低的粗检图像进行，特别是细粒度检测仅针对目标区域对应的原始图像块进行，两级检测的分辨率都不高，使得整体计算成本及损耗均较小、计算时间较少，可基本满足实时检测的要求，也具有较高的检测效率。
此外，为实现上述目的，本发明还提供一种电子设备，所述电子设备包括存储器及处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行时实现如上所述任意一种图像交通信息灯检测方法。
另外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行时实现如上所述任意一种图像交通信息灯检测方法。
可以理解，以上电子设备及计算机可读存储介质在处理器执行计算机可读指令时实现如上所述任意一种图像交通信息灯检测方法，因此具有上述图像交通信息灯检测方法的技术效果，此处就不再赘述。
附图说明
图1为本发明一个实施例提供的图像交通信息灯检测方法的实施环境图；
图2为本发明一个实施例提供的图像交通信息灯检测方法的流程图；
图3为本发明一个实施例提供的图像交通信息灯检测方法的检测原理示意图；
图4为本发明一个实施例提供的图像交通信息灯检测方法中的粗粒度检测卷积神经网络的结构及原理示意图；
图5为本发明一个实施例提供的图像交通信息灯检测方法中涉及的第一转换子卷积层的图像维度转换示意图。
图6为本发明一个实施例提供的图像交通信息灯检测方法中的细粒度检测卷积神经网络的结构及原理示意图；
图7为本发明一个实施例提供的图像交通信息灯检测方法中涉及的第二转换子卷积层的图像维度转换示意图。
图8为本发明一个实施例提供的图像交通信息灯检测装置较佳实施例的程序模块图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
具体地，本发明实施例提供一种具有较高的检测精度及效率的图像交通信息灯检测方法、装置、电子设备及存储介质。其中，所述图像交通信息灯检测方法、装置、电子设备及存储介质可以用于对自动驾驶、辅助驾驶及导航、交通违法行为的自动判断、智慧交通等场景中的交通信号灯检测，推动智慧城市建设，但不限于上述。
参照图1所示，图1为本发明图像交通信息灯检测方法较佳实施例的应用环境图。所述图像交通信息灯检测方法可以应用于电子设备1中，所述电子设备1包括但不限于服务器、服务器集群、手机、行车记录仪、车载智能设备、导航设备、平板电脑、笔记本电脑、台式电脑、个人数字助理及穿戴式设备等具有运算功能的终端设备。
所述电子设备1可以包括处理器12、存储器11、网络接口13及通信总线14。
存储器11包括至少一种类型的可读存储介质。所述至少一种类型的可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器11等的非易失性存储介质。在一些实施例中，所述可读存储介质可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘。在另一些实施例中，所述可读存储介质也可以是所述电子设备1的外部存储器11，例如所述电子设备1上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
在本实施例中，所述存储器11的可读存储介质通常用于存储安装于所述电子设备1的图像交通信号灯检测装置10的程序(如样本图像数据增强程序)。所述存储器11还可以用于暂时地存储已经输出或者将要输出的数据。
处理器12在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器11中存储的程序代码或处理数据，例如执行图像交通信号灯检测装置10的程序等。
网络接口13可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
通信总线14用于实现这些组件之间的连接通信。
图1仅示出了具有组件11-14的电子设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
可选地，该电子设备1还可以包括用户接口，用户接口可以包括输入单元比如键盘(Keyboard)、语音输入装置比如麦克风(microphone)等具有语音识别功能的设备、语音输出装置比如音响、耳机等，可选地用户接口还可以包括标准的有线接口、无线接口。
可选地，该电子设备1还可以包括显示器，显示器也可以称为显示屏或显示单元。在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-Emitting Diode，OLED)触摸器等。显示器用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
可选地，该电子设备1还包括触摸传感器。所述触摸传感器所提供的供用户进行触摸操作的区域称为触控区域。此外，这里所述的触摸传感器可以为电阻式触摸传感器、电容式触摸传感器等。而且，所述触摸传感器不仅包括接触式的触摸传感器，也可包括接近式的触摸传感器等。此外，所述触摸传感器可以为单个传感器，也可以为例如阵列布置的多个传感器。
此外，该电子设备1的显示器的面积可以与所述触摸传感器的面积相同，也可以不同。可选地，将显示器与所述触摸传感器层叠设置，以形成触摸显示屏。该装置基于触摸显示屏侦测用户触发的触控操作。
可选地，该电子设备1还可以包括射频(Radio Frequency，RF)电路，传感器、音频电路等等，在此不再赘述。
在图1所示的装置实施例中，作为一种计算机存储介质的存储器11中可以包括操作系统以及图像交通信号灯检测装置10的程序；处理器12执行存储器11中存储的图像交通信号灯检测装置10的程序时实现图2所示的图像交通信号灯检测方法的步骤S21、S22、S23、S24、S25。请一并参阅图3，图3是图2所示图像交通信息灯检测方法的检测原理示意图，以下对所述图像交通信号灯检测方法的具体步骤S21、S22、S23、S24、S25进行介绍。
步骤S21，获取原始图像。
具体地，所述原始图像可以是电子设备1的摄像装置拍摄的具有交通信号灯的图像，也可以是电子设备1接收外部设备或网络发送的具有交通信号灯的图像。并且，所述原始图像的分辨率可以较高，为高分辨率图像(High Resolution Image，HR Image)。
步骤S22，降低所述原始图像的分辨率生成粗检图像。
具体地，可以采用图像分辨率缩放工具将所述原始图像的分辨率降低(如进行下采样)从而获得所述粗检图像，所述粗检图像的分辨率较所述原始图像的分辨率低，即可以为低分辨率图像(Low Resolution Image，LR Image)。可以理解，所述步骤S22中，所述原始图像的分辨率降低的具体比例可以依据实际需要设定，如1/2，即所述原始图像的分辨率为所述粗检图像的分辨率的两倍，然而并不限于上述，在一种实施例中，原始图像的分辨率可以为2400*2400；粗检图像的分辨率可以为512*512，可以理解，分辨率的单位可以均为像素。
步骤S23，使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息，所述目标区域包括交通信号灯及其周边环境图像。
如图3所示，所述目标区域为所述粗检图像中的部分区域，且所述目标区域具有交通信号灯及其周边环境图像。
所述步骤S23中采用的粗粒度检测卷积神经网络可以为依据初始卷积神经网络进行训练生成的网络模型，且所述粗粒度检测卷积神经网络可以预先安装在所述电子设备1中。具体地，在一些实施例中，所述训练初始卷积神经网络生成的所述粗粒度检测卷积神经网络的过程可以在所述电子设备1中进行，即所述电子设备1采用目标区域的样本图像训练初始卷积神经网络生成所述粗粒度检测卷积神经网络。
在其他一些实施例中，所述训练初始卷积神经网络生成的所述粗粒度检测卷积神经网络的过程可以在其他电子设备中进行，即其他电子设备采用目标区域的样本图像训练初始卷积神经网络生成所述粗粒度检测卷积神经网络，训练好的所述粗粒度检测卷积神经网络进一步被安装于所述电子设备中。
可以理解，所述目标区域可以为使用神经网络进行图像检测/分类中的感兴趣区域(Region ofInterest，ROI)。进一步地，因目标区域的尺寸可以较小，属于小目标的检测，为增强检测的鲁棒性，所述初始卷积神经网络及所述粗粒度检测卷积神经网络可以均有金字塔结构，即在所述初始卷积神经网络的训练过程中，采用多尺度的训练方式，即预先设定一定的尺度范围，每个epoch将会随机选择一个尺度进行训练。此外，对所述目标区域的样本图像增强被用来应对数据量不足的问题，包括随机翻转、随机旋转、随机裁剪、随机颜色变换等，样本图像增强除了能增加交通信号灯位置的多样性外，也能一定程度上缓解因不同尺度带来的鲁棒性问题。
更进一步地，在构建图像金字塔的过程中，由上述可知，在一种实施例中，所述粗检图像的分辨率设置为512*512，则在训练阶段，经验性地设置了一定的分辨率尺度范围(如384-1024)，每个epoch都会在尺度范围内随机选择一个值m，然后将输入缩放为m×m后再送入所述初始卷积神经网络进行训练。可以理解，采取这种输入分辨率可变的多尺度训练方式可以增强所述粗粒度检测卷积神经网络对所述目标区域检测的鲁棒性。
可以理解，所述步骤S23中，将所述粗检图像输入所述粗粒度检测卷积神经网络获得的目标区域的区域信息中，可以只有所有交通信号灯的大概位置，此时仅有各个交通信号灯框的位置，并没有相应的类别信息；并且由于信号灯在大多数路口下都是呈聚集的状态，所以根据所述粗粒度检测卷积神经网络输出的目标区域的区域信息可以是一个包含所述原始图像中所有交通信号灯的目标区域，通常情况下仅有一个目标区域，少数情况下由于交通信号灯位置分散且在所述原始图像的区域跨度较大时采用两个或多个目标区域。
进一步地，可以理解，在深度卷积神经网络中，高层特征具有较大的感受野，适合检测大目标，浅层特征具有较小的感受野，适合检测小目标。所以小目标往往更依赖浅层特征，因为浅层特征具有更高的分辨率，因下采样导致的信息损失较小，然而浅层特征的上下文语义信息较差，直接利用浅层特征对小目标的目标区域或交通信号灯区域的检测精度是不利的。所以为了解决分辨率与语义信息之间的矛盾，进一步加强粗检阶段，也就是所述目标区域的检测精度，所述粗粒度检测卷积神经网络设计了如下如图4所示的网络结构。
如图4所示，所述粗粒度检测卷积神经网络包括第一特征迁移模块233(FeatureTransferModule，FTM)、第二特征迁移模块234、第一卷积结构231、第一反卷积结构232及第一叠加器235。所述粗粒度检测卷积神经网络输出的所述目标区域的区域信息包括所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息。可以理解，高斯热图是对所述目标区域中心坐标的高斯分布的表达，可以反映所述目标区域的位置，离所述目标区域中心越近，高斯值越接近1，离所述目标区域中心越远，高斯值越接近0，使得通过对高斯热图的峰值分析，即可获取所述目标区域的中心坐标。
所述步骤S23中，所述第一特征迁移模块233接收所述粗检图像并输出具有第一分辨率的第一迁移图像，所述第一卷积结构231接收所述粗检图像并输出具有所述第一分辨率的第一卷积图像以及依据所述第一卷积图像生成具有第二分辨率的第二卷积图像，所述第二特征迁移模块234接收所述第一迁移图像及所述第一卷积图像并输出具有所述第二分辨率的第二迁移图像，所述第一反卷积结构232还依据所述第一卷积结构231的输出结果生成具有所述第二分辨率的最终反卷积图像。
所述第一叠加器235接收所述第二迁移图像、所述第二卷积图像、及所述最终反卷积图像并输出所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息。
其中，所述粗检图像的分辨率、所述第一分辨率及所述第二分辨率依次降低。
进一步地，在一些实施例中，所述第一卷积结构231包括第一至第五卷积层2311、2312、2313、2314、2315，所述第一反卷积结构232包括第一至第三反卷积层2321、2322、2323，但并不限于上述。
具体地，所述步骤S23中，所述第一卷积层2311接收所述粗检图像并输出所述第一卷积图像，所述第二卷积层2312接收所述第一卷积图像并输出所述第二卷积图像，所述第三卷积层2313接收所述第二卷积图像并输出具有第三分辨率的第三卷积图像，所述第四卷积层2314接收所述第三卷积图像生成具有第四分辨率的第四卷积图像，所述第五卷积层2315接收所述第四卷积图像生成具有第五分辨率的第五卷积图像。所述第一反卷积层232接收所述第五卷积图像生成具有所述第四分辨率的第一反卷积图像，所述第二反卷积层接收所述具有所述第四分辨率的第一反卷积图像及所述第四卷积图像生成具有所述第三分辨率的第二反卷积图像，所述第三反卷积层接收所述具有所述第三分辨率的第二反卷积图像及所述第三卷积图像生成具有所述第二分辨率的第三反卷积图像，所述第三反卷积图像作为所述最终反卷积图像被提供至所述第一叠加器；所述粗检图像的分辨率、所述第一分辨率、所述第二分辨率、所述第三分辨率、所述第四分辨率、所述第五分辨率按照上述排列顺序依次减半。
更进一步地，所述粗粒度检测卷积神经网络中，所述第一特征迁移模块233及所述第二特征迁移模块234均包括依序连接的首卷积层2331、2341、第一残差结构(ResidualBlock，RB)2332、2342、第一转换子卷积结构(Transpose-Sub-Pixel Convolution，TSPC)2333、2343、及尾卷积层2334、2344。所述首卷积层2331、2341及尾卷积层2334、2344均为普通卷积层。
所述步骤S23中，所述第一特征迁移模块233的首卷积层2331接收所述粗检图像，所述第一特征迁移模块233的尾卷积层2334输出所述第一迁移图像，所述第二特征迁移模块231的首卷积层2341接收所述第一迁移图像，所述第二特征迁移模块234的尾卷积层2344输出所述第二迁移图像。设输入所述第一转换子卷积层2333、2343的图像维度为rH×rW×C，则所述第一转换子卷积层2333、2343输出的图像维度为H×W×C*r2，r＝2，其中，H、W、C分别代表图像的长、宽和颜色通道数，r代表采样的像素间隔。
可以理解，如图4所示，所述粗粒度检测卷积神经网络是在anchor-free的检测网络CenterNet的基础上设计了网络结构。并且，为了综合考虑实际应用的效率问题，本技术方案采用了结构层数较少的backbone(resnet-18)作为特征提取网络，并以此为基础进行优化。所述粗粒度检测卷积神经网络整体可以遵循编码器-解码器架构，预测头融合了多个层级的特征。其中，2×表示反卷积，每个反卷积前面都有一个可变形卷积层。所述第一卷积结构231指向所述第一、第二特征迁移模块233、234及所述第一反卷积结构232的箭头均表示对分辨率大小一致的图像进行连结(concatenate)操作，作用是为了融合浅层与深层的特征，以获得更好的语义信息和上下文信息的表达。
图4中的两个特征迁移模块233、234，专门为小目标的检测(如所述目标区域)而设计。发明人研究发现，由于通用的检测网络结构会采用许多下采样或池化操作，这些操作通常会造成很大部分的信息损失，这对小目标的检测(如所述目标区域)是非常不利的。为了尽可能保留小目标特征的上下文信息，所述粗粒度检测卷积神经网络在网络的起始部分添加了不含任何池化操作的结构两个特征迁移模块233、234。
在所述第一及第二特征迁移模块233、234中，首尾卷积层2331、2341、2334、2344是两个普通的卷积层，尾卷积层2334、2344一个重要作用是调节特征图通道数，从而使之与来自编码部分的特征图进行重要性的比例权衡。这里卷积操作以Conv-BN-ReLu的形式呈现，所述第一转换子卷积结构2333、2343是一个重要的结构，能够实现大分辨率特征图像到小分辨率特征图像的转换，且转换过程与普通的池化层相比几乎没有信息的损失。例如，如图5所示，输入一个维度为rH×rW×C的特征图像，输出维度为H×W×C·r2的特征图像，其中，H、W、C分别代表图像的长、宽和颜色通道数，r代表采样的像素间隔，只需将输入以一定的像素间隔r进行采样，然后将采样后的特征图像在通道维度上扩展，即可生成一个分辨率尺度上减少r倍，通道维度上变成r2倍的新的特征图像，具体地，在一些实施例中，r＝2。最终，经所述粗粒度检测卷积神经网络，预测头融合的特征Fhead可表示为以下公式(1)，其中||表示特征图之间的连结(concatenate)操作，I0代表所述粗检图像，FTM(I0)代表所述第一特征迁移模块233的输出，FTM(FTM(I0)||C1)代表所述第二特征迁移模块234的输出，C1、C2及D2分别代表所述第一卷积图像、所述第二卷积图像及所述最终反卷积图像。
Fhead＝FTM(FTM(I0)||C1)||C2||D2； 公式(1)。
步骤S24，将所述目标区域的区域信息与所述原始图像匹配并获得所述原始图像中与所述目标区域对应的原始图像块。
具体地，步骤S24中，可以依据所述粗检图像中所述目标区域的区域信息，并结合步骤S22中分辨率降低的比例及所述原始图像来确定所述原始图像中与所述目标区域对应的原始图像块区域，并将所述原始图像块区域从所述原始图像中裁剪出来以获得所述原始图像块。可以理解，上述匹配、分辨率及图像裁剪等步骤均为图像处理领域的普遍技术，且可以采用图像处理领域的多种技术手段(如多种图像处理工具、软件)实现，此处就不赘述具体技术手段。
步骤S25，使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息。
所述交通信号灯区域的类别及位置信息包括每个类别交通信号灯区域的高斯热图、每个类别交通信号灯区域的宽和高、及每个类别交通信号灯区域中心坐标的偏移信息，所述类别包括红色、绿色及黄色中的至少一个。可以理解，高斯热图是对所述每个类别交通信号灯区域中心坐标的高斯分布的表达，可以反映所述每个类别交通信号灯区域的位置，离所述每个类别交通信号灯区域中心越近，高斯值越接近1，离所述每个类别交通信号灯区域中心越远，高斯值越接近0，使得通过对高斯热图的峰值分析，即可获取所述每个类别交通信号灯区域的中心坐标。
所述步骤S25中采用的细粒度检测卷积神经网络可以为依据初始卷积神经网络进行训练生成的网络模型，且所述细粒度检测卷积神经网络可以预先安装在所述电子设备1中。具体地，在一些实施例中，所述训练初始卷积神经网络生成的所述细粒度检测卷积神经网络的过程可以在所述电子设备1中进行，即所述电子设备1采用不同类别的交通信号灯区域的样本图像训练初始卷积神经网络生成所述细粒度检测卷积神经网络。
在其他一些实施例中，所述训练初始卷积神经网络生成的所述细粒度检测卷积神经网络的过程可以在其他电子设备中进行，即其他电子设备采用不同类别的交通信号灯区域的样本图像训练初始卷积神经网络生成所述细粒度检测卷积神经网络，训练好的所述细粒度检测卷积神经网络进一步被安装于所述电子设备中。
进一步地，因各类别的交通信号灯的尺寸较小，属于小目标的检测，为增强检测的鲁棒性，所述初始卷积神经网络及所述细粒度检测卷积神经网络可以均有金字塔结构，即在所述初始卷积神经网络的训练过程中，采用多尺度的训练方式，即预先设定一定的尺度范围，每个epoch将会随机选择一个尺度进行训练。此外，对所述各类别的交通信号灯区域的样本图像增强被用来应对数据量不足的问题，包括随机翻转、随机旋转、随机裁剪、随机颜色变换等，样本图像增强除了能增加交通信号灯位置的多样性外，也能一定程度上缓解因不同尺度带来的鲁棒性问题。
更进一步地，在构建图像金字塔的过程中，在一种实施例中，所述原始图像块的分辨率可以设置为512*512，则在训练阶段，经验性地设置了一定的分辨率尺度范围(如384-1024)，每个epoch都会在尺度范围内随机选择一个值m，然后将输入缩放为m×m后再送入所述初始卷积神经网络进行训练。可以理解，采取这种输入分辨率可变的多尺度训练方式可以增强所述细粒度检测卷积神经网络对所述各类别的交通信号灯检测的鲁棒性。
可以理解，所述步骤S25中，将所述原始图像块输入所述粗粒度检测卷积神经网络获得的各类别交通信号灯的位置信息中，可以获取每个类别交通信号灯区域的高斯热图、每个类别交通信号灯区域的宽和高、及每个类别交通信号灯区域中心坐标的偏移信息。
进一步地，可以理解，在深度卷积神经网络中，高层特征具有较大的感受野，适合检测大目标，浅层特征具有较小的感受野，适合检测小目标。所以小目标往往更依赖浅层特征，因为浅层特征具有更高的分辨率，因下采样导致的信息损失较小，然而浅层特征的上下文语义信息较差，直接利用浅层特征对小目标的交通信号灯区域的检测精度是不利的。所以为了解决分辨率与语义信息之间的矛盾，进一步加强精检阶段，也就是所述各类别交通信号灯的检测精度，所述细粒度检测卷积神经网络设计了如下如图6所示的网络结构。
如图6所示，所述细粒度检测卷积神经网络包括第三特征迁移模块253、第四特征迁移模块254、第二卷积结构251、第二反卷积结构252及第二叠加器255。
所述步骤S25中，所述第三特征迁移模块253接收所述原始图像块并输出具有第六分辨率的第一迁移图像块，所述第二卷积结构251接收所述原始图像块并输出具有所述第六分辨率的第一卷积图像块以及依据所述第一卷积图像块生成具有第七分辨率的第二卷积图像块，所述第四特征迁移模块254接收所述第一迁移图像块及所述第一卷积图像块并输出具有所述第七分辨率的第二迁移图像块，所述第二反卷积结构252还依据所述第二卷积结构251的输出结果生成具有所述第七分辨率的最终反卷积图像块。所述第二叠加器255接收所述第二迁移图像块、第二卷积图像块、及所述具有所述第七分辨率的最终反卷积图像块并输出所述交通信号灯区域的类别及位置信息，其中，所述原始图像块的分辨率、所述第六分辨率及所述第七分辨率依次降低。
所述第二卷积结构251包括第六至第十卷积层2511、2512、2513、2514，所述第二反卷积结构252包括第四至第六反卷积层2521、2522、2523、2524。
所述步骤S25中，所述第六卷积层2511接收所述原始图像块并输出所述第一卷积图像块，所述第七卷积层2512接收所述第一卷积图像块并输出所述第二卷积图像块，所述第八卷积层2513接收所述第二卷积图像块并输出具有第八分辨率的第三卷积图像块，所述第九卷积层2514接收所述第三卷积图像块生成具有第九分辨率的第四卷积图像块，所述第十卷积层2515接收所述第四卷积图像块生成具有第十分辨率的第五卷积图像块。所述第四反卷积层2521接收所述第五卷积图像块块生成具有所述第九分辨率的第一反卷积图像块，所述第五反卷积层2522接收所述具有所述第九分辨率的第一反卷积图像块及所述第四卷积图像块生成具有所述第八分辨率的第二反卷积图像块，所述第六反卷积层2523接收所述具有所述第八分辨率的第二反卷积图像块及所述第三卷积图像块生成具有所述第七分辨率的第三反卷积图像块，所述第三反卷积图像块作为所述最终反卷积图像块被提供至所述第二叠加器255；所述原始图像块的分辨率、所述第六分辨率、所述第七分辨率、所述第八分辨率、所述第九分辨率、所述第十分辨率按照上述排列顺序依次减半。在一些实施例中，所述第一至第五分辨率可以分别与所述第六至第十分辨率相同，但并不限于上述。
所述第三特征迁移模块253及所述第四特征迁移模块254均包括依序连接的首卷积层2531、2541、第二残差结构2532、2542、第二转换子卷积结构2533、2543、及尾卷积层2534、2544。所述首卷积层2531、2541及尾卷积层2534、2544均为普通卷积层。
所述步骤S25中，所述第三特征迁移模块253的首卷积层2531接收所述原始图像块，所述第三特征迁移模块253的尾卷积层2534输出所述第一迁移图像块，所述第四特征迁移模块254的首卷积层2541接收所述第一迁移图像块，所述第四特征迁移模块254的尾卷积层2544输出所述第二迁移图像块，设输入所述第二转换子卷积层的图像块维度为rH×rW×C，则所述第二转换子卷积层2533、2543输出的图像块维度为H×W×C*r2，其中，H、W、C分别代表图像块的长、宽和颜色通道数，r代表采样的像素间隔，r＝2。
可以理解，如图6所示，所述细粒度检测卷积神经网络也是在anchor-free的检测网络CenterNet的基础上设计了网络结构。并且，为了综合考虑实际应用的效率问题，本技术方案采用了结构层数较少的backbone(resnet-18)作为特征提取网络，并以此为基础进行优化。所述细粒度检测卷积神经网络整体可以遵循编码器-解码器架构，预测头融合了多个层级的特征。其中，2×表示反卷积，每个反卷积前面都有一个可变形卷积层。所述第二卷积结构251指向所述第三、第四特征迁移模块253、254及所述第二反卷积结构252的箭头均表示对分辨率大小一致的图像进行连结(concatenate)操作，作用是为了融合浅层与深层的特征，以获得更好的语义信息和上下文信息的表达。
图6中的两个特征迁移模块253、254，专门为小目标的检测(如所述各类别的交通信号灯区域)而设计。发明人研究发现，由于通用的检测网络结构会采用许多下采样或池化操作，这些操作通常会造成很大部分的信息损失，这对小目标的检测是非常不利的。为了尽可能保留小目标特征的上下文信息，所述细粒度检测卷积神经网络在网络的起始部分添加了不含任何池化操作的结构两个特征迁移模块253、254。
在所述第三及第四特征迁移模块253、254中，首尾卷积层2531、2541、2534、2544是两个普通的卷积层，尾卷积层2534、2544一个重要作用是调节特征图通道数，从而使之与来自编码部分的特征图进行重要性的比例权衡。这里卷积操作以Conv-BN-ReLu的形式呈现，所述第二转换子卷积结构2533、2543是一个重要的结构，能够实现大分辨率特征图像到小分辨率特征图像的转换，且转换过程与普通的池化层相比几乎没有信息的损失。例如，如图7所示，输入一个维度为rH×rW×C的特征图像，输出维度为H×W×C·r2的特征图像，其中，H、W、C分别代表图像的长、宽和颜色通道数，r代表采样的像素间隔，只需将输入以一定的像素间隔r进行采样，然后将采样后的特征图像在通道维度上扩展，即可生成一个分辨率尺度上减少r倍，通道维度上变成r2倍的新的特征图像，具体地，在一些实施例中，r＝2。最终，经所述第三及第四特征迁移模块253、254，预测头融合的特征Fhead可表示为以下公式(2)，其中||表示特征图之间的连结(concatenate)操作，I0’代表所述原始图像块，FTM(I0’)代表所述第三特征迁移模块253的输出，FTM(FTM(I0’)||C1’)代表所述第四特征迁移模块254的输出，C1’、C2’及D2’分别代表所述第一卷积图像块、所述第二卷积图像块及所述最终反卷积图像块。
Fhead’＝FTM(FTM(I0’)||C1’)||C2’||D2’； 公式(2)。
可以理解，所述步骤S24、S25中，通过将粗检阶段获取的目标区域与高分辨率的原始图像进行匹配，得到相应的与目标区域对应的原始图像块，然后进一步输入一个细粒度检测卷积神经网络得到最终的交通信号灯的类别及位置信息。所述图像交通信号灯检测方法由于对交通信号灯的位置进行了粗检、精检前后两次聚焦，使得检测精度得到大大提升，偏移大大减小。
本发明提出的图像交通信息灯检测方法中，提出基于粗粒度到细粒度的交通信号灯级联检测方案，不仅能够获得交通信号灯的位置，还能得到交通信号灯的类别，相比一些相关技术方案，交通信号灯的位置偏移减小，交通信号灯的检测精度提升；并且，由于粗粒度检测针对分辨率降低的粗检图像进行，特别是细粒度检测仅针对目标区域对应的原始图像块进行，两级检测的分辨率都不高，使得整体计算成本及损耗均较小、计算时间较少，可基本满足实时检测的要求，也具有较高的检测效率。
进一步地，所述目标区域的区域信息包括所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息。可以理解，通过对高斯热图的应用及分析，可以提高所述目标区域的检测精度。
进一步地，通过具有第一特征迁移模块233、第二特征迁移模块254、第一卷积结构231、第一反卷积结构232及第一叠加器235的所述粗粒度检测卷积神经网络，并且所述粗检图像的分辨率、所述第一分辨率及所述第二分辨率依次降低，不仅可以有效利用各分辨率特征图像的信息，尽可能保留了较小目标(如目标区域)的上下文信息，达到较高检测精度的要求，而且采用第一特征迁移模块233、第二特征迁移模块234可以不具有池化操作，从而尽量做到几乎无损实现特征分辨率的转换，进而不会带来太多的计算成本，计算时间也较少，检测效率提高。
进一步地，所述第一卷积结构231包括第一至第五卷积层2311、2312、2313、2314，所述第一反卷积结构232包括第一至第三反卷积层2321、2322、2323，所述粗检图像的分辨率、所述第一分辨率、所述第二分辨率、所述第三分辨率、所述第四分辨率、所述第五分辨率按照上述排列顺序依次减半，通过对所述第一卷积结构231及所述第一反卷积结构232的输入、输出及分辨率控制，也可以达到有效利用各分辨率特征图像的信息，有效融合所述目标区域的浅层与深层的特征，以获得更好的语义信息和上下文信息的表达，达到较高检测精度的要求，而且还可以尽量做到几乎无损实现特征分辨率的转换，且不会带来太多的计算成本，进而计算时间也较少，检测效率提高。
进一步地，所述第一特征迁移模块233及所述第二特征迁移模块234均包括依序连接的首卷积层2331、2341、第一残差结构2332、2342、第一转换子卷积结构2333、2343、及尾卷积层2334、2344，其中，第一转换子卷积结构2333、2343能够实现大分辨率特征图到小分辨率特征图的转换，且转换过程与普通的池化层相比几乎没有信息的损失，进而做到几乎无损实现特征分辨率的转换，且不会带来太多的计算成本，进而计算时间也较少，检测效率提高。
进一步地，所述交通信号灯区域的类别及位置信息包括每个类别交通信号灯区域的高斯热图、每个类别交通信号灯区域的宽和高、及每个类别交通信号灯区域中心坐标的偏移信息，所述类别包括红色、绿色及黄色中的至少一个。可以理解，通过对高斯热图的应用及分析，可以获得交通信号灯区域的类别及位置信息，并提高检测精度。
进一步地，通过具有第三特征迁移模块253、第四特征迁移模块254、第二卷积结构251、第二反卷积结构252及第二叠加器255的所述细粒度检测卷积神经网络，并且所述原始图像块的分辨率、所述第六分辨率及所述第七分辨率依次降低，不仅可以有效利用各分辨率特征图像的信息，尽可能保留了较小目标(如交通信号灯区域)的上下文信息，达到较高检测精度的要求，而且采用第三特征迁移模块253、第四特征迁移模块254可以不具有池化操作，从而尽量做到几乎无损实现特征分辨率的转换，进而不会带来太多的计算成本，计算时间也较少，检测效率提高。
进一步地，所述第二卷积结构251包括第六至第十卷积层2511、2512、2513、2514、2515，所述第二反卷积结构252包括第四至第六反卷积层2521、2522、2523，所述原始图像块的分辨率、所述第六分辨率、所述第七分辨率、所述第八分辨率、所述第九分辨率、所述第十分辨率按照上述排列顺序依次减半，通过对所述第二卷积结构251及所述第二反卷积结构252的输入、输出及分辨率控制，也可以达到有效利用各分辨率特征图像的信息，有效融合所述交通信号区域的浅层与深层的特征，以获得更好的语义信息和上下文信息的表达，达到较高检测精度的要求，而且还可以尽量做到几乎无损实现特征分辨率的转换，且不会带来太多的计算成本，进而计算时间也较少，检测效率提高。
进一步地，所述第三特征迁移模块253及所述第四特征迁移模块254均包括依序连接的首卷积层2531、2541、第二残差结构2532、2542、第二转换子卷积结构2533、2543、及尾卷积层2534、2544，其中，第二转换子卷积结构2533、2543能够实现大分辨率特征图到小分辨率特征图的转换，且转换过程与普通的池化层相比几乎没有信息的损失，进而做到几乎无损实现特征分辨率的转换，且不会带来太多的计算成本，进而计算时间也较少，检测效率提高。
在其他实施例中，图像交通信号灯检测装置10的程序还可以被分割为一个或者多个模块，一个或者多个模块被存储于存储器11中，并由处理器12执行，以完成本发明。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段。如图8所示，为图1中图像交通信号灯检测装置10较佳实施例的程序模块图。所述图像交通信号灯检测装置10可以被分割为：获取模块101、分辨率处理模块102、粗粒度检测模块103、匹配模块104及细粒度检测模块105。所述模块101-105所实现的功能或操作步骤均与上文的各步骤S21、S22、S23、S24及S25类似，此处不再详述，示例性地，例如其中：
获取模块101，用于获取原始图像；
分辨率处理模块102，用于降低所述原始图像的分辨率生成粗检图像；
粗粒度检测模块103，用于使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得目标区域的区域信息，所述目标区域包括交通信号灯图像及其周边环境图像；
匹配模块104，用于将所述目标区域的区域信息与所述原始图像匹配并获得所述原始图像中与所述目标区域对应的原始图像块；及
细粒度检测模块105，用于使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的类别及位置信息。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质中包括图像交通信号灯检测装置10，所述图像交通信号灯检测装置10被处理器执行时实现如下操作：
获取原始图像；
降低所述原始图像的分辨率生成粗检图像；
使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息，所述目标区域包括交通信号灯图像及其周边环境图像；
将所述目标区域的区域信息与所述原始图像匹配并获得所述原始图像中与所述目标区域对应的原始图像块；及
使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息。
优选地，所述目标区域的区域信息包括所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息；
所述粗粒度检测卷积神经网络包括第一特征迁移模块、第二特征迁移模块、第一卷积结构、第一反卷积结构及第一叠加器，所述使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息的步骤中，所述第一特征迁移模块接收所述粗检图像并输出具有第一分辨率的第一迁移图像，所述第一卷积结构接收所述粗检图像并输出具有所述第一分辨率的第一卷积图像以及依据所述第一卷积图像生成具有第二分辨率的第二卷积图像，所述第二特征迁移模块接收所述第一迁移图像及所述第一卷积图像并输出具有所述第二分辨率的第二迁移图像，所述第一反卷积结构还依据所述第一卷积结构的输出结果生成具有所述第二分辨率的最终反卷积图像，所述第一叠加器接收所述第二迁移图像、所述第二卷积图像、及所述最终反卷积图像并输出所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息，其中，所述粗检图像的分辨率、所述第一分辨率及所述第二分辨率依次降低。
优选地，所述第一卷积结构包括第一至第五卷积层，所述第一反卷积结构包括第一至第三反卷积层，所述使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息的步骤中，，所述第一卷积层接收所述粗检图像并输出所述第一卷积图像，所述第二卷积层接收所述第一卷积图像并输出所述第二卷积图像，所述第三卷积层接收所述第二卷积图像并输出具有第三分辨率的第三卷积图像，所述第四卷积层接收所述第三卷积图像生成具有第四分辨率的第四卷积图像，所述第五卷积层接收所述第四卷积图像生成具有第五分辨率的第五卷积图像，所述第一反卷积层接收所述第五卷积图像生成具有所述第四分辨率的第一反卷积图像，所述第二反卷积层接收所述具有所述第四分辨率的第一反卷积图像及所述第四卷积图像生成具有所述第三分辨率的第二反卷积图像，所述第三反卷积层接收所述具有所述第三分辨率的第二反卷积图像及所述第三卷积图像生成具有所述第二分辨率的第三反卷积图像，所述第三反卷积图像作为所述最终反卷积图像被提供至所述第一叠加器；所述粗检图像的分辨率、所述第一分辨率、所述第二分辨率、所述第三分辨率、所述第四分辨率、所述第五分辨率按照上述排列顺序依次减半。
优选地，所述粗粒度检测卷积神经网络中，所述第一特征迁移模块及所述第二特征迁移模块均包括依序连接的首卷积层、第一残差结构、第一转换子卷积结构、及尾卷积层，所述第一特征迁移模块的首卷积层接收所述粗检图像，所述使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息的步骤中，所述第一特征迁移模块的尾卷积层输出所述第一迁移图像，所述第二特征迁移模块的首卷积层接收所述第一迁移图像，所述第二特征迁移模块的尾卷积层输出所述第二迁移图像，设输入所述第一转换子卷积层的图像维度为rH×rW×C，则所述第一转换子卷积层输出的图像维度为H×W×C*r2，r＝2，其中，H、W、C分别代表图像的长、宽和颜色通道数，r代表采样的像素间隔。
优选地，所述交通信号灯区域的类别及位置信息包括每个类别交通信号灯区域的高斯热图、每个类别交通信号灯区域的宽和高、及每个类别交通信号灯区域中心坐标的偏移信息，所述类别包括红色、绿色及黄色中的至少一个；所述细粒度检测卷积神经网络包括第三特征迁移模块、第四特征迁移模块、第二卷积结构、第二反卷积结构及第二叠加器，所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第三特征迁移模块接收所述原始图像块并输出具有第六分辨率的第一迁移图像块，所述第二卷积结构接收所述原始图像块并输出具有所述第六分辨率的第一卷积图像块以及依据所述第一卷积图像块生成具有第七分辨率的第二卷积图像块，所述第四特征迁移模块接收所述第一迁移图像块及所述第一卷积图像块并输出具有所述第七分辨率的第二迁移图像块，所述第二反卷积结构还依据所述第二卷积结构的输出结果生成具有所述第七分辨率的最终反卷积图像块，所述第二叠加器接收所述第二迁移图像块、第二卷积图像块、及所述具有所述第七分辨率的最终反卷积图像块并输出所述交通信号灯区域类别及位置信息，其中，所述原始图像块的分辨率、所述第六分辨率及所述第七分辨率依次降低。
优选地，所述第二卷积结构包括第六至第十卷积层，所述第二反卷积结构包括第四至第六反卷积层，所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第六卷积层接收所述原始图像块并输出所述第一卷积图像块，所述第七卷积层接收所述第一卷积图像块并输出所述第二卷积图像块，所述第八卷积层接收所述第二卷积图像块并输出具有第八分辨率的第三卷积图像块，所述第九卷积层接收所述第三卷积图像块生成具有第九分辨率的第四卷积图像块，所述第十卷积层接收所述第四卷积图像块生成具有第十分辨率的第五卷积图像块，所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第四反卷积层接收所述第五卷积图像块块生成具有所述第九分辨率的第一反卷积图像块，所述第五反卷积层接收所述具有所述第九分辨率的第一反卷积图像块及所述第四卷积图像块生成具有所述第八分辨率的第二反卷积图像块，所述第六反卷积层接收所述具有所述第八分辨率的第二反卷积图像块及所述第三卷积图像块生成具有所述第七分辨率的第三反卷积图像块，所述第三反卷积图像块作为所述最终反卷积图像块被提供至所述第二叠加器；所述原始图像块的分辨率、所述第六分辨率、所述第七分辨率、所述第八分辨率、所述第九分辨率、所述第十分辨率按照上述排列顺序依次减半。
优选地，所述第三特征迁移模块及所述第四特征迁移模块均包括依序连接的首卷积层、第二残差结构、第二转换子卷积结构、及尾卷积层，所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第三特征迁移模块的首卷积层接收所述原始图像块，所述第三特征迁移模块的尾卷积层输出所述第一迁移图像块，所述第四特征迁移模块的首卷积层接收所述第一迁移图像块，所述第四特征迁移模块的尾卷积层输出所述第二迁移图像块，设输入所述第二转换子卷积层的图像块维度为rH×rW×C，则所述第二转换子卷积层输出的图像块维度为H×W×C*r2，r＝2，其中，H、W、C分别代表图像块的长、宽和颜色通道数，r代表采样的像素间隔。
本发明之计算机可读存储介质的具体实施方式与上述图像交通信息灯检测方法、电子设备的具体实施方式大致相同，且具有相同的技术效果，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种图像交通信息灯检测方法，其特征在于，所述方法包括以下步骤：
获取原始图像；
降低所述原始图像的分辨率生成粗检图像；
使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息，其中，所述目标区域包括交通信号灯图像及其周边环境图像；
将所述区域信息与所述原始图像匹配并获得所述原始图像中与所述目标区域对应的原始图像块；及
使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的类别及位置信息。
2.根据权利要求1所述的图像交通信息灯检测方法，其特征在于，所述目标区域的区域信息包括所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息；所述粗粒度检测卷积神经网络包括第一特征迁移模块、第二特征迁移模块、第一卷积结构、第一反卷积结构及第一叠加器，
所述使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息的步骤中，所述第一特征迁移模块接收所述粗检图像并输出具有第一分辨率的第一迁移图像，所述第一卷积结构接收所述粗检图像并输出具有所述第一分辨率的第一卷积图像以及依据所述第一卷积图像生成具有第二分辨率的第二卷积图像，所述第二特征迁移模块接收所述第一迁移图像及所述第一卷积图像并输出具有所述第二分辨率的第二迁移图像，所述第一反卷积结构还依据所述第一卷积结构的输出结果生成具有所述第二分辨率的最终反卷积图像，所述第一叠加器接收所述第二迁移图像、所述第二卷积图像、及所述最终反卷积图像并输出所述目标区域的高斯热图、所述目标区域的宽和高、及所述目标区域中心坐标的偏移信息，其中，所述粗检图像的分辨率、所述第一分辨率及所述第二分辨率依次降低。
3.根据权利要求2所述的图像交通信息灯检测方法，其特征在于，所述第一卷积结构包括第一至第五卷积层，所述第一反卷积结构包括第一至第三反卷积层，
所述使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息的步骤中，所述第一卷积层接收所述粗检图像并输出所述第一卷积图像，所述第二卷积层接收所述第一卷积图像并输出所述第二卷积图像，所述第三卷积层接收所述第二卷积图像并输出具有第三分辨率的第三卷积图像，所述第四卷积层接收所述第三卷积图像生成具有第四分辨率的第四卷积图像，所述第五卷积层接收所述第四卷积图像生成具有第五分辨率的第五卷积图像，所述第一反卷积层接收所述第五卷积图像生成具有所述第四分辨率的第一反卷积图像，所述第二反卷积层接收所述具有所述第四分辨率的第一反卷积图像及所述第四卷积图像生成具有所述第三分辨率的第二反卷积图像，所述第三反卷积层接收所述具有所述第三分辨率的第二反卷积图像及所述第三卷积图像生成具有所述第二分辨率的第三反卷积图像，所述第三反卷积图像作为所述最终反卷积图像被提供至所述第一叠加器；所述粗检图像的分辨率、所述第一分辨率、所述第二分辨率、所述第三分辨率、所述第四分辨率、所述第五分辨率按照上述排列顺序依次减半。
4.根据权利要求2所述的图像交通信息灯检测方法，其特征在于，所述粗粒度检测卷积神经网络中，所述第一特征迁移模块及所述第二特征迁移模块均包括依序连接的首卷积层、第一残差结构、第一转换子卷积结构、及尾卷积层，
所述使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得所述目标区域的区域信息的步骤中，所述第一特征迁移模块的首卷积层接收所述粗检图像，所述第一特征迁移模块的尾卷积层输出所述第一迁移图像，所述第二特征迁移模块的首卷积层接收所述第一迁移图像，所述第二特征迁移模块的尾卷积层输出所述第二迁移图像，设输入所述第一转换子卷积层的图像维度为rH×rW×C，则所述第一转换子卷积层输出的图像维度为H×W×C*r2，r＝2，其中，H、W、C分别代表图像的长、宽和颜色通道数，r代表采样的像素间隔。
5.根据权利要求1所述的图像交通信息灯检测方法，其特征在于，所述交通信号灯区域的类别及位置信息包括每个类别交通信号灯区域的高斯热图、每个类别交通信号灯区域的宽和高、及每个类别交通信号灯区域中心坐标的偏移信息，所述类别包括红色、绿色及黄色中的至少一个；
所述细粒度检测卷积神经网络包括第三特征迁移模块、第四特征迁移模块、第二卷积结构、第二反卷积结构及第二叠加器，
所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第三特征迁移模块接收所述原始图像块并输出具有第六分辨率的第一迁移图像块，所述第二卷积结构接收所述原始图像块并输出具有所述第六分辨率的第一卷积图像块以及依据所述第一卷积图像块生成具有第七分辨率的第二卷积图像块，所述第四特征迁移模块接收所述第一迁移图像块及所述第一卷积图像块并输出具有所述第七分辨率的第二迁移图像块，所述第二反卷积结构还依据所述第二卷积结构的输出结果生成具有所述第七分辨率的最终反卷积图像块，所述第二叠加器接收所述第二迁移图像块、第二卷积图像块、及所述具有所述第七分辨率的最终反卷积图像块并输出所述交通信号灯区域类别及位置信息，其中，所述原始图像块的分辨率、所述第六分辨率及所述第七分辨率依次降低。
6.根据权利要求5所述的图像交通信息灯检测方法，其特征在于，所述第二卷积结构包括第六至第十卷积层，所述第二反卷积结构包括第四至第六反卷积层，
所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第六卷积层接收所述原始图像块并输出所述第一卷积图像块，所述第七卷积层接收所述第一卷积图像块并输出所述第二卷积图像块，所述第八卷积层接收所述第二卷积图像块并输出具有第八分辨率的第三卷积图像块，所述第九卷积层接收所述第三卷积图像块生成具有第九分辨率的第四卷积图像块，所述第十卷积层接收所述第四卷积图像块生成具有第十分辨率的第五卷积图像块，所述第四反卷积层接收所述第五卷积图像块块生成具有所述第九分辨率的第一反卷积图像块，所述第五反卷积层接收所述具有所述第九分辨率的第一反卷积图像块及所述第四卷积图像块生成具有所述第八分辨率的第二反卷积图像块，所述第六反卷积层接收所述具有所述第八分辨率的第二反卷积图像块及所述第三卷积图像块生成具有所述第七分辨率的第三反卷积图像块，所述第三反卷积图像块作为所述最终反卷积图像块被提供至所述第二叠加器；所述原始图像块的分辨率、所述第六分辨率、所述第七分辨率、所述第八分辨率、所述第九分辨率、所述第十分辨率按照上述排列顺序依次减半。
7.根据权利要求5所述的图像交通信息灯检测方法，其特征在于，所述第三特征迁移模块及所述第四特征迁移模块均包括依序连接的首卷积层、第二残差结构、第二转换子卷积结构、及尾卷积层，
所述使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的位置及类别信息的步骤中，所述第三特征迁移模块的首卷积层接收所述原始图像块，所述第三特征迁移模块的尾卷积层输出所述第一迁移图像块，所述第四特征迁移模块的首卷积层接收所述第一迁移图像块，所述第四特征迁移模块的尾卷积层输出所述第二迁移图像块，设输入所述第二转换子卷积层的图像块维度为rH×rW×C，则所述第二转换子卷积层输出的图像块维度为H×W×C*r2，r＝2，其中，H、W、C分别代表图像块的长、宽和颜色通道数，r代表采样的像素间隔。
8.一种图像交通信息灯检测装置，其特征在于，所述装置包括：
获取模块，用于获取原始图像；
分辨率处理模块，用于降低所述原始图像的分辨率生成粗检图像；
粗粒度检测模块，用于使用粗粒度检测卷积神经网络对所述粗检图像进行目标区域检测，以获得目标区域的区域信息，所述目标区域包括交通信号灯图像及其周边环境图像；
匹配模块，用于将所述目标区域的区域信息与所述原始图像匹配并获得所述原始图像中与所述目标区域对应的原始图像块；及
细粒度检测模块，用于使用细粒度检测卷积神经网络对所述原始图像块进行交通信号灯区域检测，以获得交通信号灯区域的类别及位置信息。
9.一种电子设备，其特征在于，所述电子设备包括存储器及处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7项任意一项所述的图像交通信息灯检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7项任意一项所述的图像交通信息灯检测方法。
CN202010690262.0A 2020-07-17 2020-07-17 图像交通信号灯检测方法、装置、电子设备及存储介质 Pending CN111832493A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010690262.0A CN111832493A (zh) 2020-07-17 2020-07-17 图像交通信号灯检测方法、装置、电子设备及存储介质
PCT/CN2020/121870 WO2021139302A1 (zh) 2020-07-17 2020-10-19 图像交通信号灯检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010690262.0A CN111832493A (zh) 2020-07-17 2020-07-17 图像交通信号灯检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111832493A true CN111832493A (zh) 2020-10-27

Family

ID=72924471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010690262.0A Pending CN111832493A (zh) 2020-07-17 2020-07-17 图像交通信号灯检测方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111832493A (zh)
WO (1) WO2021139302A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288031A (zh) * 2020-11-18 2021-01-29 北京航空航天大学杭州创新研究院 交通信号灯检测方法、装置、电子设备和存储介质
CN113269156A (zh) * 2021-07-02 2021-08-17 昆明理工大学 一种基于多尺度特征融合的信号灯检测识别方法及系统
CN113989774A (zh) * 2021-10-27 2022-01-28 广州小鹏自动驾驶科技有限公司 一种交通灯检测方法、装置、车辆和可读存储介质
CN116030439A (zh) * 2023-03-30 2023-04-28 深圳海星智驾科技有限公司 一种目标识别方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642558A (zh) * 2021-08-16 2021-11-12 云南电网有限责任公司电力科学研究院 耐张线夹压接缺陷的x射线图像识别方法及装置
CN114943845A (zh) * 2022-05-23 2022-08-26 天津城建大学 一种领域图片细粒度分类识别方法及系统
CN116052110B (zh) * 2023-03-28 2023-06-13 四川公路桥梁建设集团有限公司 一种路面标线缺损智能定位方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288047A (zh) * 2018-02-07 2018-07-17 成都新舟锐视科技有限公司 一种行人/车辆检测方法
CN109166130A (zh) * 2018-08-06 2019-01-08 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
EP3591582A1 (en) * 2018-07-06 2020-01-08 Tata Consultancy Services Limited Method and system for automatic object annotation using deep network

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875608B (zh) * 2018-06-05 2021-12-17 合肥湛达智能科技有限公司 一种基于深度学习的机动车交通信号识别方法
US10769485B2 (en) * 2018-06-19 2020-09-08 Himax Technologies Limited Framebuffer-less system and method of convolutional neural network
CN111160206A (zh) * 2019-12-24 2020-05-15 国汽(北京)智能网联汽车研究院有限公司 一种交通环境元素视觉感知方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108288047A (zh) * 2018-02-07 2018-07-17 成都新舟锐视科技有限公司 一种行人/车辆检测方法
EP3591582A1 (en) * 2018-07-06 2020-01-08 Tata Consultancy Services Limited Method and system for automatic object annotation using deep network
CN109166130A (zh) * 2018-08-06 2019-01-08 北京市商汤科技开发有限公司 一种图像处理方法及图像处理装置
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288031A (zh) * 2020-11-18 2021-01-29 北京航空航天大学杭州创新研究院 交通信号灯检测方法、装置、电子设备和存储介质
CN113269156A (zh) * 2021-07-02 2021-08-17 昆明理工大学 一种基于多尺度特征融合的信号灯检测识别方法及系统
CN113269156B (zh) * 2021-07-02 2023-04-18 昆明理工大学 一种基于多尺度特征融合的信号灯检测识别方法及系统
CN113989774A (zh) * 2021-10-27 2022-01-28 广州小鹏自动驾驶科技有限公司 一种交通灯检测方法、装置、车辆和可读存储介质
CN116030439A (zh) * 2023-03-30 2023-04-28 深圳海星智驾科技有限公司 一种目标识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021139302A1 (zh) 2021-07-15

Similar Documents

Publication Publication Date Title
CN111832493A (zh) 图像交通信号灯检测方法、装置、电子设备及存储介质
Liu et al. Automatic building extraction on high-resolution remote sensing imagery using deep convolutional encoder-decoder with spatial pyramid pooling
CN110728200A (zh) 一种基于深度学习的实时行人检测方法及系统
CN112368711A (zh) 用于计算机视觉的方法和装置
Farhat et al. Real-time embedded system for traffic sign recognition based on ZedBoard
CN112016510B (zh) 基于深度学习的信号灯识别方法和装置、设备及存储介质
JP2021119506A (ja) ナンバープレート認識方法、ナンバープレート認識モデルの訓練方法及び装置
CN110263877B (zh) 场景文字检测方法
JP2013196454A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN111127516A (zh) 无搜索框的目标检测和跟踪方法及系统
CN110991310A (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN111931729B (zh) 基于人工智能的行人检测方法、装置、设备及介质
CN111860219B (zh) 一种高速占道判断方法、装置及电子设备
Biglari et al. Part‐based recognition of vehicle make and model
Khongprasongsiri et al. A hardware implementation for real-time lane detection using high-level synthesis
CN112053407B (zh) 一种交通执法影像中基于ai技术的车道线自动检测方法
Cao et al. An Improved YOLOv4 Lightweight Traffic Sign Detection Algorithm
CN110490210B (zh) 一种基于紧致通道间t采样差分的彩色纹理分类方法
EP4174789A1 (en) Method and apparatus of processing image, and storage medium
Zheng et al. Transformer-based hierarchical dynamic decoders for salient object detection
CN115223181A (zh) 基于文本检测的报告材料印章文字识别方法和装置
CN115546746A (zh) 一种高速行驶轨道车辆裂纹检测方法及装置
CN111291758B (zh) 用于识别印章文字的方法和装置
Du et al. Fully convolutional lightweight pyramid network for vehicle detection in aerial images
Rahmani et al. IR-LPR: A Large Scale Iranian License Plate Recognition Dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination