CN114399917A - 一种交通信号灯识别方法及车路协同路端设备 - Google Patents

一种交通信号灯识别方法及车路协同路端设备 Download PDF

Info

Publication number
CN114399917A
CN114399917A CN202210087128.0A CN202210087128A CN114399917A CN 114399917 A CN114399917 A CN 114399917A CN 202210087128 A CN202210087128 A CN 202210087128A CN 114399917 A CN114399917 A CN 114399917A
Authority
CN
China
Prior art keywords
traffic signal
signal lamp
matrix
road
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210087128.0A
Other languages
English (en)
Inventor
刘兴华
刘宇航
应铭
张崇炳
邓旺敏
王鑫扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210087128.0A priority Critical patent/CN114399917A/zh
Publication of CN114399917A publication Critical patent/CN114399917A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种交通信号灯识别方法及车路协同路端设备；包括获取交通信号灯图片，将交通信号灯图片保存为JPEG图像；读取JPEG图像的字段，获得MCU系数矩阵；对MCU系数矩阵进行解码计算，获得交通信号灯图片的RGB值；根据RGB值确定交通信号灯图片中交通信号灯的颜色，以及判断交通信号灯是否存在异常；基于此能够为无人驾驶汽车提供一种统一的交通信号灯识别方法，同时减少在识别过程中的计算量。

Description

一种交通信号灯识别方法及车路协同路端设备
技术领域
本发明属于智能交通技术领域，特别是一种交通信号灯识别方法及车路协同路端设备。
背景技术
随着网络信息技术的发展与科学技术水平的提高，人们对汽车的要求也达到了一个新的高度。目前无人驾驶、智能驾驶和辅助驾驶汽车安全技术得到了世界各地的广泛研究。其中，无人驾驶汽车依靠人工智能、视觉计算、济钢雷达、高精地图、监控装置和全球定位系统协同工作，可以在没有任何人类操作的情况下，较安全地驾驶。
然而当前，无人驾驶汽车在识别交通信号灯时没有统一的识别方式，同时也不利于交通指挥部门进行统一管理；部分无人驾驶汽车虽然能够识别交通信号灯，但是在识别过程中，需要采集大量数据进行计算。
因此，如何为无人驾驶汽车提供一种统一的交通信号灯识别方法，同时减少在识别过程中的计算量，成为当前研究的关键问题。
发明内容
鉴于上述问题，本发明提供一种至少解决上述部分技术问题的一种交通信号灯识别方法及车路协同路端设备，通过第一摄像头判断是否有车辆经过；若有车辆经过，则通过第二摄像头采集交通信号灯的图像；通过工控机确定连续多帧图像中每帧图像的交通信号灯颜色；根据交通信号灯的颜色,判断交通信号灯是否正常；若正常，则控制车辆的行驶和制动；若异常，则控制车辆制动并将异常信息进行上报；通过该方法可以为无人驾驶汽车提供一种统一的交通信号灯识别方法，同时减少在识别过程中的计算量。
一方面，本发明实施例提供了一种交通信号灯识别方法，包括：
S1、获取交通信号灯图片，将所述交通信号灯图片保存为JPEG图像；
S2、读取所述JPEG图像的字段，获得MCU系数矩阵；
S3、对所述MCU系数矩阵进行解码计算，获得所述交通信号灯图片的RGB值；
S4、根据所述RGB值确定所述交通信号灯图片中交通信号灯的颜色，以及判断所述交通信号灯是否存在异常。
进一步地，所述S2中，JPEG图像的字段，包括：SOI字段、数据帧和EOI字段；
所述读取JPEG图像的字段，从读取SOI字段开始，到EOI字段结束；
所述数据帧包括图像信息识别、量化表、帧开始、Huffman表和扫描行开始；
读取所述Huffman表，并构建Huffman树；对所述量化表中的AC系数和DC系数进行Huffman解码，得到MCU系数矩阵。
进一步地，所述S3具体包括：
S31、对所述MCU系数矩阵进行反量化处理，得到反量化矩阵；
S32、对所述反量化矩阵进行反Zig-zag扫描，得到数据矩阵F；
S33、对所述数据矩阵F进行DCT逆处理，得到DCT逆处理的数据矩阵F，基于此得到所述交通信号灯图片的RGB值。
进一步地，所述S33中对数据矩阵F进行DCT逆处理，包括：
将数据矩阵F与矩阵A相乘，得到矩阵Y；
将所述矩阵Y进行转秩，得到YT；
将YT与矩阵A相乘，得到fT；
将所述fT进行转秩，得到经DCT逆处理的数据矩阵F，即得到数据矩阵f。
进一步地，所述S4具体包括：
S41、根据所述交通信号灯图片中信号灯的位置，确定三个宏块；
S42、对第一个宏块的RGB值进行判断：若第一个宏块的RGB值为：R>230，G<160，B<160，则当前时刻交通信号灯为红色；否则执行S53；
S43、对第二个宏块的RGB值进行判断：若第二个宏块的RGB值为：R>230，G>200，B<160，则当前时刻交通信号灯为黄色；否则执行S54；
S44、对第三个宏块的RGB值进行判断：若第三个宏块的RGB值为：R<150，G>230，B>230，则当前时刻交通信号灯为绿色；否则交通信号灯出现异常。
另一方面，本发明实施例提供了一种车路协同路端设备，应用上述所提供的方法；该车路协同路端设备包括：第二摄像头和工控机；
所述第二摄像头，安装在交通信号灯周围，用于采集交通信号灯图片，并将所述交通信号灯图片发送给所述工控机；
所述工控机用于将所述交通信号灯图片保存为JPEG图像；读取所述JPEG图像的字段，获得MCU系数矩阵；对所述MCU系数矩阵进行解码计算，获得所述交通信号灯图片的RGB值；根据所述RGB值确定所述交通信号灯图片中交通信号灯的颜色，以及判断所述交通信号灯是否存在异常。
进一步地，还包括第一摄像头；
所述第一摄像头安装在路端，用于采集道路图片，并将所述道路图片发送至所述工控机；
所述工控机根据所述道路图片，判断道路上是否存在车辆；当道路上存在车辆时，则所述工控机控制所述第二摄像头采集交通信号灯图片。
进一步地，所述工控机通过无线设备与道路上的车辆通信连接，用于将交通信号灯颜色编码发送至所述车辆。
与现有技术相比，本发明记载的一种交通信号灯识别方法及车路协同路端设备，具有如下有益效果：
本发明面向交通信号灯实时识别方法不需要改造信号灯,也不需要采集大量的数据,并且路端设备位置固定，得到的数据集只有交通信号灯颜色有差异，其他部分均相同，只需计算机较小算力就能够识别出交通信号灯的情况，并且可以判断交通信号灯是否正常。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例提供的一种交通信号灯识别方法流程图。
图2为本发明实施例提供的JPEG图像的字段示意图。
图3为本发明实施例提供的MCU系数矩阵解码流程图。
图4为本发明实施例提供的识别交通信号灯颜色以及判断交通信号灯是否异常的流程示意图。
图5为本发明实施例提供的一种车路协同路端设备场景示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
参见图1所示，本发明实施例提供了一种交通信号灯识别方，具体包括如下步骤：
S1、获取交通信号灯图片，将交通信号灯图片保存为JPEG图像；
S2、读取JPEG图像的字段，获得MCU系数矩阵；
S3、对MCU系数矩阵进行解码计算，获得交通信号灯图片的RGB值；
S4、根据RGB值确定交通信号灯图片中交通信号灯的颜色，以及判断交通信号灯是否存在异常。
在上述步骤S2中，读取JPEG图像字段具体参见图2所示：JPEG文件有以下字段，在解码时需要按顺序读取。整个解码流程从SOI开始，到EOI结束。在SOI和EOI之间是JPEG图片的数据帧，数据帧中包含APP0(图像信息识别)、DQT(量化表)、SOF0(帧开始)、DHT(Huffman表)、SOS(扫描行开始)。
由于本发明实施例是从固定位置拍摄交通信号灯的图片，因此每张图片除了交通信号灯部分可能有差异，其他部分均相同；故每张图片解码所需要的量化表和Huffman表均相同，即：只需要解码第一张图片，得到量化表和Huffman表并保存，以后的图片解码就无需重新获得量化表和Huffman表，可以提高整个数据集的解码效率。通过读取所述Huffman表，并构建Huffman树；对所述量化表中的AC系数和DC系数进行Huffman解码，得到MCU系数矩阵。获得MCU大小和宏块个数具体为：通过读取SOF0字段信息，可以得到图像的分辨率，假设图像分辨率为a*b。由于拍摄的图像Y:Cr:Cb＝4:1:1,MCU的大小为8*8，所以每张图片水平方向MCU的个数为X＝a/(8x2)，垂直方向MCU的个数为Y＝b/(2x8)，如果没有整除，则必须取整并加1，即X’＝[X]+1，Y’＝[Y]+1，用来补偿整数个MCU，得到整张图片MCU的个数。
上述S3具体步骤可参见图3，具体为：
S31、对MCU系数矩阵进行反量化处理，得到反量化矩阵；
S32、对反量化矩阵进行反Zig-zag扫描，得到数据矩阵F；
S33、对数据矩阵F进行DCT逆处理，得到DCT逆处理的数据矩阵F，基于此得到交通信号灯图片的RGB值。
对步骤S33中的DCT逆处理进行如下说明：
传统的DCT逆变换的计算公式为：
Figure BDA0003487365270000061
其中，当u，v＝0时，
Figure BDA0003487365270000062
当
Figure BDA0003487365270000063
时，c(u)，c(v)＝1
但按照定义展开，效率低下，所以可以使用改进后的DCT逆变换的公式：
f＝AτFA
其中，
Figure BDA0003487365270000064
该矩阵A是按照DCT变换的定义得到的，是一个常数矩阵。为了方便计算，提取出矩阵A用来改进算法。按照定义展开效率低下，提取出矩阵A可以方便计算。故，以上公式可以进行如下变形：
Y＝FA
f＝ATY
fT＝(ATY)T＝YTA
即将传统的DCT逆变换改进为，对数据矩阵F进行DCT逆处理，包括：将数据矩阵F与矩阵A相乘，得到矩阵Y；将矩阵Y进行转秩，得到YT；将YT与矩阵A相乘，得到fT；将fT进行转秩，得到经DCT逆处理的数据矩阵F，即得到数据矩阵f。
上述步骤S4具体可参见图4，具体步骤为：
S41、根据交通信号灯图片中信号灯的位置，确定三个宏块；
S42、对第一个宏块的RGB值进行判断：若第一个宏块的RGB值为：R>230，G<160，B<160，则当前时刻交通信号灯为红色；否则执行S53；
S43、对第二个宏块的RGB值进行判断：若第二个宏块的RGB值为：R>230，G>200，B<160，则当前时刻交通信号灯为黄色；否则执行S54；
S44、对第三个宏块的RGB值进行判断：若第三个宏块的RGB值为：R<150，G>230，B>230，则当前时刻交通信号灯为绿色；否则交通信号灯出现异常。
在该步骤中，具体通过one-hot编码来判断交通信号灯是否正常，具体说明如下：
电脑无法理解非数字类的数据，one-hot编码可以将分类数据转换成统一的数字格式，解决了计算机不好处理属性数据的问题，在一定程度上也起到了扩充特征的作用，它的值只有0和1，不同的类型存储在垂直的空间。通过one-hot编码，可以将交通信号灯实时识别后的特征转化为二进制特征，如下表所示：
红 黄 绿 异常情况
红 1 0 0 0
黄 0 1 0 0
绿 0 0 1 0
异常情况 0 0 0 1
通过进行one-hot编码，可以使识别结果更加清晰明了，红灯为(1，0，0，0)、黄灯为(0，1，0，0)，绿灯为(0，0，1，0)，异常情况为(0，0，0，1)因为交通信号灯正常工作时，任意时刻都是有且只有一种颜色：红或绿或黄；若出现其他情况，都按照异常情况处理，这样识别结果一共有四种，可以用四个方向向量表示，相当于对识别情况进行人为编码，一旦出现故障，则上传故障码给交通指挥部门；没有故障则上传信号灯颜色编码给车端。
参见图5所示，本发明实施例还提供了一种车路协同路端设备，应用上述的交通信号灯识别方法；该设备包括第一摄像头、第二摄像头和工控机；其中，第一摄像头安装在路端，用于采集道路图片，并将道路图片发送至工控机；工控机通过该道路图片来判断道路上是否有车辆经过，若有，则安装在交通信号灯周围的第二摄像头开始采集交通信号灯图片，并将交通信号灯图片发送给工控机；此时工控机将交通信号灯图片保存为JPEG图像；读取JPEG图像的字段，获得MCU系数矩阵；对MCU系数矩阵进行解码计算，获得交通信号灯图片的RGB值；根据RGB值确定交通信号灯图片中交通信号灯的颜色，以及判断交通信号灯是否存在异常。若正常，则工控机通过路由设备将信号灯颜色编码发送给车端，并控制车端进行行驶或制动；若异常，则工控机通过路由设备向交通指挥部门上报交通信号灯异常，并控制车端进行刹车制动；为交通指挥部门工作的顺利开展提供助力。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种交通信号灯识别方法，其特征在于，包括：
S1、获取交通信号灯图片，将所述交通信号灯图片保存为JPEG图像；
S2、读取所述JPEG图像的字段，获得MCU系数矩阵；
S3、对所述MCU系数矩阵进行解码计算，获得所述交通信号灯图片的RGB值；
S4、根据所述RGB值确定所述交通信号灯图片中交通信号灯的颜色，以及判断所述交通信号灯是否存在异常。
2.如权利要求1所述的一种交通信号灯识别方法，其特征在于，所述S2中，JPEG图像的字段，包括：SOI字段、数据帧和EOI字段；
所述读取JPEG图像的字段，从读取SOI字段开始，到EOI字段结束；
所述数据帧包括图像信息识别、量化表、帧开始、Huffman表和扫描行开始；
读取所述Huffman表，并构建Huffman树；对所述量化表中的AC系数和DC系数进行Huffman解码，得到MCU系数矩阵。
3.如权利要求1所述的一种交通信号灯识别方法，其特征在于，所述S3具体包括：
S31、对所述MCU系数矩阵进行反量化处理，得到反量化矩阵；
S32、对所述反量化矩阵进行反Zig-zag扫描，得到数据矩阵F；
S33、对所述数据矩阵F进行DCT逆处理，得到DCT逆处理的数据矩阵F，基于此得到所述交通信号灯图片的RGB值。
4.如权利要求3所述的一种交通信号灯识别方法，其特征在于，所述S33中对数据矩阵F进行DCT逆处理，包括：
将数据矩阵F与矩阵A相乘，得到矩阵Y；
将所述矩阵Y进行转秩，得到YT；
将YT与矩阵A相乘，得到fT；
将所述fT进行转秩，得到经DCT逆处理的数据矩阵F，即得到数据矩阵f。
5.如权利要求1所述的一种交通信号灯识别方法，其特征在于，所述S4具体包括：
S41、根据所述交通信号灯图片中信号灯的位置，确定三个宏块；
S42、对第一个宏块的RGB值进行判断：若第一个宏块的RGB值为：R>230，G<160，B<160，则当前时刻交通信号灯为红色；否则执行S53；
S43、对第二个宏块的RGB值进行判断：若第二个宏块的RGB值为：R>230，G>200，B<160，则当前时刻交通信号灯为黄色；否则执行S54；
S44、对第三个宏块的RGB值进行判断：若第三个宏块的RGB值为：R<150，G>230，B>230，则当前时刻交通信号灯为绿色；否则交通信号灯出现异常。
6.一种车路协同路端设备，其特征在于，应用上述权利要求1-5任一项所述的方法；该车路协同路端设备包括：第二摄像头和工控机；
所述第二摄像头，安装在交通信号灯周围，用于采集交通信号灯图片，并将所述交通信号灯图片发送给所述工控机；
所述工控机用于将所述交通信号灯图片保存为JPEG图像；读取所述JPEG图像的字段，获得MCU系数矩阵；对所述MCU系数矩阵进行解码计算，获得所述交通信号灯图片的RGB值；根据所述RGB值确定所述交通信号灯图片中交通信号灯的颜色，以及判断所述交通信号灯是否存在异常。
7.如权利要求6所述的一种交通信号灯识别方法，其特征在于，还包括第一摄像头；
所述第一摄像头安装在路端，用于采集道路图片，并将所述道路图片发送至所述工控机；
所述工控机根据所述道路图片，判断道路上是否存在车辆；当道路上存在车辆时，则所述工控机控制所述第二摄像头采集交通信号灯图片。
8.如权利要求6所述的一种交通信号灯识别方法，其特征在于，所述工控机通过无线设备与道路上的车辆通信连接，用于将交通信号灯颜色编码发送至所述车辆。
CN202210087128.0A 2022-01-25 2022-01-25 一种交通信号灯识别方法及车路协同路端设备 Pending CN114399917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210087128.0A CN114399917A (zh) 2022-01-25 2022-01-25 一种交通信号灯识别方法及车路协同路端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210087128.0A CN114399917A (zh) 2022-01-25 2022-01-25 一种交通信号灯识别方法及车路协同路端设备

Publications (1)

Publication Number Publication Date
CN114399917A true CN114399917A (zh) 2022-04-26

Family

ID=81232573

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210087128.0A Pending CN114399917A (zh) 2022-01-25 2022-01-25 一种交通信号灯识别方法及车路协同路端设备

Country Status (1)

Country Link
CN (1) CN114399917A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686390A (zh) * 2008-09-24 2010-03-31 安凯（广州）软件技术有限公司 用于嵌入式系统的渐进模式jpeg图像分段解码方法
CN108335509A (zh) * 2018-03-16 2018-07-27 北京航空航天大学 一种基于机器视觉的车路协同系统和方法
CN108335510A (zh) * 2018-03-21 2018-07-27 北京百度网讯科技有限公司 交通信号灯识别方法、装置及设备
CN110533940A (zh) * 2019-08-15 2019-12-03 北京百度网讯科技有限公司 异常交通信号灯识别的方法、装置、设备和计算机存储介质
CN113408409A (zh) * 2021-06-17 2021-09-17 阿波罗智联(北京)科技有限公司 交通信号灯识别方法、设备、云控平台和车路协同系统
CN113658441A (zh) * 2021-07-08 2021-11-16 江苏大学 一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101686390A (zh) * 2008-09-24 2010-03-31 安凯（广州）软件技术有限公司 用于嵌入式系统的渐进模式jpeg图像分段解码方法
CN108335509A (zh) * 2018-03-16 2018-07-27 北京航空航天大学 一种基于机器视觉的车路协同系统和方法
CN108335510A (zh) * 2018-03-21 2018-07-27 北京百度网讯科技有限公司 交通信号灯识别方法、装置及设备
CN110533940A (zh) * 2019-08-15 2019-12-03 北京百度网讯科技有限公司 异常交通信号灯识别的方法、装置、设备和计算机存储介质
CN113408409A (zh) * 2021-06-17 2021-09-17 阿波罗智联(北京)科技有限公司 交通信号灯识别方法、设备、云控平台和车路协同系统
CN113658441A (zh) * 2021-07-08 2021-11-16 江苏大学 一种面向自动驾驶的高灵活性可变视角路侧感知装置及超视距感知方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
温子祺 等: "ARM Cortex-M4 微控制器原理与实践", 北京航空航天大学出版社, pages: 32 *

Similar Documents

Publication Publication Date Title
CN101710995B (zh) 基于视觉特性的视频编码系统
CN101454990B (zh) 视频压缩方法
CN100542305C (zh) 图像信息编码装置和方法,以及图像信息解码装置和方法
EP2191652B1 (en) A method and an apparatus for processing a video signal
JP3258840B2 (ja) 動画像符号化装置および領域抽出装置
US7668382B2 (en) Block-based fast image compression
CN111355956B (zh) 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法
JP3356663B2 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラムを記録した記録媒体
CN1184820C (zh) 编码和噪声过滤图象序列
CN101267556B (zh) 快速运动估计方法及视频编解码方法
CN105472387A (zh) 处理视频数据的方法和装置
CN101981933A (zh) 用于编码或者解码视频信号的方法和设备
CN101222645A (zh) 图像编码装置、图像解码装置和图像编码方法、图像解码方法
CN108961193B (zh) 一种图像修复方法、装置及存储介质
CN104396245A (zh) 用于对图像进行编码或解码的方法和装置
JP3366231B2 (ja) 離散コサイン変換係数の予測方法
CN103327327A (zh) 用于高性能视频编码hevc的帧间预测编码单元选择方法
CN111586420A (zh) 镜像模板匹配帧内预测方法、装置及视频解码方法、装置
JP2003274428A (ja) 符号化動画像変換装置
CN114399917A (zh) 一种交通信号灯识别方法及车路协同路端设备
CN111510731A (zh) 交通图像的拼接系统及方法
KR20110016408A (ko) 데이터 처리 장치 및 데이터 처리 방법
CN116112694B (zh) 一种应用于模型训练的视频数据编码方法及系统
CN115643404A (zh) 一种基于混合深度学习的图像处理方法、装置和系统
CN113784147B (zh) 一种基于卷积神经网络的高效视频编码方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220426