CN112101147A - 车载智能识别检测系统 - Google Patents
车载智能识别检测系统 Download PDFInfo
- Publication number
- CN112101147A CN112101147A CN202010888319.8A CN202010888319A CN112101147A CN 112101147 A CN112101147 A CN 112101147A CN 202010888319 A CN202010888319 A CN 202010888319A CN 112101147 A CN112101147 A CN 112101147A
- Authority
- CN
- China
- Prior art keywords
- recognition
- vehicle
- image
- identification
- traffic sign
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 230000007246 mechanism Effects 0.000 claims abstract description 21
- 230000003595 spectral effect Effects 0.000 claims abstract description 21
- 238000005286 illumination Methods 0.000 claims abstract description 16
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种车载智能识别检测系统，包括车载摄像头(1)、光照传感器(2)、识别检测单元(3)和输出模块(4)；在识别检测单元(3)中设置有图像识别模型，光照传感器(2)与识别检测单元(3)连接，将车辆前方环境光谱辐照度信息传递至识别检测单元(3)，图像识别模型中设置有注意力机制，识别检测单元(3)根据光谱辐照度信息、车载摄像头参数、车载大灯参数确定逆反射体亮度与背景亮度，将逆反射体亮度与背景亮度为注意力机制的参数。本发明公开的车载智能识别检测系统，利用交通标志牌逆反射体特性，获取交通标志牌与背景存在明显亮度差异的图像，提高了识别准确率和识别速度，将晃动量作为模型的输入条件，提高了识别速度和识别准确性。
Description
技术领域
本发明涉及一种车载智能识别检测系统，属于交通领域。
背景技术
道路交通标志是显示交通法规及道路信息的图形符号，它可使交通法规得到形象、具体、简明的表达，同时还表达了难以用文字描述的内容，用以管理交通、指示行车方向以保证道路畅通与行车安全的设施，适用于公路、城市道路以及一切专用公路，具有法令的性质，车辆、行人都必须遵守。
而司机在开车时，常常忽视道路交通标志，出现违法违规情况而不知，造成事故率上升，直接产生大量的人身伤害和财产损失，所以提示司机注意道路交通标志具有重要意义。
随着智能网络和汽车工业的发展,自动驾驶成为各行各业关注的焦点，成为未来出行的趋势，同样需要自动驾驶车辆能够识别道路交通标志。
传统的交通标志识别，往往依赖网络信号或卫星信号，在信号不佳的地方容易出现识别失败，严重影响行车安全。
现有技术中还有利用摄像头拍摄图片进行人工智能识别的方法，大都是基于图片的本身进行识别，由于图像背景复杂，数据处理量大，识别速度慢，不能很好的满足使用要求，并且受到不同光线环境影响，导致在弱光和强光下识别准确度低。
现有技术中还有通过对图像进行灰度、二值化的方法减少数据处理量，完成交通标志识别的方法，但是此种方法会丢失图像中大量的细节，导致识别率不高。
此外，现有技术中对晃动产生的图像模糊，一般通过对图像直接进行降噪处理降低模糊度，或者完全不考虑模糊度，直接进行识别，导致识别精度不足，在坑洼不平路段，车辆晃动明显，或者车辆动力异常摄像头拍摄画面抖动明显时，会造成识别速度变慢，识别度进一步降低，甚至无法识别的现象。
因此，有必要设计一种受光线干扰小，受路况和车辆状态影响小，能够快速识别道路交通标志的车载智能识别检测系统。
发明内容
为了克服上述问题，本发明人进行了锐意研究，设计出一种车载智能识别检测系统，包括车载摄像头1、识别检测单元3和输出模块4；
所述车载摄像头1安装在汽车前端，用于拍摄汽车前方图像，并将图像传递至识别检测单元3；
在识别检测单元3中设置有图像识别模块31，通过图像识别模块31对车载摄像头1拍摄的图像进行分析识别，将识别结果传递至输出模块4。
所述识别模块31中设置有图像识别模型，所述图像识别模型为神经网络模型。
所述系统包括光照传感器2，光照传感器2与识别检测单元3连接，将车辆前方环境光谱辐照度信息传递至识别检测单元3；
图像识别模型中设置有注意力机制；
识别检测单元3根据光谱辐照度信息、车载摄像头参数、车载大灯参数确定逆反射体亮度与背景亮度，将逆反射体亮度与背景亮度为注意力机制的参数。
在所述识别检测单元3中还设置有晃动检测模块32，以检测车辆的晃动量。
所述晃动检测模块32通过车载摄像头1拍摄的连续帧图像测算不同帧图像的晃动量和车辆到交通标志的距离，并将晃动量和车辆到交通标志的距离传递至识别模块31，与车载摄像头1拍摄的图像一起作为图像识别模型的输入参数。
优选地，所述识别模块31包括粗识别子模块311和精确识别子模块312，
所述粗识别子模块311用于确定图像中是否有交通标志牌，若存在交通标志牌，将图像中交通标志牌对应区域信息传递至精确识别子模块312；
所述精确识别子模块312用于识别交通标志牌的含义。
另一方面，本发明还提供了一种车载智能识别检测方法，包括以下步骤:
S1、获取图像和环境光谱辐照度信息；
S2、对图像和环境光谱辐照度信息进行分析识别，获得识别结果；
S3、将识别结果输出。
进一步地，在步骤S2中，建立有图像识别模型，所述图像识别模型为神经网络模型，在图像识别模型中设置注意力机制，将逆反射体亮度与背景亮度作为注意力机制的参数。
优选地，所述图像识别模型包括粗识别子模型和精确识别子模型，所述粗识别子模型与精确识别子模型都为CNN模型，通过粗识别子模型初步判断图像中是否有交通标志牌，通过精确识别子模型识别具有交通标识牌的图像中交通标识牌的具体含义。
在一个优选的实施方式中，将图像拍摄时的晃动量、车辆到交通标志的距离和粗识别子模型识别的疑似交通标志区域的图像作为精确识别子模型的输入。
本发明所述的车载智能识别检测系统，具有的有益效果包括：
(1)根据本发明提供的车载智能识别检测系统，利用交通标志牌逆反射体和背景底板成像亮度差异提高识别准确率和识别速度；
(2)根据本发明提供的车载智能识别检测系统，将晃动量作为模型的输入条件，提高了识别速度和识别准确性；
(3)根据本发明提供的车载智能识别检测系统，将图像识别过程拆解成初步判断和精确识别过程，极大降低了识别过程的计算量，提高了识别速度。
附图说明
图1示出一种优选实施方式的车载智能识别系统示意图；
图2示出一种优选实施方式的车载智能识别系统流程示意图。
附图标记
1-车载摄像头；
2-光照传感器；
3-识别检测单元；
4-输出模块；
31-识别模块；
32-晃动检测模块；
311-粗识别子模块；
312-精确识别子模块。
具体实施方式
下面通过附图对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
一方面，本发明提供了一种车载智能识别检测系统，用于识别交通标志牌，如图1所示，包括车载摄像头1、光照传感器2、识别检测单元3和输出模块4。
所述车载摄像头1安装在汽车前端，用于拍摄汽车前方图像，并将图像传递至识别检测单元3。
在识别检测单元3中设置有图像识别模块31，通过图像识别模块31对车载摄像头1拍摄的图像进行分析识别，将识别结果传递至输出模块4。
所述识别结果是指交通标志牌的位置信息和几何信息；所述交通标志位置信息的含义，是指交通标志牌的垂直高度、相对于路肩的横向距离、相对于车辆的纵向距离等信息；所属交通标志牌几何信息的含义，是指交通标志牌的几何形状及逆反射体轴信息。
所述输出模块4用于将识别检测单元3的识别结果反馈给司机或者车载电脑。
在一个优选的实施方式中，所述输出模块4具有语音功能，通过语音提示司机。
所述识别模块31中设置有图像识别模型，所述图像识别模型优选为神经网络模型，更优选为CNN模型，其对图像处理速度快、准确率较高。
交通标志牌，都是按照标准制作的，包括背景底板和逆反射体，其中逆反射体为交通标志反光膜，当光源照射标志时，通过在光源附近的摄像机拍摄，能够得到标志板与背景存在明显亮度不同的成像。
传统的识别模块，并没有考虑交通标志牌具有的背景底板和逆反射体的特点，仅仅通过对图像进行分析识别，虽然能够完成识别，但是受到环境光不同的影响，需要处理的数据量较大，导致识别速度较慢，甚至在环境光极差的条件下，容易识别错误。
在本发明中，还设置有光照传感器2，光照传感器2与识别检测单元3连接，将环境光谱辐照度信息传递至识别检测单元3，在识别模块31中的图像识别模型中增加注意力机制，根据光谱辐照度信息、车载摄像头参数、车载大灯参数确定逆反射体亮度与背景亮度，进而将逆反射体亮度与背景亮度作为注意力机制的参数，降低数据处理量，从而提高识别准确度并加快图像识别速度。
所述光照传感器2安装在汽车外部，优选安装在汽车的顶端，避免在阳光照射角度低时，汽车遮挡光照传感器2的现象。
在本发明中，对光照传感器2的型号不做特别限定，优选量程满足0～20万勒克斯的光照传感器，可以具有多个，实现对不同时间阳光和其它光的照射强度的全覆盖检测。
由于车辆为行驶状态，必然具有振动，车载摄像头1拍摄的图像会存在晃动，传统的做法是通过对图像直接进行降噪处理降低模糊度，或者完全不考虑模糊度，直接进行识别，导致识别精度不足，在坑洼不平路段，车辆晃动明显，或者车辆动力异常摄像头拍摄画面抖动明显时，会造成识别速度变慢，识别度进一步降低，甚至无法识别的现象。
根据本发明一个优选的实施方式，在所述识别检测单元3中还设置有晃动检测模块32，所述晃动检测模块32通过车载摄像头1拍摄的连续帧图像测算不同帧图像的晃动量和车辆到交通标志的距离，并将晃动量和车辆到交通标志的距离信息传递至识别模块31，与图像共同作为图像识别模型的输入参数，以获得更为准确的识别效果。
在一个更优选的实施方式中，所述识别模块31包括粗识别子模块311和精确识别子模块312，所述粗识别子模块311为初步识别交通标志牌，识别精度低，识别速度快，用于确定图像中是否有交通标志牌，若存在交通标志牌，将图像中交通标志牌对应区域传递至精确识别子模块312；所述精确识别子模块312用于精确确定交通标志牌位置信息和几何信息，识别精度高。
优选地，所述粗识别子模块311和精确识别子模块312都为CNN模型，所述粗识别子模块311中的卷积核、步长大于精确识别子模块312，以实现粗识别子模块311快速筛选出疑似交通标志牌区域，精确识别子模块312精确识别区域内交通标志牌的效果。
在一个更优选的实施方式中，所述晃动检测模块32在粗识别子模块311识别出图像中交通标志牌对应区域后通过图像检测振动值，进一步地，通过比对连续多帧图像获得晃动量和车辆到交通标志的距离，具体地，将多帧图像中交通标志牌对应区域的中点作为特征点，将特征点坐标进行拟合，根据拟合结果获得下一帧图像中特征点的预测坐标，将下一帧图像中特征点实际坐标与预测坐标比对，获得坐标偏差向量，将此坐标偏差向量作为晃动量。
更进一步地，晃动检测模块32与车载计算机相连，获取汽车速度，根据连续多帧图像的交通标志牌对应区域大小变化和汽车速度即可计算出车辆到交通标志的距离。
另一方面，本发明提供了一种车载智能识别检测方法，通过对车载摄像头拍摄的图像进行识别检测，确定车辆前方是否有交通标志牌，若存在交通标志牌，则将交通标志牌位置信息和几何信息输出。
具体地，包括以下步骤，如图2所示:
S1、获取图像和环境光谱辐照度信息；
S2、对图像和环境光谱辐照度信息进行分析识别，获得识别结果；
S3、将识别结果输出。
在步骤S1中，所述图像通过车载摄像头获得，所述环境光谱辐照度信息通过光照传感器获得。
传统的交通标志牌识别，往往仅对图像进行分析识别，此种分析识别方式，是将交通标志牌当成一般的景物，并没有考虑交通标志牌背景底板和逆反射体的特性，更没有利用交通标志牌背景底板和逆反射体的特性来降低分析难度，提高准确度。
在步骤S2中，建立有图像识别模型，通过图像识别模型分析图像。
进一步地，所述图像识别模型为神经网络模型，优选为CNN模型，CNN模型具有图像处理速度快、准确率高的优点，广泛用于图像处理分析中。
更进一步地，所述图像识别模型以摄像头拍摄的图像作为图像识别模型的输入，将交通标志牌的位置信息或交通标志牌的几何信息作为输出。
传统的交通标志牌的图像识别，常将图片进行灰度处理，在处理后进行识别，通过灰度处理，将图片变成单通道，虽然其图片迭代效果更快，但干扰信息会增多，导致识别率低下。
交通标志牌的逆反射体亮度与背景亮度差异度是很大的，如何将这种差异度应用在交通标志牌的识别上，使得图像识别模型更快的注意到图像中的交通标志牌，主动忽视掉其它背景图像是本发明的难点所在。
发明人通过锐意研究，在图像识别模型中设置注意力机制，将逆反射体亮度与背景亮度作为注意力机制的参数，从而实现交通标志牌的快速识别。
所述注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中，其可以根据具体任务目标，对模型关注的方向进行加权调整，使得模型更关注部分内容，可以附着在多种神经网络模型下。
进一步地，逆反射体亮度与背景亮度并不是一个定值，而是随着光环境的变化而变化，发明人通过大量研究发现，光谱辐照度信息、阳光照射角度对逆反射体亮度与背景亮度有较大影响，通过对光谱辐照度信息的即可快速估算出当前光环境下逆反射体亮度与背景亮度值。
此外，逆反射体亮度与背景亮度还与使用的摄像头以及车载大灯有关，具体地，发明人通过研究，提出逆反射体亮度可通过下式表示：
背景亮度可通过下式表示：
其中，Ad是摄像头CCD像元的探测器面积，t是单帧图像曝光时长，r(γ)为摄像头光谱响应函数，G为摄像头放大增益系数，F为摄像头相对孔孔径的倒数，τ0为摄像头光学系统的透过率，N表示摄像头暗电流噪声、读出噪声、量化噪声和光子噪声的影响，上述参数为摄像头的固有参数，在安装设备头前获得；
Pγ＝0.65，为抛光铝板漫反射的反射比，R2A表示交通标志反光膜的反射系数的回归系数；
c表示摄像头与交通标志牌连线与水平面的夹角，d表示摄像头与交通标志牌之间的距离，均通过摄像头拍摄的连续图片中交通标志牌位置变化与汽车速度计算得到；
E1γ表示车载大灯的光谱辐照度，根据汽车车载大灯型号获得，当汽车未开车灯时，其为0；E2γ表示其它光的光谱辐照度，通过光照传感器获得；
β2表示阳光相对于汽车前进方向的照射角度，预先将不同日期时间下的阳光在不同地区照射角度录入在模型中，通过查询日期时间和汽车前进方向获得。
在一个优选的实施方式中，所述图像识别模型包括粗识别子模型和精确识别子模型，通过粗识别子模型初步判断图像中是否有交通标志牌，通过精确识别子模型精确识别具有交通标识牌的图像中含有的交通标识牌位置信息和几何信息。
优选地，所述粗识别子模型与精确识别子模型均为CNN模型。
在本发明中，不对粗识别子模型与精确识别子模型中的卷积核、步长、层数、卷积参数等参数做特别限制，本领域技术人员可以根据摄像头的型号合理设置。
进一步地，所述粗识别子模型中的卷积核或步长大于精确识别子模型，使得粗识别子模型能够快速筛选出疑似交通标志区域。
在本发明中，由于所述粗识别子模型不需要过高的识别精度，只需将疑似的交通标志区域标记识别出来，极大降低了粗识别的计算量，提高了识别速度。
进一步地，所述精确识别子模型对疑似交通标志区域进行分析识别，确定疑似交通标志区域是否为交通标志牌，若是交通标志牌，通过识别，获得识别结果。
更进一步地，所述注意力机制应用在精确识别子模型中，使得精确识别子模型识别速度和准确率提高。
通过将图像识别过程拆解成初步判断和精确识别过程，极大降低了识别过程的计算量，提高了识别速度。
发明人发现，虽然在精确识别子模型中增加了注意力机制，使得精确识别子模型更容易识别交通标志牌的逆反射体，提高了识别精度和识别速度，但是当车辆振动时，摄像头拍摄的图像会产生的模糊，模糊图像会使精确识别子模型识别度下降。
对模糊图像的一般处理方法为通过算法对图像进行降噪处理，由于此技术的着眼点完全为图像本身，仅仅通过算法对图像进行还原，无论是还原速度还是还原后的准确度均较差，当其应用在精确识别子模型时，效果并不好。
发明人经过锐意研究，将图像拍摄时的晃动量、车辆到交通标志的距离和图像作为图像识别模型的输入，优选地，将图像拍摄时的晃动量、车辆到交通标志的距离和粗识别子模型识别的疑似交通标志区域的图像作为精确识别子模型的输入。
具体地，所述检测模型还包括晃动检测模型，当粗识别子模型识别的疑似交通标志区域后，将图像传递至晃动检测模型和精确识别子模型，由于摄像头是连续拍摄，所以粗识别子模型传递的图像也是连续帧的。
晃动检测模型将接收到的每一帧图像中交通标志牌对应区域的中点作为特征点，对连续帧中的特征点坐标进行拟合，获得拟合曲线，根据拟合曲线即可预测下一帧图像特征点的坐标，将预测的特征点坐标称为预测坐标。
在下一时刻，当晃动检测模型获得粗识别子模型传递下一帧图像后，将获得图像的特征点坐标与预测坐标进行比对，获得坐标偏差向量，将此坐标偏差向量作为晃动量。
进一步地，晃动检测模型通过车载计算机获取汽车速度，根据根据连续多帧图像的交通标志牌对应区域大小变化和汽车速度即可计算出车辆到交通标志的距离。
在步骤S3中，所述识别结果的输出是指将识别结果输出反馈给驾驶系统，可以是通过语音播报的方式反馈给司机，也可以是通过信号的方式反馈给车载计算机，以方便后续对车辆进行控制。
实施例
实施例1
使用一辆汽车搭载车载智能识别检测系统在一条道路上进行识别测试，测试路段共200个交通标识牌，汽车以60km/h速度匀速行驶，其中，图像识别模型包括粗识别子模型、精确识别子模型和晃动检测模型。
在识别检测过程中，按如下方法进行：
S1、汽车匀速行驶，车载摄像头开启，获取图像和环境光谱辐照度信息；
S2、对图像和环境光谱辐照度信息进行分析识别，获得识别结果；
其中，粗识别子模型对S1中获取的图像进行初步识别，获取疑似交通标志区域的图像；
精确识别子模型的输入为图像拍摄时的晃动量、车辆到交通标志的距离和疑似交通标志区域的图像；在精确识别子模型中设置有注意力机制，注意力机制的参数为逆反射体亮度与背景亮度。
S3、将识别结果输出。
使用车载计算机记录识别的交通标志牌的含义以及识别时距离交通标志牌的距离，识别结果如表一所示。
实施例2
与实施例1相同设置，区别在于，不设置粗识别子模型，识别结果如表一所示。
实施例3
与实施例1相同设置，区别在于，不设置晃动检测模型，识别结果如表一所示。
实施例4
与实施例1相同设置，区别在于，不设置注意力机制，识别结果如表一所示。
对比例1
使用与实施例1相同的汽车，在相同道路上进行测试，图像识别模型采用经典的深度神经网络LeNet架构，将图像分别进行图片灰度处理后通过LeNet架构识别，识别结果如表一所示。
实验例1
识别出的交通标志数量代表了模型从复杂背景中辨识出交通标志牌的能力；
交通标志识别正确数量代表了模型正确获取交通标志牌中信息的能力；
识别交通标志牌时，汽车距离交通标志距离代表了模型识别的速度。
表一
根据表一，从实施例1和对比例1的结果可以看出，采用图片灰度处理后通过LeNet架构识别(对比例1)的识别方式，虽然识别速度较快，但识别准确度明显不足。
从实施例1～4的结果可以看出，粗识别子模型的设置能够极大提高模型的识别速度，晃动模块和注意力机制的设置极大影响识别准确率和识别速度。
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”和“外”等指示的方位或位置关系为基于本发明工作状态下的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。
Claims (10)
1.一种车载智能识别检测系统，包括车载摄像头(1)、识别检测单元(3)和输出模块(4)；
所述车载摄像头(1)安装在汽车前端，用于拍摄汽车前方图像，并将图像传递至识别检测单元(3)；
在识别检测单元(3)中设置有图像识别模块(31)，通过图像识别模块(31)对车载摄像头(1)拍摄的图像进行分析识别，将识别结果传递至输出模块(4)。
2.根据权利要求1所述的车载智能识别检测系统，其特征在于，
所述识别模块(31)中设置有图像识别模型，所述图像识别模型为神经网络模型。
3.根据权利要求2所述的车载智能识别检测系统，其特征在于，
所述系统包括光照传感器(2)，光照传感器(2)与识别检测单元(3)连接，将车辆前方环境光谱辐照度信息传递至识别检测单元(3)；
图像识别模型中设置有注意力机制；
识别检测单元(3)根据光谱辐照度信息、车载摄像头参数、车载大灯参数确定逆反射体亮度与背景亮度，将逆反射体亮度与背景亮度为注意力机制的参数。
4.根据权利要求1所述的车载智能识别检测系统，其特征在于，
在所述识别检测单元(3)中还设置有晃动检测模块(32)，以检测车辆的晃动量。
5.根据权利要求4所述的车载智能识别检测系统，其特征在于，
所述晃动检测模块(32)通过车载摄像头(1)拍摄的连续帧图像测算不同帧图像的晃动量和车辆到交通标志的距离，并将晃动量和车辆到交通标志的距离传递至识别模块(31)，与车载摄像头(1)拍摄的图像一起作为图像识别模型的输入参数。
6.根据权利要求1所述的车载智能识别检测系统，其特征在于，
所述识别模块(31)包括粗识别子模块(311)和精确识别子模块(312)，
所述粗识别子模块(311)用于确定图像中是否有交通标志牌，若存在交通标志牌，将图像中交通标志牌对应区域信息传递至精确识别子模块(312)；
所述精确识别子模块(312)用于识别交通标志牌的含义。
7.一种车载智能识别检测方法，包括以下步骤:
S1、获取图像和环境光谱辐照度信息；
S2、对图像和环境光谱辐照度信息进行分析识别，获得识别结果；
S3、将识别结果输出。
8.根据权利要求7所述的车载智能识别检测方法，其特征在于，
在步骤S2中，建立有图像识别模型，所述图像识别模型为神经网络模型，在图像识别模型中设置注意力机制，将逆反射体亮度与背景亮度作为注意力机制的参数。
9.根据权利要求8所述的车载智能识别检测方法，其特征在于，
所述图像识别模型包括粗识别子模型和精确识别子模型，所述粗识别子模型与精确识别子模型都为CNN模型，通过粗识别子模型初步判断图像中是否有交通标志牌，通过精确识别子模型识别具有交通标识牌的图像中交通标识牌的具体含义。
10.根据权利要求8所述的车载智能识别检测方法，其特征在于，
将图像拍摄时的晃动量、车辆到交通标志的距离和粗识别子模型识别的疑似交通标志区域的图像作为精确识别子模型的输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010888319.8A CN112101147A (zh) | 2020-08-28 | 2020-08-28 | 车载智能识别检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010888319.8A CN112101147A (zh) | 2020-08-28 | 2020-08-28 | 车载智能识别检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112101147A true CN112101147A (zh) | 2020-12-18 |
Family
ID=73758452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010888319.8A Pending CN112101147A (zh) | 2020-08-28 | 2020-08-28 | 车载智能识别检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112101147A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076800A (zh) * | 2021-03-03 | 2021-07-06 | 惠州市博实结科技有限公司 | 一种道路标志牌检测方法及装置 |
| CN113847944A (zh) * | 2021-09-14 | 2021-12-28 | 石家庄铁道大学 | 一种基于增强学习记忆控制的道路病害检测装置及方法 |
| CN116723401A (zh) * | 2023-08-11 | 2023-09-08 | 深圳金语科技有限公司 | 一种流媒体后视镜图像抖动补偿方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544633A (zh) * | 2017-09-22 | 2019-03-29 | 华为技术有限公司 | 目标测距方法、装置及设备 |
| US20190163994A1 (en) * | 2017-11-28 | 2019-05-30 | Kabushiki Kaisha Toshiba | Image feature emphasis device, road surface feature analysis device, image feature emphasis method, and road surface feature analysis method |
| CN110261928A (zh) * | 2019-05-07 | 2019-09-20 | 中国人民解放军国防科技大学 | 一种非均匀光的逆反射体检测方法 |
| CN110659550A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 交通标志牌识别方法、装置、计算机设备和存储介质 |
| CN111477013A (zh) * | 2020-04-01 | 2020-07-31 | 清华大学苏州汽车研究院（吴江） | 一种基于地图影像的车辆测量方法 |
-
2020
- 2020-08-28 CN CN202010888319.8A patent/CN112101147A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544633A (zh) * | 2017-09-22 | 2019-03-29 | 华为技术有限公司 | 目标测距方法、装置及设备 |
| US20190163994A1 (en) * | 2017-11-28 | 2019-05-30 | Kabushiki Kaisha Toshiba | Image feature emphasis device, road surface feature analysis device, image feature emphasis method, and road surface feature analysis method |
| CN110659550A (zh) * | 2018-06-29 | 2020-01-07 | 比亚迪股份有限公司 | 交通标志牌识别方法、装置、计算机设备和存储介质 |
| CN110261928A (zh) * | 2019-05-07 | 2019-09-20 | 中国人民解放军国防科技大学 | 一种非均匀光的逆反射体检测方法 |
| CN111477013A (zh) * | 2020-04-01 | 2020-07-31 | 清华大学苏州汽车研究院（吴江） | 一种基于地图影像的车辆测量方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113076800A (zh) * | 2021-03-03 | 2021-07-06 | 惠州市博实结科技有限公司 | 一种道路标志牌检测方法及装置 |
| CN113847944A (zh) * | 2021-09-14 | 2021-12-28 | 石家庄铁道大学 | 一种基于增强学习记忆控制的道路病害检测装置及方法 |
| CN113847944B (zh) * | 2021-09-14 | 2024-02-02 | 石家庄铁道大学 | 一种基于增强学习记忆控制的道路病害检测装置及方法 |
| CN116723401A (zh) * | 2023-08-11 | 2023-09-08 | 深圳金语科技有限公司 | 一种流媒体后视镜图像抖动补偿方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108515909B (zh) | 一种汽车抬头显示系统及其障碍物提示方法 | |
| CN112101147A (zh) | 车载智能识别检测系统 | |
| US8924078B2 (en) | Image acquisition and processing system for vehicle equipment control | |
| US7881839B2 (en) | Image acquisition and processing systems for vehicle equipment control | |
| US8995723B2 (en) | Detecting and recognizing traffic signs | |
| US7957559B2 (en) | Apparatus and system for recognizing environment surrounding vehicle | |
| US8786697B2 (en) | Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device | |
| US7366325B2 (en) | Moving object detection using low illumination depth capable computer vision | |
| US8077921B2 (en) | Apparatus for determining the presence of fog using image obtained by vehicle-mounted imaging device | |
| KR101688695B1 (ko) | 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 | |
| US20110184895A1 (en) | Traffic object recognition system, method for recognizing a traffic object, and method for setting up a traffic object recognition system | |
| US20080285799A1 (en) | Apparatus and method for detecting obstacle through stereovision | |
| US20030190058A1 (en) | Apparatus and method for measuring queue length of vehicles | |
| US20120147187A1 (en) | Vehicle detection device and vehicle detection method | |
| CN110135235B (zh) | 一种眩光处理方法、装置及车辆 | |
| CN108229447B (zh) | 一种基于视频流的远光灯检测方法 | |
| CN114266993A (zh) | 一种基于图像的道路环境检测方法及装置 | |
| KR101276073B1 (ko) | 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법 | |
| CN111332306A (zh) | 一种基于机器视觉的交通道路感知辅助驾驶预警装置 | |
| CN117325804A (zh) | 一种摄像头的自动除雾方法、装置、设备和介质 | |
| JP2007018451A (ja) | 道路区画線検出装置 | |
| CN106991415A (zh) | 用于车载鱼眼相机的图像处理方法和装置 | |
| CN112071078B (zh) | 交通工程环境智能检测系统 | |
| CN111626078A (zh) | 识别车道线的方法及装置 | |
| US20220014674A1 (en) | Imaging system and image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |