CN114821529A - 一种用于智能汽车的视觉检测系统、方法及装置 - Google Patents

一种用于智能汽车的视觉检测系统、方法及装置 Download PDF

Info

Publication number
CN114821529A
CN114821529A CN202210420127.3A CN202210420127A CN114821529A CN 114821529 A CN114821529 A CN 114821529A CN 202210420127 A CN202210420127 A CN 202210420127A CN 114821529 A CN114821529 A CN 114821529A
Authority
CN
China
Prior art keywords
image
original
information
target object
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210420127.3A
Other languages
English (en)
Inventor
吴逸飞
赵峥
高峰
鲍晨凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bestar Holding Co ltd
Original Assignee
Bestar Holding Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bestar Holding Co ltd filed Critical Bestar Holding Co ltd
Priority to CN202210420127.3A priority Critical patent/CN114821529A/zh
Publication of CN114821529A publication Critical patent/CN114821529A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种用于智能汽车的视觉检测系统、方法及装置，属于智能汽车车载系统领域；本发明通过构建检测模型，在工作中，通过传感器单元获取目标物体数据并传输至图像识别模型中，检测模型进行对接收到的目标物体数据进行图像处理以及特征提出，并输出检测结果，根据检测结果进行判定目标物体是否构成危险，并将图像数据和判定结果传输至汽车显示屏和语音播报装置上，从而提醒驾驶者，并进行物体跟踪，同时本发明红外传感器采用16×16单元的SMD红外阵列传感器和集成透镜的晶体管封装技术实现了在低照度环境下高清晰度的红外成像，从而本发明可以实现汽车在恶劣天气下的目标物体准确图像采集、分析和跟踪，从而保证驾者的安全。

Description

一种用于智能汽车的视觉检测系统、方法及装置
技术领域
本发明涉及一种用于智能汽车的视觉检测系统、方法及装置，属于智能汽车车载系统领域。
背景技术
自动驾驶辅助技术(ADAS)是利用安装在车上的各式各样传感器，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性，驾驶辅助系统有车道保持辅助系统、自动泊车辅助系统、刹车辅助系统、倒车辅助系统和行车辅助系统；
汽车在行驶时，需要进行道路上的避障和安全检测工作，从而需要进行图像采集工作，但现有技术中汽车图像采集多采用摄像头和红外传感器，但在恶劣天气条件下，如雾霾或雨雪天气下，摄像头所摄取的图像由于被大雾或雨水遮挡，只包含少量异物目标的边缘和纹理信息，模糊不清的边缘信息对异物检测造成极大阻碍，而红外图像能避免大雾的影响显示出异物目标的轮廓，但几乎不含有异物的颜色、纹理信息；从而无法进行准确完整的采集到清楚图像，这样对车载系统在进行图像识别时，会造成很大的障碍，从而导致系统对物体的判别失败，影响驾驶者的安全。
发明内容
发明目的：提供一种用于智能汽车的视觉检测系统、方法及装置，解决上述提到的无法进行准确完整的采集到清楚图像，这样对车载系统在进行图像识别时，会造成很大的障碍，从而导致系统对物体的判别失败，影响驾驶者的安全问题。
技术方案：第一方面，一种用于智能汽车的视觉检测方法，包括：步骤1、构建用于分析图像数据的检测模型；
步骤2、在工作中，通过传感器单元中的红外传感器和摄像头获取目标物体数据并传输至所述图像识别模型中；
步骤3、所述检测模型进行对接收到的目标物体数据进行图像处理以及特征提出，并输出检测结果；
步骤4、根据检测结果进行判定目标物体是否构成危险，并将图像数据和判定结果传输至汽车显示屏和语音播报装置上，从而提醒驾驶者；
步骤5、根据预设阈值范围，进行实时检测该范围内的目标物体。
在进一步的实施例中，在构建用于分析图像数据的检测模型时，还包括了用于训练所述检测模型的图像训练集和图像存储集；
所述图像训练集和所述图像存储集是为了在前期工作时进行收集图像数据，并根据图像数据进行训练检测模块；所述图像训练集加了目标区域提取网络通过卷积神经网络模型来预测目标可能存在区域，使得目标物体模型区域的提特征取速度明显加快；同时根据收集图像数据进行学习训练，从而调整检测模型；其调整方法是先将在前期工作时收集的图像数据进存储至图像存储集，且图像训练集利用其进行训练目标区域提取网络，并生产ROI；针对ROI利用原域数据集初始化好的网络进行分类与回归训练，此时2个网络未共享参数；从而利用得到的网络训练目标区域提取网络，只调整目标区域提取网络特有的网络层参数，并生成RO2；利用生成的RO2训练网络进行分类与回归,保持共享的卷积层参数固定，至此完成检测模述图像训练集网络的训练。
在进一步的实施例中，在步骤2中，为保证在夜间和恶劣天气下的车辆行驶安全，利用红外传感器和摄像头进行同时采集，并对采集图像进行融合，实现在不同条件下，视觉检测的准确性；对于红外采集图像和摄像头采集图像，需要进行图像处理才能传输至检测模块中；所述图像处理包括以下步骤：
步骤2-1、图像预处理，因为在夜间和恶劣天气下的环境，采集图像会受到光线、雨雾气体的干扰，从而导致采集图像模糊和干扰信息多的情况，所以需要对采集的图像进行去噪和图像增强工作，从而保证图像信息可以得出目标物体信息；
步骤2-2，进行目标物体特征提取；通过对处理后的图像进行分割和特征提取，是指将图像分成若干互不重叠的子区域，使得同一个子区域内的特征具有一定相似性，不同子区域的特征呈现较为明显的差异，从而突出图像中目标物体的信息，并将目标物体信息进行提取，除去其他信息；
步骤2-3，进行图像融合；通过对完成上述步骤的红外图像和摄像头图像进行融合，通过提取两幅图像中各自有效信息并综合处理，最终得到一幅新图像，并将此图像作为检测对象，同时将图像信息发送至检测模型中。
在进一步的实施例中，图像融合工作包括以下步骤：
步骤一：多尺度分解，分别对尺寸，分辨率相同的原图像进行小波分解，可以分别得到各原图像的高频子带和低频子带。
步骤二：低频子带融合，采用加权平均融合的策略对各原图像的低频子带进行融合。
步骤三：高频子带融合，采用绝对值取大融合的策略对各图像的高频子带进行融合，
步骤四：小波重构，采用小波逆变换处理融合后的高频子带和低频子带，得到融合后的图像。
在进一步的实施例中，在进行图像融合工作时，对原图像通过变换分解得到不同层次的变换系数，然后根据区域特性的融合规则来合并这些分解系数，并进行分析分解后低频分量和高频分量的特征，最后对不同层次分别进行逆变换；其中低频分量和高频分量的分解不同，需要先进行获取低频区域和高频区域的区域融合。
在进一步的实施例中，低频区域融合是将变换得到的低频信号中携带了原图像中大量的能量信息，与原图像十分相似，将对低频区域的区域能量进行加权，具体方法如下：
首先选择的邻域窗口大小为3*3，设原红外图像为A，原摄像头图像为B，融合后图像为C，从而可以得出原红外图像为A和原摄像头图像的低频区域匹配度，即：
Figure BDA0003606511470000031
Figure BDA0003606511470000032
上述式中，ω(m，n)表示特定的窗口函数，IA(i，j)和IB(i，j)分别表示原红外图像为A和原摄像头图像为B在坐标(i，j)处的像素值；FA，B表示原红外图像为A和原摄像头图像的低频区域匹配度；
根据原红外图像为A和原摄像头图像B的低频区域匹配度进行计算分解系数，即：
Figure BDA0003606511470000033
上述式中，
Figure BDA0003606511470000034
分别表示原红外图像为A，原摄像头图像为B和融合后图像为C第l层第k个方向子带，α(i，j)加权系数，从而得到低频区域融合后图像的分解系数。
在进一步的实施例中，分解得到的高频子带的分解系数绝对值大小与原图像中亮度变化的剧烈程度成正比，高频信号包含了除低频分量包含的信息以外的全部图像信息，图像中拥有的信息量可由信息熵计算，其数学定义如下：
Figure BDA0003606511470000035
上述式中，i表示高频信号中图像灰度值大小，Pi为i的分布概率，L为灰度值的最高值，可以得出信息熵值越大，表示融合结果拥有的信息量越大，融合质量越理想，进而对高频子带的区域进行加权信息熵，首先采用矩阵划分法，然后分别对各区域计算信息熵，并计算加权信息熵之和，可以得到原红外图像为A中点(i，j)的区域加权信息熵之和，原摄像头图像B中点(i，j)的区域加权信息熵之和，即：
Figure BDA0003606511470000041
α＝1-α(i，j)
上述式中可以得出原红外图像为A的权值和原摄像头图像B的权值，EA表示原红外图像为A中点(i，j)的区域加权信息熵之和，EB表示原摄像头图像B中点(i，j)的区域加权信息熵之和；从而根据权值可以得到处理后高频子带的分解系数。
第二方面，提供一种用于智能汽车的视觉检测系统，包括：
传感器单元，进行对目标物体进行图像采集；
融合单元，进行对采集图像进行预处理和融合工作；
控制单元，利用检测模块进行判定目标物体是否构成危险，并将图像数据和判定结果传输至汽车显示屏和语音播报装置上，从而提醒驾驶者；同时进行物体跟踪工作。
第三方面，提供一种用于智能汽车的视觉检测装置，其特征在于，
摄像头，进行图像采集工作；
红外传感器，采用16×16单元的SMD红外阵列传感器，采用了集成透镜的晶体管封装技术实现了在低照度环境下高清晰度的红外成像；
计算机，用于实现权利要求8中的视觉检测系统。
有益效果：本发明涉及一种用于智能汽车的视觉检测系统、方法及装置，属于智能汽车车载系统领域；本发明通过构建用于分析图像数据的检测模型，在工作中，通过传感器单元中的红外传感器和摄像头获取目标物体数据并传输至所述图像识别模型中，所述检测模型进行对接收到的目标物体数据进行图像处理以及特征提出，并输出检测结果，根据检测结果进行判定目标物体是否构成危险，并将图像数据和判定结果传输至汽车显示屏和语音播报装置上，从而提醒驾驶者；根据预设阈值范围，进行实时检测该范围内的目标物体，同时本发明红外传感器采用16×16单元的SMD红外阵列传感器和集成透镜的晶体管封装技术实现了在低照度环境下高清晰度的红外成像，从而本发明可以实现汽车在恶劣天气下的目标物体准确图像采集、分析和跟踪，从而保证驾者的安全。
附图说明
图1是本发明的工作示意图。
图2是本发明的图像处理流程图。
图3是本发明的图像特征提取示意图。
图4是本发明的图像融合示意图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施；在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
一种用于智能汽车的视觉检测方法，包括：
步骤1、构建用于分析图像数据的检测模型；
步骤2、在工作中，通过传感器单元中的红外传感器和摄像头获取目标物体数据并传输至所述图像识别模型中；
步骤3、所述检测模型进行对接收到的目标物体数据进行图像处理以及特征提出，并输出检测结果；
步骤4、根据检测结果进行判定目标物体是否构成危险，并将图像数据和判定结果传输至汽车显示屏和语音播报装置上，从而提醒驾驶者；
步骤5、根据预设阈值范围，进行实时检测该范围内的目标物体。
在一个实施例中，在构建用于分析图像数据的检测模型时，还包括了用于训练所述检测模型的图像训练集和图像存储集；
所述图像训练集和所述图像存储集是为了在前期工作时进行收集图像数据，并根据图像数据进行训练检测模块；所述图像训练集加了目标区域提取网络通过卷积神经网络模型来预测目标可能存在区域，使得目标物体模型区域的提特征取速度明显加快；同时根据收集图像数据进行学习训练，从而调整检测模型；其调整方法是先将在前期工作时收集的图像数据进存储至图像存储集，且图像训练集利用其进行训练目标区域提取网络，并生产ROI；针对ROI利用原域数据集初始化好的网络进行分类与回归训练，此时2个网络未共享参数；从而利用得到的网络训练目标区域提取网络，只调整目标区域提取网络特有的网络层参数，并生成RO2；利用生成的RO2训练网络进行分类与回归，保持共享的卷积层参数固定，至此完成检测模述图像训练集网络的训练。
在一个实施例中，在步骤2中，为保证在夜间和恶劣天气下的车辆行驶安全，利用红外传感器和摄像头进行同时采集，并对采集图像进行融合，实现在不同条件下，视觉检测的准确性；对于红外采集图像和摄像头采集图像，需要进行图像处理才能传输至检测模块中；所述图像处理包括以下步骤：
步骤2-1、图像预处理，因为在夜间和恶劣天气下的环境，采集图像会受到光线、雨雾气体的干扰，从而导致采集图像模糊和干扰信息多的情况，所以需要对采集的图像进行去噪和图像增强工作，从而保证图像信息可以得出目标物体信息；
步骤2-2，进行目标物体特征提取；通过对处理后的图像进行分割和特征提取，是指将图像分成若干互不重叠的子区域，使得同一个子区域内的特征具有一定相似性，不同子区域的特征呈现较为明显的差异，从而突出图像中目标物体的信息，并将目标物体信息进行提取，除去其他信息；
步骤2-3，进行图像融合；通过对完成上述步骤的红外图像和摄像头图像进行融合，通过提取两幅图像中各自有效信息并综合处理，最终得到一幅新图像，并将此图像作为检测对象，同时将图像信息发送至检测模型中。
实施例1：
具体的，上述方法中图像预处理中包括以下步骤：
第一步、进行图像去噪；红外图像和摄像头图像都具有对比度较低，信噪比低，因此必须对其进行降噪处理，以提高图像质；将红外图像和摄像头图像中某个像素方阵邻域内的像素平均色阶值来作为该像素的替代色阶值，以达到平滑去噪的效果，具体方法如下：
首先分别对原红外图像为A和原摄像头图像为B设定为一幅图像f(x，y)，其像素矩阵大小为M*N，去噪处理后的图像为e(x，y)，滤波算法可用以下数学表达式来描述：
Figure BDA0003606511470000061
上述式中，S是以图像f(x，y)点为中心的邻域的集合，Q是邻域S内包含的所有像素的数量，其中邻域S的选择通常有两种：以单位距离或以单位距离
Figure BDA0003606511470000062
倍为半径为直径，前者形成四点邻域，后者则为八点邻域，由于滤波算法最终使图像中的每个像素都是邻域中各像素值的平均值，可以相对缓和噪声对图像的影响，滤波算法对颗粒噪声的处理相当有效，但同时也出现了因平均作用而引起的模糊现象，模糊程度与邻域半径成正比，为了尽可能减少滤波算法所带来的失真，可以用以下算法来改进：
Figure BDA0003606511470000071
式中，T预设置的色阶值，从而只有f(x，y)的色阶值与邻域中所有像素色阶平均值之差大于T值时，才作为噪声处理，由邻域中所有像素色阶的平均值代替原像素色阶值，否则仍保持原像素色阶值，从而可以保证噪声处理时的色阶稳定，防止误处理。
第二步、进行图像增强，由于噪声的不确定性，经过红外传感器和摄像头采集的图像中通常包含各种噪声和畸变，而且图像的对比度相对较差，因此，在对图像进行分析之前，除了过滤噪声以外，还需要采用图像增强的方法对图像视觉效果进行提高，图像增强目标是将图像中感兴趣的特征有选择地突出，并衰减掉不需要的特征；具体步骤如下：
首先对分别选取原红外图像为A和原摄像头图像为B的中心点A(0，0)和B(0，0)，进而以此点作为起点，采用基于螺旋结构的迭代分段线性化比较路径来对光照进行估计，即对A(0，0)和B(0，0)的像素校正结果将由路径拐点的像素值共同决定，所选取的参考点的数目适中，且距离目标点越近取样越密集，便于取得较好效果；由于原红外图像为A和原摄像头图像为B是彩色图像，故将RGB3个通道分别处理，最后再合成输出；将原图的像素值由整数域转化到对数域，为避免出现负值，将原图像素值整体加1，即：
f1(x，y)＝log[1+f(x，y)]
并初始化常数矩阵，常数值取原图像素点均值，尺寸与原图像相同，进而进行对像素的比较校正，对于像素尺寸为M*N的图片，离目标点最远距离的2个比较点之间的坐标变化量：D＝2p，其中p＝fix[1b min(M，N)-1]，fix取整函数；然后每下一步2个比较点的间距缩短为上一步的一半，同时方向按顺时针旋转，即D＝-D/2，直到比较点的间隔小于1为止，从而输出增强后的图像。
实施例2：
具体的，上述方法中，进行目标物体特征提取的具体步骤图下：
经过实施例1处理后的红外图像和摄像头图像不仅具有较高的性噪比，同时能够修复图像的边缘，填补边缘细节，使模糊的边缘图像清晰化为使图像的局部区域灰度保持一致性，以滑动窗口为基础计算原始红外图像每个像素的局部标准差，生成标准差矩阵；
首先创建M*N的二维图像矩阵，设置一个大小为N*N的滑动窗口，以每个像素为中心选取N*N的滑动区域，将每个滑动区域视为独立的计算单元，计算各个单元间的误差值，滑动区域的误差计算公式如下：
Figure BDA0003606511470000081
其中v(b，t)表示该滑动区域对应的灰度值；a(i，j)表示滑动区域间的平均误差值；
其次设置矩阵阈值，根据阈值范围和各互动区域的灰度值，划分矩阵，将矩阵二值化，输出二值化矩阵；根据上述计算结果生成的二值化矩阵，对因极端天气条件造成的图像获取结果不理想进行更深层次的优化，以图像形态学为基础，填补因噪声或阴影而漏区的图像区域，采用基于图像形态学的光伏列阵填充后，漏取的空洞被填补，能够使图像的完整性提高，从而更利于对图像光伏列阵的分割；
最后进行特征提取工作，通过以上步骤的处理和加工，图像的光伏列阵边缘更加明显，定位所有光伏列阵，获取图像的外接数据，得到由无数个像素个够的规则矩形光伏阵列，并将该阵列视为待确定区域；将待确定区域的长、宽、面积作为参考阈值，与预测光伏阵列的各项参数进行对比，筛选出符合阈值范围的光伏阵列，将这些光伏阵列根据水平和垂直参数，以某一水平面为参考目标，剪裁上下边缘多余的背景图像，并以剪裁后的图像作为最终的特征图像。
实施例3：
图像融合工作包括以下步骤：
步骤一：多尺度分解，分别对尺寸，分辨率相同的原图像进行小波分解，可以分别得到各原图像的高频子带和低频子带。
步骤二：低频子带融合，采用加权平均融合的策略对各原图像的低频子带进行融合。
步骤三：高频子带融合，采用绝对值取大融合的策略对各图像的高频子带进行融合，
步骤四：小波重构，采用小波逆变换处理融合后的高频子带和低频子带，得到融合后的图像。
在进一步的实施例中，在进行图像融合工作时，对原图像通过变换分解得到不同层次的变换系数，然后根据区域特性的融合规则来合并这些分解系数，并进行分析分解后低频分量和高频分量的特征，最后对不同层次分别进行逆变换；其中低频分量和高频分量的分解不同，需要先进行获取低频区域和高频区域的区域融合。
在进一步的实施例中，低频区域融合是将变换得到的低频信号中携带了原图像中大量的能量信息，与原图像十分相似，将对低频区域的区域能量进行加权，具体方法如下：
首先选择的邻域窗口大小为3*3，设原红外图像为A，原摄像头图像为B，融合后图像为C，从而可以得出原红外图像为A和原摄像头图像的低频区域匹配度，即：
Figure BDA0003606511470000091
Figure BDA0003606511470000092
上述式中，ω(m，n)表示特定的窗口函数，IA(i，j)和IB(i，j)分别表示原红外图像为A和原摄像头图像为B在坐标(i，j)处的像素值；FA，B表示原红外图像为A和原摄像头图像的低频区域匹配度；
根据原红外图像为A和原摄像头图像B的低频区域匹配度进行计算分解系数，即：
Figure BDA0003606511470000093
上述式中，
Figure BDA0003606511470000094
分别表示原红外图像为A，原摄像头图像为B和融合后图像为C第l层第k个方向子带，α(i，j)加权系数，从而得到低频区域融合后图像的分解系数。
在进一步的实施例中，分解得到的高频子带的分解系数绝对值大小与原图像中亮度变化的剧烈程度成正比，高频信号包含了除低频分量包含的信息以外的全部图像信息，图像中拥有的信息量可由信息熵计算，其数学定义如下：
Figure BDA0003606511470000101
上述式中，i表示高频信号中图像灰度值大小，Pi为i的分布概率，L为灰度值的最高值，可以得出信息熵值越大，表示融合结果拥有的信息量越大，融合质量越理想，进而对高频子带的区域进行加权信息熵，首先采用矩阵划分法，然后分别对各区域计算信息熵，并计算加权信息熵之和，可以得到原红外图像为A中点(i，j)的区域加权信息熵之和，原摄像头图像B中点(i，j)的区域加权信息熵之和，即：
Figure BDA0003606511470000102
α＝1-α(i，j)
上述式中可以得出原红外图像为A的权值和原摄像头图像B的权值，EA表示原红外图像为A中点(i，j)的区域加权信息熵之和，EB表示原摄像头图像B中点(i，j)的区域加权信息熵之和；从而根据权值可以得到处理后高频子带的分解系数。
更具体的，对红外图像与摄像头图像融合的详细步骤如下：
步骤S1、分别对两种图像进行分解，可以得到高频子带和低频子带；
步骤S2、采用小波变换融合算法进行高频子带融合和低频子带融合，得到的融合结果如下：
Sf＝AS+BS/2
式中，AS表示红外图像A分解得到的低频子带，BS表示摄像头图像B分解得到的低频子带；
Figure BDA0003606511470000103
式中，AT表示红外图像A分解得到的高频子带，BT表示摄像头图像B分解得到的高频子带；
步骤S3、采用逆变换处理步骤S2中的高频子带和低频子带，得到的图像即为融合图像。
一种用于智能汽车的视觉检测系统，包括：
传感器单元，进行对目标物体进行图像采集；
融合单元，进行对采集图像进行预处理和融合工作；
控制单元，利用检测模块进行判定目标物体是否构成危险，并将图像数据和判定结果传输至汽车显示屏和语音播报装置上，从而提醒驾驶者；同时进行物体跟踪工作。
一种用于智能汽车的视觉检测装置，其特征在于，
摄像头，进行图像采集工作；
红外传感器，采用16×16单元的SMD红外阵列传感器，采用了集成透镜的晶体管封装技术实现了在低照度环境下高清晰度的红外成像；
计算机，用于实现权利要求8中的视觉检测系统。
以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种等同变换，这些等同变换均属于本发明的保护范围。

Claims (9)

1.一种用于智能汽车的视觉检测方法，其特征在于，包括：
步骤1、构建用于分析图像数据的检测模型；
步骤2、在工作中，通过传感器单元中的红外传感器和摄像头获取目标物体数据并传输至所述图像识别模型中；
步骤3、所述检测模型进行对接收到的目标物体数据进行图像处理以及特征提出，并输出检测结果；
步骤4、根据检测结果进行判定目标物体是否构成危险，并将图像数据和判定结果传输至汽车显示屏和语音播报装置上，从而提醒驾驶者；
步骤5、根据预设阈值范围，进行实时检测该范围内的目标物体。
2.根据权利要求1所述的一种用于智能汽车的视觉检测方法，其特征在于，在构建用于分析图像数据的检测模型时，还包括了用于训练所述检测模型的图像训练集和图像存储集；
所述图像训练集和所述图像存储集是为了在前期工作时进行收集图像数据，并根据图像数据进行训练检测模块；所述图像训练集加了目标区域提取网络通过卷积神经网络模型来预测目标可能存在区域，使得目标物体模型区域的提特征取速度明显加快；同时根据收集图像数据进行学习训练，从而调整检测模型；其调整方法是先将在前期工作时收集的图像数据进存储至图像存储集，且图像训练集利用其进行训练目标区域提取网络，并生产ROI；针对ROI利用原域数据集初始化好的网络进行分类与回归训练，此时2个网络未共享参数；从而利用得到的网络训练目标区域提取网络，只调整目标区域提取网络特有的网络层参数，并生成RO2；利用生成的RO2训练网络进行分类与回归,保持共享的卷积层参数固定，至此完成检测模述图像训练集网络的训练。
3.根据权利要求1所述的一种用于智能汽车的视觉检测方法，其特征在于，
在步骤2中，为保证在夜间和恶劣天气下的车辆行驶安全，利用红外传感器和摄像头进行同时采集，并对采集图像进行融合，实现在不同条件下，视觉检测的准确性；对于红外采集图像和摄像头采集图像，需要进行图像处理才能传输至检测模块中；所述图像处理包括以下步骤：
步骤2-1、图像预处理，因为在夜间和恶劣天气下的环境，采集图像会受到光线、雨雾气体的干扰，从而导致采集图像模糊和干扰信息多的情况，所以需要对采集的图像进行去噪和图像增强工作，从而保证图像信息可以得出目标物体信息；
步骤2-2，进行目标物体特征提取；通过对处理后的图像进行分割和特征提取，是指将图像分成若干互不重叠的子区域，使得同一个子区域内的特征具有一定相似性，不同子区域的特征呈现较为明显的差异，从而突出图像中目标物体的信息，并将目标物体信息进行提取，除去其他信息；
步骤2-3，进行图像融合；通过对完成上述步骤的红外图像和摄像头图像进行融合，通过提取两幅图像中各自有效信息并综合处理，最终得到一幅新图像，并将此图像作为检测对象，同时将图像信息发送至检测模型中。
4.根据权利要求3所述的一种用于智能汽车的视觉检测方法，其特征在于，图像融合工作包括以下步骤：
步骤一：多尺度分解，分别对尺寸，分辨率相同的原图像进行小波分解，可以分别得到各原图像的高频子带和低频子带。
步骤二：低频子带融合，采用加权平均融合的策略对各原图像的低频子带进行融合。
步骤三：高频子带融合，采用绝对值取大融合的策略对各图像的高频子带进行融合，
步骤四：小波重构，采用小波逆变换处理融合后的高频子带和低频子带，得到融合后的图像。
5.根据权利要求4所述的一种用于智能汽车的视觉检测方法，其特征在于，在进行图像融合工作时，对原图像通过变换分解得到不同层次的变换系数，然后根据区域特性的融合规则来合并这些分解系数，并进行分析分解后低频分量和高频分量的特征，最后对不同层次分别进行逆变换；其中低频分量和高频分量的分解不同，需要先进行获取低频区域和高频区域的区域融合。
6.根据权利要求5所述的一种用于智能汽车的视觉检测方法，其特征在于，低频区域融合是将变换得到的低频信号中携带了原图像中大量的能量信息，与原图像十分相似，将对低频区域的区域能量进行加权，具体方法如下：
首先选择的邻域窗口大小为3*3，设原红外图像为A，原摄像头图像为B，融合后图像为C，从而可以得出原红外图像为A和原摄像头图像的低频区域匹配度，即：
Figure FDA0003606511460000021
Figure FDA0003606511460000022
上述式中，ω(m，n)表示特定的窗口函数，IA(i，j)和IB(i，j)分别表示原红外图像为A和原摄像头图像为B在坐标(i，j)处的像素值；FA，B表示原红外图像为A和原摄像头图像的低频区域匹配度；
根据原红外图像为A和原摄像头图像B的低频区域匹配度进行计算分解系数，即：
Figure FDA0003606511460000031
上述式中，
Figure FDA0003606511460000032
分别表示原红外图像为A，原摄像头图像为B和融合后图像为C第l层第k个方向子带，α(i，j)加权系数，从而得到低频区域融合后图像的分解系数。
7.根据权利要求5所述的一种用于智能汽车的视觉检测方法，其特征在于，
分解得到的高频子带的分解系数绝对值大小与原图像中亮度变化的剧烈程度成正比，高频信号包含了除低频分量包含的信息以外的全部图像信息，图像中拥有的信息量可由信息熵计算，其数学定义如下:
Figure FDA0003606511460000033
上述式中，i表示高频信号中图像灰度值大小，Pi为i的分布概率，L为灰度值的最高值，可以得出信息熵值越大，表示融合结果拥有的信息量越大，融合质量越理想，进而对高频子带的区域进行加权信息熵，首先采用矩阵划分法，然后分别对各区域计算信息熵，并计算加权信息熵之和，可以得到原红外图像为A中点(i，j)的区域加权信息熵之和，原摄像头图像B中点(i，j)的区域加权信息熵之和，即：
Figure FDA0003606511460000034
α＝1-α(i，j)
上述式中可以得出原红外图像为A的权值和原摄像头图像B的权值，EA表示原红外图像为A中点(i，j)的区域加权信息熵之和，EB表示原摄像头图像B中点(i，j)的区域加权信息熵之和；从而根据权值可以得到处理后高频子带的分解系数。
8.一种用于智能汽车的视觉检测系统，其特征在于，包括：
传感器单元，进行对目标物体进行图像采集；
融合单元，进行对采集图像进行预处理和融合工作；
控制单元，利用检测模块进行判定目标物体是否构成危险，并将图像数据和判定结果传输至汽车显示屏和语音播报装置上，从而提醒驾驶者；同时进行物体跟踪工作。
9.一种用于智能汽车的视觉检测装置，其特征在于，
摄像头，进行图像采集工作；
红外传感器，采用16×16单元的SMD红外阵列传感器，采用了集成透镜的晶体管封装技术实现了在低照度环境下高清晰度的红外成像；
计算机，用于实现权利要求8中的视觉检测系统。
CN202210420127.3A 2022-04-20 2022-04-20 一种用于智能汽车的视觉检测系统、方法及装置 Pending CN114821529A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210420127.3A CN114821529A (zh) 2022-04-20 2022-04-20 一种用于智能汽车的视觉检测系统、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210420127.3A CN114821529A (zh) 2022-04-20 2022-04-20 一种用于智能汽车的视觉检测系统、方法及装置

Publications (1)

Publication Number Publication Date
CN114821529A true CN114821529A (zh) 2022-07-29

Family

ID=82504712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210420127.3A Pending CN114821529A (zh) 2022-04-20 2022-04-20 一种用于智能汽车的视觉检测系统、方法及装置

Country Status (1)

Country Link
CN (1) CN114821529A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115436288A (zh) * 2022-09-20 2022-12-06 山东大学 一种透镜缺陷检测装置及成像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115436288A (zh) * 2022-09-20 2022-12-06 山东大学 一种透镜缺陷检测装置及成像方法

Similar Documents

Publication Publication Date Title
US9384401B2 (en) Method for fog detection
Mu et al. Lane detection based on object segmentation and piecewise fitting
CN107862290A (zh) 车道线检测方法及系统
CN108198417B (zh) 一种基于无人机的道路巡检系统
CN111369541A (zh) 一种智能汽车恶劣天气条件下车辆检测方法
CN110544211A (zh) 一种镜头付着物的检测方法、系统、终端和存储介质
CN107895151A (zh) 一种强光照条件下基于机器视觉的车道线检测方法
CN117094914B (zh) 基于计算机视觉的智慧城市道路监控系统
CN116152115B (zh) 基于计算机视觉的垃圾图像去噪处理方法
CN116596792B (zh) 一种面向智能船舶的内河雾天场景恢复方法、系统及设备
CN112465708A (zh) 基于暗通道改进的图像去雾方法
CN110060221B (zh) 一种基于无人机航拍图像的桥梁车辆检测方法
CN114821529A (zh) 一种用于智能汽车的视觉检测系统、方法及装置
FAN et al. Robust lane detection and tracking based on machine vision
CN114663352A (zh) 一种输电线路缺陷高精度检测方法、系统及存储介质
CN113095283A (zh) 一种基于动态roi和改进萤火虫算法的车道线提取方法
CN116310598B (zh) 一种用于恶劣天气下的障碍物检测方法及装置
CN113053164A (zh) 一种利用环视图像的车位识别方法
CN108229244A (zh) 一种智能车前方运动车辆的检测方法
CN110544232A (zh) 一种镜头付着物的检测系统、终端和存储介质
CN116433513A (zh) 一种道路监视视频去雾方法、系统、电子设备和存储介质
CN111626180B (zh) 基于偏振成像的车道线检测方法及其装置
CN112115767B (zh) 基于Retinex和YOLOv3模型的隧道异物检测方法
Kondapalli et al. Real-time rain severity detection for autonomous driving applications
CN111611942B (zh) 一种透视自适应车道骨架提取建库的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination