CN112330558A - 基于雾天环境感知的道路图像恢复预警系统及方法 - Google Patents
基于雾天环境感知的道路图像恢复预警系统及方法 Download PDFInfo
- Publication number
- CN112330558A CN112330558A CN202011220424.0A CN202011220424A CN112330558A CN 112330558 A CN112330558 A CN 112330558A CN 202011220424 A CN202011220424 A CN 202011220424A CN 112330558 A CN112330558 A CN 112330558A
- Authority
- CN
- China
- Prior art keywords
- image
- road
- fog
- vehicle
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000011084 recovery Methods 0.000 title claims abstract description 85
- 230000008447 perception Effects 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 53
- 230000004927 fusion Effects 0.000 claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 26
- 239000006185 dispersion Substances 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005315 distribution function Methods 0.000 claims description 7
- 230000004399 eye closure Effects 0.000 claims description 6
- 238000003825 pressing Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 claims description 2
- 108091092878 Microsatellite Proteins 0.000 abstract description 23
- 206010039203 Road traffic accident Diseases 0.000 abstract description 4
- 230000003211 malignant effect Effects 0.000 abstract description 2
- 238000012706 support-vector machine Methods 0.000 description 24
- 238000002834 transmittance Methods 0.000 description 9
- 239000000203 mixture Substances 0.000 description 8
- 238000011160 research Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G06T5/73—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
Abstract
基于雾天环境感知的道路图像恢复预警系统及方法属于智能车辆安全辅助驾驶技术领域。本发明构建了雾天图像分类器、不同雾浓度分类器、基于DCP方法的轻雾道路图像恢复模型、基于SSR与DCP方法融合的昏暗雾天道路信息恢复模型、实时针对不同雾天类型,采用最佳的方法实现信息恢复。在行车过程中，采集车辆行进过程中的道路视频图像，实时判断图像是否有雾、根据不同雾浓度，实时判断图像类型,采用最佳算法,实时图像信息恢复，实现对雾天图像进行视觉增强，减弱雾天能见度低对驾驶人视觉产生的影响。驾驶人注意力分散检测模块、预警模块和道路运动行人检测模块的使用能够大幅降低驾驶人在雾天低能见度条件下驾驶发生恶性交通事故的概率。
Description
技术领域
本发明属于智能车辆安全辅助驾驶技术领域，特别是涉及到一种基于雾天环境感知的道路图像恢复预警系统及方法。
背景技术
当前，在提高雾天行车安全的方法，主要采用雾灯，主要判断还是由驾驶人判断。然而雾天条件下现有汽车雾灯存在照射范围有限、存在盲区等问题影响驾驶人判断行车状况，同时驾驶人驾驶熟练程度、低能见度下驾驶人心理状态变化也会导致驾驶人对驾驶环境的误判。因此，研究雾天条件下的交通安全措施，对预防和控制交通事故具有重要的理论价值和现实意义。利用图像处理实现道路信息恢复技术，提高驾驶人雾天视觉已经成为国内外研究热点。
目前，对图像信息恢复的研究多集中在合成雾图、非道路视频序列的单幅图像，以实际道路图像为对象的研究相对较少，对于复杂环境下实际道路图像雾图的恢复操作的研究则更加稀少。当前没有一种雾天图像恢复方法，能适用于所有类型的不利视觉雾天图像，对于雾天环境感知的研究是针对不同类型图像增强技术的基础，但是当前对于各种复杂的低能见度条件的道路图像感知分类研究较少。
授权公告号CN105512623B，发明名称为基于多传感器雾天行车视觉增强与能见度预警系统及方法中，虽然以实际道路图像为研究对象，进行了雾天图像恢复处理，但是由于处理方法比较单一，在雾浓度较大、能见度较低时图像恢复效果不理想，清晰度不够。因此，有必要针对实车采集的雾天道路图像恢复方法进行更全面深入的研究。
另外，低能见度条件下，驾驶人很难获取足够的道路信息，驾驶人在行车过程中会产生心理压力，更易产生疲劳驾驶、注意力分散的情况，导致车辆发生碰撞事故风险增加。
因此现有技术当中亟需要一种新型的技术方案来解决这一问题。
发明内容
本发明所要解决的技术问题是：提供一种基于雾天环境感知的道路图像信息恢复系统及方法，用来解决因现有汽车雾灯照射范围有限、存在盲区；传统的雾天道路信息恢复存在难以适用实时操作或者雾天道路信息恢复效果不佳；低能见度条件下，驾驶人很难获取足够的道路信息易产生疲劳驾驶、注意力分散的情况等技术问题。
基于雾天环境感知的道路图像恢复预警系统，包括车载蓄电池、正弦波逆变器、工业摄像机Ⅰ、图像采集卡、工控机、车载电控单元模块、车载显示屏、汽车本身音响设备、车载扬声器、工业摄像机Ⅱ和报警灯，
所述车载电控单元模块包括雾天图像分类模块、不同雾浓度分类器模块、基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块和基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块、驾驶员注意力分散检测模块、预警模块和道路运动行人检测模块；所述雾天图像分类模块的一端与工控机通过导线连接，雾天图像分类模块的另一端通过导线与不同雾浓度分类器模块连接；所述不同雾浓度分类器模块一端通过导线与基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块连接，不同雾浓度分类器模块另一端通过导线与所述基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块连接；所述道路运动行人检测模块的一端分别与基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块以及基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块连接，道路运动行人检测模块的另一端与预警模块连接，道路运动行人检测模块与驾驶员注意力分散检测模块连接；所述预警模块分别与驾驶员注意力分散检测模块、汽车本身音响设备以及报警灯连接；
所述车载蓄电池通过正弦波逆变器与工业摄像机Ⅰ连接，车载蓄电池通过正弦逆变器与工控机连接；所述工业摄像机Ⅰ通过图像采集卡与工控机连接，工业摄像机Ⅰ安装在车身前部；所述工业摄像机Ⅱ通过图像采集卡与工控机连接，工业摄像机Ⅱ安装在车内部，工业摄像机Ⅱ的摄像头朝向驾驶员，工业摄像机Ⅱ还与驾驶员注意力分散检测模块连接；所述车载扬声器与汽车本身音响设备连接；所述车载显示屏分别与基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块、基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块以及道路运动行人检测模块连接。
基于雾天环境感知的道路图像恢复预警方法，利用所述的基于雾天环境感知的道路图像恢复预警系统，包括以下步骤，并且以下步骤顺次进行，
步骤一、建立并训练道路图像概率神经网络分类器和不同雾浓度图像分类器，通过训练好的各分类器对工业摄像机Ⅰ采集的实时图像进行分类，获得实时轻雾道路图像和实时昏暗雾天道路图像，并对实时轻雾道路图像和实时昏暗雾天道路图像的置信度进行评价，获得确为轻雾道路图像的实时轻雾道路图像和确为昏暗雾天道路图像的实时昏暗雾天道路图像；
步骤二、在基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块中通过基于DCP方法将轻雾道路图像恢复为清晰图像并通过车载显示屏显示；
步骤三、在基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块中通过基于SSR与DCP融合的方法将昏暗雾天道路图像恢复为清晰图像并通过车载显示屏显示
①首先将原始的昏暗雾天道路图像分解为RGB三个颜色通道，并用Retinex算法模型，获得待增强的低能见度昏暗雾天道路图像分布函数；
②将每个通道的图像分布函数进行对数转换；
③为改善原图像的亮度，采用环绕函数与原图像的卷积来实现；
④取尺度参数c为中尺度值110，SSR算法的增强效果最佳，合并三个颜色通道，采用增强算法进行增强后的输出图像；
⑤利用DCP方法对SSR算法增强后的图像进行图像去雾操作，获得去雾后的昏暗雾天道路图像；
⑥昏暗雾天图像批量信息恢复
为实现视频序列的昏暗雾天图像信息恢复，工业摄像机Ⅰ实时采集的视频每隔60帧，对昏暗雾天单帧图像进行一次信息恢复处理；
⑦将去雾前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行图像去雾过程；该均值小于等于阈值，去雾后的图像满足清晰度要求，将去雾后的清晰图像存入车载显示屏的缓存中；
⑧恢复后图像在车载显示屏上显示
按下车载显示屏上的视觉增强功能键，车载显示屏同步显示缓存中即时的信息恢复后的实时清晰图像，直至图像流终止或者用户按quit键停止，
按下车载显示屏上的D键，重置跟踪选项，驾驶人在车载显示屏上重新获取处理后的车辆前方道路环境并对实时图像进行分类和相应的图像恢复，达到视觉信息恢复的效果；
步骤四、构建雾天驾驶人注意力分散检测及安全驾驶预警策略
①工业摄像机Ⅱ采集驾驶人面部视频流信息，驾驶员注意力分散检测模块采用图像处理技术进行眼睛定位与跟踪，确定嘴部区域，实时检测嘴部状态，记录嘴部形状变化的开始时间和当前时间，记录经历时间，经历时间超过给定阈值，则判断驾驶人正在与人交谈接打电话或者吃东西，进行报警灯和汽车本身音响设备的视觉听觉警告；
②驾驶员注意力分散检测模块采用图像处理技术进行驾驶人面部形状的定位与跟踪，获得椭圆形面部特征，对驾驶人头部姿态进行检测，根据面部朝向和眼睛状态数据参数，获得左右眼睛的位置，
实时检测不到驾驶人面部信息，判断驾驶人状态为注意力分散的非正常驾驶，进行报警灯和汽车本身音响设备的视觉听觉警告；
③驾驶员注意力分散检测模块采用图像处理的方法，实时获得驾驶人注视区域的坐标、注视方向以及注视的持续时间，视线的分布不是在车辆正前方、左后视镜、右后视镜、仪表盘及内后视镜并且持续时间超过设定阈值，判断驾驶人视线离开正常注视区域，进行报警灯和汽车本身音响设备的视觉听觉警告；
④驾驶员注意力分散检测模块采用图像处理技术进行眼睛定位与跟踪，进行眨眼频率实时检测，记录每分钟眼睛闭合次数和累计闭合次数，当闭眼次数在给定阈值范围之外，判断驾驶人状态为注意力分散的非正常驾驶，进行报警灯和汽车本身音响设备的视觉听觉警告；
步骤五、道路运动行人检测模块进行道路运动行人检测并结合驾驶人疲劳或者注意力分散进行预警
①选取步骤二和步骤三获得的恢复后的历史清晰图像，将存在行人的清晰图像称为正包，不存在行人的清晰图像称为负包，各选取设定个数的正包和负包组成训练集；
②采用图像分割NCut方法将训练集中的图像分割成多个小区域，将正包图像中存在行人的小区域称为正包中的示例，将负包图像中每个分割的小区域称为负包中的示例，对每个小区域块进行颜色、形状以及纹理特征的提取，构造特征集并用多示例学习方法训练SVM分类器；
③取设定个数的步骤二和步骤三获得的恢复后的其他历史清晰图像对训练后的SVM分类器进行分类正确率测试，分类正确率在95％以上，则SVM分类器训练完成，分类正确率低于95％，返回步骤五中步骤①和步骤②重新进行SVM分类器训练；
④通过车载显示屏上的行人运动行为预测功能键，将步骤二和步骤三获得的视觉增强恢复后的清晰图像从缓存中获取，输入到道路运动行人检测模块中，
经训练完成的SVM分类器识别道路图像中存在行人，并且预警模块满足步骤四中驾驶人疲劳或者注意力分散的各警告触发条件，分别进行报警灯和汽车本身音响设备的视觉听觉警告。
所述步骤三的步骤①中的Retinex算法模型为：
Ii(x,y)＝Ri(x,y)*Li(x,y)；
其中，Ii(x,y)表示待增强的低能见度昏暗雾天道路图像分布函数，即实际采集图像在(x,y)点的图像灰度，Li(x,y)代表入射光分量，Ri(x,y)代表反射光分量，*是卷积算子，i表示第i个颜色通道，i取值为1、2、3。
所述步骤三的步骤③中环绕函数形式如下：
F(x,y)＝keps-(x2+y2)/c2；
其中，k为归一化因子，环绕函数服从∫∫F(x,y)dxdy＝1，c为尺度参数，c的值决定最终SSR算法的增强效果。
所述步骤三的步骤④中采用增强算法进行增强后的输出图像形式如下：
R'i(x,y)＝logIi(x,y)-log(Ii(x,y)*F(x,y))。
所述步骤四的步骤②中眼睛状态数据参数包括眨眼频率、视线分布、闭眼速度和最长闭眼时间。
所述步骤五的步骤②中颜色、形状以及纹理特征分别为HSV颜色方向角直方图特征、梯度方向角直方图特征以及小波纹理特征。
通过上述设计方案，本发明可以带来如下有益效果：
1、本发明基于雾天环境感知的道路图像信息恢复系统及方法，构建了雾天图像分类器、不同雾浓度分类器、基于DCP方法的轻雾道路图像恢复模型、基于SSR与DCP方法融合的昏暗雾天道路信息恢复模型、实时针对不同雾天类型,采用最佳的方法实现信息的恢复。在实际行车过程中，采集车辆行进过程中的道路视频图像，根据离线训练的有雾图像分类库，实时判断图像是否有雾、根据离线训练的不同雾浓度图像分类库，实时判断图像类型,采用最佳算法,实时图像信息恢复，实现对雾天图像进行视觉增强，减弱雾天能见度低对驾驶人视觉产生的影响。
2、本发明的模块内部、模块与模块之间信号处理时间短，能够满足实时性的要求。
3、本发明提高了雾天环境感知的准确率，能够获得视觉信息恢复效果，有益于推广应用，可大幅降低驾驶人在雾天低能见度条件下驾驶发生恶性交通事故的概率。
4、本发明降低了雾天环境驾驶人易产生疲劳状态下，导致发生碰撞事故的风险，有益于推广应用，可大幅降低驾驶人在雾天低能见度条件下驾驶发生碰撞行人交通事故的概率。
5、本发明独特的优势和巨大的发展潜力，可以作为基于的视觉的驾驶辅助系统有效的预处理步骤。未来该检测方法应用于车辆上，可以作为先进的驾驶辅助系统的一部分，当能见度低时，实时恢复道路环境信息，能够辅助驾驶人雾天行车，保证交通安全。
附图说明
以下结合附图和具体实施方式对本发明作进一步的说明：
图1为本发明基于雾天环境感知的道路图像信息恢复系统及方法中系统的结构框图。
图2为本发明基于雾天环境感知的道路图像信息恢复系统及方法中方法的流程框图。
图中，1-车载蓄电池、2-正弦波逆变器、3-工业摄像机Ⅰ、4-图像采集卡、5-工控机、6-车载电控单元模块、7-雾天图像分类模块、8-不同雾浓度分类器模块、9-基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块、10-基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块、11-驾驶员注意力分散检测模块、12-预警模块、13-车载显示屏、14-汽车本身音响设备、15-车载扬声器、16-工业摄像机Ⅱ、17-道路运动行人检测模块、18-报警灯。
具体实施方式
如图所示，基于雾天环境感知的道路图像恢复预警系统，其特征在于：包括车载蓄电池1、正弦波逆变器2、工业摄像机Ⅰ3、图像采集卡4、工控机5、车载电控单元模块6、车载显示屏13、汽车本身音响设备14、车载扬声器15、工业摄像机Ⅱ16和报警灯18，
所述车载电控单元模块6包括雾天图像分类模块7、不同雾浓度分类器模块8、基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块9、基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块10、驾驶员注意力分散检测模块11、预警模块12和道路运动行人检测模块17；所述雾天图像分类模块7的一端与工控机5通过导线连接，雾天图像分类模块7的另一端通过导线与不同雾浓度分类器模块8连接；所述不同雾浓度分类器模块8一端通过导线与基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块9连接，不同雾浓度分类器模块8另一端通过导线与所述基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块10连接；所述道路运动行人检测模块17的一端分别与基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块9以及基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块10连接，道路运动行人检测模块17的另一端与预警模块12连接，道路运动行人检测模块17与驾驶员注意力分散检测模块11连接；所述预警模块12分别与驾驶员注意力分散检测模块11、汽车本身音响设备14以及报警灯18连接；
所述车载蓄电池1通过正弦波逆变器2与工业摄像机Ⅰ3连接，车载蓄电池1通过正弦逆变器2与工控机5连接；所述工业摄像机Ⅰ3通过图像采集卡4与工控机5连接，工业摄像机Ⅰ3安装在车身前部；所述工业摄像机Ⅱ16通过图像采集卡4与工控机5连接，工业摄像机Ⅱ16安装在车内部，工业摄像机Ⅱ16的摄像头朝向驾驶员，工业摄像机Ⅱ16还与驾驶员注意力分散检测模块11连接；所述车载扬声器15与汽车本身音响设备14连接；所述车载显示屏13分别与基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块9、基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块10以及道路运动行人检测模块17连接。
基于雾天环境感知的道路图像恢复预警方法，利用所述的基于雾天环境感知的道路图像恢复预警系统，包括以下步骤：
步骤一、建立有无雾道路图像分类器并进行实时图像分类
Ⅰ建立道路图像概率神经网络分类器
①工业摄像机Ⅰ3采集N张有雾道路图像和无雾道路图像，并将采集到的图像传输到雾天图像分类模块7，其中包括N1张有雾道路图像和N2张无雾道路图像，N、N1、N2均为自然数并且N≥3000、N1≥1000、N2≥2000，在雾天图像分类模块7中建立雾天图像分类器的图像训练库；
②通过雾天道路图像分类器的图像训练库离线训练概率神经网络分类器，概率神经网络分类器根据提取的雾天纹理、颜色、边缘特征，对有雾道路图像和无雾道路图像分类，并获得雾天图像特征，雾天道路图像神经网络分类器建立完成；
Ⅱ建立不同雾浓度图像分类器
①工业摄像机Ⅰ3采集M张不同雾浓度的有雾图像，其中包括M1张轻雾道路图像和M2张昏暗雾天道路图像，M、M1、M2均为自然数并且M≥3000，M1≥1000，M2≥2000，在不同雾浓度图像分类模块8中建立不同雾浓度图像分类器的图像训练库；
②通过不同雾浓度图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据能代表雾天图像的平均梯度特征、熵值特征、对比度特征以及边缘强度特征，其中雾的浓度越高，平均梯度特征、熵值特征、对比度特征以及边缘强度特征值越小，提取不同雾浓度图像的平均梯度特征、熵值、对比度值以及边缘强度值，并对轻雾图像和昏暗雾天图像进行分类，不同雾浓度雾图像高斯混合模型GMM分类器建立完成；
③通过不同雾浓度图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据能代表雾天图像的暗原色像素数特征，透射率特征，提取不同雾浓度图像的暗原色像素数特征，透射率值的雾图像特征，对轻雾图像和昏暗雾天进行分类，并提取轻雾图像和昏暗雾天图像的暗原色像素数，透射率值特征，不同雾浓度图像支持向量机SVM分类器建立完成，其中暗原色像素数特征是指暗原色图像像素值低于给定阈值的像素个数占整幅图像全部像素数；
将不同雾浓度图像高斯混合模型GMM分类器分类出的轻雾图像与支持向量机SVM分类器分类出的轻雾图像取并集，将不同雾浓度图像高斯混合模型GMM分类器分类出的昏暗雾天图像与支持向量机SVM分类器分类出的昏暗雾天图像取并集，分别得到轻雾道路图像和昏暗雾天道路图像样本库；
Ⅲ实时图像分类
①工业摄像机Ⅰ3采集实时图像；
②利用道路图像概率神经网络分类器分类，得到雾天道路图像；
③利用不同雾浓度图像高斯混合模型GMM分类器和不同雾浓度图像支持向量机SVM分类器分别对处理后的雾天道路图像进行轻雾图像和昏暗雾天图像分类，并将不同雾浓度图像高斯混合模型GMM分类器分类出的轻雾图像与支持向量机SVM分类器分类出的轻雾图像取并集，将不同雾浓度图像高斯混合模型GMM分类器分类出的昏暗雾天图像与支持向量机SVM分类器分类出的昏暗雾天图像取并集，分别得到轻雾道路图像和昏暗雾天道路图像；
置信度评价标准采用基于L2范数的相对错误评价标准，该标准是：
将得到的实时轻雾道路图像与轻雾道路图像样本库中对应的轻雾道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值，取阈值为0.5，平均误差值小于0.5，则实时轻雾道路图像为轻雾道路图像；
将实时昏暗雾天道路图像与昏暗雾天道路图像样本库中对应的昏暗雾天道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值，取阈值为0.5，平均误差值小于0.5，则实时昏暗雾天道路图像为昏暗雾天道路图像；
步骤二、在基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块9中通过基于DCP方法将轻雾道路图像恢复为清晰图像并通过车载显示屏13显示
①大气光学模型为I(x)＝J(x)e-βd+A(1-e-βd)，I(x)为分类后的有雾图像，J(x)为信息恢复之后的清晰图像，A为全球大气光成分，e-βd为大气透射率值t，β为大气消光系数，d为能见度值；
②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：
其中，Jdark是指J的暗通道，JC表示彩色图像的每个通道，C为RGB三通道；Ω为包含所有像素的整个图像窗口，
为整个图像窗口所有像素中的最小值像素，
为整个图像窗口每个像素RGB三个通道分量的最小像素值；
③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；
④估计大气透射率，将大气光学模型稍作处理，形式如下：
I(x)＝J(x)e-βd+A(1-e-βd) (1)
其中C为RGB三通道，对其两端求暗通道(即对上式两边求两次最小值运算)如下：
利用暗通道灰度值接近零，因此，可推导出：
由于雾的存在使人感到景深的存在，因此在信息恢复时保留一定程度的雾，可以在式(5)中引入一个在[0,1]之间的因子ω，将式(5)修改为：
获得大气透射率图；
⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；
⑥当透射率t值很小时，会导致J的值偏大，从而使得图像整体向白场过渡，因此设置阈值t0，当t值小于t0时，令t＝t0,经验值以t0＝0.1为标准计算，将处理后的三通道图像合成，恢复出清晰图像J(x)，
⑦轻雾图像批量信息恢复
上述的基于暗原色原理的轻雾图像信息恢复算法是针对单幅图像的，为实现视频序列的轻雾图像信息恢复，摄像机实时采集的视频每隔60帧，对轻雾单帧图像进行一次信息恢复处理；
⑧轻雾图像信息恢复质量评价，由于在图像轻雾图像信息恢复过程中，每一步均依赖前面步骤，这样会积累误差，因此需要对图像轻雾图像信息恢复后的清晰度进行评价。将轻雾图像信息恢复前后图像对比，对于同一内容的图像，轻雾图像信息恢复后图像的边缘相对轻雾图像信息恢复前图像具有较大的灰度变化率的特征。利用图像边缘灰度变化率为指标评价图像清晰度，即以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，计算出图像所有行灰度变化率均值。判断是否达到轻雾图像信息恢复要求，若超过给定阈值，则再次进行图像轻雾图像信息恢复过程，如此反复直至满足阈值要求，完成清晰度评价，并将轻雾图像信息恢复后的清晰图像存入车载显示屏13的缓存中；
⑨轻雾图像信息恢复后图像在车载显示屏13上显示
按下车载显示屏13上的视觉增强功能键，车载显示屏13同步显示缓存中最新更新的信息恢复后的实时清晰图像；由于轻雾图像信息恢复过程不断进行，缓存不断更新，所以车载显示屏13不断显示最新轻雾图像信息恢复之后的视觉增强图像。
步骤三、在基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块10中通过基于SSR与DCP融合的方法将昏暗雾天道路图像恢复为清晰图像并通过车载显示屏13显示
①首先将原始的昏暗雾天道路图像分解为RGB三个颜色通道，Retinex算法模型，形式为：
Ii(x,y)＝Ri(x,y)*Li(x,y)
其中，Ii(x,y)表示待增强的低能见度昏暗雾天道路图像分布函数，即实际采集图像在(x,y)点的图像灰度，Li(x,y)代表入射光分量，Ri(x,y)代表反射光分量，*是卷积算子，i表示第i个颜色通道(i取值为1、2、3)；
②将每个通道的图像进行对数转换，转换到对数域进行处理，为求取入射光分量，采用对数变换法，得出：
log Ii(x,y)＝log Ri(x,y)+log Li(x,y)；
③为改善原图像的亮度，采用环绕函数与原图像的卷积来实现，环绕函数形式如下：
F(x,y)＝keps-(x2+y2)/c2；
其中，k为归一化因子，环绕函数服从∫∫F(x,y)dxdy＝1，c为尺度参数，c的大小决定最终SSR算法的增强效果；
④输入高斯模型的尺度大小c，过多次试验结果综合比较，当尺度参数c为中尺度值110时，增强效果最佳，最后，合并三个颜色通道，采用增强算法进行增强后的输出图像形式如下：
R'i(x,y)＝log Ii(x,y)-log(Ii(x,y)*F(x,y))；
⑤经过SSR算法增强的图像，整幅图像的亮度明显改善，然后重复步骤二中的①～⑥，利用DCP方法再进行图像信息恢复操作，这里对于昏暗雾图已经使用SSR算法处理过，实现了雾图效果的改善，从较暗较黑雾天图变成正常白天雾天图像，因此可以用处理轻雾的DCP算法来处理，最终实现对昏暗雾天道路信息恢复，获得昏暗雾天道路清晰图像；
⑥昏暗雾天图像批量信息恢复
上述的基于SSR与DCP融合的方法是针对单幅昏暗雾天道路图像的，为实现视频序列的昏暗雾天图像信息恢复，工业摄像机Ⅰ3实时采集的视频每隔60帧，对昏暗雾天单帧图像进行一次信息恢复处理；
⑦昏暗雾天图像信息恢复质量评价，由于在昏暗雾天图像信息恢复过程中，每一步均依赖前面步骤，这样会积累误差，因此需要对昏暗雾天图像信息恢复后的质量进行评价。将昏暗雾天图像信息恢复前后图像对比，对于同一内容的图像，昏暗雾天图像信息恢复后图像的边缘相对昏暗雾天图像信息恢复前图像具有较大的灰度变化率的特征。利用图像边缘灰度变化率为指标评价图像清晰度，即以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，计算出图像所有行灰度变化率均值，判断是否达到昏暗雾天图像信息要求，若超过给定阈值，则再次进行图像恢复过程，如此反复直至满足阈值要求，完成质量评价，并将昏暗雾天图像信息后的清晰图像存入车载显示屏13的缓存中；
⑧信息恢复后图像在车载显示屏13上显示
按下车载显示屏13上的视觉增强功能键，车载显示屏13同步显示缓存中即时的信息恢复后的实时清晰图像；由于昏暗雾天图像信息恢复过程不断进行，缓存不断更新，所以车载显示屏13不断显示最新昏暗雾天图像信息恢复之后的视觉增强图像。用户还可随时按D键来重置跟踪选项，驾驶人通过选择可以在车载显示屏上获取处理后的车辆前方道路环境，达到视觉增强的效果；
步骤四、构建雾天驾驶人注意力分散检测及安全驾驶预警策略
①工业摄像机Ⅱ16采集驾驶人面部视频流信息，驾驶员注意力分散检测模块11采用图像处理技术进行眼睛定位与跟踪，确定嘴部区域，实时检测嘴部状态，记录嘴部形状变化的开始时间和当前时间，记录经历时间，经历时间超过给定阈值，则判断驾驶人正在与人交谈接打电话或者吃东西，进行报警灯18和汽车本身音响设备14的视觉听觉警告，例如，预警模块12发出“驾驶员状况异常”的警告，并且红色和黄色报警灯交替闪烁；
②驾驶员注意力分散检测模块11采用图像处理技术进行驾驶人面部形状的定位与跟踪，获得椭圆形面部特征，对驾驶人头部姿态进行检测，根据面部朝向和眼睛状态数据参数，获得左右眼睛的位置，
实时检测不到驾驶人面部信息，判断驾驶人状态为注意力分散的非正常驾驶，进行报警灯18和汽车本身音响设备14的视觉听觉警告，例如，发出“驾驶员状况异常”的警告，并且红色报警灯闪烁；
③驾驶员注意力分散检测模块11采用图像处理的方法，实时获得驾驶人注视区域的坐标、注视方向以及注视的持续时间，视线的分布不是在车辆正前方、左后视镜、右后视镜、仪表盘及内后视镜并且持续时间超过设定阈值，判断驾驶人视线离开正常注视区域，进行报警灯18和汽车本身音响设备14的视觉听觉警告，例如，发出“驾驶员状况异常”的警告，并且黄色报警灯闪烁；
④驾驶员注意力分散检测模块11采用图像处理技术进行眼睛定位与跟踪，进行眨眼频率实时检测，记录每分钟眼睛闭合次数和累计闭合次数，当闭眼次数在给定阈值范围之外，判断驾驶人状态为注意力分散的非正常驾驶，进行报警灯18和汽车本身音响设备14的视觉听觉警告，例如，发出“嘟嘟声”并且红色和黄色报警灯同时闪烁；
步骤五、道路运动行人检测模块17进行道路运动行人检测并结合驾驶人疲劳或者注意力分散进行预警
①选取步骤二和步骤三获得的恢复后的历史清晰图像，将存在行人的清晰图像称为正包，不存在行人的清晰图像称为负包，各选取设定个数的正包和负包组成训练集；
②采用图像分割NCut方法将训练集中的图像分割成多个小区域，将正包图像中存在行人的小区域称为正包中的示例，将负包图像中每个分割的小区域称为负包中的示例，对每个小区域块进行颜色、形状以及纹理特征的提取，构造特征集并用多示例学习方法训练SVM分类器；
③取设定个数的步骤二和步骤三获得的恢复后的其他历史清晰图像对训练后的SVM分类器进行分类正确率测试，分类正确率在95％以上，则SVM分类器训练完成，分类正确率低于95％，返回步骤五中步骤①和步骤②重新进行SVM分类器训练；
④通过车载显示屏13上的行人运动行为预测功能键，将步骤二和步骤三获得的视觉增强恢复后的清晰图像从缓存中获取，输入到道路运动行人检测模块17中，
经训练完成的SVM分类器识别道路图像中存在行人，并且预警模块12满足步骤四中驾驶人疲劳或者注意力分散的各警告触发条件，分别进行报警灯18和汽车本身音响设备14的视觉听觉警告，例如，发出“请注意行人”的警告，并且红色和黄色报警灯同时闪烁。
基于公知常识，前期对道路图像采集的张数越多，后期数据处理的准确度越高，故本发明中只给出最小的端值；同理，采集的不同雾浓度道路图像的张数也只给出了最小的端值。
Claims (7)
1.基于雾天环境感知的道路图像恢复预警系统，其特征在于：包括车载蓄电池(1)、正弦波逆变器(2)、工业摄像机Ⅰ(3)、图像采集卡(4)、工控机(5)、车载电控单元模块(6)、车载显示屏(13)、汽车本身音响设备(14)、车载扬声器(15)、工业摄像机Ⅱ(16)和报警灯(18)，
所述车载电控单元模块(6)包括雾天图像分类模块(7)、不同雾浓度分类器模块(8)、基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块(9)、基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块(10)、驾驶员注意力分散检测模块(11)、预警模块(12)和道路运动行人检测模块(17)；所述雾天图像分类模块(7)的一端与工控机(5)通过导线连接，雾天图像分类模块(7)的另一端通过导线与不同雾浓度分类器模块(8)连接；所述不同雾浓度分类器模块(8)一端通过导线与基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块(9)连接，不同雾浓度分类器模块(8)另一端通过导线与所述基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块(10)连接；所述道路运动行人检测模块(17)的一端分别与基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块(9)以及基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块(10)连接，道路运动行人检测模块(17)的另一端与预警模块(12)连接，道路运动行人检测模块(17)与驾驶员注意力分散检测模块(11)连接；所述预警模块(12)分别与驾驶员注意力分散检测模块(11)、汽车本身音响设备(14)以及报警灯(18)连接；
所述车载蓄电池(1)通过正弦波逆变器(2)与工业摄像机Ⅰ(3)连接，车载蓄电池(1)通过正弦逆变器(2)与工控机(5)连接；所述工业摄像机Ⅰ(3)通过图像采集卡(4)与工控机(5)连接，工业摄像机Ⅰ(3)安装在车身前部；所述工业摄像机Ⅱ(16)通过图像采集卡(4)与工控机(5)连接，工业摄像机Ⅱ(16)安装在车内部，工业摄像机Ⅱ(16)的摄像头朝向驾驶员，工业摄像机Ⅱ(16)还与驾驶员注意力分散检测模块(11)连接；所述车载扬声器(15)与汽车本身音响设备(14)连接；所述车载显示屏(13)分别与基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块(9)、基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块(10)以及道路运动行人检测模块(17)连接。
2.基于雾天环境感知的道路图像恢复预警方法，利用如权利要求1所述的基于雾天环境感知的道路图像恢复预警系统，其特征在于：
包括以下步骤，并且以下步骤顺次进行，
步骤一、建立并训练道路图像概率神经网络分类器和不同雾浓度图像分类器，通过训练好的各分类器对工业摄像机Ⅰ(3)采集的实时图像进行分类，获得实时轻雾道路图像和实时昏暗雾天道路图像，并对实时轻雾道路图像和实时昏暗雾天道路图像的置信度进行评价，获得确为轻雾道路图像的实时轻雾道路图像和确为昏暗雾天道路图像的实时昏暗雾天道路图像；
步骤二、在基于DCP暗通道先验去雾方法的轻雾道路图像恢复模块(9)中通过基于DCP方法将轻雾道路图像恢复为清晰图像并通过车载显示屏(13)显示；
步骤三、在基于单尺度Retinex算法SSR与DCP方法融合的昏暗雾天道路信息恢复模块(10)中通过基于SSR与DCP融合的方法将昏暗雾天道路图像恢复为清晰图像并通过车载显示屏(13)显示
①首先将原始的昏暗雾天道路图像分解为RGB三个颜色通道，并用Retinex算法模型，获得待增强的低能见度昏暗雾天道路图像分布函数；
②将每个通道的图像分布函数进行对数转换；
③为改善原图像的亮度，采用环绕函数与原图像的卷积来实现；
④取尺度参数c为中尺度值110，SSR算法的增强效果最佳，合并三个颜色通道，采用增强算法进行增强后的输出图像；
⑤利用DCP方法对SSR算法增强后的图像进行图像去雾操作，获得去雾后的昏暗雾天道路图像；
⑥昏暗雾天图像批量信息恢复
为实现视频序列的昏暗雾天图像信息恢复，工业摄像机Ⅰ(3)实时采集的视频每隔60帧，对昏暗雾天单帧图像进行一次信息恢复处理；
⑦将去雾前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行图像去雾过程；该均值小于等于阈值，去雾后的图像满足清晰度要求，将去雾后的清晰图像存入车载显示屏(13)的缓存中；
⑧恢复后图像在车载显示屏(13)上显示
按下车载显示屏(13)上的视觉增强功能键，车载显示屏(13)同步显示缓存中即时的信息恢复后的实时清晰图像，直至图像流终止或者用户按quit键停止，
按下车载显示屏(13)上的D键，重置跟踪选项，驾驶人在车载显示屏(13)上重新获取处理后的车辆前方道路环境并对实时图像进行分类和相应的图像恢复，达到视觉信息恢复的效果；
步骤四、构建雾天驾驶人注意力分散检测及安全驾驶预警策略
①工业摄像机Ⅱ(16)采集驾驶人面部视频流信息，驾驶员注意力分散检测模块(11)采用图像处理技术进行眼睛定位与跟踪，确定嘴部区域，实时检测嘴部状态，记录嘴部形状变化的开始时间和当前时间，记录经历时间，经历时间超过给定阈值，则判断驾驶人正在与人交谈接打电话或者吃东西，进行报警灯(18)和汽车本身音响设备(14)的视觉听觉警告；
②驾驶员注意力分散检测模块(11)采用图像处理技术进行驾驶人面部形状的定位与跟踪，获得椭圆形面部特征，对驾驶人头部姿态进行检测，根据面部朝向和眼睛状态数据参数，获得左右眼睛的位置，
实时检测不到驾驶人面部信息，判断驾驶人状态为注意力分散的非正常驾驶，进行报警灯(18)和汽车本身音响设备(14)的视觉听觉警告；
③驾驶员注意力分散检测模块(11)采用图像处理的方法，实时获得驾驶人注视区域的坐标、注视方向以及注视的持续时间，视线的分布不是在车辆正前方、左后视镜、右后视镜、仪表盘及内后视镜并且持续时间超过设定阈值，判断驾驶人视线离开正常注视区域，进行报警灯(18)和汽车本身音响设备(14)的视觉听觉警告；
④驾驶员注意力分散检测模块(11)采用图像处理技术进行眼睛定位与跟踪，进行眨眼频率实时检测，记录每分钟眼睛闭合次数和累计闭合次数，当闭眼次数在给定阈值范围之外，判断驾驶人状态为注意力分散的非正常驾驶，进行报警灯(18)和汽车本身音响设备(14)的视觉听觉警告；
步骤五、道路运动行人检测模块(17)进行道路运动行人检测并结合驾驶人疲劳或者注意力分散进行预警
①选取步骤二和步骤三获得的恢复后的历史清晰图像，将存在行人的清晰图像称为正包，不存在行人的清晰图像称为负包，各选取设定个数的正包和负包组成训练集；
②采用图像分割NCut方法将训练集中的图像分割成多个小区域，将正包图像中存在行人的小区域称为正包中的示例，将负包图像中每个分割的小区域称为负包中的示例，对每个小区域块进行颜色、形状以及纹理特征的提取，构造特征集并用多示例学习方法训练SVM分类器；
③取设定个数的步骤二和步骤三获得的恢复后的其他历史清晰图像对训练后的SVM分类器进行分类正确率测试，分类正确率在95％以上，则SVM分类器训练完成，分类正确率低于95％，返回步骤五中步骤①和步骤②重新进行SVM分类器训练；
④通过车载显示屏(13)上的行人运动行为预测功能键，将步骤二和步骤三获得的视觉增强恢复后的清晰图像从缓存中获取，输入到道路运动行人检测模块(17)中，
经训练完成的SVM分类器识别道路图像中存在行人，并且预警模块(12)满足步骤四中驾驶人疲劳或者注意力分散的各警告触发条件，分别进行报警灯(18)和汽车本身音响设备(14)的视觉听觉警告。
3.根据权利要求2所述的基于雾天环境感知的道路图像恢复预警方法，其特征在于：所述步骤三的步骤①中的Retinex算法模型为：
Ii(x,y)＝Ri(x,y)*Li(x,y)；
其中，Ii(x,y)表示待增强的低能见度昏暗雾天道路图像分布函数，即实际采集图像在(x,y)点的图像灰度，Li(x,y)代表入射光分量，Ri(x,y)代表反射光分量，*是卷积算子，i表示第i个颜色通道，i取值为1、2、3。
4.根据权利要求2所述的基于雾天环境感知的道路图像恢复预警方法，其特征在于：所述步骤三的步骤③中环绕函数形式如下：
F(x,y)＝keps-(x2+y2)/c2；
其中，k为归一化因子，环绕函数服从∫∫F(x,y)dxdy＝1，c为尺度参数，c的值决定最终SSR算法的增强效果。
5.根据权利要求2所述的基于雾天环境感知的道路图像恢复预警方法，其特征在于：所述步骤三的步骤④中采用增强算法进行增强后的输出图像形式如下：
R'i(x,y)＝logIi(x,y)-log(Ii(x,y)*F(x,y))。
6.根据权利要求2所述的基于雾天环境感知的道路图像恢复预警方法，其特征在于：所述步骤四的步骤②中眼睛状态数据参数包括眨眼频率、视线分布、闭眼速度和最长闭眼时间。
7.根据权利要求2所述的基于雾天环境感知的道路图像恢复预警方法，其特征在于：所述步骤五的步骤②中颜色、形状以及纹理特征分别为HSV颜色方向角直方图特征、梯度方向角直方图特征以及小波纹理特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011220424.0A CN112330558A (zh) | 2020-11-05 | 2020-11-05 | 基于雾天环境感知的道路图像恢复预警系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011220424.0A CN112330558A (zh) | 2020-11-05 | 2020-11-05 | 基于雾天环境感知的道路图像恢复预警系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112330558A true CN112330558A (zh) | 2021-02-05 |
Family
ID=74315699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011220424.0A Withdrawn CN112330558A (zh) | 2020-11-05 | 2020-11-05 | 基于雾天环境感知的道路图像恢复预警系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112330558A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792793A (zh) * | 2021-09-15 | 2021-12-14 | 河北雄安京德高速公路有限公司 | 一种不良气象环境下道路视频监测提升方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512623A (zh) * | 2015-12-02 | 2016-04-20 | 吉林大学 | 基于多传感器雾天行车视觉增强与能见度预警系统及方法 |
| CN105844257A (zh) * | 2016-04-11 | 2016-08-10 | 吉林大学 | 基于机器视觉雾天行车错失道路标志牌的预警系统及方法 |
| CN109409186A (zh) * | 2017-08-17 | 2019-03-01 | 哈曼国际工业有限公司 | 用于对象检测和通知的驾驶员辅助系统和方法 |
| CN109447917A (zh) * | 2018-10-31 | 2019-03-08 | 西京学院 | 基于内容和特征及多尺度模型的遥感图像雾霾消除方法 |
| CN109949239A (zh) * | 2019-03-11 | 2019-06-28 | 中国人民解放军陆军工程大学 | 一种适用于多浓度多场景雾霾图像的自适应清晰化方法 |
-
2020
- 2020-11-05 CN CN202011220424.0A patent/CN112330558A/zh not_active Withdrawn
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105512623A (zh) * | 2015-12-02 | 2016-04-20 | 吉林大学 | 基于多传感器雾天行车视觉增强与能见度预警系统及方法 |
| CN105844257A (zh) * | 2016-04-11 | 2016-08-10 | 吉林大学 | 基于机器视觉雾天行车错失道路标志牌的预警系统及方法 |
| CN109409186A (zh) * | 2017-08-17 | 2019-03-01 | 哈曼国际工业有限公司 | 用于对象检测和通知的驾驶员辅助系统和方法 |
| CN109447917A (zh) * | 2018-10-31 | 2019-03-08 | 西京学院 | 基于内容和特征及多尺度模型的遥感图像雾霾消除方法 |
| CN109949239A (zh) * | 2019-03-11 | 2019-06-28 | 中国人民解放军陆军工程大学 | 一种适用于多浓度多场景雾霾图像的自适应清晰化方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈梅: "不利视觉下能见度检测及道路信息恢复方法研究", 《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅰ辑》《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅰ辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792793A (zh) * | 2021-09-15 | 2021-12-14 | 河北雄安京德高速公路有限公司 | 一种不良气象环境下道路视频监测提升方法 |
| CN113792793B (zh) * | 2021-09-15 | 2024-01-23 | 河北雄安京德高速公路有限公司 | 一种不良气象环境下道路视频监测提升方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428699B (zh) | 伪3d卷积神经网络与注意力机制结合的驾驶疲劳检测方法及系统 | |
| CN110119676B (zh) | 一种基于神经网络的驾驶员疲劳检测方法 | |
| US10387725B2 (en) | System and methodologies for occupant monitoring utilizing digital neuromorphic (NM) data and fovea tracking | |
| US11087151B2 (en) | Automobile head-up display system and obstacle prompting method thereof | |
| US11256931B2 (en) | Rearview device simulation | |
| CN104013414A (zh) | 一种基于移动智能手机的驾驶员疲劳检测系统 | |
| CN110728241A (zh) | 一种基于深度学习多特征融合的驾驶员疲劳检测方法 | |
| CN108596087B (zh) | 一种基于双网络结果的驾驶疲劳程度检测回归模型 | |
| Wöhler et al. | Real-time object recognition on image sequences with the adaptable time delay neural network algorithm—applications for autonomous vehicles | |
| US20220041105A1 (en) | Rearview device simulation | |
| CN110222596B (zh) | 一种基于视觉的驾驶员行为分析防作弊方法 | |
| CN110717389A (zh) | 基于生成对抗和长短期记忆网络的驾驶员疲劳检测方法 | |
| CN110781718B (zh) | 一种驾驶室红外视觉系统及驾驶员注意力分析方法 | |
| CN110807352B (zh) | 一种用于危险驾驶行为预警的车内外场景视觉分析方法 | |
| CN112287861A (zh) | 基于夜间环境感知的道路信息增强与驾驶预警方法 | |
| Kovačić et al. | Computer vision systems in road vehicles: a review | |
| Lin et al. | Machine learning and gradient statistics based real-time driver drowsiness detection | |
| CN115690750A (zh) | 一种驾驶员分心检测方法和装置 | |
| CN111553214A (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
| KR101337554B1 (ko) | 차량용 블랙박스의 영상인식을 이용한 수배자 및 실종자 추적 장치 및 그 방법 | |
| CN112330558A (zh) | 基于雾天环境感知的道路图像恢复预警系统及方法 | |
| Ribarić et al. | A neural-network-based system for monitoring driver fatigue | |
| CN114299473A (zh) | 一种基于多源信息融合的驾驶员行为识别方法 | |
| Jimenez-Pinto et al. | Driver alert state and fatigue detection by salient points analysis | |
| CN112330559B (zh) | 恶劣雾天道路图像信息恢复及车道保持预警方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210205 |