CN109587395A - 一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法 - Google Patents
一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法 Download PDFInfo
- Publication number
- CN109587395A CN109587395A CN201811413402.9A CN201811413402A CN109587395A CN 109587395 A CN109587395 A CN 109587395A CN 201811413402 A CN201811413402 A CN 201811413402A CN 109587395 A CN109587395 A CN 109587395A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- light
- virtually
- glass
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 claims abstract description 69
- 238000012545 processing Methods 0.000 claims abstract description 43
- 230000002708 enhancing effect Effects 0.000 claims abstract description 21
- 238000005286 illumination Methods 0.000 claims abstract description 17
- 230000008054 signal transmission Effects 0.000 claims abstract description 4
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 239000011521 glass Substances 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 54
- 238000000265 homogenisation Methods 0.000 claims description 9
- 239000012141 concentrate Substances 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 8
- 230000004313 glare Effects 0.000 claims description 8
- 230000005764 inhibitory process Effects 0.000 claims description 7
- 241000023320 Luma <angiosperm> Species 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000004438 eyesight Effects 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 claims description 4
- 230000033228 biological regulation Effects 0.000 claims description 3
- KBPHJBAIARWVSC-RGZFRNHPSA-N lutein Chemical compound C([C@H](O)CC=1C)C(C)(C)C=1\C=C\C(\C)=C\C=C\C(\C)=C\C=C\C=C(/C)\C=C\C=C(/C)\C=C\[C@H]1C(C)=C[C@H](O)CC1(C)C KBPHJBAIARWVSC-RGZFRNHPSA-N 0.000 claims description 3
- 229960005375 lutein Drugs 0.000 claims description 3
- 230000000149 penetrating effect Effects 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- KBPHJBAIARWVSC-XQIHNALSSA-N trans-lutein Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C(=CC(O)CC2(C)C)C KBPHJBAIARWVSC-XQIHNALSSA-N 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- FJHBOVDFOQMZRV-XQIHNALSSA-N xanthophyll Natural products CC(=C/C=C/C=C(C)/C=C/C=C(C)/C=C/C1=C(C)CC(O)CC1(C)C)C=CC=C(/C)C=CC2C=C(C)C(O)CC2(C)C FJHBOVDFOQMZRV-XQIHNALSSA-N 0.000 claims description 3
- 235000008210 xanthophylls Nutrition 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 2
- 239000011800 void material Substances 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002845 discoloration Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000009738 saturating Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000002500 effect on skin Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
本发明涉及一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法，包括图像传感器模块、深度信息摄像头模块、控制模块、图像处理模块以及虚拟增强显示模块；图像传感器模块与控制模块连接，用以将检测光照强度后转化的电信号传输到所述控制模块；图像处理模块与深度信息摄像头模块连接用以对深度信息摄像头模块传输过来的图像信息进行分析和处理；控制模块与图像处理模块连接，用以输出透光量；虚拟增强显示模块与图像处理模块连接，用以将透光量与传输的图像通过虚拟增强显示模块，以投影的方式对透光减少后的图像进行补偿，达到克服眩光的目的。本发明能够弥补视觉误差，提高驾驶安全性。
Description
技术领域
本发明涉及汽车防眩光领域，特别是一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法。
背景技术
增强现实技术(AR)：它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。这种技术最早于 1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。
图像处理技术：是用计算机对图像信息进行处理的技术。主要包括图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。其重点研究的内容包括：图像增强、图像恢复、图像识别、图像编码、图像分割、图像描述等。其中，图像增强的目的是改善图像的视觉效果，它是各种技术的汇集，还没有形成一套通用的理论。常用的图像增强技术有对比度处理、直方图修正、噪音处理、边缘增强、变换处理和伪彩色等。在多媒体应用中，对各类图像主要进行图像增强处理，各类图像处理软件一般都支持图像增强技术。
在强光，尤其在夜间逆光条件下，当迎面汽车前大灯照射在前挡风玻璃时，往往会使驾驶人员产生眩光，引起短时致盲现象，即使眩光光源移开后，残存在眼睛内的影像会造成盲点，这种现象被称为“白癍效应”。该效应会降低司机的反应时间，严重威胁到驾驶人员的生命安全，降低驾驶安全性。
目前，降低光线强度、防止眩光的装置和方法还不够智能化。例如，在汽车防眩光应用领域中，往往还是通过驾驶室内的挡光板进行遮光，这样的遮挡方式在挡住部分光线的同时也造成了视野部分盲区，而对于夜间行驶遇到迎面强光，挡光板作用是不大的。现有技术中的智能防眩光后视镜，利用光强差调节电压与电流的方式控制“电致变材料”的变色程度来防止眩目，其没形成闭环控制且只是个后视镜，对于迎面强光带来的短时致盲也无能为力。现有的其他领域技术中如温致变色玻璃或者其他调光玻璃，都还是一种被动的光强度调节或没有形成闭环控制，都仅仅是调节玻璃变色程度，不能进行视觉误差补偿；且不能灵活应对夜间行驶的迎面强光。
发明内容
有鉴于此，本发明的目的是提出一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法，能够针对高光区进行抑制，对非高光区采用虚拟增强叠加的方式补偿到正常的范围，从而弥补视觉误差，提高驾驶安全性。
本发明采用以下方案实现：一种基于图像处理和虚拟增强的防止眩光的系统，包括图像传感器模块、深度信息摄像头模块、控制模块、图像处理模块以及虚拟增强显示模块；所述图像传感器模块与所述控制模块连接，用以将检测光照强度后转化的电信号传输到所述控制模块；所述图像处理模块与所述深度信息摄像头模块连接用以对所述深度信息摄像头模块传输过来的图像信息进行分析和处理；所述控制模块与所述图像处理模块连接，用以输出透光量；所述虚拟增强显示模块与所述图像处理模块连接，用以将所述控制模块输出到所述图像处理模块的透光量与所述深度信息摄像头模块传输到所述图像处理模块的图像通过虚拟增强显示模块，以投影的方式对透光减少后的图像进行补偿，达到克服眩光的目的。
进一步地，所述的图像传感器模块采用的是CCD图像传感器。
进一步地，所述控制模块采用闭环电控方法控制透光量，调节光线强度；当需要调整透光量时，将与所述图像传感器模块检测出的光照强度相对应的信号作为输入量，输出量为玻璃透光量；被控对象为调光玻璃；检测装置为所述CCD图像传感器；经过反馈环节将与所述 CCD图像传感器检测到的光照强度对应的信号与设定的期望透光强度信号输入比较器，比较器输出二者差值控制透光玻璃透光量；检测光强度大于期望光强度时，降低玻璃透光，检测光强度小于期望光强度时提高透光；检测光强度等于期望光强度时则不进行透光量调整。
进一步地，所述深度信息摄像头模块采用的是深度摄像头；所述深度摄像头包括红外投影头、RGB摄像头及红外摄像头；所述RGB摄像头用以获取彩色图像；红外投影头与红外摄像头通过发射或接收红外线来提供深度信息，进而获得深度影像。
进一步地，所述的图像信息为深度信息摄像头模块中RGB摄像头采集的图像，即炫光图像。
进一步地，一种基于图像处理和虚拟增强的防止眩光的系统的实现方法，包括以下步骤：
步骤S1：通过所述CCD图像传感器自动检测投射到玻璃的光照强度；
步骤S2：由控制模块判断是否需要调整玻璃的透光量；如果需要调整则执行步骤S3，如果不需要调整则返回步骤S1；
步骤S3：将所述深度摄像头中RGB摄像头采集的图像传输到图像处理模块中进行图像分析；通过分块直方图方法对图像中的高亮部分进行分块抑制，降低玻璃透光量；对图像中的暗光部分亮度提升，使玻璃全透光；对图像的其他部分采用直方图均一化方法调整；
步骤S4：通过虚拟增强显示模块，以投影的方式对步骤S3中玻璃透光减少后的图像进行补偿，弥补视觉误差，用以实现抑制眩光的目的。
进一步地，所述步骤S3的具体内容为：将获取的炫光图像通过直方图分布进行分析；对正常不影响视觉的图像，即直方图分布均匀，过度平滑，无明显尖峰的图像，系统将不进行操作，保持玻璃全通透光；对整体较暗环境下的图像，即像素集中在直方图暗部且呈现明显尖峰的图像，系统保持玻璃全通透光，对于整体高亮光图像，即像素集中在直方图亮部且呈现明显尖峰的图像，系统控制玻璃透光，降低透光量。
进一步地，所述的将获取的炫光图像通过直方图分布进行分析包括以下步骤：
步骤S1：对采集到的眩光图像利用高斯低通滤波方法去噪，得到去噪后的图像；
步骤S2：利用Canny算子对步骤S1中去噪后的图像进行边缘提取操作，获取图像强光部分边缘图像；
步骤S3：提取步骤S2中边缘图像每条边边缘像素点，采用形态学处理的方法将多像素边缘变为单像素边缘；
步骤S4：求出步骤S3中每条边的像素点后，再对每条边构造包含边缘线的最小外接矩形；即先求出边缘线上的每个像素点，在这些点中求出含有横坐标与纵坐标最大值与最小值的点，再根据这些最大值与最小值来确定矩形的两个端点，最后根据这两个端点确定以它们为对角线的矩形，这个矩形就是包含边缘线的最小外接矩形；
步骤S5：对步骤S4求出的最小外接矩形根据图像的信息熵进行分块；根据不同块的熵值进行强光抑制，采用gamma指数模型将强光部分弱化，使暗光部分变亮，最终使整块图像达到光线平衡。
信息熵公式为：
其中，设图像经Q位量化，则图像具有M＝2Q个灰度级，设灰度级Gi＝i(i＝0,1,2,...,2Q-1)，则灰度级为Gi的像素在整幅图像的频率为：其中ni是灰度级为Gi的像素的个数，ntotal是整幅图像的总像素数，图像的自信息量：I(G)＝ln[1/P(Gi)]，H则为信息量；
指数模型为：
On(x,y)＝In(x,y)γ
其中，gamma参数为常数，In(x,y)为变换前的像素值，On(x,y)为变换后的输出；
步骤S6：对于步骤S2分离强光后剩余的暗部图像，采用非线性对数模型亮度调节的方法使暗光部分亮度提升；公式为： gn(x,y)＝C×ln[D×fn(x,y)+1]
其中，D为调节系数可由经验或实验手工设置，用来改变变换函数的亮度提升性能；fn(x,y)表示输入图像的像素值，，系数C的取值如下：
步骤S7：步骤S5和步骤S6分块处理后的图像采用直方图均一化方法处理，最终使得整块图像达到光线平衡；整体处理之后的结果通过虚拟增强进行补偿叠加显示在虚拟增强显示模块上。
与现有技术相比，本发明有以下有益效果：
本发明以闭环电控的方式进行控制玻璃透光量，对强光部分进行分块抑制，暗部进行亮度提升，其余部分采用直方图均一化的方法进行处理，使图像整体平滑，光线平衡。再以深度摄像模块与AR显示模块配合，增强显示，进行影像补偿，达到克服眩光的目的；能有效防止由于强光造成的短时致盲，提高安全性。
附图说明
图1为本发明实施例的系统框图。
图2为本发明实施例的闭环电控图。
图3为本发明实施例的深度摄像头结构图。
图4为本发明实施例的确定矩形的方法图。
图5为本发明实施例的图像分块示意图。
图6为本发明实施例的增强现实系统。
图7为本发明实施例的系统处理总流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1所示，本实施例提供一种基于图像处理和虚拟增强的防止眩光的系统，包括图像传感器模块、深度信息摄像头模块、控制模块、图像处理模块以及虚拟增强显示模块；所述图像传感器模块与所述控制模块连接，用以将检测光照强度后转化的电信号传输到所述控制模块；所述图像处理模块与所述深度信息摄像头模块连接用以对所述深度信息摄像头模块传输过来的图像信息进行分析和处理；所述控制模块与所述图像处理模块连接，用以输出透光量；所述虚拟增强显示模块与所述图像处理模块连接，用以将所述控制模块输出到所述图像处理模块的透光量与所述深度信息摄像头模块传输到所述图像处理模块的图像通过虚拟增强显示模块，以投影的方式对透光减少后的图像进行补偿，达到克服眩光的目的。
在本实施例中，所述的图像传感器模块采用的是CCD图像传感器，也可以采用CMOS图像传感器。
在本实施例中，所述控制模块采用闭环电控方法控制透光量，调节光线强度；当需要调整透光量时，将与所述图像传感器模块检测出的光照强度相对应的信号作为输入量，输出量为玻璃透光量；被控对象为调光玻璃；检测装置为所述CCD图像传感器；经过反馈环节将与所述CCD图像传感器检测到的光照强度对应的信号与设定的期望透光强度信号输入比较器，比较器输出二者差值控制玻璃透光量；检测光强度大于期望光强度时，降低玻璃透光，检测光强度小于期望光强度时提高透光；检测光强度等于期望光强度时则不进行透光量调整。
在本实施例中，所述深度信息摄像头模块采用的是深度摄像头；所述深度摄像头包括红外投影头、RGB摄像头及红外摄像头；所述RGB 摄像头用以获取彩色图像；红外投影头与红外摄像头通过发射或接收红外线来提供深度信息，进而获得深度影像。
在本实施例中，所述的图像信息为深度信息摄像头模块中RGB摄像头采集的图像，即炫光图像。
如图7所示，在本实施例中，一种基于图像处理和虚拟增强的防止眩光的系统的实现方法，包括以下步骤：
步骤S1：通过所述CCD图像传感器自动检测投射到玻璃的光照强度；
步骤S2：判断是否需要调整玻璃的透光量；如果需要调整则执行步骤S3，如果不需要调整则返回步骤S1；
步骤S3：将所述深度摄像头中RGB摄像头采集的图像传输到图像处理模块中进行图像分析；通过分块直方图方法对图像中的高亮部分进行分块抑制，降低玻璃透光量；对图像中的暗光部分亮度提升，使玻璃全透光；对图像的其他部分采用直方图均一化方法调整；
步骤S4：通过虚拟增强显示模块，以投影的方式对步骤S3中玻璃透光减少后的图像进行补偿，弥补视觉误差，用以实现抑制眩光的目的。
在本实施例中，所述步骤S3的具体内容为：将获取的炫光图像通过直方图分布进行分析；对正常不影响视觉的图像，即直方图分布均匀，过度平滑，无明显尖峰的图像，系统将不进行操作，保持玻璃全通透光；对整体较暗环境下的图像，即像素集中在直方图暗部且呈现明显尖峰的图像，系统保持玻璃全通透光，对于整体高亮光图像，即像素集中在直方图亮部且呈现明显尖峰的图像，系统控制玻璃透光，降低透光量。
在本实施例中，所述的将获取的炫光图像通过直方图分布进行分析包括以下步骤：
步骤S1：对采集到的眩光图像利用已有的高斯低通滤波方法去噪，得到去噪后的图像；
步骤S2：利用图像处理中已有的Canny算子对步骤S1中去噪后的图像进行边缘提取操作，获取图像中强光部分边缘图像；
步骤S3：提取步骤S2中边缘图像每条边边缘像素点，采用图像处理中已有的形态学处理的方法将多像素边缘变为单像素边缘；
步骤S4：求出步骤S3中每条边的像素点后，再对每条边构造包含边缘线的最小外接矩形；即先求出边缘线上的每个像素点，在这些点中求出含有横坐标与纵坐标最大值与最小值的点，再根据这些最大值与最小值来确定矩形的两个端点，最后根据这两个端点确定以它们为对角线的矩形，这个矩形就是包含边缘线的最小外接矩形；如图4所示，假定坐标原点对应图像的左上角的像素点。图中较粗的曲线为边缘线。图中，点(x1,y1)、点(x2,y2)、点(x3,y3)、点(x4,y4) 分别为这条曲线上的4个点。从图中可以看出，在这条曲线中，点(x1, y1)具有横坐标的最小值，(x2,y2)具有纵坐标的最小值，(x3,y3) 具有纵坐标的最大值，(x4,y4)具有横坐标的最大值。再根据这些最大值和最小值确定(x5,y5)和(x6,y6)，显然(x5,y5)具有横坐标最小值和纵坐标最大值，(x6,y6)具有横坐标最大值和纵坐标最小值。而最后得到的矩形框则是以(x5,y5)和(x6,y6)为对角线两端点的矩形；
步骤S5：对步骤S4求出的最小外接矩形根据图像的信息熵进行分块；根据不同块的熵值进行强光抑制，采用gamma指数模型把强光部分弱化，使暗光部分变亮，最终使整块图像达到光线平衡。具体分块方法如图5所示，将矩形(3m×3n)拟平均分为9块，每块大小为m ×n，如图中粗黑虚线中共9个子块，每块对应不同的熵值，根据不同块的熵值进行强光抑制，采用gamma指数模型把强光部分弱化。使暗光部分变亮，最终使得整块图像达到光线平衡。
信息熵公式为：
其中，设图像经Q位量化，则图像具有M＝2Q个灰度级，设灰度级Gi＝i(i＝0,1,2,...,2Q-1)，则灰度级为Gi的像素在整幅图像的频率为：其中ni是灰度级为Gi的像素的个数，ntotal是整幅图像的总像素数，图像的自信息量：I(G)＝ln[1/P(Gi)]，H则为信息量；
指数模型为：
On(x,y)＝In(x,y)γ
其中，gamma参数为常数，In(x,y)为变换前的像素值，On(x,y)为变换后的输出。
步骤S6：对于步骤S2分离强光后剩余的暗部图像，采用非线性对数模型亮度调节的方法使暗光部分亮度提升；公式为： gn(x,y)＝C×ln[D×fn(x,y)+1]
其中，D为调节系数，用来改变变换函数的亮度提升性能；fn(x,y)表示输入图像的像素值，，系数C的取值如下：
步骤S7：步骤S5和步骤S6分块处理后的图像采用已有的直方图均一化方法处理，最终使得整块图像达到光线平衡；整体处理之后的结果通过虚拟增强进行补偿叠加显示在AR(虚拟增强显示模块) 模块上。
特别的，在本实施例中，通过图像传感器主动检测照射强度，以闭环电控方法控制玻璃透光量，调节光线强度；再利用图像处理技术对高光部分进行分块抑制，暗的部分进行亮度提升，其他部分采用直方图均一化的方法进行处理；通过AR显示组件，以投影的方式对采用玻璃透光减少后的影像进行补偿，弥补视觉误差，达到克服眩光的目的。通过图像处理的方法检测当前光照情况后控制整体透光量的大小，特别是能够针对高光区进行抑制，对非高光区采用AR叠加的方式补偿到正常的范围。
特别的，在本实施例中，采用了调光玻璃，(调光玻璃是将液晶膜复合进两层玻璃中间，经高温高压胶合后一体成型的夹层结构的新型特种光电玻璃产品)，通过图像传感器主动检测照射强度，以闭环电控方法控制玻璃透光，属于主动调整的控制方式，增加非高光部分的影像补偿，从而弥补视觉误差。如将本实施例提出的方法和装置用于汽车前挡风玻璃时，逆光行驶或迎面强光条件下，依然能够将外部路况清晰地增强显示在AR显示屏幕上，提高驾驶安全系数。本实施例主要应用图像处理技术和AR技术。通过图像传感器主动检测照射强度，以闭环反馈控制方法自动调节透光量，调节光线强度；利用图像处理技术对高光部分进行分块抑制，暗的部分进行亮度提升，其他部分采用直方图均一化的方法进行处理。通过AR显示组件，以投影的方式对采用玻璃透光减少后的影像进行补偿，弥补视觉误差，达到克服眩光的目的。
较佳的，本实施例传感器模块应用的是CCD图像传感器，它是按一定规律排列的MOS电容器组成的光敏元阵列。当遇到光照射时，光敏元根据光的强弱感生出与光照强度相对应的光生电荷。这样就自动检测出光照强度并将其转化为相对应的电信号。
如图2所示，控制模块采用闭环电控方法控制透光量，调节光线强度。当需要调整透光量时，将与传感器模块检测出的光照强度相对应的电信号作为输入量，输出量为玻璃透光量；被控对象这里为挡风玻璃；检测装置仍为图像传感器；之后再经过反馈环节将与图像传感器检测到的光照强度相对应的电信号反馈给比较器。
如图3所示，深度信息摄像模块，该模块应用深度摄像头：①获取彩色图像即光线照射来向图像——这部分为后续图像处理作准备；②获取深度影像——这部分为后续与AR配合显示做准备。由图可知深度摄像头包括红外投影头、RGB摄像头及红外摄像头。中间的RGB摄像头与传统的摄像头功能、构造相同，用来获取彩色图像。红外投影头与红外摄像头通过发射/接收红外线来提供深度信息，二者配合使用以获得深度影像。
配合方式如下：红外投影头经过磨砂玻璃和红外滤光片投射出近红外光；红外摄像头接收投射出的红外光，再将红外光编码影像传给PS1080SoC(系统级芯片)；PS1080对红外影像进行匹配处理；最后逐帧生成准确的场景深度影像。
图像处理模块：对所采集的图像进行分析和处理——即对深度信息摄像模块中RGB摄像头采集的图像(光线照射来向图像)进行分析和处理。
AR显示模块通过投影的方式对采用玻璃透光减少后的影像进行补偿；尤其对非高光区采用AR叠加的方式补偿到正常的范围并与深度摄像模块配合，将图像显示在调光玻璃显示屏上。如图6所示：
在本实施例中，将获取的图像通过直方图分布情况进行分析——①对正常不影响视觉的图像，即直方图分布均匀，过度平滑，无明显尖峰的图像，系统将不进行操作，保持玻璃全通透光；②对整体较暗环境下的图像，如主要像素集中在直方图暗部且呈现明显尖峰的图像，系统保持玻璃全通透光，并通过AR进行补偿，通过图像直方图均一化方法提升视觉效果；③对于整体高亮光图像，如主要像素集中在直方图亮部且呈现明显尖峰的图像，系统控制玻璃透光，降低透光亮。
此外，主要通过分块直方图方法检测存在眩光的图像，系统将控制玻璃降低透光，同时图像处理模块对高光部分分块进行抑制，暗部进行亮度提升，其他部分采用直方图均一化方法处理，整体处理之后的结果通过AR进行补偿，实现抑制眩光的效果。
较佳的，在本实施例中，将图像处理技术与AR技术相结合，通过图像处理的方法检测当前光照情况后控制整体透光量的大小，特别是能够针对高光区进行抑制，对非高光区采用AR叠加的方式补偿到正常的范围。
1)以闭环电控方法控制玻璃透光量；
2)利用图像处理技术对高光部分进行分块抑制，暗部亮度提升，其他部分直方图均一化处理；
3)深度摄像模块与AR显示模块配合，增强显示，进行影像补偿，弥补视觉误差。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (8)
1.一种基于图像处理和虚拟增强的防止眩光的系统，其特征在于：包括图像传感器模块、深度信息摄像头模块、控制模块、图像处理模块以及虚拟增强显示模块；所述图像传感器模块与所述控制模块连接，用以将检测光照强度后转化的电信号传输到所述控制模块；所述图像处理模块与所述深度信息摄像头模块连接用以对所述深度信息摄像头模块传输过来的图像信息进行分析和处理；所述控制模块与所述图像处理模块连接，用以输出透光量；所述虚拟增强显示模块与所述图像处理模块连接，用以将所述控制模块输出到所述图像处理模块的透光量与所述深度信息摄像头模块传输到所述图像处理模块的图像通过虚拟增强显示模块，以投影的方式对透光减少后的图像进行补偿，达到克服眩光的目的。
2.根据权利要求1所述的一种基于图像处理和虚拟增强的防止眩光的系统，其特征在于：所述的图像传感器模块采用的是CCD图像传感器。
3.根据权利要求2所述的一种基于图像处理和虚拟增强的防止眩光的系统，其特征在于：所述控制模块采用闭环电控方法控制透光量，调节光线强度；当需要调整透光量时，将与所述图像传感器模块检测出的光照强度相对应的信号作为输入量，输出量为玻璃透光量；被控对象为调光玻璃；检测装置为所述CCD图像传感器；经过反馈环节将与所述CCD图像传感器检测到的光照强度对应的信号与设定的期望透光强度信号输入比较器，比较器输出二者差值控制透光玻璃透光量；检测光强度大于期望光强度时，降低玻璃透光，检测光强度小于期望光强度时提高透光；检测光强度等于期望光强度时则不进行透光量调整。
4.根据权利要求1所述的一种基于图像处理和虚拟增强的防止眩光的系统，其特征在于：所述深度信息摄像头模块采用的是深度摄像头；所述深度摄像头包括红外投影头、RGB摄像头及红外摄像头；所述RGB摄像头用以获取彩色图像；红外投影头与红外摄像头通过发射或接收红外线来提供深度信息，进而获得深度影像。
5.根据权利要求4所述的一种基于图像处理和虚拟增强的防止眩光的系统，其特征在于：所述的图像信息为深度信息摄像头模块中RGB摄像头采集的图像，即炫光图像。
6.一种基于权利要求1-5任一项的基于图像处理和虚拟增强的防止眩光的系统的实现方法，其特征在于：包括以下步骤：
步骤S1：通过所述CCD图像传感器自动检测投射到玻璃的光照强度；
步骤S2：由所述控制模块判断是否需要调整玻璃的透光量；如果需要调整则执行步骤S3，如果不需要调整则返回步骤S1；
步骤S3：将所述深度摄像头中RGB摄像头采集的图像传输到图像处理模块中进行图像分析；通过分块直方图方法对图像中的高亮部分进行分块抑制，降低玻璃透光量；对图像中的暗光部分亮度提升，使玻璃全透光；对图像的其他部分采用直方图均一化方法调整；
步骤S4：通过虚拟增强显示模块，以投影的方式对步骤S3中玻璃透光减少后的图像进行补偿，弥补视觉误差，用以实现抑制眩光的目的。
7.根据权利要求6所述的基于图像处理和虚拟增强的防止眩光的系统的实现方法，其特征在于：所述步骤S3的具体内容为：将获取的炫光图像通过直方图分布进行分析；对正常不影响视觉的图像，即直方图分布均匀，过度平滑，无明显尖峰的图像，系统将不进行操作，保持玻璃全通透光；对整体较暗环境下的图像，即像素集中在直方图暗部且呈现明显尖峰的图像，系统保持玻璃全通透光，对于整体高亮光图像，即像素集中在直方图亮部且呈现明显尖峰的图像，系统控制玻璃透光，降低透光量。
8.根据权利要求7所述的基于图像处理和虚拟增强的防止眩光的系统的实现方法，其特征在于：所述的将获取的炫光图像通过直方图分布进行分析包括以下步骤：
步骤S1：对采集到的眩光图像利用高斯低通滤波方法去噪，得到去噪后的图像；
步骤S2：利用Canny算子对步骤S1中去噪后的图像进行边缘提取操作，获取图像中强光部分边缘；
步骤S3：提取步骤S2中边缘图像每条边边缘像素点，采用形态学边缘处理的方法将多像素边缘变为单像素边缘；
步骤S4：求出步骤S3中所述单像素边缘每条边的像素点后，再对每条边构造包含边缘线的最小外接矩形；即先求出边缘线上的每个像素点，在这些点中求出含有横坐标与纵坐标最大值与最小值的点，再根据这些最大值与最小值来确定矩形的两个端点，最后根据这两个端点确定以它们为对角线的矩形，这个矩形就是包含边缘线的最小外接矩形；
步骤S5：对步骤S4求出的最小外接矩形根据图像的信息熵进行分块；根据不同块的熵值进行强光抑制。采用gamma指数模型将强光部分弱化，使暗光部分变亮，最终使整块图像达到光线平衡；
信息熵公式为：
其中，设图像经Q位量化，则图像具有M＝2Q个灰度级，设灰度级Gi＝i(i＝0,1,2,...,2Q-1)，则灰度级为Gi的像素在整幅图像的频率为：其中ni是灰度级为Gi的像素的个数，ntotal是整幅图像的总像素数，图像的自信息量：I(G)＝ln[1/P(Gi)]，H则为信息量；
指数模型为：
On(x,y)＝In(x,y)γ
其中，gamma参数为常数，In(x,y)为变换前的像素值，On(x,y)为变换后的输出；
步骤S6：对于步骤S2分离强光后剩余的暗部图像，采用非线性对数模型亮度调节的方法使暗光部分亮度提升；公式为：gn(x,y)＝C×ln[D×fn(x,y)+1]
其中，D为调节系数，用来改变变换函数的亮度提升性能；fn(x,y)表示输入图像的像素值，系数C的取值如下：
步骤S7：步骤S5和步骤S6分块处理后的图像中除去高光和暗部其他部分采用直方图均一化方法处理，最终使得整块图像达到光线平衡；整体处理之后的结果通过虚拟增强进行补偿叠加显示在虚拟增强显示模块上。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811413402.9A CN109587395B (zh) | 2018-11-23 | 2018-11-23 | 一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811413402.9A CN109587395B (zh) | 2018-11-23 | 2018-11-23 | 一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109587395A true CN109587395A (zh) | 2019-04-05 |
| CN109587395B CN109587395B (zh) | 2020-11-06 |
Family
ID=65923988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811413402.9A Active CN109587395B (zh) | 2018-11-23 | 2018-11-23 | 一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109587395B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110884431A (zh) * | 2019-11-26 | 2020-03-17 | 湖北工业大学 | 一种适用于汽车智能后视镜夜间防强光的装置和方法 |
| CN111210406A (zh) * | 2019-12-27 | 2020-05-29 | 中国航空工业集团公司西安飞机设计研究所 | 一种驾驶舱眩光源位置计算方法 |
| CN111429369A (zh) * | 2020-03-16 | 2020-07-17 | 北京迈格威科技有限公司 | 高动态范围图像生成方法、装置、电子设备及存储介质 |
| CN111639588A (zh) * | 2020-05-28 | 2020-09-08 | 深圳壹账通智能科技有限公司 | 图像效果调整方法、装置、计算机系统及可读存储介质 |
| CN111985527A (zh) * | 2020-07-03 | 2020-11-24 | 西安理工大学 | 一种逆光图像自动检测方法 |
| CN114898577A (zh) * | 2022-07-13 | 2022-08-12 | 环球数科集团有限公司 | 一种用于高峰期通路管理的道路智能管理系统与方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1854815A (zh) * | 2005-04-26 | 2006-11-01 | 浙江汉宇安全技术有限公司 | 智能型防眩光方法及其装置 |
| US20110164789A1 (en) * | 2008-07-14 | 2011-07-07 | National Ict Australia Limited | Detection of vehicles in images of a night time scene |
| CN104163133A (zh) * | 2013-05-16 | 2014-11-26 | 福特环球技术公司 | 使用后视镜位置的后视摄像机系统 |
| CN104230172A (zh) * | 2013-06-06 | 2014-12-24 | 株式会社不二制作所 | 透光玻璃的表面处理方法和用该方法处理后的透光玻璃 |
| CN104648246A (zh) * | 2013-11-19 | 2015-05-27 | 昆达电脑科技(昆山)有限公司 | 遮阳防眩装置 |
| CN105128634A (zh) * | 2015-09-08 | 2015-12-09 | 河南师范大学 | 一种分区灰度调节防眩光汽车遮阳板 |
| CN106143072A (zh) * | 2015-03-11 | 2016-11-23 | 刘韵凯 | 一种基于电致变色玻璃的汽车前视智能防眩系统 |
| CN107399276A (zh) * | 2017-07-28 | 2017-11-28 | 合肥芯福传感器技术有限公司 | 用于车辆安全倒车的ar投影系统及投影方法 |
| CN107776371A (zh) * | 2016-08-31 | 2018-03-09 | 李海锋 | 汽车智能防眩处理的方法和装置 |
| US20180089899A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Adaptive vehicle augmented reality display using stereographic imagery |
-
2018
- 2018-11-23 CN CN201811413402.9A patent/CN109587395B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1854815A (zh) * | 2005-04-26 | 2006-11-01 | 浙江汉宇安全技术有限公司 | 智能型防眩光方法及其装置 |
| US20110164789A1 (en) * | 2008-07-14 | 2011-07-07 | National Ict Australia Limited | Detection of vehicles in images of a night time scene |
| CN104163133A (zh) * | 2013-05-16 | 2014-11-26 | 福特环球技术公司 | 使用后视镜位置的后视摄像机系统 |
| CN104230172A (zh) * | 2013-06-06 | 2014-12-24 | 株式会社不二制作所 | 透光玻璃的表面处理方法和用该方法处理后的透光玻璃 |
| CN104648246A (zh) * | 2013-11-19 | 2015-05-27 | 昆达电脑科技(昆山)有限公司 | 遮阳防眩装置 |
| CN106143072A (zh) * | 2015-03-11 | 2016-11-23 | 刘韵凯 | 一种基于电致变色玻璃的汽车前视智能防眩系统 |
| CN105128634A (zh) * | 2015-09-08 | 2015-12-09 | 河南师范大学 | 一种分区灰度调节防眩光汽车遮阳板 |
| CN107776371A (zh) * | 2016-08-31 | 2018-03-09 | 李海锋 | 汽车智能防眩处理的方法和装置 |
| US20180089899A1 (en) * | 2016-09-23 | 2018-03-29 | Apple Inc. | Adaptive vehicle augmented reality display using stereographic imagery |
| CN107399276A (zh) * | 2017-07-28 | 2017-11-28 | 合肥芯福传感器技术有限公司 | 用于车辆安全倒车的ar投影系统及投影方法 |
Non-Patent Citations (1)
| Title |
|---|
| 孙锐 等: ""基于虚拟融合的夜视图像增强与眩光抑制方法"", 《电子测量与仪器学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110884431A (zh) * | 2019-11-26 | 2020-03-17 | 湖北工业大学 | 一种适用于汽车智能后视镜夜间防强光的装置和方法 |
| CN110884431B (zh) * | 2019-11-26 | 2021-05-04 | 湖北工业大学 | 一种适用于汽车智能后视镜夜间防强光的装置和方法 |
| CN111210406A (zh) * | 2019-12-27 | 2020-05-29 | 中国航空工业集团公司西安飞机设计研究所 | 一种驾驶舱眩光源位置计算方法 |
| CN111429369A (zh) * | 2020-03-16 | 2020-07-17 | 北京迈格威科技有限公司 | 高动态范围图像生成方法、装置、电子设备及存储介质 |
| CN111639588A (zh) * | 2020-05-28 | 2020-09-08 | 深圳壹账通智能科技有限公司 | 图像效果调整方法、装置、计算机系统及可读存储介质 |
| CN111985527A (zh) * | 2020-07-03 | 2020-11-24 | 西安理工大学 | 一种逆光图像自动检测方法 |
| CN111985527B (zh) * | 2020-07-03 | 2024-05-17 | 广州市卓航信息科技有限公司 | 一种逆光图像自动检测方法 |
| CN114898577A (zh) * | 2022-07-13 | 2022-08-12 | 环球数科集团有限公司 | 一种用于高峰期通路管理的道路智能管理系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109587395B (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109587395A (zh) | 一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法 | |
| CN105069768B (zh) | 一种可见光图像与红外图像融合处理系统及融合方法 | |
| CN105654437B (zh) | 一种对低照度图像的增强方法 | |
| Li et al. | Nighttime haze removal with glow and multiple light colors | |
| CN106886985B (zh) | 一种减小色偏的自适应低照度图像增强方法 | |
| CN102625047B (zh) | 面部成像系统和用于控制面部成像系统的方法 | |
| CN103714520B (zh) | 基于fpga实现数字视频图像增强系统及其方法 | |
| CN107566747A (zh) | 一种图像亮度增强方法及装置 | |
| CN106157270B (zh) | 一种单幅图像快速去雾方法及系统 | |
| JP2006121713A (ja) | コントラストの強調 | |
| CN106488201A (zh) | 一种图像信号的处理方法和系统 | |
| CN107909562A (zh) | 一种基于像素级的快速图像融合算法 | |
| CN107578383A (zh) | 一种低照度图像增强处理方法 | |
| CN111476732B (zh) | 一种图像融合及去噪的方法及系统 | |
| CN105872510B (zh) | 一种图像白平衡处理方法及装置 | |
| CN107194900A (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
| CN102858072A (zh) | 照明控制方法及系统 | |
| CN108288258A (zh) | 一种针对恶劣天气条件下的低质图像增强方法 | |
| CN110473152A (zh) | 基于改进Retinex算法的图像增强方法 | |
| CN110223262A (zh) | 一种基于像素级的快速图像融合方法 | |
| WO2011000392A1 (en) | Method and camera system for improving the contrast of a camera image | |
| US20120275721A1 (en) | Image enhancement | |
| CN108364263A (zh) | 一种标清输入高清输出的车载图像处理方法 | |
| CN100481903C (zh) | 一种lcd电视显示质量的自适应调节装置及方法 | |
| CN101197911B (zh) | 图像边缘强化方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: No.33, Xuefu South Road, University New District, Minhou County, Fuzhou City, Fujian Province Patentee after: Fujian University of Science and Technology Address before: No.33, Xuefu South Road, University New District, Minhou County, Fuzhou City, Fujian Province Patentee before: FUJIAN University OF TECHNOLOGY |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230920 Address after: 350000 7th floor, yunzuo-3 building, 528 Xihong Road, Gulou District, Fuzhou City, Fujian Province Patentee after: FUJIAN PIAOFUTONG INFORMATION TECHNOLOGY Co.,Ltd. Address before: No. 33, Xuefu South Road, Minhou University New Area, Minhou County, Fuzhou City, Fujian Province, 350118 Patentee before: Fujian University of Science and Technology |