CN111327800A - 一种适应复杂光照环境的全天候车载视觉系统及方法 - Google Patents
一种适应复杂光照环境的全天候车载视觉系统及方法 Download PDFInfo
- Publication number
- CN111327800A CN111327800A CN202010018161.9A CN202010018161A CN111327800A CN 111327800 A CN111327800 A CN 111327800A CN 202010018161 A CN202010018161 A CN 202010018161A CN 111327800 A CN111327800 A CN 111327800A
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- control unit
- lens
- original image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供的一种适应复杂光照环境的全天候车载视觉系统及方法,其中,所述车载视觉装置包括:主控芯片以及分别和所述主控芯片连接的摄像头以及显示器,所述主控芯片包括数据处理中心、镜头控制单元、图像传感器控制单元、图像传输控制单元和图像处理控制单元。本发明通过调整摄像头的焦距和光圈,来达到同时适应亮暗、远距离和大视野场景的成像;同时对摄像头和主控芯片进行综合控制,解决了暗光下高动态以及雨雾场景的成像问题,大大提升了用户体验。
Description
技术领域
本发明属于辅助驾驶影像技术领域,尤其涉及一种适应复杂光照环境的全天候车载视觉系统及方法。
背景技术
车载视觉系统需要达到全天候使用的目标,有一些主要问题需要克服:夜间成像质量,高动态场景成像质量以及雨雾天气成像质量。根据世界卫生组织的最新调查,在许多国家的死亡人数中由交通事故造成的死亡占据的比例很大。而夜间视线不良所造成的事故占比更高达70%。一个有效减少此类交通事故伤亡人数的策略时使用汽车夜视辅助驾驶系统,在危险的驾驶情况下给出预警或帮助驾驶员做出决策。
为了增强夜间成像质量,夜视方案按照技术不同,通常可分为红外热成像夜视和微光夜视。红外夜视又分为主动红外夜视和被动红外夜视技术。被动红外夜视技术需要搭配特殊的红外光传感器,此类传感器能够感应的波长范围从几百nm到十几um,甚至几um,与普通人眼只感应可见光的范围不同,最终成像与人眼通常看到的场景也不一样,通常此类红外传感器最终成像为黑白图像,不包含色彩信息,未经培训过的人很难快速适应识别红外夜视仪输出的图像;而且,成本较高,功耗较大。目前仅在军工、科研和某些特定领域推广使用。主动红外夜视技术除了需要搭配使用红外光传感器外,还需要额外的红外补光模块,最终成像的亮度取决于补光模块的设计。一般都会出现中间偏亮过曝,四周偏暗看不清的问题。
微光夜视仪又分为微光像增强器微光夜视仪和图像增强微光夜视仪。微光像增强器夜视仪通过微光像增强器来提升微光下的图像亮度,整个微光夜视系统包括光学成像镜头组、微光像增强器、后置处理系统。其中微光像增强器为最重要的一环。像增强器实际是一个电流放大器,通过在两端施加一定的电压,增大电流,以达到提升图像质量的目的。因此该类夜视仪工作时需要很高的工作电压,功耗较正常消费级产品高出很多。图像增强微光夜视技术主要用在使用大光圈镜头、消费级图像传感器,制动马达和相应的防雾和防眩光镀膜技术搭建感光能力强的消费级摄像头系统上,依托于图像增强算法,对以获取的图像进行提亮,降噪等处理,来达到提升图像质量的目的。传统图像处理通常采用多帧图像叠加处理的方式,来进行微光图像的增强,这种技术并不适合用于高速运动相机;因为相机高速运动时,不同帧图像之间,所拍摄的物体会有较大的位移和偏差,从而导致图像增强时,不可避免的出现模糊的现象,严重的可能导致图像内容无法有效辨识。有鉴于此,由于目前相应部件的物体极限,传统图像处理算法的能力,导致该类夜视技术很难达到较好的夜视增强效果。而且上述的夜视技术由于感光能力较强,在强光场景下,会导致图像大面积过曝而无法正常工作;甚至某些类型的夜视仪在强光下本身都有可能损坏,而无法再继续使用。
车辆行驶过程中,高动态场景是困扰司机驾驶的另一个问题场景,例如会车时,对方开着远光灯,会导致司机无法看到前方的路况。这种情况下,就需要高动态成像技术。目前常用的高动态成像技术为多幅图像融合技术。通过设置不同的曝光时间,获取亮暗程度不同的几张图片,再通过图像融合的技术,达到高动态成像的目的。多张图像融合又分为帧间图像融合和帧内图像融合。帧间图像融合要求不同帧之间使用不同的曝光时间,后端图像处理模块收到多帧的图像数据后,进行图像的融合。车辆在高速行驶时,或者前方有移动物体时,这种帧间图像融合技术会导致最终融合的图像出现较严重的模糊,甚至无法有效成像;而且因为多帧图像合成一帧,会导致图像有较严重的延迟。帧内图像融合要求一帧内输出多个不同曝光时间的图像,一定程度上会消除多帧图像之间的图像不同步问题。但是该技术需要图像传感器特殊的设计支持,还需要接收端能够支持解析特定的协议,而且对后端图像处理芯片有一定的去模糊和图像对齐能力的要求。
大雾天气下,空气中充满微小水滴或冰晶组成的气溶胶颗粒。由于大气粒子对光线的散射作用,物体可见的对比度降低;密集的大气粒子本身会成像,遮挡远处物体;部分经过气溶胶颗粒折射的杂光,会参与成像,导致图像对比度、饱和度、色调的降低。大雾环境下,成像系统无法有效还原真实场景的许多特征,导致可见度急剧降低。摄像头的去雾能力分为光学去雾和电子去雾两种。光学去雾是利用近红外光波长较长,可穿透一定程度的气溶胶颗粒的原理来进行成像。首先在镜头设计时需要特殊优化,除考虑可见光波段的共焦,还要蒸镀特殊的膜层增加近红外光的透射,和额外考虑近红外光与可见光的共焦,保证透雾的同时,图像不会模糊且不存在明显的色差;另外还需要对滤波片进行相应的镀层,保证近红外光能够透射到成像面且不会产生过多的杂光。电子去雾是使用各种传统的图像处理算法,对已拍摄的有雾场景的图片进行图像增强,提升图片的视觉感受。透雾算法通常包括两种处理模式:一种是非模型的图像增强方法,通过图像处理算法,例如直方图均衡、滤波变换、对比度增强等,提升图像的对比度,来达到去雾的视觉效果;另一种是基于一定的物理模型,如大气散射模型、偏振透雾模型等,通过局部区域灰度程度判断出雾霾浓度,分析出图像退化的原因,采用逆向处理的方法,例如卡尔曼滤波法、最大熵法和退化函数估计法等,复原出清晰的透雾图像。
综上,目前车载视觉系统不能很好的完成全天候作业,主要是因为面对高动态、极弱光、雾霾天气等状况下,无法获取高辨识度的图像,给到后端进行有效的分析。本发明公开了一种新的视觉方案,解决传统摄像头系统在复杂光线下的无法得到高辨识度图像的难题。
发明内容
鉴于上述现有技术的不足之处,本发明的目的旨在解决现有技术中传统摄像头系统在复杂光线下,无法得到高辨识度图像的难题。
为了达到上述目的,本发明采取了以下技术方案:
一种适应复杂光照环境的全天候车载视觉系统,所述车载视觉装置包括:主控芯片以及分别和所述主控芯片连接的摄像头以及显示器,所述摄像头的镜头为非球面,采用低色散光玻璃材料制成,所述主控芯片包括数据处理中心、镜头控制单元、图像传感器控制单元、图像传输控制单元和图像处理控制单元;
镜头控制单元包括镜头焦距控制模块和镜头光圈控制模块,所述镜头焦距控制模块用于控制镜头的焦距,所述镜头光圈控制模块用于控制镜头的光圈;
所述图像传感器控制单元用于调整原始图像的整体亮度和高动态范围图像的曝光比例;
图像传感器接收光信号,根据数据处理中心的命令,设定曝光时间、模拟增益、数字增益和高动态增益,并把光信号转变为电信号输出到图像传输控制单元;
图像传输控制单元对接收的原始图像信号进行预处理,获取或计算原始图像各个通道的分块灰度信息和直方图信息,分块方式由数据处理中心提供,图像传输控制单元将预处理得到的信息输出到数据处理中心,供所述数据处理中心分析,以做出下一步的调整命令,同时图像传输控制单元将图像信号输出到图像处理控制单元;
图像处理控制单元接收到图像信号后,再综合数据处理中心传输过来的状态信息,使用深度神经网络或传统图像处理技术对原始图像信号进行处理,获得可用于显示的彩色图像;
所述数据处理中心接收到可用于显示的彩色图像,通过所述显示器显示。
对于本发明的改进,所述控制镜头的焦距包括设置障碍物占比阀值和车速阀值,
使用默认或用户指定的焦距参数,或者,
所述数据处理中心根据原始图像中障碍物所占图像比例是否超出所述障碍物占比阀值,发出调整命令;若
障碍物所占图像的比例大于所述障碍物占比阀值,且车速小于所述车速阀值,则减小镜头焦距,增大摄像头视场角;若
障碍物所占图像的比例小于所述障碍物占比阀值,且车速大于所述车速阀值,则增加镜头焦距,增大成像距离,放大远方场景。
对于本发明的改进,所述控制镜头的光圈包括设置第一亮度阀值;
使用默认或用户指定的光圈参数,或者,
所述数据处理中心根据原始图像的亮度和直方图分布是否超出所述第一亮度阀值,发出调整命令;若
原始图像的亮度大于所述第一亮度阀值,且直方图的分布不合理,则缩小镜头的光圈,降低成像亮度;若
原始图像的亮度小于所述第一亮度阀值,且直方图的分布不合理,则增大镜头的光圈,提升成像亮度。
需要说明的是,所述镜头焦距控制模块和镜头光圈控制模块协同作业,数据处理中心根据原始图像的亮度、直方图和原始图像中障碍物的相关信息,对镜头的焦距和光圈进行控制,最终保证:
前方障碍物多,且车速不快时,调整镜头为大视场角模式;
前方障碍物少,且车速较高时,调整镜头为远距离模式;
整体图像过爆严重时,控制镜头的光圈缩小;
整体图像过暗时,控制镜头的光圈增大。
对于本发明的改进,所述主控芯片还包括:
滤波片控制单元,所述滤波片控制单元用于根据原始图像的亮度和直方图分布信息,对滤波片做出调整。
对于本发明的改进,所述对滤波片做出调整包括:
所述数据处理中心根据原始图像的亮度和直方图分布,或镜头的光圈在调整至极限仍无法达到理想效果时;
使用默认或用户指定的滤波片;或者,
所述数据处理中心根据原始图像的亮度和直方图分布是否超出所述第一亮度阀值,发出调整命令;若
原始图像的亮度大于所述第一亮度阀值,且直方图的分布不合理,则使用波长透过范围窄的滤波片;若
原始图像的亮度小于所述第一亮度阀值,且直方图的分布不合理,则使用波长透过范围宽的滤波片。
需要说明的是,所述滤波片控制单元在定程度上与镜头光圈控制模块工作原理类似,根据原始图像的亮度和直方图分布信息,对滤波片进行调整。只是滤波片调整起来涉及机械装置较大幅度的转换,而且转换前后会产生一定色偏,用户会比较明显的感知滤波片的切换;因此,数据处理中心会下达优先调整光圈的命令,如果光圈已调整至极限状态仍无法达到理想效果,再进行滤波片的切换。
对于本发明的改进,所述调整原始图像的整体亮度和高动态范围图像包括设置亮度分布调整阀值;
所述数据处理中心根据原始图像的亮度分布,或调整光圈或/和调整滤波片后的图像仍无法达到理想效果时,发出调整命令;
使用默认或用户指定的曝光时间;或者,
所述数据处理中心根据亮度分布是否超出所述亮度分布调整阀值;若
原始图像的亮度分布大于所述亮度分布调整阀值,直方图分布不合理,且调整光圈或/和调整滤波片后的图像仍无法达到理想效果,则降低曝光时间或降低增益,调整高动态范围图像的参数,若
原始图像的亮度分布小于所述亮度分布调整阀值,直方图分布不合理,且调整光圈或/和调整滤波片后的图像仍无法达到理想效果,则提高曝光时间或提高增益,调整高动态范围图像的参数。
对于本发明的改进,所述下一步调整命令包括,根据原始图像不同区域的权重值,调整图像的长曝光、中曝光和短曝光。
本发明还提供一种适应复杂光照环境的全天候车载视觉方法,包含了上述全天候车载视觉系统,所述方法包括:
通过摄像头成像原理,成像于图像传感器的平面,图像传感器接收光信号,设定曝光时间、模拟增益、数字增益和高动态增益,并将所述光信号转化为电信号输出到图像传输控制单元;
根据原始图像中不同区域的亮度分布以及障碍物的情况,调整摄像头的光圈和焦距;
通过传递数字信号控制图像传感器调整增益和三档曝光的曝光比例;
将所述电信号传输至图像处理控制单元,所述图像处理控制单元对原始的图像信号进行至少包括曝光融合、提亮降噪、强光抑制、色彩校正、提升图像对比度和细节还原中之一的处理;
得到可供显示的图像,通过显示器显示。
与现有技术相比,本发明的有益效果:
本发明提供的一种适应复杂光照环境的全天候车载视觉系统及方法,其中,所述车载视觉装置包括:主控芯片以及分别和所述主控芯片连接的摄像头以及显示器,所述摄像头的镜头为非球面,采用低色散光玻璃材料制成,所述主控芯片包括数据处理中心、镜头控制单元、图像传感器控制单元、图像传输控制单元和图像处理控制单元;镜头控制单元包括镜头焦距控制模块和镜头光圈控制模块,所述镜头焦距控制模块用于控制镜头的焦距,所述镜头光圈控制模块用于控制镜头的光圈;所述图像传感器控制单元用于调整原始图像的整体亮度和高动态范围图像的曝光比例;图像传感器接收光信号,根据数据处理中心的命令,设定曝光时间、模拟增益、数字增益和高动态增益,并把光信号转变为电信号输出到图像传输控制单元;图像传输控制单元对接收的原始图像信号进行预处理,获取或计算原始图像各个通道的分块灰度信息和直方图信息,分块方式由数据处理中心提供,图像传输控制单元将预处理得到的信息输出到数据处理中心,供所述数据处理中心分析,以做出下一步的调整命令,同时图像传输控制单元将图像信号输出到图像处理控制单元;图像处理控制单元接收到图像信号后,再综合数据处理中心传输过来的状态信息,使用深度神经网络或传统图像处理技术对原始图像信号进行处理,获得可用于显示的彩色图像;所述数据处理中心接收到可用于显示的彩色图像后,通过所述显示器显示。本发明通过调整摄像头的焦距和光圈,来达到同时适应亮暗、远距离和大视野的场景;同时对摄像头和主控芯片进行综合控制,解决了暗光下高动态以及雨雾场景的成像问题,大大提升了用户体验。
附图说明
图1为本发明中适应复杂光照环境的全天候车载视觉系统的结构示意框图;
图2为本发明中主控芯片的结构示意框图;
图3为本发明中镜头焦距控制模块的工作原理流程框图;
图4为本发明中镜头光圈控制模块的工作原理流程框图;
图5为本发明中滤波片控制单元的工作原理流程框图;
图6为本发明中图像传感器控制单元的工作原理流程框图;
图7为本发明中适应复杂光照环境的全天候车载视觉方法的流程框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参见图1和图2,本发明提供的一种适应复杂光照环境的全天候车载视觉系统,所述车载视觉装置包括:主控芯片1以及分别和所述主控芯片1连接的摄像头2以及显示器3,所述摄像头2的镜头为非球面,采用低色散光玻璃材料制成,所述主控芯片1包括数据处理中心11、镜头控制单元12、图像传感器控制单元13、图像传输控制单元14和图像处理控制单元15;
镜头控制单元12包括镜头焦距控制模块121和镜头光圈控制模块122,所述镜头焦距控制模块121用于控制镜头的焦距,所述镜头光圈控制模块122用于控制镜头的光圈;
所述图像传感器控制单元13用于调整原始图像的整体亮度和高动态范围图像的曝光比例;
图像传感器接收光信号,根据数据处理中心11的命令,设定曝光时间、模拟增益、数字增益和高动态增益,并把光信号转变为电信号输出到图像传输控制单元14;
图像传输控制单元14对接收的原始图像信号进行预处理,获取或计算原始图像各个通道的分块灰度信息和直方图信息,分块方式由数据处理中心11提供,图像传输控制单元14将预处理得到的信息输出到数据处理中心11,供所述数据处理中心分析,以做出下一步的调整命令,同时图像传输控制单元14将图像信号输出到图像处理控制单元15;
图像处理控制单元15接收到图像信号后,再综合数据处理中心11传输过来的状态信息,使用深度神经网络或传统图像处理技术对原始图像信号进行处理,获得可用于显示的彩色图像;
所述数据处理中心11接收到可用于显示的彩色图像,通过所述显示器3显示。
参见图3,优选的,所述控制镜头的焦距包括设置障碍物占比阀值和车速阀值,
使用默认或用户指定的焦距参数,或者,
所述数据处理中心11根据原始图像中障碍物所占图像比例是否超出所述障碍物占比阀值,发出调整命令;若
障碍物所占图像的比例大于所述障碍物占比阀值,且车速小于所述车速阀值,则减小镜头焦距,增大摄像头2视场角;若
障碍物所占图像的比例小于所述障碍物占比阀值,且车速大于所述车速阀值,则增加镜头焦距,增大成像距离,放大远方场景。
参见图4,优选的,所述控制镜头的光圈包括设置第一亮度阀值;
使用默认或用户指定的光圈参数,或者,
所述数据处理中心11根据原始图像的亮度和直方图分布是否超出所述第一亮度阀值,发出调整命令;若
原始图像的亮度大于所述第一亮度阀值,且直方图的分布不合理,则缩小镜头的光圈,降低成像亮度;若
原始图像的亮度小于所述第一亮度阀值,且直方图的分布不合理,则增大镜头的光圈,提升成像亮度。
需要说明的是,所述镜头焦距控制模块121和镜头光圈控制模块122协同作业,数据处理中心11根据原始图像的亮度、直方图和原始图像中障碍物的相关信息,对镜头的焦距和光圈进行控制,最终保证:
前方障碍物多,且车速不快时,调整镜头为大视场角模式;
前方障碍物少,且车速较高时,调整镜头为远距离模式;
整体图像过爆严重时,控制镜头的光圈缩小;
整体图像过暗时,控制镜头的光圈增大。
优选的,所述主控芯片1还包括:
滤波片控制单元16,所述滤波片控制单元16用于根据原始图像的亮度和直方图分布信息,对滤波片做出调整。
参见图5,优选的,所述对滤波片做出调整包括:
所述数据处理中心11根据原始图像的亮度和直方图分布,或镜头的光圈在调整至极限仍无法达到理想效果时;
使用默认或用户指定的滤波片;或者,
所述数据处理中心11根据原始图像的亮度和直方图分布是否超出所述第一亮度阀值,发出调整命令;若
原始图像的亮度大于所述第一亮度阀值,且直方图的分布不合理,则使用波长透过范围窄的滤波片;若
原始图像的亮度小于所述第一亮度阀值,且直方图的分布不合理,则使用波长透过范围宽的滤波片。
需要说明的是,所述滤波片控制单元16在定程度上与镜头光圈控制模块122工作原理类似,根据原始图像的亮度和直方图分布信息,对滤波片进行调整。只是滤波片调整起来涉及机械装置较大幅度的转换,而且转换前后会产生一定色偏,用户会比较明显的感知滤波片的切换;因此,数据处理中心11会下达优先调整光圈的命令,如果光圈已调整至极限状态仍无法达到理想效果,再进行滤波片的切换。
参见图6,优选的,所述调整原始图像的整体亮度和高动态范围图像包括设置亮度分布调整阀值;
所述数据处理中心11根据原始图像的亮度分布,或调整光圈或/和调整滤波片后的图像仍无法达到理想效果时,发出调整命令;
使用默认或用户指定的曝光时间;或者,
所述数据处理中心11根据亮度分布是否超出所述亮度分布调整阀值;若
原始图像的亮度分布大于所述亮度分布调整阀值,直方图分布不合理,且调整光圈或/和调整滤波片后的图像仍无法达到理想效果,则降低曝光时间或降低增益,调整高动态范围图像的参数,若
原始图像的亮度分布小于所述亮度分布调整阀值,直方图分布不合理,且调整光圈或/和调整滤波片后的图像仍无法达到理想效果,则提高曝光时间或提高增益,调整高动态范围图像的参数。
优选的,所述下一步调整命令包括,根据原始图像不同区域的权重值,调整图像的长曝光、中曝光和短曝光。
具体的,所述长曝光使原始图像中的暗部细节清晰,所述中曝光使原始图像中的中间亮度区域的细节清晰,所述短曝光使原始图像中的亮部细节清晰。
参见图7,本发明还提供一种适应复杂光照环境的全天候车载视觉方法,包含了上述全天候车载视觉系统,所述方法包括如下步骤:
S400、通过摄像头成像原理,成像于图像传感器的平面,图像传感器接收光信号,设定曝光时间、模拟增益、数字增益和高动态增益,并将所述光信号转化为电信号输出到图像传输控制单元;
S401、根据原始图像中不同区域的亮度分布以及障碍物的情况,调整摄像头的光圈和焦距;
S402、通过传递数字信号控制图像传感器调整增益和三档曝光的曝光比例;
S403、将所述电信号传输至图像处理控制单元,所述图像处理控制单元对原始的图像信号进行至少包括曝光融合、提亮降噪、强光抑制、色彩校正、提升图像对比度和细节还原中之一的处理;
S404、得到可供显示的图像,通过显示器显示。
需要说明的是,数据处理中心通过驱动电信号,控制镜头调整至最大光圈状态,控制滤波片调整至可见光与近红外光均能最大程度透过的状态,通过传递数字信号控制图像传感器调整至最大曝光及增益,控制图像处理单元将增强算法调整至最大限度,提高亮度的状态。
夜间成像时,因为可见光与近红外均能透过镜头和滤波片,而一般光学镜头无法保证可见光焦平面与近红外光焦平面重合,所以在光学镜头设计时,使用低色散光学玻璃材料和非球面技术来解决可见光与近红外光的共焦问题。
在夜间,月光,城市照明和车辆灯光透过镜头和滤波片,根据摄像头成像原理,成像于图像传感器的平面,即焦平面与图像传感器平面重合,图像传感器将光信号转化为电信号,该电信号被传输至图像处理控制单元,图像处理单元对原始的图像信号进行提亮降噪和色彩校正等处理后,生成可供显示的图像。
数据处理中心通过驱动电信号,根据原始图像中部同区域的亮度分布情况,控制镜头调整至适宜的光圈状态;通过传递数字信号控制图像传感器调整至适宜的曝光、增益和长中短三档曝光的曝光比例;长曝光使原始图像中的暗部细节清晰,中曝光使原始图像中的中间亮度区域的细节清晰,短曝光使原始图像中的亮部细节清晰;控制图像处理控制单元调用曝光融合,提亮降噪,强光抑制和色彩校正等模块对原始图像进行处理。
在夜间,月光,城市照明和车辆灯光等光线,透过镜头和滤波片,根据摄像头成像原理,成像于图像传感器的平面,即焦平面与图像传感器平面重合,图像传感器将光信号转化为电信号,该电信号被传输至图像处理控制单元,图像处理控制单元对原始的图像信号进行曝光融合,提亮降噪,强光抑制和色彩校正等模块处理后,生成可供显示的图像。
近红外光波长较长,在雾霾天气,对雾霾中的微小粉尘颗粒有较强的穿透能力。本发明中的镜头,滤波片和图像传感器都针对近红外部分做了优化,能够让近红外光透过镜头和滤波片参与成像;图像处理控制单元对该类图像进行去雾处理,提升图像对比度,还原细节。
系统检测到雾霾天气,控制图像传感器控制单元和图像处理控制单元,针对雾霾图像进行处理:控制图像传感器调整关键区域(可设置,一般设置为中心一块区域)的亮度值,控制图像处理控制单元除了进行曝光融合,提亮降噪,强光抑制,色彩校正外,还要对图像进行对比度提升和细节还原的处理,以得到去雾的图像。
总上所述,本发明通过对可见光与近红外光的成像,调整光圈适应不同的光照环境,调整焦距满足拍摄不同距离的需求,运用多幅图像融合解决高动态等一系列复杂场景的成像问题,同时有效运用上述一种或多种机制,形成一个能够解决复杂环境成像问题的适应复杂光照环境的全天候车载视觉系统。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及其发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (8)
1.一种适应复杂光照环境的全天候车载视觉系统,其特征在于,所述车载视觉装置包括:主控芯片以及分别和所述主控芯片连接的摄像头以及显示器,所述摄像头的镜头为非球面,采用低色散光玻璃材料制成,所述主控芯片包括数据处理中心、镜头控制单元、图像传感器控制单元、图像传输控制单元和图像处理控制单元;
镜头控制单元包括镜头焦距控制模块和镜头光圈控制模块,所述镜头焦距控制模块用于控制镜头的焦距,所述镜头光圈控制模块用于控制镜头的光圈;
所述图像传感器控制单元用于调整原始图像的整体亮度和高动态范围图像的曝光比例;
图像传感器接收光信号,根据数据处理中心的命令,设定曝光时间、模拟增益、数字增益和高动态增益,并把光信号转变为电信号输出到图像传输控制单元;
图像传输控制单元对接收的原始图像信号进行预处理,获取或计算原始图像各个通道的分块灰度信息和直方图信息,分块方式由数据处理中心提供,图像传输控制单元将预处理得到的信息输出到数据处理中心,供所述数据处理中心分析,以做出下一步的调整命令,同时图像传输控制单元将图像信号输出到图像处理控制单元;
图像处理控制单元接收到图像信号后,再综合数据处理中心传输过来的状态信息,使用深度神经网络或传统图像处理技术对原始图像信号进行处理,获得可用于显示的彩色图像;
所述数据处理中心接收到可用于显示的彩色图像,通过所述显示器显示。
2.根据权利要求1所述的全天候车载视觉系统,其特征在于,所述控制镜头的焦距包括设置障碍物占比阀值和车速阀值,
使用默认或用户指定的焦距参数,或者,
所述数据处理中心根据原始图像中障碍物所占图像比例是否超出所述障碍物占比阀值,发出调整命令;若
障碍物所占图像的比例大于所述障碍物占比阀值,且车速小于所述车速阀值,则减小镜头焦距,增大摄像头视场角;若
障碍物所占图像的比例小于所述障碍物占比阀值,且车速大于所述车速阀值,则增加镜头焦距,增大成像距离,放大远方场景。
3.根据权利要求1或2所述的全天候车载视觉系统,其特征在于,所述控制镜头的光圈包括设置第一亮度阀值;
使用默认或用户指定的光圈参数,或者,
所述数据处理中心根据原始图像的亮度和直方图分布是否超出所述第一亮度阀值,发出调整命令;若
原始图像的亮度大于所述第一亮度阀值,且直方图的分布不合理,则缩小镜头的光圈,降低成像亮度;若
原始图像的亮度小于所述第一亮度阀值,且直方图的分布不合理,则增大镜头的光圈,提升成像亮度。
4.根据权利要求3所述的全天候车载视觉系统,其特征在于,所述主控芯片还包括:
滤波片控制单元,所述滤波片控制单元用于根据原始图像的亮度和直方图分布信息,对滤波片做出调整。
5.根据权利要求4所述的全天候车载视觉系统,其特征在于,所述对滤波片做出调整包括:
所述数据处理中心根据原始图像的亮度和直方图分布,或镜头的光圈在调整至极限仍无法达到理想效果时;
使用默认或用户指定的滤波片;或者,
所述数据处理中心根据原始图像的亮度和直方图分布是否超出所述第一亮度阀值,发出调整命令;若
原始图像的亮度大于所述第一亮度阀值,且直方图的分布不合理,则使用波长透过范围窄的滤波片;若
原始图像的亮度小于所述第一亮度阀值,且直方图的分布不合理,则使用波长透过范围宽的滤波片。
6.根据权利要求5所述的全天候车载视觉系统,其特征在于,所述调整原始图像的整体亮度和高动态范围图像包括设置亮度分布调整阀值;
所述数据处理中心根据原始图像的亮度分布,或调整光圈或/和调整滤波片后的图像仍无法达到理想效果时,发出调整命令;
使用默认或用户指定的曝光时间;或者,
所述数据处理中心根据亮度分布是否超出所述亮度分布调整阀值;若
原始图像的亮度分布大于所述亮度分布调整阀值,直方图分布不合理,且调整光圈或/和调整滤波片后的图像仍无法达到理想效果,则降低曝光时间或降低增益,调整高动态范围图像的参数,若
原始图像的亮度分布小于所述亮度分布调整阀值,直方图分布不合理,且调整光圈或/和调整滤波片后的图像仍无法达到理想效果,则提高曝光时间或提高增益,调整高动态范围图像的参数。
7.根据权利要求6所述的全天候车载视觉系统,其特征在于,所述下一步调整命令包括,根据原始图像不同区域的权重值,调整图像的长曝光、中曝光和短曝光。
8.一种适应复杂光照环境的全天候车载视觉方法,包含权利要求1至7中任意一项权利要求所述的全天候车载视觉系统,其特征在于,所述方法包括:
通过摄像头成像原理,成像于图像传感器的平面,图像传感器接收光信号,设定曝光时间、模拟增益、数字增益和高动态增益,并将所述光信号转化为电信号输出到图像传输控制单元;
根据原始图像中不同区域的亮度分布以及障碍物的情况,调整摄像头的光圈和焦距;
通过传递数字信号控制图像传感器调整增益和三档曝光的曝光比例;
将所述电信号传输至图像处理控制单元,所述图像处理控制单元对原始的图像信号进行至少包括曝光融合、提亮降噪、强光抑制、色彩校正、提升图像对比度和细节还原中之一的处理;
得到可供显示的图像,通过显示器显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010018161.9A CN111327800B (zh) | 2020-01-08 | 2020-01-08 | 一种适应复杂光照环境的全天候车载视觉系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010018161.9A CN111327800B (zh) | 2020-01-08 | 2020-01-08 | 一种适应复杂光照环境的全天候车载视觉系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111327800A true CN111327800A (zh) | 2020-06-23 |
CN111327800B CN111327800B (zh) | 2022-02-01 |
Family
ID=71166997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010018161.9A Active CN111327800B (zh) | 2020-01-08 | 2020-01-08 | 一种适应复杂光照环境的全天候车载视觉系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111327800B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112449095A (zh) * | 2020-11-12 | 2021-03-05 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、可读存储介质 |
CN114125300A (zh) * | 2021-11-29 | 2022-03-01 | 维沃移动通信有限公司 | 拍摄方法、拍摄装置、电子设备和可读存储介质 |
CN115713736A (zh) * | 2023-01-10 | 2023-02-24 | 四川大学 | 一种基于仿射变换的全天候车牌单目测距方法及装置 |
CN116567375A (zh) * | 2023-04-24 | 2023-08-08 | 禾多科技(北京)有限公司 | 车载前视摄像头一体机、车辆和车辆车速控制方法 |
CN117975383A (zh) * | 2024-04-01 | 2024-05-03 | 湖北经济学院 | 一种基于多模态图像融合技术的车辆定位和识别方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5455685A (en) * | 1991-09-04 | 1995-10-03 | Fuji Photo Film Co., Ltd. | Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed |
US5610654A (en) * | 1994-04-19 | 1997-03-11 | Eastman Kodak Company | Automatic camera exposure control using variable exposure index CCD sensor |
US20090052057A1 (en) * | 2007-08-22 | 2009-02-26 | Hon Hai Precision Industry Co., Ltd. | Wide angle lens module and vehicle vision system |
KR101268321B1 (ko) * | 2012-05-08 | 2013-05-30 | (주)토마토전자 | 초점조절 장치가 구비된 카메라 및 이를 이용한 번호인식 시스템 |
CN103507712A (zh) * | 2013-09-17 | 2014-01-15 | 安徽鸿谱光电科技有限公司 | 一种短波红外驾驶员视觉增强系统 |
CN104442924A (zh) * | 2014-11-05 | 2015-03-25 | 杭州南车城市轨道交通车辆有限公司 | 全天候高速铁路车载路障检测系统及方法 |
CN105827995A (zh) * | 2016-03-30 | 2016-08-03 | 金三立视频科技(深圳)有限公司 | 基于直方图的自动曝光方法及系统 |
CN107277359A (zh) * | 2017-07-13 | 2017-10-20 | 深圳市魔眼科技有限公司 | 3d扫描中自适应变焦的方法、装置、移动终端及存储介质 |
US10084967B1 (en) * | 2017-03-24 | 2018-09-25 | Qualcomm Incorporated | Systems and methods for regionally controlling exposure time in high dynamic range imaging |
WO2019208155A1 (ja) * | 2018-04-26 | 2019-10-31 | 富士フイルム株式会社 | 画像処理装置、方法、及びプログラム並びに撮像装置 |
-
2020
- 2020-01-08 CN CN202010018161.9A patent/CN111327800B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5455685A (en) * | 1991-09-04 | 1995-10-03 | Fuji Photo Film Co., Ltd. | Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed |
US5610654A (en) * | 1994-04-19 | 1997-03-11 | Eastman Kodak Company | Automatic camera exposure control using variable exposure index CCD sensor |
US20090052057A1 (en) * | 2007-08-22 | 2009-02-26 | Hon Hai Precision Industry Co., Ltd. | Wide angle lens module and vehicle vision system |
KR101268321B1 (ko) * | 2012-05-08 | 2013-05-30 | (주)토마토전자 | 초점조절 장치가 구비된 카메라 및 이를 이용한 번호인식 시스템 |
CN103507712A (zh) * | 2013-09-17 | 2014-01-15 | 安徽鸿谱光电科技有限公司 | 一种短波红外驾驶员视觉增强系统 |
CN104442924A (zh) * | 2014-11-05 | 2015-03-25 | 杭州南车城市轨道交通车辆有限公司 | 全天候高速铁路车载路障检测系统及方法 |
CN105827995A (zh) * | 2016-03-30 | 2016-08-03 | 金三立视频科技(深圳)有限公司 | 基于直方图的自动曝光方法及系统 |
US10084967B1 (en) * | 2017-03-24 | 2018-09-25 | Qualcomm Incorporated | Systems and methods for regionally controlling exposure time in high dynamic range imaging |
CN107277359A (zh) * | 2017-07-13 | 2017-10-20 | 深圳市魔眼科技有限公司 | 3d扫描中自适应变焦的方法、装置、移动终端及存储介质 |
WO2019208155A1 (ja) * | 2018-04-26 | 2019-10-31 | 富士フイルム株式会社 | 画像処理装置、方法、及びプログラム並びに撮像装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112449095A (zh) * | 2020-11-12 | 2021-03-05 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、可读存储介质 |
CN114125300A (zh) * | 2021-11-29 | 2022-03-01 | 维沃移动通信有限公司 | 拍摄方法、拍摄装置、电子设备和可读存储介质 |
CN114125300B (zh) * | 2021-11-29 | 2023-11-21 | 维沃移动通信有限公司 | 拍摄方法、拍摄装置、电子设备和可读存储介质 |
CN115713736A (zh) * | 2023-01-10 | 2023-02-24 | 四川大学 | 一种基于仿射变换的全天候车牌单目测距方法及装置 |
CN116567375A (zh) * | 2023-04-24 | 2023-08-08 | 禾多科技(北京)有限公司 | 车载前视摄像头一体机、车辆和车辆车速控制方法 |
CN116567375B (zh) * | 2023-04-24 | 2024-02-02 | 禾多科技(北京)有限公司 | 车载前视摄像头一体机、车辆和车辆车速控制方法 |
CN117975383A (zh) * | 2024-04-01 | 2024-05-03 | 湖北经济学院 | 一种基于多模态图像融合技术的车辆定位和识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111327800B (zh) | 2022-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111327800B (zh) | 一种适应复杂光照环境的全天候车载视觉系统及方法 | |
US10063786B2 (en) | Vehicle vision system with enhanced low light capabilities | |
DE69618192T3 (de) | Fahrzeug-rückblicksystem mit panoramischer sicht | |
CN108650495B (zh) | 一种车用全景环视系统及其自适应补光方法 | |
KR101367637B1 (ko) | 감시장치 | |
CN113525234A (zh) | 一种辅助驾驶系统装置 | |
DE102011105628A1 (de) | System und Verfahren zur Unterstützung der Sicht eines Fahrers | |
EP1504960A1 (de) | Verfahren und Vorrichtung zur Verbesserung der Sicht in einem Kraftfahrzeug | |
CA2712932A1 (en) | Video image processing and fusion | |
CN110349114A (zh) | 应用于aoi设备的图像增强方法、装置及道路视频监控设备 | |
CN113822826B (zh) | 一种低照度图像亮度增强方法 | |
CN106570852A (zh) | 一种实时3d图像态势感知方法 | |
DE102013115000A1 (de) | Blendungsminderung für dynamischen Rückspiegel | |
CN108364263A (zh) | 一种标清输入高清输出的车载图像处理方法 | |
CN110786003A (zh) | 摄像器件、摄像器件驱动方法和电子设备 | |
CN205010094U (zh) | 一种车辆hud系统 | |
CN116494871A (zh) | 一种车辆外后视镜系统及方法 | |
CN113665485B (zh) | 汽车前挡风玻璃防眩光系统及控制方法 | |
CN107512222B (zh) | 一种车辆后视辅助系统及其控制方法 | |
CN108259819B (zh) | 动态影像特征加强方法与系统 | |
CN211628409U (zh) | 一种基于鱼眼镜头的大场景识别相机 | |
CN108737741A (zh) | 一种夜间视频图像处理的汽车抗晕光系统 | |
CN113538311A (zh) | 基于人眼主观视觉效果车载冗余摄像头的图像融合方法 | |
CN206946130U (zh) | 选择性遮挡部分视野的装置 | |
CN111556245A (zh) | 一种基于周围场景自适应调整的智能车载成像系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |