CN110113510A - 一种实时视频图像增强方法和高速相机系统 - Google Patents
一种实时视频图像增强方法和高速相机系统 Download PDFInfo
- Publication number
- CN110113510A CN110113510A CN201910444566.6A CN201910444566A CN110113510A CN 110113510 A CN110113510 A CN 110113510A CN 201910444566 A CN201910444566 A CN 201910444566A CN 110113510 A CN110113510 A CN 110113510A
- Authority
- CN
- China
- Prior art keywords
- image
- illumination
- gray level
- value
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种实时视频图像增强方法和高速相机系统。该方法包括:实时获取高速相机输出图像的灰度图像及其平均灰度值和像素位宽;基于像素位宽设置照度判断阈值并构建灰度分布表;基于平均灰度值和照度判断阈值获得照度场景和融合系数;基于融合系数将灰度分布表和第一映射表进行融合获得第二映射表;将灰度图像中像素点的灰度值替换为该灰度值在第二映射表中的映射值,获得增强处理后的图像。自动识别待处理图像的照度场景,根据照度场景和待处理图像自适应设置第二映射表,无需人为参与;实现了灰度图像的灰度值到灰度值一一对应的直接变换,无需逐点运算,将灰度值相同的像素点同步处理完成,运算量少,实时性好。
Description
技术领域
本发明涉及一种图像增强算法,特别是涉及一种实时视频图像增强方法和高速相机系统。
背景技术
随着集成电路工艺水平以及传感器制作水平的提高,目前超高速成像相机发展迅速。超高速成像技术能记录肉眼无法分辨的瞬间变化,使得高速相机在诸如车辆检测,碰撞测试,科学实验,体育竞技,军事等领域都具有广阔的应用场景。高速相机具有帧率高、曝光时间短和传输带宽高的特点,一般高速相机的帧率为:一千到一万帧/秒,军用高速相机的帧率为:可达百万到千万帧/秒,飞秒成像技术超高速相机的帧率为:万亿帧/秒。
在高速相机成像时,由于图像数据传输带宽高,每帧图像曝光时间短,输出图像一般偏暗,需要做低照度增强处理,但是在明暗变化较剧烈的场景,如爆炸场景时,可能出现高曝光现象,此时需要对图像进行高光抑制。现有技术中针对高速相机的增强算法一般仅为低照度增强,如伽马矫正和直方图均衡化等,通过这些结构简单的算法实现对图像灰度的非线性变化,从而拓展感兴趣的灰度区间。虽然这类算法可以保证图像增强处理的实时性,但一般需有手动设置参数才能做到对场景的适应,一旦不适应场景,则面临图像失真现象。另外,基于去雾算法的低照度增强方法,虽然增强效果较好,但由于一般去雾算法含有局部相关性运算和除法运算,需要逐像素做运算处理并计算除法,运算量大,不能满足高速相机图像处理的实时性要求。
发明内容
本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种实时视频图像增强方法和高速相机系统。
为了实现本发明的上述目的,根据本发明的第一个方面,本发明提供了一种实时视频图像增强方法,包括:
步骤S1,实时获取高速相机输出图像的灰度图像;获取灰度图像的平均灰度值和像素位宽;
步骤S2,基于像素位宽设置照度判断阈值并构建灰度分布表L,所述L=[X,Y0],所述X为在像素位宽下所有灰度值组成的一维数组,Y0为在灰度分布表L中与数组X中的值一一对应的映射值组成的一维数组,X=Y0=[1,2,...,N],所述N为在所述像素位宽下的最大灰度值;
步骤S3,比较平均灰度值和照度判断阈值大小获得灰度图像的照度场景,以及融合系数;
根据照度场景设置第一映射表L1,L1=[X,Y1],所述Y1为在第一映射表L1中与数组X中的值一一对应的映射值组成的一维数组,照度场景不同设置的第一映射表不同;
步骤S4,基于融合系数将灰度分布表和第一映射表进行融合获得第二映射表L2,L2=[X,Y2],所述Y2为在第二映射表L2中与数组X中的值一一对应的映射值组成的一维数组;
步骤S5,认为灰度图像中的灰度值属于数组X,将灰度图像中的灰度值替换为所述灰度值在第二映射表中对应的数组Y2中的映射值,获得增强处理后的图像并输出;
步骤S6,判断是否完成所有高速相机输出图像的增强处理,若没有完成,返回步骤S1进行下一输出图像的增强处理,若完成,结束。
上述技术方案的有益效果为:本发明能够自动识别待处理图像所处的照度场景,并根据识别的照度场景和待处理图像自适应的设置第二映射表,通过第二映射表将灰度图像中的灰度值替换为第二映射表中对应的映射值完成图像增强处理,将运算量从现有自适应场景图像增强算法中的每帧图像逐像素做运算缩减为按照帧图像的灰度值个数做运算,实现了灰度图像的灰度值到灰度值一一对应的直接变换,减少了运算量,缩短了处理时间,实时地对高速相机输出图像增强处理;另外,无需人为判断照度和输入参数,自动化程度高,在一定程度上减轻高速相机对补光设备的依赖;高速相机输出的每帧图像都有自己的第二映射表,能更真实的反映目标场景的瞬态变化过程。除均值外,无任何其他全局统计计算量,无任何滤波窗口,所有灰度值均与周边灰度值无关联的参与运算,运算量少。
在本发明的一种优选实施方式中,在所述步骤S1中,所述灰度图像为高速相机输出的bayer格式图像或者为通过bayer格式图像转换获得。
上述技术方案的有益效果为:灰度图像为高速相机输出的bayer格式图像,将bayer图像直接作为灰度图像,无需运算,实时性强,适用于大部分高速相机,且增强后的图像可用于PC端将bayer图像转为灰度或者彩色图像显示;灰度图像为通过bayer格式图像转换获得,将bayer图像转换为灰度图像,计算量小,实时性强,适用于大部分高速相机。
在本发明的一种优选实施方式中,在所述步骤S2中,所述N=2b-1,其中,所述b为灰度图像的像素位宽;
所述照度判断阈值Ys为:
Ys=αN;
其中,所述α为预设的阈值系数,其取值范围为0.4到0.6。
上述技术方案的有益效果为:将照度判断阈值的设置与灰度图像的像素位宽关联,保证该方法可以自动适用于输出图像为不同像素位宽的高速相机系统。
在本发明的一种优选实施方式中,在所述步骤S3中,比较平均灰度值和照度判断阈值大小获得灰度图像的照度场景,以及融合系数的步骤包括:
若平均灰度值小于照度判断阈值,认为灰度图像的照度场景为低照度,此时将融合系数设置为h1,所述h1为:
若平均灰度值大于等于照度判断阈值,认为灰度图像的照度场景为高照度,此时将融合系数设置为h2,所述h2为:
所述xm为平均灰度值,A1为第一融合增量系数,A2为第二融合增量系数,B1为第一融合斜率系数,B2为第二融合斜率系数,且满足0<A1≤1,1≤A2≤3,B1≥0,B2≥0。
上述技术方案的有益效果为:根据灰度图像的平均灰度值来识别每帧图像的照度场景和设置融合系数,使第二映射表会根据每帧图像本身自适应改变,实现了根据每帧图像本身自适应增强处理的目的。
在本发明的一种优选实施方式中,在所述步骤S3中,根据照度场景设置第一映射表L1的步骤包括:
步骤S31,获取有雾图像:
当灰度图像的照度场景为低照度时,将灰度图像取反获得的图像作为有雾图像;
当灰度图像的照度场景为高照度时,将灰度图像作为有雾图像;步骤S32,将有雾图像取反获得的图像作为光路传输图像;
步骤S33,基于如下公式获得去雾增强图像J:
其中,T为光路传输图像;I为有雾图像;AP为环境光引起的加性噪声项,取值范围为0到0.25倍N;kp为亮度调整项,kp>0;
步骤S34,获取映射图像:
当灰度图像的照度场景为低照度时,将去雾增强图像取反获得的图像作为映射图像;
当灰度图像的照度场景为高照度时,将去雾增强图像作为映射图像;
步骤S35,依据灰度图像和映射图像中灰度值的对应关系构建第一映射表L1,L1=[X,Y1],灰度图像中的灰度值属于数组X,灰度图像中的灰度值与映射图像中的灰度值按照像素点位置一一对应,映射图像中的灰度值属于数组Y1。上述技术方案的有益效果为:对传统去雾增强算法的公式进行的改进,该改进额去雾增强算法根据灰度图像的照度场景设置不同的第一映射表,该第一映射表能拉伸低灰度区间的动态范围,同时压缩高灰度区间的动态范围,有效的保留了更多的景物细节,在低照度时能够增强灰度,在高照度时能够实现高光抑制,并且能够实现有效的去雾处理,解决了正常照度环境下对爆破扬尘等场景的去雾增强问题。
在本发明的一种优选实施方式中,在所述步骤S33中,还包括根据灰度图像的照度场景获得亮度调整项kp的步骤,包括:
当灰度图像的照度场景为低照度时,所述亮度调整项kp为:
当灰度图像的照度场景为高照度时,所述亮度调整项kp为:所述xm为平均灰度值。
上述技术方案的有益效果为:通过设置自适应参数对第一映射表进行修正,保证了第一映射表对照度场景的自适应能力。
在本发明的一种优选实施方式中,在所述步骤S4中:
当灰度图像的照度场景为低照度时,第二映射表L2为:
L2=h1×L1+(1-h1)×L;
当灰度图像的照度场景为高照度时,第二映射表L2为:
L2=(1-h2)×L1+h2×L;
所述h1为低照度时的融合系数,h2为高照度时的融合系数。
上述技术方案的有益效果为:公开了基于融合系数将灰度分布表和第一映射表进行融合获得第二映射表的融合方式,不同的照度场景具有不同的融合方式,实现了第二映射表对高低照度场景变化的平滑过渡和对照度场景的自适应。
为了实现本发明的上述目的,根据本发明的第二个方面,本发明提供了一种高速相机系统,包括高速相机和处理器,所述处理器从高速相机实时接收视频图像并按照本发明所述的实时视频图像增强方法对视频图像进行增强处理并输出。
上述技术方案的有益效果为:除了具有本发明所述的实时视频图像增强方法的有益效果,还实现了对高速相机输出图像的增强预处理,便于处理器输出给具有强大运算能力的PC电脑或数据服务器等运算平台,进行后续的图像处理操作。在本发明的一种优选实施方式中,所述处理器为嵌入式;
和/或所述处理器设置于高速相机侧。
上述技术方案的有益效果为:将处理器设置为嵌入式,实现了在有限的硬件条件基础上快速实时自适应地对高速相机输出的视频图像进行处理。将处理器设置于高速相机侧有利于减少两者之间的数据传递损耗。
附图说明
图1是本发明一具体实施方式中实时视频图像增强方法的流程示意图;
图2是本发明实时视频图像增强方法在一种应用场景中的实现结构图;
图3是本发明实时视频图像增强方法在一种应用场景中的实施流程图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。
本发明公开了一种实时视频图像增强方法,在一种优选实施方式中,其流程示意图如图1所示,包括:
步骤S1,实时获取高速相机输出图像的灰度图像;获取灰度图像的平均灰度值和像素位宽;
步骤S2,基于像素位宽设置照度判断阈值并构建灰度分布表L,L=[X,Y0],X为在像素位宽下所有灰度值组成的一维数组,Y0为在灰度分布表L中与数组X中的值一一对应的映射值组成的一维数组,X=Y0=[1,2,...,N],N为在所述像素位宽下的最大灰度值;
步骤S3,比较平均灰度值和照度判断阈值大小获得灰度图像的照度场景,以及融合系数;
根据照度场景设置第一映射表L1,L1=[X,Y1],Y1为在第一映射表L1中与数组X中的值一一对应的映射值组成的一维数组,照度场景不同设置的第一映射表不同;
步骤S4,基于融合系数将灰度分布表和第一映射表进行融合获得第二映射表L2,L2=[X,Y2],Y2为在第二映射表L2中与数组X中的值一一对应的映射值组成的一维数组;
步骤S5,认为灰度图像中的灰度值属于数组X,将灰度图像中的灰度值替换为该灰度值在第二映射表中对应的数组Y2中的映射值,获得增强处理后的图像并输出;
步骤S6,判断是否完成所有高速相机输出图像的增强处理,若没有完成,返回步骤S1进行下一输出图像的增强处理,若完成,结束。
在本实施方式中,在灰度分布表L中数组X和Y0中的元素一一对应,相互关联,认为Y0为数组X在灰度分布表L中的映射值组成的数组;在第一映射表L1中数组X和Y1中的元素一一对应,相互关联,认为Y1为数组X在第一映射表L1中的映射值组成的数组;在第二映射表L2中数组X和Y2中的元素一一对应,相互关联,认为Y1为数组X在第二映射表L2中的映射值组成的数组。
在本实施方式中,在灰度图像中,像素位宽对应的像素值1,2,...,N中任一灰度值对应有至少一个像素点,将这些像素点的灰度值替换为在第二映射表L2中与该灰度值对应的映射值,可同步替换,也可逐个像素点替换,类似查表的方式替换完成灰度图像中的原有灰度值,获得增强处理后的灰度图像。
在本实施方式中,优选的,在接收到高速相机输出的视频图像的时候,对该接收图像进行缓存,由于本发明的增强算法的运算量较少,因此完全可以在高速相机输出帧图像的间隔时间内获取缓存图像的第二映射表并对缓存图像的灰度值进行替换,实现了高速相机的每一帧图像进行了增强处理并输出,实时性好。
在本实施方式中,建立第二映射表的益处在于将计算量从每帧图像的像素个数缩减为灰度级数,若图像分辨率为1920*1080,像素位宽为8,则每帧图像像素个数为2073600,灰度级数为256,现有的自适应图像增强算法需要对2073600各像素点逐个计算,但是本发明只需要计算256个灰度值就可以,数据计算量缩小8100倍。即在同类传输带宽下,建表的数据处理能力能提高约8100倍,在实施并行处理后,处理能力将会更高,将能满足高速相机的实时处理需求。
在一种优选实施方式中,在步骤S1中,灰度图像为高速相机输出的bayer格式图像或者为通过bayer格式图像转换获得。
在本实施方式中,bayer格式图像是伊士曼·柯达公司科学家Bryce Bayer发明的,具体介绍请参考现有技术:https://blog.csdn.net/bingqingsuimeng/article/details/61917513。
在本实施方式中,因为高速相机自身传输带宽高,其一般输出黑白或bayer格式图像,无彩色模式。通过bayer格式图像转换获得灰度图像可采用本领域的常规技术,为现有技术,在此不再赘述。
在一种优选实施方式中,在步骤S2中,N=2b-1,其中,b为灰度图像的像素位宽;
照度判断阈值Ys为:
Ys=αN;
其中,α为预设的阈值系数,其取值范围为0.4到0.6。
在本实施方式中,像素位宽b可根据高速相机的参数或输出图像携带的参数获得,可为8位,10位,12位,16位等。如当b=8时,N为255。
在一种优选实施方式中,在步骤S3中,比较平均灰度值和照度判断阈值大小获得灰度图像的照度场景,以及融合系数的步骤包括:
若平均灰度值小于照度判断阈值,认为灰度图像的照度场景为低照度,此时将融合系数设置为h1,h1为:
若平均灰度值大于等于照度判断阈值,认为灰度图像的照度场景为高照度,此时将融合系数设置为h2,h2为:
xm为平均灰度值,A1为第一融合增量系数,A2为第二融合增量系数,B1为第一融合斜率系数,B2为第二融合斜率系数,且满足0<A1≤1,1≤A2≤3,B1≥0,B2≥0。
在本实施方式中,具体的,0<A2<0.5,1<A2<2.5,2<B1=B2。在N一定时,h1和h2均与平均灰度值xm成负相关。
在一种优选实施方式中,在步骤S3中,根据照度场景设置第一映射表L1的步骤包括:
步骤S31,获取有雾图像:
当灰度图像的照度场景为低照度时,将灰度图像取反获得的图像作为有雾图像;
当灰度图像的照度场景为高照度时,将灰度图像作为有雾图像;
步骤S32,将有雾图像取反获得的图像作为光路传输图像;
步骤S33,基于如下公式获得去雾增强图像J:
其中,T为光路传输图像;I为有雾图像;AP为环境光引起的加性噪声项,取值范围为0到0.25倍N;kp为亮度调整项,kp>0,默认为1,但其取值可根据灰度图像的照度场景设置;
步骤S34,获取映射图像:
当灰度图像的照度场景为低照度时,将去雾增强图像取反获得的图像作为映射图像;
当灰度图像的照度场景为高照度时,将去雾增强图像作为映射图像;
步骤S35,依据灰度图像和映射图像中灰度值的对应关系构建第一映射表L1,L1=[X,Y1],灰度图像中的灰度值属于数组X,灰度图像中的灰度值与映射图像中的灰度值按照像素点位置一一对应,映射图像中的灰度值属于数组Y1。在本实施方式中,将灰度图像取反操作的过程为:设灰度图像中第i个像素点的灰度值为xi,那么取反就是将该像素点的像素值赋值为:N-xi;i为正整数,且小于等于灰度图像中像素点的个数。有雾图像的取反操作和去雾增强图像的取反操作与上述方法相同,在此不再赘述。
在本实施方式中,去雾增强图像和灰度图像的尺寸大小一致,分辨率一致。设灰度图像中像素点的灰度值为p(m,n),(m,n)为该像素点的位置坐标,在去雾增强图中找到位置坐标为(m,n)的像素点的灰度值为j(m,n),将p(m,n)作为X的一个元素,j(m,n)(高照度时)或N-j(m,n)(低照度时)作为数组Y1中与p(m,n)对应的映射值,找到灰度图像位宽下所有灰度值在映射图像中对应的灰度值,就完成了高照度场景下第一映射表L1的构建。在本实施方式的一种应用场景中,具体实施过程为:若灰度图像像素位置为(m,n)处的灰度值为p(m,n),当照度场景为低照度时,将灰度图像取反作为有雾图像I,即I(m,n)=N-p(m,n),为高照度场景时,直接将灰度图像作为有雾图像I,即I(m,n)=p(m,n)。
其中,灰度图像中,p(m,n)∈X,且在一维数组X中都有一个唯一与之对应的值X(i)=p(m,n),i为自然数,且i∈[0,N],对应灰度分布表L关系为Y0(i)=X(i)=p(m,n);
基于如下公式获得去雾增强图像,在去雾增强图像位置(m,n)处的像素点的灰度值为j(m,n):
其中,T(m,n)为光路传输图在位置(m,n)处的像素点的灰度值,且T(m,n)=N-I(m,n);I(m,n)为有雾图像在位置(m,n)处的像素点的灰度值;
依据灰度图像和映射图像的对应关系构建第一映射表L1,L1=[X,Y1],当灰度图像的照度场景为低照度时,与X(i)对应的Y1(i)为:Y1(i)=N-j(m,n),当灰度图像的照度场景为高照度时,与X(i)对应的Y1(i)为:Y1(i)=j(m,n)。
在一种优选实施方式中,在步骤S33中,还包括根据灰度图像的照度场景获得亮度调整项kp的步骤,包括:
当灰度图像的照度场景为低照度时,亮度调整项kp为:
当灰度图像的照度场景为高照度时,亮度调整项kp为:xm为平均灰度值。
在一种优选实施方式中,在步骤S4中:
当灰度图像的照度场景为低照度时,第二映射表L2为:
L2=h1×L1+(1-h1)×L;
当灰度图像的照度场景为高照度时,第二映射表L2为:
L2=(1-h2)×L1+h2×L;
h1为低照度时的融合系数,h2为高照度时的融合系数。
在本发明实时视频图像增强方法的一种应用场景中,其流程示意图如图3所示,在本发明实时视频图像增强方法的一种应用场景中,该方法的实现结构图如图2所示,总体结构包括:从高速相机即Sensor中获取当前待处理的帧图像后,对该帧图像进行缓存,同时提取其灰度图像,在帧消隐期间(即输出两帧图像之间的间隔时间内)计算出第二映射表,对缓存帧图像的灰度分量进行灰度值映射,获得增强图像。
上述应用场景的详细流程示意图如图3所示,具体过程为:
输入高速相机的输出图像I(x,y),提取其灰度图像Y(x,y),x,y分别代表像素位置坐标,计算平均灰度y_mean和获取像素位宽pixel_max;根据像素位宽pixel_max获取原始灰度映射表1,即为灰度分布表L;基于平均灰度y_meanu计算照度自适应参数和计算照度自适应融合参数h2、融合参数h1;基于自适应参数、原始灰度映射表1利用去雾增强算法(或者利用本发明的改进的去雾增强算法)获得高照度的增强灰度映射表和低照度的增强灰度映射表,即获得低照度的第一映射表和高照度的第一映射表;利用融合参数h1将低照度的第一映射表和原始灰度映射表1进行融合,获得第二映射表,将灰度图像中的灰度值替换为第二映射表中对应的映射值,获得低照度增强图像;利用融合参数h2将高照度的第一映射表和原始灰度映射表1进行融合,获得第二映射表,将灰度图像中的灰度值替换为第二映射表中对应的映射值,获得高照度增强图像。
本发明还公开了一种高速相机系统,包括高速相机和处理器,处理器从高速相机实时接收视频图像并按照本发明的实时视频图像增强方法对视频图像进行增强处理并输出。
在一种优选实施方式中,处理器为嵌入式;,处理器优选但不限于包括ARM、DSP、RAM存储器、ROM存储器等集成电路。处理器与高速相机一般通过LVDS接口连接。
在一种优选实施方式中,处理器设置于高速相机侧,与高速相机集成一体化。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。
Claims (9)
1.一种实时视频图像增强方法,其特征在于,包括:
步骤S1,实时获取高速相机输出图像的灰度图像;获取灰度图像的平均灰度值和像素位宽;
步骤S2,基于像素位宽设置照度判断阈值并构建灰度分布表L,所述L=[X,Y0],所述X为在像素位宽下所有灰度值组成的一维数组,Y0为在灰度分布表L中与数组X中的值一一对应的映射值组成的一维数组,X=Y0=[1,2,...,N],所述N为在所述像素位宽下的最大灰度值;
步骤S3,比较平均灰度值和照度判断阈值大小获得灰度图像的照度场景,以及融合系数;
根据照度场景设置第一映射表L1,L1=[X,Y1],所述Y1为在第一映射表L1中与数组X中的值一一对应的映射值组成的一维数组,照度场景不同设置的第一映射表不同;
步骤S4,基于融合系数将灰度分布表和第一映射表进行融合获得第二映射表L2,L2=[X,Y2],所述Y2为在第二映射表L2中与数组X中的值一一对应的映射值组成的一维数组;
步骤S5,认为灰度图像中的灰度值属于数组X,将灰度图像中的灰度值替换为所述灰度值在第二映射表中对应的数组Y2中的映射值,获得增强处理后的图像并输出;
步骤S6,判断是否完成所有高速相机输出图像的增强处理,若没有完成,返回步骤S1进行下一输出图像的增强处理,若完成,结束。
2.如权利要求1所述的实时视频图像增强方法,其特征在于,在所述步骤S1中,所述灰度图像为高速相机输出的bayer格式图像或者为通过bayer格式图像转换获得。
3.如权利要求1所述的实时视频图像增强方法,其特征在于,在所述步骤S2中,所述N=2b-1,其中,所述b为灰度图像的像素位宽;
所述照度判断阈值Ys为:
Ys=αN;
其中,所述α为预设的阈值系数,其取值范围为0.4到0.6。
4.如权利要求1所述的实时视频图像增强方法,其特征在于,在所述步骤S3中,比较平均灰度值和照度判断阈值大小获得灰度图像的照度场景,以及融合系数的步骤包括:
若平均灰度值小于照度判断阈值,认为灰度图像的照度场景为低照度,此时将融合系数设置为h1,所述h1为:
若平均灰度值大于等于照度判断阈值,认为灰度图像的照度场景为高照度,此时将融合系数设置为h2,所述h2为:
所述xm为平均灰度值,A1为第一融合增量系数,A2为第二融合增量系数,B1为第一融合斜率系数,B2为第二融合斜率系数,且满足0<A1≤1,1≤A2≤3,B1≥0,B2≥0。
5.如权利要求4所述的实时视频图像增强方法,其特征在于,在所述步骤S3中,根据照度场景设置第一映射表L1的步骤包括:
步骤S31,获取有雾图像:
当灰度图像的照度场景为低照度时,将灰度图像取反获得的图像作为有雾图像;
当灰度图像的照度场景为高照度时,将灰度图像作为有雾图像;
步骤S32,将有雾图像取反获得的图像作为光路传输图像;
步骤S33,基于如下公式获得去雾增强图像J:
其中,T为光路传输图像;I为有雾图像;AP为环境光引起的加性噪声项,取值范围为0到0.25倍N;kp为亮度调整项,kp>0;
步骤S34,获取映射图像:
当灰度图像的照度场景为低照度时,将去雾增强图像取反获得的图像作为映射图像;
当灰度图像的照度场景为高照度时,将去雾增强图像作为映射图像;
步骤S35,依据灰度图像和映射图像中灰度值的对应关系构建第一映射表L1,L1=[X,Y1],灰度图像中的灰度值属于数组X,灰度图像中的灰度值与映射图像中的灰度值按照像素点位置一一对应,映射图像中的灰度值属于数组Y1。
6.如权利要求5所述的实时视频图像增强方法,其特征在于,在所述步骤S33中,还包括根据灰度图像的照度场景获得亮度调整项kp的步骤,包括:
当灰度图像的照度场景为低照度时,所述亮度调整项kp为:
当灰度图像的照度场景为高照度时,所述亮度调整项kp为:所述xm为平均灰度值。
7.如权利要求1所述的实时视频图像增强方法,其特征在于,在所述步骤S4中:
当灰度图像的照度场景为低照度时,第二映射表L2为:
L2=h1×L1+(1-h1)×L;
当灰度图像的照度场景为高照度时,第二映射表L2为:
L2=(1-h2)×L1+h2×L;
所述h1为低照度时的融合系数,h2为高照度时的融合系数。
8.一种高速相机系统,其特征在于,包括高速相机和处理器,所述处理器从高速相机实时接收视频图像并按照权利要求1-7之一所述的实时视频图像增强方法对视频图像进行增强处理并输出。
9.如权利要求8所述的高速相机系统,其特征在于,所述处理器为嵌入式;和/或所述处理器设置于高速相机侧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910444566.6A CN110113510B (zh) | 2019-05-27 | 2019-05-27 | 一种实时视频图像增强方法和高速相机系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910444566.6A CN110113510B (zh) | 2019-05-27 | 2019-05-27 | 一种实时视频图像增强方法和高速相机系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110113510A true CN110113510A (zh) | 2019-08-09 |
CN110113510B CN110113510B (zh) | 2021-02-26 |
Family
ID=67492356
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910444566.6A Active CN110113510B (zh) | 2019-05-27 | 2019-05-27 | 一种实时视频图像增强方法和高速相机系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110113510B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111563517A (zh) * | 2020-04-20 | 2020-08-21 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111949917A (zh) * | 2020-08-20 | 2020-11-17 | 苏州浪潮智能科技有限公司 | 一种基于图像处理的安全上网方法及装置 |
CN112203064A (zh) * | 2020-09-30 | 2021-01-08 | 普联技术有限公司 | 一种不同照度颜色映射关系的构建方法及装置 |
CN112330634A (zh) * | 2020-11-05 | 2021-02-05 | 恒信东方文化股份有限公司 | 一种针对服装的边缘精细抠图方法及系统 |
CN113538210A (zh) * | 2020-04-21 | 2021-10-22 | 北京沃东天骏信息技术有限公司 | 一种提取局部高光的方法和装置 |
CN113674158A (zh) * | 2020-05-13 | 2021-11-19 | 浙江宇视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101971612A (zh) * | 2007-12-04 | 2011-02-09 | 索尼公司 | 图像处理装置和方法、程序和记录介质 |
CN102941864A (zh) * | 2012-11-09 | 2013-02-27 | 武汉翔翼科技有限公司 | 一种列车装载状态高清监控及超限检测方法 |
CN104092924A (zh) * | 2014-04-30 | 2014-10-08 | 武汉博睿达信息技术有限公司 | 低照度下vms视频清晰化处理网络体系架构与预检测方法 |
CN105302151A (zh) * | 2014-08-01 | 2016-02-03 | 深圳中集天达空港设备有限公司 | 一种飞机入坞引导和机型识别的系统及方法 |
CN105551043A (zh) * | 2015-12-17 | 2016-05-04 | 北京猎鹰无人机科技有限公司 | 无人机影像数据实时处理方法 |
CN106169081A (zh) * | 2016-06-29 | 2016-11-30 | 北京工业大学 | 一种基于不同照度的图像分类及处理方法 |
CN107038689A (zh) * | 2017-03-10 | 2017-08-11 | 北京环境特性研究所 | 一种视频增亮方法 |
-
2019
- 2019-05-27 CN CN201910444566.6A patent/CN110113510B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101971612A (zh) * | 2007-12-04 | 2011-02-09 | 索尼公司 | 图像处理装置和方法、程序和记录介质 |
CN102941864A (zh) * | 2012-11-09 | 2013-02-27 | 武汉翔翼科技有限公司 | 一种列车装载状态高清监控及超限检测方法 |
CN104092924A (zh) * | 2014-04-30 | 2014-10-08 | 武汉博睿达信息技术有限公司 | 低照度下vms视频清晰化处理网络体系架构与预检测方法 |
CN105302151A (zh) * | 2014-08-01 | 2016-02-03 | 深圳中集天达空港设备有限公司 | 一种飞机入坞引导和机型识别的系统及方法 |
CN105551043A (zh) * | 2015-12-17 | 2016-05-04 | 北京猎鹰无人机科技有限公司 | 无人机影像数据实时处理方法 |
CN106169081A (zh) * | 2016-06-29 | 2016-11-30 | 北京工业大学 | 一种基于不同照度的图像分类及处理方法 |
CN107038689A (zh) * | 2017-03-10 | 2017-08-11 | 北京环境特性研究所 | 一种视频增亮方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111563517A (zh) * | 2020-04-20 | 2020-08-21 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN111563517B (zh) * | 2020-04-20 | 2023-07-04 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113538210A (zh) * | 2020-04-21 | 2021-10-22 | 北京沃东天骏信息技术有限公司 | 一种提取局部高光的方法和装置 |
CN113674158A (zh) * | 2020-05-13 | 2021-11-19 | 浙江宇视科技有限公司 | 图像处理方法、装置、设备及存储介质 |
CN111949917A (zh) * | 2020-08-20 | 2020-11-17 | 苏州浪潮智能科技有限公司 | 一种基于图像处理的安全上网方法及装置 |
CN111949917B (zh) * | 2020-08-20 | 2022-06-14 | 苏州浪潮智能科技有限公司 | 一种基于图像处理的安全上网方法及装置 |
CN112203064A (zh) * | 2020-09-30 | 2021-01-08 | 普联技术有限公司 | 一种不同照度颜色映射关系的构建方法及装置 |
CN112330634A (zh) * | 2020-11-05 | 2021-02-05 | 恒信东方文化股份有限公司 | 一种针对服装的边缘精细抠图方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110113510B (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110113510A (zh) | 一种实时视频图像增强方法和高速相机系统 | |
CN101340511B (zh) | 一种基于亮度检测的自适应视频图像增强方法 | |
US20090317017A1 (en) | Image characteristic oriented tone mapping for high dynamic range images | |
CN109785240B (zh) | 一种低照度图像增强方法、装置及图像处理设备 | |
CN111292264A (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
CN110706172B (zh) | 基于自适应混沌粒子群优化的低照度彩色图像增强方法 | |
CN202190327U (zh) | 低照度摄像机成像控制装置及摄像系统 | |
CN102148936B (zh) | 一种高动态范围成像优化方法及装置 | |
CN106981054B (zh) | 一种图像处理方法及电子设备 | |
CN105578068A (zh) | 一种高动态范围图像的生成方法、装置及移动终端 | |
CN101742084A (zh) | 对比度增强处理方法与处理装置 | |
CN104899836A (zh) | 一种基于近红外多光谱成像的雾天图像增强装置及方法 | |
CN113643214A (zh) | 一种基于人工智能的图像曝光校正方法及系统 | |
CN110807735A (zh) | 图像处理方法、装置、终端设备及计算机可读存储介质 | |
US9013605B2 (en) | Apparatus and method for processing intensity of image in digital camera | |
CN109685727B (zh) | 图像处理方法 | |
JP4879363B1 (ja) | 画像処理システム | |
GB2588616A (en) | Image processing method and apparatus | |
CN112702588B (zh) | 双模态图像信号处理器和双模态图像信号处理系统 | |
CN114283100A (zh) | 高动态范围图像合成与色调映射方法及电子设备 | |
CN113630586A (zh) | 一种单光源全彩摄像机 | |
WO2012172728A1 (ja) | 画像処理システム | |
CN112686825A (zh) | 一种基于fpga的地面浓雾场景灰度图像去雾方法 | |
CN109102481B (zh) | 基于光照分析的自动宽动态处理算法 | |
TWI475512B (zh) | 動態範圍影像的雜訊處理方法及其影像擷取裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |