CN111131719A - 一种视频流水线的处理方法及装置 - Google Patents

一种视频流水线的处理方法及装置 Download PDF

Info

Publication number
CN111131719A
CN111131719A CN201911248424.9A CN201911248424A CN111131719A CN 111131719 A CN111131719 A CN 111131719A CN 201911248424 A CN201911248424 A CN 201911248424A CN 111131719 A CN111131719 A CN 111131719A
Authority
CN
China
Prior art keywords
exposure
area
image
calculating
exposure area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911248424.9A
Other languages
English (en)
Other versions
CN111131719B (zh
Inventor
董书莉
郭进一
董方
刘冰洁
张润鑫
李阳
杨翊东
张斐然
常淞泓
武文波
李春梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Space Research Mechanical and Electricity
Original Assignee
Beijing Institute of Space Research Mechanical and Electricity
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Space Research Mechanical and Electricity filed Critical Beijing Institute of Space Research Mechanical and Electricity
Priority to CN201911248424.9A priority Critical patent/CN111131719B/zh
Publication of CN111131719A publication Critical patent/CN111131719A/zh
Application granted granted Critical
Publication of CN111131719B publication Critical patent/CN111131719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种视频流水线的处理方法及装置。所述方法包括:获取空间飞行器对应的长曝光图像和短曝光图像;获取所述长曝光图像对应的第一曝光时间,及所述短曝光图像对应的第二曝光时间;根据所述第一曝光时间和所述第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区;根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,生成合成图像;根据所述合成图像的图像参数,确定所述空间飞行器对应的高动态范围图像。本发明实施例可根据视频图像数据自适应调整映射参数,能够满足实时性要求。

Description

一种视频流水线的处理方法及装置
技术领域
本发明涉及图像处理技术领域,特别是一种视频流水线的处理方法及装置。
背景技术
星上HDR(High-Dynamic Range,高动态范围图像)技术因为处理的视频流,图像以数据串的形式,将每次成像结果以行格式源源不断输出。相比于图像算法,HDR视频流算法,包括HDR视频流的生成、视频流的编码算法以及解码算法、合成和色调映射算法。因此,流水线处理HDR视频算法要求更高的实时性,在有限资源的硬件平台上如何减少内存占用也是一直研究的问题。
罗雪梅等利用色外观模型重新再现高动态范围图像,陈怀章等人使用带有DMD和FPGA器件的实验平台拓展成像的动态范围,赵再骞利用GPU协处理器完成航天飞船交会对接时训练电视图像的HDR渲染。但是,上述方法无法满足当前嵌入式领域对HDR图像的实时性要求,主要存在的问题有:
1、存储资源要求高,对于分辨率为1920×1080的彩色图像,采用RGB(Red/Green/Blue,红/绿/蓝)格式对HDR图像数据进行存储,使用Reinhard色调映射需要消耗1920×1080×4=7.9MB的片上存储资源来存储一帧图像,这对片上存储资源有限的PFGA(FieldProgrammable Gate Array,元件可编程逻辑闸阵列)器件不能接受。
2、实时性难以保证,HDR视频存储每个像素点的流明值,大量的运算过程基于浮点值进行.因此,其算法不仅需要更多的存储资源,且需要调用FPGA器件内部的DSP(DigitalSignal Processing,数字信号处理)资源对加法、乘法操作进行处理。对于分辨率为1920×1080的彩色图像,3帧LDR图像融合1帧HDR图像情况下,使用Debevec算法需要计算55987200次。在100MHz时钟频率下,其需要0.559872s(1.8f/s),无法满足实时性要求。
业界方面,苹果、华为、三星等科技厂商的移动终端设备均具有HDR功能,但合成与色调映射算法大都采用软件实现的方式,硬件实现的较少。学术方面,国内天津大学姚素英教授团队对两帧曝光图像的合成进行了研究,采用权重值函数取平均的方法,适用的场景有一定限制。国内很少看到色调映射算法硬件实现的例子,国外有部分学者进行了这方面的研究。Lapray等利用FPGA Virtex V实现算法:能完成30fps帧率、100万分辨率的视频处理,但是该方法利用常量参数;Urena等人应用全局算子和局部算子结合的算法,在XilinxSpartan III上实现,能够完成60fps帧率、640x480分辨率的视频处理,该方法采用人工调节参数的方法,这两种方法都不利于实时视频处理,另外,算法都较为复杂,虽然经过一定的简化,仍需要耗费大量的硬件资源,不利于集成到图像传感器芯片上。
发明内容
本发明解决的技术问题是:克服现有技术中的不足,提供了一种视频流水线的处理方法及装置。
为了解决上述技术问题,本发明实施例提供了一种视频流水线的处理方法,包括:
获取空间飞行器对应的长曝光图像和短曝光图像;
获取所述长曝光图像对应的第一曝光时间,及所述短曝光图像对应的第二曝光时间;
根据所述第一曝光时间和所述第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区;
根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,生成合成图像;
根据所述合成图像的图像参数,确定所述空间飞行器对应的高动态范围图像。
优选地,所述根据所述第一曝光时间和所述第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区的步骤,包括:
根据所述第一曝光时间,计算得到所述欠曝光区域;
根据所述第二曝光时间,计算得到所述过曝光区域;
根据所述第一曝光时间和所述第二曝光时间,计算得到所述曝光良好区域;
根据所述欠曝光区域和所述过曝光区域,计算得到所述曝光盲区。
优选地,所述根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,生成合成图像的步骤,包括:
根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,计算得到所述长曝光图像的第一正常曝光区域和第一异常曝光区域,及所述短曝光图像的第二正常曝光区域和第二异常曝光区域;
根据所述第一正常曝光区域、所述第一异常曝光区域、所述第二正常曝光区域和所述第二异常曝光区域,生成所述合成图像。
优选地,所述根据所述合成图像的图像参数,确定所述空间飞行器对应的高动态范围图像的步骤,包括:
计算得到所述合成图像对应的对数平均亮度;
计算得到所述合成图像对应的最大亮度值和最小亮度值;
根据所述对数平均亮度中的最大亮度值和最小亮度值,计算得到所述合成图像的图像映射参数;
根据所述图像映射参数和所述对数平均亮度,确定所述高动态范围图像。
为了解决上述技术问题,本发明实施例提供了一种视频流水线的处理装置,包括:
曝光图像获取模块,用于获取空间飞行器对应的长曝光图像和短曝光图像;
曝光时间获取模块,用于获取所述长曝光图像对应的第一曝光时间,及所述短曝光图像对应的第二曝光时间;
曝光区域计算模块,用于根据所述第一曝光时间和所述第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区;
合成图像生成模块,用于根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,生成合成图像;
高动态图像确定模块,用于根据所述合成图像的图像参数,确定所述空间飞行器对应的高动态范围图像。
优选地,所述曝光区域计算模块包括:
欠曝区域计算子模块,用于根据所述第一曝光时间,计算得到所述欠曝光区域;
过曝区域计算子模块,用于根据所述第二曝光时间,计算得到所述过曝光区域;
良好区域计算子模块,用于根据所述第一曝光时间和所述第二曝光时间,计算得到所述曝光良好区域;
曝光盲区计算子模块,用于根据所述欠曝光区域和所述过曝光区域,计算得到所述曝光盲区。
优选地,所述合成图像生成模块包括:
曝光区域计算子模块,用于根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,计算得到所述长曝光图像的第一正常曝光区域和第一异常曝光区域,及所述短曝光图像的第二正常曝光区域和第二异常曝光区域;
合成图像生成子模块,用于根据所述第一正常曝光区域、所述第一异常曝光区域、所述第二正常曝光区域和所述第二异常曝光区域,生成所述合成图像。
优选地,所述高动态图像确定模块包括:
平均亮度计算子模块,用于计算得到所述合成图像对应的对数平均亮度;
亮度值计算子模块,用于计算得到所述合成图像对应的最大亮度值和最小亮度值;
映射参数计算子模块,用于根据所述对数平均亮度中的最大亮度值和最小亮度值,计算得到所述合成图像的图像映射参数;
高动态范围图像确定子模块,用于根据所述图像映射参数和所述对数平均亮度,确定所述高动态范围图像。
本发明与现有技术相比的优点在于:
1、对于输入视频图像数据,采用读取的曝光时间值计算映射函数关系的方法,FPGA实现占用存储资源少;
2、本方案提出的色调映射算法不需要手工调节参数,可根据视频图像数据自适应调整映射参数;
3、本方案相比传统HDR算法,由延时2帧提高到只需要延时1帧即可输出HDR结果,满足实时性要求。
附图说明
图1为本发明实施例提供的一种视频流水线的处理方法的步骤流程图;
图2为本发明实施例提供的长短曝光图亮度值映射的示意图;
图3为本发明实施例提供的简化长短曝光图亮度映射的示意图;
图4为本发明实施例提供的曝光良好区域长短曝光图线性拟合的示意图;
图5为本发明实施例提供的HDR图像的示意图;
图6为本发明实施例提供的合成结果各指标对比的示意图;
图7为本发明实施例提供的一种视频流水线的处理装置的结构示意图。
具体实施方式
下面将结合本发明的实施例中的附图,对本发明的实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的实施例一部分实施例,而不是全部的实施例。基于本发明的实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明的实施例保护的范围。
实施例一
参照图1,示出了本发明实施例提供的一种视频流水线的处理方法的步骤流程图,如图1所示,该视频流水线的处理方法具体可以包括如下步骤:
步骤101:获取空间飞行器对应的长曝光图像和短曝光图像。
在本发明实施例中,空间飞行器是指在地球大气层以外的宇宙空间,基本上按照天体力学的规律运行的各类飞行器。空间飞行器可以为人造地球卫星、空间探测器和载人航天器等飞行器中的任一种,本发明实施例对此不加以限制。
在本发明中,首先可以获取空间飞行器对应的长曝光图像和短曝光图像,进而,执行步骤102。
步骤102:获取所述长曝光图像对应的第一曝光时间,及所述短曝光图像对应的第二曝光时间。
第一曝光时间是指长曝光图像的曝光时间,第二曝光时间是指短曝光图像的曝光时间。
在获取到空间飞行器对应的长曝光图像和短曝光图像之后,可以分别获取长曝光图像对应的第一曝光时间,及短曝光图像对应的第二曝光时间,进而,执行步骤103。
步骤103:根据所述第一曝光时间和所述第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区。
在得到长曝光图像对应的第一曝光时间,及短曝光图像对应的第二曝光时间,可以根据第一曝光时间和第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区,具体地,可以结合下述优选实施例进行详细描述。
在本发明的一种优选实施例中,上述步骤103可以包括:
子步骤A1:根据所述第一曝光时间,计算得到所述欠曝光区域;
子步骤A2:根据所述第二曝光时间,计算得到所述过曝光区域;
子步骤A3:根据所述第一曝光时间和所述第二曝光时间,计算得到所述曝光良好区域;
子步骤A4:根据所述欠曝光区域和所述过曝光区域,计算得到所述曝光盲区。
在根据第一曝光时间和第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区之后,执行步骤104。
步骤104:根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,生成合成图像。
在计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区之后,可以根据过曝光区域、欠曝光区域、曝光良好区域和曝光盲区生成合成图像,具体地,可以结合下述优选实施例进行详细描述。
在本发明的一种优选实施例中,上述步骤104可以包括:
子步骤B1:根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,计算得到所述长曝光图像的第一正常曝光区域和第一异常曝光区域,及所述短曝光图像的第二正常曝光区域和第二异常曝光区域;
子步骤B2:根据所述第一正常曝光区域、所述第一异常曝光区域、所述第二正常曝光区域和所述第二异常曝光区域,生成所述合成图像。
在根据过曝光区域、欠曝光区域、曝光良好区域和曝光盲区,生成合成图像之后,执行步骤105。
步骤105:根据所述合成图像的图像参数,确定所述空间飞行器对应的高动态范围图像。
在根据过曝光区域、欠曝光区域、曝光良好区域和曝光盲区,生成合成图像之后,可以根据合成图像的图像参数确定出空间飞行器对应的高动态范围图像,即HDR图像,具体地,可以结合下述优选实施例进行详细描述。
在本发明的一种优选实施例中,上述步骤105可以包括:
子步骤C1:计算得到所述合成图像对应的对数平均亮度;
子步骤C2:计算得到所述合成图像对应的最大亮度值和最小亮度值;
子步骤C3:根据所述对数平均亮度中的最大亮度值和最小亮度值,计算得到所述合成图像的图像映射参数;
子步骤C4:根据所述图像映射参数和所述对数平均亮度,确定所述高动态范围图像。
对于本发明实施例的上述方案,进行如下详细描述。
首先,根据图像亮度值映射关系进行图像融合,利用色调映射进行动态范围和对比度调整,利用高斯模糊对曝光盲区进行处理,将图像位宽扩大。
(一)相机映射函数计算
下式所示为相机响应曲线:
R=linear(O×Δt×stg×g) (1)
I=f(R)=f(O×Δt×stg×g) (2)
上式中,R为图像辅照度,O为光照度,Δt为积分时间,stg为增益,g为级数,I为图像亮度值。由式(1)、(2)得到图像亮度值和曝光时间为正比关系。
统计长曝光图和短曝光图像各个像素点的亮度值关系,横坐标为短曝光亮度值,纵坐标为长曝光亮度值,映射图如图2所示。由于亮度值映射函数与像素点的位置无关,仅和图像的亮度值有关。因此可减少映射关系求解所需的像素个数,具体方法为:对短曝光的每个亮度值,计算长曝光对应位置的平均亮度值,得到映射图如图3所示。可以看出,在正常曝光区域,二者呈现较明显的线性关系。本发明将长曝光图像像素点亮度超过最大亮度某一阈值的像素点认为是过曝点,短曝光图像中低于最大亮度某一阈值的像素点认为是欠曝光点。过曝光区域取反与欠曝光区域取反求交集得到曝光良好区域,过曝光区域与欠曝光区域求交集得到曝光盲区。如此将图像分为欠曝光区域、过曝光区域、曝光良好区域、曝光盲区。截取曝光良好的像素点,得到映射图如图4所示。
根据线性拟合,得到亮度映射函数为:
Figure BDA0002308341970000081
上述公式(3)中,I1为长曝光像素点亮度值,I2为短曝光像素点亮度值,Δt1为长曝光图像积分时间,Δt2为短曝光图像积分时间,b为线性拟合系数,成像模型唯一的情况下,值固定。
根据亮度映射函数进行图像合成:
(1)长曝光图像过曝光区域的亮度值由短曝光图像对应亮度值经公式(3)计算得到;
(2)短曝光图像欠曝光区域的亮度值由长曝光图像对应亮度值得到;
(3)曝光良好区域:长曝光图像亮度值与短曝光图像亮度值经公式(3)计算结果求平均得到;
(4)曝光盲区由高斯模糊滤波得到。
(二)色调映射
色调映射分为全局色调映射和局部色调映射,相比于全局色调映射,局部色调映射更能提高映射图片的质量,局部映射因子不仅着眼于全局的对比度,也利用了局部的对比度。
色调映射可以采用摄影学色调重现的方法。
算法的全局分量主要对高亮度的部分进行压缩:
Figure BDA0002308341970000091
上述公式(4)中,Lw(x)是进行缩放的原始亮度。
对数平均亮度:
Figure BDA0002308341970000092
其中:δ为极小数,解决Lw(x)为0的情况。
Lw(x)为真实世界亮度,为CCD/CMOS器件输出图像亮度值;δ是一个很小的量,其目的是为了保证lg公式的结果不为0。L表征整幅图像的亮度等级,而每个像素点的亮度值需要根据平均亮度值重新调整,映射值域为:
Figure BDA0002308341970000093
其中:α阈值可以调整,缩放参数,该值为整幅图片的亮度表征值。
最终归一化亮度值为:
Figure BDA0002308341970000101
由于星上数据成像范围最大为2n,上式中Lwhite(x,y)设为2n
参数α自动计算得到:
α=0.18×22(b-a)/(a+b) (8)
a=Lmax-L (9)
b=L-Lmin (10)
(三)高斯模糊
高斯模糊,用正态分布计算图像的每个像素的变换,加权平均滤波器,主要根据中心像素点的距离决定周围像素点的影响,可以有效减少噪声。具体步骤:采用滤波算子对图像进行卷积运算,边界点计算,因为滤波算子为5×5,边界点需要四周扩充两行,将边界点对称扩展两行数据,进行卷积计算。二维滤波器如下表示:
Figure BDA0002308341970000102
本发明所用5×5滤波算子为:
Figure BDA0002308341970000103
利用FPGA实现了HDR图像生成方法。为了简单、客观的对结果图像进行评价,这里采用合成前后的图像熵——图像灰度空间分布特征的统计形式,反映图中平均信息量的多少、空间频率、信噪比评价HDR图像质量。图像熵和空间频率解释表征图像所含信息数量的指标,数值越大,图像空间信息越丰富。
表1给出了图像数据库对应曝光时间,图5给出了图像灰度图,灰度图表征图像亮度情况。图6给出了HDR图像,表二给出了各指标比较情况。
分析表一中数据,可以看出生成的HDR图像,在图像熵、空间频率均得到了较大改善,在融合两幅图像的噪声后,依然可以保持较好的信噪比。
Figure BDA0002308341970000111
本发明实施例所采用的合成算法,采用相机响应函数查找表以及过渡区域溢出修正的线性映射算法。利用图像辐照度R与场景光照度O和曝光时间Δt的乘积成线性关系的原理,将图像分为正常曝光区域和异常曝光区域,根据计算得到的映射函数合成图像。
本发明实施例所采用的色调映射算法,针对失真点问题和参数手动调整问题,采用基于摄影学原理构建色调映射算法,可以自适应调整缩放参数α和最大纯白值参数Lwhite。首先,使用平均对数亮度作为key值对图像进行动态范围压缩;然后,对对比度大的区域进行自动曝光和遮光处。
本发明实施例所采用的高斯模糊,当图像出现曝光盲区,即:在长曝光图像中过曝光,但是在短曝光时又属于欠曝光区域时,本方案提出的合成方案会漏掉该区域,采用高斯模糊将图像补充完整。
本发明实施例提供的视频流水线的处理方法具有如下有益效果:
1、对于输入视频图像数据,采用读取的曝光时间值计算映射函数关系的方法,FPGA实现占用存储资源少;
2、本方案提出的色调映射算法不需要手工调节参数,可根据视频图像数据自适应调整映射参数;
3、本方案相比传统HDR算法,由延时2帧提高到只需要延时1帧即可输出HDR结果,满足实时性要求。
实施例二
参照图7,示出了本发明实施例提供的一种视频流水线的处理装置的结构示意图,如图7所示,该视频流水线的处理装置具体可以包括如下模块:
曝光图像获取模块710,用于获取空间飞行器对应的长曝光图像和短曝光图像;
曝光时间获取模块720,用于获取所述长曝光图像对应的第一曝光时间,及所述短曝光图像对应的第二曝光时间;
曝光区域计算模块730,用于根据所述第一曝光时间和所述第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区;
合成图像生成模块740,用于根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,生成合成图像;
高动态图像确定模块750,用于根据所述合成图像的图像参数,确定所述空间飞行器对应的高动态范围图像。
优选地,所述曝光区域计算模块730包括:
欠曝区域计算子模块,用于根据所述第一曝光时间,计算得到所述欠曝光区域;
过曝区域计算子模块,用于根据所述第二曝光时间,计算得到所述过曝光区域;
良好区域计算子模块,用于根据所述第一曝光时间和所述第二曝光时间,计算得到所述曝光良好区域;
曝光盲区计算子模块,用于根据所述欠曝光区域和所述过曝光区域,计算得到所述曝光盲区。
优选地,所述合成图像生成模块740包括:
曝光区域计算子模块,用于根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,计算得到所述长曝光图像的第一正常曝光区域和第一异常曝光区域,及所述短曝光图像的第二正常曝光区域和第二异常曝光区域;
合成图像生成子模块,用于根据所述第一正常曝光区域、所述第一异常曝光区域、所述第二正常曝光区域和所述第二异常曝光区域,生成所述合成图像。
优选地,所述高动态图像确定模块750包括:
平均亮度计算子模块,用于计算得到所述合成图像对应的对数平均亮度;
亮度值计算子模块,用于计算得到所述合成图像对应的最大亮度值和最小亮度值;
映射参数计算子模块,用于根据所述对数平均亮度中的最大亮度值和最小亮度值,计算得到所述合成图像的图像映射参数;
高动态范围图像确定子模块,用于根据所述图像映射参数和所述对数平均亮度,确定所述高动态范围图像。
本发明实施例提供的视频流水线的处理装置具有如下有益效果:
1、对于输入视频图像数据,采用读取的曝光时间值计算映射函数关系的方法,FPGA实现占用存储资源少;
2、本方案提出的色调映射算法不需要手工调节参数,可根据视频图像数据自适应调整映射参数;
3、本方案相比传统HDR算法,由延时2帧提高到只需要延时1帧即可输出HDR结果,满足实时性要求。
以上所述仅为本发明的实施例的较佳实施例而已,并不用以限制本发明的实施例,凡在本发明的实施例的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的实施例的保护范围之内。

Claims (8)

1.一种视频流水线的处理方法,其特征在于,包括:
获取空间飞行器对应的长曝光图像和短曝光图像;
获取所述长曝光图像对应的第一曝光时间,及所述短曝光图像对应的第二曝光时间;
根据所述第一曝光时间和所述第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区;
根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,生成合成图像;
根据所述合成图像的图像参数,确定所述空间飞行器对应的高动态范围图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一曝光时间和所述第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区的步骤,包括:
根据所述第一曝光时间,计算得到所述欠曝光区域;
根据所述第二曝光时间,计算得到所述过曝光区域;
根据所述第一曝光时间和所述第二曝光时间,计算得到所述曝光良好区域;
根据所述欠曝光区域和所述过曝光区域,计算得到所述曝光盲区。
3.根据权利要求1所述的方法,其特征在于,所述根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,生成合成图像的步骤,包括:
根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,计算得到所述长曝光图像的第一正常曝光区域和第一异常曝光区域,及所述短曝光图像的第二正常曝光区域和第二异常曝光区域;
根据所述第一正常曝光区域、所述第一异常曝光区域、所述第二正常曝光区域和所述第二异常曝光区域,生成所述合成图像。
4.根据权利要求1所述的方法,其特征在于,所述根据所述合成图像的图像参数,确定所述空间飞行器对应的高动态范围图像的步骤,包括:
计算得到所述合成图像对应的对数平均亮度;
计算得到所述合成图像对应的最大亮度值和最小亮度值;
根据所述对数平均亮度中的最大亮度值和最小亮度值,计算得到所述合成图像的图像映射参数;
根据所述图像映射参数和所述对数平均亮度,确定所述高动态范围图像。
5.一种视频流水线的处理装置,其特征在于,包括:
曝光图像获取模块,用于获取空间飞行器对应的长曝光图像和短曝光图像;
曝光时间获取模块,用于获取所述长曝光图像对应的第一曝光时间,及所述短曝光图像对应的第二曝光时间;
曝光区域计算模块,用于根据所述第一曝光时间和所述第二曝光时间,计算得到过曝光区域、欠曝光区域、曝光良好区域和曝光盲区;
合成图像生成模块,用于根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,生成合成图像;
高动态图像确定模块,用于根据所述合成图像的图像参数,确定所述空间飞行器对应的高动态范围图像。
6.根据权利要求5所述的装置,其特征在于,所述曝光区域计算模块包括:
欠曝区域计算子模块,用于根据所述第一曝光时间,计算得到所述欠曝光区域;
过曝区域计算子模块,用于根据所述第二曝光时间,计算得到所述过曝光区域;
良好区域计算子模块,用于根据所述第一曝光时间和所述第二曝光时间,计算得到所述曝光良好区域;
曝光盲区计算子模块,用于根据所述欠曝光区域和所述过曝光区域,计算得到所述曝光盲区。
7.根据权利要求5所述的装置,其特征在于,所述合成图像生成模块包括:
曝光区域计算子模块,用于根据所述过曝光区域、所述欠曝光区域、所述曝光良好区域和所述曝光盲区,计算得到所述长曝光图像的第一正常曝光区域和第一异常曝光区域,及所述短曝光图像的第二正常曝光区域和第二异常曝光区域;
合成图像生成子模块,用于根据所述第一正常曝光区域、所述第一异常曝光区域、所述第二正常曝光区域和所述第二异常曝光区域,生成所述合成图像。
8.根据权利要求5所述的装置,其特征在于,所述高动态图像确定模块包括:
平均亮度计算子模块,用于计算得到所述合成图像对应的对数平均亮度;
亮度值计算子模块,用于计算得到所述合成图像对应的最大亮度值和最小亮度值;
映射参数计算子模块,用于根据所述对数平均亮度中的最大亮度值和最小亮度值,计算得到所述合成图像的图像映射参数;
高动态范围图像确定子模块,用于根据所述图像映射参数和所述对数平均亮度,确定所述高动态范围图像。
CN201911248424.9A 2019-12-09 2019-12-09 一种视频流水线的处理方法及装置 Active CN111131719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911248424.9A CN111131719B (zh) 2019-12-09 2019-12-09 一种视频流水线的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911248424.9A CN111131719B (zh) 2019-12-09 2019-12-09 一种视频流水线的处理方法及装置

Publications (2)

Publication Number Publication Date
CN111131719A true CN111131719A (zh) 2020-05-08
CN111131719B CN111131719B (zh) 2021-07-13

Family

ID=70497799

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911248424.9A Active CN111131719B (zh) 2019-12-09 2019-12-09 一种视频流水线的处理方法及装置

Country Status (1)

Country Link
CN (1) CN111131719B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660413A (zh) * 2021-07-26 2021-11-16 中国科学院西安光学精密机械研究所 一种应用于飞行器的大口径大视场相机自动曝光方法
CN113822819A (zh) * 2021-10-15 2021-12-21 Oppo广东移动通信有限公司 Hdr场景检测方法与装置、终端及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399922A (zh) * 2007-09-28 2009-04-01 索尼株式会社 图像摄取装置、图像摄取方法及其程序
CN105827754A (zh) * 2016-03-24 2016-08-03 维沃移动通信有限公司 一种高动态范围图像的生成方法及移动终端
CN106791470A (zh) * 2016-12-28 2017-05-31 上海兴芯微电子科技有限公司 基于高动态范围摄像装置的曝光控制方法和装置
CN108270977A (zh) * 2018-03-06 2018-07-10 广东欧珀移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101399922A (zh) * 2007-09-28 2009-04-01 索尼株式会社 图像摄取装置、图像摄取方法及其程序
CN105827754A (zh) * 2016-03-24 2016-08-03 维沃移动通信有限公司 一种高动态范围图像的生成方法及移动终端
CN106791470A (zh) * 2016-12-28 2017-05-31 上海兴芯微电子科技有限公司 基于高动态范围摄像装置的曝光控制方法和装置
CN108270977A (zh) * 2018-03-06 2018-07-10 广东欧珀移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660413A (zh) * 2021-07-26 2021-11-16 中国科学院西安光学精密机械研究所 一种应用于飞行器的大口径大视场相机自动曝光方法
CN113660413B (zh) * 2021-07-26 2022-05-10 中国科学院西安光学精密机械研究所 一种应用于飞行器的大口径大视场相机自动曝光方法
CN113822819A (zh) * 2021-10-15 2021-12-21 Oppo广东移动通信有限公司 Hdr场景检测方法与装置、终端及可读存储介质
CN113822819B (zh) * 2021-10-15 2023-10-27 Oppo广东移动通信有限公司 Hdr场景检测方法与装置、终端及可读存储介质

Also Published As

Publication number Publication date
CN111131719B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110378859B (zh) 一种新的高动态范围图像生成方法
CN111418201B (zh) 一种拍摄方法及设备
CN106797437B (zh) 使用多个图像的高动态范围图像合成
CN107045715B (zh) 一种单幅低动态范围图像生成高动态范围图像的方法
KR101537182B1 (ko) 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화
JP5713752B2 (ja) 画像処理装置、及びその制御方法
JP5133085B2 (ja) 撮像装置および撮像方法
JP6110574B2 (ja) ハイダイナミックレンジ画像化方法及びカメラ
WO2014044045A1 (zh) 图像处理方法及装置
WO2021139635A1 (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
JP6831493B2 (ja) 撮像装置、撮像方法、およびプログラム
CN111131719B (zh) 一种视频流水线的处理方法及装置
CN112565636A (zh) 图像处理方法、装置、设备和存储介质
KR100933556B1 (ko) 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법
JP2015201842A (ja) 画像処理装置、その制御方法、および制御プログラム
JP6600216B2 (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2018112936A (ja) Hdr画像処理装置および方法
JP2010278890A (ja) 画像形成装置、画像形成方法
Lapray et al. Hdr-artist: High dynamic range advanced real-time imaging system
JP2018182376A (ja) 画像処理装置
JP2012247874A (ja) 画像処理装置および方法
JP6324235B2 (ja) 画像処理装置および画像処理方法
Lapray et al. Smart camera design for realtime high dynamic range imaging
Gil Rodríguez et al. High quality video in high dynamic range scenes from interlaced dual-iso footage
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant