CN104639845A - 高动态范围图像产生方法以及使用该方法的装置 - Google Patents

高动态范围图像产生方法以及使用该方法的装置 Download PDF

Info

Publication number
CN104639845A
CN104639845A CN201510116190.8A CN201510116190A CN104639845A CN 104639845 A CN104639845 A CN 104639845A CN 201510116190 A CN201510116190 A CN 201510116190A CN 104639845 A CN104639845 A CN 104639845A
Authority
CN
China
Prior art keywords
mentioned
frame
exposure
pixel
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510116190.8A
Other languages
English (en)
Other versions
CN104639845B (zh
Inventor
齐南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Granfi Smart Technology Beijing Co ltd
Original Assignee
Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhaoxin Integrated Circuit Co Ltd filed Critical Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority to CN201510116190.8A priority Critical patent/CN104639845B/zh
Publication of CN104639845A publication Critical patent/CN104639845A/zh
Priority to US14/802,231 priority patent/US9413980B1/en
Priority to EP15192009.7A priority patent/EP3070930B1/en
Priority to KR1020150163474A priority patent/KR101731729B1/ko
Priority to JP2015233300A priority patent/JP6240143B2/ja
Application granted granted Critical
Publication of CN104639845B publication Critical patent/CN104639845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

高动态范围图像产生方法以及使用该方法的装置。本发明的实施例提出一种由处理单元执行的高动态范围图像产生方法。获得第0帧数据的帧统计信息，拥有暗区中包含的第一像素数目以及亮区中包含的第二像素数目。依据第一像素数目以及第二像素数目计算比值，以及依据比值和第0帧数据的曝光设置计算第一扩展因子及第二扩展因子，使用第一扩展因子将第0帧数据扩展至高动态范围，以及使用第二扩展因子将第1帧数据扩展至高动态范围。融合扩展后第0帧数据以及扩展后第1帧数据。

Description

高动态范围图像产生方法以及使用该方法的装置
技术领域
本发明涉及一种图像处理技术，特别涉及一种高动态范围图像产生方法以及使用该方法的装置。
背景技术
高动态范围(HDR，High-Dynamic-Range)图像可显示从现实世界抓取的更大范围的亮度水平，从直射的阳光到微弱的星光。其通常针对相同的拍摄物体抓取不同曝光度的图像，并融合这些图像来产生高动态范围图像。非高动态范围相机以受限的曝光区间拍摄，造成在亮部及暗部损失细节。为了补偿这类的细节损失，高动态范围技术藉由在不同的曝光水平下拍摄并融合这些不同曝光水平下拍摄的图像，用以产生可表示更广色度范围的图像。然而，高动态范围融合需要耗费大量的时间，因此，本发明提出一种高动态范围图像产生方法以及使用该方法的装置，用以减少高动态范围融合所需的时间。
发明内容
本发明的实施例提出一种由处理单元执行的高动态范围图像产生方法。获得第0帧数据的帧统计信息，拥有暗区中包含的第一像素数目以及亮区中包含的第二像素数目。依据第一像素数目以及第二像素数目计算比值，以及依据比值以及第0帧数据的曝光设置计算第一扩展因子及第二扩展因子，使用第一扩展因子将第0帧数据扩展至高动态范围，以及使用第二扩展因子将第1帧数据扩展至高动态范围。融合扩展后第0帧数据以及扩展后第1帧数据。
本发明的实施例另提出一种高动态范围图像产生装置，包含相机模块控制器以及处理单元。相机模块控制器耦接于相机模块。处理单元通过相机模块控制器取得第0帧数据，以及获得第0帧数据的帧统计信息，其中的帧统计信息拥有暗区中包含的第一像素数目以及亮区中包含的第二像素数目。处理单元另依据第一像素数目以及第二像素数目计算一个比值，以及依据此比值以及第0帧数据的曝光设置计算第一扩展因子及第二扩展因子。处理单元另使用第一扩展因子将第0帧数据扩展至高动态范围，使用第二扩展因子将第1帧数据扩展至高动态范围，以及融合扩展后第0帧数据以及扩展后第1帧数据。
本发明所提出的上述高动态范围图像产生方法及其装置利用正常曝光帧(如第0帧)帧内的亮区和暗区的像素数目比值以及该正常曝光帧的曝光设置计算出扩展因子，并依据计算出的扩展因子直接将其它不同曝光条件下拍摄的低动态范围帧(LDR，Low-Dynamic-Range frame)(如第1帧和第2帧)的像素值映射至高动态范围空间，而无需耗费大量硬件资源来标定相机响应函数(camera response function)，从而降低了功耗和成本。
附图说明
图1是依据本发明实施例的运算装置的系统架构图。
图2是依据本发明实施例由处理单元执行的高动态范围融合方法的方法流程图。
图3是依据本发明另一实施例由处理单元执行的高动态范围融合方法的方法流程图。
图4是依据本发明实施例的直方图区间示意图。
图5是依据本发明实施例的直方图区间示意图。
图6是依据本发明实施例的相邻四块示意图。
【符号说明】
110处理单元；               130、150帧缓存区；
140易失性存储器；           170相机模块控制器；
190相机模块；               S200～S273方法步骤；
Bin0～Bin16亮度区；         V7～V9、C0～C4亮度值；
Wp像素权重；                WUL左上块中心点的权重；
WUR右上块中心点的权重；
WLL左下块中心点的权重；
WLR右下块中心点的权重；
E1下边；                   E2右边；
E3上边；                   E4左边；
D1像素Wp与下边E1间的距离；
D2像素Wp与右边E2间的距离；
D3像素Wp与上边E3间的距离；
D4像素Wp与左边E4间的距离。
具体实施方式
以下说明为完成发明的优选实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用于本说明书中的“包含”、“包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
在权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
图1是依据本发明实施例的运算装置的系统架构图。此系统架构可实施于桌上型计算机、笔记型计算机、平板计算机、手机、数字相机、数字录像机等，至少包含处理单元110。处理单元110可使用多种方式实施，例如以专用硬件电路或通用硬件(例如，单一处理器、具平行处理能力的多处理器、图形处理器或其他具运算能力的处理器)，并且在执行固件或软件时，提供之后所描述的功能。处理单元110可通过相机模块控制器170控制相机模块190捕捉多个低动态范围帧(LDR，Low-Dynamic-Range frame)并存储在帧缓存区(frame buffer)130。相机模块190可包含图像传感器，例如，互补式金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)、电荷耦合元件(charge-coupled device，CCD)等传感器，用以感测由红、绿、蓝光强度所形成的图像，以及包含读取电子电路，用以从图像传感器搜集感测到的数据。处理单元110可从帧缓存器130取得至少三个低动态范围帧(LDR frame)，在一实施例中，前述至少三个LDR帧是12位，其中一个LDR帧是在最佳曝光设置(exposure setting)下取得，由自动曝光算法(AE，Automatic Exposurealgorithm)计算而得，以下称第0帧。由此须注意的是，第0帧取得时使用的曝光设置，包括快门速度(shutter speed)、模拟增益(analog gain)以及数字增益(digital gain)，这些设定参数也会记录在帧缓存器130或易失性存储器140。易失性存储器140，例如动态随机随取存储器(DRAM，Dynamic RandomAccess Memory)，用以存储执行过程中需要的数据，例如，变量、数据表(datatables)等。另一个LDR帧为一个低曝光帧，以下称第1帧。再另一个LDR帧为一个高曝光帧，以下称第2帧。处理单元110使用高动态范围融合算法(HDRM，High-Dynamic-Range Merging Algorithm)融合第0～2帧以产生高动态范围帧(HDR，High-Dynamic-Range frame)，并存储至帧缓存器150。在一实施例中，该输出的HDR帧是18位。
图2是依据本发明实施例由处理单元执行的高动态范围融合方法的方法流程图。此流程开始在从帧缓存器130取得第0帧(步骤S200)。接着，处理单元110获得第0帧数据的帧统计信息(frame statistics information)(步骤S201)，其中上述帧统计信息拥有第0帧的一暗区中包含的第一像素数目(pixelnumber)以及第0帧的一亮区中包含的第二像素数目。处理单元110再依据上述第一像素数目及第二像素数目计算一比值(步骤S202)。之后处理单元110依据比值以及第0帧数据的曝光设置(exposure setting)计算第一扩展因子及第二扩展因子(步骤S203)。关于步骤S201～S203的细节后面会再详述。处理单元110使用第一扩展因子将第0帧数据扩展至高动态范围(HDR)(步骤S204)。接着，处理单元110从帧缓存器130取得第1帧(步骤S205)并使用第二扩展因子将第1帧数据扩展至高动态范围(HDR)(步骤S206)，在一实施例中，该扩展的步骤是将上述第0/1帧的各像素值乘以第一/二扩展因子。最后，处理单元110融合扩展后第0帧数据及扩展后第1帧数据(步骤S207)。在一实施例中，至此，本发明的处理单元110将正常曝光的第0帧与低曝光的第1帧扩展至高动态范围并实现融合。
图3是依据本发明另一实施例由处理单元执行的高动态范围融合方法的方法流程图。此流程开始在从帧缓存器130取得第0帧(步骤S211)。接着，处理单元110获得第0帧中每一块的统计信息(步骤S213)。详细来说，第0帧可切分为mxn块，每块例如包含32x32像素，以及计算每个像素的亮度值。每个像素的亮度值可使用公式(1)计算：
V＝0.3x R+0.6x G+0.1x B               (1)
其中，R代表红色值，G代表绿色值，B代表蓝色值，V代表亮度值。处理单元110计算每块的平均亮度值AveLum以及亮度直方图(histogram)。图4是依据本发明实施例的直方图区间示意图。本发明以亮度值为12位举例，当然本发明不限于此，以12位表示的亮度值区间为0～4095。直方图划分为例如16个区(bins)，Bin8包含的最小亮度值V8设为2047.5(＝4095/2)。Bin7及Bin9包含的最小亮度值V7及V9可分别使用公式(2)及(3)计算：
V7＝4095x r               (2)
V9＝4095x(1-r)               (3)
其中，r可为0～0.5之间的任意数值。假设r设为0.25，则V7为1023.75，而V9为3071.25。将亮度值区间0～V7平均分为7区(Bin0～Bin6)，将亮度值区间V9～4095平均分为7区(Bin9～Bin15)，第8区(Bin7)的亮度值区间为V7～V8，第9区(Bin8)的亮度值区间为V8～V9。针对每个块，处理单元110将该块的各像素按照其亮度值划分至对应的区间(Bin)，并统计每一区间中包含几个像素。产生直方图的范例虚拟码如下所示：
其中，bestExpBlockInfor是一个结构阵列，每一个结构存储一块的统计信息，包含平均亮度值block_averVal以及Bin0～Bin15的像素数目block_hist。
接着，处理单元110依据前述经由分析每块的平均亮度值及直方图得到的统计信息，辨认其类型为低曝光、正常曝光或高曝光(步骤S215)。详细来说，先计算该块的直方图的下限区值(low-bin threshold)及上限区值(high-binthreshold)。下限区值及上限区值可分别使用公式(4)及(5)计算：
threBinLow≒(BinNum/2-1)/r x 0.18               (4)
threBinHigh≒BinNum–(BinNum/2-1)/r x 0.18      (5)
其中，threBinLow代表下限区值，threBinHigh代表上限区值，BinNum代表该块的直方图被划分的区(bin)的数目，如前举例，BinNum＝16，r可为0～0.5之间的任意数值。假设r设为0.25，则下限区值为5，而上限区值为11，则对于每个块，像素属于(Bin0至Bin5)的区为暗区，像素属于(Bin11至Bin15)的区为亮区。针对每块，累计暗区(Bin0至Bin5)的像素数目pixNumLow，以及累计亮区(Bin11至Bin15)的像素数目pixNumHigh。处理单元110藉由以下条件来辨认其类型为低曝光、正常曝光或高曝光。若任一块的累计暗区的像素数目pixNumLow大于一块亮度阈值(blocklumthres)，则将此块的类型标示为低曝光。若任一块的累计亮区的像素数目pixNumHigh大于该块亮度阈值，则将此块的类型标示为高曝光。在一实施例中，前述块亮度阈值与该块中包含的像素数目有关，例如blocklumthres＝blocksize*ratio。在另一实施例中，处理单元110还提供一平均亮度下限值AveLumLow(例如为256)以及一平均亮度上限值AveLumHigh(例如为3840)。若该块的平均亮度值AveLum小于或等于AveLumLow，则将此块的类型标示为低曝光，若该块的平均亮度值AveLum大于或等于AveLumHigh，则将此块的类型标示为低曝光。若任一块未标示为低曝光或高曝光，则将此块的类型标示为正常曝光。辨认每块类型的范例虚拟码如下所示：
其中，blockLabel是一个阵列，每一个存储格存储一块的类型标示，例如低曝光“LOW”、正常曝光“NORMAL”以及高曝光“HIGH”。在一些实施例中，本领域技术人员也可修改皆考虑累计暗区或亮区的像素数目以及该块的平均亮度值AveLum来辨认其类型为低曝光、正常曝光或高曝光。例如，若任一块的累计暗区的像素数目pixNumLow大于该块亮度阈值blocklumthres以及该块的平均亮度值AveLum小于或等于AveLumLow，则将此块的类型标示为低曝光。若任一块的累计亮区的像素数目pixNumHigh大于该块亮度阈值blocklumthres以及该块的平均亮度值AveLum大于或等于AveLumHigh，则将此块的类型标示为高曝光。若任一块未标示为低曝光或高曝光，则将此块的类型标示为正常曝光。
接着，处理单元110根据每块的类型设定权重(步骤S217)，以及计算第0帧中每个像素的权重(步骤S219)。在步骤S217，详细来说，当此块的类型标示为低曝光时，将该块的权重设定为0；当此块的类型标示为正常曝光时，将该块的权重设定为1；以及此块的类型标示为高曝光时，将该块的权重设定为2。在步骤S219，详细来说，除了边界及角落块的像素外，处理单元110依据相邻四块的权重以及与与相邻四块间的距离计算第0帧中每个像素的权重。图6是依据本发明实施例的相邻四块示意图。相邻四块的中心点WUL、WUR、WLL及WLR围成一个矩形，以及此矩形包含四边E1至E4。每个像素权重Wp的计算可使用公式(6)计算：
Wp＝D1x D2x WUL+D1x D4x WUR+D3x D2x WLL+D3x D4x WLR
      (6)
WUL代表左上块的权重，WUR代表右上块的权重，WLL代表左下块的权重，WLR代表右下块的权重，D1代表像素P与下边E1间的距离，D2代表像素P与右边E2间的距离，D3代表像素P与上边E3间的距离，以及D4代表像素P与左边E4间的距离。步骤S219所计算得到的第0帧中每个像素的权重将在与第1帧和第2帧融合时使用，详见后面的叙述。
现在返回参考图3的初始步骤S211，处理单元110在取得第0帧后(步骤S211)，获得第0帧的帧统计信息(步骤S251以及S231)。在步骤S211，处理单元110可将第0帧的RGB颜色空间转换成HSV颜色空间。对于步骤S251及S231，详细来说，处理单元110计算第0帧的亮度直方图。图5是依据本发明实施例的直方图区间示意图。暗区(Bin0)的亮度值范围从0～C1，而亮区(Bin3)的亮度值范围从C3～C4。这里仍以亮度值为12位举例，当然本发明不限于此，以12位表示的亮度值区间为0～4095，则C1＝511，C3＝3583，C4＝4096。针对整个第0帧，处理单元110计算每一区中包含几个像素，以及暗区所包含的第一像素数目相对亮区所包含的第二像素数目的比值shiftRatio。暗区相对亮区的像素数目的比值可使用公式(7)计算：
shiftRatio＝pixelNumBin0/pixelNumBin3               (7)
其中，pixelNumBin0代表暗区的第一像素数目，以及pixelNumBin3代表亮区的第二像素数目。接着，处理单元110根据暗区相对亮区比值计算扩充倍数exp_times。当暗区相对亮区比值小于8时，可使用公式(8)计算扩充倍数exp_times。当暗区相对亮区比值大于或等于8时，可使用公式(9)计算扩充倍数exp_times。
exp_times＝a x shiftRatio x shiftRatio+b x shiftRatio+c               (8)
exp_times＝d x shiftRatio x shiftRatio+e x shiftRatio+f               (9)
其中，a、b、c、d、e以及f为浮点数。接着，处理单元110根据第0帧的帧统计信息所计算的上述比值shiftRatio以及第0帧的曝光设置(exposuresettings)计算后续处理第1帧数据所需的第一曝光参数(步骤S253)以及计算后续处理第2帧数据所需的第二曝光参数(步骤S233)。其中，前述曝光设置包括快门速度(shutter speed，sht)、模拟增益(analog gain，ag)以及数字增益(digital gain，dg)，sht、ag及dg三者的乘积可为第0帧的曝光设置(exposuresettings)。第一曝光参数Para1以及第二曝光参数Para2可分别使用公式(10)以及公式(11)计算：
Para1＝sht x ag x dg x exp_times/expValue               (10)
Para2＝sht x ag x dg x exp_times               (11)
其中，expValue代表固定扩展值，其为第二曝光参数与第一曝光参数的比值，在要将12bit的LDR帧扩展并融合后输出为18bit的HDR帧的实施例中，固定扩展值expValue＝64。
处理单元110在计算出第二曝光参数Para2后(步骤S233)，将第0帧扩展至高动态范围空间(步骤S221)，在步骤S221，计算扩展第0帧的第一扩展因子的范例虚拟码如下所示：
curveMapValNormal＝curveTable_AVR[0]*sht*ag*dg+curveTable_AVR[1]；
curveMapValHigh＝curveTable_AVR[0]*Para2+curveTable_AVR[1]；
slope_Normal＝curveMapValHigh/curveMapValNormal；
其中，slope_Normal代表第0帧的第一扩展因子，curveTable_AVR[0]为关联于相机模块190的图像传感器的校准后的斜率因子，curveTable_AVR[1]为关联于相机模块190的图像传感器的校准后的y-截距因子，sht x ag x dg代表上述第0帧的曝光设置(其中，sht代表第0帧的快门速度，ag代表第0帧的模拟增益，以及dg代表第0帧的数字增益)，Para2代表前述依据公式(11)所计算的第二曝光参数。处理单元110将第0帧中的每个像素的HSV值乘以该第一扩展因子slope_Normal，用以将第0帧数据扩展至高动态范围空间。
处理单元110在计算出第一曝光参数Para1后(步骤S253)，指示相机模块控制器170依据计算出的第一曝光参数Para1所代表的曝光设置拍摄一个低曝光帧(以下称第1帧)并存储至帧缓存器130；此外，处理单元110在计算出第二曝光参数Para2后(步骤S233)，指示相机模块控制器170依据计算出的第二曝光参数Para2所代表的曝光设置拍摄一个高曝光帧(以下称第2帧)并存储至帧缓存器130。处理单元110在计算出第一曝光参数Para1后(步骤S253)及第二曝光参数Para2后(步骤S233)，计算第二扩展因子以将第1帧扩展至高动态范围(步骤S257)。在步骤S257，计算该第二扩展因子的范例虚拟码如下所示：
curveMapValLow＝curveTable_AVR[0]*Para1+curveTable_AVR[1]；
curveMapValHigh＝curveTable_AVR[0]*Para2+curveTable_AVR[1]；
slope_Low＝curveMapValHigh/curveMapValLow；
其中，slope_Low代表第1帧的该第二扩展因子，curveTable_AVR[0]为关联于相机模块190的图像传感器的校准后的斜率因子(slope factor)，curveTable_AVR[1]为关联于相机模块190的图像传感器的校准后的y-截距因子(y-intercept factor)，Para1是在步骤S253依据公式(10)计算得到的第一曝光参数，Para2是在步骤S233依据公式(11)计算得到的第二曝光参数。处理单元110将第1帧中的每个像素的HSV值乘以该第二扩展因子slope_Low，用以将第1帧的数据扩展至高动态范围空间。
在步骤S259，对扩展后的第0帧、扩展后的第1帧及前述取得的第2帧的数据进行曝光补偿。详细而言，处理单元110使用第一曝光补偿方法修正扩展后第0帧中属于过高曝光的像素(saturate pixel)及过低曝光的像素(darkpixel)，第一曝光补偿方法详言之为检测扩展后第0帧中属于过低曝光的像素(dark pixel)，例如，如果一个像素的亮度值落入0至128x slope_Normal间，则过低曝光的像素，则使用第2帧中相同位置的原始亮度值取代扩展后第0帧检测到的该过低曝光像素的亮度值；第一曝光补偿方法更检测扩展后第0帧中属于过高曝光的像素(saturate pixel)，例如，如果一个像素的亮度值落入3967x slope_Normal至4095之间，则过高曝光的像素，则使用扩展后第1帧中相同位置的亮度值取代扩展后第0帧检测到的过低曝光像素的亮度值。此外，处理单元110使用第二曝光补偿方法修正扩展后第1帧中属于过低曝光的像素(dark pixel)，第二曝光补偿方法详言之为：检测扩展后第1帧中属于过低曝光的像素(dark pixel)，例如，如果一个像素的亮度值落入0至128x slope_Low间，则是过低曝光的像素，则使用扩展后第0帧中相同位置的亮度值取代扩展后第1帧中检测到的过低曝光像素的亮度值。此外，处理单元110使用第三曝光补偿方法修正第2帧中属于过高曝光的像素(saturate pixel)，第三曝光补偿方法详言之为：检测第2帧中过高曝光的像素(saturate pixel)，例如，如果一个像素的亮度值落入3967至4095间则是过高曝光的像素，使用扩展后第0帧中相同位置的亮度值取代第2帧中检测到的过高曝光像素的亮度值。
处理单元110依据步骤S219所计算得到的第0帧中每个像素权重融合补偿后第0帧以及补偿后第1帧，用以产生第3帧，并且将第3帧存储至帧缓存器150(步骤S271)。在步骤S271，详细来说，当第0帧的一个像素的权重小于等于一阈值(例如为64)，处理单元110将第0帧此像素的HSV值融合补偿后第1帧中相同位置像素的HSV值，用以产生第3帧中相同位置像素的HSV值。当第0帧的一个像素的权重大于该阈值，处理单元110直接将第0帧此像素的HSV值当作第3帧中相同位置像素的HSV值。图像融合的范例虚拟码如下所示：
其中，pixelweight[index1]代表第index1像素的权重，inputImg代表补偿后第1帧，refImg代表补偿后第0帧，以及dst代表第3帧。
处理单元110依据步骤S219所计算得到的第0帧中每个像素的权重融合第3帧以及补偿后的第2帧，用以产生第4帧，并且将第4帧存储至帧缓存器150(步骤S273)。第4帧为最终结果的高动态范围图像。在步骤S273，详细来说，当第0帧的一个像素的权重大于一阈值，处理单元110将第3帧中相同位置像素的HSV值融合补偿后第2帧中相同位置像素的HSV值，用以产生第4帧中相同位置像素的HSV值。当第0帧的一个像素的权重不大于该阈值，处理单元110直接将第3帧中相同位置像素的HSV值当作第4帧中相同位置像素的HSV值。图像融合的范例虚拟码如下所示：
其中，pixelweight[index1]代表第index1像素的权重，inputImg代表补偿后第2帧，refImg代表第3帧，以及dst代表第4帧。
本发明所提出的上述高动态范围图像产生方法及其装置利用正常曝光帧(如第0帧)帧内的亮区和暗区的像素数目比值以及该正常曝光帧的曝光设置计算出扩展因子，并依据计算出的扩展因子直接将其它不同曝光条件下拍摄的低动态范围帧LDR frame(如第1帧和第2帧)的像素值映射至高动态范围空间，而无需耗费大量硬件资源来标定相机响应函数(camera responsefunction)，从而降低了功耗和成本。
虽然图1中包含了以上描述的元件，但不排除在不违反发明的精神下，使用更多其他的附加元件，已达成更佳的技术效果。此外，虽然图2、3的处理步骤采用特定的顺序来执行，但是在不违法发明精神的情况下，本领域技术人员可以在达到相同效果的前提下，修改这些步骤间的顺序，所以，本发明并不局限于仅使用如上所述的顺序。
虽然本发明使用以上实施例进行说明，但需要注意的是，这些描述并非用以限缩本发明。相反地，此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以，申请权利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。

Claims (17)

1.一种高动态范围图像产生方法，由处理单元执行，包含：
取得第0帧数据；
获得上述第0帧数据的帧统计信息，其中上述帧统计信息拥有暗区中包含的第一像素数目以及亮区中包含的第二像素数目；
依据上述第一像素数目以及上述第二像素数目计算一比值；
依据上述比值以及上述第0帧数据的曝光设置计算第一扩展因子及第二扩展因子；
使用上述第一扩展因子将上述第0帧数据扩展至高动态范围；
使用上述第二扩展因子将第1帧数据扩展至高动态范围；以及
融合上述扩展后第0帧数据以及上述扩展后第1帧数据。
2.如权利要求1所述的高动态范围图像产生方法，其中，上述比值使用以下公式计算：
shiftRatio＝pixelNumBin0/pixelNumBin3，
shiftRatio代表上述比值，pixelNumBin0代表上述第一像素数目，以及pixelNumBin3代表上述第二像素数目。
3.如权利要求1所述的高动态范围图像产生方法，其中上述依据上述比值以及上述曝光设置计算上述第一扩展因子及第二扩展因子的步骤还包含：
依据上述比值以及上述曝光设置计算第一曝光参数以及第二曝光参数；
使用上述第二曝光参数以及上述曝光设置计算上述第一扩展因子；以及
使用上述第二曝光参数以及上述第一曝光参数计算上述第二扩展因子，
其中，上述第二曝光参数与上述第一曝光参数的比值为固定扩展值。
4.如权利要求3所述的高动态范围图像产生方法，其中，上述第一曝光参数使用以下公式计算：
exp_times＝a x shiftRatio x shiftRatio
+b x shiftRatio+c；
Para1＝sht x ag x dg x exp_times/expValue，
Para1代表上述第一曝光参数，shiftRatio代表上述比值，a、b、c为浮点数，sht x ag x dg代表上述第0帧的上述曝光设置，expValue代表上述固定扩展值。
5.如权利要求3所述的高动态范围图像产生方法，其中，上述第二曝光参数使用以下公式计算：exp_times＝a x shiftRatio x shiftRatio
+b x shiftRatio+c；
Para2＝sht x ag x dg x exp_times，
Para2代表上述第二曝光参数，shiftRatio代表上述比值，a、b、c为浮点数，sht x ag x dg代表上述第0帧的上述曝光设置。
6.如权利要求3所述的高动态范围图像产生方法，其中，上述第一扩展因子使用以下公式计算：
curveMapValNormal＝curveTable_AVR[0]x sht x ag x dg+curveTable_AVR[1]，
curveMapValHigh＝curveTable_AVR[0]x Para2+curveTable_AVR[1]，
slope_Normal＝curveMapValHigh/curveMapValNormal，
slope_Normal代表上述第一扩展因子，curveTable_AVR[0]关联于图像传感器的校准后的斜率因子，curveTable_AVR[1]关联于上述图像传感器的校准后的y-截距因子，sht x ag x dg代表上述第0帧的上述曝光设置，Para2代表上述第二曝光参数。
7.如权利要求3所述的高动态范围图像产生方法，其中，上述第二扩展因子使用以下公式计算：
curveMapValLow＝curveTable_AVR[0]x Para1+curveTable_AVR[1]，
curveMapValHigh＝curveTable_AVR[0]x Para2+curveTable_AVR[1]，
slope_Low＝curveMapValHigh/curveMapValLow，
slope_Low代表上述第二扩展因子，curveTable_AVR[0]关联于一图像传感器的校准后的斜率因子，curveTable_AVR[1]关联于上述图像传感器的校准后的y-截距因子，Para1代表上述第一曝光参数，Para2代表上述第二曝光参数。
8.如权利要求1所述的高动态范围图像产生方法，其中使用上述第一或第二扩展因子将上述第0帧数据或第1帧数据扩展至上述高动态范围的步骤包括：将上述第0帧的各像素值乘以上述第一扩展因子；及将上述第1帧的各像素值乘以上述第二扩展因子。
9.如权利要求1所述的高动态范围图像产生方法，其中上述第0帧的上述曝光设置是一正常曝光设置，上述第1帧是一低曝光帧。
10.如权利要求1所述的高动态范围图像产生方法，其中还包含：
取得第2帧，其中该第2帧是一高曝光帧；
将上述第2帧数据与上述扩展后第0帧数据以及上述扩展后第1帧数据融合的结果再融合。
11.如权利要求10所述的高动态范围图像产生方法，还包含：
使用第一曝光补偿方法修正扩展后该第0帧中属于过高曝光的像素及过低曝光的像素；
使用第二曝光补偿方法修正扩展后该第1帧中属于过低曝光的像素；以及
使用第三曝光补偿方法修正该第2帧中属于过高曝光的像素。
12.如权利要求11所述的高动态范围图像产生方法，其中，上述第一曝光补偿方法是使用该第2帧中相同位置的像素的亮度值取代扩展后该第0帧中属于上述过低曝光的像素的亮度值，并且是使用扩展后该第1帧中相同位置的像素的亮度值取代扩展后该第0帧中属于上述过高曝光的像素的亮度值。
13.如权利要求11所述的高动态范围图像产生方法，其中，上述第二曝光补偿方法是使用扩展后该第0帧中相同位置的像素的亮度值取代扩展后该第1帧中属于上述过低曝光的像素的亮度值。
14.如权利要求10所述的高动态范围图像产生方法，其中，上述第三曝光补偿方法是使用扩展后该第0帧中相同位置的像素的亮度值取代该第2帧中属于上述过高曝光的像素的亮度值。
15.如权利要求1所述的高动态范围图像产生方法，还包含：
将上述第0帧数据分成多块；
获得上述第0帧数据中的每一上述块的块统计信息；
依据上述块统计信息辨认上述第0帧数据中的每一上述块的类型；
依据每一上述块的上述类型设定一权重；
依据上述块的上述权重计算第0帧数据中的多个像素的权重；以及
依据上述像素的权重融合上述扩展后第0帧数据以及上述扩展后第1帧数据。
16.如权利要求15所述的高动态范围图像产生方法，其中上述像素的权重的计算使用以下公式计算：
Wp＝D1xD2xWUL+D1xD4xWUR+
D3xD2xWLL+D3xD4xWLR，
Wp代表上述像素的权重，WUL代表左上块的权重，WUR代表右上块的权重，WLL代表左下块的权重，WLR代表右下块的权重，D1代表上述像素与下边间的距离，D2代表上述像素与右边间的距离，D3代表上述像素与上边间的距离，以及D4代表上述像素与左边间的距离。
17.一种高动态范围图像产生装置，包含：
相机模块控制器，耦接于相机模块；
处理单元，通过上述相机模块控制器取得第0帧数据；获得上述第0帧数据的帧统计信息，其中上述帧统计信息拥有暗区中包含的第一像素数目以及亮区中包含的第二像素数目；依据上述第一像素数目以及上述第二像素数目计算一比值；依据上述比值以及上述第0帧数据的曝光设置计算第一扩展因子及第二扩展因子；使用上述第一扩展因子将上述第0帧数据扩展至高动态范围；使用上述第二扩展因子将第1帧数据扩展至高动态范围；以及融合上述扩展后第0帧数据以及上述扩展后第1帧数据。
CN201510116190.8A 2015-03-17 2015-03-17 高动态范围图像产生方法以及使用该方法的装置 Active CN104639845B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201510116190.8A CN104639845B (zh) 2015-03-17 2015-03-17 高动态范围图像产生方法以及使用该方法的装置
US14/802,231 US9413980B1 (en) 2015-03-17 2015-07-17 Methods for generating HDR (high dynamic range) images and apparatuses using the same
EP15192009.7A EP3070930B1 (en) 2015-03-17 2015-10-29 Methods for generating high dynamic range hdr images and apparatuses using the same
KR1020150163474A KR101731729B1 (ko) 2015-03-17 2015-11-20 Hdr(하이 다이나믹 레인지) 이미지를 생성하기 위한 방법 및 그 사용 장치
JP2015233300A JP6240143B2 (ja) 2015-03-17 2015-11-30 ハイダイナミックレンジ画像生成方法およびハイダイナミックレンジ画像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510116190.8A CN104639845B (zh) 2015-03-17 2015-03-17 高动态范围图像产生方法以及使用该方法的装置

Publications (2)

Publication Number Publication Date
CN104639845A true CN104639845A (zh) 2015-05-20
CN104639845B CN104639845B (zh) 2017-12-26

Family

ID=53218105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510116190.8A Active CN104639845B (zh) 2015-03-17 2015-03-17 高动态范围图像产生方法以及使用该方法的装置

Country Status (5)

Country Link
US (1) US9413980B1 (zh)
EP (1) EP3070930B1 (zh)
JP (1) JP6240143B2 (zh)
KR (1) KR101731729B1 (zh)
CN (1) CN104639845B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187730A (zh) * 2015-07-31 2015-12-23 上海兆芯集成电路有限公司 高动态范围图像产生方法以及使用该方法的装置
CN110378859A (zh) * 2019-07-29 2019-10-25 西南科技大学 一种新的高动态范围图像生成方法
CN112598609A (zh) * 2020-12-09 2021-04-02 普联技术有限公司 一种动态图像的处理方法及装置
CN114531552A (zh) * 2022-02-16 2022-05-24 四川创安微电子有限公司 一种高动态范围图像合成方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102648747B1 (ko) * 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
CN111292282B (zh) * 2020-01-21 2023-02-17 展讯通信（上海）有限公司 低比特位宽hdr图像的生成方法及装置、存储介质、终端
CN115100043B (zh) * 2022-08-25 2022-11-15 天津大学 一种基于深度学习的hdr图像重建方法
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN117372302A (zh) * 2023-10-08 2024-01-09 北京辉羲智能科技有限公司 一种自动驾驶高动态图像对齐及鬼影去除方法与装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与系统
JP2011155619A (ja) * 2010-01-28 2011-08-11 Nikon Corp 撮像装置及び撮像方法
CN104052933A (zh) * 2013-03-15 2014-09-17 聚晶半导体股份有限公司 动态范围模式的判定方法及其图像获取装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100363826B1 (ko) 1999-06-07 2002-12-06 히다치덴시 가부시키가이샤 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법
JP3707725B2 (ja) * 2000-05-30 2005-10-19 松下電器産業株式会社 静止画固体撮像装置
US7349574B1 (en) * 2002-10-11 2008-03-25 Sensata Technologies, Inc. System and method for processing non-linear image data from a digital imager
JP4129036B1 (ja) 2007-03-02 2008-07-30 株式会社コナミデジタルエンタテインメント 入力装置、入力制御方法、ならびに、プログラム
JP4341691B2 (ja) 2007-04-24 2009-10-07 ソニー株式会社 撮像装置、撮像方法、露光制御方法、プログラム
JP4561912B2 (ja) * 2008-09-12 2010-10-13 ソニー株式会社 撮像装置、撮像方法及びプログラム
US8339475B2 (en) 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
JP5343588B2 (ja) * 2009-01-30 2013-11-13 株式会社リコー 撮像装置
JP5480025B2 (ja) 2010-06-11 2014-04-23 オリンパス株式会社 撮像装置、撮像システム、撮像方法
JP2012010105A (ja) 2010-06-24 2012-01-12 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
US8699821B2 (en) * 2010-07-05 2014-04-15 Apple Inc. Aligning images
JP5140206B2 (ja) * 2010-10-12 2013-02-06 パナソニック株式会社 色信号処理装置
US10255888B2 (en) 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394487A (zh) * 2008-10-27 2009-03-25 华为技术有限公司 一种合成图像的方法与系统
JP2011155619A (ja) * 2010-01-28 2011-08-11 Nikon Corp 撮像装置及び撮像方法
CN104052933A (zh) * 2013-03-15 2014-09-17 聚晶半导体股份有限公司 动态范围模式的判定方法及其图像获取装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105187730A (zh) * 2015-07-31 2015-12-23 上海兆芯集成电路有限公司 高动态范围图像产生方法以及使用该方法的装置
CN105187730B (zh) * 2015-07-31 2018-08-07 上海兆芯集成电路有限公司 高动态范围图像产生方法以及使用该方法的装置
CN110378859A (zh) * 2019-07-29 2019-10-25 西南科技大学 一种新的高动态范围图像生成方法
CN110378859B (zh) * 2019-07-29 2022-03-11 西南科技大学 一种新的高动态范围图像生成方法
CN112598609A (zh) * 2020-12-09 2021-04-02 普联技术有限公司 一种动态图像的处理方法及装置
CN114531552A (zh) * 2022-02-16 2022-05-24 四川创安微电子有限公司 一种高动态范围图像合成方法及系统

Also Published As

Publication number Publication date
EP3070930A1 (en) 2016-09-21
JP6240143B2 (ja) 2017-11-29
US9413980B1 (en) 2016-08-09
JP2016174350A (ja) 2016-09-29
KR101731729B1 (ko) 2017-04-28
EP3070930B1 (en) 2020-11-18
CN104639845B (zh) 2017-12-26
KR20160111836A (ko) 2016-09-27

Similar Documents

Publication Publication Date Title
CN104639845A (zh) 高动态范围图像产生方法以及使用该方法的装置
CN105592270B (zh) 图像亮度补偿方法、装置及终端设备
US20120002890A1 (en) Alignment of digital images and local motion detection for high dynamic range (hdr) imaging
US9443284B1 (en) Methods for AWB (automatic white balance) compensation and apparatuses using the same
CN112565636B (zh) 图像处理方法、装置、设备和存储介质
Zhang et al. A naturalness preserved fast dehazing algorithm using HSV color space
WO2006026307A2 (en) Apparatus and method for processing images
CN112118388B (zh) 图像处理方法、装置、计算机设备和存储介质
JP2011530881A (ja) 不良ピクセルクラスタ検出
CN104809710A (zh) 图像去噪方法以及使用该方法的装置
CN104796583B (zh) 相机噪声模型产生及使用方法以及使用该方法的装置
US20080075354A1 (en) Removing singlet and couplet defects from images
US8724196B2 (en) Image processing device
US9930266B2 (en) Methods for generating HDR (high dynamic range) images and apparatuses using the same
CN115082350A (zh) 频闪图像处理方法、装置、电子设备和可读存储介质
CN117274107B (zh) 低照度场景下端到端色彩及细节增强方法、装置及设备
KR20150128168A (ko) 화이트 밸런싱 장치 및 이의 구동 방법
CN113112428A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN105991937A (zh) 一种基于Bayer格式图像的虚拟曝光方法及装置
CN114554106B (zh) 自动曝光方法、装置、图像获取方法、介质及设备
CN114143447B (zh) 图像处理方法、装置及电子设备
Yang et al. Improved local adaptive logarithmic tone reproduction strategy for high contrast scenes in all-day surveillance applications
CN118014915A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2022121793A (ja) 画像処理方法
CN118172623A (zh) 训练数据构造方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211207

Address after: Room 201, No. 2557, Jinke Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201203

Patentee after: Gryfield Intelligent Technology Co.,Ltd.

Address before: Room 301, 2537 Jinke Road, Zhangjiang hi tech park, Shanghai 201203

Patentee before: VIA ALLIANCE SEMICONDUCTOR Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220822

Address after: Room 202, 2nd Floor, Block D, Building 8, Yard 1, Zhongguancun East Road, Haidian District, Beijing 100084

Patentee after: Granfi Smart Technology (Beijing) Co.,Ltd.

Address before: Room 201, No. 2557, Jinke Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201203

Patentee before: Gryfield Intelligent Technology Co.,Ltd.

TR01 Transfer of patent right