CN108419023A - 一种生成高动态范围图像的方法以及相关设备 - Google Patents
一种生成高动态范围图像的方法以及相关设备 Download PDFInfo
- Publication number
- CN108419023A CN108419023A CN201810256876.0A CN201810256876A CN108419023A CN 108419023 A CN108419023 A CN 108419023A CN 201810256876 A CN201810256876 A CN 201810256876A CN 108419023 A CN108419023 A CN 108419023A
- Authority
- CN
- China
- Prior art keywords
- picture frame
- exposure
- frame sequence
- time
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000006698 induction Effects 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 29
- 230000004927 fusion Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 description 19
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 7
- 230000007797 corrosion Effects 0.000 description 7
- 238000005260 corrosion Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000276489 Merlangius merlangus Species 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
Abstract
本申请公开了一种生成高动态范围图像的方法以及相关设备，该方法包括：获取针对同一拍摄场景的第一图像帧序列和第二图像帧序列；其中，第一图像帧序列包括N个图像帧，第二图像帧序列包括N个图像帧，N为正整数，且N大于等于2；第一图像帧序列中每一图像帧的曝光时间相同，第二图像帧序列中至少一帧的曝光时间与第一图像帧序列中的图像帧的曝光时间相同，第二图像帧序列中至少一帧的曝光时间大于所述第一图像帧序列中的图像帧的曝光时间；根据第一图像帧序列，对第二图像帧序列进行合成得到高动态范围图像。实施本申请有利于实现消除高动态范围图像中的鬼影，提高高动态范围图像的质量。
Description
技术领域
本发明涉及图像处理领域，尤其涉及一种生成高动态范围的图像的方法以及相关设备。
背景技术
在图像领域中,动态范围(Dynamic Range)指在图像可显示范围内最大灰度值与最小灰度值之间的比率。在人们的日常生活中，人眼能够感知的亮度范围非常广，可以从白天刺目的阳光到夜晚微弱的星光，这之间的动态范围可达27EV左右，这种能够兼顾了较亮光照场景和较暗光照场景的动态范围可称为高动态范围(High Dynamic Range，HDR)。而数码相机、监控摄像机、手机摄像头等摄像设备通常都是采用CCD或者CMOS图像传感器来采集拍摄场景中的光信号并转化为数字信号，CCD或者CMOS图像传感器所采集到图像往往采用10比特(bit)来记录一个像素点的单一像素值，10比特只能记录1024(即0-1023)个不同的亮度级别，能够表示的亮度范围仅为1024个离散灰度值，即只能记录10EV左右的动态范围，通常称图像的这种较小的动态范围为低动态范围(Low Dynamic Range，LDR)，该图像也可称为低动态范围图像(Low Dynamic Range Imaging，LDRI)。
在人们实际的拍摄场景中，存在很多亮度范围很大的高动态范围场景，例如晴天室外逆光场景、夜景人像场景等，对于低动态范围图像而言，当曝光时间被设定后，由于只能捕获到高动态范围场景的一部分信息，很难兼顾过亮和过暗的地方，容易形成图像亮区曝光过度、或者图像暗区曝光不足的情况。例如在室内拍摄站在有阳光射入的窗前的人像时，很难同时清晰地拍摄人脸部细节与窗外的景象，造成了图像对现实世界的低还原。为了让图像更为真实，尽可能地展示整个复杂光照场景的信息，人们提出高动态范围图像(HighDynamic Range Imaging，HDRI)的概念。
现有技术通用的生成高动态范围图像的方案是对同一拍摄场景采集三张不同曝光程度的低动态范围图像(即短曝光、正常曝光和长曝光三帧JPG格式图像)，再通过相机响应曲线(camera response function，CRF)将这三帧图像进行对齐操作，进而将三帧图像合成为一帧8比特的高动态范围图像。
通常来说，如果在拍摄过程中受到摄像设备的抖动影响，或者拍摄场景中存在运动的物体，那么同一物体在三张低动态范围图像中的位置会发生变化，如果图像对齐后直接合成高动态范围图像，那么该高动态范围图像中除了该物体外，还另外存在若干个该物体的影像，这样的影像又可称为“鬼影”。如图1所示，当拍摄场景中人物A快速运动时，不同曝光程度的低动态范围图像上，人物A的位置是不同的，直接将这些低动态范围图像对齐后合成的高动态范围图像中存在多个人物A的影像，图1中虚线所示影像就是人物A的“鬼影”。可以看到，图像合成过程进行鬼影检测并消除鬼影，将是合成高质量的高动态范围图像的关键。
然而，上述现有技术的方案中，不同曝光程度的低动态范围图像之间难以做到精确对齐，鬼影检测容易漏检鬼影，也就是说所生成的高动态范围图像中无法完全消除鬼影。
发明内容
本发明提供了一种生成高动态范围图像的方法以及相关设备，能够实现所生成的高动态范围图像中完全消除鬼影，提高动态范围图像的质量。
第一方面，本发明实施例提供了一种生成高动态范围图像的方法，其特征在于，所述方法包括：在当前预览的拍摄场景存在过度曝光、或者当前拍摄处于高动态范围图像的拍摄模式时，获取针对同一拍摄场景的第一图像帧序列和第二图像帧序列；其中，所述第一图像帧序列包括N个图像帧，所述第二图像帧序列包括N个图像帧，N为正整数，且N大于等于2；所述第一图像帧序列中每一图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间大于所述第一图像帧序列中的图像帧的曝光时间；根据所述第一图像帧序列，对所述第二图像帧序列进行合成得到高动态范围图像。
其中，根据所述第一图像帧序列，对所述第二图像帧序列进行合成得到高动态范围图像，具体包括：获取所述第一图像帧序列中的图像帧之间的图像对齐信息；根据所述图像对齐信息对所述第二图像帧序列中的图像帧进行对齐，得到对齐后的第二图像帧序列；对所述对齐后的第二图像帧序列进行合成得到高动态范围图像。
可以看到，本发明实施例中，第一图像帧序列和第二图像帧序列均针对同一拍摄场景。所获得的第一图像帧序列的图像帧的曝光时间比当前设定的曝光时间小，不同的图像帧之间具有的纹理特征丰富且一致性高，所以能够精确得到第一图像帧序列的图像对齐信息。将第一图像帧序列的图像对齐信息来作为第二图像帧的对齐规则，第二图像帧序列中的图像帧就能实现精确对齐，这样，那么如果第二图像帧序列中存在鬼影的话，通过鬼影检测就能很容易检测到所有鬼影，进而在所合成的高动态范围图像中完全消除鬼影。
在具体实施过程中，第一图像帧序列的N个图像帧的具体曝光时间值可由当前拍摄所设定的曝光时间来确定。其中，所述当前拍摄所设定的曝光时间可以是手机、单反相机、平板电脑等设备根据用户选定的高动态范围图像的拍摄模式中的预设正常曝光时间，也可以是设备根据实际拍摄过程中环境的光照强度来动态确定的正常曝光时间，还可以是根据由用户所设定的曝光时间。举例来说，假设当前设备所设定的曝光时间为数值范围1/10s～1/1000s中的某个值K(即1/1000s≤K≤1/10s)，那么，第一图像帧序列中的图像帧的曝光时间小于K，例如其曝光时间可以是0.25K等等，第二图像帧序列中至少一帧的曝光时间可能是大于0.25K的某个值(例如0.5K)，也可能是大于K的其他值(例如2K)。
基于第一方面，在可能的实施方式中，本发明所采用的摄像装置可以是双目相机系统，该双目相机系统包括第一摄像头和第二摄像头，其中第一摄像头包括透镜1和图像传感器1，第二相机包括透镜2和图像传感器2，第一摄像头和第二摄像头垂直放置。第一摄像头和第二摄像头同时捕获的光线源于相同的拍摄场景，所以第一摄像头和第二摄像头对拍摄场景具有相同的视角。本发明实施例中，通过第一摄像头和第二摄像头实现对同一拍摄场景的两路曝光拍摄，可将其中一路称为主路曝光，另一路称为辅路曝光，例如将第二摄像头对应的曝光拍摄作为主路曝光，第一摄像头对应的曝光拍摄作为辅路曝光。具体实施例中，通过控制辅路曝光来获得第一图像帧序列(又可称为第一曝光帧序列)，通过控制主路曝光来获得第二图像帧序列(又可称为第二曝光帧序列)，可使用第一图像帧序列中的图像帧的图像对齐信息来指导第二图像帧序列中的图像帧进行对齐。
基于第一方面，在可能的实施方式中，本发明所采用的摄像装置也可以是单目相机系统，单目相机系统具有一个摄像头，该摄像头包括透镜和图像传感器，该图像传感器具有交替分布的第一感应区域和第二感应区域。由于第一感应区域和第二感应区域交替分布，所以第一感应区域和第二感应区域对拍摄场景具有相同的视角。本发明实施例中，通过第一感应区域和第二感应区域实现对同一拍摄场景的两路曝光拍摄，可将其中一路称为主路曝光，另一路称为辅路曝光。本发明实施例可通过图像传感器的第一感应区域获取同一拍摄场景的第一图像帧序列，以及，通过所述图像传感器的第二感应区域获取所述同一拍摄场景的第二图像帧序列。具体实施例中，通过控制辅路曝光来获得第一图像帧序列(又可称为第一曝光帧序列)，通过控制主路曝光来获得第二图像帧序列(又可称为第二曝光帧序列)，可使用第一图像帧序列中的图像帧的图像对齐信息来指导第二图像帧序列中的图像帧进行对齐。
下面说明第一图像帧序列和第二图像帧序列中的图像帧可能的曝光时间设置方式。
基于第一方面，在可能的实施方式中，第一图像帧序列中的图像帧的曝光时间相同，且均小于当前拍摄所设定的曝光时间；所述第二图像帧序列中至少一帧图像帧的曝光时间大于或等于当前拍摄所设定的曝光时间，且至少一帧图像帧的曝光时间与第一图像帧序列中的图像帧的曝光时间相同。例如，通过辅路曝光得到的第一图像帧序列包括两帧图像帧，这两帧图像帧的曝光时间相同且均小于当前拍摄所设定的曝光时间。通过主路曝光得到的第二图像帧序列包括两帧图像帧，其中第1帧的曝光时间与第一图像帧序列的第1帧的曝光时间相同，其中第2帧的曝光时间大于当前拍摄所设定的曝光时间。
基于第一方面，在可能的实施方式中，第一图像帧序列中的图像帧的曝光时间相同，且均小于当前拍摄所设定的曝光时间；第二图像帧序列中图像帧的曝光时间也均小于当前拍摄所设定的曝光时间，但至少一帧的曝光时间大于第一图像帧序列中的图像帧的曝光时间。例如，通过辅路曝光得到的第一图像帧序列包括两帧图像帧，这两帧图像帧的曝光时间相同且均小于当前拍摄所设定的曝光时间；通过主路曝光得到的第二图像帧序列包括两帧图像帧，其中第1帧的曝光时间与第一图像帧序列的第1帧的曝光时间相同，其中第2帧的曝光时间小于当前拍摄所设定的曝光时间且大于第1帧的曝光时间。
下面说明第一图像帧序列和第二图像帧序列中的图像帧可能的帧数设置方式。
基于第一方面，在可能的实施方式中，第一图像帧序列和第二图像帧序列中的图像帧的帧数均为N帧，且在第二图像帧序列中，曝光时间大于第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M小于N-M。例如，通过辅路曝光得到的第一图像帧序列包括6帧图像帧，这6帧的曝光时间均相同；通过主路曝光得到的第二图像帧序列也包括6帧图像帧，其中第6帧(共1帧)的曝光时间大于第一图像帧序列的图像帧的曝光时间，其中第1帧至第5帧(共5帧)的曝光时间均与第一图像帧序列的图像帧的曝光时间相同。
基于第一方面，在可能的实施方式中，第一图像帧序列和第二图像帧序列中的图像帧的帧数均为N帧，且在第二图像帧序列中，曝光时间大于第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M大于等于N-M。例如，通过辅路曝光得到的第一图像帧序列包括5帧图像帧，这5帧的曝光时间均相同；通过主路曝光得到的第二图像帧序列也包括5帧图像帧，其中第3帧至第5帧(共3帧)的曝光时间大于第一图像帧序列的图像帧的曝光时间，其中第1帧至第2帧(共2帧)的曝光时间均与第一图像帧序列的图像帧的曝光时间相同。
可以看到，本发明实施例主路曝光得到的第二图像帧序列中，至少一帧图像帧的曝光时间与第一图像帧序列的图像帧的曝光时间相同，这样的图像帧能更好的呈现亮区的细节纹理；至少一帧图像帧的曝光时间比第一图像帧序列的图像帧的曝光时间大(甚至可大于当前设定的曝光时间)，这样的图像帧能够更好地呈现暗区的细节纹理，所以将第二图像帧序列中的图像帧融合得到的高动态范围图像能同时呈现全图纹理细节。
基于第一方面，在可能的实施方式中，所述第一图像帧序列中每一图像帧为RAW格式，且，所述第二图像帧序列中每一图像帧为RAW格式。RAW格式的图像帧为单通道数据，通常由多个不同颜色的相邻像素点重复排列组成，每个像素点位置只有一个数值。例如，RAW格式的图像数据可以为Bayer格式的图像数据，该图像数据可由R、G、B三种色彩像素点组成GRBG方式重复排列，也可以是包含有红、绿、蓝、青(即RGBC方式重复排列)四种色彩的图像数据，也可以是是包含有红、绿、蓝、白(即RGBW方式重复排列)四种色彩的图像数据等等，每个像素位置只有一个数值。本发明实施例的图像帧采用RAW格式能够最大程度地保留原始图像的细节纹理信息，有利于不同图像帧之间的精确对齐，还有利于在合成高动态范围图像过程中精确找到鬼影以及消除鬼影。
下面说明本发明实施例的高动态范围图像合成过程中所涉及的消除鬼影的具体过程。
本发明具体实施例中，第一图像帧序列中的图像帧之间的图像对齐信息为单应矩阵(Homography matrix)。那么，可以所述利用所述第一图像帧序列中的图像帧之间的单应矩阵对所述第二曝光序列中的图像帧进行对齐，得到对齐后的图像帧，具体包括：确定所述第一图像帧序列中的第i帧为第一参考帧；分别计算所述第一参考帧与第一图像帧序列中的第j帧之间的单应矩阵，所述i≠j；确定所述第二图像帧序列中的第i帧为第二参考帧；所述第二参考帧为所述N-M帧短图像帧中的一帧；分别使用所述单应矩阵对所述第二参考帧与所述第二图像帧序列中的第j帧进行对齐，得到对齐后的第j帧(所述对齐后的第j帧可称为配准帧)。然后，将所述第二参考帧和各个配准帧进行融合，就得到高动态范围图像。
在本发明实施例上述合成高动态范围图像的过程中，可实现鬼影检测，具体过程如下：在分别使用所述单应矩阵对所述第二参考帧与所述第二图像帧序列中的第j帧进行对齐之后，获取所述第二参考帧的R通道图像、G通道图像和B通道图像；获取所述对齐后的第j帧的R通道图像、G通道图像和B通道图像；分别计算所述第二参考帧的R通道图像、G通道图像和B通道图像与所述对齐后的第j帧的R通道图像、G通道图像和B通道图像的差值的绝对值，得到3个帧间差异图；分别对所述3个帧间差异图使用鬼影阈值进行处理，得到3个第一鬼影二值化图；分别对所述3个鬼影二值化图进行腐蚀膨胀处理，得到3个第二鬼影二值化图；根据噪声和阈值系数，分别将所述3个帧间差异图转化为3个第一鬼影权重图；分别将所述3个第二鬼影二值化图与所述3个第一鬼影权重图进行相乘，得到3个第二鬼影权重图；将所述3个第二鬼影权重图中各个相同位置的像素点的鬼影权重值的最大者，作为所述对齐后的第j帧中相同位置的像素点的鬼影权重值，从而得到第三鬼影权重图。本发明实施例中，还可以将所述第三鬼影权重图进行归一化处理，得到第四鬼影权重图；根据所述第四鬼影权重图，得到所述对齐后的第j帧的非鬼影权重图；所述非鬼影权重图指示所述对齐后的第j帧中各个像素点的非鬼影权重值；根据所述非鬼影权重值，将所述第二图像帧序列中的第二参考帧和所述对齐后的第j帧进行融合，从而得到高动态范围图像。
其中，所述鬼影阈值是根据所述噪声和所述阈值系数而得到的；其中，所述噪声是根据像素亮度而得到的，所述阈值系数是根据当前拍摄所设定的感光度而得到的。举例来说，鬼影阈值(thres)可为：
thres＝α·σ
其中，阈值系数α与当前拍摄所设定的感光度iso的关系例如为：
噪声σ的具体值可根据噪声模型来得到，噪声模型例如为：
其中k和b为预设常数，例如，1≥k＞0，1≥b＞0。x为像素亮度值。具体实现中，可预先通过标定的方法基于摄像设备的图像传感器的硬件特点确定该噪声模型中的k和b的具体数值，然后，在实际拍摄场景中，可基于噪声模型和拍摄时的实时感光度iso确定最终的鬼影阈值。
其中，具体的，本发明实施例根据鬼影权重转换公式，将各个差分图像分别转换为第一鬼影权重图，第一鬼影权重图指示了各个位置属于鬼影的权重值。举例来说，第一鬼影权重图中，各个差分图像对应像素点的鬼影权重值(ghost value)可为：
可以看到，通过实施本发明实施例的技术方案，得到配准帧对应的鬼影权重图，该图表征了配准帧中每个像素点相对于参考帧发生运动的概率大小，进而根据鬼影权重图得到非鬼影权重图，非鬼影权重图确定高动态范围图像的合成算法中每个像素点参与合成的权重值。配准帧中发生运动的位置上的像素点权重小，静止位置上的像素点权重大，这样，合成后的高动态范围图像中，发生运动的位置上的像素点对高动态范围图像的影响就会降低，从而实现消除“鬼影”的影响。
第二方面，本发明实施例提供了一种生成高动态范围图像的设备，所述设备包括：处理器、存储器和摄像装置，所述设备具体用于实现第一方面所述的方法。
第三方面，本发明实施例提供了又一种生成高动态范围图像的设备，所述设备包括：图像获取模块和曝光融合模块，所述图像获取模块和曝光融合模块具体用于实现第一方面所述的方法。
第四方面，本发明实施例提供了一种非易失性计算机可读存储介质；所述计算机可读存储介质用于存储第一方面所述方法的实现代码。所述程序代码被计算设备执行时，所述用户设备用于第一方面所述方法。
第五方面，本发明实施例提供了一种计算机程序产品；该计算机程序产品包括程序指令，当该计算机程序产品被计算设备执行时，该控制器执行前述第一方面所述方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第一方面的任一种可能的设计提供的方法的情况下，可以下载该计算机程序产品并在控制器上执行该计算机程序产品，以实现第一方面所述方法。
可以看到，本发明实施例中，本发明实施例中，针对同一拍摄场景进行两路曝光拍摄(主路曝光和辅路曝光)，其中，辅路曝光得到的第一图像帧序列的图像帧的曝光时间比当前设定的曝光时间小，不同的图像帧之间具有的纹理特征丰富且一致性高，所以能够精确得到第一图像帧序列的图像对齐信息。将第一图像帧序列的图像对齐信息来作为第二图像帧的对齐规则，第二图像帧序列中的图像帧就能实现精确对齐，这样，那么如果第二图像帧序列中存在鬼影的话，通过鬼影检测就能很容易检测到所有鬼影，进而在所合成的高动态范围图像中完全消除鬼影。另外，主路曝光得到的第二图像帧序列中，至少一帧图像帧的曝光时间与第一图像帧序列的图像帧的曝光时间相同，这样的图像帧(又可称为短曝光帧)能更好的呈现亮区的细节纹理；至少一帧图像帧的曝光时间比第一图像帧序列的图像帧的曝光时间大(甚至可大于当前设定的曝光时间)，这样的图像帧(又可称为长曝光帧)能够更好地呈现暗区的细节纹理，所以将第二图像帧序列中的图像帧融合得到的高动态范围图像能同时呈现全图纹理细节。
附图说明
为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
图1是一种应用场景中高动态范围图像中的鬼影的示意图；
图2是本发明实施例提供的一种生成高动态范围图像的设备的结构示意图；
图3-5是本发明实施例提供的一些摄像装置的结构示意图；
图6-7是本发明实施例提供的一些图像帧序列中的图像帧的曝光时间设置示意图；
图8-9是本发明实施例提供的一些图像帧序列中的图像帧的帧数设置示意图；
图10是本发明实施例提供的一种生成高动态范围图像的方法的流程示意图；
图11是本发明实施例提供的又一种生成高动态范围图像的方法的流程示意图；
图12是本发明实施例提供的又一种生成高动态范围图像的场景示意图
图13是本发明实施例提供的一种鬼影检测方法的流程示意图；
图14-16是本发明实施例提供的一些鬼影检测的场景示意图；
图17是本发明实施例提供的又一种生成高动态范围图像的设备的结构示意图。
具体实施方式
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释，而非旨在限定本发明。
参见图2，图,2是本发明实施例提供的一种设备100结构示意图。设备100可以为手机、平板电脑、笔记本电脑、数码相机、单反相机、录像机、监控设备等可用于拍摄或录像的终端设备。如图2所示，该设备100包括：处理器101、存储器102(一个或多个计算机可读存储介质)、摄像装置103，以及包括图形信号处理器(Image Signal Processor，ISP)104、显示模块105、用户接口106、通信模块107中的一个或多个，这些部件可在一个或多个通信总线上通信。其中：
摄像装置103，摄像装置103中设置有图像传感器等感光元件，用于进行拍摄场景的图像采集，具体的，用于采集同一拍摄场景的第一图像帧序列和第二图像帧序列。其中，所述第一图像帧序列包括N个图像帧，所述第二图像帧序列包括N个图像帧，N为正整数，且N大于等于2；其中，所述第一图像帧序列中每一图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间大于所述第一图像帧序列中的图像帧的曝光时间。
存储器102可以包括易失性存储器(Volatile Memory)，例如随机存取存储器(Random Access Memory，RAM)、高速缓存cache；存储器也可以包括非易失性存储器(Non-Volatile Memory)，例如只读存储器(Read-Only Memory，ROM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；存储器604还可以包括上述种类的存储器的组合。存储器102可用于存储摄像装置103所采集的图像，具体的，存储器901可用于存储采集同一拍摄场景的第一图像帧序列和第二图像帧序列；存储器102还可用于存储所合成的高动态范围图像；存储器102还可用于存储程序指令。
处理器101，可以是通用处理器，例如中央处理器(Central Processing Unit，CPU)，可用于读取存储器102存储的程序指令，以执行本发明实施例中高动态范围图像合成的方法。具体的，处理器101可用于从存储器102中读取第一图像帧序列和第二图像帧序列，根据所述第一图像帧序列的图像对齐信息，对所述第二图像帧序列进行合成得到高动态范围图像，具体的，处理器101还可用于在图像合成过程中进行鬼影检测，从而消除高动态范围图像中的鬼影。
设备100还可以包括图形信号处理器104，图形信号处理器104可用于对所合成的高动态范围图像进行进一步的优化处理，例如进行白平衡、去噪、去雾、锐化等图像优化处理，和/或用于将高动态范围图像转化为JPG图像，并将JPG图像发送至显示模块105进行图像预览等等，发送至存储器102进行存储等等。
设备100还可以包括显示模块105，显示模块105可用于显示用户需要进行拍摄时当前预览的拍摄场景，以及用于显示用户所拍摄的图像或者所合成的高动态范围图像；显示模块105还可用于显示需要用户操作的信息或提供给用户的信息以及设备100的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示模块105可包括显示面板，可选的，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
设备100还可以包括用户接口106，用户接口106具体可为触控面板(触摸屏、触控屏)，触控面板可具有触敏表面，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器101以确定触摸事件的类型，随后处理器101根据触摸事件的类型在显示模块105上提供相应的视觉输出。用户接口106也可以是物理按键或者鼠标。例如用户可通过用户接口106进行拍摄所需要的参数设置(例如设定当前拍摄的曝光时间)、可通过用户接口106将当前拍摄设置为高动态范围图像的拍摄模式、可通过用户接口106来控制拍摄等等。
设备100还可以包括通信模块107，通信模块107可用于接收和发送无线信号，具体实现中，通信模块107可包括但不限于：射频(Radio Frequency，RF)电路1071、蓝牙模块1072、WiFi模块1073中的一个或多个。RF电路1071、蓝牙模块1072、WiFi模块1073模块可分别用于与其他设备进行通信。
本领域技术人员应当理解的是，设备100还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。图12中示出的设备结构并不构成对设备100的限定。
参见图3-图5，下面描述设备100所涉及的摄像装置103的一些可能实施方式。
如图3所示，在一种可能的实施方式中，摄像装置可以是双目相机系统，该双目相机系统包括第一摄像头和第二摄像头，其中第一摄像头包括透镜1和图像传感器1，第二相机包括透镜2和图像传感器2，第一摄像头和第二摄像头垂直放置。摄像装置还具有45度放置的半透半反镜，半透半反镜可用于将拍摄场景的光线一半进行反射，一半进行透射，进而分别通过透镜1和透镜2，被图像传感器1和图像传感器2捕获。图像传感器1和图像传感器2中具有由像素点集成的像素模块，用于感应拍摄场景的光线并将光线转化为RAW格式的图像帧。可以理解的是，由于图像传感器1和图像传感器2同时捕获的光线源于相同的拍摄场景，所以图像传感器1和图像传感器2对拍摄场景具有相同的视角。本发明实施例中，通过图像传感器1和图像传感器2实现对同一拍摄场景的两路曝光拍摄，可将其中一路称为主路曝光，另一路称为辅路曝光，例如将图像传感器1对应的曝光拍摄作为主路曝光，图像传感器2对应的曝光拍摄作为辅路曝光。具体实施例中，通过控制辅路曝光来获得第一图像帧序列(又可称为第一曝光帧序列)，通过控制主路曝光来获得第二图像帧序列(又可称为第二曝光帧序列)，可使用第一图像帧序列中的图像帧的图像对齐信息来指导第二图像帧序列中的图像帧进行对齐。
在一种可能的实施方式中，摄像装置也可以是单目相机系统，单目相机系统具有一个摄像头，该摄像头包括透镜和图像传感器，该图像传感器具有交替分布的第一感应区域和第二感应区域，第一感应区域和第二感应区域均可用于感应拍摄场景的光线并将光线转化为RAW格式的图像帧。由于第一感应区域和第二感应区域交替分布，所以第一感应区域和第二感应区域对拍摄场景具有相同的视角。本发明实施例中，通过第一感应区域和第二感应区域实现对同一拍摄场景的两路曝光拍摄，可将其中一路称为主路曝光，另一路称为辅路曝光。本发明实施例可通过图像传感器的第一感应区域获取同一拍摄场景的第一图像帧序列，以及，通过所述图像传感器的第二感应区域获取所述同一拍摄场景的第二图像帧序列。具体实施例中，通过控制辅路曝光来获得第一图像帧序列(又可称为第一曝光帧序列)，通过控制主路曝光来获得第二图像帧序列(又可称为第二曝光帧序列)，可使用第一图像帧序列中的图像帧的图像对齐信息来指导第二图像帧序列中的图像帧进行对齐。
举例来说，如图4所示，在一种可能的实施例中，单目相机系统中的图像传感器可以是隔行传感器，图示隔行传感器中色区域为第一感应区域，用于进行辅路曝光；灰色区域可为第二感应区域，用于进行主路曝光；灰色区域和白色区域交替分布，从而对拍摄场景具有相同的视角。
又举例来说，如图5所示，在一种可能的实施例中，单目相机系统中的图像传感器可以是ZigZag图像传感器，图示ZigZag图像传感器中白色区域为第一感应区域，用于进行辅路曝光；灰色区域可为第二感应区域，用于进行主路曝光；灰色区域和白色区域交替分布，从而对拍摄场景具有相同的视角。
在本发明实施例实际应用场景中，通过摄像装置所采集到的第一图像帧序列是针对同一拍摄场景的曝光度(即曝光时间)相同的N张图像帧，并且，通过摄像装置所采集到的第二图像帧序列是针对同一拍摄场景的曝光度(即曝光时间)不完全相同的N张图像帧。举例来说，手机、单反相机、平板电脑等设备的取景框对准同一个拍摄场景，在用户按下快门之后，在很短的时间内，如0.1s内，控制快门快速开关N次，每次快门的通光量相同或不同，从而可以获得具有相同曝光时间的第一图像帧序列的N个图像帧，以及具有不完全相同曝光时间的第二图像帧序列的N个图像帧。
在具体实施过程中，上述第一图像帧序列的N个图像帧的具体曝光时间值可由当前拍摄所设定的曝光时间来确定。其中，所述当前拍摄所设定的曝光时间可以是手机、单反相机、平板电脑等设备根据用户选定的高动态范围图像的拍摄模式中的预设正常曝光时间，也可以是设备根据实际拍摄过程中环境的光照强度来动态确定的正常曝光时间，还可以是根据由用户所设定的曝光时间。本发明实施例中，第一图像帧序列中的图像帧的曝光时间小于当前拍摄所设定的曝光时间，第二图像帧序列中至少一帧的曝光时间与第一图像帧序列中的图像帧的曝光时间相同，第二图像帧序列中至少一帧的曝光时间大于所述第一图像帧序列中的图像帧的曝光时间。举例来说，假设当前设备所设定的曝光时间为数值范围1/10s～1/1000s中的某个值K(即1/1000s≤K≤1/10s)，那么，第一图像帧序列中的图像帧的曝光时间小于K，例如其曝光时间可以是0.25K等等，第二图像帧序列中至少一帧的曝光时间可能是大于0.25K的某个值(例如0.5K)，也可能是大于K的其他值(例如2K)。
下面举例说明第一图像帧序列和第二图像帧序列中的图像帧可能的曝光时间设置方式。
参见图6，在一可能的实施例中，第一图像帧序列中的图像帧的曝光时间相同，且均小于当前拍摄所设定的曝光时间；所述第二图像帧序列中至少一帧图像帧的曝光时间大于或等于当前拍摄所设定的曝光时间，且至少一帧图像帧的曝光时间与第一图像帧序列中的图像帧的曝光时间相同。如图6所示应用场景中，通过辅路曝光得到的第一图像帧序列包括两帧图像帧，这两帧图像帧的曝光时间相同且均小于当前拍摄所设定的曝光时间。通过主路曝光得到的第二图像帧序列包括两帧图像帧，其中第1帧的曝光时间与第一图像帧序列的第1帧的曝光时间相同，其中第2帧的曝光时间大于当前拍摄所设定的曝光时间。
参见图7，在一可能的实施例中，第一图像帧序列中的图像帧的曝光时间相同，且均小于当前拍摄所设定的曝光时间；第二图像帧序列中图像帧的曝光时间也均小于当前拍摄所设定的曝光时间，但至少一帧的曝光时间大于第一图像帧序列中的图像帧的曝光时间。如图7所示，通过辅路曝光得到的第一图像帧序列包括两帧图像帧，这两帧图像帧的曝光时间相同且均小于当前拍摄所设定的曝光时间；通过主路曝光得到的第二图像帧序列包括两帧图像帧，其中第1帧的曝光时间与第一图像帧序列的第1帧的曝光时间相同，其中第2帧的曝光时间小于当前拍摄所设定的曝光时间且大于第1帧的曝光时间。
下面举例说明第一图像帧序列和第二图像帧序列中的图像帧可能的帧数设置方式。
参见图8，在一可能的实施例中，第一图像帧序列和第二图像帧序列中的图像帧的帧数均为N帧，且在第二图像帧序列中，曝光时间大于第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M小于N-M。如图8所示，通过辅路曝光得到的第一图像帧序列包括6帧图像帧，这6帧的曝光时间均相同；通过主路曝光得到的第二图像帧序列也包括6帧图像帧，其中第6帧(共1帧)的曝光时间大于第一图像帧序列的图像帧的曝光时间，其中第1帧至第5帧(共5帧)的曝光时间均与第一图像帧序列的图像帧的曝光时间相同。
参见图9，在一可能的实施例中，第一图像帧序列和第二图像帧序列中的图像帧的帧数均为N帧，且在第二图像帧序列中，曝光时间大于第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M大于等于N-M。如图9所示，通过辅路曝光得到的第一图像帧序列包括5帧图像帧，这5帧的曝光时间均相同；通过主路曝光得到的第二图像帧序列也包括5帧图像帧，其中第3帧至第5帧(共3帧)的曝光时间大于第一图像帧序列的图像帧的曝光时间，其中第1帧至第2帧(共2帧)的曝光时间均与第一图像帧序列的图像帧的曝光时间相同。
需要说明的是，上述实施例仅用于解释本发明实施例的技术方案，而非限定。
参见图10，基于上述设备的相关描述，下面进一步描述本发明实施例提供的一种生成高动态范围图像的方法，该方法包括但不限于以下步骤：
步骤201、检测到当前预览的拍摄场景存在过度曝光。
通常来讲，曝光(Exposure)是指摄影的过程中允许进入镜头(透镜)并摄入到图像传感器上的光量，可以经由光圈、快门和感光媒体的感光度的组合来控制图像的“曝光”。理想情况下曝光控制在合理的范围时照片对比度强，亮度适中。但是一些场景中，由于环境的亮度差异较大(如白天户外逆光场景)或者由于摄影者调节了光圈过大或调节快门过慢等原因，造成了图像中某些区域出现亮度过高(图像泛白)，这些亮度过高区域的细节纹理缺失，这样的曝光通常称为过度曝光。
在可能的应用场景中，例如，在白天户外逆光拍摄场景中，手机、单反相机、平板电脑等设备的取景框对准该拍摄场景时，由于拍摄场景存在过度曝光，使得设备预览图像(如通过设备的显示模块进行拍摄场景的图像预览)时，图像中某些区域出现一片高光的白色，图像质量较差。那么，为了使用户能够获得效果更好的图像，手机、单反相机、平板电脑等设备可自动执行后续的合成高动态范围图像的步骤。
步骤202、检测到当前拍摄处于高动态范围图像的拍摄模式。
在一可能的应用场景中，手机、单反相机、平板电脑等设备中设置有多种拍摄模式，例如自动模式，人像模式、高动态范围图像的拍摄模式(简称HDR模式)等等。那么当用户通过操作设备中的用户接口，使得设备当前拍摄处于HDR模式后，用户按下快门进行拍摄时，设备将执行后续生成高动态范围图像的步骤。
在又一可能的应用场景中，手机、单反相机、平板电脑等设备可根据当前预览图像(如通过设备的显示模块所预览拍摄场景的图像)的直方图信息，确定当前拍摄是否需要进入HDR模式。
步骤203、在当前预览的拍摄场景存在过度曝光或者当前拍摄处于高动态范围图像的拍摄模式的情况下，触发获取针对同一拍摄场景的第一图像帧序列和第二图像帧序列。
本发明实施例中，所述第一图像帧序列包括N个图像帧，所述第二图像帧序列包括N个图像帧，N为正整数，且N大于等于2；所述第一图像帧序列中每一图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间大于所述第一图像帧序列中的图像帧的曝光时间。
在可能的实施例中，当前预览的拍摄场景存在过度曝光时，那么在很短的时间内，如0.1s内，设备可自动控制快门快速开关N次，每次快门的通光量相同或不同，从而可以获得具有相同曝光时间的第一图像帧序列的N个图像帧，以及具有不完全相同曝光时间的第二图像帧序列的N个图像帧。
在可能的实施例中，当前拍摄处于HDR模式时，用户按下快门，那么在很短的时间内，如0.1s内，设备控制快门快速开关N次，每次快门的通光量相同或不同，从而可以获得具有相同曝光时间的第一图像帧序列的N个图像帧，以及具有不完全相同曝光时间的第二图像帧序列的N个图像帧。
步骤204、根据第一图像帧序列的图像对齐信息来指导第二图像帧序列进行融合，得到高动态范围图像。
本发明实施例中，第一图像帧序列的图像帧的曝光时间相同，所以不同的图像帧之间的帧间亮度一致性高，不同的图像帧之间具有的纹理特征丰富且一致性高，所以能够精确得到第一图像帧序列的图像对齐信息。另外，本发明实施例通过辅路曝光得到所述第一图像帧序列，通过主路曝光得到第二图像帧序列，第一图像帧序列和第二图像帧序列针对同一拍摄场景，且对该拍摄场景具有相同的视角，所以第一图像帧序列中的图像帧的图像对齐信息和第二图像帧序列的图像帧的图像对齐信息一致。由于第二图像帧序列中的图像帧具有不同曝光时间，不同图像帧的纹理特征不太一致，所以本发明实施例将第一图像帧序列的图像对齐信息作为第二图像帧序列的图像对齐信息，进而使用该图像对齐信息来指导第二图像帧序列中的图像帧对齐，将这些对齐后的图像帧通过图像融合算法进行融合，从而得到高动态范围图像。
可以看到，本发明实施例中，针对同一拍摄场景进行两路曝光拍摄(主路曝光和辅路曝光)，其中，辅路曝光得到的第一图像帧序列的图像帧的曝光时间比当前设定的曝光时间小，不同的图像帧之间具有的纹理特征丰富且一致性高，所以能够精确得到第一图像帧序列的图像对齐信息。将第一图像帧序列的图像对齐信息来作为第二图像帧的对齐规则，第二图像帧序列中的图像帧就能实现精确对齐，这样，那么如果第二图像帧序列中存在鬼影的话，通过鬼影检测就能很容易检测到所有鬼影，进而在所合成的高动态范围图像中完全消除鬼影。另外，主路曝光得到的第二图像帧序列中，至少一帧图像帧的曝光时间与第一图像帧序列的图像帧的曝光时间相同，这样的图像帧(又可称为短曝光帧)能更好的呈现亮区的细节纹理；至少一帧图像帧的曝光时间比第一图像帧序列的图像帧的曝光时间大(甚至可大于当前设定的曝光时间)，这样的图像帧(又可称为长曝光帧)能够更好地呈现暗区的细节纹理，所以将第二图像帧序列中的图像帧融合得到的高动态范围图像能同时呈现全图纹理细节。
参见图11，下面具体描述本发明实施例提供的一种生成高动态范围图像的方法，该方法包括但不限于以下步骤：
步骤301、检测到当前预览的拍摄场景存在过度曝光。可参考图10步骤201的相关描述，这里不再赘述。
步骤302、检测到当前拍摄处于高动态范围图像的拍摄模式。可参考图10步骤202的相关描述，这里不再赘述。
步骤303、在当前预览的拍摄场景存在过度曝光或者当前拍摄处于高动态范围图像的拍摄模式的情况下，触发获取针对同一拍摄场景的第一图像帧序列和第二图像帧序列。
本发明实施例中，所述第一图像帧序列包括N个图像帧，所述第二图像帧序列包括N个图像帧，N为正整数，且N大于等于2；所述第一图像帧序列中每一图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间大于所述第一图像帧序列中的图像帧的曝光时间。
本发明实施例中，第一图像帧序列和第二图像帧序列中的图像帧均为RAW格式。RAW格式的图像帧为单通道数据，通常由多个不同颜色的相邻像素点重复排列组成，每个像素点位置只有一个数值。例如，RAW格式的图像数据可以为Bayer格式的图像数据，该图像数据可由R、G、B三种色彩像素点组成GRBG方式重复排列，也可以是包含有红、绿、蓝、青(即RGBC方式重复排列)四种色彩的图像数据，也可以是是包含有红、绿、蓝、白(即RGBW方式重复排列)四种色彩的图像数据等等，每个像素位置只有一个数值。
步骤304、计算第一图像帧序列中的图像帧之间的单应矩阵(Homographymatrix)。
本发明具体实施例中，第一图像帧序列中的图像帧之间的图像对齐信息为单应矩阵。通常的，同一拍摄场景的两帧图像帧中，一帧图像帧上的特征点对应的齐次坐标(homogeneous coordinate)与另一帧图像帧上的特征点对应的齐次坐标之间存在射影变换(projective transformation)，这种矩阵形式的射影变换又称为单应矩阵。
参见图12，在具体实施例中，可在第一图像帧序列中选择一帧图像帧作为参考帧，再分别计算其他帧与参考帧之间的单应矩阵，如图示中第一图像帧序列包括3帧图像帧，将第1帧作为参考帧，计算得到第2帧与参考帧之间的单应矩阵1，计算第3帧与参考帧之间的单应矩阵2。
步骤305、利用第一图像帧序列中的图像帧之间的单应矩阵来对齐第二图像帧序列中的图像帧。
本发明实施例中，第一图像帧序列和第二图像帧序列针对同一拍摄场景，且对该拍摄场景具有相同的视角，所以第一图像帧序列中的图像帧的单应矩阵可以作为第二图像帧序列的图像帧的单应矩阵。具体实施例中，可使用第一图像帧序列中的单应矩阵来指导第二图像帧序列中相应的图像帧进行对齐。如图12所示，第二图像帧序列同样包括3帧图像帧，将第二图像帧序列中的第1帧作为参考帧，使用第一图像帧序列中的单应矩阵1来指导第二图像帧序列中的第2帧对齐参考帧，使用第一图像帧序列中的单应矩阵2来指导第二图像帧序列中的第3帧对齐参考帧，这样，第二图像帧序列中所有的图像帧都能实现对齐参考帧。
步骤306、根据对齐后的第二图像帧序列进行鬼影检测，得到各帧相对于参考帧的鬼影权重值。
由于第二图像帧序列中所有的图像帧都能实现对齐参考帧，所以，通过检测图像帧之间的像素差异值，就能精确找到存在于除参考帧外的其他帧上的鬼影，还能进一步根据像素差异值的大小进一步计算出其他帧各个像素点相对于参考帧的鬼影权重值。有关于鬼影检测的具体实现过程可参考后文的相关描述。
步骤307、对第二图像帧序列进行融合，融合过程中根据所述鬼影权重值来消除鬼影，得到高动态范围图像。
本发明实施例中，通过鬼影检测确定各个像素点的鬼影权重值后，就能够进一步得到各个像素点的非鬼影权重值，非鬼影权重值就是实际融合过程中各个帧的像素点合成过程中的权重值，基于这些权重值将对齐后的第二图像帧序列的各个图像帧进行融合，就能够得到得到高动态范围图像，可以理解的，这样合成的高动态范围图像也是RAW格式。
可以看到，本发明实施例中，针对同一拍摄场景进行两路曝光拍摄(主路曝光和辅路曝光)，其中，辅路曝光得到的第一图像帧序列的图像帧的曝光时间比当前设定的曝光时间小，不同的图像帧之间具有的纹理特征丰富且一致性高，所以能够精确得到第一图像帧序列的图像对齐信息。将第一图像帧序列的图像对齐信息来作为第二图像帧的对齐规则，第二图像帧序列中的图像帧就能实现精确对齐。图像对齐后，通过鬼影检测就能检测到所有鬼影，进而在所合成的高动态范围图像中完全消除鬼影，提高所合成的高动态范围图像的图像质量。另外，主路曝光得到的第二图像帧序列中，至少一帧图像帧的曝光时间与第一图像帧序列的图像帧的曝光时间相同，这样的图像帧(又可称为短曝光帧)能更好的呈现亮区的细节纹理；至少一帧图像帧的曝光时间比第一图像帧序列的图像帧的曝光时间大(甚至可大于当前设定的曝光时间)，这样的图像帧(又可称为长曝光帧)能够更好地呈现暗区的细节纹理，所以将第二图像帧序列中的图像帧融合得到的高动态范围图像能同时呈现全图纹理细节。
参见图13，下面具体描述本发明实施例所涉及的鬼影检测方法，该方法包括但不限于以下步骤：
步骤401、获取第二图像帧序列中作为参考帧的第i帧图像帧的R通道图像、G通道图像和B通道图像。
本发明实施例中，第一图像帧序列和第二图像帧序列中的图像帧均为RAW格式。RAW格式的图像帧为单通道数据，通常由多个不同颜色的相邻像素点重复排列组成，每个像素点位置只有一个像素值(灰度值)。可以理解的，一个图像帧由许多个像素点构成，例如一张分辨率800*600的图像，就是由800*600个像素点组成。对于RAW格式的原始图像，每个像素点对应于某一种颜色的像素值。
本发明实施例中，将第二参考帧序列中的第i帧作为参考帧(例如第1帧)，那么第二参考帧序列中除第i帧外的任意第j帧均可与参考帧进行对齐，可将与第i帧进行对齐后的任意第j帧称为配准帧(例如，配准帧是使用单应矩阵对第j帧进行对齐操作后得到的图像帧)。可将参考帧分离出R通道图像、G通道图像和B通道图像。举例来说，如图14所示，图14示出的参考帧和配准帧均为分辨率4*4的GRBG(为了对两个G做区分，也可将GRBG写作G1RBG2)重复排列模式的RAW格式的图像帧。将参考帧分离出R\G1\G2\B四个通道的R通道图像、G1通道图像、G2通道图像和B通道图像，可将G1\G2的G1通道图像、G2通道图像求均值，从而合成一个G通道图像，最终所得到的R通道图像、G通道图像和B通道图像均为2*2分辨率的单颜色的图像帧。
步骤402、获取对齐后的第j帧的R通道图像、G通道图像和B通道图像。
同理，可将对齐后的第j帧分离出R通道图像、G通道图像和B通道图像。如图14所示，可将对齐后的第j帧分离出R\G1\G2\B四个通道的R通道图像、G1通道图像、G2通道图像和B通道图像，将G1\G2的G1通道图像、G2通道图像求均值，从而合成一个G通道图像，最终所得到的R通道图像、G通道图像和B通道图像均为2*2分辨率的单颜色的图像帧。
步骤403、分别计算所述参考帧的R通道图像、G通道图像和B通道图像与所述配准后的第j帧的R通道图像、G通道图像和B通道图像的差值的绝对值，得到3个差分图像(diff图)。
具体的，如图14所示，计算参考帧的R通道图像与第j帧的R通道图像的差值的绝对值，得到差分图像1，计算参考帧的G通道图像与第j帧的G通道图像的差值的绝对值，得到差分图像2，计算参考帧的B通道图像与第j帧的B通道图像的差值的绝对值，得到差分图像3。
步骤404、分别对所述3个差分图像使用鬼影阈值进行处理，得到3个第一鬼影二值化图。
也就是说，对于每个差分图像，分别使用鬼影阈值thres与差分图像中各个位置的数值进行比较，如果某位置的数值大于或等于鬼影阈值，则定义该位置为1(即指示该位置为鬼影)，如果某位置的数值小于鬼影阈值，则定义该位置为0(即指示该位置为非鬼影)，从而得到二值化鬼影图。可以看到，二值化鬼影图能够直接指示各个位置是否为鬼影。
其中，所述鬼影阈值是根据噪声和阈值系数而得到的；所述噪声是根据像素亮度而得到的，所述阈值系数是根据当前拍摄所设定的感光度而得到的。
举例来说，鬼影阈值(thres)可为：
thres＝α·σ
其中，阈值系数α与当前拍摄所设定的感光度iso的关系例如为：
噪声σ的具体值可根据噪声模型来得到，噪声模型例如为：
其中k和b为预设常数，例如，1≥k＞0，1≥b＞0。x为像素亮度值。具体实现中，可预先通过标定的方法基于摄像设备的图像传感器的硬件特点确定该噪声模型中的k和b的具体数值，然后，在实际拍摄场景中，可基于噪声模型和拍摄时的实时感光度iso确定最终的鬼影阈值。
步骤405、可选的，分别对所述3个鬼影二值化图进行腐蚀膨胀处理，得到3个第二鬼影二值化图。
在实际应用中，鬼影在图像中的分布一般是区域性的，也就是说鬼影位置覆盖相邻的多个像素点。而通过步骤404得到的第一鬼影二值化图中，如果某些指示鬼影的数值(即某些数值1)是离散数值，不是区域性的，那么可以将这些数值从鬼影数值中排除，这就是腐蚀膨胀操作，腐蚀膨胀操作能够去除杂点，得到置信度更高的第二鬼影二值化图。
具体实现中，对第一鬼影二值化图进行的腐蚀膨胀操作过程中，所采用的腐蚀核大小(num)可随感光度iso的变化而变化，进而得到最终的鬼影二值化图。
举例来说，腐蚀核大小(num)与感光度iso的关系例如为：
需要说明的是，步骤405属于可选的步骤，也就是说，在可能的实施例中，也可以直接采用第一鬼影二值化图作为最终的鬼影二值化图。
步骤406、根据噪声和阈值系数，分别将所述3个帧间差异图转化为3个第一鬼影权重图。
对于鬼影二值化图而言，某个位置要么是鬼影，要么是非鬼影。而在可能的应用场景中，某个位置也可能即参与了鬼影，也参与了非鬼影。所以，为了兼顾这样的应用场景，保证鬼影与非鬼影的过渡区域平滑自然，本发明实施例还根据鬼影权重转换公式，将各个差分图像分别转换为第一鬼影权重图，第一鬼影权重图指示了各个位置属于鬼影的权重值。
举例来说，各个差分图像对应像素点的鬼影权重值(ghost value)可为：
步骤407、分别将所述3个第二鬼影二值化图与所述3个第一鬼影权重图进行相乘，得到3个第二鬼影权重图。
具体的，把步骤405中得到最终的鬼影二值化图(第二鬼影二值化图)和步骤405中得到的第一鬼影权重图对应起来，从第一鬼影权重图中把第二鬼影二值化图对应位置为数值1的权重值取出来，从而得到第二鬼影权重图。
如图15所示，对于差分图像1，可将最终得到的鬼影二值化图12中各位置的数值和所得到的鬼影权重图11中各位置的权重值进行相乘，其结果可组成鬼影权重图12。对于差分图像2，可将最终得到的鬼影二值化图22中各位置的数值和所得到的鬼影权重图21中各位置的权重值进行相乘，其结果可组成鬼影权重图22。对于差分图像3，可将最终得到的鬼影二值化图32中各位置的数值和所得到的鬼影权重图31中各位置的权重值进行相乘，其结果可组成鬼影权重图32。
步骤408、将所述3个第二鬼影权重图中各个相同位置的鬼影权重值的最大者(Max)，作为所述对齐后的第j帧(配准帧)中相同位置的像素点的鬼影权重值，从而得到第三鬼影权重图。第三鬼影权重图指示了配准帧各个像素点的鬼影权重值。
具体的，可将步骤407得到的3个第二鬼影权重图分别通过上采样的方式恢复到与配准帧一致的图像规格，各个通过上采样处理后的第二鬼影权重图中的鬼影权重值就与配准帧中的各个像素点唯一对应。然后，对于每个像素点，选择3个通过上采样处理后的第二鬼影权重图中与该像素点位置一致的鬼影权重值的最大者，作为该像素点最终的鬼影权重值，从而得到配准帧对应的第三鬼影权重图。
举例来说，参见图16，步骤407得到的3个鬼影权重图(鬼影权重图12、鬼影权重图22、鬼影权重图32)均为2*2的规格(即包含2*2个鬼影权重值)，而配准帧是4*4的图像规格，所以可通过插值算法对3个鬼影权重图分别进行上采样(upsampling)，得到新的鬼影权重图12、新的鬼影权重图22、新的鬼影权重图32，新的鬼影权重图12、新的鬼影权重图22、新的鬼影权重图32均为4*4的规格(即包含4*4个鬼影权重值)，所以新的鬼影权重图中的各个鬼影权重值能够与配准帧中的各个像素点唯一对应。对于配准帧中的各个像素点，取新的鬼影权重图12、新的鬼影权重图22、新的鬼影权重图32中相同位置对应的3个鬼影权重值中的最大者作为该像素点最终的鬼影权重值。如图示中，配准帧的右上角的像素点G1的鬼影权重值为新的鬼影权重图对应的3个鬼影权重值(w11、w15、w51)中数值最大者，这样的数值最大者的集合即为配准帧对应的第三鬼影权重图。
步骤409、可选的，将所述第三鬼影权重图进行归一化处理，得到第四鬼影权重图。也就是说，如果步骤409中得到的第三鬼影权重图尚未进行归一化处理，则需要进一步将所述第三鬼影权重图进行归一化处理，得到第四鬼影权重图。可以理解的，如果步骤409中得到的第三鬼影权重图已经完成归一化处理，则略过本步骤。
步骤410、根据所述第四鬼影权重图，得到对齐后的第j帧(配准帧)的非鬼影权重图；所述非鬼影权重图指示对齐后的第j帧(配准帧)中各个像素点的非鬼影权重值。
可以理解的，对于配准帧的各个像素点，鬼影权重值与非鬼影权重值的和为1，所以，根据第四鬼影权重图可以直接得到非鬼影权重图，如图16所示，配准帧对应的非鬼影权重图中，配准帧的右上角的像素点G1的非鬼影权重值为1减去归一化的(w11、w15、w51)中数值最大者。
可以理解的，基于上述鬼影检测方法，可得到配准帧中的各个像素点相对于参考帧的非鬼影权重值(可以理解的，参考帧中的各个像素点的非鬼影权重值即为1)，也就是说可以得到第二图像帧序列中所有的配准帧相对于参考帧的非鬼影权重图。可根据这些非鬼影权重图，将所述第二曝光帧序列中的参考帧和这些配准帧根据曝光融合算法(例如拉普拉斯金字塔算法)进行融合，从而得到高动态范围图像。所得到的高动态范围图像就成功实现了消除所有的鬼影。
可以看到，通过实施本发明实施例的技术方案，得到配准帧对应的鬼影权重图，该图表征了配准帧中每个像素点相对于参考帧发生运动的概率大小，进而根据鬼影权重图得到非鬼影权重图，非鬼影权重图确定高动态范围图像的合成算法中每个像素点参与合成的权重值。配准帧中发生运动的位置上的像素点权重小，静止位置上的像素点权重大，这样，合成后的高动态范围图像中，发生运动的位置上的像素点对高动态范围图像的影响就会降低，从而实现消除“鬼影”的影响。
上文详细阐述了本发明实施例涉及的设备和方法，下面继续提供了本发明实施例的涉及的其他设备。
参见图17，基于相同的发明构思，本发明实施例提供了又一种用于生成高动态范围图像的设备500，设备500包括图像获取模块501和曝光融合模块502，其中：
图像获取模块501，用于在当前预览的拍摄场景存在过度曝光、或者当前拍摄处于高动态范围图像的拍摄模式时，获取针对同一拍摄场景的第一图像帧序列和第二图像帧序列；其中，所述第一图像帧序列包括N个图像帧，所述第二图像帧序列包括N个图像帧，N为正整数，且N大于等于2；所述第一图像帧序列中每一图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间大于所述第一图像帧序列中的图像帧的曝光时间；
曝光融合模块502，用于根据所述第一图像帧序列，对所述第二图像帧序列进行合成得到高动态范围图像。
在可能的实施例中，所述第一图像帧序列中的图像帧的曝光时间小于当前拍摄所设定的曝光时间；所述第二图像帧序列中至少一帧的曝光时间大于等于所述当前拍摄所设定的曝光时间。
在可能的实施例中，所述第一图像帧序列中的图像帧的曝光时间小于当前拍摄所设定的曝光时间；所述第二图像帧序列中图像帧的曝光时间均小于所述当前拍摄所设定的曝光时间。
在可能的实施例中，所述第二图像帧序列中，所述曝光时间大于所述第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，所述曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M小于N-M。
在可能的实施例中，所述第二图像帧序列中，所述曝光时间大于所述第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，所述曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M大于等于N-M。
其中，所述第一图像帧序列中每一图像帧为RAW格式，且，所述第二图像帧序列中每一图像帧为RAW格式。
在一具体实施例中，所述图像获取模块501具体用于通过第一摄像头获取所述第一图像帧序列，以及，通过第二摄像头获取所述第二图像帧序列。
在一具体实施例中，所述图像获取模块501具体用于通过图像传感器的第一感应区域获取所述第一图像帧序列，以及，通过所述图像传感器的第二感应区域获取所述第二图像帧序列；其中，所述第一感应区域和所述第二感应区域在所述图像传感器中交替分布。
在一具体实施例中，所述曝光融合模块502具体用于获取所述第一图像帧序列中的图像帧之间的图像对齐信息；根据所述图像对齐信息对所述第二图像帧序列中的图像帧进行对齐，得到对齐后的第二图像帧序列；对所述对齐后的第二图像帧序列进行合成得到高动态范围图像。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者任意组合来实现。当使用软件实现时，可以全部或者部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令，在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网络站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、微波等)方式向另一个网络站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，也可以是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如软盘、硬盘、磁带等)、光介质(例如DVD等)、或者半导体介质(例如固态硬盘)等等。
在上述实施例中，对各个实施例的描述各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
Claims (18)
1.一种生成高动态范围图像的方法，其特征在于，所述方法包括：
在当前预览的拍摄场景存在过度曝光、或者当前拍摄处于高动态范围图像的拍摄模式时，获取针对同一拍摄场景的第一图像帧序列和第二图像帧序列；
其中，所述第一图像帧序列包括N个图像帧，所述第二图像帧序列包括N个图像帧，N为正整数，且N大于等于2；所述第一图像帧序列中每一图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间大于所述第一图像帧序列中的图像帧的曝光时间；
根据所述第一图像帧序列，对所述第二图像帧序列进行合成得到高动态范围图像。
2.根据权利要求1所述的方法，其特征在于，所述第一图像帧序列中的图像帧的曝光时间小于当前拍摄所设定的曝光时间；所述第二图像帧序列中至少一帧的曝光时间大于等于所述当前拍摄所设定的曝光时间。
3.根据权利要求1所述的方法，其特征在于，所述第一图像帧序列中的图像帧的曝光时间小于当前拍摄所设定的曝光时间；所述第二图像帧序列中图像帧的曝光时间均小于所述当前拍摄所设定的曝光时间。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述第二图像帧序列中，所述曝光时间大于所述第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，所述曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M小于N-M。
5.根据权利要求1至3任一项所述的方法，其特征在于，所述第二图像帧序列中，所述曝光时间大于所述第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，所述曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M大于等于N-M。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述第一图像帧序列中每一图像帧为RAW格式，且，所述第二图像帧序列中每一图像帧为RAW格式。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取针对同一拍摄场景的第一图像帧序列和第二图像帧序列，包括：
通过第一摄像头获取所述第一图像帧序列，以及，通过第二摄像头获取所述第二图像帧序列。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述获取针对同一拍摄场景的第一图像帧序列和第二图像帧序列，包括：
通过图像传感器的第一感应区域获取所述第一图像帧序列，以及，通过所述图像传感器的第二感应区域获取所述第二图像帧序列；
其中，所述第一感应区域和所述第二感应区域在所述图像传感器中交替分布。
9.根据权利要求1至8任一项所述的方法，其特征在于，根据所述第一图像帧序列，对所述第二图像帧序列进行合成得到高动态范围图像，包括：
获取所述第一图像帧序列中的图像帧之间的图像对齐信息；
根据所述图像对齐信息对所述第二图像帧序列中的图像帧进行对齐，得到对齐后的第二图像帧序列；
对所述对齐后的第二图像帧序列进行合成得到高动态范围图像。
10.一种生成高动态范围图像的设备，其特征在于，所述设备包括：
图像获取模块，用于在当前预览的拍摄场景存在过度曝光、或者当前拍摄处于高动态范围图像的拍摄模式时，获取针对同一拍摄场景的第一图像帧序列和第二图像帧序列；其中，所述第一图像帧序列包括N个图像帧，所述第二图像帧序列包括N个图像帧，N为正整数，且N大于等于2；所述第一图像帧序列中每一图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同，所述第二图像帧序列中至少一帧的曝光时间大于所述第一图像帧序列中的图像帧的曝光时间；
曝光融合模块，用于根据所述第一图像帧序列，对所述第二图像帧序列进行合成得到高动态范围图像。
11.根据权利要求10所述的设备，其特征在于，所述第一图像帧序列中的图像帧的曝光时间小于当前拍摄所设定的曝光时间；所述第二图像帧序列中至少一帧的曝光时间大于等于所述当前拍摄所设定的曝光时间。
12.根据权利要求10所述的设备，其特征在于，所述第一图像帧序列中的图像帧的曝光时间小于当前拍摄所设定的曝光时间；所述第二图像帧序列中图像帧的曝光时间均小于所述当前拍摄所设定的曝光时间。
13.根据权利要求10至12任一项所述的设备，其特征在于，所述第二图像帧序列中，所述曝光时间大于所述第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，所述曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M小于N-M。
14.根据权利要求10至12任一项所述的设备，其特征在于，所述第二图像帧序列中，所述曝光时间大于所述第一图像帧序列中的图像帧的曝光时间的图像帧的数量为M，所述曝光时间与所述第一图像帧序列中的图像帧的曝光时间相同的图像帧的数量为N-M，其中，M大于等于N-M。
15.根据权利要求10至14任一项所述的设备，其特征在于，所述第一图像帧序列中每一图像帧为RAW格式，且，所述第二图像帧序列中每一图像帧为RAW格式。
16.根据权利要求10至15任一项所述的设备，其特征在于，所述图像获取模块具体用于通过第一摄像头获取所述第一图像帧序列，以及，通过第二摄像头获取所述第二图像帧序列。
17.根据权利要求10至15任一项所述的设备，其特征在于，所述图像获取模块具体用于通过图像传感器的第一感应区域获取所述第一图像帧序列，以及，通过所述图像传感器的第二感应区域获取所述第二图像帧序列；
其中，所述第一感应区域和所述第二感应区域在所述图像传感器中交替分布。
18.根据权利要求10至17任一项所述的设备，其特征在于，所述曝光融合模块具体用于获取所述第一图像帧序列中的图像帧之间的图像对齐信息；根据所述图像对齐信息对所述第二图像帧序列中的图像帧进行对齐，得到对齐后的第二图像帧序列；对所述对齐后的第二图像帧序列进行合成得到高动态范围图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810256876.0A CN108419023B (zh) | 2018-03-26 | 2018-03-26 | 一种生成高动态范围图像的方法以及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810256876.0A CN108419023B (zh) | 2018-03-26 | 2018-03-26 | 一种生成高动态范围图像的方法以及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108419023A true CN108419023A (zh) | 2018-08-17 |
| CN108419023B CN108419023B (zh) | 2020-09-08 |
Family
ID=63133521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810256876.0A Expired - Fee Related CN108419023B (zh) | 2018-03-26 | 2018-03-26 | 一种生成高动态范围图像的方法以及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108419023B (zh) |
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109167917A (zh) * | 2018-09-29 | 2019-01-08 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及终端设备 |
| CN109919841A (zh) * | 2019-01-24 | 2019-06-21 | 重庆邮电大学 | 一种用于高动态范围图像联合上采样的导向图的合成方法 |
| CN109993722A (zh) * | 2019-04-09 | 2019-07-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110012227A (zh) * | 2019-04-09 | 2019-07-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110033421A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110035233A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110049241A (zh) * | 2019-04-09 | 2019-07-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110049254A (zh) * | 2019-04-09 | 2019-07-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110189285A (zh) * | 2019-05-28 | 2019-08-30 | 北京迈格威科技有限公司 | 一种多帧图像融合方法及装置 |
| CN110198419A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110213498A (zh) * | 2019-05-29 | 2019-09-06 | Oppo广东移动通信有限公司 | 图像生成方法和装置、电子设备、计算机可读存储介质 |
| CN110740272A (zh) * | 2019-10-31 | 2020-01-31 | Oppo广东移动通信有限公司 | 图像采集方法、摄像头组件及移动终端 |
| CN111028165A (zh) * | 2019-11-29 | 2020-04-17 | 郑州轻工业大学 | 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 |
| CN111091522A (zh) * | 2019-12-24 | 2020-05-01 | 紫光展讯通信(惠州)有限公司 | 终端及其多曝光图像融合方法 |
| CN111479072A (zh) * | 2020-04-14 | 2020-07-31 | 深圳市道通智能航空技术有限公司 | 高动态范围图像合成方法、装置、图像处理芯片及航拍相机 |
| CN112233032A (zh) * | 2020-10-15 | 2021-01-15 | 浙江大学 | 一种高动态范围图像鬼影消除的方法 |
| CN113454981A (zh) * | 2019-02-18 | 2021-09-28 | 三星电子株式会社 | 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术 |
| WO2021196554A1 (zh) * | 2020-03-30 | 2021-10-07 | Oppo广东移动通信有限公司 | 图像传感器、处理系统及方法、电子设备和存储介质 |
| CN113709381A (zh) * | 2020-10-23 | 2021-11-26 | 黑芝麻智能科技(重庆)有限公司 | 制作hdr视频的单重曝光多帧图像捕获的方法 |
| CN114586335A (zh) * | 2019-12-09 | 2022-06-03 | 深圳市大疆创新科技有限公司 | 图像处理装置、图像处理方法、程序及记录介质 |
| WO2022149826A1 (ko) * | 2021-01-11 | 2022-07-14 | 삼성전자 주식회사 | 영상 처리 방법 및 이를 지원하는 전자 장치 |
| CN115361533A (zh) * | 2022-08-19 | 2022-11-18 | 深圳市汇顶科技股份有限公司 | 图像数据处理方法和电子设备 |
| WO2022262259A1 (zh) * | 2021-06-15 | 2022-12-22 | 展讯通信（上海）有限公司 | 一种图像处理方法、装置、设备、介质和芯片 |
| CN115526788A (zh) * | 2022-03-18 | 2022-12-27 | 荣耀终端有限公司 | 图像处理方法和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102420944A (zh) * | 2011-04-25 | 2012-04-18 | 展讯通信（上海）有限公司 | 一种高动态范围图像合成方法及装置 |
| CN104010128A (zh) * | 2013-02-20 | 2014-08-27 | 佳能株式会社 | 摄像设备及其控制方法 |
| CN107770438A (zh) * | 2017-09-27 | 2018-03-06 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
| CN107809602A (zh) * | 2016-09-09 | 2018-03-16 | 豪威科技股份有限公司 | 鬼伪影去除系统和方法 |
-
2018
- 2018-03-26 CN CN201810256876.0A patent/CN108419023B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102420944A (zh) * | 2011-04-25 | 2012-04-18 | 展讯通信（上海）有限公司 | 一种高动态范围图像合成方法及装置 |
| CN104010128A (zh) * | 2013-02-20 | 2014-08-27 | 佳能株式会社 | 摄像设备及其控制方法 |
| CN107809602A (zh) * | 2016-09-09 | 2018-03-16 | 豪威科技股份有限公司 | 鬼伪影去除系统和方法 |
| CN107770438A (zh) * | 2017-09-27 | 2018-03-06 | 维沃移动通信有限公司 | 一种拍照方法及移动终端 |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109167917A (zh) * | 2018-09-29 | 2019-01-08 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及终端设备 |
| CN109167917B (zh) * | 2018-09-29 | 2020-10-20 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及终端设备 |
| CN109919841A (zh) * | 2019-01-24 | 2019-06-21 | 重庆邮电大学 | 一种用于高动态范围图像联合上采样的导向图的合成方法 |
| CN109919841B (zh) * | 2019-01-24 | 2022-12-27 | 重庆邮电大学 | 一种用于高动态范围图像联合上采样的导向图的合成方法 |
| CN113454981A (zh) * | 2019-02-18 | 2021-09-28 | 三星电子株式会社 | 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术 |
| CN113454981B (zh) * | 2019-02-18 | 2023-11-03 | 三星电子株式会社 | 用于基于卷积神经网络的多个图像帧的多曝光融合及用于对多个图像帧去模糊的技术 |
| CN109993722B (zh) * | 2019-04-09 | 2023-04-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110049254A (zh) * | 2019-04-09 | 2019-07-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110049241A (zh) * | 2019-04-09 | 2019-07-23 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110035233A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110033421A (zh) * | 2019-04-09 | 2019-07-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| US11503223B2 (en) | 2019-04-09 | 2022-11-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for image-processing and electronic device |
| CN110012227A (zh) * | 2019-04-09 | 2019-07-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN109993722A (zh) * | 2019-04-09 | 2019-07-09 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110049254B (zh) * | 2019-04-09 | 2021-04-02 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110189285A (zh) * | 2019-05-28 | 2019-08-30 | 北京迈格威科技有限公司 | 一种多帧图像融合方法及装置 |
| CN110189285B (zh) * | 2019-05-28 | 2021-07-09 | 北京迈格威科技有限公司 | 一种多帧图像融合方法及装置 |
| CN110213498A (zh) * | 2019-05-29 | 2019-09-06 | Oppo广东移动通信有限公司 | 图像生成方法和装置、电子设备、计算机可读存储介质 |
| CN110213498B (zh) * | 2019-05-29 | 2021-04-23 | Oppo广东移动通信有限公司 | 图像生成方法和装置、电子设备、计算机可读存储介质 |
| CN110198419A (zh) * | 2019-06-28 | 2019-09-03 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110740272B (zh) * | 2019-10-31 | 2021-05-14 | Oppo广东移动通信有限公司 | 图像采集方法、摄像头组件及移动终端 |
| CN110740272A (zh) * | 2019-10-31 | 2020-01-31 | Oppo广东移动通信有限公司 | 图像采集方法、摄像头组件及移动终端 |
| CN111028165A (zh) * | 2019-11-29 | 2020-04-17 | 郑州轻工业大学 | 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 |
| CN111028165B (zh) * | 2019-11-29 | 2023-03-21 | 郑州轻工业大学 | 一种基于raw数据抵抗相机抖动的高动态图像恢复方法 |
| CN114586335A (zh) * | 2019-12-09 | 2022-06-03 | 深圳市大疆创新科技有限公司 | 图像处理装置、图像处理方法、程序及记录介质 |
| CN111091522A (zh) * | 2019-12-24 | 2020-05-01 | 紫光展讯通信(惠州)有限公司 | 终端及其多曝光图像融合方法 |
| CN111091522B (zh) * | 2019-12-24 | 2022-09-13 | 紫光展讯通信(惠州)有限公司 | 终端及其多曝光图像融合方法 |
| WO2021196554A1 (zh) * | 2020-03-30 | 2021-10-07 | Oppo广东移动通信有限公司 | 图像传感器、处理系统及方法、电子设备和存储介质 |
| CN111479072A (zh) * | 2020-04-14 | 2020-07-31 | 深圳市道通智能航空技术有限公司 | 高动态范围图像合成方法、装置、图像处理芯片及航拍相机 |
| CN112233032B (zh) * | 2020-10-15 | 2022-04-26 | 浙江大学 | 一种高动态范围图像鬼影消除的方法 |
| CN112233032A (zh) * | 2020-10-15 | 2021-01-15 | 浙江大学 | 一种高动态范围图像鬼影消除的方法 |
| CN113709381A (zh) * | 2020-10-23 | 2021-11-26 | 黑芝麻智能科技(重庆)有限公司 | 制作hdr视频的单重曝光多帧图像捕获的方法 |
| US11778335B2 (en) | 2020-10-23 | 2023-10-03 | Black Sesame Technologies Inc. | Generating high dynamic range video using low dynamic range image sensor |
| WO2022149826A1 (ko) * | 2021-01-11 | 2022-07-14 | 삼성전자 주식회사 | 영상 처리 방법 및 이를 지원하는 전자 장치 |
| WO2022262259A1 (zh) * | 2021-06-15 | 2022-12-22 | 展讯通信（上海）有限公司 | 一种图像处理方法、装置、设备、介质和芯片 |
| CN115526788A (zh) * | 2022-03-18 | 2022-12-27 | 荣耀终端有限公司 | 图像处理方法和装置 |
| CN115361533A (zh) * | 2022-08-19 | 2022-11-18 | 深圳市汇顶科技股份有限公司 | 图像数据处理方法和电子设备 |
| CN115361533B (zh) * | 2022-08-19 | 2023-04-18 | 深圳市汇顶科技股份有限公司 | 图像数据处理方法和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108419023B (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108419023A (zh) | 一种生成高动态范围图像的方法以及相关设备 | |
| US11375128B2 (en) | Method for obtaining exposure compensation values of high dynamic range image, terminal device and non-transitory computer-readable storage medium | |
| CN111418201B (zh) | 一种拍摄方法及设备 | |
| US8558913B2 (en) | Capture condition selection from brightness and motion | |
| US11532076B2 (en) | Image processing method, electronic device and storage medium | |
| CN110445988A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| TWI433533B (zh) | 影像擷取裝置及其影像合成方法 | |
| CN110198417A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US9154701B2 (en) | Image capturing device and associated methodology for displaying a synthesized assistant image | |
| CN110445989A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110198418A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN104754212A (zh) | 电子装置以及通过使用该电子装置捕获移动对象的方法 | |
| CN110166706A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN110445986A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN116744120B (zh) | 图像处理方法和电子设备 | |
| CN110290325A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2024040981A1 (zh) | 拍照方法及其相关设备 | |
| CN105594196B (zh) | 摄像装置和摄像方法 | |
| CN113315956B (zh) | 图像处理设备、摄像设备、图像处理方法和机器可读介质 | |
| CN110278375A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2019124289A1 (ja) | 装置、制御方法および記憶媒体 | |
| CN110266965A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110213503A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| EP3442218A1 (en) | Imaging apparatus and control method for outputting images with different input/output characteristics in different regions and region information, client apparatus and control method for receiving images with different input/output characteristics in different regions and region information and displaying the regions in a distinguishable manner | |
| WO2024021678A1 (zh) | 图像处理方法及其相关设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200908 |