CN110418065A - 高动态范围图像运动补偿方法、装置及电子设备 - Google Patents
高动态范围图像运动补偿方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110418065A CN110418065A CN201810392314.9A CN201810392314A CN110418065A CN 110418065 A CN110418065 A CN 110418065A CN 201810392314 A CN201810392314 A CN 201810392314A CN 110418065 A CN110418065 A CN 110418065A
- Authority
- CN
- China
- Prior art keywords
- pixel
- short exposure
- current
- long
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
- H04N5/211—Ghost signal cancellation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种高动态范围图像运动补偿方法、装置及电子设备。所述方法包括：对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值；根据所述长曝光像素值和短曝光像素值计算运动信息；对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值；根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿。本发明能够对场景中的运动物体进行准确的检测，有效去除高动态拍照时场景内物体运动引起的鬼影问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种高动态范围图像运动补偿方法、装置及电子设备。
背景技术
由于普通图像传感器的动态范围要小于真实场景的动态范围，拍摄的图像就会造成高亮或者低亮地方的信息损失。使用高动态范围(High Dynamic Range，HDR)技术能够大大增加生成图像的动态范围，目前高动态范围技术已经广泛应用在智能手机、平板电脑等电子设备中。
手机中最常见的高动态范围技术是多重曝光合成技术，将拍摄的多张低动态范围图像融合成一张高动态范围图像，这种方法需要对相同的场景进行多次不同程度曝光的拍照。然而在拍照过程中，由于设备的抖动或者场景中物体的移动，不同曝光的图像中，运动物体的位置是不同的。如果直接把这些低动态范围图像进行融合，生成的图像就会出现“鬼影”现象。
现有的高动态范围技术去鬼影的基本思想是在多帧图像中进行运动检测，通过计算每帧图像中运动发生的概率来控制存在运动物体的图像在高动态范围融合时的权重比例，来降低运动物体对高动态范围图像的影响。
在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：
对于场景中物体运动较快或者一些比较复杂的运动场景，采用现有的去鬼影方法运动检测难度较大且算法复杂，难以取得高质量的图像，并且很难满足录像时的帧率需求，因此视频高动态范围技术的应用仍然受到很大的限制。
发明内容
本发明提供的高动态范围图像运动补偿方法、装置及电子设备，能够对场景中运动物体进行准确的检测，有效去除高动态拍照时场景内物体运动引起的鬼影问题。
第一方面，本发明提供一种高动态范围图像运动补偿方法，所述方法包括：
对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值；
根据所述长曝光像素值和短曝光像素值计算运动信息；
对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值；
根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿。
可选地，所述对当前像素所在区域的G通道像素进行预插值包括：
当前像素为长曝光像素时，对当前像素周围每个G通道位置的短曝光像素进行方向性插值，得到当前像素的短曝光像素值；
当前像素为短曝光像素时，对当前像素周围每个G通道位置的长曝光像素进行方向性插值，得到当前像素的长曝光像素值。
可选地，所述根据所述长曝光像素值和短曝光像素值计算运动信息包括：
判断当前像素所在区域是否为饱和区域；
当所述当前像素所在区域为非饱和区域时，将所述短曝光像素值乘以曝光比例，再取均值之后与所述长曝光像素值均值取差值，得到运动信息，计算公式如下：
motion＝abs(average(G*exposure ratio)–average(g))
其中，exposure ratio为在当前区域内长曝光像素的曝光时间与短曝光像素的曝光时间的比例。
可选地，所述方法还包括：
当前区域为饱和区域时，将所述average(G*exposure ratio)的值设定为预设的最大值。
可选地，所述根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿包括：
当前像素为长曝光像素时，根据所述运动信息、当前像素所在区域的长曝光像素值和经过全分辨率重建插值计算的短曝光像素值进行运动补偿。
可选地，所述根据所述运动信息、当前像素的长曝光像素值和短曝光像素值进行运动补偿还包括：
当前像素为短曝光像素时，对当前像素所在区域进行频率检测，得到频率信息；
对当前像素所在区域的短曝光像素进行降噪处理；
根据所述频率信息对进行降噪处理后的短曝光像素进行纹理增强；
根据所述运动信息、当前像素所在区域的短曝光像素值和经过全分辨率重建插值计算的长曝光像素值进行运动补偿。
可选地，所述根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿包括：
采用长曝光模式进行运动补偿，所述长曝光模式对输入的长曝光像素值赋予较多权重；
或者，采用短曝光模式进行运动补偿，所述短曝光模式对输入的短曝光像素值赋予较多权重。
第二方面，本发明提供一种高动态范围图像运动补偿装置，所述装置包括：
预插值单元，用于对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值；
计算单元，用于根据所述长曝光像素值和短曝光像素值计算运动信息；
插值单元，用于对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值；
运动补偿单元，用于根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿。
可选地，所述预插值单元用于当前像素为长曝光像素时，对当前像素周围每个G通道位置的短曝光像素进行方向性插值，得到当前像素的短曝光像素值；
当前像素为短曝光像素时，对当前像素周围每个G通道位置的长曝光像素进行方向性插值，得到当前像素的长曝光像素值。
可选地，所述计算单元包括：
判断模块，用于判断当前像素所在区域是否为饱和区域；
计算模块，用于当所述当前像素所在区域为非饱和区域时，将所述短曝光像素值乘以曝光比例，再取均值之后与所述长曝光像素值均值取差值，得到运动信息，计算公式如下：
motion＝abs(average(G*exposure ratio)–average(g))
其中，exposure ratio为在当前区域内长曝光像素的曝光时间与短曝光像素的曝光时间的比例。
可选地，所述计算单元还包括：
设定模块，用于当前区域为饱和区域时，将所述average(G*exposure ratio)的值设定为预设的最大值。
可选地，所述运动补偿单元还用于当前像素为短曝光像素时，对当前像素所在区域进行频率检测，得到频率信息；对当前像素所在区域的短曝光像素进行降噪处理；根据所述频率信息对进行降噪处理后的短曝光像素进行纹理增强；根据所述运动信息、当前像素所在区域的短曝光像素值和经过全分辨率重建插值计算的长曝光像素值进行运动补偿。
可选地，所述运动补偿单元用于采用长曝光模式进行运动补偿，所述长曝光模式对输入的长曝光像素值赋予较多权重；
或者，采用短曝光模式进行运动补偿，所述短曝光模式对输入的短曝光像素值赋予较多权重。
第三方面，本发明提供一种电子设备，所述电子设备包括上述高动态范围图像运动补偿装置。
本发明实施例提供的高动态范围图像运动补偿方法、装置及电子设备，对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值，根据所述长曝光像素值和短曝光像素值计算运动信息，对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值，根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿。与现有技术相比，本发明通过对同一帧内的长曝光图像和短曝光图像的进行运动检测，能够对场景中的运动物体进行准确的检测，有效去除高动态拍照时场景内物体运动引起的鬼影问题。
附图说明
图1为为高动态范围传感器拍摄的图像的示意图；
图2为本发明一实施例高动态范围图像运动补偿方法的流程图；
图3为本发明一实施例对G通道像素进行预插值的示意图；
图4为本发明一实施例中心像素为长曝光像素点时的运动补偿流程图；
图5为本发明一实施例中心像素为短曝光像素点时的运动补偿流程图；
图6为本发明一实施例高动态范围图像运动补偿装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
高动态范围技术的另一个方向是基于高动态范围传感器由硬件实现的In-cameraHDR技术，如索尼公司开发的第二代堆栈式图像传感器IMX214，支持分区高动态范围曝光，在同一帧内可以精确控制每一行像素的曝光时间，按照长、短曝光每隔两行交替方式，或者zigzag(Z字形)的方式，同一帧内获取不同曝光时间的图像。这种传感器采集的图像因长、短曝光像素各占整图像素总量的一半，需要进行全分辨率重建，通过插值恢复全分辨率长曝光和短曝光图像，再通过融合算法来实现动态范围的提升。
高动态范围传感器拍摄的图像如图1所示，图中白色的像素点代表长曝光像素，灰色的像素点代表短曝光的像素，在整幅图像中长曝光像素与短曝光像素按照zigzag方式交替排列。长曝光像素点拥有较长的曝光时间，在场景低亮部分采集到的图像信号包含更多的有效信息。短曝光像素点由于曝光时间较短，而在图像的高亮部分图像信号尚未饱和，可以保留一些细节信息。对这种同时包含长、短曝光像素值的原始图像进行全分辨率恢复，得到长曝光图像和短曝光图像，再通过融合实现图像动态范围的提升，在同一幅图像中较好的呈现低亮和高亮部分的细节信息。
长曝光时间和短曝光时间存在预设确定的比例关系，曝光时间比值定义为曝光比例(exposure ratio)，可选地，所述曝光比例设定为1:1，1:2，1:4，1:8，1:16等，当设定为1:1的时候，曝光时间相等，相当于普通的图像传感器。
进行高动态范围图像融合之前，需要进行运动补偿处理消除鬼影，高动态范围传感器采集的长曝光像素值和短曝光像素值存在预设的确定比例关系，而且恢复全分辨率后的长曝光图像和短曝光图像是在同一帧内采集的，不需要进行图像对齐的处理，因此运动检测的准确度较高，高动态范围融合的难度降低。
本发明提供一种高动态范围图像运动补偿方法，如图2所示，所述方法包括：
S11、对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值；
S12、根据所述长曝光像素值和短曝光像素值计算运动信息；
运动信息的检测和计算基于原始zigzag方式的图像中当前像素点邻域的N×N像素块实现。高动态范围传感器采集的长曝光像素值与短曝光像素值在这个邻域内存在与曝光时间相同的比例关系，如果场景中存在运动物体，由于运动的影响，不同的曝光时间采集到的像素值就可能会失去这种确定的比例关系，本发明利用这个特点进行图像中运动物体的检测。
如图3所示，输入的5×5像素块内包含不同曝光时间的像素值，每个像素点的位置只包含其中一种曝光时间的像素值。由于拜尔图像中G通道的像素总量占图像像素总量的一半，因此运动检测选取G通道进行计算。
运动检测的基本原理是在被检测的当前像素邻域内进行长曝光像素值与短曝光像素值的比例分析。因此需要对当前像素邻域内G通道进行预插值，在长曝光G通道像素点的位置插值得到该位置的短曝光像素值，在短曝光G通道像素点的位置插值得到该位置的长曝光像素值，之所以称之为G通道预插值，是为了区别于全分辨率恢复长短曝光图像和短曝光图像时进行的完整插值过程。
可选地，所述对当前像素所在区域的G通道像素进行预插值包括：
当前像素为长曝光像素时，对当前像素周围每个G通道位置的短曝光像素进行方向性插值，得到当前像素的短曝光像素值；
当前像素为短曝光像素时，对当前像素周围每个G通道位置的长曝光像素进行方向性插值，得到当前像素的长曝光像素值。
插值方式是以待插值的G通道像素点为中心，在其周围3×3邻域内必然存在与其本身曝光方式不同的四个G通道像素点。例如在图3中，如果对短曝光位置进行预插值，则在其周围存在四个长曝光像素点，g(0,0)，g(0,2)，g(2,0)，g(2,2)，预插值就是利用这四个长曝光像素点进行简单的方向性插值，得到短曝光位置的长曝光像素值。同样，如果对长曝光位置进行预插值，其周围存在四个短曝光像素点G(0,0)，G(0,2)，G(2,0)，G(2,2)，利用这四个短曝光像素点进行简单的方向性插值，得到长曝光位置的短曝光像素值。
对输入的5×5像素块内中心像素周围的四个G通道都进行预插值，原始像素值为长曝光，则预插值得到短曝光，原始像素值为短曝光，则预插值得到长曝光，即可获得中心像素周围每个G通道位置上的长曝光像素值和短曝光像素值。
如果当前像素点是R/B，则在其3×3邻域内存在四个G通道像素点，完成预插值后会得到四个长曝光值与四个短曝光值。如果当前像素点是G，包含其本身，则其3×3邻域内存在五个G通道像素点，完成预插值后会得到五个长曝光值与五个短曝光值。
可选地，所述根据所述长曝光像素值和短曝光像素值计算运动信息包括：
判断当前像素所在区域是否为饱和区域；
当所述当前像素所在区域为非饱和区域时，将所述短曝光像素值乘以曝光比例，再取均值之后与所述长曝光像素值均值取差值，得到运动信息，计算公式如下：
motion＝abs(average(G*exposure ratio)–average(g))
其中，exposure ratio为在当前区域内长曝光像素的曝光时间与短曝光像素的曝光时间的比例。
可选地，所述方法还包括：
当前区域为饱和区域时，将所述average(G*exposure ratio)的值设定为预设的最大值。
将参与运动信息计算的短曝光像素值均乘以曝光比例，取均值之后与长曝光像素值的均值之间的差异用来衡量图像中发生运动的可能性，二者差异越大，表明这个邻域内长曝光像素值与短曝光像素值比例关系偏离越大，发生运动的可能性就越大，二者差异越小，表明这个邻域内长曝光像素值与短曝光像素值比例基本符合预设比例，发生运动的可能性就越小。通过设定运动检测最小阈值和运动检测最大阈值来确定运动是否发生以及运动发生的程度。
在计算运动信息之前，需要对像素值是否饱和进行判断，如果存在饱和像素值，需要对饱和区域进行区别处理，将average(G*exposure ratio)的值设定为预设的最大值，从而避免饱和区域长短曝光像素值之间的比例关系的失衡引起的对运动检测的干扰。
本发明提出运动补偿方法能够对场景中运动物体进行比较准确的检测，有效去除高动态拍照时场景内物体运动引起的鬼影问题。
S13、对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值；
这里全分辨率重建的插值算法区别于步骤S11的预插值算法，主要包括梯度计算、插值方向选择和插值计算三个步骤，下面对所述全分辨率重建的插值算法进行介绍：
(1)梯度计算：
计算梯度之前需要先把原始输入5×5像素块转换5×5长曝光像素块，转换方法是把短曝光位置的像素值乘以相应的曝光比例，基于转换后的5×5长曝光像素块进行梯度计算，梯度信息将指导用于全分辨率重建的方向性插值。使用相应的梯度检测算子获取当前像素点邻域内的水平梯度值(h)，垂直梯度值(v)，斜45度梯度值(45)，斜135度梯度值(135)，四个方向上的梯度值为当前像素点邻域的梯度信息。
(2)插值方向选择
利用梯度计算提取到的梯度信息(h/v/45/135)，进行插值方向判断，插值优先沿着梯度较小的方向进行，有利于对图像高频信息，如边缘、细节的保护，减少图像分辨率的损失。本发明对插值方向有专门的定义方式，具体如下：
在需要进行的插值方向上存在与当前像素曝光时间不同的像素点，则定义为优先插值方向。在需要进行的插值方向上不存在与当前像素曝光时间不同的像素点，则定义为非优先插值方向。
插值方向判断之前，首先进行平坦区域的判断，如果梯度信息满足平坦区域的判断逻辑，插值方向为平坦，平坦区域的插值是非方向性插值，插值方式是计算周围像素值的平均值。
如果梯度信息不符合平坦区域的逻辑，则需要进行方向判断。由于R/B通道和G通道的长短曝光像素排列的位置不同，因此两种情况下的优先插值方向和非优先插值方向也不一样。对于R/B通道，水平和垂直为优先插值方向，斜45度和135度为非优先插值方向。对于G通道，斜45度和135度为优先插值方向，水平和垂直为非优先插值方向。
对于非优先插值方向的选择存在一些限制条件，在下列条件下只能选择优先插值方向：饱和区域、低亮区域、运动区域、非优先插值方向梯度与优先插值方向梯度的比例小于设定的阈值。
满足以上条件时，邻域内的长曝光像素值和短曝光像素值不再保持确定的比例关系，选择非优先插值方向进行插值就可能会出现错误的插值。
(3)插值计算
利用前面所述的插值方向，在输入的5×5像素块内完成当前像素的插值。
当前像素值为R或者B通道长曝光像素时，如果插值方向是水平方向或者垂直方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。如果插值方向是斜向45度方向或者斜向135度方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素进行插值，需要把参与插值的长曝光像素值换算成短曝光像素值，换算方法是除以曝光比例，然后得到当前长曝光位置的短曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
当前像素值为R或者B通道短曝光像素时，如果插值方向是水平方向或者垂直方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。如果插值方向是斜向45度方向或者斜向135度方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素进行插值，需要把参与插值的短曝光像素值换算成长曝光像素值，换算方法是乘以曝光比例，然后得到当前短曝光位置的长曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。
当前像素值为G通道长曝光像素时，如果插值方向是斜向45度方向或者斜向135度方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。如果插值方向是水平方向或者垂直方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素进行插值，需要把参与插值的长曝光像素值换算成短曝光像素值，换算方法是除以曝光比例，然后得到当前长曝光位置的短曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有短曝光像素直接进行插值，得到当前长曝光位置的短曝光像素值。
当前像素值为G通道短曝光像素时，如果插值方向是斜向45度方向或者斜向135度方向，则属于优先插值方向的插值，插值使用5×5像素块内该方向上的长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。如果插值方向是水平方向或者垂直方向，则属于非优先插值方向的插值，插值使用5×5像素块内该方向上的短曝光像素进行插值，需要把参与插值的短曝光像素值换算成长曝光像素值，换算方法是乘以曝光比例，然后得到当前短曝光位置的长曝光像素值。如果当前像素位于平坦区域，没有明显的插值方向，则使用5×5像素块内当前像素周围的所有长曝光像素直接进行插值，得到当前短曝光位置的长曝光像素值。
全分辨率重建算法由硬件实现，可以较好的避免采用软件方案进行多帧融合出现的问题，从而可以有效的在视频中实现高动态范围功能，在图像解析力，图像细节以及运动场景等方面有较好的处理能力，能够提供更高质量的高动态范围图像。
S14、根据所述运动信息、当前像素的长曝光像素值和短曝光像素值进行运动补偿。
可选地，所述根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿包括：
当前像素为长曝光像素时，根据所述运动信息、当前像素所在区域的长曝光像素值和经过全分辨率重建插值计算的短曝光像素值进行运动补偿。
具体地，当输入的5×5像素块中心像素为长曝光像素点时，如图4所示，首先在该像素块内进行运动检测计算得到运动信息(motion)，当前像素为长曝光，需要通过完整的全分辨率恢复的插值算法完成对短曝光像素的插值，得到当前像素位置的短曝光像素值，然后使用检测到的运动信息，长曝光像素值(输入)和短曝光(插值)像素值进行运动补偿处理。
可选地，所述根据所述运动信息、当前像素的长曝光像素值和短曝光像素值进行运动补偿还包括：
当前像素为短曝光像素时，对当前像素所在区域进行频率检测，得到频率信息；
对当前像素所在区域的短曝光像素进行降噪处理；
根据所述频率信息对进行降噪处理后的短曝光像素进行纹理增强；
根据所述运动信息、当前像素所在区域的短曝光像素值和经过全分辨率重建插值计算的长曝光像素值进行运动补偿。
具体地，当输入的5×5像素块中心像素为短曝光像素点时，如图5所示，同样首先在该像素块内进行运动检测计算得到运动信息(motion)，当前像素为短曝光，需要通过完整的全分辨率恢复的插值算法完成对长曝光像素的插值，就得到当前像素位置的长曝光像素值，然后使用检测到的运动信息、短曝光(输入)像素值和长曝光像素值(插值)进行运动补偿处理。
其中，当前像素为短曝光的情况，为降低短曝光图像噪声水平，提升融合后高动态范围图像的质量，可以对输入的短曝光像素进行降噪处理，具体步骤如图5中所示：对当前短曝光像素所在区域进行频率检测；对当前区域中的短曝光像素进行降噪处理；再根据频率检测得到的频率信息进行纹理增强；最后进行运动补偿。
可选地，所述根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿包括：
采用长曝光模式进行运动补偿，所述长曝光模式对输入的长曝光像素值赋予较多权重；
或者，采用短曝光模式进行运动补偿，所述短曝光模式对输入的短曝光像素值赋予较多权重。
具体地，运动补偿去鬼影算法的输入数据为当前像素位置的长曝光像素值(LongData)与短曝光像素值(Short Data)，去鬼影的方法有两种模式可供选择。
长曝光方式(Long Mode)，去鬼影算法对长曝光像素值赋予更多的权重，长曝光模式下最终输出的图像会呈现出自然的运动模糊效果，在亮度水平比较低且运动检测难度较大的场景中，拍照时会有明显较好的效果，在运动补偿区域和非运动补偿区域不会出现明显的过渡不自然的问题。
短曝光方式(Short Mode)，去鬼影算法对短曝光像素值赋予更多的权重，短曝光模式输出的图像能够有效抑制运动物体出现的拖尾和鬼影现象，在运动场景下仍然能拍出清晰自然的图像，在录像中使用短曝光方式也能取得满意的实时高动态范围效果。
本发明提出的两种去鬼影模式，能够适应复杂的运动场景，使用不同的方案满足不同的用户需求，有效消除鬼影，保持清晰自然的高动态范围图像效果。
本发明提供的运动补偿算法完全由硬件实现，支持实时处理，用户开启高动态范围功能拍照时，支持高动态范围实时预览，拍摄后无需等待即可获取拍摄的高动态范围图像，录像时支持高动态范围功能，在图像质量方面有显著的优势。
本发明实施例提供的高动态范围图像运动补偿方法，对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值，根据所述长曝光像素值和短曝光像素值计算运动信息，对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值，根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿。与现有技术相比，本发明通过对同一帧内的长曝光图像和短曝光图像的进行运动检测，能够对场景中运动物体进行比较准确的检测，有效去除高动态拍照时场景内物体运动引起的鬼影问题。
本发明实施例还提供一种高动态范围图像运动补偿装置，如图6所示，所述装置包括：
预插值单元11，用于对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值；
计算单元12，用于根据所述长曝光像素值和短曝光像素值计算运动信息；
插值单元13，用于对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值；
运动补偿单元14，用于根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿。
可选地，所述预插值单元用于当前像素为长曝光像素时，对当前像素周围每个G通道位置的短曝光像素进行方向性插值，得到当前像素的短曝光像素值；
当前像素为短曝光像素时，对当前像素周围每个G通道位置的长曝光像素进行方向性插值，得到当前像素的长曝光像素值。
可选地，所述计算单元12包括：
判断模块，用于判断当前像素所在区域是否为饱和区域；
计算模块，用于当所述当前像素所在区域为非饱和区域时，将所述短曝光像素值乘以曝光比例，再取均值之后与所述长曝光像素值均值取差值，得到运动信息，计算公式如下：
motion＝abs(average(G*exposure ratio)–average(g))
其中，exposure ratio为在当前区域内长曝光像素的曝光时间与短曝光像素的曝光时间的比例。
可选地，所述计算单元12还包括：
设定模块，用于当前区域为饱和区域时，将所述average(G*exposure ratio)的值设定为预设的最大值。
可选地，所述计算单元还包括：
设定模块，用于当前区域为饱和区域时，将所述average(G*exposure ratio)的值设定为预设的最大值。
可选地，所述运动补偿单元14还用于当前像素为短曝光像素时，对当前像素所在区域进行频率检测，得到频率信息；对当前像素所在区域的短曝光像素进行降噪处理；根据所述频率信息对进行降噪处理后的短曝光像素进行纹理增强；根据所述运动信息、当前像素所在区域的短曝光像素值和经过全分辨率重建插值计算的长曝光像素值进行运动补偿。
可选地，所述运动补偿单元14用于采用长曝光模式进行运动补偿，所述长曝光模式对输入的长曝光像素值赋予较多权重；
或者，采用短曝光模式进行运动补偿，所述短曝光模式对输入的短曝光像素值赋予较多权重。
本发明实施例提供的高动态范围图像运动补偿装置，对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值，根据所述长曝光像素值和短曝光像素值计算运动信息，对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值，根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿。与现有技术相比，本发明通过对同一帧内的长曝光图像和短曝光图像的进行运动检测，能够对场景中运动物体进行比较准确的检测，有效去除高动态拍照时场景内物体运动引起的鬼影问题。
本发明实施例还提供一种电子设备，所述电子设备包括上述高动态范围图像运动补偿装置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (15)
1.一种高动态范围图像运动补偿方法，其特征在于，所述方法包括：
对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值；
根据所述长曝光像素值和短曝光像素值计算运动信息；
对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值；
根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿。
2.根据权利要求1所述的方法，其特征在于，所述对当前像素所在区域的G通道像素进行预插值包括：
当前像素为长曝光像素时，对当前像素周围每个G通道位置的短曝光像素进行方向性插值，得到当前像素的短曝光像素值；
当前像素为短曝光像素时，对当前像素周围每个G通道位置的长曝光像素进行方向性插值，得到当前像素的长曝光像素值。
3.根据权利要求1所述的方法，其特征在于，所述根据所述长曝光像素值和短曝光像素值计算运动信息包括：
判断当前像素所在区域是否为饱和区域；
当所述当前像素所在区域为非饱和区域时，将所述短曝光像素值乘以曝光比例，再取均值之后与所述长曝光像素值均值取差值，得到运动信息，计算公式如下：
motion＝abs(average(G*exposure ratio)–average(g))
其中，exposure ratio为在当前区域内长曝光像素的曝光时间与短曝光像素的曝光时间的比例。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当前区域为饱和区域时，将所述average(G*exposure ratio)的值设定为预设的最大值。
5.根据权利要求1所述的方法，其特征在于，所述根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿包括：
当前像素为长曝光像素时，根据所述运动信息、当前像素所在区域的长曝光像素值和经过全分辨率重建插值计算的短曝光像素值进行运动补偿。
6.根据权利要求1所述的方法，其特征在于，所述根据所述运动信息、当前像素的长曝光像素值和短曝光像素值进行运动补偿还包括：
当前像素为短曝光像素时，对当前像素所在区域进行频率检测，得到频率信息；
对当前像素所在区域的短曝光像素进行降噪处理；
根据所述频率信息对进行降噪处理后的短曝光像素进行纹理增强；
根据所述运动信息、当前像素所在区域的短曝光像素值和经过全分辨率重建插值计算的长曝光像素值进行运动补偿。
7.根据权利要求5或6所述的方法，其特征在于，所述根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿包括：
采用长曝光模式进行运动补偿，所述长曝光模式对输入的长曝光像素值赋予较多权重；
或者，采用短曝光模式进行运动补偿，所述短曝光模式对输入的短曝光像素值赋予较多权重。
8.一种高动态范围图像运动补偿装置，其特征在于，所述装置包括：
预插值单元，用于对当前像素所在区域的G通道像素进行预插值，得到当前区域G通道像素的长曝光像素值和短曝光像素值；
计算单元，用于根据所述长曝光像素值和短曝光像素值计算运动信息；
插值单元，用于对当前像素通过全分辨率重建的插值算法进行插值计算，得到当前像素的长曝光像素值和短曝光像素值；
运动补偿单元，用于根据所述运动信息、当前像素所在区域的长曝光像素值和短曝光像素值进行运动补偿。
9.根据权利要求8所述的装置，其特征在于，所述预插值单元用于当前像素为长曝光像素时，对当前像素周围每个G通道位置的短曝光像素进行方向性插值，得到当前像素的短曝光像素值；
当前像素为短曝光像素时，对当前像素周围每个G通道位置的长曝光像素进行方向性插值，得到当前像素的长曝光像素值。
10.根据权利要求8所述的装置，其特征在于，所述计算单元包括：
判断模块，用于判断当前像素所在区域是否为饱和区域；
计算模块，用于当所述当前像素所在区域为非饱和区域时，将所述短曝光像素值乘以曝光比例，再取均值之后与所述长曝光像素值均值取差值，得到运动信息，计算公式如下：
motion＝abs(average(G*exposure ratio)–average(g))
其中，exposure ratio为在当前区域内长曝光像素的曝光时间与短曝光像素的曝光时间的比例。
11.根据权利要求10所述的装置，其特征在于，所述计算单元还包括：
设定模块，用于当前区域为饱和区域时，将所述average(G*exposure ratio)的值设定为预设的最大值。
12.根据权利要求8所述的装置，其特征在于，所述运动补偿单元用于当前像素为长曝光像素时，根据所述运动信息、当前像素所在区域的长曝光像素值和经过全分辨率重建插值计算的短曝光像素值进行运动补偿。
13.根据权利要求8所述的装置，其特征在于，所述运动补偿单元还用于当前像素为短曝光像素时，对当前像素所在区域进行频率检测，得到频率信息；对当前像素所在区域的短曝光像素进行降噪处理；根据所述频率信息对进行降噪处理后的短曝光像素进行纹理增强；根据所述运动信息、当前像素所在区域的短曝光像素值和经过全分辨率重建插值计算的长曝光像素值进行运动补偿。
14.根据权利要求12或13所述的装置，其特征在于，所述运动补偿单元用于采用长曝光模式进行运动补偿，所述长曝光模式对输入的长曝光像素值赋予较多权重；
或者，采用短曝光模式进行运动补偿，所述短曝光模式对输入的短曝光像素值赋予较多权重。
15.一种电子设备，其特征在于，所述电子设备包括如权利要求8至14中任一项所述的高动态范围图像运动补偿装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810392314.9A CN110418065B (zh) | 2018-04-27 | 2018-04-27 | 高动态范围图像运动补偿方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810392314.9A CN110418065B (zh) | 2018-04-27 | 2018-04-27 | 高动态范围图像运动补偿方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110418065A true CN110418065A (zh) | 2019-11-05 |
| CN110418065B CN110418065B (zh) | 2021-03-19 |
Family
ID=68346805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810392314.9A Active CN110418065B (zh) | 2018-04-27 | 2018-04-27 | 高动态范围图像运动补偿方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110418065B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112669241A (zh) * | 2021-01-29 | 2021-04-16 | 成都国科微电子有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113242389A (zh) * | 2021-07-12 | 2021-08-10 | 深圳市艾为智能有限公司 | 用于rccb图像传感器的多帧动态范围扩展方法及系统 |
| CN113327215A (zh) * | 2021-05-28 | 2021-08-31 | 浙江大华技术股份有限公司 | 一种宽动态图像合成方法、装置、电子设备及存储介质 |
| CN113727042A (zh) * | 2020-05-26 | 2021-11-30 | 杭州海康威视数字技术股份有限公司 | 图像处理系统及方法 |
| WO2022041287A1 (zh) * | 2020-08-31 | 2022-03-03 | 华为技术有限公司 | 获取图像的方法、装置、设备及计算机可读存储介质 |
| WO2023065197A1 (zh) * | 2021-10-21 | 2023-04-27 | 华为技术有限公司 | 运动目标检测方法、装置以及检测设备 |
| CN116233607A (zh) * | 2021-12-01 | 2023-06-06 | Oppo广东移动通信有限公司 | 一种多曝光图像处理方法、装置、芯片及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101543056A (zh) * | 2006-12-15 | 2009-09-23 | 诺基亚公司 | 使用多曝光模式的图像稳定化 |
| CN101668125A (zh) * | 2008-09-03 | 2010-03-10 | 索尼株式会社 | 成像装置、固态成像器件、图像处理装置、方法和程序 |
| CN101867727A (zh) * | 2009-04-16 | 2010-10-20 | 华为技术有限公司 | 一种视频处理方法及装置 |
| US20130100314A1 (en) * | 2011-10-06 | 2013-04-25 | Aptina Imaging Corporation | Imaging systems and methods for generating motion-compensated high-dynamic-range images |
| CN103973997A (zh) * | 2013-02-05 | 2014-08-06 | 浙江大华技术股份有限公司 | 一种图像处理方法及装置 |
-
2018
- 2018-04-27 CN CN201810392314.9A patent/CN110418065B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101543056A (zh) * | 2006-12-15 | 2009-09-23 | 诺基亚公司 | 使用多曝光模式的图像稳定化 |
| CN101668125A (zh) * | 2008-09-03 | 2010-03-10 | 索尼株式会社 | 成像装置、固态成像器件、图像处理装置、方法和程序 |
| CN101867727A (zh) * | 2009-04-16 | 2010-10-20 | 华为技术有限公司 | 一种视频处理方法及装置 |
| US20130100314A1 (en) * | 2011-10-06 | 2013-04-25 | Aptina Imaging Corporation | Imaging systems and methods for generating motion-compensated high-dynamic-range images |
| CN103973997A (zh) * | 2013-02-05 | 2014-08-06 | 浙江大华技术股份有限公司 | 一种图像处理方法及装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113727042A (zh) * | 2020-05-26 | 2021-11-30 | 杭州海康威视数字技术股份有限公司 | 图像处理系统及方法 |
| WO2022041287A1 (zh) * | 2020-08-31 | 2022-03-03 | 华为技术有限公司 | 获取图像的方法、装置、设备及计算机可读存储介质 |
| CN114450934A (zh) * | 2020-08-31 | 2022-05-06 | 华为技术有限公司 | 获取图像的方法、装置、设备及计算机可读存储介质 |
| CN112669241A (zh) * | 2021-01-29 | 2021-04-16 | 成都国科微电子有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN112669241B (zh) * | 2021-01-29 | 2023-11-14 | 成都国科微电子有限公司 | 一种图像处理方法、装置、设备及介质 |
| CN113327215A (zh) * | 2021-05-28 | 2021-08-31 | 浙江大华技术股份有限公司 | 一种宽动态图像合成方法、装置、电子设备及存储介质 |
| CN113242389A (zh) * | 2021-07-12 | 2021-08-10 | 深圳市艾为智能有限公司 | 用于rccb图像传感器的多帧动态范围扩展方法及系统 |
| WO2023065197A1 (zh) * | 2021-10-21 | 2023-04-27 | 华为技术有限公司 | 运动目标检测方法、装置以及检测设备 |
| CN116233607A (zh) * | 2021-12-01 | 2023-06-06 | Oppo广东移动通信有限公司 | 一种多曝光图像处理方法、装置、芯片及电子设备 |
| CN116233607B (zh) * | 2021-12-01 | 2024-05-14 | Oppo广东移动通信有限公司 | 一种多曝光图像处理方法、装置、芯片及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110418065B (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110418065A (zh) | 高动态范围图像运动补偿方法、装置及电子设备 | |
| US7511730B2 (en) | Image processing apparatus and method and image pickup apparatus | |
| EP3216216B1 (en) | Methods and systems for multi-view high-speed motion capture | |
| US10762655B1 (en) | Disparity estimation using sparsely-distributed phase detection pixels | |
| US8027534B2 (en) | Image processing apparatus, image processing method, and program | |
| CN101742123B (zh) | 图像处理设备和方法 | |
| EP1662806A1 (en) | Image processing method, image processing apparatus, and computer program | |
| Maimone et al. | Real-time volumetric 3D capture of room-sized scenes for telepresence | |
| US8749699B2 (en) | Method and device for video processing using a neighboring frame to calculate motion information | |
| JP7136080B2 (ja) | 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法 | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| JP7285791B2 (ja) | 画像処理装置、および出力情報制御方法、並びにプログラム | |
| CN108335272B (zh) | 一种拍摄图片的方法及设备 | |
| CN102726037A (zh) | 图像处理装置、摄像装置、程序和图像处理方法 | |
| US11838674B2 (en) | Image processing system, image processing method and storage medium | |
| JP4831760B2 (ja) | ３次元情報検出方法及びその装置 | |
| US11941791B2 (en) | High-dynamic-range image generation with pre-combination denoising | |
| CN103797782A (zh) | 图像处理装置、程序 | |
| US8134613B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| CN103053163A (zh) | 图像生成装置、图像生成系统、方法及程序 | |
| JP3990271B2 (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
| WO2023093281A1 (zh) | 图像处理及模型训练方法及电子设备 | |
| Li et al. | Real-world deep local motion deblurring | |
| US20110069204A1 (en) | Method and apparatus for image correction | |
| JP7374582B2 (ja) | 画像処理装置、画像生成方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 100191, Haidian District, Zhichun Road, Beijing No. 7 to the real building, block B, 18 Applicant after: Beijing Ziguang zhanrui Communication Technology Co.,Ltd. Address before: 100191, Haidian District, Zhichun Road, Beijing No. 7 to the real building, block B, 18 Applicant before: BEIJING SPREADTRUM HI-TECH COMMUNICATIONS TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |