CN111800580B - 一种高动态图像合成方法及存储介质 - Google Patents

一种高动态图像合成方法及存储介质 Download PDF

Info

Publication number
CN111800580B
CN111800580B CN201910274441.3A CN201910274441A CN111800580B CN 111800580 B CN111800580 B CN 111800580B CN 201910274441 A CN201910274441 A CN 201910274441A CN 111800580 B CN111800580 B CN 111800580B
Authority
CN
China
Prior art keywords
exposure image
image frame
moving object
frames
short
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910274441.3A
Other languages
English (en)
Other versions
CN111800580A (zh
Inventor
张圣钦
陈晓矩
林新泉
陈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockchip Electronics Co Ltd
Original Assignee
Rockchip Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockchip Electronics Co Ltd filed Critical Rockchip Electronics Co Ltd
Priority to CN201910274441.3A priority Critical patent/CN111800580B/zh
Publication of CN111800580A publication Critical patent/CN111800580A/zh
Application granted granted Critical
Publication of CN111800580B publication Critical patent/CN111800580B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种高动态图像合成方法及存储介质,所述方法包括以下步骤:获取同一场景的曝光图像帧;将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测;若检测到运动物体,当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧;根据获得的曝光图像帧生成高动态图像时,根据再次采集的N帧长曝光图像帧或短曝光图像帧对运动物体遮挡部位进行合成,形成高动态图像。利用运动的延续性,减少运动物体在长曝光图像或短曝光图像的遮挡面积,减少高动态图像合成时ghost现象出现的概率,提升高动态图像合成时的图像质量。

Description

一种高动态图像合成方法及存储介质
技术领域
本发明涉及图像处理技术领域,特别涉及一种高动态图像合成方法及存储介质。
背景技术
高动态图像是根据不同的曝光时间的LDR(Low-Dynamic Range)图像,利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像,相比普通的图像,可以提供更多的动态范围和图像细节,能够更好的反映人真实环境中的视觉效果。而在当前的高动态图像的合成中,长曝光图像帧、中曝光图像帧、短曝光图像帧的帧数是固定的,目前最常见的是长曝光图像帧、中曝光图像帧、短曝光图像帧各一帧,如果此时长曝光图像帧或者是短曝光图像帧中有物体产生了运动,那么运动物体在长曝光图像帧、中曝光图像帧、短曝光图像帧的相对位置就发生了变化,那么由于长曝光图像帧和短曝光图像帧被运动物体遮挡的范围就不一致了,那么在进行高动态合成的时候,就比较容易发生ghost现象,导致合成后的图像质量下降。
发明内容
为此,需要提供一种高动态图像合成方法及存储介质,解决当长曝光图像帧或短曝光图像帧中存在运动物体时,生成高动态图像时容易发生ghost现象,导致合成后的图像质量下降的问题。
为实现上述目的,发明人提供了一种高动态图像合成方法,包括以下步骤:
获取同一场景的曝光图像帧,所述曝光图像帧包括长曝光图像帧、中曝光图像帧及短曝光图像帧各一帧;
将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测;
若没有检测到运动物体,则根据获得的曝光图像帧进行合成获得高动态图像;
若检测到运动物体,当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧;
根据获得的曝光图像帧生成高动态图像时,根据再次采集的N帧长曝光图像帧或短曝光图像帧对运动物体遮挡部位进行合成,形成高动态图像。
进一步优化,所述“将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测”具体包括以下步骤:
将长曝光图像帧、中曝光图像帧及短曝光图像帧根据曝光参数,调整至同一曝光水平;
将调整后的长曝光图像帧、调整后的中曝光图像帧及调整后短曝光图像帧进行分块;
将调整后的长曝光图像帧及调整后的短曝光图像帧的块与调整后的中曝光图像帧之间对应块上的像素点进行相减,并得到相减之后差的和的绝对值;
将得到的绝对值与设置的阈值进行对比,若超过阈值,则检测到该块上具有运动物体。
进一步优化,所述步骤“根据再次采集的N帧长曝光图像帧或短曝光图像帧对运动物体遮挡部位进行合成”具体包括以下步骤:
将长曝光图像帧或短曝光图像帧上检测到运动物体的块标记为运动块;
将再采集的N帧长曝光图像帧或短曝光图像帧进行分块,并根据运动块对再采集的N帧长曝光图像帧或短曝光图像帧上与运动块相对应的块上进行运动物体检测,当检测到再采集的N帧长曝光图像帧或短曝光图像帧上的块不存在运动物体时,则利用该块进行对运动物体遮挡部位进行合成。
进一步优化,所述步骤“当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧”具体包括以下步骤:
当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧。
进一步优化,所述“当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧”具体包括:
通过对检测到运动物体的长曝光图像帧或短曝光图像帧进行分块,并对运动物体所在的块进行标记为运动块;
对标记的运动块进行图像的腐蚀和膨胀操作;
计算出运动块与非运动块的比例;
根据计算出的比例,采集相应帧数的长曝光图像帧或短曝光图像帧。
发明人还提供了另一个技术方案:一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取同一场景的曝光图像帧,所述曝光图像帧包括长曝光图像帧、中曝光图像帧及短曝光图像帧各一帧;
将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测;
若没有检测到运动物体,则根据获得的曝光图像帧进行合成获得高动态图像;
若检测到运动物体,当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧;
根据获得的曝光图像帧生成高动态图像时,根据再次采集的N帧长曝光图像帧或短曝光图像帧对运动物体遮挡部位进行合成,形成高动态图像。
进一步优化,所述计算机程序被处理器执行步骤“将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测”时,具体执行以下步骤:
将长曝光图像帧、中曝光图像帧及短曝光图像帧根据曝光参数,调整至同一曝光水平;
将调整后的长曝光图像帧、调整后的中曝光图像帧及调整后短曝光图像帧进行分块;
将调整后的长曝光图像帧及调整后的短曝光图像帧的块与调整后的中曝光图像帧之间对应块上的像素点进行相减,并得到相减之后差的和的绝对值;
将得到的绝对值与设置的阈值进行对比,若超过阈值,则检测到该块上具有运动物体。
进一步优化,所述计算机程序被处理器执行步骤“根据再次采集的N帧曝光图像帧对运动物体遮挡部位进行合成形成新的曝光图像帧”时,具体执行以下步骤:
将长曝光图像帧或短曝光图像帧上检测到运动物体的块标记为运动块;
将再采集的N帧长曝光图像帧或短曝光图像帧进行分块,并根据运动块对再采集的N帧长曝光图像帧或短曝光图像帧上与运动块相对应的块上进行运动物体检测,当检测到再采集的N帧长曝光图像帧或短曝光图像帧上的块不存在运动物体时,则利用该块进行对运动物体遮挡部位进行合成
进一步优化,所述计算机程序被处理器执行步骤“当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧”时,具体执行以下步骤:
当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧。
进一步优化,所述计算机程序被处理器执行步骤“当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧”时,具体执行以下步骤:
通过对检测到运动物体的长曝光图像帧或短曝光图像帧进行分块,并对运动物体所在的块进行标记为运动块;
对标记的运动块进行图像的腐蚀和膨胀操作;
计算出运动块与非运动块的比例;
根据计算出的比例,采集相应帧数的长曝光图像帧或短曝光图像帧。
区别于现有技术,上述技术方案,将运动物体检测引入到合成高动态图像的曝光过程中,针对运动物体发生在长曝光图像帧或者短曝光图像帧,选择性地增加短曝光图像帧或者是长曝光图像帧,利用运动的延续性,减少运动物体在长曝光图像或短曝光图像的遮挡面积,减少高动态图像合成时ghost现象出现的概率,提升高动态图像合成时的图像质量。
附图说明
图1为具体实施方式所述高动态图像合成方法的一种流程示意图;
图2为具体实施方式所述存储介质的一种结构示意图。
附图标记说明:
200、存储介质。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果,以下结合具体实施例并配合附图详予说明。
请参阅图1,本实施例所述一种高动态图像合成方法,包括以下步骤:
步骤S110:获取同一场景的曝光图像帧,所述曝光图像帧包括长曝光图像帧、中曝光图像帧及短曝光图像帧各一帧;
步骤S120:将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测,判断是否检测到运动物体;将运动物体检测引入到高动态图像合成的曝光过程中,对长曝光图像帧及短曝光图像帧进行运动物体检测。其中,对于运动物体检测具体步骤如下:
将长曝光图像帧、中曝光图像帧及短曝光图像帧根据曝光参数,调整至同一曝光水平;
将调整后的长曝光图像帧、调整后的中曝光图像帧及调整后短曝光图像帧进行分块;
将调整后的长曝光图像帧及调整后的短曝光图像帧的块与调整后的中曝光图像帧之间对应块上的像素点进行相减,并得到相减之后差的和的绝对值;
将得到的绝对值与设置的阈值进行对比,若超过阈值,则检测到该块上具有运动物体。
首先通过将获得长曝光图像帧、中曝光图像帧及短曝光图像帧根据曝光参数,调整至同一曝光水平;经过调整后的长曝光图像帧、中曝光图像帧及短曝光图像帧才能进行运动物体检测;通过以中曝光图像帧为参考图像,对调整后的长曝光图像帧、中曝光图像帧及短曝光图像帧进行分块,将调整后的长曝光图像帧及短曝光图像帧分块后的每一个块与调整后的中曝光图像帧分块后的每一个块一一对应;然后根据调整后的中曝光图像帧对长曝光图像帧及短曝光图像帧分别进行运动物体检测,分别将调整后的长曝光图像帧及短曝光图像帧的每一个块上的像素点与中曝光图像帧上对应的块的像素点进行相减,求调整后的长曝光图像帧及短曝光图像帧的每一个块的像素点相减后差的和的绝对值,如长曝光图像帧上的块A及短曝光图像帧上的块C与中曝光图像帧上的块B相对应,分别计算块A上的像素点与块B上的像素点相减后的和的绝对值及计算块C上的像素点与块B上的像素点相减后的和的绝对值,然后判断计算得到的绝对值是否超过预设值,当超过预设的阈值时,则该块上检测到运动物体,若未超过预设的阈值,则该快上未检测到运动物体。其中,可以根据不同曝光水平设置一条阈值曲线,实现运动物体检测更准确。
若没有检测到运动物体,则执行步骤S130:根据获得的曝光图像帧进行合成获得高动态图像;若没有检测到运动物体,则只需要获得长曝光图像帧、中曝光图像帧及短曝光图像帧各一帧,直接获得的曝光图像帧进行合成生成高动态图像。
若检测到运动物体,则执行步骤S140:当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧;而当检测到运动物体时,即检测到长曝光图像帧或短曝光图像帧的某个块上检测到运动物体;当检测到运动物体发生在长曝光图像帧中时,需要通过短曝光图像帧进行均衡,当检测到运动物体发生在短曝光图像帧中时,需要通过长曝光图像帧进行均衡,则先判断运动物体发生在长曝光图像中还是再短曝光图像中,进而再采集对应的短曝光图像帧或长曝光图像帧N帧,其中N大于等于2,进一步优化,2≤N≤5。具体的,为了获得合适帧数的短曝光图像帧或长曝光图像帧N帧,所述步骤“当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧”具体包括以下步骤:当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧。根据运动物体的遮挡面积获得相应张数的短曝光图像帧或长曝光图像帧,避免发生由于短曝光图像帧或长曝光图像帧采集的帧数不足导致对于遮挡部位的合成失败,或避免获取帧数过多造成资源浪费。
步骤S150:根据获得的曝光图像帧生成高动态图像时,根据再次采集的N帧长曝光图像帧或短曝光图像帧对运动物体遮挡部位进行合成,形成高动态图像。当运动物体发生在长曝光图像帧或短曝光图像帧时,获得对应的N张短曝光图像帧或短曝光图像帧后,利用运动的运动惯性,将运动物体对长曝光图像帧或短曝光图像帧中的遮挡区域进行填充。其中,根据再次采集的N帧长曝光图像帧或短曝光图像帧对运动物体遮挡部位进行合成具体包括以下步骤:
将长曝光图像帧或短曝光图像帧上检测到运动物体的块标记为运动块;
将再采集的N帧长曝光图像帧或短曝光图像帧进行分块,并根据运动块对再采集的N帧长曝光图像帧或短曝光图像帧上与运动块相对应的块上进行运动物体检测,当检测到再采集的N帧长曝光图像帧或短曝光图像帧上的块不存在运动物体时,则利用该块进行对运动物体遮挡部位进行合成。
通过将在长曝光图像帧或短曝光图像帧上检测到运动物体的块标记为运动块,对再采集的N帧长曝光图像帧或短曝光图像帧与运动块相对应位置的块上进行运动物体检测,寻找最相近的非运动块,然后利用这些非运动快实现对遮挡部位的合成。其中可以根据N帧长曝光图像帧或短曝光图像帧对原先的长曝光图像帧或短曝光图像帧上的遮挡部位进行合成,然后根据合成后的长曝光图像帧或短曝光图像帧进行合成生成高动态图像,或者在高动态图像合成的过程中,利用采集的N帧长曝光图像帧或短曝光图像帧对遮挡部位进行合成,最终生成高动态图像。
将运动物体检测引入到合成高动态图像的曝光过程中,针对运动物体发生在长曝光图像帧或者短曝光图像帧,选择性地增加短曝光图像帧或者是长曝光图像帧,利用运动的延续性,减少运动物体在长曝光图像或短曝光图像的遮挡面积,减少高动态图像合成时ghost现象出现的概率,提升高动态图像合成时的图像质量。
在本实施例中,为了去除部分噪声影响,所述“当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧”具体包括:
通过对检测到运动物体的长曝光图像帧或短曝光图像帧进行分块,并对运动物体所在的块进行标记为运动块;
对标记的运动块进行图像的腐蚀和膨胀操作;
计算出运动块与非运动块的比例;
根据计算出的比例,采集相应帧数的长曝光图像帧或短曝光图像帧。
通过对标记的运动块进行图像的腐蚀和膨胀操作,去除部分噪声的影响,计算出运动块与非运动快的比例,以此可以判断出再采集长曝光图像帧或短曝光图像帧的帧数。
请参阅图2,在另一个实施例中,一种存储介质200,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取同一场景的曝光图像帧,所述曝光图像帧包括长曝光图像帧、中曝光图像帧及短曝光图像帧各一帧;
将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测;将运动物体检测引入到高动态图像合成的曝光过程中,对长曝光图像帧及短曝光图像帧进行运动物体检测。其中,对于运动物体检测具体步骤如下:
将长曝光图像帧、中曝光图像帧及短曝光图像帧根据曝光参数,调整至同一曝光水平;
将调整后的长曝光图像帧、调整后的中曝光图像帧及调整后短曝光图像帧进行分块;
将调整后的长曝光图像帧及调整后的短曝光图像帧的块与调整后的中曝光图像帧之间对应块上的像素点进行相减,并得到相减之后差的和的绝对值;
将得到的绝对值与设置的阈值进行对比,若超过阈值,则检测到该块上具有运动物体。
首先通过将获得长曝光图像帧、中曝光图像帧及短曝光图像帧根据曝光参数,调整至同一曝光水平;经过调整后的长曝光图像帧、中曝光图像帧及短曝光图像帧才能进行运动物体检测;通过以中曝光图像帧为参考图像,对调整后的长曝光图像帧、中曝光图像帧及短曝光图像帧进行分块,将调整后的长曝光图像帧及短曝光图像帧分块后的每一个块与调整后的中曝光图像帧分块后的每一个块一一对应;然后根据调整后的中曝光图像帧对长曝光图像帧及短曝光图像帧分别进行运动物体检测,分别将调整后的长曝光图像帧及短曝光图像帧的每一个块上的像素点与中曝光图像帧上对应的块的像素点进行相减,求调整后的长曝光图像帧及短曝光图像帧的每一个块的像素点相减后差的和的绝对值,如长曝光图像帧上的块A及短曝光图像帧上的块C与中曝光图像帧上的块B相对应,分别计算块A上的像素点与块B上的像素点相减后的和的绝对值及计算块C上的像素点与块B上的像素点相减后的和的绝对值,然后判断计算得到的绝对值是否超过预设值,当超过预设的阈值时,则该块上检测到运动物体,若未超过预设的阈值,则该快上未检测到运动物体。其中,可以根据不同曝光水平设置一条阈值曲线,实现运动物体检测更准确。
若没有检测到运动物体,则根据获得的曝光图像帧进行合成获得高动态图像;若没有检测到运动物体,则只需要获得长曝光图像帧、中曝光图像帧及短曝光图像帧各一帧,直接获得的曝光图像帧进行合成生成高动态图像。
若检测到运动物体,当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧;而当检测到运动物体时,即检测到长曝光图像帧或短曝光图像帧的某个块上检测到运动物体;当检测到运动物体发生在长曝光图像帧中时,需要通过短曝光图像帧进行均衡,当检测到运动物体发生在短曝光图像帧中时,需要通过长曝光图像帧进行均衡,则先判断运动物体发生在长曝光图像中还是再短曝光图像中,进而再采集对应的短曝光图像帧或长曝光图像帧N帧,其中N大于等于2,进一步优化,2≤N≤5。具体的,为了获得合适帧数的短曝光图像帧或长曝光图像帧N帧,所述计算机程序被处理器执行步骤“当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧”时,具体执行以下步骤:当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧。根据运动物体的遮挡面积获得相应张数的短曝光图像帧或长曝光图像帧,避免发生由于短曝光图像帧或长曝光图像帧采集的帧数不足导致对于遮挡部位的合成失败,或避免获取帧数过多造成资源浪费。
根据获得的曝光图像帧生成高动态图像时,根据再次采集的N帧长曝光图像帧或短曝光图像帧对运动物体遮挡部位进行合成,形成高动态图像。当运动物体发生在长曝光图像帧或短曝光图像帧时,获得对应的N张短曝光图像帧或短曝光图像帧后,利用运动的运动惯性,将运动物体对长曝光图像帧或短曝光图像帧中的遮挡区域进行填充。其中,根据再次采集的N帧长曝光图像帧或短曝光图像帧对运动物体遮挡部位进行合成具体包括以下步骤:
将长曝光图像帧或短曝光图像帧上检测到运动物体的块标记为运动块;
将再采集的N帧长曝光图像帧或短曝光图像帧进行分块,并根据运动块对再采集的N帧长曝光图像帧或短曝光图像帧上与运动块相对应的块上进行运动物体检测,当检测到再采集的N帧长曝光图像帧或短曝光图像帧上的块不存在运动物体时,则利用该块进行对运动物体遮挡部位进行合成。
通过将在长曝光图像帧或短曝光图像帧上检测到运动物体的块标记为运动块,对再采集的N帧长曝光图像帧或短曝光图像帧与运动块相对应位置的块上进行运动物体检测,寻找最相近的非运动块,然后利用这些非运动快实现对遮挡部位的合成。其中可以根据N帧长曝光图像帧或短曝光图像帧对原先的长曝光图像帧或短曝光图像帧上的遮挡部位进行合成,然后根据合成后的长曝光图像帧或短曝光图像帧进行合成生成高动态图像,或者在高动态图像合成的过程中,利用采集的N帧长曝光图像帧或短曝光图像帧对遮挡部位进行合成,最终生成高动态图像。
将运动物体检测引入到合成高动态图像的曝光过程中,针对运动物体发生在长曝光图像帧或者短曝光图像帧,选择性地增加短曝光图像帧或者是长曝光图像帧,利用运动的延续性,减少运动物体在长曝光图像或短曝光图像的遮挡面积,减少高动态图像合成时ghost现象出现的概率,提升高动态图像合成时的图像质量。
在本实施例中,为了去除部分噪声影响,所述“当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧”具体包括:
通过对检测到运动物体的长曝光图像帧或短曝光图像帧进行分块,并对运动物体所在的块进行标记为运动块;
对标记的运动块进行图像的腐蚀和膨胀操作;
计算出运动块与非运动块的比例;
根据计算出的比例,采集相应帧数的长曝光图像帧或短曝光图像帧。
通过对标记的运动块进行图像的腐蚀和膨胀操作,去除部分噪声的影响,计算出运动块与非运动快的比例,以此可以判断出再采集长曝光图像帧或短曝光图像帧的帧数。
需要说明的是,尽管在本文中已经对上述各实施例进行了描述,但并非因此限制本发明的专利保护范围。因此,基于本发明的创新理念,对本文所述实施例进行的变更和修改,或利用本发明说明书及附图内容所作的等效结构或等效流程变换,直接或间接地将以上技术方案运用在其他相关的技术领域,均包括在本发明的专利保护范围之内。

Claims (10)

1.一种高动态图像合成方法,其特征在于,包括以下步骤:
获取同一场景的曝光图像帧,所述曝光图像帧包括长曝光图像帧、中曝光图像帧及短曝光图像帧各一帧;
将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测;
若没有检测到运动物体,则根据获得的曝光图像帧进行合成获得高动态图像;
若检测到运动物体,当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧;
根据获得的曝光图像帧生成高动态图像时,根据再次采集的N帧短曝光图像帧对运动物体遮挡部位进行合成,形成高动态图像;
当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧;
根据获得的曝光图像帧生成高动态图像时,根据再次采集的N帧长曝光图像帧对运动物体遮挡部位进行合成,形成高动态图像。
2.根据权利要求1所述高动态图像合成方法,其特征在于,所述“将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测”具体包括以下步骤:
将长曝光图像帧、中曝光图像帧及短曝光图像帧根据曝光参数,调整至同一曝光水平;
将调整后的长曝光图像帧、调整后的中曝光图像帧及调整后短曝光图像帧进行分块;
将调整后的长曝光图像帧及调整后的短曝光图像帧的块与调整后的中曝光图像帧之间对应块上的像素点进行相减,并得到相减之后差的和的绝对值;
将得到的绝对值与设置的阈值进行对比,若超过阈值,则检测到该块上具有运动物体。
3.根据权利要求2所述高动态图像合成方法,其特征在于,所述步骤“根据再次采集的N帧长曝光图像帧或短曝光图像帧对运动物体遮挡部位进行合成”具体包括以下步骤:
将长曝光图像帧或短曝光图像帧上检测到运动物体的块标记为运动块;
将再采集的N帧长曝光图像帧或短曝光图像帧进行分块,并根据运动块对再采集的N帧长曝光图像帧或短曝光图像帧上与运动块相对应的块上进行运动物体检测,当检测到再采集的N帧长曝光图像帧或短曝光图像帧上的块不存在运动物体时,则利用该块进行对运动物体遮挡部位进行合成。
4.根据权利要求1所述高动态图像合成方法,其特征在于,所述步骤“当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧”具体包括以下步骤:
当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧。
5.根据权利要求4所述高动态图像合成方法,其特征在于,所述“当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧”具体包括:
通过对检测到运动物体的长曝光图像帧或短曝光图像帧进行分块,并对运动物体所在的块进行标记为运动块;
对标记的运动块进行图像的腐蚀和膨胀操作;
计算出运动块与非运动块的比例;
根据计算出的比例,当运动物体发生在长曝光图像帧中时,采集相应帧数的短曝光图像帧,运动物体发生在短曝光图像帧中时,采集相应帧数的长曝光图像帧。
6.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现以下步骤:
获取同一场景的曝光图像帧,所述曝光图像帧包括长曝光图像帧、中曝光图像帧及短曝光图像帧各一帧;
将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测;
若没有检测到运动物体,则根据获得的曝光图像帧进行合成获得高动态图像;
若检测到运动物体,当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧;
根据获得的曝光图像帧生成高动态图像时,根据再次采集的N帧短曝光图像帧对运动物体遮挡部位进行合成,形成高动态图像;
当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧;
根据获得的曝光图像帧生成高动态图像时,根据再次采集的N帧长曝光图像帧对运动物体遮挡部位进行合成,形成高动态图像。
7.根据权利要求6所述存储介质,其特征在于,所述计算机程序被处理器执行步骤“将中曝光图像帧作为参考图像,对长曝光图像帧及短曝光图像帧进行运动物体检测”时,具体执行以下步骤:
将长曝光图像帧、中曝光图像帧及短曝光图像帧根据曝光参数,调整至同一曝光水平;
将调整后的长曝光图像帧、调整后的中曝光图像帧及调整后短曝光图像帧进行分块;
将调整后的长曝光图像帧及调整后的短曝光图像帧的块与调整后的中曝光图像帧之间对应块上的像素点进行相减,并得到相减之后差的和的绝对值;
将得到的绝对值与设置的阈值进行对比,若超过阈值,则检测到该块上具有运动物体。
8.根据权利要求7所述存储介质,其特征在于,所述计算机程序被处理器执行步骤“根据再次采集的N帧曝光图像帧对运动物体遮挡部位进行合成形成新的曝光图像帧”时,具体执行以下步骤:
将长曝光图像帧或短曝光图像帧上检测到运动物体的块标记为运动块;
将再采集的N帧长曝光图像帧或短曝光图像帧进行分块,并根据运动块对再采集的N帧长曝光图像帧或短曝光图像帧上与运动块相对应的块上进行运动物体检测,当检测到再采集的N帧长曝光图像帧或短曝光图像帧上的块不存在运动物体时,则利用该块进行对运动物体遮挡部位进行合成。
9.根据权利要求6所述存储介质,其特征在于,所述计算机程序被处理器执行步骤“当运动物体发生在长曝光图像帧中时,则再次采集N张短曝光图像帧,当运动物体发生在短曝光图像帧中时,则再次采集N张长曝光图像帧”时,具体执行以下步骤:
当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧。
10.根据权利要求9所述存储介质,其特征在于,所述计算机程序被处理器执行步骤“当运动物体发生在长曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数的短曝光图像帧,当运动物体发生在短曝光图像帧中时,则根据运动物体遮挡面积,再次采集相对应张数长曝光图像帧”时,具体执行以下步骤:
通过对检测到运动物体的长曝光图像帧或短曝光图像帧进行分块,并对运动物体所在的块进行标记为运动块;
对标记的运动块进行图像的腐蚀和膨胀操作;
计算出运动块与非运动块的比例;
根据计算出的比例,根据计算出的比例,当运动物体发生在长曝光图像帧中时,采集相应帧数的短曝光图像帧,运动物体发生在短曝光图像帧中时,采集相应帧数的长曝光图像帧。
CN201910274441.3A 2019-04-08 2019-04-08 一种高动态图像合成方法及存储介质 Active CN111800580B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910274441.3A CN111800580B (zh) 2019-04-08 2019-04-08 一种高动态图像合成方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910274441.3A CN111800580B (zh) 2019-04-08 2019-04-08 一种高动态图像合成方法及存储介质

Publications (2)

Publication Number Publication Date
CN111800580A CN111800580A (zh) 2020-10-20
CN111800580B true CN111800580B (zh) 2021-07-09

Family

ID=72805265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910274441.3A Active CN111800580B (zh) 2019-04-08 2019-04-08 一种高动态图像合成方法及存储介质

Country Status (1)

Country Link
CN (1) CN111800580B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116437222B (zh) * 2021-12-29 2024-04-19 荣耀终端有限公司 图像处理方法与电子设备
CN117119318A (zh) * 2023-02-20 2023-11-24 荣耀终端有限公司 图像处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507160A (zh) * 2017-08-22 2017-12-22 努比亚技术有限公司 一种图像融合方法、终端及计算机可读存储介质
CN108541374A (zh) * 2015-12-28 2018-09-14 华为技术有限公司 一种图像融合方法、装置及终端设备
CN109005361A (zh) * 2018-08-06 2018-12-14 Oppo广东移动通信有限公司 控制方法、装置、成像设备、电子设备及可读存储介质
CN109040603A (zh) * 2018-10-15 2018-12-18 Oppo广东移动通信有限公司 高动态范围图像获取方法、装置及移动终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7554588B2 (en) * 2005-02-01 2009-06-30 TransChip Israel, Ltd. Dual exposure for image sensor
US8237813B2 (en) * 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
CN107395898B (zh) * 2017-08-24 2021-01-15 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107592471A (zh) * 2017-10-13 2018-01-16 维沃移动通信有限公司 一种高动态范围图像拍摄方法及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108541374A (zh) * 2015-12-28 2018-09-14 华为技术有限公司 一种图像融合方法、装置及终端设备
CN107507160A (zh) * 2017-08-22 2017-12-22 努比亚技术有限公司 一种图像融合方法、终端及计算机可读存储介质
CN109005361A (zh) * 2018-08-06 2018-12-14 Oppo广东移动通信有限公司 控制方法、装置、成像设备、电子设备及可读存储介质
CN109040603A (zh) * 2018-10-15 2018-12-18 Oppo广东移动通信有限公司 高动态范围图像获取方法、装置及移动终端

Also Published As

Publication number Publication date
CN111800580A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
US9202263B2 (en) System and method for spatio video image enhancement
KR101633377B1 (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
US20140270487A1 (en) Method and apparatus for processing image
KR101811718B1 (ko) 영상 처리 방법 및 장치
CN108416754B (zh) 一种自动去除鬼影的多曝光图像融合方法
CN112288642A (zh) 鬼影检测方法、图像融合方法及对应装置
US20150279006A1 (en) Method and apparatus for reducing noise of image
JP3611773B2 (ja) ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
US10269099B2 (en) Method and apparatus for image processing
CN110418065B (zh) 高动态范围图像运动补偿方法、装置及电子设备
CN111800580B (zh) 一种高动态图像合成方法及存储介质
JPWO2017047494A1 (ja) 画像処理装置
CN109035287B (zh) 前景图像提取方法和装置、运动车辆识别方法和装置
JPWO2006025396A1 (ja) 画像処理装置および画像処理プログラム
CN112819721B (zh) 一种图像彩色噪声降噪的方法和系统
US20110069204A1 (en) Method and apparatus for image correction
JP2004088234A (ja) ノイズ低減装置
CN1622638A (zh) 一种视频监控系统中的图像亮度修正方法
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
JP2002223374A (ja) ノイズ除去装置およびノイズ除去方法
JPS5917579B2 (ja) 動補正ノイズ低減方式
CN111652821A (zh) 基于梯度信息的微光视频图像降噪处理方法、装置和设备
JP5059855B2 (ja) 大域的動き推定方法
JP2011171795A (ja) ノイズ低減装置
KR20120060278A (ko) 이미지 시그널 프로세서의 자동 밝기 조절 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 350003 building 18, No.89, software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant after: Ruixin Microelectronics Co., Ltd

Address before: 350003 building 18, No.89, software Avenue, Gulou District, Fuzhou City, Fujian Province

Applicant before: Fuzhou Rockchips Electronics Co.,Ltd.

GR01 Patent grant
GR01 Patent grant