CN112581415A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112581415A
CN112581415A CN202011315377.8A CN202011315377A CN112581415A CN 112581415 A CN112581415 A CN 112581415A CN 202011315377 A CN202011315377 A CN 202011315377A CN 112581415 A CN112581415 A CN 112581415A
Authority
CN
China
Prior art keywords
region
processed
images
frames
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011315377.8A
Other languages
English (en)
Inventor
陈远鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202011315377.8A priority Critical patent/CN112581415A/zh
Publication of CN112581415A publication Critical patent/CN112581415A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像处理方法、装置、电子设备及存储介质，该方法包括：在获取到不同曝光时间的至少两帧图像后，生成至少两帧图像之间的鬼影掩膜；对至少两帧图像进行融合，得到融合图像；从所述至少两帧图像中确定参考帧，并根据鬼影掩膜，分别确定融合图像的待处理区域和参考帧中的待处理区域；根据融合图像的待处理区域，对参考帧中的待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域；根据颜色变换区域，对融合图像中的待处理区域进行处理。本发明由于是基于局部区域进行操作，泛化能力较强，提高了多种场景中融合图像的效果。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
真实世界的场景中往往包含丰富的亮度、色彩、强度等诸多图像信息，但传统的数字图像获取技术的表现能力有限，数字图像无法准确呈现出真实场景的全部信息，由此产生了高动态范围(High Dynamic Range，HDR)图像合成技术。然而，现实生活中的场景往往是动态的，一旦场景在拍摄过程中发生任何改变，如运动物体的闯入，那么在最终的合成图像中就会呈现模糊或重影现象，这种现象称为“鬼影”。由于室外拍摄的场景大多为动态场景，运动物体不可避免，因此研究如何消除合成图像中的鬼影至关重要。
现有技术中，在解决针对运动目标造成的“鬼影”现象时，可以采用基于梯度域的光流(optical flow)方法或者采用基于能量的光流方法。基于梯度域的光流方法是计算运动区域的运动向量，根据向量相对帧的图像作一致性处理，但是只适用于运动幅度较小的场景。基于能量的光流方法可以同时进行图像对齐与鬼影去除，但是在运动目标运动幅度较大及运动目标被遮挡的情况下HDR成像效果不好。可见，在进行HDR合成时现有技术的方式不能很好的解决运动目标运动幅度较大和运动目标被遮挡情况下的鬼影现象。
发明内容
鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理方法、装置、电子设备及存储介质。
依据本发明实施例的第一方面，提供了一种图像处理方法，包括：
在获取到不同曝光时间的至少两帧图像后，生成所述至少两帧图像之间的鬼影掩膜；
对所述至少两帧图像进行融合，得到融合图像；
从所述至少两帧图像中确定参考帧，并根据所述鬼影掩膜，分别确定所述融合图像的待处理区域和所述参考帧中的待处理区域；
根据所述融合图像的待处理区域，对所述参考帧中的待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域；
根据所述颜色变换区域，对所述融合图像中的待处理区域进行处理。
依据本发明实施例的第二方面，提供了一种图像处理装置，包括：
运动检测模块，用于在获取到不同曝光时间的至少两帧图像后，生成所述至少两帧图像之间的鬼影掩膜；
融合模块，用于对所述至少两帧图像进行融合，得到融合图像；
处理区域确定模块，用于从所述至少两帧图像中确定参考帧，并根据所述融合图像和鬼影掩膜，分别确定所述融合图像的待处理区域和所述参考帧中的待处理区域；
颜色变换模块，用于根据所述融合图像的待处理区域，对所述参考帧中的待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域；
区域处理模块，用于根据所述颜色变换区域，对所述融合图像中的待处理区域进行处理。
依据本发明实施例的第三方面，提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面中所述的图像处理方法。
依据本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的图像处理方法。
本发明实施例提供的图像处理方法、装置、电子设备及存储介质，通过在获取到不同曝光时间的至少两帧图像后，生成至少两帧图像之间的鬼影掩膜，对至少两帧图像进行融合，得到融合图像，从至少两帧图像中确定参考帧，并根据鬼影掩膜，分别确定融合图像的待处理区域和参考帧中的待处理区域，根据融合图像的待处理区域对参考帧中待处理区域进行颜色变换，根据颜色变换结区域对融合图像中的待处理区域进行处理，由于通过对参考帧待处理区域进行颜色变换后来对融合图像的待处理区域进行处理，可以有效去除融合图像中鬼影，且可以解决颜色异常的问题，而且由于是基于局部区域进行操作，泛化能力较强，在运动目标运动幅度较大或者运动目标被遮挡的情况下也能很好的去除鬼影，提高了融合图像的效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1是本发明实施例提供的一种图像处理方法的步骤流程图；
图2是本发明实施例中对融合图像待处理区域和对参考帧待处理区域进行分块的示意图；
图3是本发明实施例提供的一种图像处理装置的结构框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种图像处理方法的步骤流程图，该方法可以应用于对多帧图像进行高动态范围(High Dynamic Range，HDR)融合的场景中，以有效去除其中的鬼影，如图1所示，该方法可以包括：
步骤101，在获取到不同曝光时间的至少两帧图像后，生成所述至少两帧图像之间的鬼影掩膜。
在对目标场景进行拍摄时，可以获取针对目标场景的至少两帧图像，所述至少两帧图像的曝光时间各不相同，以便于对至少两帧图像进行HDR融合处理，使得融合后图像曝光亮度合适。为了获得较好的融合效果需要确定至少两帧图像中的运动目标并确定鬼影区域，这时可以使用运动检测算法对至少两帧图像进行运动检测，以确定所述至少两帧图像中的运动目标，从而确定运动目标形成的运动区域，根据运动区域生成鬼影掩膜。运动检测算法例如可以为背景差分法、帧间差分法或光流法等。
在本发明的一个实施例中，所述生成所述至少两帧图像之间的鬼影掩膜，包括：对所述至少两帧图像进行对齐处理；对对齐后的至少两帧图像进行运动检测，并根据运动检测结果生成所述至少两帧图像之间的鬼影掩膜。
在对至少两帧图像进行融合处理前，通过先将至少两帧图像进行对齐，以便于基于对齐后的至少两帧图像进行融合处理和去除鬼影的处理。
在对至少两帧图像进行对齐处理时，可以从至少两帧图像中选取一帧图像作为参考图像，然后分别将其他帧图像与该参考图像进行对齐。在将一帧图像与该参考图像进行对齐时，分别提取该帧图像与参考图像各自的特征点，对该帧图像与参考图像的特征点集进行匹配，得到最优匹配，再利用仿射变换或透视变换等优化两幅图像之间的对应关系，从而求得变换参数，之后利用变换参数，将该帧图像变形为与参考图像同样的空间布局，从而得到对齐后的该帧图像与参考图像。
在本发明的一个实施例中，对所述至少两帧图像进行对齐处理，可选包括：通过增强相关系数算法对所述至少两帧图像进行对齐处理。
在对至少两帧图像进行对齐处理时，使用增强相关系数(Enhanced CorrelationCoefficient，ECC)算法来进行处理，将至少两帧图像中的一帧图像作为参考图像，将另外一帧图像与参考图像输入增强相关系数对齐模块，得到对齐后的另一帧图像和参考图像，之后再将其他帧图像与参考属性输入增强相关系数对齐模块，直至将至少两帧图像均对齐，得到对齐后的至少两帧图像。通过增强相关系数算法进行对齐，可以保证对比度和亮度的广度失真不变。
在本发明的一个实施例中，所述对对齐后的至少两帧图像进行运动检测，并根据运动检测结果生成所述至少两帧图像之间的鬼影掩膜，可选包括：通过快速稠密光流算法计算所述对齐后的至少两帧图像之间的光流场；根据所述光流场，生成所述至少两帧图像之间的鬼影掩膜。
通过快速稠密光流算法，分别计算所述对齐后的至少两帧图像中相邻两帧图像的光流场，基于相邻两帧图像的光流场，确定相邻两帧图像中的运动区域，根据对齐后的至少两帧图像中每相邻两帧图像中的运动区域，生成所述对齐后的至少两帧图像之间的鬼影掩膜。其中，稠密光流是一种针对图像进行逐点匹配的图像配准方法，不同于稀疏光流只针对图像上若干个特征点，稠密光流计算图像上所有的点的偏移量，从而形成一个稠密的光流场。
通过快速稠密光流算法来确定至少两帧图像之间的鬼影掩膜，可以生成较为准确的鬼影掩膜，以进一步提升后续的融合图像的效果，保证高质量的消除鬼影。
步骤102，对所述至少两帧图像进行融合，得到融合图像。
利用图像的对比度、饱和度和曝光良好三个质量指标对至少两帧图像进行HDR融合，得到融合图像。
在本发明的一个实施例中，对所述至少两帧图像进行融合，得到融合图像，可选包括：通过曝光融合算法，对所述至少两帧图像进行融合，得到融合图像。
其中，曝光融合是一个过程，将多个图像组合在一起以创建单个图像，同时仅保留正确曝光的元素。
利用图像的对比度、饱和度和曝光良好三个质量指标，使用曝光融合算法，获取每个单独的像素，并对至少两帧图像中该单独像素分配合适的权重，以获得该单独像素的最优质量指标，对每个单独像素分别进行处理，得到融合图像。通过曝光融合算法对至少两帧图像进行HDR融合，可以使得融合图像获得更逼真的效果。
步骤103，从所述至少两帧图像中确定参考帧，并根据鬼影掩膜，分别确定所述融合图像的待处理区域和所述参考帧中的待处理区域。
可以从至少两帧图像中选取一帧图像作为参考帧，根据所述鬼影掩膜的外接矩形框坐标，可以在融合图像中确定矩形框内的区域为融合图像的待处理区域。根据鬼影掩膜的外接矩形框，确定参考帧中所述外接矩形框内的区域为参考帧的待处理区域。
在本发明的一个实施例中，所述从所述至少两帧图像中确定参考帧，包括：根据所述鬼影掩膜和所述融合图像，将所述至少两帧图像中的一帧图像确定为所述参考帧。
根据鬼影掩膜确定融合图像中的待处理区域，并确定至少两帧图像中每一帧图像的待处理区域，从至少两帧图像中确定一帧待处理区域与融合图像的待处理区域亮度最接近的一帧图像，作为参考帧。通过鬼影掩膜和融合图像从至少两帧图像中确定一帧图像为参考帧，可以减少后续颜色变换的计算量，且使得参考帧的待处理区域与融合图像的待处理区域亮度接近。
在本发明的一个实施例中，所述从所述至少两帧图像中确定参考帧，并根据所述鬼影掩膜，确分别确定所述融合图像的待处理区域和所述参考帧中的待处理区域，包括：根据所述鬼影掩膜，确定所述融合图像中与所述鬼影掩膜对应的区域为所述融合图像的待处理区域；根据所述鬼影掩膜，分别确定所述至少两帧图像中与所述鬼影掩膜对应的区域为至少两帧图像的待处理区域；分别确定所述至少两帧图像的待处理区域与所述融合图像的待处理区域之间的亮度差异值，将所述亮度差异值满足预设条件的一帧图像确定为所述参考帧，并将所述亮度差异值满足预设条件的该帧图像的待处理区域作为所述参考帧的待处理区域。
根据所述鬼影掩膜，确定鬼影区域的外接矩形框坐标，根据所述外接矩形框坐标确定融合图像中位于外接矩形框内的区域为融合图像中的待处理区域，并确定至少两帧图像中位于外接矩形框内的区域为各帧图像的待处理图像，分别计算至少两帧图像的待处理区域与融合图像的待处理区域的亮度差异值，从至少两帧图像中确定亮度差异值满足预设条件的一帧图像，将该帧图像作为参考帧，并将该帧图像的待处理区域作为参考帧的待处理区域。通过将所述亮度差异值满足预设条件的一帧图像作为参考帧，可以提高后续颜色变换的准确性，进而进一步提高融合图像的效果。其中，所述预设条件可以是亮度差异值最小，这样在将参考帧中的待处理区域进行颜色变换后再对融合图像的待处理区域进行处理时，可以使得两个区域的亮度接近。
步骤104，根据所述融合图像的待处理区域，对所述参考帧中的待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域。
根据所述融合图像的待处理区域中各个像素点的像素值，确定将参考帧中的待处理区域各个像素点的像素值变换为融合图像的待处理区域中对应像素点的像素值时对应的颜色变换系数，并根据该颜色变换系数对参考帧的待处理区域中各个像素点进行颜色变换，并将参考帧中进行颜色变换后的待处理区域作为颜色变换区域，使得颜色变换区域的颜色与融合图像中颜色一致，可以解决融合后颜色异常的问题。
在本发明的一个实施例中，根据所述融合图像的待处理区域，对所述参考帧中的待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域，包括：按照预设分块方式，将所述融合图像的待处理区域划分为多个分块，作为多个融合分块，并将所述参考帧的待处理区域划分为多个分块，作为多个参考分块；针对每一融合分块，确定将对应的参考分块变换为融合分块时对应的颜色变换系数；根据每一参考分块的颜色变换系数，对每一参考分块进行颜色变换，得到多个变换后参考分块；合并所述多个变换后参考分块，得到所述颜色变换区域。
其中，所述预设分块方式是预先设置的分块方式，比如设置了划分的分块的数量以及每行的分块数和每列的分块数。示例地，该预设分块方式可以是一种均匀的分块方式，即每个分块包括相同的像素点。
按照预设分块方式，对融合图像的待处理区域进行划分，使得融合图像的待处理区域划分为多个分块，将得到的多个分块作为多个融合分块。同样按照预设分块方式，对参考帧的待处理区域进行划分，使得参考帧的待处理区域划分为多个分块，将得到的多个分块作为多个参考分块。对融合图像的待处理区域和对参考帧的待处理区域进行划分时是按照相同的预设分块方式进行划分的，从而一个融合分块对应一个参考分块。
针对每个融合分块，分别计算将与该融合分块对应的参考分块中的各像素点的像素值变换为该融合分块中相应像素点的像素值时对应的颜色变换系数，从而得到该参考分块变换为该融合分块时对应的颜色变换系数，在得到每一参考分块的颜色变换系数后，使用参考分块的颜色变换系数对参考分块进行颜色变换，得到变换后参考分块，多个参考分块均进行颜色变换后得到多个变换后参考分块，根据多个参考分块的位置关系合并多个变换后参考分块，得到颜色变换区域。通过分块处理可以提高处理速度，而且可以得到较为准确的颜色变换系数。
在本发明的一个实施例中，所述针对每一融合分块，确定将对应的参考分块变换为融合分块时对应的颜色变换系数，包括：遍历多个融合分块，确定当前融合分块，并将与当前融合分块对应的参考分块作为当前参考分块；按照预设采样方式，对所述当前融合分块进行采样，得到多个融合分块采样点，并对所述当前参考分块进行采样，得到多个参考分块采样点；确定通过颜色变换将每一参考分块采样点的像素值变换为对应的融合分块采样点的像素值时对应的颜色变换系数；将每一参考分块采样点对应的颜色变换系数作为将当前参考分块变换为当前融合分块时对应的颜色变换系数。
对于融合图像的待处理区域中每个融合分块需要单独处理，可以通过遍历的方式来对每个融合分块进行处理，将当前遍历到的融合分块作为当前融合分块，由于参考帧的待处理区域中的每一参考分块与融合图像中的每一融合分块是一一对应的，所以将参考帧待处理区域中与当前融合分块对应的参考分块作为当前参考分块。当前参考分块在参考帧待处理区域中的位置与当前融合分块在融合图像待处理区域中的位置相同。
为了提高颜色变换系数的计算速度，可以对当前融合分块和当前参考分块进行采样，在采样时，按照预设采样方式分别对当前融合分块和当前参考分块进行采样，得到多个融合分块采样点和多个参考分块采样点。其中，预设采样方式预先设置了采样步长。
在一些实施例中，在进行颜色变换时，每一参考分块采样点与对应的融合分块采样点的对应关系如下：
y＝a*x2+b*x+c (1)
其中，y表示融合分块采样点的像素值，x为与融合分块采样点对应的参考分块采样点的像素值，a、b、c为待求的颜色变换系数。
按照上述公式(1)，可以确定当前融合分块中每一融合分块采样点和当前参考分块中每一参考分块采样点的对应关系如下：
Figure BDA0002791190770000091
其中，n为当前融合分块和当前参考分块中采样点的数量，x1～xn为当前参考分块采样点的像素值，y1～yn为当前融合分块采样点的像素值，a、b、c为待求的颜色变换系数。
令
Figure BDA0002791190770000092
则公式(2)变形为：
A·z＝d (3)
对矩阵A进行QR分解，得到：
A＝QR (4)
将公式(4)代入公式(3)，并求解得到各个采样点对应的颜色变换系数：
z＝R-1QTd (5)
当前参考分块中每个像素点的颜色变换系数与采样点的颜色变换系数相同，即每个像素点的颜色变换系数均为上述的a、b、c，从而将每一参考分块采样点对应的颜色变换系数作为将当前参考分块变换为当前融合分块时对应的颜色变换系数。
通过对当前融合分块和当前参考分块进行采样来求解颜色变换系数，相对于整个当前融合分块和当前参考分块进行整体计算，可以提高计算速度，从而提高整体的图像处理速度。
在得到将当前参考分块变换为当前融合分块时对应的颜色变换系数后，可以使用颜色变换系数对当前参考分块中每一像素点的像素值进行颜色变换，这时可以使用查找表(Look-Up-Table)技术来对每一像素点的像素值进行颜色变换，从而得到变换后参考分块。
在一种可选的实施方式中，所述多个融合分块中相邻两个分块具有重叠区域，所述多个参考分块中相邻两个分块具有重叠区域。
图2是本发明实施例中对融合图像待处理区域和对参考帧待处理区域进行分块的示意图，如图2所示，相邻两个分块(block)具有重叠(overlap)区域1，而相邻四个分块的中心为分块中心2，该相邻四个分块重叠，区域3为非重叠区域。
在对每一参考分块进行颜色变换得到多个变换后参考分块后，合并多个变换后参考分块时，可以对重叠区域采用加权的颜色变换，即对于变换后参考分块重叠区域的每一像素点在不同的分块中进行加权求和，作为该像素点的变换后像素值，可以得到高质量的融合结果。在对重叠区域采用加权的颜色变换时，可以对不同分块分配相同的权重，例如在对相邻两个分块之间的重叠区域进行颜色变换时，对于一个像素点在每个分块的权重可以为0.5，而在对相邻四个分块之间的重叠区域进行颜色变换时，对于一个像素点在每个分块的权重可以为0.25。
步骤105，根据所述颜色变换区域，对所述融合图像中的待处理区域进行处理。
由于融合图像是不同曝光时间的至少两帧图像融合而成的图像，而待处理区域中包括鬼影，颜色变换区域是对参考帧的待处理区域进行颜色变换得到的区域，从而可以根据颜色变换区域对融合图像中的待处理区域进行处理，以消除融合图像中待处理区域中的鬼影。
在本发明的一个实施例中，所述根据颜色变换区域，对所述融合图像中的待处理区域进行处理，包括：将所述融合图像中的待处理区域替换为所述颜色变换区域。
由于融合图像是不同曝光时间的至少两帧图像融合而成的图像，而待处理区域中包括鬼影，参考帧中不包括鬼影，从而使用参考帧待处理区域进行颜色变换后得到的颜色变换区域替换融合图像中的待处理区域，可以有效去除融合图像中的鬼影。
本实施例提供的图像处理方法，通过在获取到不同曝光时间的至少两帧图像后生成至少两帧图像之间的鬼影掩膜，对至少两帧图像进行R融合，得到融合图像，确定至少两帧图像中的一帧图像为参考帧，并根据鬼影掩膜，分别确定融合图像的待处理区域和参考帧中的待处理区域，根据融合图像的待处理区域对参考帧中待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域，根据颜色变换区域对融合图像中的待处理区域进行处理，由于通过对参考帧待处理区域进行颜色变换后来对融合图像的待处理区域进行处理，可以有效去除融合图像中鬼影，且可以解决颜色异常的问题，而且由于是基于局部区域进行操作，泛化能力较强，在运动目标运动幅度较大或者运动目标被遮挡的情况下也能很好的去除鬼影，提高了融合图像的效果。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
图3是本发明实施例提供的一种图像处理装置的结构框图，如图3所示，该图像处理装置可以包括：
运动检测模块301，用于在获取到不同曝光时间的至少两帧图像后，生成所述至少两帧图像之间的鬼影掩膜；
融合模块302，用于对所述至少两帧图像进行融合，得到融合图像；
处理区域确定模块303，用于从所述至少两帧图像中确定参考帧，根据所述鬼影掩膜，分别确定所述融合图像的待处理区域和所述参考帧中的待处理区域；
颜色变换模块304，用于根据所述融合图像的待处理区域，对所述参考帧中的待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域；
区域处理模块305，用于根据所述颜色变换结区域，对所述融合图像中的待处理区域进行处理。
可选的，所述区域处理模块具体用于：
将所述融合图像中的待处理区域替换为所述颜色变换区域。
可选的，所述处理区域确定模块包括：
参考帧确定单元，用于根据所述鬼影掩膜和所述融合图像，将所述至少两帧图像中的一帧图像确定为所述参考帧。
可选的，所述处理区域确定模块包括：
融合图像处理区域确定单元，用于根据所述鬼影掩膜，确定所述融合图像中与所述鬼影掩膜对应的区域为所述融合图像的待处理区域；
至少两帧图像处理区域确定单元，用于根据所述鬼影掩膜，分别确定所述至少两帧图像中与所述鬼影掩膜对应的区域为至少两帧图像的待处理区域；
参考帧确定单元，用于分别确定所述至少两帧图像的待处理区域与所述融合图像的待处理区域之间的亮度差异值，将所述亮度差异值满足预设条件的一帧图像确定为所述参考帧，并将所述亮度差异值满足预设条件的该帧图像的待处理区域作为所述参考帧的待处理区域。
可选的，所述颜色变换模块包括：
分块单元，用于按照预设分块方式，将所述融合图像的待处理区域划分为多个分块，作为多个融合分块，并将所述参考帧的待处理区域划分为多个分块，作为多个参考分块；
颜色变换系数确定单元，用于针对每一融合分块，确定将对应的参考分块变换为融合分块时对应的颜色变换系数；
颜色变换单元，用于根据每一参考分块的颜色变换系数，对每一参考分块进行颜色变换，得到多个变换后参考分块；
分块合并单元，用于合并所述多个变换后参考分块，得到所述颜色变换区域。
可选的，所述颜色变换系数确定单元具体用于：
遍历多个融合分块，确定当前融合分块，并将与当前融合分块对应的参考分块作为当前参考分块；
按照预设采样方式，对所述当前融合分块进行采样，得到多个融合分块采样点，并对所述当前参考分块进行采样，得到多个参考分块采样点；
确定通过颜色变换将每一参考分块采样点的像素值变换为对应的融合分块采样点的像素值时对应的颜色变换系数；
将每一参考分块采样点对应的颜色变换系数作为将当前参考分块变换为当前融合分块时对应的颜色变换系数。
可选的，所述多个融合分块中相邻两个分块具有重叠区域，所述多个参考分块中相邻两个分块具有重叠区域。
可选的，所述运动检测模块包括：
对齐处理单元，用于对所述至少两帧图像进行对齐处理；
运动检测单元，用于对对齐后的至少两帧图像进行运动检测，并根据运动检测结果生成所述至少两帧图像之间的鬼影掩膜。
可选的，所述对齐处理单元具体用于：
通过增强相关系数算法对所述至少两帧图像进行对齐处理。
可选的，所述运动检测单元包括：
光流场计算子单元，用于通过快速稠密光流算法计算所述对齐后的至少两帧图像之间的光流场；
鬼影掩膜生成子单元，用于根据所述光流场，生成所述至少两帧图像之间的鬼影掩膜。
可选的，所述融合模块具体用于：
通过曝光融合算法，对所述至少两帧图像进行融合，得到融合图像。
本实施例提供的图像处理装置，通过运动检测模块在获取到不同曝光时间的至少两帧图像后，生成至少两帧图像之间的鬼影掩膜，融合模块对至少两帧图像进行融合，得到融合图像，处理区域确定模块从至少两帧图像中确定参考帧，并根据鬼影掩膜，分别确定融合图像的待处理区域和参考帧中的待处理区域，颜色变换模块根据融合图像的待处理区域对参考帧中待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域，区域处理模块根据颜色变换区域，对融合图像中的待处理区域进行处理，由于通过对参考帧待处理区域进行颜色变换后来对融合图像的待处理区域进行处理，可以有效去除融合图像中鬼影，且可以解决颜色异常的问题，而且由于是基于局部区域进行操作，泛化能力较强，在目标运动幅度较大火灾运动目标被遮挡的情况下也能很好的去除鬼影，提高了融合图像的效果。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步地，根据本发明的一个实施例，提供了一种电子设备，所述电子设备可以为计算机、移动终端等，所述电子设备包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现前述实施例的图像处理方法。
根据本发明的一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括但不限于磁盘存储器、CD-ROM、光学存储器等，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述实施例的图像处理方法。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种图像处理方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
在获取到不同曝光时间的至少两帧图像后，生成所述至少两帧图像之间的鬼影掩膜；
对所述至少两帧图像进行融合，得到融合图像；
从所述至少两帧图像中确定参考帧，并根据所述鬼影掩膜，分别确定所述融合图像的待处理区域和所述参考帧中的待处理区域；
根据所述融合图像的待处理区域，对所述参考帧中的待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域；
根据所述颜色变换区域，对所述融合图像中的待处理区域进行处理。
2.根据权利要求1所述的方法，其特征在于，所述根据颜色变换区域，对所述融合图像中的待处理区域进行处理，包括：
将所述融合图像中的待处理区域替换为所述颜色变换区域。
3.根据权利要求1所述的方法，其特征在于，所述从所述至少两帧图像中确定参考帧，包括：
根据所述鬼影掩膜和所述融合图像，将所述至少两帧图像中的一帧图像确定为所述参考帧。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述从所述至少两帧图像中确定参考帧，并根据所鬼影掩膜，分别确定所述融合图像的待处理区域和所述参考帧中的待处理区域，包括：
根据所述鬼影掩膜，确定所述融合图像中与所述鬼影掩膜对应的区域为所述融合图像的待处理区域；
根据所述鬼影掩膜，分别确定所述至少两帧图像中与所述鬼影掩膜对应的区域为至少两帧图像的待处理区域；
分别确定所述至少两帧图像的待处理区域与所述融合图像的待处理区域之间的亮度差异值，将所述亮度差异值满足预设条件的一帧图像确定为所述参考帧，并将所述亮度差异值满足预设条件的该帧图像的待处理区域作为所述参考帧的待处理区域。
5.根据权利要求1-4任一项所述的方法，其特征在于，根据所述融合图像的待处理区域，对所述参考帧中的待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域，包括：
按照预设分块方式，将所述融合图像的待处理区域划分为多个分块，作为多个融合分块，并将所述参考帧的待处理区域划分为多个分块，作为多个参考分块；
针对每一融合分块，确定将对应的参考分块变换为融合分块时对应的颜色变换系数；
根据每一参考分块的颜色变换系数，对每一参考分块进行颜色变换，得到多个变换后参考分块；
合并所述多个变换后参考分块，得到所述颜色变换区域。
6.根据权利要求5所述的方法，其特征在于，所述针对每一融合分块，确定将对应的参考分块变换为融合分块时对应的颜色变换系数，包括：
遍历多个融合分块，确定当前融合分块，并将与当前融合分块对应的参考分块作为当前参考分块；
按照预设采样方式，对所述当前融合分块进行采样，得到多个融合分块采样点，并对所述当前参考分块进行采样，得到多个参考分块采样点；
确定通过颜色变换将每一参考分块采样点的像素值变换为对应的融合分块采样点的像素值时对应的颜色变换系数；
将每一参考分块采样点对应的颜色变换系数作为将当前参考分块变换为当前融合分块时对应的颜色变换系数。
7.根据权利要求5所述的方法，其特征在于，所述多个融合分块中相邻两个分块具有重叠区域，所述多个参考分块中相邻两个分块具有重叠区域。
8.根据权利要求1-7任一项所述的方法，其特征在于，所述生成所述至少两帧图像之间的鬼影掩膜，包括：
对所述至少两帧图像进行对齐处理；
对对齐后的至少两帧图像进行运动检测，并根据运动检测结果生成所述至少两帧图像之间的鬼影掩膜。
9.根据权利要求8所述的方法，其特征在于，对所述至少两帧图像进行对齐处理，包括：
通过增强相关系数算法对所述至少两帧图像进行对齐处理。
10.根据权利要求8所述的方法，其特征在于，所述对对齐后的至少两帧图像进行运动检测，并根据运动检测结果生成所述至少两帧图像之间的鬼影掩膜，包括：
通过快速稠密光流算法计算所述对齐后的至少两帧图像之间的光流场；
根据所述光流场，生成所述至少两帧图像之间的鬼影掩膜。
11.根据权利要求1-8任一项所述的方法，其特征在于，对所述至少两帧图像进行融合，得到融合图像，包括：
通过曝光融合算法，对所述至少两帧图像进行融合，得到融合图像。
12.一种图像处理装置，其特征在于，包括：
运动检测模块，用于在获取到不同曝光时间的至少两帧图像后，生成所述至少两帧图像之间的鬼影掩膜；
融合模块，用于对所述至少两帧图像进行融合，得到融合图像；
处理区域确定模块，用于从所述至少两帧图像中确定参考帧，并根据所述鬼影掩膜，分别确定所述融合图像的待处理区域和所述参考帧中的待处理区域；
颜色变换模块，用于根据所述融合图像的待处理区域，对所述参考帧中的待处理区域进行颜色变换，将参考帧中进行颜色变换后的待处理区域作为颜色变换区域；
区域处理模块，用于根据所述颜色变换区域，对所述融合图像中的待处理区域进行处理。
13.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-11任一项所述的图像处理方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11任一项所述的图像处理方法。
CN202011315377.8A 2020-11-20 2020-11-20 图像处理方法、装置、电子设备及存储介质 Pending CN112581415A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011315377.8A CN112581415A (zh) 2020-11-20 2020-11-20 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011315377.8A CN112581415A (zh) 2020-11-20 2020-11-20 图像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112581415A true CN112581415A (zh) 2021-03-30

Family

ID=75123062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011315377.8A Pending CN112581415A (zh) 2020-11-20 2020-11-20 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112581415A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379664A (zh) * 2021-06-23 2021-09-10 青岛海信医疗设备股份有限公司 超声图像中超声穿刺针的增强方法、超声设备及存储介质
CN113592042A (zh) * 2021-09-29 2021-11-02 科大讯飞(苏州)科技有限公司 样本图像生成方法、装置及其相关设备和存储介质
CN113643210A (zh) * 2021-08-26 2021-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
WO2023124202A1 (zh) * 2021-12-29 2023-07-06 荣耀终端有限公司 图像处理方法与电子设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379664A (zh) * 2021-06-23 2021-09-10 青岛海信医疗设备股份有限公司 超声图像中超声穿刺针的增强方法、超声设备及存储介质
CN113643210A (zh) * 2021-08-26 2021-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质
CN113592042A (zh) * 2021-09-29 2021-11-02 科大讯飞(苏州)科技有限公司 样本图像生成方法、装置及其相关设备和存储介质
WO2023124202A1 (zh) * 2021-12-29 2023-07-06 荣耀终端有限公司 图像处理方法与电子设备

Similar Documents

Publication Publication Date Title
CN112581415A (zh) 图像处理方法、装置、电子设备及存储介质
JP6957197B2 (ja) 画像処理装置および画像処理方法
CN106991650B (zh) 一种图像去模糊的方法和装置
US20190180418A1 (en) Scene-based nonuniformity correction using a convolutional recurrent neural network
CN103971331B (zh) 图像处理装置、图像拾取装置和图像处理方法
US20110267485A1 (en) Range measurement using a coded aperture
Micheli et al. A linear systems approach to imaging through turbulence
CN109493283A (zh) 一种高动态范围图像鬼影消除的方法
CN114820739B (zh) 一种面向多光谱相机的图像快速配准方法及装置
Nieuwenhuizen et al. Deep learning for software-based turbulence mitigation in long-range imaging
Zhao et al. Revisiting radial distortion rectification in polar-coordinates: A new and efficient learning perspective
CN110580696A (zh) 一种细节保持的多曝光图像快速融合方法
US20090316994A1 (en) Method and filter for recovery of disparities in a video stream
CN110619652A (zh) 一种基于光流映射重复区域检测的图像配准鬼影消除方法
JPH07505033A (ja) ビデオ画像運動補償システムにおける非線形画像変換，例えばズーム及びパンを補償するための機械的方法
KR101437898B1 (ko) 단일 영상을 이용한 hdr 영상 생성 장치 및 방법
CN113298187A (zh) 图像处理方法及装置、计算机可读存储介质
CN117173232A (zh) 深度图像的获取方法、装置及设备
Oh et al. Fpanet: Frequency-based video demoireing using frame-level post alignment
CN110689502B (zh) 一种图像处理方法及相关装置
CN110969582B (zh) 一种基于多源参考信息的遥感图像盲复原方法
KR20070061157A (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
CN115100269B (zh) 一种光场图像深度估计方法、系统、电子设备及存储介质
KR101775273B1 (ko) 이미지들 사이의 상관관계 획득 방법 및 시스템
Chen et al. Image deblurring method based on fourier transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination