CN114037643A - 图像处理方法、装置、介质和设备 - Google Patents

图像处理方法、装置、介质和设备 Download PDF

Info

Publication number
CN114037643A
CN114037643A CN202111337269.5A CN202111337269A CN114037643A CN 114037643 A CN114037643 A CN 114037643A CN 202111337269 A CN202111337269 A CN 202111337269A CN 114037643 A CN114037643 A CN 114037643A
Authority
CN
China
Prior art keywords
pixel point
image
pixel
gradient vector
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111337269.5A
Other languages
English (en)
Inventor
王吉鹏
宋博
王勇
温建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Image Design Technology Co Ltd
Original Assignee
Chengdu Image Design Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Image Design Technology Co Ltd filed Critical Chengdu Image Design Technology Co Ltd
Priority to CN202111337269.5A priority Critical patent/CN114037643A/zh
Publication of CN114037643A publication Critical patent/CN114037643A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像处理方法、装置、介质和设备，用以对多张图像进行图像融合，从而生成清晰成像的合并图像。该图像处理方法包括：获取关于同一场景的包围曝光图像集合，计算每张包围曝光图像的各个像素点的梯度向量方向；针对N张包围曝光图像中的第k张包围曝光图像的第L像素点，执行如下处理：根据除了第k张包围曝光图像之外的N‑1张包围曝光图像的第L像素点的梯度向量方向，和所述第k张包围曝光图像的第L像素点的梯度向量方向，计算第L像素点的梯度方向差，得到N‑1个第L像素点的梯度方向差；并确定第k张包围曝光图像的第L像素点的类型；根据各张包围曝光图像的各个像素点的类型进行图像融合，融合后的图像不包括运动类型的像素点。

Description

图像处理方法、装置、介质和设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、介质和设备。
背景技术
目前，照相及显示器材的动态范围远低于真实场景的动态范围，在高动态范围场景中，用数字照相机拍摄出来的照片往往曝光不足或者过度曝光，为此需要通过对一组包围曝光图像进行图像融合处理，以得到一幅高动态范围的图像。考虑到现实拍摄的场景大多为动态场景，例如，在拍摄多张包围曝光图像时，拍摄间隔可能会有新的移动物体出现在场景中，再比如，场景中的树叶也会由于风发生位移。而现有的多曝光图像融合算法大都仅针对静态场景下的图像融合，在高动态范围图像融合过程中，因为曝光帧图像之间存在时间差，在一些风景图像中，会存在移动物体有鬼影，影响图像质量。
因此，如何针对动态场景下的图像融合成为业界亟需解决的问题。
发明内容
本发明实施例提供一种图像处理方法、装置、介质和设备，用以在图像融合过程中去除图像中的杂乱部分，提高融合图像的质量。
第一方面，本发明提供一种图像处理方法，该方法包括：
获取关于同一场景的包围曝光图像集合，所述包围曝光图像集合包括N张包围曝光图像，N张包围曝光图像中的任意一张包围曝光图像均包括M个像素点，N和M为正整数；
计算每张包围曝光图像的各个像素点的梯度向量方向；
针对N张包围曝光图像中的第k张包围曝光图像的第L像素点，所述第k张包围曝光图像为任意一张包围曝光图像，所述第L像素点为M个像素点中的任意一个，执行如下处理：根据除了第k张包围曝光图像之外的N-1张包围曝光图像的第L像素点的梯度向量方向，和所述第k张包围曝光图像的第L像素点的梯度向量方向，计算第L像素点的梯度方向差，得到N-1个第L像素点的梯度方向差；根据N-1个第L像素点的梯度方向差，确定第k张包围曝光图像的第L像素点的类型，k和L为正整数；
根据按照上述方法计算得到的各张包围曝光图像的各个像素点的类型，对N张包围曝光图像进行图像融合，其中，融合后的图像不包括运动类型的像素点。
本发明提供的图像处理方法的有益效果在于：上述方法中利用像素点的梯度向量方向和梯度方向差，来计算各个像素点的类型，这样有助于区分图像中运动类型的像素点和非运动类型的像素点，继而区分出来移动目标和图像背景，从而按照需要在图像融合过程中，将处于运动类型的像素点移除，以获得较为清晰的图像。
在一种可能的实施方式中，根据N-1个第L像素点的梯度方向差，确定第k张包围曝光图像的第L像素点的类型，包括：
根据N-1个第L像素点的梯度方向差，计算第k张包围曝光图像的第L像素点的类别分值，其中，第L像素点的梯度方向差的值越大，第L像素点的梯度方向变化越强烈，第L像素点的类别分值越大，
当所述类别分值大于设定阈值，则确定第k张包围曝光图像的第L像素点的类型为运动类型；
当所述类别分值小于或等于所述设定阈值，则确定第k张包围曝光图像的第L像素点的类型为非运动类型。
该实施方式中，考虑图像中非运动类型的像素点的梯度方向基本不受曝光度变化的影响，而运动类型的像素点则梯度方向变化剧烈，因此通过计算梯度方向的变化来识别运动类型的像素点，借助相邻像素点之间的梯度变化能够更准确地确定出运动类型的像素点。
在一种可能的实施方式中，第L像素点的类别分值满足如下公式：
Figure BDA0003351026890000031
其中，Dk(x,y)为第L像素点的类别分值，di,k(x,y)为第k张包围曝光图像的梯度向量方向与第i张包围曝光图像的梯度向量方向之间的梯度方向差，i的取值从1至N，i不等于k。
在一种可能的实施方式中，计算每张包围曝光图像的各个像素点的梯度向量方向，具体包括如下方式：
针对N张包围曝光图像中的第i张包围曝光图像(x,y)位置处像素点的梯度向量方向，i的取值从1至N，执行如下处理：
计算第i幅图像的(x,y)位置处像素点在水平方向的梯度向量值和在垂直方向的梯度向量值，根据水平方向的梯度向量值和垂直方向的梯度向量值计算(x,y)位置处像素点的梯度向量方向，所述(x,y)位置处像素点的梯度向量方向满足如下公式：
Figure BDA0003351026890000032
其中，Oi(x,y)为(x,y)位置处像素点的梯度向量方向，Tiy(x,y)为(x,y)位置处像素点的水平方向的梯度向量值，Tix(x,y)为(x,y)位置处像素点的垂直方向的梯度向量值。
在一种可能的实施方式中，根据按照上述方法计算得到的各张包围曝光图像的各个像素点的类型，对N张包围曝光图像进行图像融合，具体包括如下方式：
计算运动类型的像素点对应的处理函数；
在各张包围曝光图像的图像融合过程中，根据按照上述方法计算得到的各张包围曝光图像的各个像素点的类型，利用所述处理函数对运动类型的像素点进行蒙版处理，使得融合后的图像不包括运动类型的像素点；
所述处理函数满足如下公式：
Figure BDA0003351026890000041
其中，R'k(x,y)为(x,y)位置处像素点的处理值，α为判定阈值，需根据实际场景进行设置，Dk(x,y)为第L像素点的类别分值。
第二方面，本申请实施例还提供一种图像处理装置，该装置包括执行上述第一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
第三方面，本申请实施例提供一种电子设备，包括处理器和存储器。其中，存储器用于存储一个或多个程序；当存储器存储的一个或多个程序被处理器执行时，使得该电子设备能够实现上述第一方面的任意一种可能的设计的方法。
第四方面，本申请实施例中还提供一种可读存储介质，所述计算机可读存储介质包括程序，当程序在电子设备上运行时，使得所述电子设备执行上述第一方面的任意一种可能的设计的方法。
第五方面，本申请实施例还提供一种包含程序产品，当所述程序产品在终端上运行时，使得所述电子设备执行上述第一方面的任意一种可能的设计的方法。
关于上述第二方面至第五方面的有益效果可以参见上述第一方面中的描述。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种通信系统架构示意图；
图2为本发明实施例提供的一种图像处理方法流程示意图；
图3为本发明实施例提供的一种应用场景示意图；
图4为本发明实施例提供的一种图像处理装置示意图；
图5为本发明实施例提供的一种终端设备结构示意图。
具体实施方式
为了改善现有关于包围曝光图像在图像融合时存在的不足，本发明提供一种图像处理方法，该方法可以利用像素点的梯度向量方向和梯度方向差，来计算各个像素点的类型，这样有助于区分图像中运动类型的像素点和非运动类型的像素点，继而区分出来移动目标和图像背景，从而按照需要在图像融合过程中，将处于运动类型的像素点移除，以获得较为清晰的图像。
以下对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。
1、包围曝光
在成像阶段使用包围曝光能够获取具有多级不同曝光量并包含真实颜色的多帧图像，该多帧图像可以构成包围曝光图像集合。
2、高动态范围(High-Dynamic Range，HDR)图像
HDR图像相比普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的低动态范围(Low-Dynamic Range，LDR)图像，利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像，以便能够更好地反映真实环境中的视觉场景。
在本申请实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例中所提供的图像处理方法可以应用于如图1所示的应用场景，该应用场景中包括服务器100、终端设备200。
一种可能的设计中，服务器100，用于从终端设备200获取同一场景的包围曝光图像集合，然后计算像素点的梯度向量方向和梯度方向差，利用像素点的梯度向量方向和梯度方向差，来计算各个像素点的类型，从而区分图像中运动类型的像素点和非运动类型的像素点，按照需要在图像融合过程中，将处于运动类型的像素点移除，以获得较为清晰的图像，再将融合后的清晰的图像发送至终端设备200。
另一种可能的设计中，终端设备200获取同一场景的包围曝光图像集合，然后计算像素点的梯度向量方向和梯度方向差，利用像素点的梯度向量方向和梯度方向差，来计算各个像素点的类型，从而区分图像中运动类型的像素点和非运动类型的像素点，按照需要在图像融合过程中，将处于运动类型的像素点移除，以获得较为清晰的图像。
其中，服务器100和终端设备200可以通过无线网络连接，终端设备200可以是具备图像传感器的终端设备，该终端设备可以是智能手机、平板电脑等。服务器100可以是一台服务器，或者是若干台服务器组成的服务器集群或云计算中心。
基于图1所示的应用场景图，本申请实施例提供了一种图像处理方法的流程，如图2所示，该方法的流程可以由终端设备200执行，该方法包括以下步骤：
S201，获取关于同一场景的包围曝光图像集合，所述包围曝光图像集合包括N张包围曝光图像。
其中，N张包围曝光图像中的任意一张包围曝光图像均包括M个像素点，N和M为正整数。
S202，计算每张包围曝光图像的各个像素点的梯度向量方向。
在S202中，一种可能的实施方式中，针对N张包围曝光图像中的第i张包围曝光图像(x,y)位置处像素点的梯度向量方向，i的取值从1至N，执行如下处理：
计算第i幅图像的(x,y)位置处像素点在水平方向的梯度向量值和在垂直方向的梯度向量值，根据水平方向的梯度向量值和垂直方向的梯度向量值计算(x,y)位置处像素点的梯度向量方向，所述(x,y)位置处像素点的梯度向量方向满足如下公式一：
Figure BDA0003351026890000071
其中，Oi(x,y)为(x,y)位置处像素点的梯度向量方向，Tiy(x,y)为(x,y)位置处像素点的水平方向的梯度向量值，Tix(x,y)为(x,y)位置处像素点的垂直方向的梯度向量值。
S203，针对N张包围曝光图像中的第k张包围曝光图像的第L像素点，执行如下处理：根据除了第k张包围曝光图像之外的N-1张包围曝光图像的第L像素点的梯度向量方向，和所述第k张包围曝光图像的第L像素点的梯度向量方向，计算第L像素点的梯度方向差，得到N-1个第L像素点的梯度方向差；根据N-1个第L像素点的梯度方向差，确定第k张包围曝光图像的第L像素点的类型。
其中，所述第k张包围曝光图像为任意一张包围曝光图像，所述第L像素点为M个像素点中的任意一个。
上述S203中，在一种可能的实施方式中，根据N-1个第L像素点的梯度方向差，确定第k张包围曝光图像的第L像素点的类型，具体包括：
根据N-1个第L像素点的梯度方向差，计算第k张包围曝光图像的第L像素点的类别分值，当所述类别分值大于设定阈值，则确定第k张包围曝光图像的第L像素点的类型为运动类型；当所述类别分值小于或等于所述设定阈值，则确定第k张包围曝光图像的第L像素点的类型为非运动类型。
其中，第L像素点的类别分值满足如下公式二：
Figure BDA0003351026890000081
di,k(x,y)＝|Oi(x,y)-Ok(x,y)|........公式三
其中，Dk(x,y)为第L像素点的类别分值，di,k(x,y)为第k张包围曝光图像的梯度向量方向Ok(x,y)与第i张包围曝光图像的梯度向量方向Oi(x,y)之间的梯度方向差，i的取值从1至N，i不等于k。
从上述公式二和公式三可见，第L像素点的梯度方向差的值越大，第L像素点的梯度方向变化越强烈，第L像素点的类别分值越大。
S204，根据按照上述方法计算得到的各张包围曝光图像的各个像素点的类型，对N张包围曝光图像进行图像融合，其中，融合后的图像不包括运动类型的像素点。
换句话说，在对N张包围曝光图像进行图像融合过程中，移除运动类型的像素点，或者说用生成的蒙版覆盖运动类型的像素点，从而得到一副清晰的图像。
在S204中，一种可能的实施方式中，可以先计算运动类型的像素点对应的处理函数；然后在各张包围曝光图像的图像融合过程中，根据按照上述方法计算得到的各张包围曝光图像的各个像素点的类型，利用所述处理函数对运动类型的像素点进行蒙版处理，使得融合后的图像不包括运动类型的像素点；
所述处理函数满足如下公式：
Figure BDA0003351026890000091
其中，R'k(x,y)为(x,y)位置处像素点的处理值，α为判定阈值，需根据实际场景进行设置，Dk(x,y)为第L像素点的类别分值。
可见，运动类型的像素点被处理函数处理之后，运动类型的像素点的值为0，而非运动类型的像素点被处理函数处理之后，非运动类型的像素点的值为1。
示例性地，如图3所示，一组包围曝光图像包括候选包围曝光图像301与其相邻包围曝光图像302和相邻包围曝光图像303，首先将候选包围曝光图像301的像素值、其相邻包围曝光图像302和相邻包围曝光图像303的像素值均量化到[0,1]范围内，然后计算每张包围曝光图像的各个像素点的梯度向量方向和梯度方向差，针对每个像素点对应的两个梯度方向差，得到该像素点的类别分值，从而确定该像素点的类型，其中，像素点的类型可以包括运动类型和非运动类型，基于各个像素点的类型，可以将图像中的内容区分为目标内容、响应内容或背景内容，其中，目标内容为移动物体所在的区域，响应内容表示该处理图像的相邻图像中此区域存在移动物体，背景内容表示该区域在候选图像及其相邻图像集中均无移动物体。如图3所示，目标内容为a，响应内容为b，背景内容为相邻包围曝光图像302除了目标内容为a之外的内容，基于像素点的类型，对三张包围曝光图像进行图像融合，得到融合图像304，从融合图像304可见，包含运动类型的像素点的目标内容为a和响应内容为b被移除，融合图像为一张清晰的图像。
在本申请的一些实施例中，本申请实施例公开了一种图像处理装置，如图4所示，该装置用于实现以上各个方法实施例中记载的方法，其包括：获取单元401、计算单元402、确定单元403和处理单元404。获取单元401，用于获取关于同一场景的包围曝光图像集合，所述包围曝光图像集合包括N张包围曝光图像，N张包围曝光图像中的任意一张包围曝光图像均包括M个像素点，N和M为正整数；
计算单元402，用于计算每张包围曝光图像的各个像素点的梯度向量方向；
确定单元403，用于针对N张包围曝光图像中的第k张包围曝光图像的第L像素点，所述第k张包围曝光图像为任意一张包围曝光图像，所述第L像素点为M个像素点中的任意一个，执行如下处理：根据除了第k张包围曝光图像之外的N-1张包围曝光图像的第L像素点的梯度向量方向，和所述第k张包围曝光图像的第L像素点的梯度向量方向，计算第L像素点的梯度方向差，得到N-1个第L像素点的梯度方向差；根据N-1个第L像素点的梯度方向差，确定第k张包围曝光图像的第L像素点的类型，k和L为正整数；
处理单元404，用于根据各张包围曝光图像的各个像素点的类型进行图像融合，其中，融合后的图像不包括运动类型的像素点。上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
在本申请的另一些实施例中，本申请实施例公开了一种终端设备，如图5所示，该设备可以包括：一个或多个处理器501；存储器502；显示器503；一个或多个应用程序(未示出)；以及一个或多个程序504，上述各器件可以通过一个或多个通信总线505连接。其中该一个或多个程序504被存储在上述存储器502中并被配置为被该一个或多个处理器501执行，该一个或多个程序504包括指令。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法，其特征在于，该方法包括：
获取关于同一场景的包围曝光图像集合，所述包围曝光图像集合包括N张包围曝光图像，N张包围曝光图像中的任意一张包围曝光图像均包括M个像素点，N和M为正整数；
计算每张包围曝光图像的各个像素点的梯度向量方向；
针对N张包围曝光图像中的第k张包围曝光图像的第L像素点，所述第k张包围曝光图像为任意一张包围曝光图像，所述第L像素点为M个像素点中的任意一个，执行如下处理：根据除了第k张包围曝光图像之外的N-1张包围曝光图像的第L像素点的梯度向量方向，和所述第k张包围曝光图像的第L像素点的梯度向量方向，计算第L像素点的梯度方向差，得到N-1个第L像素点的梯度方向差；根据N-1个第L像素点的梯度方向差，确定第k张包围曝光图像的第L像素点的类型，k和L为正整数；
根据按照上述方法计算得到的各张包围曝光图像的各个像素点的类型，对N张包围曝光图像进行图像融合，其中，融合后的图像不包括运动类型的像素点。
2.根据权利要求1所述的方法，其特征在于，根据N-1个第L像素点的梯度方向差，确定第k张包围曝光图像的第L像素点的类型，包括：
根据N-1个第L像素点的梯度方向差，计算第k张包围曝光图像的第L像素点的类别分值，其中，第L像素点的梯度方向差的值越大，第L像素点的梯度方向变化越强烈，第L像素点的类别分值越大，
当所述类别分值大于设定阈值，则确定第k张包围曝光图像的第L像素点的类型为运动类型；
当所述类别分值小于或等于所述设定阈值，则确定第k张包围曝光图像的第L像素点的类型为非运动类型。
3.根据权利要求2所述的方法，其特征在于，所述第L像素点的类别分值满足如下公式：
Figure FDA0003351026880000021
其中，Dk(x,y)为第L像素点的类别分值，di,k(x,y)为第k张包围曝光图像的梯度向量方向与第i张包围曝光图像的梯度向量方向之间的梯度方向差，i的取值从1至N，i不等于k。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述计算每张包围曝光图像的各个像素点的梯度向量方向，包括：
针对N张包围曝光图像中的第i张包围曝光图像(x,y)位置处像素点的梯度向量方向，i的取值从1至N，执行如下处理：
计算第i幅图像的(x,y)位置处像素点在水平方向的梯度向量值和在垂直方向的梯度向量值，根据水平方向的梯度向量值和垂直方向的梯度向量值计算(x,y)位置处像素点的梯度向量方向，所述(x,y)位置处像素点的梯度向量方向满足如下公式：
Figure FDA0003351026880000022
其中，Oi(x,y)为(x,y)位置处像素点的梯度向量方向，Tiy(x,y)为(x,y)位置处像素点的水平方向的梯度向量值，Tix(x,y)为(x,y)位置处像素点的垂直方向的梯度向量值。
5.根据权利要求1至3任一项所述的方法，其特征在于，根据按照上述方法计算得到的各张包围曝光图像的各个像素点的类型，对N张包围曝光图像进行图像融合，其中，融合后的图像不包括运动类型的像素点，包括：
计算运动类型的像素点对应的处理函数；
在各张包围曝光图像的图像融合过程中，根据按照上述方法计算得到的各张包围曝光图像的各个像素点的类型，利用所述处理函数对运动类型的像素点进行蒙版处理，使得融合后的图像不包括运动类型的像素点；
所述处理函数满足如下公式：
Figure FDA0003351026880000031
其中，R'k(x,y)为(x,y)位置处像素点的处理值，α为判定阈值，需根据实际场景进行设置，Dk(x,y)为第L像素点的类别分值。
6.一种图像处理装置，其特征在于，该装置包括：
获取单元，用于获取关于同一场景的包围曝光图像集合，所述包围曝光图像集合包括N张包围曝光图像，N张包围曝光图像中的任意一张包围曝光图像均包括M个像素点，N和M为正整数；
计算单元，用于计算每张包围曝光图像的各个像素点的梯度向量方向；
确定单元，用于针对N张包围曝光图像中的第k张包围曝光图像的第L像素点，所述第k张包围曝光图像为任意一张包围曝光图像，所述第L像素点为M个像素点中的任意一个，执行如下处理：根据除了第k张包围曝光图像之外的N-1张包围曝光图像的第L像素点的梯度向量方向，和所述第k张包围曝光图像的第L像素点的梯度向量方向，计算第L像素点的梯度方向差，得到N-1个第L像素点的梯度方向差；根据N-1个第L像素点的梯度方向差，确定第k张包围曝光图像的第L像素点的类型，k和L为正整数；
处理单元，用于根据各张包围曝光图像的各个像素点的类型进行图像融合，其中，融合后的图像不包括运动类型的像素点。
7.根据权利要求6所述的装置，其特征在于，所述确定单元根据N-1个第L像素点的梯度方向差，确定第k张包围曝光图像的第L像素点的类型，具体用于：
根据N-1个第L像素点的梯度方向差，计算第k张包围曝光图像的第L像素点的类别分值，其中，第L像素点的梯度方向差的值越大，第L像素点的梯度方向变化越强烈，第L像素点的类别分值越大，
当所述类别分值大于设定阈值，则确定第k张包围曝光图像的第L像素点的类型为运动类型；
当所述类别分值小于或等于所述设定阈值，则确定第k张包围曝光图像的第L像素点的类型为非运动类型。
8.根据权利要求7所述的装置，其特征在于，所述第L像素点的类别分值满足如下公式：
Figure FDA0003351026880000041
其中，Dk(x,y)为第L像素点的类别分值，di,k(x,y)为第k张包围曝光图像的梯度向量方向与第i张包围曝光图像的梯度向量方向之间的梯度方向差，i的取值从1至N，i不等于k。
9.根据权利要求6至7任一项所述的装置，其特征在于，所述计算单元在所述计算每张包围曝光图像的各个像素点的梯度向量方向时，具体用于：
针对N张包围曝光图像中的第i张包围曝光图像(x,y)位置处像素点的梯度向量方向，i的取值从1至N，执行如下处理：
计算第i幅图像的(x,y)位置处像素点在水平方向的梯度向量值和在垂直方向的梯度向量值，根据水平方向的梯度向量值和垂直方向的梯度向量值计算(x,y)位置处像素点的梯度向量方向，所述(x,y)位置处像素点的梯度向量方向满足如下公式：
Figure FDA0003351026880000042
其中，Oi(x,y)为(x,y)位置处像素点的梯度向量方向，Tiy(x,y)为(x,y)位置处像素点的水平方向的梯度向量值，Tix(x,y)为(x,y)位置处像素点的垂直方向的梯度向量值。
10.根据权利要求6至7任一项所述的装置，其特征在于，根据各张包围曝光图像的各个像素点的类型进行图像融合，其中，融合后的图像不包括运动类型的像素点，包括：
计算运动类型的像素点对应的处理函数；
在各张包围曝光图像的图像融合过程中，利用所述处理函数对运动类型的像素点进行蒙版处理，使得融合后的图像不包括运动类型的像素点；
所述处理函数满足如下公式：
Figure FDA0003351026880000051
其中，R'k(x,y)为(x,y)位置处像素点的处理值，α为判定阈值，需根据实际场景进行设置，Dk(x,y)为第L像素点的类别分值。
11.一种可读存储介质，所述可读存储介质内存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1至5中任一项所述的方法。
12.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述电子设备实现权利要求1至5中任一项所述的方法。
CN202111337269.5A 2021-11-12 2021-11-12 图像处理方法、装置、介质和设备 Pending CN114037643A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111337269.5A CN114037643A (zh) 2021-11-12 2021-11-12 图像处理方法、装置、介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111337269.5A CN114037643A (zh) 2021-11-12 2021-11-12 图像处理方法、装置、介质和设备

Publications (1)

Publication Number Publication Date
CN114037643A true CN114037643A (zh) 2022-02-11

Family

ID=80144084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111337269.5A Pending CN114037643A (zh) 2021-11-12 2021-11-12 图像处理方法、装置、介质和设备

Country Status (1)

Country Link
CN (1) CN114037643A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
CN105894484A (zh) * 2016-03-30 2016-08-24 山东大学 一种基于直方图归一化与超像素分割的hdr重建算法
CN106408529A (zh) * 2016-08-31 2017-02-15 浙江宇视科技有限公司 一种阴影去除方法及装置
US20200334794A1 (en) * 2018-06-29 2020-10-22 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, computer-readable medium, and electronic device
CN112767281A (zh) * 2021-02-02 2021-05-07 北京小米松果电子有限公司 图像鬼影消除方法、装置、电子设备及存储介质
CN113222954A (zh) * 2021-05-21 2021-08-06 大连海事大学 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020168091A1 (en) * 2001-05-11 2002-11-14 Miroslav Trajkovic Motion detection via image alignment
CN105894484A (zh) * 2016-03-30 2016-08-24 山东大学 一种基于直方图归一化与超像素分割的hdr重建算法
CN106408529A (zh) * 2016-08-31 2017-02-15 浙江宇视科技有限公司 一种阴影去除方法及装置
US20200334794A1 (en) * 2018-06-29 2020-10-22 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus, computer-readable medium, and electronic device
CN112767281A (zh) * 2021-02-02 2021-05-07 北京小米松果电子有限公司 图像鬼影消除方法、装置、电子设备及存储介质
CN113222954A (zh) * 2021-05-21 2021-08-06 大连海事大学 基于补丁对齐的全局梯度下的多曝光图像无鬼影融合方法

Similar Documents

Publication Publication Date Title
CN113992861B (zh) 一种图像处理方法及图像处理装置
CN108737738B (zh) 一种全景相机及其曝光方法和装置
CN108174118B (zh) 图像处理方法、装置和电子设备
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN108898567A (zh) 图像降噪方法、装置及系统
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
WO2018136373A1 (en) Image fusion and hdr imaging
CN113313661B (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
CN111028190A (zh) 图像处理方法、装置、存储介质及电子设备
CN110660090B (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
WO2019221013A4 (en) Video stabilization method and apparatus and non-transitory computer-readable medium
CN111368587B (zh) 场景检测方法、装置、终端设备及计算机可读存储介质
CN111917991B (zh) 图像的质量控制方法、装置、设备及存储介质
CN111325798A (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
CN113313626A (zh) 图像处理方法、装置、电子设备及存储介质
CN111028276A (zh) 图像对齐方法、装置、存储介质及电子设备
CN106412441A (zh) 一种视频防抖控制方法以及终端
CN113793257B (zh) 图像处理方法及装置、电子设备、计算机可读存储介质
CN116433496A (zh) 一种图像去噪方法、装置和存储介质
CN114429476A (zh) 图像处理方法、装置、计算机设备以及存储介质
CN110557572B (zh) 一种图像处理方法、装置及卷积神经网络系统
CN112598610B (zh) 一种深度图像获得方法、装置、电子设备及存储介质
CN111640109B (zh) 模型检测方法及系统
CN114037643A (zh) 图像处理方法、装置、介质和设备
CN116017129A (zh) 一种补光灯角度调整方法、装置、系统、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination