CN113570532B - 图像处理方法、装置、终端和可读存储介质 - Google Patents
图像处理方法、装置、终端和可读存储介质 Download PDFInfo
- Publication number
- CN113570532B CN113570532B CN202110856324.5A CN202110856324A CN113570532B CN 113570532 B CN113570532 B CN 113570532B CN 202110856324 A CN202110856324 A CN 202110856324A CN 113570532 B CN113570532 B CN 113570532B
- Authority
- CN
- China
- Prior art keywords
- image
- frame
- images
- frames
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 239000003086 colorant Substances 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- -1 falling Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供了一种图像处理方法，包括获取多帧第一图像；融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及合成多个所述第二图像，以生成目标图像。本申请实施方式的图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质，通过融合多帧图像中相同预设类型通道的图像数据，生成多个单通道的图像然后合成目标图像，相较于去马赛克算法针对单帧图像进行插值得到目标图像，插值不够准确而言，利用多帧融合得到的单通道图像合成彩色图像，无需进行去马赛克算法处理，进行插值的准确性较高，有利于降低伪彩和拉链效应。
Description
技术领域
本申请涉及图像技术领域，特别涉及一种图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质。
背景技术
目前，用于彩色成像的图像传感器一般都设置有滤光片，每个像素仅能接收一个颜色的光线，如目前较为常见的拜尔阵列滤光片，像素可接收红光、绿光或蓝光，然后通过去马赛克算法将每个像素未接收到的光插值得到，如红色像素(即接收红光的像素)通过去马赛克算法插值得到绿色通道值和蓝色通道值，从而生成彩色图像。然而，去马赛克算法仅针对当前图像的局部信息进行插值，插值准确性较差。
发明内容
本申请的实施方式提供了一种图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质。
本申请实施方式的图像处理方法包括获取多帧第一图像；融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及合成多个所述第二图像，以生成目标图像。
本申请实施方式的图像处理装置包括获取模块、融合模块和合成模块。所述获取模块用于获取多帧第一图像；所述融合模块用于融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；所述合成模块用于合成多个所述第二图像，以生成目标图像。
本申请实施方式的终端包括相机和处理器，所述相机用于采集多帧第一图像，所述处理器用于获取多帧所述第一图像；融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及合成多个所述第二图像，以生成目标图像。
本申请的一种包含计算机程序的非易失性计算机可读存储介质，当所述计算机程序被一个或多个处理器执行时，使得所述处理器执行图像处理方法。所述图像处理方法包括获取多帧第一图像；融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及合成多个所述第二图像，以生成目标图像。
本申请实施方式的图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质，通过融合多帧图像中相同预设类型通道的图像数据，生成多个单通道的图像然后合成目标图像，相较于去马赛克算法针对单帧图像进行插值得到目标图像，插值不够准确而言，利用多帧融合得到的单通道图像合成彩色图像，无需进行去马赛克算法处理，进行插值的准确性较高，有利于降低伪彩和拉链效应。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请某些实施方式的图像处理方法的流程示意图；
图2是本申请某些实施方式的图像处理装置的模块示意图；
图3是本申请某些实施方式的终端平面示意图；
图4是本申请某些实施方式的原理示意图；
图5是本申请某些实施方式的图像处理方法的流程示意图；
图6至图8是本申请某些实施方式的原理示意图；
图9是本申请某些实施方式的图像处理方法的流程示意图；
图10是本申请某些实施方式的原理示意图；
图11是本申请某些实施方式的图像处理方法的流程示意图；
图12本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。
请参阅图1至图3，本申请实施方式的图像处理方法包括以下步骤：
011：获取多帧第一图像；
012：融合多帧第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及
013：合成多个第二图像，以生成目标图像。
本申请实施方式的图像处理装置10包括获取模块11、融合模块12和合成模块13。获取模块11、融合模块12和合成模块13分别用于执行步骤011、步骤012和步骤013。即，获取模块11用于获取多帧第一图像；融合模块12用于融合多帧第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；合成模块13用于合成多个第二图像，以生成目标图像。
本申请实施方式的终端100包括相机20和处理器30。相机20用于采集多帧第一图像。处理器30用于获取多帧第一图像；融合多帧第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及合成多个第二图像，以生成目标图像。也即是说，步骤011、步骤012和步骤013可以由处理器30实现。
具体地，终端100还包括壳体40。终端100可以是手机、平板电脑、显示设备、笔记本电脑、柜员机、闸机、智能手表、头显设备、游戏机等。如图3所示，本申请实施方式以终端100是手机为例进行说明，可以理解，终端100的具体形式并不限于手机。壳体40还可用于安装终端100的显示装置、成像装置、供电装置、通信装置等功能模块，以使壳体40为功能模块提供防尘、防摔、防水等保护。
相机20拍摄多帧图像，处理器30获取相机20拍摄的多帧图像，并获取多帧图像中的多帧第一图像，多帧第一图像可以是多帧图像中的连续多帧，或者，多帧第一图像可以是从多帧图像中随机选取得到的，或者，多帧第一图像可以是按预定间隔(如预定帧数:1帧、2帧等)从多帧图像中进行选取得到的。本申请实施方式中，为了提升多帧第一图像的相关性，多帧第一图像为多帧图像中的连续多帧。
第一图像可以是还未进行处理的RAW图，即相机20的图像传感器输出后未经任何算法处理的图像数据。或者第一图像可以是经过黑电平校正(Black Level Correction，BLC)和镜头阴影校正(Lens Shading Correction，LSC)后图像，从而获取图像质量更好的第一图像。当然，第一图像还可经过不限于上述BLC和LSC之外的其他算法的处理，以实现更好的图像质量。
第一图像的预设类型通道包括多个通道的图像数据，例如对于常规拜尔阵列排布的滤光片而言，预设类型通道的数量可根据颜色确定，如第一图像的预设类型通道包括R通道、G通道和B通道，R通道、G通道和B通道的像素的数量比例为1:2:1；或者预设类型通道的数量可根据组成滤光片的基本单元包含的像素确定，拜尔阵列的基本单元包括4个像素，即第一图像包括R通道、G1通道、G2通道和B通道，其中，G1和G2的波段可相同或部分重叠；或者，第一图像包括R通道、G通道、B通道和W通道，R通道、G通道、B通道和W通道的像素数量相同；当然，第一图像的通道分布不限于上述两种方式，在此不作限制。本申请实施方式中，第一图像包括R通道、G通道和B通道，其中，R通道、G通道和B通道的像素的数量比例为1:2:1。
处理器30将多帧第一图像P1中，相同预设类型通道的图像数据进行融合，从而生成多个单通道的第二图像P2。请参阅图4，例如，处理器30首先将第一图像P1中R通道的图像数据(如图4中的A像素)抽取出来，对于拜尔阵列而言，由多个相同基本单元M组成，每个基本单元M包括1个R通道(对应A像素)，2个G通道(对应B像素)和1个B通道(对应C像素)，处理器30将每个基本单元M中的R通道图像数据抽取出来，以形成1个R图像，将每个基本单元M中的G通道图像数据(如图4中的B像素)抽取出来，以形成2个G图像，将每个基本单元M中的B通道图像数据(如图4中的C像素)抽取出来，以形成1个B图像。每帧第一图像P1可生成4个单通道的图像，然后处理器30将多帧第一图像P1中的R图像融合，以生成1个单通道的第二图像P2，将多帧第一图像P1中的G图像融合，以生成1个单通道的第二图像P2，将多帧第一图像P1中的B图像融合，以生成1个单通道的第二图像P2，每个第一图像P1可生成3个单通道的第二图像P2。
其中，由于每个基本单元M包括2个G通道，在融合多帧第一图像P1中的G图像时，可分别将多帧第一图像P1中位置相同的G图像融合，以生成2个第一次融合后的G图像，然后再将2个第一次融合后的G图像再次进行第二次融合(如2个第一次融合后的G图像中，位置相同的图像数据通过加权融合)，以生成1个单通道的第二图像P2。
处理器30将多帧第一图像P1中的R图像融合，以生成1个单通道的第二图像P2时，可通过赋予多帧第一图像P1不同的权重，然后通过加权融合的方式将多个R图像融合，以生成1个单通道的第二图像P2。同样地，可通过加权融合的方式融合多个G图像，以生成1个单通道的第二图像P2，再通过加权融合的方式融合多个B图像，以生成1个单通道的第二图像P2。如此，可生成分别与R通道、G通道和B通道对应的3个单通道的第二图像P2。
最后，处理器30将生成的3个单通道的第二图像P2进行合成，以生成目标图像P0。目标图像P0中的每个像素均包含了R通道、G通道和B通道的图像数据，从而无需进行去马赛克处理，也能够作为彩色的目标图像P0输出至显示器进行预览。
本申请实施方式的图像处理方法、图像处理装置10和终端100，通过融合多帧图像中相同预设类型通道的图像数据，生成多个单通道的图像然后合成目标图像P0，相较于去马赛克算法针对单帧图像进行插值得到目标图像，插值不够准确而言，利用多帧融合得到的单通道图像合成彩色图像，无需进行去马赛克算法处理，进行插值的准确性较高，有利于降低伪彩和拉链效应。
请参阅图2、图3和图5，在某些实施方式中，图像处理方法还包括步骤：
014：根据预设策略从多帧第一图像中选择一帧第一图像定义为基准帧，剩余的第一图像定义为非基准帧；
015：将多帧所述第一图像中的所述非基准帧与所述基准帧对齐；及
016：根据多帧所述第一图像中每一帧图像和所述基准帧的相似度分别来确定多帧所述第一图像中每一帧图像的权重；
步骤012包括：
0121：获取多帧第一图像中每一帧图像的多个通道的图像数据，以生成对应每一帧第一图像的多个单通道的第三图像；
0122：根据多帧第一图像中每一帧图像的权重分别计算对应每一帧第一图像的第三图像的权重；
0123：根据第三图像的权重，按照相同预设类型通道融合多帧第一图像中每一帧图像所对应的第三图像，以生成多个预定尺寸的单通道的第二图像。
在某些实施方式中，图像处理装置10还包括选择模块14、对齐模块15和确定模块16。选择模块14、对齐模块15和确定模块16分别用于执行步骤014、步骤015和步骤016。融合模块12还用于执行步骤0121、步骤0122和步骤0123。即，选择模块14用于根据预设策略从多帧第一图像中选择一帧第一图像定义为基准帧，剩余的第一图像定义为非基准帧；对齐模块15用于将多帧所述第一图像中的所述非基准帧与所述基准帧对齐；确定模块16用于根据多帧所述第一图像中每一帧图像和所述基准帧的相似度分别来确定多帧所述第一图像中每一帧图像的权重；融合模块12还用于获取多帧第一图像中每一帧图像的多个通道的图像数据，以生成对应每一帧第一图像的多个单通道的第三图像；根据多帧第一图像中每一帧图像的权重分别计算对应每一帧第一图像的第三图像的权重；根据第三图像的权重，按照相同预设类型通道融合多帧第一图像中每一帧图像所对应的第三图像，以生成多个预定尺寸的单通道的第二图像。
在某些实施方式中，处理器30还用于根据预设策略从多帧第一图像中选择一帧第一图像定义为基准帧，剩余的第一图像定义为非基准帧；将多帧所述第一图像中的所述非基准帧与所述基准帧对齐；根据多帧所述第一图像中每一帧图像和所述基准帧的相似度分别来确定多帧所述第一图像中每一帧图像的权重；获取多帧第一图像中每一帧图像的多个通道的图像数据，以生成对应每一帧第一图像的多个单通道的第三图像；根据多帧第一图像中每一帧图像的权重分别计算对应每一帧第一图像的第三图像的权重；根据第三图像的权重，按照相同预设类型通道融合多帧第一图像中每一帧图像所对应的第三图像，以生成多个预定尺寸的单通道的第二图像。也即是说，步骤014、步骤015、步骤016、步骤0121、步骤0122和步骤0123可以由处理器30实现。
具体地，在进行多帧第一图像的融合前，需要先将多帧第一图像对齐，以保证多帧第一图像进行融合的准确性。
在对齐时，处理器30首先按照预设策略选择多帧第一图像中的一帧第一图像为基准帧，剩余的第一图像为非基准帧，以确定多帧第一图像中的基准帧及非基准帧，然后以基准帧为基准进行对齐。预设策略可以是：首先计算每个第一图像的锐度，锐度可根据第一图像水平方向和垂直方向的梯度确定，然后选取锐度最大的第一图像作为基准帧，将多帧第一图像中除基准帧之外的其他第一图像作为非基准帧，然后以基准帧为基准，将非基准帧与基准帧对齐。
请参阅图6，对齐基准帧S1和非基准帧S2具体可以是：处理器30首先识别基准帧S1的多个第一特征点T1，第一特征点T1可通过对图像进行特征识别确定(如通过识别Harris角点确定第一特征点T1)，然后识别非基准帧S2中，与第一特征点T1匹配的第二特征点T2，每一对匹配的第一特征点T1和第二特征点T2均存在一个映射关系，根据多对第一特征点T1和第二特征点T2的多个映射关系，即可建立基准帧S1和非基准帧S2的透视矩阵，从而实现基准帧S1和非基准帧S2的对齐。或者，根据每一对匹配的第一特征点T1和第二特征点T2的映射关系，可建立拟合曲线，从而建立基准帧S1和非基准帧S2的映射关系，实现基准帧S1和非基准帧S2的对齐。
确定非基准帧S2中与第一特征点T1匹配的第二特征点T2时，处理器30首先确定基准帧S1中包含第一特征点T1的第一特征区域R1，例如，第一特征点T1位于第一特征区域R1的中心，然后确定非基准帧S2中的第三特征点T3，并确定包含第三特征点T3的第二特征区域R2，第三特征点T3在非基准帧S2的位置和第一特征点T1在基准帧S1中的位置相同，第二特征区域R2大于第一特征区域R1。
然后，处理器30在第二特征区域R2中选取多个与第一特征区域R1的尺寸相同的第三特征区域R3，如第一特征区域R1的尺寸为3*3像素，第二特征区域R2的尺寸为5*5像素，则第二特征区域R2中可获取9个第三特征区域R3，然后计算每个第三特征区域R3和第一特征区域R1相似度，第三特征区域R3和第一特征区域R1的相似度可根据第三特征区域R3和第一特征区域R1的像素值差值确定。处理器30确定与第一特征区域R1相似度最大的第三特征区域R3为第四特征区域R4，从而在第四特征区域R4中确定与第一特征点T1匹配的第二特征点T2，第一特征点T1在第一特征区域R1的位置和第二特征点T2在第四特征区域R4的位置相同。
可以理解，由于第一特征点T1在基准帧S1中的位置与第二特征点T2在非基准帧S2中的位置可能偏差较大，因此设置大于第一特征区域R1的第二特征区域R2进行匹配，可防止第一特征点T1和第二特征点T2偏差较大时，第二特征区域R2中不存在与第一特征点T1匹配的第二特征点T2，从而提升第一特征点T1和第二特征点T2的匹配准确性。
在对齐基准帧S1和非基准帧S2的对齐，即实现多帧第一图像P1的对齐后，可根据每个第一图像P1和基准帧S1的相似度，计算每帧第一图像P1的权重，可以理解，多帧第一图像P1包括基准帧S1和非基准帧S2，作为基准帧S1的第一图像P1和基准帧S1为同一图像，相似度为1，因此只需计算非基准帧S2和基准帧S1的相似度即可，非基准帧S2和基准帧S1的相似度可通过计算非基准帧S2和基准帧S1的中，位置对应的像素的像素值差值之和确定，该差值之和越小，则相似度越大，该差值之和越大，则相似度越小。从而计算得到每个第一图像P1与基准帧S1的相似度。
然后处理器30可根据每个第一图像P1的相似度确定每个第一图像P1的权重，相似度越大，权重则越大，例如，第一图像P1的权重为该第一图像P1的相似度和所有第一图像P1的相似度之和的比值。如此，可准确地根据第一图像P1与基准帧S1的相似度，确定每个第一图像P1的权重。
其中，第一图像P1的权重可包括第一图像P1中每个像素的权重，处理器30可根据每个第一图像P1中的多个图像区域和基准帧S1中多个图像区域的相似度，计算出每个第一图像P1中每个像素的权重。同样地，只需计算非基准帧S2中多个图像区域和基准帧S1中多个图像区域的相似度，计算出非基准帧S2中每个像素的权重。
请参阅图7，基准帧S1中的每个第一像素O1均对应一个第一图像区域R5，如以第一像素O1为中心的第一预设尺寸(如3*3像素、5*5像素等)的图像区域，非基准帧S2中的每个第二像素O2均对应一个第二图像区域R6，如以第二像素O2为中心的第二预设尺寸(如3*3像素、5*5像素等)的图像区域，对齐后的基准帧S1和非基准帧S2中，第一像素O1和第二像素O2对应，如对应的第一像素O1和第二像素O2分别在基准帧S1和非基准帧S2的位置(如图像坐标)相同，第一像素O1在第一图像区域R5的位置和第二像素O2在第二图像区域R6的位置相同，且第一图像区域R5和第二图像区域R6的面积相同，即第一预设尺寸和第二预设尺寸相同，以保证非基准帧S2中每个像素的相似度的计算准确性。
对应的第一像素O1和第二像素O2的相似度可通过计算第一像素O1对应的第一图像区域R5和第二像素O2对应的第二图像区域R6的相似度得到，如以第一图像区域R5和第二图像区域R6的像素值差值作为第一像素O1和第二像素O2的相似度，即第二像素O2的相似度。如此，可快速计算出每个第二像素O2的相似度。
然后处理器30根据第一图像P1中每个第二像素O2的相似度，计算第一图像P1的每个像素的权重。例如，第一图像P1中每个像素的权重为该像素的相似度和所有第一图像P1中与该像素对应的像素的相似度之和的比值，Qn＝Wn/(Wn,1+W n,2+W n,3+……+Wn,N)，其中，Qn表示第一图像P1的第n个像素的权重，Wn为第n个像素的的相似度，Wn,N为第N个第一图像P1的第n个像素的相似度，N和n均为正整数。可以理解，多个第一图像P1对齐后，任一第一图像P1中的像素在其他第一图像P1中均存在对应的像素，例如，多个第一图像P1中图像坐标相同的像素对应。
请再次参阅图4，处理器30获取第一图像P1中多个通道的图像数据，每个通道的图像数据均可生成一个单通道的第三图像P3，由于第一图像P1的权重已确定，第三图像P3的权重可根据第一图像P1的权重确定。第三图像P3的权重包括第三图像P3中每个像素的权重，第三图像P3中每个像素的权重均可根据第一图像P1中每个像素的权重确定。例如，处理器30在获取第一图像P1中的每个图像数据(即每个像素的像素值)时，同时获取该像素对应的权重，从而在生成第三图像P3时，即可确定第三图像P3中每个像素的权重。
然后处理器30根据各相同预设类型通道的第三图像P3的权重(具体可以是第三图像P3中每个像素的权重)，将各相同预设类型通道的第三图像P3中位置相同的像素融合，从而生成第二图像P2。例如，根据各相同预设类型通道的第三图像P3中位置相同的像素的像素值和对应的权重的乘积的和作为融合后的像素，以生成预定尺寸的第二图像P2。
其中，第二图像P2的尺寸可大于第三图像P3的尺寸，处理器30可首先根据的第三图像P3的权重将各相同预设类型通道的第三图像P3中位置相同的像素融合，从而生成尺寸与第三图像P3相同的单通道的第四图像P4，然后对第四图像P4进行插值，以生成预定尺寸的第二图像P2，例如第四图像P4的尺寸为2*2，需要生成预定尺寸的第二图像P2，如预定尺寸可以是4*4像素、5*5像素等，在插值前，第二图像P2包括与第四图像P4的像素及空白像素，然后在插值后，空白像素可根据周围的第四图像P4的像素进行插值填充，如空白像素可根据相邻的第四图像P4的像素的均值确定。
如此，通过对多帧图像中的每个像素按照权重进行融合，从而提升融合生成的第四图像P4的准确性，进而提升了生成预定尺寸的第二图像P2时，进行图像插值的准确性。
请再次参阅图2、图3和图9，在某些实施方式中，步骤012还包括：
0124：对第三图像进行插值，以生成预定尺寸的第五图像；
步骤0122包括：
01221：根据多帧第一图像中每一帧图像的权重分别计算对应每一帧第一图像的第五图像的权重；
步骤0123包括：
01231：根据第五图像的权重，按照相同预设类型通道融合多帧第一图像中每一帧图像所对应的第五图像，以生成多个预定尺寸的单通道的第二图像。
在某些实施方式中，融合模块12还用于执行步骤0124、步骤01221和步骤01231。即融合模块12还用于对第三图像进行插值，以生成预定尺寸的第五图像；根据多帧第一图像中每一帧图像的权重分别计算对应每一帧第一图像的第五图像的权重；根据第五图像的权重，按照相同预设类型通道融合多帧第一图像中每一帧图像所对应的第五图像，以生成多个预定尺寸的单通道的第二图像。
在某些实施方式中，处理器30还用于对第三图像进行插值，以生成预定尺寸的第五图像；根据多帧第一图像中每一帧图像的权重分别计算对应每一帧第一图像的第五图像的权重；根据第五图像的权重，按照相同预设类型通道融合多帧第一图像中每一帧图像所对应的第五图像，以生成多个预定尺寸的单通道的第二图像。即，步骤0124、步骤01221和步骤01231可以由处理器30实现。
具体地，请参阅图10，在生成第二图像P2时，还可先对单通道的第三图像P3进行插值，先生成预定尺寸的第五图像P5。处理器30首先根据第一图像P1的权重，计算第三图像P3的权重，然后再根据第三图像P3的权重，计算第五图像P5的权重。具体可以是，第三图像P3进行像素值的插值以得到第五图像P5时，同时进行第三图像P3的权重的插值，从而得到第五图像P5中每个像素的权重，例如，第五图像P5中插值得到的像素的权重可根据周围的第三图像P3的像素的权重计算得到。如此，可计算得到第五图像P5中每个像素的权重。
然后，处理器30将各相同预设类型通道的第五图像P5按照第五图像P5的每个像素的权重进行融合，从而生成预定尺寸的第二图像P2。在融合时，各相同预设类型通道的第五图像P5中，位置相同的像素的像素值和对应的权重的乘积之和作为融合后像素，从而生成第二图像P2。
例如，通道B为G通道，在对G通道的第三图像P3进行处理时，首先通过对每个第一图像P1进行通道抽取生成两个G通道的第三图像P3，然后根据第一图像P1中G通道的权重，计算G通道的第三图像P3的权重，然后对G通道的第三图像P3的G像素及G像素对应的权重均进行插值，从而得到G通道的第五图像P5及第五图像P5的每个G像素对应的权重，然后多帧第一图像P1对应的多个G通道的第五图像P5按照第五图像P5的每个G像素的权重进行融合，从而生成预定尺寸的第二图像P2。
其中，由于每帧第一图像P1存在两个G通道，因此，可将两个G通道分为G1通道和G2通道，然后多帧第一图像P1对应的多个G1通道的第五图像P5按照第五图像P5的每个G1像素的权重进行融合，从而生成一张G1通道的预定尺寸的第二图像P2，多帧第一图像P1对应的多个G2通道的第五图像P5按照第五图像P5的每个G2像素的权重进行融合，从而生成一张G2通道的预定尺寸的第二图像P2；然后将G1通道的第二图像P2和G2通道的第二图像P2再次进行加权融合(如G1通道的第二图像P2和G2通道的第二图像P2的每个像素的权值均为0.5)，从而最终生成G通道的第二图像P2。
请参阅图2、图3和图11，在某些实施方式中，图像处理方法还包括以下步骤：
017：根据第三图像的噪声强度和方差调整第三图像的权重。
在某些实施方式中，图像处理装置10还包括调整模块17。调整模块17还用于执行步骤017。即，调整模块17还用于根据第三图像的噪声强度和方差调整第三图像的权重。
在某些实施方式中，处理器30还用于根据第三图像的噪声强度和方差调整第三图像的权重。也即是说，步骤017可以由处理器30实现。
具体地，在得到单通道的第三图像及第三图像的权重后，处理器30可计算第三图像的噪声强度和方差，其中，噪声强度可通过输入第三图像的亮度信息到预先标定好的声音模型得到，噪声强度越大，说明第三图像受到噪声的影响越大，此时可降低第三图像的权重(具体可将第三图像中每个像素的权重均乘以一个小于1的调整系数)，实现第三图像的每个像素的权重的调整。而噪声强度越小，则说明第三图像受到噪声的影响越小，此时可增加第三图像的权重(具体可将第三图像中每个像素的权重均乘以一个大于1的调整系数)，实现第三图像的每个像素的权重的调整。进一步的，可获取第三图像中每个像素对应的图像区域(如以每个像素为中心的预设尺寸的图像区域，预设尺寸可以是3*3像素、5*5像素大小等)内亮度信息以计算每个像素的噪声强度，从而根据每个像素对应的噪声强度实现对第三图像中每个像素的权重的调整。
方差可根据第三图像的所有像素的像素值计算得到，方差越大，说明图像的变化程度越大，图像包含的细节较多，为了降低融合误差，此时可降低第三图像的权重。反之，方差越小，则表示图像较为平滑，可增加第三图像的权重，可实现第三图像的每个像素的权重的调整。进一步的，可获取第三图像中每个像素对应的图像区域(如以每个像素为中心的预设尺寸的图像区域，预设尺寸可以是3*3像素、5*5像素大小等)内方差，从而根据每个像素对应的方差实现对第三图像中每个像素的权重的调整。
如此，通过噪声强度和方差实现对第三图像的权重的调整，降低了融合误差，从而优化了后续融合第三图像时的准确性，有助于得到高质量的目标图像。
请参阅图12，本申请实施方式的一种存储有计算机程序302的非易失性计算机可读存储介质300，当计算机程序302被一个或多个处理器30执行时，使得处理器30可执行上述任一实施方式的图像处理方法。
例如，请结合图1，当计算机程序302被一个或多个处理器30执行时，使得处理器30执行以下步骤：
011：获取多帧第一图像；
012：融合多帧第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及
013：合成多个第二图像，以生成目标图像。
再例如，请结合图4，当计算机程序302被一个或多个处理器30执行时，处理器30还可以执行以下步骤：
014：根据预设策略从多帧第一图像中选择一帧第一图像定义为基准帧，剩余的第一图像定义为非基准帧；
015：将多帧所述第一图像中的所述非基准帧与所述基准帧对齐；及
016：根据多帧所述第一图像中每一帧图像和所述基准帧的相似度分别来确定多帧所述第一图像中每一帧图像的权重；
步骤012包括：
0121：获取多帧第一图像中每一帧图像的多个通道的图像数据，以生成对应每一帧第一图像的多个单通道的第三图像；
0122：根据多帧第一图像中每一帧图像的权重分别计算对应每一帧第一图像的第三图像的权重；
0123：根据第三图像的权重，按照相同预设类型通道融合多帧第一图像中每一帧图像所对应的第三图像，以生成多个预定尺寸的单通道的第二图像。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的程序的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (14)
1.一种图像处理方法，其特征在于，包括：
获取多帧第一图像；
融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及
合成多个所述第二图像，以生成目标图像；
其中，所述图像处理方法还包括：
根据预设策略从多帧所述第一图像中选择一帧所述第一图像定义为基准帧，剩余的所述第一图像定义为非基准帧；
将多帧所述第一图像中的所述非基准帧与所述基准帧对齐；及
根据多帧所述第一图像中每一帧图像和所述基准帧的相似度分别来确定多帧所述第一图像中每一帧图像的权重；
所述融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像，包括：
获取多帧所述第一图像中每一帧图像的多个通道的图像数据，以生成对应每一帧所述第一图像的多个单通道的第三图像；
根据多帧所述第一图像中每一帧图像的权重分别计算对应每一帧所述第一图像的所述第三图像的权重；
根据所述第三图像的权重，按照相同预设类型通道融合多帧所述第一图像中每一帧图像所对应的所述第三图像，以生成多个预定尺寸的单通道的所述第二图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第一图像的权重包括所述第一图像的每个像素的权重，所述第三图像的权重包括所述第三图像的每个像素的权重，所述根据多帧所述第一图像中每一帧图像和所述基准帧的相似度分别来确定多帧所述第一图像中每一帧图像的权重，包括：
根据多帧所述第一图像中每一帧图像的多个图像区域和所述基准帧中多个图像区域的相似度，计算每一帧所述第一图像中每个像素的权重；
所述根据多帧所述第一图像中每一帧图像的权重分别计算对应每一帧所述第一图像的所述第三图像的权重，包括：
根据每一帧所述第一图像的每个像素的权重分别计算对应每一帧所述第一图像的每一帧所述第三图像的每个像素的权重；
所述根据所述第三图像的权重，按照相同预设类型通道融合多帧所述第一图像中每一帧图像所对应的所述第三图像，以生成多个预定尺寸的单通道的所述第二图像，包括：
根据所述第三图像中每个像素的权重，按照相同预设类型通道融合多帧所述第一图像中每一帧图像所对应的所述第三图像，以生成多个预定尺寸的单通道的所述第二图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述根据多帧所述第一图像中每一帧图像的多个图像区域和所述基准帧中多个图像区域的相似度，计算每一帧所述第一图像中每个像素的权重，包括：
确定包含所述基准帧的第一像素的第一图像区域、及包含所述第一图像的第二像素的第二图像区域，所述第一像素在所述第一图像区域的位置和所述第二像素在所述第二图像区域的位置相同，所述第一图像区域和所述第二图像区域的面积相同；
计算所述第一图像区域和所述第二图像区域的相似度，以作为所述第二像素的相似度；及
根据多帧所述第一图像中所述第二像素的相似度确定每一帧所述第一图像的每个像素的权重。
4.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述第三图像的权重，按照相同预设类型通道融合多帧所述第一图像中每一帧图像所对应的所述第三图像，以生成多个预定尺寸的单通道的所述第二图像，包括：
根据所述第三图像的权重，按照相同预设类型通道融合多帧所述第一图像中每一帧图像所对应的所述第三图像，以生成多个单通道的第四图像；
对所述第四图像进行插值，以生成多个预定尺寸的单通道的所述第二图像。
5.根据权利要求1所述的图像处理方法，其特征在于，所述融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像，还包括：
对所述第三图像进行插值，以生成所述预定尺寸的第五图像；
所述根据多帧所述第一图像中每一帧图像的权重分别计算对应每一帧所述第一图像的所述第三图像的权重，包括：
根据多帧所述第一图像中每一帧图像的权重分别计算对应每一帧所述第一图像的所述第五图像的权重；
所述根据所述第三图像的权重，按照相同预设类型通道融合多帧所述第一图像中每一帧图像所对应的所述第三图像，以生成多个预定尺寸的单通道的所述第二图像，包括：
根据所述第五图像的权重，按照相同预设类型通道融合多帧所述第一图像中每一帧图像所对应的所述第五图像，以生成多个预定尺寸的单通道的所述第二图像。
6.根据权利要求1所述的图像处理方法，其特征在于，还包括：
根据所述第三图像的噪声强度和方差调整所述第三图像的权重。
7.根据权利要求6所述的图像处理方法，其特征在于，所述根据所述第三图像的噪声强度和方差调整所述第三图像的权重，包括：
根据所述第三图像的噪声强度和方差调整所述第三图像的每个像素的权重。
8.根据权利要求1所述的图像处理方法，其特征在于，所述根据预设策略从多帧所述第一图像中选择一帧所述第一图像定义为基准帧，剩余的所述第一图像定义为非基准帧，包括：
计算所述第一图像的锐度，所述锐度根据所述第一图像的水平方向和垂直方向的梯度确定；
确定所述锐度最大的所述第一图像为所述基准帧；及
确定除所述基准帧之外的所述第一图像为所述非基准帧。
9.根据权利要求1所述的图像处理方法，其特征在于，所述将多帧所述第一图像中的所述非基准帧与所述基准帧对齐，包括：
识别所述基准帧的多个第一特征点；
获取所述非基准帧与所述第一特征点匹配的第二特征点；及
根据所述第一特征点和所述第二特征点的映射关系，建立所述基准帧和所述非基准帧的透视矩阵，以对齐所述基准帧和所述非基准帧。
10.根据权利要求9所述的图像处理方法，其特征在于，所述获取所述非基准帧与所述第一特征点匹配的第二特征点，包括：
确定所述基准帧中，包含所述第一特征点的第一特征区域；
确定所述非基准帧中的第三特征点，并确定包含所述第三特征点的第二特征区域，所述第三特征点在所述非基准帧中的位置和所述第一特征点在所述基准帧中的位置相同，所述第二特征区域大于所述第一特征区域；
获取所述第二特征区域中与所述第一特征区域尺寸相同的多个第三特征区域；
确定与所述第一特征区域的相似度最大的所述第三特征区域为第四特征区域；
确定所述第四特征区域中的所述第二特征点，所述第一特征点在所述第一特征区域的位置和所述第二特征点在所述第四特征区域的位置相同。
11.根据权利要求1所述的图像处理方法，其特征在于，所述第一图像的预设类型通道包括R通道、G通道和B通道；或者，所述第一图像包括R通道、G通道、B通道和W通道。
12.一种图像处理装置，其特征在于，包括：
获取模块，用于获取多帧第一图像；
融合模块，用于融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；
合成模块，用于合成多个所述第二图像，以生成目标图像；
选择模块，用于根据预设策略从多帧所述第一图像中选择一帧所述第一图像定义为基准帧，剩余的所述第一图像定义为非基准帧；
对齐模块，用于将多帧所述第一图像中的所述非基准帧与所述基准帧对齐；及
确定模块，用于根据多帧所述第一图像中每一帧图像和所述基准帧的相似度分别来确定多帧所述第一图像中每一帧图像的权重；
所述融合模块还用于：获取多帧所述第一图像中每一帧图像的多个通道的图像数据，以生成对应每一帧所述第一图像的多个单通道的第三图像；根据多帧所述第一图像中每一帧图像的权重分别计算对应每一帧所述第一图像的所述第三图像的权重；根据所述第三图像的权重，按照相同预设类型通道融合多帧所述第一图像中每一帧图像所对应的所述第三图像，以生成多个预定尺寸的单通道的所述第二图像。
13.一种终端，其特征在于，包括相机和处理器，所述相机用于采集多帧第一图像，所述处理器用于获取多帧所述第一图像；融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像；及合成多个所述第二图像，以生成目标图像；
所述处理器还用于：根据预设策略从多帧所述第一图像中选择一帧所述第一图像定义为基准帧，剩余的所述第一图像定义为非基准帧；将多帧所述第一图像中的所述非基准帧与所述基准帧对齐；及根据多帧所述第一图像中每一帧图像和所述基准帧的相似度分别来确定多帧所述第一图像中每一帧图像的权重；
所述处理器用于所述融合多帧所述第一图像中相同预设类型通道的图像数据，以生成多个单通道的第二图像，包括：获取多帧所述第一图像中每一帧图像的多个通道的图像数据，以生成对应每一帧所述第一图像的多个单通道的第三图像；根据多帧所述第一图像中每一帧图像的权重分别计算对应每一帧所述第一图像的所述第三图像的权重；根据所述第三图像的权重，按照相同预设类型通道融合多帧所述第一图像中每一帧图像所对应的所述第三图像，以生成多个预定尺寸的单通道的所述第二图像。
14.一种包含计算机程序的非易失性计算机可读存储介质，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1-11任意一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110856324.5A CN113570532B (zh) | 2021-07-28 | 2021-07-28 | 图像处理方法、装置、终端和可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110856324.5A CN113570532B (zh) | 2021-07-28 | 2021-07-28 | 图像处理方法、装置、终端和可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113570532A CN113570532A (zh) | 2021-10-29 |
| CN113570532B true CN113570532B (zh) | 2024-04-12 |
Family
ID=78168355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110856324.5A Active CN113570532B (zh) | 2021-07-28 | 2021-07-28 | 图像处理方法、装置、终端和可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570532B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114125319A (zh) * | 2021-11-30 | 2022-03-01 | 维沃移动通信有限公司 | 图像传感器、摄像模组、图像处理方法、装置和电子设备 |
| CN117785995A (zh) * | 2024-02-28 | 2024-03-29 | 江西方兴科技股份有限公司 | 一种基于物联网屏的数据展示方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111861908A (zh) * | 2020-06-29 | 2020-10-30 | 维沃移动通信有限公司 | 图像处理方法及装置 |
| WO2021047345A1 (zh) * | 2019-09-09 | 2021-03-18 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、存储介质及电子设备 |
| WO2021051996A1 (zh) * | 2019-09-18 | 2021-03-25 | 华为技术有限公司 | 一种图像处理的方法和装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10362205B2 (en) * | 2016-04-28 | 2019-07-23 | Qualcomm Incorporated | Performing intensity equalization with respect to mono and color images |
| CN108419061B (zh) * | 2017-02-10 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 基于多光谱的图像融合设备、方法及图像传感器 |
-
2021
- 2021-07-28 CN CN202110856324.5A patent/CN113570532B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021047345A1 (zh) * | 2019-09-09 | 2021-03-18 | Oppo广东移动通信有限公司 | 图像降噪方法、装置、存储介质及电子设备 |
| WO2021051996A1 (zh) * | 2019-09-18 | 2021-03-25 | 华为技术有限公司 | 一种图像处理的方法和装置 |
| CN111861908A (zh) * | 2020-06-29 | 2020-10-30 | 维沃移动通信有限公司 | 图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113570532A (zh) | 2021-10-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN213279832U (zh) | 图像传感器、相机和终端 | |
| EP2323374B1 (en) | Image pickup apparatus, image pickup method, and program | |
| US7460728B2 (en) | Image processing apparatus and method, recording medium, and program | |
| US11483467B2 (en) | Imaging device, image processing device, and electronic apparatus | |
| US8106976B2 (en) | Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium | |
| CN113570532B (zh) | 图像处理方法、装置、终端和可读存储介质 | |
| US9111365B2 (en) | Edge-adaptive interpolation and noise filtering method, computer-readable recording medium, and portable terminal | |
| US20070177004A1 (en) | Image creating method and imaging device | |
| CN111711755B (zh) | 图像处理方法及装置、终端和计算机可读存储介质 | |
| CN107911682B (zh) | 图像白平衡处理方法、装置、存储介质和电子设备 | |
| CN112118378A (zh) | 图像获取方法及装置、终端和计算机可读存储介质 | |
| US9369693B2 (en) | Stereoscopic imaging device and shading correction method | |
| CN104620569A (zh) | 成像控制器以及成像控制方法和程序 | |
| CN107948617B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
| CN107959841B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN113170061B (zh) | 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 | |
| JP4992698B2 (ja) | 色収差補正装置、撮像装置、色収差算出方法および色収差算出プログラム | |
| CN113676708B (zh) | 图像生成方法、装置、电子设备和计算机可读存储介质 | |
| CN111711766B (zh) | 图像处理方法及装置、终端和计算机可读存储介质 | |
| CN109300186B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN109447925B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| JP2011044828A (ja) | 立体画像生成装置、立体画像プリント装置、及び立体画像生成方法 | |
| CN113676659B (zh) | 图像处理方法及装置、终端及计算机可读存储介质 | |
| CN113676630B (zh) | 图像处理方法及装置、终端及计算机可读存储介质 | |
| JP2019088015A (ja) | 画像処理システム、撮像装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |