CN118172395A - 图像处理方法、装置、电子设备和存储介质 - Google Patents
图像处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN118172395A CN118172395A CN202410289422.9A CN202410289422A CN118172395A CN 118172395 A CN118172395 A CN 118172395A CN 202410289422 A CN202410289422 A CN 202410289422A CN 118172395 A CN118172395 A CN 118172395A
- Authority
- CN
- China
- Prior art keywords
- image data
- reference image
- pixel point
- color channel
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000004590 computer program Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000005070 sampling Methods 0.000 claims description 110
- 238000001514 detection method Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 description 15
- 230000001186 cumulative effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000000638 solvent extraction Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法、装置、电子设备、存储介质和计算机程序产品。所述方法包括:获取基准图像数据和基准图像数据对应的参考图像数据;参考图像数据为与基准图像数据进行配准对齐得到的图像数据;基于基准图像数据和参考图像数据,确定基准图像数据中的非运动区域;针对非运动区域中的每个像素点,基于像素点在参考图像数据中对应的已知颜色通道和已知颜色通道对应的参考像素值,确定像素点的各个颜色通道的目标像素值;基于非运动区域中像素点的各个颜色通道的目标像素值,确定基准图像数据对应的目标图像数据。采用本方法能够提高图像处理的准确性。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
随着图像处理技术的发展,出现了解马赛克技术,解马赛克技术是指将原始图像数据转换为完整彩色图像数据的技术,例如,将Bayer(拜耳)模式的原始图像数据转换为RGB(Red-Green-Blue,红-绿-蓝)图像数据,即通过填补原始图像数据中每个像素点缺失的颜色信息使其成为RGB图像数据。
传统技术中,采用邻域插值的方法确定原始图像数据中像素点缺失的颜色信息,导致图像处理的准确性较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高图像处理准确性的图像处理方法、装置、电子设备和计算机可读存储介质。
第一方面,本申请提供了一种图像处理方法。所述方法包括:
获取基准图像数据和所述基准图像数据对应的参考图像数据;所述参考图像数据为与所述基准图像数据进行配准对齐得到的图像数据;
基于所述基准图像数据和所述参考图像数据,确定所述基准图像数据中的非运动区域;
针对所述非运动区域中的每个像素点,基于所述像素点在所述参考图像数据中对应的已知颜色通道和所述已知颜色通道对应的参考像素值,确定所述像素点的各个颜色通道的目标像素值;
基于所述非运动区域中像素点的各个颜色通道的目标像素值,确定所述基准图像数据对应的目标图像数据。
第二方面,本申请还提供了一种图像处理装置。所述装置包括:
获取模块,用于获取基准图像数据和所述基准图像数据对应的参考图像数据;所述参考图像数据为与所述基准图像数据进行配准对齐得到的图像数据;
划分模块,用于基于所述基准图像数据和所述参考图像数据,确定所述基准图像数据中的非运动区域;
确定模块,用于针对所述非运动区域中的每个像素点,基于所述像素点在所述参考图像数据中对应的已知颜色通道和所述已知颜色通道对应的参考像素值,确定所述像素点的各个颜色通道的目标像素值;
处理模块,用于基于所述非运动区域中像素点的各个颜色通道的目标像素值,确定所述基准图像数据对应的目标图像数据。
第三方面,本申请还提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面中任一项所述方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面中任一项所述方法的步骤。
上述图像处理方法、装置、电子设备、存储介质和计算机程序产品,获取基准图像数据和基准图像数据对应的参考图像数据;参考图像数据为与基准图像数据进行配准对齐得到的图像数据;基于基准图像数据和参考图像数据,确定基准图像数据中的非运动区域;针对非运动区域中的每个像素点,基于像素点在参考图像数据中对应的已知颜色通道和已知颜色通道对应的参考像素值,确定像素点的各个颜色通道的目标像素值;基于非运动区域中像素点的各个颜色通道的目标像素值,确定基准图像数据对应的目标图像数据。通过基准图像数据和参考图像数据确定非运动区域和运动区域,非运动区域配准对齐的准确性较高,运动区域配准对齐的准确性较低,对于配准对齐准确性较高的非运动区域的每个像素点,使用多个参考图像中该像素点对应的已知颜色通道和已知颜色通道对应的参考像素值,确定该像素点的各个颜色通道的目标像素值,相比于采用邻域插值预估该像素点的各个颜色通道的目标像素值,使用该像素点在多帧参考图像数据中的已知颜色通道对应的参考像素值计算该像素点的各个颜色通道的目标像素值,提高了非运动区域中各个颜色通道的目标像素值的准确性,从而提高了目标图像数据的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的流程示意图;
图2为一个实施例中堆叠掩膜确定步骤的流程示意图;
图3为一个实施例中未确定颜色通道的目标像素值确定步骤的流程示意图;
图4为一个实施例中非运动区域确定步骤的流程示意图;
图5为一个实施例中运动掩膜确定步骤的流程示意图;
图6为一个实施例中参考运动掩膜确定步骤的流程示意图;
图7为一个实施例中参考图像数据确定步骤的流程示意图;
图8为一个实施例中初始图像数据划分为初始图像块的示意图;
图9为一个实施例中图像处理方法的流程示意图;
图10为一个实施例中配准对齐的流程示意图;
图11为一个实施例中运动掩膜确定步骤的流程示意图;
图12为一个实施例中图像处理装置的结构框图;
图13为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种图像处理方法,以该方法应用于电子设备为例进行说明,电子设备可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备、智能汽车等,便携式可穿戴设备可为智能手表和智能手环等,可以理解的是,该方法也可以应用于包括电子设备和服务器的系统,并通过电子设备和服务器的交互实现。本实施例中,该方法包括步骤102至步骤108,其中:
步骤102,获取基准图像数据和基准图像数据对应的参考图像数据;参考图像数据为与基准图像数据进行配准对齐得到的图像数据。
其中,基准图像数据是指需要转换为完整彩色图像数据的原始图像数据,基准图像数据中包括多个像素点,像素点具有对应的位置坐标和一个颜色通道的像素值,基准图像数据可以为Bayer模式的RAW(原始图像)数据。参考图像数据是指与基准图像数据进行配准对齐得到的图像数据,参考图像数据中包括多个像素点,像素点具有对应的位置坐标和一个颜色通道的参考像素值。参考图像数据的数量为至少一个。
示例性地,电子设备获取目标场景对应的多个原始图像数据,从多个原始图像数据中确定一帧基准图像数据,从不包含基准图像数据的原始图像数据中确定至少一帧初始图像数据,针对每帧初始图像数据,将初始图像数据与基准图像数据进行配准对齐,得到基准图像数据对应的参考图像数据。其中,基准图像数据可以为多个原始图像数据中清晰度最高的原始图像数据、或者噪点最少的原始图像数据、或者对比度最高的原始图像数据、或者色彩准确度最高的原始图像数据,或者动态范围最广的原始图像数据,基准图像数据的选取标准可以根据实际需求进行设定,此处不作限制。
步骤104,基于基准图像数据和参考图像数据,确定基准图像数据中的非运动区域。
其中,运动区域是指基准图像数据中运动对象所对应的像素点组成的图像区域,非运动区域是指基准图像数据中非运动对象所对应的像素点组成的图像区域,可以理解为,基准图像数据由运动区域的像素点和非运动区域的像素点组成。
示例性地,针对每帧参考图像数据,对参考图像数据和基准图像数据进行运动检测,得到参考图像数据对应的初始运动掩膜,对多帧参考图像数据对应的初始运动掩膜进行异或运算,得到基准图像数据对应的目标运动掩膜,基于目标运动掩膜确定基准图像数据的非运动区域和运动区域。
步骤106,针对非运动区域中的每个像素点,基于像素点在参考图像数据中对应的已知颜色通道和已知颜色通道对应的参考像素值,确定像素点的各个颜色通道的目标像素值。
其中,已知颜色通道是指参考图像数据中像素点的像素值所对应的颜色通道,可以理解为,参考图像数据中每个像素点对应一个像素值,该像素值表征该像素点在已知颜色通道的颜色,例如,基准图像数据中(0,0)像素点的红色通道的像素值为255,绿色通道和蓝色通道的像素值未知,则红色通道即为(0,0)像素点的已知颜色通道。已知颜色通道可以为红色通道、绿色通道和蓝色通道的中一个。参考像素值是指参考图像数据中像素点所对应的像素值,即参考图像数据中每个像素点仅对应一个像素值,该像素值即为参考像素值,例如,参考图像数据中(0,0)像素点的红色通道的像素值为255,绿色通道和蓝色通道的像素值未知,则像素值为255即为(0,0)像素点的参考像素值。
示例性地,针对非运动区域中的每个像素点,电子设备获取该像素点的位置坐标,分别在每帧参考图像数据中获取该位置坐标对应的已知颜色通道和已知颜色通道对应的参考像素值,基于多个已知颜色通道和已知颜色通道对应的参考像素值,确定该像素点的各个颜色通道的目标像素值。
在一个实施例中,针对非运动区域中的每个像素点,电子设备获取该像素点的位置坐标、该像素点在基准图像数据中的已知颜色通道和已知颜色通道对应的参考像素值,以及分别在每帧参考图像数据中获取该位置坐标对应的已知颜色通道和已知颜色通道对应的参考像素值,基于基准图像数据和多帧参考图像数据中该像素点对应的已知颜色通道和已知颜色通道对应的参考像素值,确定该像素点的各个颜色通道的目标像素值。
在一个实施例中,在基准图像数据存在运动区域的情况下,电子设备获取目标人工智能模型,基于目标人工智能模型,确定运动区域中每个像素点的各个颜色通道的目标像素值。其中,目标人工智能模型为经过训练、用于确定运动区域中每个像素点的各个颜色通道的目标像素值的神经网络模型。
步骤108,基于非运动区域中像素点的各个颜色通道的目标像素值,确定基准图像数据对应的目标图像数据。
其中,目标图像数据是指完整彩色图像数据,目标图像数据中包括多个像素点,每个像素点对应一个位置坐标和各个颜色通道对应的目标像素值,目标图像数据可以为RGB图像数据,即每个像素点对应一个位置坐标、红色通道对应的目标像素值、绿色通道对应的目标像素值和蓝色通道的目标像素值。
示例性地,在基准图像数据包括运动区域的情况下,电子设备确定运动区域中像素点的各个颜色通道的目标像素值,将定非运动区域中像素点的各个颜色通道的目标像素值和运动区域中像素点的各个颜色通道的目标像素值,组成基准图像数据对应的目标图像数据。
在一个实施例中,在基准图像数据仅包括非运动区域的情况下,电子设备将非运动区域中像素点的各个颜色通道的目标像素值,组成基准图像数据对应的目标图像数据。
上述图像处理方法中,通过基准图像数据和参考图像数据确定非运动区域和运动区域,非运动区域配准对齐的准确性较高,运动区域配准对齐的准确性较低,对于配准对齐准确性较高的非运动区域的每个像素点,使用多个参考图像中该像素点对应的已知颜色通道和已知颜色通道对应的参考像素值,确定该像素点的各个颜色通道的目标像素值,相比于采用邻域插值预估该像素点的各个颜色通道的目标像素值,使用该像素点在多帧参考图像数据中的已知颜色通道对应的参考像素值计算该像素点的各个颜色通道的目标像素值,提高了非运动区域中各个颜色通道的目标像素值的准确性,从而提高了目标图像数据的准确性。
在一个实施例中,针对非运动区域中的每个像素点,基于像素点在参考图像数据中对应的已知颜色通道和已知颜色通道对应的参考像素值,确定像素点的各个颜色通道的目标像素值,包括:
针对非运动区域中的每个像素点,获取像素点在参考图像数据中对应的已知颜色通道和已知颜色通道对应的参考像素值;针对像素点的每个待确定颜色通道,基于与待确定颜色通道相同的已知颜色通道对应的参考像素值,确定待确定颜色通道对应的目标像素值。
其中,待确定颜色通道是指需要确定目标像素值的颜色通道,待确定颜色通道可以为包括像素点的已知颜色通道的各个颜色通道,待确定颜色通道也可以为不包括像素点的已知颜色通道的其他颜色通道,例如,基准图像数据中(0,0)像素点的红色通道的像素值为255,绿色通道和蓝色通道的像素值未知,待确定颜色通道可以为绿色通道和蓝色通道,待确定颜色通道也可以红色通道、绿色通道和蓝色通道。
示例性地,针对非运动区域中的每个像素点,电子设备获取该像素点对应的位置坐标,分别在每帧参考图像数据中获取该位置坐标对应的已知颜色通道和已知颜色通道对应的参考像素值;然后确定该像素点的待确定颜色通道,针对该像素点的每个待确定颜色通道,对与该待确定颜色通道相同的已知颜色通道对应的参考像素值进行平均,得到该待确定颜色通道对应的目标像素值。
本实施例中,对于配准对齐准确性较高的非运动区域的每个像素点,使用多个参考图像中该像素点对应的已知颜色通道和已知颜色通道对应的参考像素值,确定该像素点的各个颜色通道的目标像素值,相比于采用邻域插值预估该像素点的各个颜色通道的目标像素值,使用该像素点在多帧参考图像数据中的已知颜色通道对应的参考像素值计算该像素点的各个颜色通道的目标像素值,提高了非运动区域中各个颜色通道的目标像素值的准确性。
在一个实施例中,针对像素点的每个待确定颜色通道,基于与待确定颜色通道相同的已知颜色通道对应的参考像素值,确定待确定颜色通道对应的目标像素值,包括:
针对像素点的每个待确定颜色通道,对与待确定颜色通道相同的已知颜色通道对应的参考像素值的数量进行统计,得到待确定颜色通道对应的累计数量;在累计数量大于零的情况下,对与待确定颜色通道相同的已知颜色通道对应的参考像素值进行加权平均,得到待确定颜色通道对应的目标像素值。
其中,累计数量是指与待确定颜色通道相同的已知颜色通道对应的参考像素值的统计数量,例如,针对基准图像数据中的(0,0)像素点,(0,0)像素点在6帧参考图像数据所对应的已知颜色通道和已知颜色通道对应的参考像素值分别为R(Red,红色)通道的参考像素值R1、G(Green,绿色)通道的参考像素值G1、R通道的参考像素值R2、R通道的参考像素值R3、B(Blue,蓝色)通道的参考像素值B1、B通道的参考像素值B2,当待确定颜色通道为红色通道时,待确定颜色通道对应的累计数量为3,当待确定颜色通道为蓝色通道时,待确定颜色通道对应的累计数量为2。
示例性地,针对像素点的每个待确定颜色通道,电子设备对与待确定颜色通道相同的已知颜色通道对应的参考像素值的数量进行统计,得到待确定颜色通道对应的累计数量;在累计数量大于零的情况下,对与待确定颜色通道相同的已知颜色通道对应的参考像素值进行加权平均,得到待确定颜色通道对应的目标像素值;在累计数量等于零的情况下,基于该像素点的相邻像素点,确定待确定颜色通道对应的目标像素值。
在一个实施例中,在累计数量等于零的情况下,基于该像素点的相邻像素点,确定待确定颜色通道对应的目标像素值,包括:在累计数量等于零的情况下,获取位置坐标小于该像素点的位置坐标的相邻像素点,以及相邻像素点对应的已确定颜色通道;确定该像素点的已确定颜色通道;在相邻像素点的已确定颜色通道包括该像素点的至少一个已确定颜色通道和该待确定颜色通道的情况下,将相邻像素点确定为目标像素点的匹配像素点;基于该像素点的目标已确定颜色通道的目标像素值和匹配像素点的目标已确定颜色通道的目标像素值之间的比例,确定该待确定颜色通道对应的系数;目标已确定颜色通道为匹配像素点的已确定颜色通道和该像素点的已确定颜色通道中的任一相同的已确定颜色通道;基于待确定颜色通道对应的系数和匹配像素点在该待确定颜色通道对应的目标像素值,确定目标像素点在未确定颜色通道对应的目标像素值。
例如,匹配像素点的已确定颜色通道为红色通道、绿色通道和蓝色通道,红色通道、绿色通道和蓝色通道分别对应的目标像素值为Ri、Gi和Bi,像素点的已确定颜色通道为红色通道且红色通道对应的目标像素值为R,累计数量等于零的待确定颜色通道为蓝色通道,则蓝色通道的目标像素值B=R×(Bi/Ri)。
在一个实施例中,在累计数量等于零的情况下,基于该像素点的相邻像素点,确定待确定颜色通道对应的目标像素值,包括:在累计数量等于零的情况下,基于该像素点的相邻像素点,对该像素点的该待确定颜色通道进行邻域插值,得到该待确定颜色通道对应的目标像素值。
本实施例中,在累计数量大于零的情况下,对与待确定颜色通道相同的已知颜色通道对应的参考像素值进行加权平均,得到待确定颜色通道对应的目标像素值,即使用该像素点在多帧参考图像数据中的已知颜色通道对应的参考像素值计算该像素点的待确定颜色通道的目标像素值,提高了目标像素值的准确性。
在一个实施例中,如图2所示,图像处理方法还包括:
步骤202,获取像素点对应的初始标识集合;初始标识集合中包括各个颜色通道对应的初始标识。
其中,初始标识集合是指像素点的各个颜色通道所对应的初始标识组成的集合,各个颜色通道所对应的初始标识可以相同,各个颜色通道所对应的初始标识也可以不相同,初始标识集合中可以包括三个初始标识,分别为红色通道对应的初始标识、绿色通道对应的初始标识和蓝色通道对应的初始标识,例如,基准图像数据中(255,255)像素点的初始标识集合为(-1,-1,-1)。初始标识表征像素点的颜色通道的目标像素值暂未确定。
示例性地,在确定非运动区域中的像素点的待确定颜色通道对应的目标像素值之后,电子设备基于该像素点的位置坐标获取该像素点对应的初始标识集合,初始标识集合中包括该像素点的各个颜色通道对应的初始标识。
步骤204,将目标像素值所对应颜色通道的初始标识更新为颜色通道对应的目标标识,得到目标标识集合。
其中,目标标识表征像素点的颜色通道所对应的目标像素值已经确定,目标标识可以为预先设置的标识,不同颜色通道对应的目标标识可以不相同,在不用颜色通道对应的目标标识不相同的情况下,不同的目标标识表征不同的颜色通道所对应的目标像素值已经确定,例如,红色通道的目标标识为0,绿色通道的目标标识为1,蓝色通道的目标标识为2。目标标识集合是指对初始标识集合进行更新之后得到的标识集合。
示例性地,电子设备将已确定目标像素值的颜色通道所对应的初始标识修改为该颜色通道对应的目标标识,得到该像素点对应的目标标识集合。
步骤206,基于非运动区域中各个像素点对应的目标标识集合,得到非运动区域的堆叠掩膜。
其中,堆叠掩膜是指非运动区域的各个像素点对应的目标标识集合组成的掩膜图像数据。
示例性地,电子设备将非运动区域中各个像素点对应的目标标识集合进行组合,得到非运动区域的堆叠掩膜。
本实施例中,电子设备通过将已确定目标像素值的颜色通道所对应的初始标识修改为该颜色通道对应的目标标识,得到该像素点对应的目标标识集合,通过目标标识集合即可以判断该像素点的哪些颜色通道已经确定了目标像素值,哪些颜色通道暂未确定目标像素值,然后将非运动区域中各个像素点对应的目标标识集合组合得到非运动区域的堆叠掩膜,根据堆叠掩膜即可以判断非运动区域中的哪些像素点的哪些颜色通道暂未确定目标像素值,为后续进一步确定目标像素值提供准确的依据。
在一个实施例中,如图3所示,在基于非运动区域中各个像素点对应的目标标识集合,得到非运动区域的堆叠掩膜之后,方法还包括:
步骤302,针对堆叠掩膜中存在初始标识的目标标识集合所对应的目标像素点,基于目标像素点对应的目标标识集合,确定目标像素点对应的已确定颜色通道和未确定颜色通道。
其中,目标像素点是指目标标识集合中存在初始标识的像素点。已确定颜色通道是指已经确定目标像素点的颜色通道,未确定颜色通道是指暂未确定目标像素点的颜色通道。
示例性地,电子设备获取堆叠掩膜中目标标识集合存在初始标识的目标像素点,基于目标像素点所对应的目标标识集合中的目标标识,确定目标像素点的已确定颜色通道和未确定颜色通道。
步骤304,针对目标像素点的相邻像素点,基于相邻像素点的目标标识集合,确定相邻像素点的已确定颜色通道。
其中,相邻像素点是指位置与目标像素点相邻的像素点,相邻像素点的数量为多个。
示例性地,电子设备基于目标像素点的位置坐标,确定目标像素点的多个相邻像素点,针对每个相邻像素点,基于相邻像素点的位置坐标,获取相邻像素点的目标标识集合,基于相邻像素点的目标标识集合中的目标标识,确定相邻像素点的已确定颜色通道。
步骤306,在相邻像素点的已确定颜色通道包括目标像素点的至少一个已确定颜色通道和未确定颜色通道的情况下,将相邻像素点确定为目标像素点的匹配像素点。
其中,匹配像素点是指已确定颜色通道中包括目标像素点的至少一个已确定颜色通道和未确定颜色通道的相邻像素点,匹配像素点的数量可以为一个,匹配像素点的数量也可以为多个。
示例性地,若相邻像素点的已确定颜色通道包括目标像素点的至少一个已确定颜色通道和未确定颜色通道,电子设备则将该相邻像素点确定为目标像素点的匹配像素点。
在一个实施例中,在目标像素点的未确定颜色通道的数量为至少两个的情况下,针对目标像素点的每一个未确定颜色通道,将相邻像素点的已确定颜色通道包括目标像素点的至少一个已确定颜色通道和上述未确定颜色通道的相邻像素点,确定为目标像素点的上述未确定颜色通道对应的匹配像素点。即在目标像素点存在至少两个未确定颜色通道的情况下,分别为不同的未确定颜色通道确定对应的匹配像素点。
步骤308,基于匹配像素点,确定未确定颜色通道的目标像素值。
示例性地,电子设备基于匹配像素点的已确定颜色通道对应的目标像素值和目标像素点的已确定颜色通道对应的目标像素值,确定目标像素点的未确定颜色通道的目标像素值。
本实施例中,对于堆叠掩膜中存在初始标识的目标标识集合所对应的目标像素点,即对于至少一个颜色通道对应的目标像素值暂未确定的目标像素点,在目标像素点的多个相邻像素点中确定至少一个匹配像素点,根据匹配像素点确定目标像素点的未确定颜色通道的目标像素值,补充了初始标识所对应颜色通道的目标像素值,提高了非运动区域中像素点的各个颜色通道所对应目标像素值的完整性,为后续生成目标图像数据提供了准确的基础数据。
在一个实施例中,基于匹配像素点,确定未确定颜色通道的目标像素值,包括:
基于目标像素点的目标已确定颜色通道的目标像素值和匹配像素点的目标已确定颜色通道的目标像素值之间的比例,确定未确定颜色通道对应的系数;目标已确定颜色通道为匹配像素点的已确定颜色通道和目标像素点的已确定颜色通道中的任一相同的已确定颜色通道;基于未确定颜色通道对应的系数和匹配像素点在未确定颜色通道对应的目标像素值,确定目标像素点在未确定颜色通道对应的目标像素值。
其中,目标已确定颜色通道是指匹配像素点的已确定颜色通道和目标像素点的已确定颜色通道中的任一相同的已确定颜色通道。
示例性地,电子设备从目标像素点的多个相邻像素点中确定一个匹配像素点之后,将匹配像素点的已确定颜色通道和目标像素点的已确定颜色通道中的任一相同的已确定颜色通道确定为目标已确定颜色通道,将目标像素点的目标已确定颜色通道的目标像素值除以匹配像素点的目标已确定颜色通道的目标像素值,得到未确定颜色通道对应的系数,将未确定颜色通道对应的系数乘以匹配像素点在未确定颜色通道对应的目标像素值,得到目标像素点在未确定颜色通道对应的目标像素值。例如,目标像素点的未确定颜色通道为R通道和B通道,已确定颜色通道G通道,匹配像素点的已确定颜色通道为R通道、B通道和G通道,则目标已确定颜色通道为G通道,目标像素点的R通道的目标像素值R(i,j)和B通道的目标像素值B(i,j)分别为:
其中,(i,j)为目标像素点的位置坐标;(m,n)为匹配像素点的位置坐标;R(m,n)为匹配像素点的R通道的目标像素值;B(m,n)为匹配像素点的B通道的目标像素值。
本实施例中,通过将目标像素点的目标已确定颜色通道的目标像素值除以匹配像素点的目标已确定颜色通道的目标像素值,得到未确定颜色通道对应的系数,将未确定颜色通道对应的系数乘以匹配像素点在未确定颜色通道对应的目标像素值,得到目标像素点在未确定颜色通道对应的目标像素值,即根据与目标像素点临近的匹配像素点的各个颜色通道的目标像素值确定目标像素点的未确定颜色通道对应的目标像素值,从而提高了目标像素值的准确性。
在一个实施例中,如图4所示,基于基准图像数据和参考图像数据,确定基准图像数据中的非运动区域,包括:
步骤402,对基准图像数据进行下采样,得到下采样基准图像数据。
其中,下采样是指减少基准图像数据中像素点的数量的过程,下采样的方法可以为简单抽取、平均池化和高斯金字塔等方法,此处不作限制。
示例性地,电子设备基于设定的采样倍率对基准图像数据进行下采样,得到下采样基准图像数据。
步骤404,针对每帧参考图像数据,对参考图像数据进行下采样,得到下采样参考图像数据;对参考图像进行下采样的采样倍率与对基准图像数据进行下采样的采样倍率相等。
示例性地,针对每帧参考图像数据,电子设备基于上述设定的采样倍率对参考图像数据进行下采样,得到下采样参考图像数据。
步骤406,对下采样参考图像数据和下采样基准图像数据进行运动检测,得到参考图像数据对应的运动掩膜。
其中,运动检测是指在连续的图像帧中检测并跟踪物体、人或其他目标的运动或变化的过程,运动检测的方法包括但不限于差分法、光流法和背景建模法等,此处不作限制。运动掩膜是指用于表示参考图像数据中运动区域和非运动区域的二值图像。
示例性地,电子设备对下采样参考图像数据和下采样基准图像数据进行运动检测,得到参考图像数据对应的运动掩膜。
步骤408,基于多个运动掩膜,确定基准图像数据中的非运动区域。
示例性地,电子设备对多个运动掩膜进行异或运算,得到目标运动掩膜,基于目标运动掩膜,确定基准图像数据中的非运动区域。
在一个实施例中,电子设备对多个运动掩膜进行异或运算的,得到中间运动掩膜,对中间运动掩膜进行上述设定的采样倍率的上采样,得到目标运动掩膜,基于目标运动掩膜,确定基准图像数据中的非运动区域。即中间运动掩膜中像素点的数量不等于基准图像数据中的像素点的数量,通过对中间运动掩膜进行上述设定的采样倍率的上采样,得到的目标运动掩膜的像素点的数量等于基准图像数据中的像素点的数量,便于确定基准图像数据中非运动区域。
本实施例中,通过对下采样参考图像数据和下采样基准图像数据进行运动检测,得到参考图像数据对应的运动掩膜,相比于对参考图像数据和基准图像数据进行运动检测,减少了运算量,提高了运动掩膜的运算效率,从而提高了非运动区域的确定效率。
在一个实施例中,如图5所示,对基准图像数据进行下采样,得到下采样基准图像数据;对参考图像数据进行下采样,得到下采样参考图像数据;对下采样参考图像数据和下采样基准图像数据进行运动检测,得到参考图像数据对应的运动掩膜,包括:
步骤502,对基准图像数据进行第一采样倍率的下采样,得到第一基准图像数据。
其中,第一采样倍率是指预先设置的采样倍率,第一采样倍率可以根据实际需求进行设置,例如,第一采样倍率为4倍。
示例性地,电子设备对基准图像数据进行第一采样倍率的下采样,得到第一基准图像数据。
步骤504,对基准图像数据进行第二采样倍率的下采样,得到第二基准图像数据;第二采样倍率大于第一采样倍率。
其中,第二采样倍率是指预先设置的、大于第一采样倍率的采样倍率,第二采样倍率可以根据实际需求进行设置,例如,第二采样倍率为16倍。
示例性地,电子设备对基准图像数据进行第二采样倍率的下采样,得到第二基准图像数据。
步骤506,对参考图像数据进行第一采样倍率的下采样,得到第一参考图像数据。
步骤508,对参考图像数据进行第二采样倍率的下采样,得到第二参考图像数据。
步骤510,基于第二参考图像数据和第二基准图像数据,确定参考运动掩膜。
其中,参考运动掩膜是指对第二参考图像数据和第二基准图像数据进行运动检测得到的运动掩膜。
示例性地,电子设备针对第二基准图像数据中的每个像素点,确定该像素点在第二基准图像数据中的像素值与该像素点在第二参考图像数据中所对应的像素值的像素差异值,在像素差异值大于阈值的情况,将该像素点对应的运动标识确定为第一标识,在像素差异值小于或者等于阈值的情况下,将该像素点对应的运动标识确定为第二标识,基于第二基准图像数据中各个像素点对应的运动标识,确定参考运动掩膜。
步骤512,基于第一参考图像数据、第一基准图像数据和参考运动掩膜,确定参考图像数据对应的运动掩膜。
示例性地,电子设备针对第一基准图像数据中的每个像素点,基于该像素点在第一基准图像数据中的像素值与该像素点在第一参考图像数据中所对应的像素值的像素差异值,以及该像素点在参考运动掩膜中所对应的运动标识,确定该像素点的掩膜值,基于第一基准图像数据中各个像素点对应的掩膜值,得到参考图像数据对应的运动掩膜。
本实施例中,通过第二参考图像数据和第二基准图像数据确定参考运动掩膜,然后通过第一参考图像数据、第一基准图像数据和参考运动掩膜确定参考图像数据对应的运动掩膜,即运动掩膜结合了不同采样倍率的图像数据之间的运动特征,从而提高了运动掩膜的准确性。
在一个实施例中,如图6所示,基于第二参考图像数据和第二基准图像数据,确定参考运动掩膜,包括:
步骤602,针对第二基准图像数据中的每个像素点,在第二基准图像数据中确定包括像素点的基准窗口图像块。
其中,基准窗口图像块是指包括待确定初始掩膜值的像素点的多个像素点组成的图像块,基准窗口图像块可以使用滑动窗口确定,例如,使用窗口尺寸为21的滑动窗口,基准窗口图像块中包含21个像素点。
示例性地,针对第二基准图像数据中的每个像素点,电子设备在第二基准图像数据中确定包括该像素点的基准窗口图像块。
步骤604,针对基准窗口图像块中的每个窗口像素点,确定窗口像素点在第二基准图像数据中的像素值与窗口像素点在第二参考图像数据中所对应的像素值之间的像素差异值。
其中,窗口像素点是指基准窗口图像块中的像素点。像素差异值是指窗口像素点在第二基准图像数据中的像素值与窗口像素点在第二参考图像数据中所对应的像素值之间的差值。
示例性地,针对基准窗口图像块中的每个窗口像素点,电子设备获取该窗口像素点的位置坐标,基于该位置坐标,获取窗口像素点在第二参考图像数据中所对应的像素值,将该窗口像素点在第二基准图像数据中的像素值减去窗口像素点在第二参考图像数据中所对应的像素值,得到该窗口像素点对应的像素差异值。
步骤606,确定基准窗口图像块中多个窗口像素点对应的像素差异值的离散程度,得到像素点对应的离散程度值。
示例性地,电子设备计算基准窗口图像块中多个窗口像素点对应的像素差异值的标准差,得到像素点对应的离散程度值。
步骤608,基于像素点对应的离散程度值,确定像素点对应的初始掩膜值。
示例性地,电子设备将离散程度值除以离散程度值与预设的第一运动检测灵敏度参数之和,得到像素点对应的初始掩膜值。
在一个实施例中,像素点的初始掩膜值如下所示:
其中,motion_mask16为像素点的初始掩膜值;i为基准窗口图像块中的第i个窗口像素点;frameBi为基准窗口图像块中第i个窗口像素点在第二基准图像数据中的像素值;frameci为基准窗口图像块中第i个窗口像素点在第二参考图像数据中所对应的像素值;std代表标准差;noise_level为预设的第一运动检测灵敏度参数。
步骤610,基于第二基准图像数据中每个像素点对应的初始掩膜值,得到第二基准图像数据对应的初始运动掩膜。
步骤612,对初始运动掩膜进行目标采样倍率的上采样,得到参考运动掩膜;目标采样倍率等于第二采样倍率与第一采样倍率的比值。
其中,目标采样倍率是指第二采样倍率除以第一采样倍率得到的比值,例如,当第一采样倍率为4倍,第二采样倍率为16倍时,目标采样倍率为4倍,当第一采样倍率为4倍,第二采样倍率为64倍时,目标采样倍率为16倍。
示例性地,电子设备将第二采样倍率除以第一采样倍率,得到目标采样倍率,对初始运动掩膜进行目标采样倍率的上采样,得到参考运动掩膜。
本实施例中,通过基准窗口图像块中多个窗口像素点在第二基准图像数据中的像素值与窗口像素点在第二参考图像数据中所对应的像素值之间的像素差异值确定像素点对应的初始掩膜值,相比于仅使用像素点在第二基准图像数据中的像素值与窗口像素点在第二参考图像数据中所对应的像素值之间的像素差异值确定像素点对应的初始掩膜值,提高了初始掩膜值的准确性,从而提高了参考运动掩膜的准确性。
在一个实施例中,基于第一参考图像数据、第一基准图像数据和参考运动掩膜,确定参考图像数据对应的运动掩膜,包括:
针对第一基准图像数据中的每个像素点,基于像素点在第一基准图像数据中的像素值和像素点在第一参考图像数据中所对应的像素值之间的差异值,以及像素点在参考运动掩膜的参考掩膜值,确定像素点对应的采样掩膜值;基于第一基准图像数据中的每个像素点对应的采样掩膜值,确定第一基准图像数据对应的采样运动掩膜;对采样运动掩膜进行第一采样倍率的上采样,得到运动掩膜。
示例性地,针对第一基准图像数据中的每个像素点,电子设备获取该像素点的位置坐标,基于该位置坐标,获取该像素点在第一参考图像数据中所对应的像素值,将该像素点在第一基准图像数据中的像素值减去该像素点在第一参考图像数据中所对应的像素值,得到该像素点对应的差异值;基于该位置坐标,获取该像素点在参考运动掩膜所对应的参考掩膜值,基于该像素点对应的差异值和该像素点在参考运动掩膜所对应的参考掩膜值与预设的第二运动检测灵敏度参数之积,确定该像素点对应的采样掩膜值;基于第一基准图像数据中的每个像素点对应的采样掩膜值,确定第一基准图像数据对应的采样运动掩膜,对采样运动掩膜进行第一采样倍率的上采样,得到运动掩膜。
在一个实施例中,第一基准图像数据中像素点的采样掩膜值如下所示:
其中,motion_mask4为第一基准图像数据中像素点的采样掩膜值;framebase为像素点在第一基准图像数据中的像素值;framej为像素点在第j个第一参考图像数据中所对应的像素值;motion_mask16为像素点在参考运动掩膜所对应的参考掩膜值;noise_scale×noise_level为预设的第二运动检测灵敏度参数。
本实施例中,通过像素点在第一基准图像数据中的像素值和像素点在第一参考图像数据中所对应的像素值之间的差异值,以及像素点在参考运动掩膜的参考掩膜值,确定像素点对应的采样掩膜值,即采样掩膜值结合了不同采样倍率的图像数据之间的运动特征,提高了采样掩膜值的准确性,从而提高了运动掩膜的准确性。
在一个实施例中,如图7所示,获取基准图像数据和基准图像数据对应的参考图像数据,包括:
步骤702,获取目标场景对应的基准图像数据和基准图像数据对应的多帧初始图像数据。
其中,目标场景是指基准图像数据和初始图像数据的拍摄场景。初始图像数据是指未与基准图像数据进行配准对齐的图像数据,可以理解为,在目标场景中连续拍摄多个原始图像数据,从多个原始图像数据中确定一帧基准图像数据,剩余的原始图像数据即为初始图像数据。
示例性地,电子设备获取目标场景对应的多个原始图像数据,从多个原始图像数据中确定一帧基准图像数据,从剩余的原始图像数据中确定多帧初始图像数据。
步骤704,获取基准图像数据对应的基准角速度序列和初始图像数据对应的初始角速度序列;基准角速度序列中的基准角速度的统计数量和初始角速度序列中的初始角速度的统计数量相等。
其中,角速度是指单位时间内绕轴旋转的角度,角速度包括X轴方向的角速度、Y轴方向的角速度和Z轴方向的角速度,角速度通过gyro(陀螺仪)测量得到。基准角速度是指在拍摄基准图像数据中陀螺仪测量的角速度,初始角速度是指在拍摄初始图像数据中陀螺仪测量的角速度。基准角速度序列是指在拍摄基准图像数据中陀螺仪测量的多个角速度按照时间先后顺序排列组成的序列。初始角速度序列是指在拍摄初始图像数据中陀螺仪测量的多个角速度按照时间先后顺序排列组成的序列。统计数量是指基准角速度序列中的基准角速度的数量或者初始角速度序列中的初始角速度的数量。
示例性地,电子设备获取基准图像数据的第一曝光时间段、初始图像数据对应的第二曝光时间段,以及各个角速度对应的对齐时间戳,将位于第一曝光时间段内的对齐时间戳所对应的角速度确定为基准角速度,基于基准角速度和基准角速度对应的对齐时间戳,确定基准角速度序列;将位于第二曝光时间段内的对齐时间戳所对应的角速度确定为初始角速度,基于初始角速度和初始角速度对应的对齐时间戳,确定初始角速度序列。
在一个实施例中,获取各个角速度对应的对齐时间戳,包括:获取偏移时间和各个角速度对应的采集时间,针对每个角速度,基于角速度对应的采集时间和偏移时间,确定角速度对应的对齐时间戳。即陀螺仪测量角速度的时间和采集角速度的时间之间存在偏移时间,通过角速度对应的采集时间和偏移时间确定的对齐时间戳为角速度的测量时间。例如,第i个角速度的采集时间为Ti,偏移时间为Td,则第i个角速度的对齐时间戳T=Ti-Td。
步骤706,将初始图像数据按行均分为统计数量个初始图像块。
其中,初始图像块是指初始图像数据按行均分的图像块,初始图像块的数量等于统计数量。
示例性地,电子设备基于统计数量,将初始图像数据按行均分为多个初始图像块。例如,如图8所示,基准图像数据对应的基准角速度序列中包括k个基准角速度,统计数量为k个,则将初始图像数据按行划分为k个图像块,分别对每个初始图像块进行配准对齐,得到每个初始图像块对应的对齐图像块,多个对齐图像块即可组成参考图像数据。
步骤708,针对每个初始图像块,基于初始图像块对应的基准角速度和初始角速度,确定初始图像块中每个像素点的对齐位置;初始图像块对应的基准角速度在基准角速度序列中的排列顺序和初始图像块对应的初始角速度在初始角速度序列中的排列顺序相同。
其中,对齐位置是指像素点进行图像配准之后的位置坐标。
示例性地,电子设备针对每个初始图像块,确定初始图像块在初始图像数据中的排列顺序,将基准角速度序列中位于上述排列顺序的基准角速度和初始角速度序列中位于上述排列顺序的初始角速度,确定为初始图像块对应的基准角速度和初始角速度;基于初始图像块对应的基准角速度和初始角速度,确定初始图像块对应的旋转向量;基于旋转向量,使用罗德里格斯公式计算出初始图像块对应的旋转矩阵;获取初始图像数据对应的相机标定参数,基于相机标定参数和旋转矩阵,确定初始图像块对应的单应性矩阵;针对初始图像块中的每个像素点,将像素点的位置坐乘以初始图像块对应的单应性矩阵,得到像素点的对齐位置。
在一个实施例中,像素点的对齐位置的计算过程如下所示:
ωx,y,z=gyrot-gyrobase 公式(5)
Rt=I+(1-cosθ)ω2+sinθω 公式(6)
xwarp=Htx 公式(8)
其中,ωx,y,z是指图像块对应的旋转向量,包括X轴的旋转向量ωx、Y轴的旋转向量ωy和Z轴的旋转向量ωz;gyrot是指图像块对应的初始角速度;gyrobase是指图像块对应的基准角速度;Rt是指图像块对应的旋转矩阵;I为单位矩阵;θ为旋转角度;ω为旋转向量的反对称矩阵;Ht为图像块对应的单应性矩阵;K为相机的内部参数矩阵;xwarp为对齐位置;x为像素点在初始图像数据中的位置坐标。
步骤710,基于多帧初始图像数据中每个像素点的对齐位置,得到基准图像数据对应的参考图像数据。
示例性地,电子设备根据多帧初始图像数据中每个像素点的对齐位置,得到基准图像数据对应的参考图像数据。
本实施例中,根据相机逐行进行曝光的特征,将初始图像数据按行均分为统计数量个初始图像块,基于初始图像块对应的基准角速度和初始角速度确定初始图像块对应的单应性矩阵,使用单应性矩阵确定像素点的对齐位置,然后根据多帧初始图像数据中每个像素点的对齐位置得到基准图像数据对应的参考图像数据,为后续基准图像数据的解马赛克提供了参考数据。
在一个实施例中,图像处理方法还包括:
针对基准图像数据的运动区域中的每个像素点,基于像素点的相邻像素点,确定像素点的各个颜色通道的目标像素值;基于非运动区域中像素点的各个颜色通道的目标像素值,以及运动区域中像素点的各个颜色通道的目标像素值,确定基准图像数据对应的目标图像数据。
示例性地,在基准图像数据存在运动区域的情况下,针对基准图像数据的运动区域中的每个像素点,确定该像素点的相邻像素点,基于相邻像素点采用邻域插值的方法确定像素点的各个颜色通道的目标像素值,基于非运动区域中像素点的各个颜色通道的目标像素值和运动区域中像素点的各个颜色通道的目标像素值,确定基准图像数据对应的目标图像数据。
本实施例中,对于基准图像数据存在运动区域和非运动区域的情况下,对于配准对齐准确性较低的运动区域中的每个像素点采用邻域插值的方法确定像素点的各个颜色通道的目标像素值,提高了运动区域中像素点的各个颜色通道的目标像素值的准确性,基于非运动区域中像素点的各个颜色通道的目标像素值和运动区域中像素点的各个颜色通道的目标像素值确定基准图像数据对应的目标图像数据,从而提高了目标图像数据的准确性。
在一个示例性地实施例中,图像处理方法的流程图如图9所示,包括如下步骤:
电子设备获取目标场景对应的多个原始图像数据,从多个原始图像数据中确定一帧基准图像数据,将其余的原始图像数据确定为初始图像数据。获取基准图像数据的第一曝光时间段、初始图像数据对应的第二曝光时间段、偏移时间、各个角速度对应的采集时间,以及相机标定参数。
初始图像数据与基准图像数据进行配准对齐。配准对齐的流程图如图10所示,包括:针对每个角速度,基于角速度对应的采集时间和偏移时间,确定角速度对应的对齐时间戳。将位于第一曝光时间段内的对齐时间戳所对应的角速度确定为基准角速度,基于基准角速度和基准角速度对应的对齐时间戳,确定基准角速度序列;将位于第二曝光时间段内的对齐时间戳所对应的角速度确定为初始角速度,基于初始角速度和初始角速度对应的对齐时间戳,确定初始角速度序列;基准角速度序列中的基准角速度的统计数量和初始角速度序列中的初始角速度的统计数量相等。
将初始图像数据按行均分为统计数量个初始图像块,针对每个初始图像块,确定初始图像块在初始图像数据中的排列顺序,将基准角速度序列中位于上述排列顺序的基准角速度和初始角速度序列中位于上述排列顺序的初始角速度,确定为初始图像块对应的基准角速度和初始角速度;基于初始图像块对应的基准角速度和初始角速度,确定初始图像块对应的旋转向量;基于旋转向量,使用罗德里格斯公式计算出初始图像块对应的旋转矩阵;基于相机标定参数和旋转矩阵,确定初始图像块对应的单应性矩阵;针对初始图像块中的每个像素点,将像素点的位置坐乘以初始图像块对应的单应性矩阵,得到像素点的对齐位置。根据多帧初始图像数据中每个像素点的对齐位置,得到基准图像数据对应的参考图像数据。
对初始图像数据与基准图像数据进行运动检测。运动检测的流程图如图11所示,包括:对基准图像数据进行第一采样倍率的下采样,得到第一基准图像数据,对基准图像数据进行第二采样倍率的下采样,得到第二基准图像数据,第二采样倍率大于第一采样倍率;对参考图像数据进行第一采样倍率的下采样,得到第一参考图像数据;对参考图像数据进行第二采样倍率的下采样,得到第二参考图像数据。
针对第二基准图像数据中的每个像素点,电子设备在第二基准图像数据中确定包括该像素点的基准窗口图像块。针对基准窗口图像块中的每个窗口像素点,获取该窗口像素点的位置坐标,基于该位置坐标,获取窗口像素点在第二参考图像数据中所对应的像素值,将该窗口像素点在第二基准图像数据中的像素值减去窗口像素点在第二参考图像数据中所对应的像素值,得到该窗口像素点对应的像素差异值。计算基准窗口图像块中多个窗口像素点对应的像素差异值的标准差,得到像素点对应的离散程度值。将离散程度值除以离散程度值与预设的第一运动检测灵敏度参数之和,得到像素点对应的初始掩膜值,基于第二基准图像数据中每个像素点对应的初始掩膜值,得到第二基准图像数据对应的初始运动掩膜;电子设备将第二采样倍率除以第一采样倍率,得到目标采样倍率,对初始运动掩膜进行目标采样倍率的上采样,得到参考运动掩膜。
针对第一基准图像数据中的每个像素点,电子设备获取该像素点的位置坐标,基于该位置坐标,获取该像素点在第一参考图像数据中所对应的像素值,将该像素点在第一基准图像数据中的像素值减去该像素点在第一参考图像数据中所对应的像素值,得到该像素点对应的差异值;基于该位置坐标,获取该像素点在参考运动掩膜所对应的参考掩膜值,基于该像素点对应的差异值和该像素点在参考运动掩膜所对应的参考掩膜值与预设的第二运动检测灵敏度参数之积,使用上述公式(4)确定该像素点对应的采样掩膜值;基于第一基准图像数据中的每个像素点对应的采样掩膜值,确定第一基准图像数据对应的采样运动掩膜,对采样运动掩膜进行第一采样倍率的上采样,得到运动掩膜。
电子设备对多个运动掩膜进行异或运算,得到目标运动掩膜,基于目标运动掩膜,确定基准图像数据中的非运动区域和运动区域。
确定非运动区域中像素点的各个颜色通道的目标像素值。多帧数据通道堆叠,针对非运动区域中的每个像素点,电子设备获取该像素点对应的位置坐标,分别在每帧参考图像数据中获取该位置坐标对应的已知颜色通道和已知颜色通道对应的参考像素值;然后确定该像素点的待确定颜色通道,针对该像素点的每个待确定颜色通道,对与该待确定颜色通道相同的已知颜色通道对应的参考像素值进行平均,得到该待确定颜色通道对应的目标像素值。
确定堆叠掩膜。电子设备基于该像素点的位置坐标获取该像素点对应的初始标识集合,初始标识集合中包括该像素点的各个颜色通道对应的初始标识,将已确定目标像素值的颜色通道所对应的初始标识修改为该颜色通道对应的目标标识,得到该像素点对应的目标标识集合。将非运动区域中各个像素点对应的目标标识集合进行组合,得到非运动区域的堆叠掩膜。
按照比例关系计算缺少的颜色通道的目标像素值。获取堆叠掩膜中目标标识集合存在初始标识的目标像素点,基于目标像素点所对应的目标标识集合中的目标标识,确定目标像素点的已确定颜色通道和未确定颜色通道。基于目标像素点的位置坐标,确定目标像素点的多个相邻像素点,针对每个相邻像素点,基于相邻像素点的位置坐标,获取相邻像素点的目标标识集合,基于相邻像素点的目标标识集合中的目标标识,确定相邻像素点的已确定颜色通道。将已确定颜色通道包括目标像素点的至少一个已确定颜色通道和未确定颜色通道的一个相邻像素点确定为匹配像素点,将匹配像素点的已确定颜色通道和目标像素点的已确定颜色通道中的任一相同的已确定颜色通道确定为目标已确定颜色通道,将目标像素点的目标已确定颜色通道的目标像素值除以匹配像素点的目标已确定颜色通道的目标像素值,得到未确定颜色通道对应的系数,将未确定颜色通道对应的系数乘以匹配像素点在未确定颜色通道对应的目标像素值,得到目标像素点在未确定颜色通道对应的目标像素值。
确定运动区域中像素点的各个颜色通道的目标像素值。针对基准图像数据的运动区域中的每个像素点,确定该像素点的相邻像素点,基于相邻像素点采用邻域插值的方法确定像素点的各个颜色通道的目标像素值。
确定目标图像数据。基于非运动区域中像素点的各个颜色通道的目标像素值和运动区域中像素点的各个颜色通道的目标像素值,确定基准图像数据对应的目标图像数据。
上述图像处理方法中,通过基准图像数据和参考图像数据确定非运动区域和运动区域,非运动区域配准对齐的准确性较高,运动区域配准对齐的准确性较低,对于配准对齐准确性较高的非运动区域的每个像素点,使用多个参考图像中该像素点对应的已知颜色通道和已知颜色通道对应的参考像素值,确定该像素点的各个颜色通道的目标像素值,相比于采用邻域插值预估该像素点的各个颜色通道的目标像素值,使用该像素点在多帧参考图像数据中的已知颜色通道对应的参考像素值计算该像素点的各个颜色通道的目标像素值,提高了非运动区域中各个颜色通道的目标像素值的准确性,从而提高了目标图像数据的准确性。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。
在一个实施例中,如图12所示,提供了一种图像处理装置,包括:获取模块1202、划分模块1204、确定模块1206和处理模块1208,其中:
获取模块1202,用于获取基准图像数据和基准图像数据对应的参考图像数据;参考图像数据为与基准图像数据进行配准对齐得到的图像数据;
划分模块1204,用于基于基准图像数据和参考图像数据,确定基准图像数据中的非运动区域;
确定模块1206,用于针对非运动区域中的每个像素点,基于像素点在参考图像数据中对应的已知颜色通道和已知颜色通道对应的参考像素值,确定像素点的各个颜色通道的目标像素值;
处理模块1208,用于基于非运动区域中像素点的各个颜色通道的目标像素值,确定基准图像数据对应的目标图像数据。
在一个实施例中,确定模块1206还用于:针对非运动区域中的每个像素点,获取像素点在参考图像数据中对应的已知颜色通道和已知颜色通道对应的参考像素值;针对像素点的每个待确定颜色通道,基于与待确定颜色通道相同的已知颜色通道对应的参考像素值,确定待确定颜色通道对应的目标像素值。
在一个实施例中,确定模块1206还用于:针对像素点的每个待确定颜色通道,对与待确定颜色通道相同的已知颜色通道对应的参考像素值的数量进行统计,得到待确定颜色通道对应的累计数量;在累计数量大于零的情况下,对与待确定颜色通道相同的已知颜色通道对应的参考像素值进行加权平均,得到待确定颜色通道对应的目标像素值。
在一个实施例中,确定模块1206还用于:获取像素点对应的初始标识集合;初始标识集合中包括各个颜色通道对应的初始标识;将目标像素值所对应颜色通道的初始标识更新为颜色通道对应的目标标识,得到目标标识集合;基于非运动区域中各个像素点对应的目标标识集合,得到非运动区域的堆叠掩膜。
在一个实施例中,确定模块1206还用于:针对堆叠掩膜中存在初始标识的目标标识集合所对应的目标像素点,基于目标像素点对应的目标标识集合,确定目标像素点对应的已确定颜色通道和未确定颜色通道;针对目标像素点的相邻像素点,基于相邻像素点的目标标识集合,确定相邻像素点的已确定颜色通道;在相邻像素点的已确定颜色通道包括目标像素点的至少一个已确定颜色通道和未确定颜色通道的情况下,将相邻像素点确定为目标像素点的匹配像素点;基于匹配像素点,确定未确定颜色通道的目标像素值。
在一个实施例中,确定模块1206还用于:基于目标像素点的目标已确定颜色通道的目标像素值和匹配像素点的目标已确定颜色通道的目标像素值之间的比例,确定未确定颜色通道对应的系数;目标已确定颜色通道为匹配像素点的已确定颜色通道和目标像素点的已确定颜色通道中的任一相同的已确定颜色通道;基于未确定颜色通道对应的系数和匹配像素点在未确定颜色通道对应的目标像素值,确定目标像素点在未确定颜色通道对应的目标像素值。
在一个实施例中,划分模块1204还用于:对基准图像数据进行下采样,得到下采样基准图像数据;针对每帧参考图像数据,对参考图像数据进行下采样,得到下采样参考图像数据;对参考图像进行下采样的采样倍率与对基准图像数据进行下采样的采样倍率相等;对下采样参考图像数据和下采样基准图像数据进行运动检测,得到参考图像数据对应的运动掩膜;基于多个运动掩膜,确定基准图像数据中的非运动区域。
在一个实施例中,划分模块1204还用于:对基准图像数据进行第一采样倍率的下采样,得到第一基准图像数据;对基准图像数据进行第二采样倍率的下采样,得到第二基准图像数据;第二采样倍率大于第一采样倍率;对参考图像数据进行第一采样倍率的下采样,得到第一参考图像数据;对参考图像数据进行第二采样倍率的下采样,得到第二参考图像数据;基于第二参考图像数据和第二基准图像数据,确定参考运动掩膜;基于第一参考图像数据、第一基准图像数据和参考运动掩膜,确定参考图像数据对应的运动掩膜。
在一个实施例中,划分模块1204还用于:针对第二基准图像数据中的每个像素点,在第二基准图像数据中确定包括像素点的基准窗口图像块;针对基准窗口图像块中的每个窗口像素点,确定窗口像素点在第二基准图像数据中的像素值与窗口像素点在第二参考图像数据中所对应的像素值之间的像素差异值;确定基准窗口图像块中多个窗口像素点对应的像素差异值的离散程度,得到像素点对应的离散程度值;基于像素点对应的离散程度值,确定像素点对应的初始掩膜值;基于第二基准图像数据中每个像素点对应的初始掩膜值,得到第二基准图像数据对应的初始运动掩膜;对初始运动掩膜进行目标采样倍率的上采样,得到参考运动掩膜;目标采样倍率等于第二采样倍率与第一采样倍率的比值。
在一个实施例中,划分模块1204还用于:针对第一基准图像数据中的每个像素点,基于像素点在第一基准图像数据中的像素值和像素点在第一参考图像数据中所对应的像素值之间的差异值,以及像素点在参考运动掩膜的参考掩膜值,确定像素点对应的采样掩膜值;基于第一基准图像数据中的每个像素点对应的采样掩膜值,确定第一基准图像数据对应的采样运动掩膜;对采样运动掩膜进行第一采样倍率的上采样,得到运动掩膜。
在一个实施例中,获取模块1202还用于:获取目标场景对应的基准图像数据和基准图像数据对应的多帧初始图像数据;获取基准图像数据对应的基准角速度序列和初始图像数据对应的初始角速度序列;基准角速度序列中的基准角速度的统计数量和初始角速度序列中的初始角速度的统计数量相等;将初始图像数据按行均分为统计数量个初始图像块;针对每个初始图像块,基于初始图像块对应的基准角速度和初始角速度,确定初始图像块中每个像素点的对齐位置;初始图像块对应的基准角速度在基准角速度序列中的排列顺序和初始图像块对应的初始角速度在初始角速度序列中的排列顺序相同;基于多帧初始图像数据中每个像素点的对齐位置,得到基准图像数据对应的参考图像数据。
在一个实施例中,确定模块1206还用于:针对基准图像数据的运动区域中的每个像素点,基于像素点的相邻像素点,确定像素点的各个颜色通道的目标像素值;基于非运动区域中像素点的各个颜色通道的目标像素值,确定基准图像数据对应的目标图像数据,包括:基于非运动区域中像素点的各个颜色通道的目标像素值,以及运动区域中像素点的各个颜色通道的目标像素值,确定基准图像数据对应的目标图像数据。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种电子设备,该电子设备可以是终端,其内部结构图可以如图13所示。该电子设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该电子设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种电子设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (16)
1.一种图像处理方法,其特征在于,所述方法包括:
获取基准图像数据和所述基准图像数据对应的参考图像数据;所述参考图像数据为与所述基准图像数据进行配准对齐得到的图像数据;
基于所述基准图像数据和所述参考图像数据,确定所述基准图像数据中的非运动区域;
针对所述非运动区域中的每个像素点,基于所述像素点在所述参考图像数据中对应的已知颜色通道和所述已知颜色通道对应的参考像素值,确定所述像素点的各个颜色通道的目标像素值;
基于所述非运动区域中像素点的各个颜色通道的目标像素值,确定所述基准图像数据对应的目标图像数据。
2.根据权利要求1所述的方法,其特征在于,针对所述非运动区域中的每个像素点,基于所述像素点在所述参考图像数据中对应的已知颜色通道和所述已知颜色通道对应的参考像素值,确定所述像素点的各个颜色通道的目标像素值,包括:
针对所述非运动区域中的每个像素点,获取所述像素点在所述参考图像数据中对应的已知颜色通道和所述已知颜色通道对应的参考像素值;
针对所述像素点的每个待确定颜色通道,基于与所述待确定颜色通道相同的所述已知颜色通道对应的参考像素值,确定所述待确定颜色通道对应的目标像素值。
3.根据权利要求2所述的方法,其特征在于,所述针对所述像素点的每个待确定颜色通道,基于与所述待确定颜色通道相同的所述已知颜色通道对应的参考像素值,确定所述待确定颜色通道对应的目标像素值,包括:
针对所述像素点的每个待确定颜色通道,对与所述待确定颜色通道相同的所述已知颜色通道对应的参考像素值的数量进行统计,得到所述待确定颜色通道对应的累计数量;
在所述累计数量大于零的情况下,对与所述待确定颜色通道相同的所述已知颜色通道对应的参考像素值进行加权平均,得到所述待确定颜色通道对应的目标像素值。
4.根据权利要求2或3所述的方法,其特征在于,所述方法还包括:
获取所述像素点对应的初始标识集合;所述初始标识集合中包括各个颜色通道对应的初始标识;
将所述目标像素值所对应颜色通道的初始标识更新为所述颜色通道对应的目标标识,得到目标标识集合;
基于所述非运动区域中各个像素点对应的目标标识集合,得到所述非运动区域的堆叠掩膜。
5.根据权利要求4所述的方法,其特征在于,在所述基于所述非运动区域中各个像素点对应的目标标识集合,得到所述非运动区域的堆叠掩膜之后,所述方法还包括:
针对所述堆叠掩膜中存在所述初始标识的目标标识集合所对应的目标像素点,基于所述目标像素点对应的目标标识集合,确定所述目标像素点对应的已确定颜色通道和未确定颜色通道;
针对所述目标像素点的相邻像素点,基于所述相邻像素点的目标标识集合,确定所述相邻像素点的已确定颜色通道;
在所述相邻像素点的已确定颜色通道包括所述目标像素点的至少一个已确定颜色通道和所述未确定颜色通道的情况下,将所述相邻像素点确定为所述目标像素点的匹配像素点;
基于所述匹配像素点,确定所述未确定颜色通道的目标像素值。
6.根据权利要求5所述的方法,其特征在于,所述基于所述匹配像素点,确定所述未确定颜色通道的目标像素值,包括:
基于所述目标像素点的目标已确定颜色通道的目标像素值和所述匹配像素点的目标已确定颜色通道的目标像素值之间的比例,确定所述未确定颜色通道对应的系数;所述目标已确定颜色通道为所述匹配像素点的已确定颜色通道和所述目标像素点的已确定颜色通道中的任一相同的已确定颜色通道;
基于所述未确定颜色通道对应的系数和所述匹配像素点在所述未确定颜色通道对应的目标像素值,确定所述目标像素点在所述未确定颜色通道对应的目标像素值。
7.根据权利要求1所述的方法,其特征在于,所述基于所述基准图像数据和所述参考图像数据,确定所述基准图像数据中的非运动区域,包括:
对所述基准图像数据进行下采样,得到下采样基准图像数据;
针对每个所述参考图像数据,对所述参考图像数据进行下采样,得到下采样参考图像数据;对所述参考图像进行下采样的采样倍率与对所述基准图像数据进行下采样的采样倍率相等;
对所述下采样参考图像数据和所述下采样基准图像数据进行运动检测,得到所述参考图像数据对应的运动掩膜;
基于多个所述运动掩膜,确定所述基准图像数据中的非运动区域。
8.根据权利要求7所述的方法,其特征在于,所述对所述基准图像数据进行下采样,得到下采样基准图像数据,包括:
对所述基准图像数据进行第一采样倍率的下采样,得到第一基准图像数据;
对所述基准图像数据进行第二采样倍率的下采样,得到第二基准图像数据;所述第二采样倍率大于所述第一采样倍率;
所述对所述参考图像数据进行下采样,得到下采样参考图像数据,包括:
对所述参考图像数据进行所述第一采样倍率的下采样,得到第一参考图像数据;
对所述参考图像数据进行所述第二采样倍率的下采样,得到第二参考图像数据;
所述对所述下采样参考图像数据和所述下采样基准图像数据进行运动检测,得到所述参考图像数据对应的运动掩膜,包括:
基于所述第二参考图像数据和所述第二基准图像数据,确定参考运动掩膜;
基于所述第一参考图像数据、所述第一基准图像数据和所述参考运动掩膜,确定所述参考图像数据对应的运动掩膜。
9.根据权利要求8所述的方法,其特征在于,所述基于所述第二参考图像数据和所述第二基准图像数据,确定参考运动掩膜,包括:
针对所述第二基准图像数据中的每个像素点,在所述第二基准图像数据中确定包括所述像素点的基准窗口图像块;
针对所述基准窗口图像块中的每个窗口像素点,确定所述窗口像素点在所述第二基准图像数据中的像素值与所述窗口像素点在所述第二参考图像数据中所对应的像素值之间的像素差异值;
确定所述基准窗口图像块中多个窗口像素点对应的像素差异值的离散程度,得到所述像素点对应的离散程度值;
基于所述像素点对应的离散程度值,确定所述像素点对应的初始掩膜值;
基于所述第二基准图像数据中每个像素点对应的初始掩膜值,得到所述第二基准图像数据对应的初始运动掩膜;
对所述初始运动掩膜进行目标采样倍率的上采样,得到参考运动掩膜;所述目标采样倍率等于所述第二采样倍率与所述第一采样倍率的比值。
10.根据权利要求8所述的方法,其特征在于,所述基于所述第一参考图像数据、所述第一基准图像数据和所述参考运动掩膜,确定所述参考图像数据对应的运动掩膜,包括:
针对所述第一基准图像数据中的每个像素点,基于所述像素点在所述第一基准图像数据中的像素值和所述像素点在所述第一参考图像数据中所对应的像素值之间的差异值,以及所述像素点在所述参考运动掩膜的参考掩膜值,确定所述像素点对应的采样掩膜值;
基于所述第一基准图像数据中的每个像素点对应的采样掩膜值,确定所述第一基准图像数据对应的采样运动掩膜;
对所述采样运动掩膜进行所述第一采样倍率的上采样,得到运动掩膜。
11.根据权利要求1所述的方法,其特征在于,所述获取基准图像数据和所述基准图像数据对应的参考图像数据,包括:
获取目标场景对应的基准图像数据和所述基准图像数据对应的多帧初始图像数据;
获取所述基准图像数据对应的基准角速度序列和所述初始图像数据对应的初始角速度序列;所述基准角速度序列中的基准角速度的统计数量和所述初始角速度序列中的初始角速度的统计数量相等;
将所述初始图像数据按行均分为所述统计数量个初始图像块;
针对每个初始图像块,基于所述初始图像块对应的基准角速度和初始角速度,确定所述初始图像块中每个像素点的对齐位置;所述初始图像块对应的基准角速度在基准角速度序列中的排列顺序和所述初始图像块对应的初始角速度在初始角速度序列中的排列顺序相同;
基于多个所述初始图像数据中每个像素点的对齐位置,得到所述基准图像数据对应的参考图像数据。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
针对所述基准图像数据的运动区域中的每个像素点,基于所述像素点的相邻像素点,确定所述像素点的各个颜色通道的目标像素值;
所述基于所述非运动区域中像素点的各个颜色通道的目标像素值,确定所述基准图像数据对应的目标图像数据,包括:
基于所述非运动区域中像素点的各个颜色通道的目标像素值,以及所述运动区域中像素点的各个颜色通道的目标像素值,确定所述基准图像数据对应的目标图像数据。
13.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取基准图像数据和所述基准图像数据对应的参考图像数据;所述参考图像数据为与所述基准图像数据进行配准对齐得到的图像数据;
划分模块,用于基于所述基准图像数据和所述参考图像数据,确定所述基准图像数据中的非运动区域;
确定模块,用于针对所述非运动区域中的每个像素点,基于所述像素点在所述参考图像数据中对应的已知颜色通道和所述已知颜色通道对应的参考像素值,确定所述像素点的各个颜色通道的目标像素值;
处理模块,用于基于所述非运动区域中像素点的各个颜色通道的目标像素值,确定所述基准图像数据对应的目标图像数据。
14.一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
16.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410289422.9A CN118172395A (zh) | 2024-03-13 | 2024-03-13 | 图像处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410289422.9A CN118172395A (zh) | 2024-03-13 | 2024-03-13 | 图像处理方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118172395A true CN118172395A (zh) | 2024-06-11 |
Family
ID=91351979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410289422.9A Pending CN118172395A (zh) | 2024-03-13 | 2024-03-13 | 图像处理方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118172395A (zh) |
-
2024
- 2024-03-13 CN CN202410289422.9A patent/CN118172395A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170278302A1 (en) | Method and device for registering an image to a model | |
CN113029128B (zh) | 视觉导航方法及相关装置、移动终端、存储介质 | |
CN109313805A (zh) | 图像处理装置、图像处理系统、图像处理方法和程序 | |
CN112465877B (zh) | 一种基于运动状态估计的卡尔曼滤波视觉追踪稳定方法 | |
CN116596935B (zh) | 形变检测方法、装置、计算机设备及计算机可读存储介质 | |
CN116091998A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
CN116894802B (zh) | 图像增强方法、装置、计算机设备和存储介质 | |
CN113963072A (zh) | 双目摄像头标定方法、装置、计算机设备和存储介质 | |
CN113628259A (zh) | 图像的配准处理方法及装置 | |
CN116109799B (zh) | 调整模型训练方法、装置、计算机设备及存储介质 | |
CN116229130A (zh) | 模糊图像的类型识别方法、装置、计算机设备和存储介质 | |
CN118172395A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
WO2022257778A1 (zh) | 拍摄装置状态识别方法、装置、计算机设备和存储介质 | |
US9243935B2 (en) | Distance information estimating apparatus | |
CN115514887A (zh) | 视频采集的控制方法、装置、计算机设备和存储介质 | |
CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
CN115294280A (zh) | 三维重建方法、装置、设备、存储介质和程序产品 | |
CN111461140A (zh) | 适用于slam系统的直线描述子构建和匹配方法 | |
CN114750147B (zh) | 机器人的空间位姿确定方法、装置和机器人 | |
CN118297994A (zh) | 图像处理方法、装置、电子设备和存储介质 | |
CN115019400B (zh) | 违规行为检测方法及装置 | |
CN117392317A (zh) | 实景三维建模方法、装置、计算机设备和存储介质 | |
CN116596819A (zh) | 图像合成方法、装置、计算机设备和存储介质 | |
CN115174811A (zh) | 相机抖动检测方法、装置、设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |