CN116385260B - 图像处理方法、装置、芯片、电子设备及介质 - Google Patents
图像处理方法、装置、芯片、电子设备及介质 Download PDFInfo
- Publication number
- CN116385260B CN116385260B CN202210556770.9A CN202210556770A CN116385260B CN 116385260 B CN116385260 B CN 116385260B CN 202210556770 A CN202210556770 A CN 202210556770A CN 116385260 B CN116385260 B CN 116385260B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- target
- determining
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000008859 change Effects 0.000 claims description 77
- 238000007667 floating Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 abstract description 14
- 230000000875 corresponding effect Effects 0.000 description 91
- 238000004364 calculation method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种图像处理方法、装置、芯片、电子设备及介质,所述方法包括:在第一图像以目标位置为中心的目标窗口内,获取至少一个预设方向的梯度值;根据至少一个所述预设方向的梯度值、所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。本公开实施例能够减少噪声对图像下采样处理的影响,并能够降低下采样处理所导致较多的细节损失,减少对画质损失的影响。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、芯片、电子设备及介质。
背景技术
图像处理技术在多媒体和计算机视觉任务里发挥了重要作用,常见的图像处理技术包括变采样、降噪、饱和度增强等,其中变采样包括下采样和上采样。
ISP(Image Signal Processor,图像信号处理器)一般是用来处理图像传感器(Image Sensor)的输出数据,当输出图像分辨率小于图像传感器输出的分辨率时,由于降低功耗等要求,需要进行图像下采样处理,并且下采样处理过程中需要考虑输出图像的画质细节损失。
现有的图像下采样处理可以采用基于插值的图像下采样方法,例如最近邻插值、双线性插值、双三次插值等,这种基于插值的图像下采样处理流程主要是:先将输入图像的部分像素值直接赋值给输出图像中相应的像素,再根据这些被赋值的像素对其它坐标位置的像素值进行计算。如果直接赋值的像素值存在较大的噪声,那么直接赋值的处理将会直接影响输出图像的画质,并且会导致该像素及其一定邻域范围内的细节损失,对画质损失影响比较明显。
发明内容
本公开实施例提供一种图像处理方法、装置、芯片、电子设备及介质。
根据本公开实施例的第一方面,提供了一种图像处理方法,所述方法包括:
在第一图像以目标位置为中心的目标窗口内,获取至少一个预设方向的梯度值;
根据至少一个所述预设方向的梯度值、所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
在一些实施例中,所述在第一图像以目标位置为中心的目标窗口内,获取至少一个预设方向的梯度值,包括:
在所述第一图像以目标位置为中心的目标窗口内,获取至少一个方向组的梯度值组,其中,一个所述方向组包括相互垂直的两个方向;一个所述梯度值组包括一个所述方向组内各个方向的梯度值。
在一些实施例中,所述目标窗口为矩形窗口;
所述方向组包括:
第一方向组,包括:第一方向和第二方向;所述第一方向和所述第二方向,分别与所述矩形窗口的不同边平行;
第二方向组,包括:第三方向和第四方向,所述第三方向和所述第四方向,分别与所述矩形窗口的对角线重叠。
在一些实施例中,所述根据至少一个所述预设方向的梯度值、所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值,包括:
根据每个所述方向组中的每个方向的梯度值,确定每个所述方向组中的每个方向对应的权重;
根据所述目标窗口内多个像素的像素值,确定所述目标像素在每个所述方向组中的每个方向上的像素值;
根据每个所述方向对应的权重以及所述目标像素在每个所述方向上的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
在一些实施例中,所述根据每个所述方向组中的每个方向的梯度值,确定每个所述方向组中的每个方向对应的权重,包括:
根据每个所述方向的梯度值,确定每个所述方向的梯度变化量;
确定每个所述方向的梯度变化量的统计值;
根据每个所述方向的梯度变化量的统计值,确定每个所述方向对应的权重。
在一些实施例中,所述确定每个所述方向的梯度变化量的统计值,包括:
根据计算各个所述梯度变化量的像素所在位置与所述目标位置之间的距离,确定各个所述梯度变化量对应的权重;
根据各个所述梯度变化量对应的权重以及每个所述方向的各个所述梯度变化量,确定每个所述方向的梯度变化量的统计值。
在一些实施例中,所述根据所述目标窗口内多个像素的像素值,确定所述目标像素在每个所述方向组中的每个方向上的像素值,包括:
对所述目标位置处的像素在每个所述方向上的至少两个相邻像素的像素值进行加权平均,得到所述目标像素在每个所述方向上的像素值;
其中,在同一个所述方向上,至少两个所述相邻像素对应的权重系数的和值等于2的n次幂;所述n为正整数。
在一些实施例中,所述方法还包括:
根据所述第一图像的下采样倍率以及所述第二图像中的所述目标像素的坐标,确定所述第一图像中的所述目标位置。
在一些实施例中,所述根据所述第一图像的下采样倍率以及所述第二图像中的所述目标像素的坐标,确定所述第一图像中的所述目标位置,包括:
根据所述下采样倍率和所述第二图像中的所述目标像素的坐标,确定所述目标像素对应在所述第一图像中的坐标;
当所述目标像素对应在所述第一图像中的坐标为浮点坐标时,根据距离所述浮点坐标最近的整数坐标,确定所述第一图像中的所述目标位置。
根据本公开实施例的第二方面,提供了一种图像处理装置,所述装置包括:
获取模块,用于在第一图像以目标位置为中心的目标窗口内,获取至少一个预设方向的梯度值;
第一确定模块,用于根据至少一个所述预设方向的梯度值、所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
在一些实施例中,所述获取模块具体用于:
在所述第一图像以目标位置为中心的目标窗口内,获取至少一个方向组的梯度值组,其中,一个所述方向组包括相互垂直的两个方向;一个所述梯度值组包括一个所述方向组内各个方向的梯度值。
在一些实施例中,所述目标窗口为矩形窗口;
所述方向组包括:
第一方向组,包括:第一方向和第二方向;所述第一方向和所述第二方向,分别与所述矩形窗口的不同边平行;
第二方向组,包括:第三方向和第四方向,所述第三方向和所述第四方向,分别与所述矩形窗口的对角线重叠。
在一些实施例中,所述第一确定模块包括:
第一确定单元,用于根据每个所述方向组中的每个方向的梯度值,确定每个所述方向组中的每个方向对应的权重;
第二确定单元,用于根据所述目标窗口内多个像素的像素值,确定所述目标像素在每个所述方向组中的每个方向上的像素值;
第三确定单元,用于根据每个所述方向对应的权重以及所述目标像素在每个所述方向上的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
在一些实施例中,所述第一确定单元具体用于:
根据每个所述方向的梯度值,确定每个所述方向的梯度变化量;
确定每个所述方向的梯度变化量的统计值;
根据每个所述方向的梯度变化量的统计值,确定每个所述方向对应的权重。
在一些实施例中,所述第一确定单元具体用于:
根据每个所述方向的梯度值,确定每个所述方向的梯度变化量,并确定每个所述梯度变化量的统计值;
根据每个所述梯度变化量的统计值,确定每个所述方向对应的权重。
在一些实施例中,所述第二确定单元具体用于:
对所述目标位置处的像素在每个所述方向上的至少两个相邻像素的像素值进行加权平均,得到所述目标像素在每个所述方向上的像素值;
其中,在同一个所述方向上,至少两个所述相邻像素对应的权重系数的和值等于2的n次幂;所述n为正整数。
在一些实施例中,所述装置还包括:
第二确定模块,用于根据所述第一图像的下采样倍率以及所述第二图像中的所述目标像素的坐标,确定所述第一图像中的所述目标位置。
在一些实施例中,所述第二确定模块具体用于:
根据所述下采样倍率和所述第二图像中的所述目标像素的坐标,确定所述目标像素对应在所述第一图像中的坐标;
当所述目标像素对应在所述第一图像中的坐标为浮点坐标时,根据距离所述浮点坐标最近的整数坐标,确定所述第一图像中的所述目标位置。
根据本公开实施例的第三方面,提供了一种芯片,包括:
一个或多个接口电路和一个或多个处理器;所述接口电路用于从电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行第一方面所述的图像处理方法。
根据本公开实施例的第四方面,提供了一种电子设备,包括:
处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:
处理器用于运行所述可执行指令时,所述可执行指令执行上述第一方面任一项提供的图像处理方法中的步骤。
根据本公开实施例的第五方面,提供了一种非临时性计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述第一方面任一项提供的图像处理方法中的步骤。
本公开提供的一种图像处理方法、装置和存储介质,通过在第一图像以目标位置为中心的目标窗口内获取至少一个预设方向的梯度值,并结合所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。相比于现有的下采样处理方案将输入图像的部分像素值直接赋值给输出图像中相应的像素,本公开实施例能够减少噪声对图像下采样处理的影响,并能够降低下采样处理所导致较多的细节损失,减少对画质损失的影响。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1示出了本公开实施例提供的一种图像处理方法的流程图;
图2a示出了本公开实施例提供的目标窗口内的水平方向的示意图;
图2b示出了本公开实施例提供的目标窗口内的竖直方向的示意图;
图2c示出了本公开实施例提供的目标窗口内的对角线方向的示意图;
图2d示出了本公开实施例提供的目标窗口内的反对角线方向的示意图;
图3示出了本公开实施例提供的另一种图像处理方法的流程图;
图4示出了本公开实施例提供的又一种图像处理方法的流程图;
图5示出了本公开实施例提供的再一种图像处理方法的流程图;
图6示出了本公开实施例提供的一种图像处理方法的具体流程图;
图7示出了本公开实施例提供的一种图像处理装置的结构图;
图8示出了本公开实施例提供的一种电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明实施例的一些方面相一致的装置和方法的例子。
在本发明实施例使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明实施例。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明实施例可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1示出了本公开实施例提供的一种图像处理方法的流程图。参照图1,所述图像处理方法可以包括以下步骤:
S1,在第一图像以目标位置为中心的目标窗口内,获取至少一个预设方向的梯度值;
S2,根据至少一个所述预设方向的梯度值、所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
在本公开的实施例中,该图像处理方法可以应用于具有图像信号处理器的电子设备,所述电子设备例如智能手机、平板电脑、笔记本电脑、PDA(Personal DigitalAssistant,个人数字助理)、电视或者车载显示器等设备。
其中,所述第一图像为待进行下采样处理的图像,所述第二图像为所述第一图像经过下采样处理得到的图像,所述第一图像可以为图像传感器输出的数字图像。所述第一图像可以是灰度图像,也可以是RGB彩色图像中的单通道图像或YUV图像中的单通道图像。
其中,所述第一图像的分辨率大于所述第二图像的分辨率。图像的分辨率是指图像的单位面积内包含的像素个数,图像的分辨率越高,图像就越清晰。
其中,所述第二图像中的目标像素对应所述第一图像中的目标窗口内的多个像素。所述第一图像中的目标位置可以根据所述第二图像中的目标像素的坐标和所述第一图像的下采样倍率确定。这里,所述下采样倍率可以根据实际应用需要进行设定。
所述目标窗口为第一图像中的所述目标位置处的像素的邻域窗口。其中,所述第一图像中的各个像素在所述第一图像中分别对应有邻域窗口,各个邻域窗口内具有多个像素。
在一些示例中,所述目标窗口为5*5的窗口,所述目标窗口内的像素个数为25个。
在一些示例中,所述第二图像中的一行像素对应所述第二图像中的多行像素。针对5*5的目标窗口,所述第二图像中的第m行像素对应所述第一图像中的第n-2行像素至第n+2行像素。其中,所述第二图像中的第m行像素对应的第一图像中的多行像素,与所述第二图像中的第m+1行像素对应的所述第一图像中的多行像素,在所述第一图像中可以连续、不连续或者部分重叠。
在一些示例中,至少一个所述预设方向可以包括:所述目标窗口的水平方向、竖直方向、对角线方向和反对角线方向中的至少一个。
其中,所述对角线方向是指从所述目标窗口的左上角至右下角的连线方向,所述反对角线方向是指从所述目标窗口的右上角至左下角的连线方向。
在另一些示例中,一个所述预设方向为一个方向组,一个所述方向组包括相互垂直的两个方向,例如水平方向和竖直方向。
在步骤S1中,可以确定至少一个预设方向所指示的所有方向,对所述目标窗口内的各个方向上的多个像素分别进行梯度计算,获得各个方向上的至少一个像素的梯度值。
在步骤S2中,可以根据各个方向上的像素的梯度值,确定每个所述方向对应的权重;根据所述目标窗口内的各个方向上的多个像素的像素值,确定所述目标像素对应所述目标窗口内的每个所述方向的像素值;根据每个所述方向对应的权重,对所述目标像素对应所述目标窗口内的每个所述方向的像素值进行加权计算,得到所述目标像素的目标像素值。
本公开实施例提供一种图像处理方法,通过获取第一图像以目标位置为中心的目标窗口内的至少一个预设方向的梯度值,并结合所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值,相比于现有的下采样处理方案将输入图像的部分像素值直接赋值给输出图像中相应的像素,本公开实施例能够减少噪声对图像下采样处理的影响,并能够降低下采样处理所导致较多的细节损失,减少对画质损失的影响。
在一些实施例中,上述步骤S1中,所述在第一图像以目标位置为中心的目标窗口内,获取至少一个预设方向的梯度值,可以包括:
在所述第一图像以目标位置为中心的目标窗口内,获取至少一个方向组的梯度值组,其中,一个所述方向组包括相互垂直的两个方向;一个所述梯度值组包括一个所述方向组内各个方向的梯度值。
其中,相互垂直的两个方向可以为:所述目标窗口的水平方向和竖直方向,或者所述目标窗口的对角线方向和反对角线方向。
其中,一个方向的梯度值包括:所述目标窗口内的该方向上的至少一个像素的梯度值。
具体地,对所述目标窗口内的各个方向上的多个像素分别进行梯度计算,得到各个方向上的至少一个像素的梯度值。
其中,一个像素的梯度值可以为:该像素的像素值与相邻像素的像素值的差值绝对值。
示例性地,若当前计算的像素位于第一图像中的第i行第j列,即该像素的坐标为(i,j),该像素的像素值(例如,灰度值)为I(i,j),则该像素在水平方向上的梯度值为:|I(i,j)–I(i,j-1)|;该像素在竖直方向上的梯度值为:|I(i,j)–I(i-1,j)|,该像素在对角线方向上的梯度值为:|I(i,j)–I(i-1,j-1)|;该像素在反对角线方向上的梯度值为:|I(i,j)–I(i-1,j+1)|。
此外,像素的梯度值还可以采用现有技术中的其他方式计算得到,这里不作具体限定。
在一些实施例中,所述目标窗口为矩形窗口;所述方向组包括:
第一方向组,包括:第一方向和第二方向;所述第一方向和所述第二方向,分别与所述矩形窗口的不同边平行;
第二方向组,包括:第三方向和第四方向,所述第三方向和所述第四方向,分别与所述矩形窗口的对角线重叠。
示例性地,第一方向为水平方向、第二方向为竖直方向、第三方向为对角线方向、第四方向为反对角线方向。
图2a至图2d依次示出了目标窗口内的水平方向、竖直方向、对角线方向以及反对角线方向,其中C表示目标位置处的像素,目标窗口为5*5的窗口。可以理解的是,图2a至图2d中的C代表同一个像素,目标窗口内的各方向的像素块均小于5*5的窗口,例如,水平方向的像素块为3*5的窗口,竖直方向的像素块为5*3的窗口。
本公开实施例中,考虑到目标窗口内可能存在噪声会导致梯度变化较大,而由于噪声的偶发性,仅会存在在个别像素上而不可能分布在整个目标窗口内的多数像素上,因此通过获取目标窗口内的四个方向的梯度值,可以确定出目标窗口内的整体梯度变化趋势,这样通过对目标窗口内的四个方向的梯度值结合目标窗口内多个像素的像素值,确定第二图像中与目标窗口对应的目标像素的目标像素值,可以进一步减少噪声对图像下采样处理的影响,同时也能够更多地保留下采样前的图像所包含的细节信息,进一步降低下采样处理所导致较多的细节损失,减少对画质损失的影响。
在一些实施例中,如图3所示,上述步骤S2中,所述根据至少一个所述预设方向的梯度值、所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值,可以包括:
S21,根据每个所述方向组中的每个方向的梯度值,确定每个所述方向组中的每个方向对应的权重;
具体地,可以对每个方向上的至少一个像素的梯度值或梯度值变化量进行统计,根据每个方向上的梯度值的统计结果或者梯度值变化量的统计结果,确定每个方向对应的权重。其中,一个方向上的梯度值的统计结果或者梯度值变化量的统计结果越高,该方向对应的权重越大。
其中,每个方向上的梯度值的统计结果可以采用以下方式之一确定:
方式一:直接对每个方向上的至少一个像素的梯度值进行累加,得到每个方向上的梯度值统计结果。
方式二:根据每个方向上的至少一个像素的梯度值分别对应的权重,对每个方向上的至少一个像素的梯度值进行加权计算,得到每个方向上的梯度值统计结果。这里,每个方向上的某个像素的梯度值对应的权重,可以根据该像素与目标位置处的像素之间的距离确定,其中,像素与目标位置处的像素之间的距离与该像素的梯度值对应的权重负相关。
S22,根据所述目标窗口内多个像素的像素值,确定所述目标像素在每个所述方向组中的每个方向上的像素值。
具体地,可以对所述目标位置处的像素在每个所述方向上的至少两个像素的像素值进行加权平均,得到所述目标像素对应在每个所述方向上的像素值;此外,也可以直接对所述目标窗口内的每个所述方向上的多个像素的像素值进行累加求平均,得到所述目标像素对应在每个所述方向上的像素值。
可以理解的是,本公开实施例对步骤S21与步骤S22的执行顺序不作具体限定,以同时执行步骤S21与步骤S22作为优选方案。
S23,根据每个所述方向对应的权重以及所述目标像素在每个所述方向上的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
具体地,根据每个所述方向对应的权重,对所述目标像素在每个所述方向上的像素值进行加权计算,将加权计算结果作为所述第二图像中所述目标像素的目标像素值。
本公开实施例中,由于目标窗口内的不同方向的梯度值,可以反映出目标窗口内的像素描述细节,这样根据每个所述方向的梯度值确定每个方向对应的权重,并结合所述目标像素在每个所述方向上的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值,能够降低下采样处理所导致较多的细节损失。
在一些实施例中,如图4所示,上述步骤S21中,所述根据每个所述方向组中的每个方向的梯度值,确定每个所述方向组中的每个方向对应的权重,可以包括:
S211,根据每个所述方向的梯度值,确定每个所述方向的梯度变化量。
其中,像素的梯度变化量可以为:该像素的梯度值与相邻像素的梯度值的差值绝对值。
具体地,若当前计算的像素位于第一图像中的第i行第j列,即该像素的坐标为(i,j),该像素的梯度值为R(i,j),则该像素在水平方向上的梯度变化量为:|R(i,j)–R(i,j-1)|;该像素在竖直方向上的梯度变化量为:|R(i,j)–R(i-1,j)|,该像素在对角线方向上的梯度变化量为:|R(i,j)–R(i-1,j-1)|;该像素在反对角线方向上的梯度变化量为:|R(i,j)–R(i-1,j+1)|。
S212,确定每个所述方向的梯度变化量的统计值。
其中,所述梯度变化量的统计值可以用于反映出目标窗口内的像素描述细节。
具体地,可以分别对每个所述方向上的像素的梯度变化量进行加权计算,得到所述每个所述方向的梯度变化量的统计值;此外,也可以直接对每个所述方向上的像素的梯度值进行累加,得到所述每个所述方向的梯度变化量的统计值。
S213,根据每个所述方向的梯度变化量的统计值,确定每个所述方向对应的权重。
其中,一个所述方向的梯度变化量的统计值与该方向对应的权重正相关。例如,若梯度变化量的统计值较大时,描述的可能是像素边缘,则会对梯度变化量的统计值较大的方向赋予更大的权重,即加大所述目标窗口内的该方向的像素值参与计算所述第二图像中的目标像素的像素值的比重。
具体地,针对每一个方向,可以直接将该方向的梯度变化量的统计结果作为该方向对应的权重,也可以根据该方向的梯度变化量的统计结果的平方与一可调参数之和,确定该方向对应的权重,其中,该可调参数的取值范围为0至预设值,例如该预设值可设为5。
本公开实施例中,通过确定目标窗口内的每个所述方向的梯度变化量的统计值,这样通过目标窗口内的不同方向的梯度变化趋势和强度,更能够反映出目标窗口内的像素描述细节,因此通过根据每个所述方向的梯度变化量的统计值,确定每个所述方向对应的权重,能够更多地保留下采样前的图像所包含的细节信息,进一步降低下采样处理所导致较多的细节损失。
在一些实施例中,如图5所示,上述步骤S212中,所述确定每个所述方向的梯度变化量的统计值,可以包括:
S2121,根据计算各个所述梯度变化量的像素所在位置与所述目标位置之间的距离,确定各个所述梯度变化量对应的权重。
其中,任意一个所述梯度变化量对应的权重,与计算该梯度变化量的像素所在位置与目标位置之间的距离负相关,距离越小,相应的权重越大;距离越大,相应的权重越小。
上述的梯度变化量对应的权重、计算该梯度变化量的像素与中心像素之间的距离具有对应关系,其中,该对应关系可以专家经验进行预设,此处不作具体限定。
S2122,根据各个所述梯度变化量对应的权重以及每个所述方向的各个所述梯度变化量,确定每个所述方向的梯度变化量的统计值。
具体地,可以根据各个所述梯度变化量对应的权重,分别对每个所述方向的所述梯度变化量进行加权计算,得到所述每个所述方向的梯度变化量的统计值。
本公开实施例中,通过根据各个所述梯度变化量对应的权重以及每个所述方向的各个所述梯度变化量,确定每个所述方向的梯度变化量的统计值,由于各个所述梯度变化量对应的权重是通过根据计算各个梯度变化量的像素所在位置与目标位置之间的距离确定的,从而能够使得不同方向的梯度变化量的统计值更能反映出目标窗口内的像素描述细节,进而可以进一步降低下采样处理所导致较多的细节损失。
在一些实施例中,上述步骤S22中,所述根据所述目标窗口内多个像素的像素值,确定所述目标像素在每个所述方向组中的每个方向上的像素值,可以包括:
对所述目标位置处的像素在每个所述方向上的至少两个相邻像素的像素值进行加权平均,得到所述目标像素在每个所述方向上的像素值;其中,在同一个所述方向上,至少两个所述相邻像素对应的权重系数的和值等于2的n次幂;所述n为正整数。
示例性地,可以采用如下计算公式,确定所述目标像素在目标窗口内的水平方向、垂直方向、对角线方向、反对角线方向上的像素值:
Value_horizontal=a*I(i,j-1)+a*I(i,j+1)–b*I(i,j–2)–b*I(i,j+2);
Value_vertical=a*I(i-1,j)+a*I(i+1,j)–b*I(i–2,j)–b*I(i+2,j);
Value_diagonal=a*I(i-1,j-1)+a*I(i+1,j+1)–b*I(i–2,j–2)–b*I(i+2,j+2);
Value_anti_diagonal=a*I(i+1,j-1)+a*I(i-1,j+1)–b*I(i+2,j–2)–b*I(i-2,j+2);
其中,目标位置处的像素的坐标(i,j)表示该像素为第一图像中的第i行第j列的像素,I(i,j)为目标位置处的像素的像素值(例如,灰度值)。
在第一图像中,I(i,j-1)为第i行第j-1列的像素值,I(i,j+1)为第i行第j+1列的像素值,I(i,j-2)为第i行第j-2列的像素值,I(i,j+2)为第i行第j+2列的像素值;
I(i-1,j)表示第i-1行第j列的像素值,I(i+1,j)为第i+1行第j列的像素值,I(i-2,j)为第i-2行第j列的像素值,I(i+2,j)为第i+2行第j列的像素值;
I(i-1,j-1)表示第i-1行第j-1列的像素值,I(i+1,j+1)为第i+1行第j+1列的像素值,I(i-2,j-2)为第i-2行第j-2列的像素值,I(i+2,j+2)为第i+2行第j+2列的像素值;
I(i+1,j-1)表示第i+1行第j-1列的像素值,I(i-1,j+1)为第i-1行第j+1列的像素值,I(i+2,j-2)为第i+2行第j-2列的像素值,I(i-2,j+2)为第i-2行第j+2列的像素值;
Value_horizontal表示目标窗口内的水平方向上的像素值,Value_vertical表示目标窗口内的竖直方向上的像素值,Value_diagonal表示目标窗口内的对角线方向上的像素值,Value_anti_diagonal表示目标窗口内的反对角线方向上的像素值。
其中,a与b取值是预先设定的,且a与b满足关系式:2a-2b=c,c取值为2的n次幂,n为正整数,例如n为4。
优选地,所述a取值为9,所述b取值为-1。
在一些实施例中,所述方法还可以包括:
根据所述第一图像的下采样倍率以及所述第二图像中的所述目标像素的坐标,确定所述第一图像中的所述目标位置。
其中,所述下采样倍率,用于表示对所述第一图像进行下采样处理的程度。所述下采样倍率可以根据所述第一图像的图像尺寸和所述第二图像的图像尺寸确定。
其中,所述下采样倍率可以为大于1的整数型数值或浮点型数值。
其中,所述下采样倍率可包括所述第一图像在水平方向上的第一下采样倍率和/或所述第一图像在竖直方向上的第二下采样倍率。其中,所述第一下采样倍率为:第一图像的长度与第二图像的长度之间的比值;所述第二下采样倍率为:第一图像的宽度与第二图像的宽度之间的比值。
在一些示例中,为了抑制图像下采样导致的图像失真现象,第一下采样倍率与第二下采样倍率相同。当然,实际应用中,所述第一下采样倍率和所述第二下采样倍率可以不同。
在一些实施例中,所述根据所述第一图像的下采样倍率以及所述第二图像中的所述目标像素的坐标,确定所述第一图像中的所述目标位置,可以包括:
根据所述下采样倍率和所述第二图像中的所述目标像素的坐标,确定所述目标像素对应在所述第一图像中的坐标;
当所述目标像素对应在所述第一图像中的坐标为浮点坐标时,根据距离所述浮点坐标最近的整数坐标,确定所述第一图像中的所述目标位置。
具体地,根据所述目标像素的横坐标与所述第一下采样倍率的乘积,确定所述目标像素对应在所述第一图像中的横坐标;根据所述目标像素的纵坐标和所述第二下采样倍率的乘积,确定所述目标像素对应在所述第一图像中的纵坐标;其中,所述目标像素对应在所述第一图像中的横坐标和纵坐标可以分别为整数坐标或浮点坐标。
当所述目标像素对应在所述第一图像中的横坐标或纵坐标为浮点坐标时,根据距离所述浮点坐标最近的整数坐标,确定所述第一图像中的所述目标位置。
其中,可以根据预设取整方式,确定距离所述浮点坐标最近的整数坐标,所述预设取整方式可以为:向上取整、向下取整或四舍五入取整。
示例性地,采用向下取整的方式确定距离所述浮点坐标最近的整数坐标,假设所述目标像素对应在所述第一图像中的坐标为(100.7,100.7),采用向下取整的方式可以将整数坐标(100,100)确定为所述第一图像中的目标位置。
本公开实施例中,第一图像的下采样倍率可以是任意倍率(包括浮点倍率),能够解决现有的图像下采样方案仅支持某一特定的下采样倍率处理的局限性,满足了下采样的不同输出图像分辨率的需求。
下面,将结合具体实施例对本公开提供的图像处理方法进行说明。
常见的数字图像处理技术包括变采样、降噪、饱和度增强等,其中变采样包括下采样和上采样。下采样的主要应用场景包括:针对相同的图像,在不同带宽信道上为满足限制需要以不同的图像分辨率传输;以及,图像压缩任务中,当可用码率不足以清晰表示图像里所有像素时,借助对待编码图像进行下采样的方式获得较好的编码性能。此外,在ISP设计中,当输出图像分辨率小于图像传感器输出的分辨率时,由于降低功耗等要求,需要进行图像下采样处理,并且下采样处理过程中需要考虑输出图像的画质细节损失。
目前,研究数字图像下采样技术大多基于信号处理理论,例如:基于像素缝裁剪的下采样(Seam carving for content-aware image resizing)、基于两项L0正则化先验的下采样(L0-Regularized image downscaling)等,其最优性的保证需要输入信号平稳的假设,这在实际应用中是很难保证的,并且这些下采样都是针对单一目标,无法满足多种应用需求。
另外,下采样技术还可以采用基于插值的图像下采样方法,例如最近邻插值、双线性插值、双三次插值等,这种基于插值的图像下采样处理存在的问题主要包括:
(1)对输入图像的画质有一定的要求,这种方案中需要先将输入图像的部分像素值直接赋值给输入图像坐标与输出图像坐标整数倍关系的像素,再根据这些像素的位置关系及数值计算其它未知坐标的像素数值,如果直接赋值的像素值存在较大的噪声,将会直接影响输出图像的画质。此外,对于图像下采样,输出图像的每个像素实际描述的是输入的高分辨率图像的一定区域内像素描述细节的总和,直接赋值的处理会导致该像素及其一定邻域范围内的细节损失,对画质细节损失的影响比较明显;
(2)仅支持水平或垂直两倍下采样,虽然计算流程具有一定的可扩展性,但是也仅能支持2的整数次幂倍率下采样;
(3)计算过程的硬件友好性较差,需要存储的数据量较大。
基于此,本公开实施例提供一种图像处理方法,该方法通过对输入图像(即待采样的第一图像)基于一定邻域(目标窗口)范围内梯度变化统计信息,自适应计算水平、垂直、对角线、反对角线方向的权重,再结合四个方向的估计值加权的方式,计算得到输出图像(即采样后得到的第二图像)各坐标的位置处的坐标值,能够解决针对ISP pipeline在不同位置处下采样的需求,当前输入图像画质不理想的情况,以及下采样处理过程中较多细节损失的问题。
如图6所示,本公开实施例提供的图像处理方法可以包括:
步骤1:根据下采样倍率,计算当前下采样图像输出坐标对应输入图像的浮点坐标。
步骤2:根据浮点坐标确定最近的整数坐标。
步骤3:在以所述整数坐标处的像素为中心像素的5*5窗口内,统计该窗口内的四个方向各自的梯度变化量。
其中,四个方向包括:水平方向、竖直方向、对角线方向以及反对角线方向,5*5窗口内的各个方向可分别参阅图2a至图2d所示。
具体地,针对每个方向,根据5*5窗口内的该方向上的像素的像素值,确定该方向的像素的梯度值;根据该方向的像素的梯度值,确定该方向的像素的梯度变化量;对该方向的像素的梯度变化量进行加权平均,得到该方向的梯度变化量的统计结果。
其中,任意一个所述梯度变化量对应的权重,是根据计算该梯度变化量的像素与中心像素之间的距离确定的,距离越近,相应的权重越大;距离越远,相应的权重越小。
上述权重与距离之间具有对应关系,且该对应关系可以根据实际应用需要进行预设,此处不作具体限定。
步骤4:根据四个方向各自的梯度变化量的统计结果,计算四个方向各自对应的权重。
具体地,针对每一个方向,可以直接将该方向的梯度变化量的统计结果作为该方向对应的权重,也可以根据该方向的梯度变化量的统计结果的平方与一可调参数之和,确定该方向对应的权重,其中,该可调参数的取值范围为0至预设值,例如该预设值可设为5。
步骤5:分别计算四个方向各自的估计值。
具体地,四个方向各自的估计值可分别对中心像素在5*5窗口内的水平方向、垂直方向、对角线方向、反对角线方向上的相邻像素的像素值进行加权计算得到,其计算公式为:
Value_horizontal=a*I(i-1,j)+a*I(i+1,j)–b*I(i–2,j)–b*I(i+2,j);
Value_vertical=a*I(i,j-1)+a*I(i,j+1)–b*I(i,j–2)–b*I(i,j+2);
Value_diagonal=a*I(i+1,j-1)+a*I(i-1,j+1)–b*I(i+2,j–2)–b*I(i-2,j+2);
Value_anti_diagonal=a*I(i-1,j-1)+a*I(i+1,j+1)–b*I(i–2,j–2)–b*I(i+2,j+2);
其中,中心像素的坐标(i,j)表示中心像素为第一图像中的第i行第j列的像素,I(i,j)表示中心像素的像素值(例如,灰度值)。
I(i,j-1)表示第i行第j-1列的像素值,I(i,j+1)为第i行第j+1列的像素值,I(i,j-2)为第i行第j-2列的像素值,I(i,j+2)为第i行第j+2列的像素值;
I(i-1,j)表示第i-1行第j列的像素值,I(i+1,j)为第i+1行第j列的像素值,I(i-2,j)为第i-2行第j列的像素值,I(i+2,j)为第i+2行第j列的像素值;
I(i-1,j-1)表示第i-1行第j-1列的像素值,I(i+1,j+1)为第i+1行第j+1列的像素值,I(i-2,j-2)为第i-2行第j-2列的像素值,I(i+2,j+2)为第i+2行第j+2列的像素值;
I(i+1,j-1)表示第i+1行第j-1列的像素值,I(i-1,j+1)为第i-1行第j+1列的像素值,I(i+2,j-2)为第i+2行第j-2列的像素值,I(i-2,j+2)为第i-2行第j+2列的像素值;
Value_vertical表示目标窗口内的竖直方向上的像素值,Value_diagonal表示目标窗口内的对角线方向上的像素值,Value_anti_diagonal表示目标窗口内的反对角线方向上的像素值。
其中,(i,j)表示上述步骤2中根据浮点坐标确定的最近的整数坐标(即,目标位置的坐标),I(i,j)表示目标位置处的像素的像素值(例如,灰度值)。
其中,Value_horizontal表示5*5窗口内的水平方向上的估计值,Value_vertical表示竖直方向的估计值,Value_diagonal表示对角线方向的估计值,Value_anti_diagonal表示反对角线方向的估计值。
其中,a与b取值可以预先设定,且a与b满足关系式:2a-2b=c,c取值为2的n次幂,n为正整数,例如n为4。
优选地,所述a取值为9,所述b取值为-1。
需要说明的是,步骤5可以在步骤3执行之前执行,也可以与步骤3或步骤4同时执行,还可以在步骤4执行之后执行,本实施例对此不作具体限定。
步骤6:根据四个方向各自对应的权重,对四个方向各自的估计值进行加权平均,将计算得到的四个方向的加权均值确定为下采样后的像素值。
具体地,可以使用如下计算公式得到采样后的像素值R:
R=W_hori*Value_horizontal+W_vert*Value_vertical+W_diag*Value_diagonal+
W_anti_diag*Value_anti_diagonal;
W_hori=d+G_hori*G_hori;
W_vert=d+G_vert*G_vert;
W_diag=d+G_diag*G_diag;
W_anti_diag=d+G_anti_diag*G_anti_diag;
其中,W_hori表示水平方向对应的权重,W_vert表示竖直方向对应的权重,W_diag=表示对角线方向对应的权重,W_anti_diag表示反对角线方向对应的权重;
G_hori、G_vert、G_diag和G_anti_diag分别是基于上述步骤3中各方向的梯度变化量的统计结果除以上述c(即2的n次幂)得到的,d的取值可以为大于0的数值,例如d=1,以防止在某一方向的梯度变化量为0的情况下,该方向上的估计值无法参与下采样后的像素值的计算。
由上可知,本公开实施例提供的图像处理方法至少具有以下优势:
(1)降低了噪声对下采样处理的影响,解决了图像下采样对画质要求较高的局限性,能够满足ISP pipeline在不同位置处未降噪图像的下采样需求;
(2)通过一定窗口范围内各个方向像素间梯度变化的关系,计算各输出坐标的像素值,降低了下采样处理所导致较多的细节损失,满足了画质损失最小化的需求;
(3)可支持任意倍率的下采样(包括浮点倍率),解决了现有的图像下采样方案仅支持某一特定的下采样倍率处理的局限性,满足了下采样的不同输出图像分辨率的需求。
图7示出了根据本公开实施例提供的一种图像处理装置的结构示意图,如图7所示,所述图像处理装置700可以包括:
获取模块701,用于在第一图像以目标位置为中心的目标窗口内,获取至少一个预设方向的梯度值;
第一确定模块702,用于根据至少一个所述预设方向的梯度值、所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
在一些实施例中,所述获取模块701具体用于:
在所述第一图像以目标位置为中心的目标窗口内,获取至少一个方向组的梯度值组,其中,一个所述方向组包括相互垂直的两个方向;一个所述梯度值组包括一个所述方向组内各个方向的梯度值。
在一些实施例中,所述目标窗口为矩形窗口;
所述方向组包括:
第一方向组,包括:第一方向和第二方向;所述第一方向和所述第二方向,分别与所述矩形窗口的不同边平行;
第二方向组,包括:第三方向和第四方向,所述第三方向和所述第四方向,分别与所述矩形窗口的对角线重叠。
在一些实施例中,所述第一确定模块702包括:
第一确定单元,用于根据每个所述方向组中的每个方向的梯度值,确定每个所述方向组中的每个方向对应的权重;
第二确定单元,用于根据所述目标窗口内多个像素的像素值,确定所述目标像素在每个所述方向组中的每个方向上的像素值;
第三确定单元,用于根据每个所述方向对应的权重以及所述目标像素在每个所述方向上的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
在一些实施例中,所述第一确定单元具体用于:
根据每个所述方向的梯度值,确定每个所述方向的梯度变化量;
确定每个所述梯度变化量的统计值;
根据每个所述梯度变化量的统计值,确定每个所述方向对应的权重。
在一些实施例中,所述第一确定单元具体用于:
根据每个所述方向的梯度值,确定每个所述方向的梯度变化量,并确定每个所述梯度变化量的统计值;
根据每个所述梯度变化量的统计值,确定每个所述方向对应的权重。
在一些实施例中,所述第二确定单元具体用于:
对所述目标位置处的像素在每个所述方向上的至少两个相邻像素的像素值进行加权平均,得到所述目标像素在每个所述方向上的像素值;
其中,在同一个所述方向上,至少两个所述相邻像素对应的权重系数的和值等于2的n次幂;所述n为正整数。
在一些实施例中,所述装置还包括:
第二确定模块,用于根据所述第一图像的下采样倍率以及所述第二图像中的所述目标像素的坐标,确定所述第一图像中的所述目标位置。
在一些实施例中,所述第二确定模块具体用于:
根据所述下采样倍率和所述第二图像中的所述目标像素的坐标,确定所述目标像素对应在所述第一图像中的坐标;
当所述目标像素对应在所述第一图像中的坐标为浮点坐标时,根据距离所述浮点坐标最近的整数坐标,确定所述第一图像中的所述目标位置。
关于上述实施例中的图像处理装置,其中各个模块执行操作的具体方式已经在有关上述图像处理方法的实施例中进行了详细描述,此处将不做详细阐述说明。
在示例性实施例中,获取模块701、第一确定模块702等可以被一个或多个中央处理器(CPU,Central Processing Unit)、图形处理器(GPU,Graphics Processing Unit)、基带处理器(BP,baseband processor)、应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU,MicroController Unit)、微处理器(Microprocessor)、或其他电子元件实现,用于执行前述用户身份识别卡的控制方法。
此外,本公开实施例还提供了一种芯片,包括一个或多个接口电路和一个或多个处理器;该接口电路用于从电子设备的存储器接收信号,并向上述处理器发送信号,上述信号包括存储器中存储的计算机指令;当所述处理器执行该计算机指令时,使得上述电子设备执行上述实施例所示的图像处理方法。
图8是根据一示例性实施例示出的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)、有机发光二极管面板(OLED)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,2G、3G、4G以及5G等,或它们的组合。在一些示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一些示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述图像处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述图像处理方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (17)
1.一种图像处理方法,其特征在于,所述方法包括:
在第一图像以目标位置为中心的目标窗口内,获取至少一个方向组的梯度值组,其中,一个所述方向组包括相互垂直的两个方向;一个所述梯度值组包括一个所述方向组内各个方向的梯度值,其中,方向的梯度值包括:所述目标窗口内的该方向上的至少一个像素与相邻像素的像素值的差值绝对值;
根据每个所述方向组中的每个方向的梯度值,确定每个所述方向组中的每个方向对应的权重;
根据所述目标窗口内多个像素的像素值,确定目标像素在每个所述方向组中的每个方向上的像素值;
根据每个所述方向对应的权重以及所述目标像素在每个所述方向上的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
2.根据权利要求1所述的方法,其特征在于,所述目标窗口为矩形窗口;
所述方向组包括:
第一方向组,包括:第一方向和第二方向;所述第一方向和所述第二方向,分别与所述矩形窗口的不同边平行;
第二方向组,包括:第三方向和第四方向,所述第三方向和所述第四方向,分别与所述矩形窗口的对角线重叠。
3.根据权利要求1所述的方法,其特征在于,所述根据每个所述方向组中的每个方向的梯度值,确定每个所述方向组中的每个方向对应的权重,包括:
根据每个所述方向的梯度值,确定每个所述方向的梯度变化量;
确定每个所述方向的梯度变化量的统计值;
根据每个所述方向的梯度变化量的统计值,确定每个所述方向对应的权重。
4.根据权利要求3所述的方法,其特征在于,所述确定每个所述方向的梯度变化量的统计值,包括:
根据计算各个所述梯度变化量的像素所在位置与所述目标位置之间的距离,确定各个所述梯度变化量对应的权重;
根据各个所述梯度变化量对应的权重以及每个所述方向的各个所述梯度变化量,确定每个所述方向的梯度变化量的统计值。
5.根据权利要求1所述的方法,其特征在于,所述根据所述目标窗口内多个像素的像素值,确定目标像素在每个所述方向组中的每个方向上的像素值,包括:
对所述目标位置处的像素在每个所述方向上的至少两个相邻像素的像素值进行加权平均,得到所述目标像素在每个所述方向上的像素值;
其中,在同一个所述方向上,至少两个所述相邻像素对应的权重系数的和值等于2的n次幂;所述n为正整数。
6.根据权利要求1至2任一项所述的方法,其特征在于,所述方法还包括:
根据所述第一图像的下采样倍率以及所述第二图像中的所述目标像素的坐标,确定所述第一图像中的所述目标位置。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一图像的下采样倍率以及所述第二图像中的所述目标像素的坐标,确定所述第一图像中的所述目标位置,包括:
根据所述下采样倍率和所述第二图像中的所述目标像素的坐标,确定所述目标像素对应在所述第一图像中的坐标;
当所述目标像素对应在所述第一图像中的坐标为浮点坐标时,根据距离所述浮点坐标最近的整数坐标,确定所述第一图像中的所述目标位置。
8.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于在第一图像以目标位置为中心的目标窗口内,获取至少一个预设方向的梯度值;
第一确定模块,用于根据至少一个所述预设方向的梯度值、所述目标窗口内多个像素的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值,所述第二图像为所述第一图像经过下采样处理得到的图像;
所述获取模块具体用于:
在所述第一图像以目标位置为中心的目标窗口内,获取至少一个方向组的梯度值组,其中,一个所述方向组包括相互垂直的两个方向;一个所述梯度值组包括一个所述方向组内各个方向的梯度值,其中,方向的梯度值包括:所述目标窗口内的该方向上的至少一个像素与相邻像素的像素值的差值绝对值;
所述第一确定模块包括:
第一确定单元,用于根据每个所述方向组中的每个方向的梯度值,确定每个所述方向组中的每个方向对应的权重;
第二确定单元,用于根据所述目标窗口内多个像素的像素值,确定所述目标像素在每个所述方向组中的每个方向上的像素值;
第三确定单元,用于根据每个所述方向对应的权重以及所述目标像素在每个所述方向上的像素值,确定在第二图像中与所述目标窗口对应的目标像素的目标像素值。
9.根据权利要求8所述的装置,其特征在于,所述目标窗口为矩形窗口;
所述方向组包括:
第一方向组,包括:第一方向和第二方向;所述第一方向和所述第二方向,分别与所述矩形窗口的不同边平行;
第二方向组,包括:第三方向和第四方向,所述第三方向和所述第四方向,分别与所述矩形窗口的对角线重叠。
10.根据权利要求8所述的装置,其特征在于,所述第一确定单元具体用于:
根据每个所述方向的梯度值,确定每个所述方向的梯度变化量;
确定每个所述方向的梯度变化量的统计值;
根据每个所述方向的梯度变化量的统计值,确定每个所述方向对应的权重。
11.根据权利要求10所述的装置,其特征在于,所述第一确定单元具体用于:
根据每个所述方向的梯度值,确定每个所述方向的梯度变化量,并确定每个所述梯度变化量的统计值;
根据每个所述梯度变化量的统计值,确定每个所述方向对应的权重。
12.根据权利要求8所述的装置,其特征在于,所述第二确定单元具体用于:
对所述目标位置处的像素在每个所述方向上的至少两个相邻像素的像素值进行加权平均,得到所述目标像素在每个所述方向上的像素值;
其中,在同一个所述方向上,至少两个所述相邻像素对应的权重系数的和值等于2的n次幂;所述n为正整数。
13.根据权利要求8至9任一项所述的装置,其特征在于,所述装置还包括:
第二确定模块,用于根据所述第一图像的下采样倍率以及所述第二图像中的所述目标像素的坐标,确定所述第一图像中的所述目标位置。
14.根据权利要求13所述的装置,其特征在于,所述第二确定模块具体用于:
根据所述下采样倍率和所述第二图像中的所述目标像素的坐标,确定所述目标像素对应在所述第一图像中的坐标;
当所述目标像素对应在所述第一图像中的坐标为浮点坐标时,根据距离所述浮点坐标最近的整数坐标,确定所述第一图像中的所述目标位置。
15.一种芯片,其特征在于,
包括一个或多个接口电路和一个或多个处理器;所述接口电路用于从电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行权利要求1至7任一项所述的图像处理方法。
16.一种电子设备,其特征在于,包括:
处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:
处理器用于运行所述可执行指令时,所述可执行指令执行上述权利要求1至7任一项提供的图像处理方法中的步骤。
17.一种非临时性计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述权利要求1至7任一项提供的图像处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210556770.9A CN116385260B (zh) | 2022-05-19 | 2022-05-19 | 图像处理方法、装置、芯片、电子设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210556770.9A CN116385260B (zh) | 2022-05-19 | 2022-05-19 | 图像处理方法、装置、芯片、电子设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116385260A CN116385260A (zh) | 2023-07-04 |
CN116385260B true CN116385260B (zh) | 2024-02-09 |
Family
ID=86979204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210556770.9A Active CN116385260B (zh) | 2022-05-19 | 2022-05-19 | 图像处理方法、装置、芯片、电子设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116385260B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425970A (zh) * | 2013-08-29 | 2013-12-04 | 大连理工大学 | 一种基于头部姿态的人机交互方法 |
CN109741287A (zh) * | 2018-12-27 | 2019-05-10 | 湖南国科微电子股份有限公司 | 图像导向滤波方法及装置 |
CN110049242A (zh) * | 2019-04-18 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种图像处理方法和装置 |
CN111932463A (zh) * | 2020-08-26 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
CN113139921A (zh) * | 2021-05-12 | 2021-07-20 | 北京京东方光电科技有限公司 | 图像处理方法、显示装置、电子设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014126153A1 (ja) * | 2013-02-18 | 2014-08-21 | 日本電気株式会社 | 画像処理方法、画像処理装置、及び画像処理プログラム |
JP6942566B2 (ja) * | 2017-08-30 | 2021-09-29 | キヤノン株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
CN107644398B (zh) * | 2017-09-25 | 2021-01-26 | 上海兆芯集成电路有限公司 | 图像插补方法及其相关图像插补装置 |
CN109461168B (zh) * | 2018-10-15 | 2021-03-16 | 腾讯科技(深圳)有限公司 | 目标对象的识别方法和装置、存储介质、电子装置 |
-
2022
- 2022-05-19 CN CN202210556770.9A patent/CN116385260B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103425970A (zh) * | 2013-08-29 | 2013-12-04 | 大连理工大学 | 一种基于头部姿态的人机交互方法 |
CN109741287A (zh) * | 2018-12-27 | 2019-05-10 | 湖南国科微电子股份有限公司 | 图像导向滤波方法及装置 |
CN110049242A (zh) * | 2019-04-18 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种图像处理方法和装置 |
CN111932463A (zh) * | 2020-08-26 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、设备及存储介质 |
CN113139921A (zh) * | 2021-05-12 | 2021-07-20 | 北京京东方光电科技有限公司 | 图像处理方法、显示装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN116385260A (zh) | 2023-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107798669B (zh) | 图像去雾方法、装置及计算机可读存储介质 | |
CN106778773B (zh) | 图片中目标物的定位方法及装置 | |
CN105095881B (zh) | 人脸识别方法、装置及终端 | |
CN108391060B (zh) | 一种图像处理方法、图像处理装置和终端 | |
CN106657780B (zh) | 图像预览方法和装置 | |
CN107977934B (zh) | 图像处理方法及装置 | |
US10650502B2 (en) | Image processing method and apparatus, and storage medium | |
CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
US11488383B2 (en) | Video processing method, video processing device, and storage medium | |
CN114096994A (zh) | 图像对齐方法及装置、电子设备、存储介质 | |
KR20130115341A (ko) | 제스쳐 인식 메커니즘을 제공하는 방법 및 장치 | |
US20180314916A1 (en) | Object detection with adaptive channel features | |
US20220222831A1 (en) | Method for processing images and electronic device therefor | |
CN105678296B (zh) | 确定字符倾斜角度的方法及装置 | |
CN110874809A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN110807769B (zh) | 图像显示控制方法及装置 | |
US9665925B2 (en) | Method and terminal device for retargeting images | |
CN107730443B (zh) | 图像处理方法、装置及用户设备 | |
CN115526774A (zh) | 图像插值方法、装置、存储介质及电子设备 | |
CN116385260B (zh) | 图像处理方法、装置、芯片、电子设备及介质 | |
CN110232417B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
US10068151B2 (en) | Method, device and computer-readable medium for enhancing readability | |
CN115147466A (zh) | 图像配准方法及装置、图像处理方法及装置以及存储介质 | |
CN109389547B (zh) | 图像显示方法及装置 | |
CN112950465A (zh) | 视频超分处理方法、视频超分处理装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |