CN112218062A - 图像缩放装置、电子设备、图像缩放方法及图像处理芯片 - Google Patents

图像缩放装置、电子设备、图像缩放方法及图像处理芯片 Download PDF

Info

Publication number
CN112218062A
CN112218062A CN202011086935.8A CN202011086935A CN112218062A CN 112218062 A CN112218062 A CN 112218062A CN 202011086935 A CN202011086935 A CN 202011086935A CN 112218062 A CN112218062 A CN 112218062A
Authority
CN
China
Prior art keywords
image
interpolation
green
scaling
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011086935.8A
Other languages
English (en)
Other versions
CN112218062B (zh
Inventor
刘君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011086935.8A priority Critical patent/CN112218062B/zh
Publication of CN112218062A publication Critical patent/CN112218062A/zh
Application granted granted Critical
Publication of CN112218062B publication Critical patent/CN112218062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请实施例提供一种图像缩放装置、电子设备、图像缩放方法及图像处理芯片,其中,图像缩放装置由去马赛克模块和缩放模块构成,其中,去马赛克模块被配置为将拜尔格式图像分离为亮度通道图像和色彩通道图像,其亮度通道图像的尺寸大于色彩通道图像的尺寸;缩放模块被配置为按照缩放比例对亮度通道图像和色彩通道图像进行缩放处理,以及将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式图像。本申请对人眼敏感的亮度通道采用更大尺寸的缩放,而对于变化平滑的色彩通道采用更小尺寸的缩放,能够在保证缩放后图像质量的前提下尽可能的提高缩放效率。

Description

图像缩放装置、电子设备、图像缩放方法及图像处理芯片
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像缩放装置、电子设备、图像缩放方法及图像处理芯片。
背景技术
目前,拜尔格式图像作为一种常见的图像格式被广泛地应用于智能手机、数码相机等电子设备的图像处理过程中。为了提高图像处理的效率,电子设备通常会对原始的拜尔格式图像进行缩放处理,比如,将拜尔格式图像缩小为原始尺寸的一半,以降低图像处理的运算量。然而,相关技术中,对拜尔格式图像进行缩放的效率较低。
发明内容
本申请实施例提供一种图像缩放装置、电子设备、图像缩放方法及图像处理芯片,可以高效地对拜尔格式图像进行缩放。
本申请公开一种图像缩放装置,包括:
去马赛克模块,用于将拜尔格式图像分离为亮度通道图像和色彩通道图像,所述亮度通道图像的尺寸大于所述色彩通道图像的尺寸;
缩放模块,用于按照缩放比例对所述亮度通道图像和所述色彩通道图像进行缩放处理;以及
将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式缩放图像。
本申请还公开一种电子设备,用于对拜尔格式图像进行缩放处理,包括本申请提供的图像缩放装置。
本申请还公开一种图像缩放方法,包括:
将拜尔格式图像分离为亮度通道图像和色彩通道图像,所述亮度通道图像的尺寸大于所述色彩通道图像的尺寸;
按照缩放比例对所述亮度通道图像和所述色彩通道图像进行缩放处理;
将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式缩放图像。
本申请还公开一种图像处理芯片,其通信耦合至应用处理器,包括:
第一接口模块,用于获取来自图像传感器的第一图像信号;
中央处理模块,用于对所述第一图像信号进行指定的处理,以获取第二图像信号,其中,所述中央处理模块包括本申请提供的图像缩放装置;
第二接口模块,用于向所述应用处理器传送所述第二图像信号。
本申请提供一种硬件的图像缩放装置,该图像缩放装置由去马赛克模块和缩放模块构成,其中,去马赛克模块被配置为将拜尔格式图像分离为亮度通道图像和色彩通道图像,其亮度通道图像的尺寸大于色彩通道图像的尺寸;缩放模块被配置为按照缩放比例对亮度通道图像和色彩通道图像进行缩放处理,以及将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式图像。本申请对人眼敏感的亮度通道采用更大尺寸的缩放,而对于变化平滑的色彩通道采用更小尺寸的缩放,能够在保证缩放后图像质量的前提下尽可能的提高缩放效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的图像缩放装置的第一种结构示意图。
图2为2x2拜尔彩色滤波阵列的示意图。
图3为将拜尔格式图像缩放为原始图像二分之一尺寸的示意图。
图4为图1中图像缩放装置对拜尔格式图像进行缩放处理的流程示意图。
图5为图1中图像缩放装置的马赛克模块插值出绿色通道图像、蓝色色差图像和红色色差图像的示意图。
图6为图1中图像缩放装置的马赛克模块插值得到绿色通道图像的示意图。
图7为以插值点R22为中心的像素阵列示意图。
图8为本申请实施例提供的图像缩放方法的一流程示意图。
图9为本申请实施例提供的图像缩放方法的另一流程示意图。
图10为本申请实施例提供的图像处理芯片10的结构示意图。
具体实施方式
本申请实施例提供的技术方案可以应用于各种需要进行数据通信的场景,本申请实施例对此并不限定。
请参照图1,图1为本申请实施例提供的图像缩放装置100的第一种结构示意图。该图像缩放装置100可包括去马赛克模块110和缩放模块120。其中,
去马赛克模块110用于将拜尔格式图像分离为亮度通道图像和色彩通道图像,亮度通道图像的尺寸大于色彩通道图像的尺寸;
缩放模块120用于按照缩放比例对亮度通道图像和色彩通道图像进行缩放处理;
以及将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式图像。
应当说明的是,图像传感器是将光信号转换成电信号的器件,图像传感器的每个感光单元称为一个像素,像素值的大小即表征了感应到光照强度的大小,但是无法表征颜色。为了能够表征颜色,通常在图像传感器前加一块彩色滤波阵列,每个彩色滤波单元对应一个像素,只允许单一颜色的光通过并被图像传感器感应。比如,红色滤波单元只允许红色的光通过,绿色滤波单元只允许绿色的光通过,蓝色滤波单元只允许蓝色的光通过。
拜尔彩色滤波阵列是目前智能手机、数码相机等电子设备所普遍采用的彩色滤波阵列,如图2所示,其每一2x2彩色滤波单元阵列中有2个绿色滤波单元、1个红色滤波单元和1个蓝色滤波单元。本申请实施例中,将基于拜尔彩色滤波阵列的图像传感器所采集到的图像记为拜尔格式图像。
目前,出于功耗、处理能力等多方面的考虑,需要对图像传感器所采集的原始拜尔格式图像进行缩放处理。比如,请参照图3,对于长H宽W的原始拜尔格式图像,需要将其缩放为原始尺寸的二分之一,即将其缩放为长H/2宽W/2的拜尔格式缩放图像。
请继续参照图1,本申请提供一种硬件的图像缩放装置100,该图像缩放装置100由两部分组成,分别为去马赛克模块110和缩放模块120。
其中,去马赛克模块110和缩放模块120通过在电路排布、编程等硬件配置过程中来硬化实现,从而可以确保去马赛克模块110和缩放模块120在处理图像数据过程中的稳定性,以及降低去马赛克模块110和缩放模块120处理图像数据的功耗和处理时长等。
本申请实施例中,去马赛克模块110被配置为用于将输入的拜尔格式图像分离为亮度通道图像和色彩通道图像,且其中亮度通道图像的尺寸大于色彩通道图像的尺寸。
应当说明的是,本申请实施例中对于亮度通道图像和色彩通道图像尺寸的配置不做具体限制,可由本领域普通技术人员根据实际需要进行配置。
比如,可以配置亮度通道图像的尺寸为原始拜尔格式图像尺寸的80%,配置色彩通道图像的尺寸为原始拜尔格式图像尺寸的50%;又比如,可以配置亮度通道图像的尺寸与原始拜尔格式图像的尺寸相同,配置色彩通道图像的尺寸为原始拜尔格式图像的50%等。
缩放模块120被配置为按照缩放比例对亮度通道图像进行缩放处理,以及按照前述缩放比例对色彩通道图像进行缩放处理。此外,在完成对亮度通道图像和色彩通道图像的缩放处理后,进一步将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式的图像,记为拜尔格式缩放图像。
其中,缩放比例根据实际缩放需求确定,根据实际需要动态取值。
比如,请参照图4,电子设备的应用处理模块预先将缩放比例配置到图像缩放装置100,图像缩放装置100在从图像传感器获取到原始的拜尔格式图像后,将该拜尔格式图像作为需要进行缩放的拜尔格式图像。首先通过去马赛克模块110对拜尔格式图像进行亮度通道和色彩通道的分离,得到第一尺寸的亮度通道图像和第二尺寸的色彩通道图像,其中,第一尺寸大于第二尺寸。然后通过缩放模块120按照配置的缩放比例对亮度通道图像进行缩放处理,以及按照配置的前述缩放比例对色彩通道进行缩放处理。最后再通过缩放模块120将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式缩放图像。
由上可知,本申请提供一种硬件的图像缩放装置,该图像缩放装置由去马赛克模块和缩放模块构成,其中,去马赛克模块被配置为将拜尔格式图像分离为亮度通道图像和色彩通道图像,其亮度通道图像的尺寸大于色彩通道图像的尺寸;缩放模块被配置为按照缩放比例对亮度通道图像和色彩通道图像进行缩放处理,以及将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式图像。本申请对人眼敏感的亮度通道采用更大尺寸的缩放,而对于变化平滑的色彩通道采用更小尺寸的缩放,能够在保证缩放后图像质量的前提下尽可能的提高缩放效率。
可选地,在一实施例中,在将拜尔格式图像分离为亮度通道图像和色彩通道图像时,去马赛克模块110用于:
根据拜尔格式图像的绿色分量进行插值处理,得到对应拜尔格式图像的绿色通道图像,并将绿色通道图像设为亮度通道图像;
根据拜尔格式图像的蓝色分量和绿色分量进行插值处理,得到对应拜尔格式图像的蓝色色差图像,并将蓝色色差图像设为色彩通道图像;以及
根据拜尔格式图像的红色分量和绿色分量进行插值处理,得到对应拜尔格式图像的红色色差图像,并将红色色差图像设为色彩通道图像。
本申请实施例中,在将拜尔格式图像分离为亮度通道图像和色彩通道图像时,去马赛克模块110可以按照预先配置的插值策略,根据拜尔格式图像的绿色分量进行插值处理,得到对应拜尔格式图像的绿色通道图像,根据拜尔格式图像的蓝色分量和绿色分量进行插值处理,得到对应拜尔格式图像的蓝色色差图像,根据拜尔格式图像的红色分量和绿色分量进行插值处理,得到对应拜尔格式图像的红色色差图像,其中,蓝色色差图像和红色色差图像的尺寸相同,且均小于绿色通道图像的尺寸。相应的,本申请实施例中将插值得到的拜尔格式的绿色通道图像设为亮度通道图像,以及将插值得到蓝色色差图像和红色色差图像分别设为色彩通道图像。
比如,请参照图5,对于一拜尔格式图像,去马赛克模块110插值得到与该拜尔格式图像相同尺寸的绿色通道图像,以及插值得到该拜尔格式图像二分之一尺寸的蓝色色差图像和红色色差图像;然后,经由缩放模块120按照缩放比例分别对绿色通道图像、蓝色色差图像和红色色差图像进行缩放处理,得到缩放后的绿色通道图像、缩放后的蓝色色差图像以及缩放后的红色色差图像;最后,缩放模块120将缩放后绿色通道图像、缩放后的蓝色色差图像以及缩放后的红色色差图像进行融合,得到拜尔格式缩放图像。
可选地,在一实施例中,在插值出对应拜尔格式图像的绿色通道图像时,去马赛克模块110用于:
根据拜尔格式图像的绿色分量,按照多种不同的插值策略分别进行插值处理,得到对应拜尔格式图像的多个候选绿色通道图像,其中,对于同一插值点,去马赛克模块110按照不同的插值策略插值时所选择的邻域像素点不同;
将多个候选绿色通道图像融合为绿色通道图像。
本申请实施例中,为了确保插值出的绿色通道图像的质量,在插值出对应拜尔格式图像的绿色通道图像时,去马赛克模块110并不按照单一的插值策略插值得到拜尔格式图像的绿色通道图像,而是按照多种不同的插值策略分别插值出对应拜尔格式图像的候选绿色通道图像,然后再按照预先配置的融合策略将不同插值策略所插值得到的候选绿色通道图像融合为对应拜尔格式图像的绿色通道图像。
应当说明的是,本申请实施例中对于采用何种插值策略,以及配置的插值策略的数量不做具体限制,可由本领域根据去马赛克模块110的处理能力进行配置。另外,本申请实施例中对于采用何种融合策略也不做具体限制,可由本领域普通技术人员根据实际需要进行配置,比如,可以直接取二者的平均值等。
比如,本申请实施例中针对绿色通道,预先配置有3种不同的插值策略,分别为插值策略A、插值策略B以及插值策略C。相应的,请参照图6,去马赛克模块110按照插值策略A对拜尔格式图像进行绿色通道的插值,将插值得到图像记为候选绿色通道图像I;去马赛克模块110按照插值策略B对拜尔格式图像进行绿色通道的插值,将插值得到图像记为候选绿色通道图像J;去马赛克模块110按照插值策略C对拜尔格式图像进行绿色通道的插值,将插值得到图像记为候选绿色通道图像K;最后,去马赛克模块110按照配置的融合策略将候选绿色通道图像I、候选绿色通道图像J以及候选绿色通道图像K融合一个图像,作为对应拜尔格式图像的绿色通道图像。
可选地,在一实施例中,去马赛克模块110用于:
按照低通插值法进行插值处理,得到与拜尔格式图像同尺寸的第一候选绿色通道图像;
按照基于梯度的方向插值法进行插值处理,得到与拜尔格式图像同尺寸的第二候选绿色通道图像。
可选地,在本申请实施例中,去马赛克模块110采用两种不同的插值策略对拜尔格式图像进行绿色通道的插值。
其中,去马赛克模块110按照低通插值法进行插值处理,得到与拜尔格式图像同尺寸的第一候选绿色通道图像;以及按照基于梯度的方向插值法进行插值处理,插值得到与拜尔格式图像同尺寸的第二候选绿色通道图像。
示例性的,在按照低通插值法进行插值处理时,去马赛克模块110将拜尔格式图像中缺失绿色分量的像素点作为插值点。对于每一插值点,首先确定以该插值点为中心的3x3像素阵列(比如,请参照图7,以插值点为中心,即R22,像素阵列即为B11、G12、B13、G21、R22、G23、B31、G32、B33),对于该像素阵列中的每一像素点,按照如下公式计算其绿色低通插值:
Figure BDA0002720684870000071
通俗的说,若像素点为红色像素点或蓝色像素点,则计算其相邻的四个绿色像素点(比如,(j,i)表示计算的目标像素点,Gj-1,i表示目标像素点左侧的绿色像素,Gj,i-1表示目标像素点下侧的绿色像素,Gj,i+1表示目标像素点上侧的绿色像素,Gj+1,i表示目标像素点右侧的绿色像素)的平均值作为其绿色低通插值,若像素点为绿色像素点,则计算其相邻的四个绿色像素点以及自身在内的平均值作为绿色低通插值。
如上,在计算得到前述像素阵列中每一像素点的绿色低通插值后,进一步计算出该像素阵列的绿色低通插值的平均值,作为前述插值点的绿色插值。由此,根据原始绿色像素点和绿色低通插值点即构成了与拜尔格式图像同尺寸的第一候选绿色通道图像。
在按照基于梯度的方向插值法进行插值处理时,去马赛克模块110同样将拜尔格式图像中缺失绿色分量的像素点作为插值点。对于每一插值点,计算其在水平方向的一阶梯度和二阶梯度,以及计算其在垂直方向的一阶梯度和二阶梯度。
然后按照如下公式计算插值点在水平方向和垂直方向的变化量:
Figure BDA0002720684870000081
其中,vh表示水平方向变化量,
Figure BDA0002720684870000082
表示水平方向一阶梯度,
Figure BDA0002720684870000083
表示水平方向二阶梯度,vv表示垂直方向变化量,vv表示垂直方向一阶梯度,
Figure BDA0002720684870000084
表示垂直方向二阶梯度。
然后计算插值点在水平方向两个相邻绿色像素点的平均值
Figure BDA0002720684870000085
以及计算插值点在垂直方向两个相邻绿色像素点的平均值
Figure BDA0002720684870000086
然后,按照如下公式计算插值点的梯度插值:
Figure BDA0002720684870000087
如上,在计算得到前述像素阵列中每一像素点的绿色梯度插值后,根据原始绿色像素点和绿色梯度插值点即构成了与拜尔格式图像同尺寸的第二候选绿色通道图像。
可选地,在一实施例中,去马赛克模块110用于:
获取每一插值点在各方向梯度的最大值;
基于预设融合函数和每一插值点的梯度最大值来确定与每一插值点对应的融合参数;
根据每一插值点对应的融合参数,将每一插值点在第一候选绿色通道图像中的绿色插值和第二候选绿色通道图像中的绿色插值融合,得到绿色融合插值;
根据每一插值点的绿色融合插值生成绿色通道图像。
其中,预设融合函数可由本领域普通技术人员根据实际需要进行选取,比如,可以选取值域为[0,1]的任一单调递增函数。
示例性的,对于任一插值点,采用其在各方向二阶梯度的最大值作为预设融合函数的输入。
其中,去马赛克模块110计算插值点在水平方向、垂直方向、对角反向以及反对角反向的二阶梯度。
比如,对于一插值点,根据低通插值法所计算得到绿色插值,按照如下公式计算其水平方向的二阶梯度:
Figure BDA0002720684870000091
其中,
Figure BDA0002720684870000092
表示水平方向的二阶梯度,
Figure BDA0002720684870000093
表示插值点通过低通插值法的绿色插值,
Figure BDA0002720684870000094
表示插值点水平方向左侧相邻的像素点通过低通插值法得到的绿色插值,
Figure BDA0002720684870000095
表示插值点水平方向右侧相邻的像素点通过低通插值法得到绿色插值。
如上,根据插值点自身通过低通插值法得到的绿色插值,以及其他方向两侧相邻像素点通过低通插值法得到的历史插值,计算得到插值点在其他方向的二阶梯度,包括垂直方向的二阶梯度
Figure BDA0002720684870000096
对角方向的二阶梯度
Figure BDA0002720684870000097
以及反对角方向的二阶梯度
Figure BDA0002720684870000098
然后,取
Figure BDA0002720684870000099
中的最大值,记为
Figure BDA00027206848700000910
假设预设融合函数记为f(x),则对于一插值点,其绿色融合值表示为:
Figure BDA00027206848700000911
其中,Gfinal表示插值点的绿色融合值,
Figure BDA00027206848700000912
表示其绿色梯度插值,Glp表示其绿色低通插值。
如上,可以融合得到每一插值点的绿色融合值,从而根据每一插值点的绿色融合值以及原始绿色像素点的绿色值即可得到融合的绿色通道图像。
可选地,在一实施例中,去马赛克模块110用于:
对于拜尔格式图像中的每一蓝色像素点,计算包括每一蓝色像素点在内的蓝色像素阵列的平均蓝色值;
根据每一蓝色像素点对应的融合参数,将每一蓝色像素点的原始蓝色值和平均蓝色值进行融合,得到每一蓝色像素点的蓝色插值;
将每一蓝色像素点的蓝色插值减去其在绿色通道图像中对应的绿色像素点的绿色值,得到每一蓝色像素点的蓝色色差值;
根据每一蓝色像素点的蓝色色差值生成拜尔格式图像二分之一尺寸的蓝色色差图像。
示例性的,在插值出对应拜尔格式图像的蓝色色差图像时,去马赛克模块110首先将拜尔格式图像中的每一蓝色像素点作为插值点。
对于拜尔格式图像中的每一蓝色像素点,去马赛克模块110计算包括每一蓝色像素点在内的3x3蓝色像素阵列的平均蓝色值。然后,获取到每一蓝色像素点所对应的融合参数,并根据该融合参数将每一蓝色像素点的原始蓝色值和平均蓝色值进行融合,得到每一蓝色像素点的蓝色插值。
然后,去马赛克模块110将每一蓝色像素点的蓝色插值减去其在绿色通道图像中对应的绿色像素点的绿色值(即绿色融合值),得到每一蓝色像素点的蓝色色差值。
最后,去马赛克模块110即可根据每一蓝色像素点的蓝色色差值生成拜尔格式图像二分之一尺寸的蓝色色差图像。
可选地,在一实施例中,去马赛克模块110用于:
对于拜尔格式图像中的每一红色像素点,计算包括每一红色像素点在内的红色像素阵列的平均红色值;
根据每一红色像素点对应的融合参数,将每一红色像素点的原始红色值和平均红色值进行融合,得到每一红色像素点的红色插值;
将每一红色像素点的红色插值减去其在绿色通道图像中对应的绿色像素点的绿色值,得到每一红色像素点的红色色差值;
根据每一红色像素点的红色色差值生成拜尔格式图像二分之一尺寸的红色色差图像。
示例性的,在插值出对应拜尔格式图像的红色色差图像时,去马赛克模块110首先将拜尔格式图像中的每一红色像素点作为插值点。
对于拜尔格式图像中的每一红色像素点,去马赛克模块110计算包括每一红色像素点在内的3x3红色像素阵列的平均红色值。然后,获取到每一红色像素点所对应的融合参数,并根据该融合参数将每一红色像素点的原始红色值和平均红色值进行融合,得到每一红色像素点的红色插值。
然后,去马赛克模块110将每一红色像素点的红色插值减去其在绿色通道图像中对应的绿色像素点的绿色值(即绿色融合值),得到每一红色像素点的红色色差值。
最后,去马赛克模块110即可根据每一红色像素点的红色色差值生成拜尔格式图像二分之一尺寸的红色色差图像。
可选地,在一实施例中,缩放模块120用于:
获取目标系数,并根据目标系数获取多组缩放滤波器系数,目标系数由应用处理模块根据缩放滤波器系数的组数以及缩放比例所确定的多个量化点进行量化得到;
根据多个量化点确定各组滤波器系数对应的精度区间;
对于亮度通道图像和色彩通道图像中每一目标像素点,确定其位置的小数部分所对应的目标精度区间,并根据目标精度区间所对应的滤波器系数对其进行缩放滤波。
以下以目标系数的展现形式为系数曲线进行示例说明。
应当说明的是,根据不同的清晰度需求,可以通过配置不同的曲线参数来达到。可选地,当采用高斯曲线作为系数曲线时,可以通过选择不同sigma的高斯曲线,来达到不同的清晰度。比如,如果采用sigma=1,则近似于直接采样,如果采用sigma=8,则近似于平均。
其中,可由本领域普通技术人员根据实际需要选择系数曲线,以及对应的曲线参数,比如高斯曲线的sigma。
本申请实施例中,应用处理模块被配置为对系数曲线进行量化,应用处理模块根据配置的缩放滤波器系数的组数以及缩放比例对系数曲线进行量化。
示例性的,假设配置的缩放比例为0.5(即将图像缩放到原始图像的0.5倍),则每组滤波器的抽头数为ceil(1/0.5)=2,若配置的滤波器系数的组数为4,则量化点有滤波器组数*抽头数=4*2=8(个),分别为0,0.125,0.25,0.375,0.5,0.625,0.75以及0.875。相应的,应用处理模块根据这8个量化点对配置的系数曲线进行量化,得到目标系数曲线。
相应的,缩放模块120从应用处理模块获取到该目标系数曲线,并根据该目标系数曲线计算出4组滤波器系数。
然后,缩放模块120将这些量化点在目标系数曲线上的对应的值记为,a0,a1,a2,a3,a4,a5,a6,a7,并将a0和a4分配到第一组滤波器系数,将a1和a5分配到第二组滤波器系数,将a3和a6分配到第三组滤波器系数,以及将a4和a7分配到第四组滤波器系数。
然后,缩放模块120进一步确定出每一组滤波器系数所对应的精度区间,其中,第一组滤波器系数的中心点为0,第二滤波器系数的中心点为0.25,第三组滤波器系数的中心点为0.5,第四组滤波器系数的中心点为0.75,那么可以确定第一组滤波器系数负责的精度区间中心为(0+0.25)/2=0.125,对应的精度区间为[0-0.125,0+0.125],同理,第二组滤波器系数对应的精度区间为[0.125,0.375],第三组滤波器系数对应的精度区间为[0.375,0625],第四组滤波器系数对应的精度区间为[0.625,0.875]。
相应的,在对亮度通道图像和色彩通道图像进行缩放处理时,对于亮度通道图像和色彩通道图像中每一目标像素点,缩放模块确定其位置的小数部分所对应的目标精度区间,并根据目标精度区间所对应的滤波器系数对其进行缩放滤波。比如,假设目标像素点在x=1.3,其小数部分为0.3,可以看出,0.3落在第二组滤波器系数对应的精度区间[0.125,0.375],相应的,缩放模块120将采用第二组滤波器系数对目标像素点进行缩放滤波。
本申请还提供一种电子设备,用于对拜尔格式图像进行缩放,该电子设备包括本申请所提供的图像缩放装置。
本申请还提供一种图像缩放方法,请参照图8,该图像缩放方法包括:
在210中,将拜尔格式图像分离为亮度通道图像和色彩通道图像,亮度通道图像的尺寸大于色彩通道图像的尺寸。
在220中,按照缩放比例对亮度通道图像和色彩通道图像进行缩放处理。
在230中,将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式缩放图像。
以下以图1所示的图像缩放装置100为执行主体进行说明。
本申请实施例中,去马赛克模块110被配置为用于将输入的拜尔格式图像分离为亮度通道图像和色彩通道图像,且其中亮度通道图像的尺寸大于色彩通道图像的尺寸。
应当说明的是,本申请实施例中对于亮度通道图像和色彩通道图像尺寸的配置不做具体限制,可由本领域普通技术人员根据实际需要进行配置。
比如,可以配置亮度通道图像的尺寸为原始拜尔格式图像尺寸的80%,配置色彩通道图像的尺寸为原始拜尔格式图像尺寸的50%;又比如,可以配置亮度通道图像的尺寸与原始拜尔格式图像的尺寸相同,配置色彩通道图像的尺寸为原始拜尔格式图像的50%等。
缩放模块120被配置为按照缩放比例对亮度通道图像进行缩放处理,以及按照前述缩放比例对色彩通道图像进行缩放处理。此外,在完成对亮度通道图像和色彩通道图像的缩放处理后,进一步将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式的图像,记为拜尔格式缩放图像。
其中,缩放比例根据实际缩放需求确定,根据实际需要动态取值。
比如,请参照图4,电子设备的应用处理模块预先将缩放比例配置到图像缩放装置100,图像缩放装置100在从图像传感器获取到原始的拜尔格式图像后,将该拜尔格式图像作为需要进行缩放的拜尔格式图像。首先通过去马赛克模块110对拜尔格式图像进行亮度通道和色彩通道的分离,得到第一尺寸的亮度通道图像和第二尺寸的色彩通道图像,其中,第一尺寸大于第二尺寸。然后通过缩放模块120按照配置的缩放比例对亮度通道图像进行缩放处理,以及按照配置的前述缩放比例对色彩通道进行缩放处理。最后再通过缩放模块120将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式缩放图像。
可选地,在一实施例中,将拜尔格式图像分离为亮度通道图像和色彩通道图像,包括:
(1)根据拜尔格式图像的绿色分量进行插值处理,得到对应拜尔格式图像的绿色通道图像,并将绿色通道图像设为亮度通道图像;
(2)根据拜尔格式图像的蓝色分量和绿色分量进行插值处理,得到对应拜尔格式图像的蓝色色差图像,并将蓝色色差图像设为色彩通道图像;以及
(3)根据拜尔格式图像的红色分量和绿色分量进行插值处理,得到对应拜尔格式图像的红色色差图像,并将红色色差图像设为色彩通道图像。
本申请实施例中,在将拜尔格式图像分离为亮度通道图像和色彩通道图像时,去马赛克模块110可以按照预先配置的插值策略,根据拜尔格式图像的绿色分量进行插值处理,得到对应拜尔格式图像的绿色通道图像,根据拜尔格式图像的蓝色分量和绿色分量进行插值处理,得到对应拜尔格式图像的蓝色色差图像,根据拜尔格式图像的红色分量和绿色分量进行插值处理,得到对应拜尔格式图像的红色色差图像,其中,蓝色色差图像和红色色差图像的尺寸相同,且均小于绿色通道图像的尺寸。相应的,本申请实施例中将插值得到的拜尔格式的绿色通道图像设为亮度通道图像,以及将插值得到蓝色色差图像和红色色差图像分别设为色彩通道图像。
比如,请参照图5,对于一拜尔格式图像,去马赛克模块110插值得到与该拜尔格式图像相同尺寸的绿色通道图像,以及插值得到该拜尔格式图像二分之一尺寸的蓝色色差图像和红色色差图像;然后,经由缩放模块120按照缩放比例分别对绿色通道图像、蓝色色差图像和红色色差图像进行缩放处理,得到缩放后的绿色通道图像、缩放后的蓝色色差图像以及缩放后的红色色差图像;最后,缩放模块120将缩放后绿色通道图像、缩放后的蓝色色差图像以及缩放后的红色色差图像进行融合,得到拜尔格式缩放图像。
可选地,在一实施例中,根据拜尔格式图像的绿色分量进行插值处理,得到对应拜尔格式图像的绿色通道图像,包括:
(1)根据拜尔格式图像的绿色分量,按照多种不同的插值策略分别进行插值处理,得到对应拜尔格式图像的多个候选绿色通道图像,其中,对于同一插值点,去马赛克模块按照不同的插值策略插值时所选择的邻域像素点不同;
(2)将多个候选绿色通道图像融合为绿色通道图像。
本申请实施例中,为了确保插值出的绿色通道图像的质量,在插值出对应拜尔格式图像的绿色通道图像时,去马赛克模块110并不按照单一的插值策略插值得到拜尔格式图像的绿色通道图像,而是按照多种不同的插值策略分别插值出对应拜尔格式图像的候选绿色通道图像,然后再按照预先配置的融合策略将不同插值策略所插值得到的候选绿色通道图像融合为对应拜尔格式图像的绿色通道图像。
应当说明的是,本申请实施例中对于采用何种插值策略,以及配置的插值策略的数量不做具体限制,可由本领域根据去马赛克模块110的处理能力进行配置。另外,本申请实施例中对于采用何种融合策略也不做具体限制,可由本领域普通技术人员根据实际需要进行配置,比如,可以直接取二者的平均值等。
比如,本申请实施例中针对绿色通道,预先配置有3种不同的插值策略,分别为插值策略A、插值策略B以及插值策略C。相应的,请参照图6,去马赛克模块110按照插值策略A对拜尔格式图像进行绿色通道的插值,将插值得到图像记为候选绿色通道图像I;去马赛克模块110按照插值策略B对拜尔格式图像进行绿色通道的插值,将插值得到图像记为候选绿色通道图像J;去马赛克模块110按照插值策略C对拜尔格式图像进行绿色通道的插值,将插值得到图像记为候选绿色通道图像K;最后,去马赛克模块110按照配置的融合策略将候选绿色通道图像I、候选绿色通道图像J以及候选绿色通道图像K融合一个图像,作为对应拜尔格式图像的绿色通道图像。
可选地,在一实施例中,按照多种不同的插值策略,插值出对应拜尔格式图像的多个候选绿色通道图像,包括:
(1)按照低通插值法进行插值处理,得到与所述拜尔格式图像同尺寸的第一候选绿色通道图像;
(2)按照基于梯度的方向插值法进行插值处理,得到与拜尔格式图像同尺寸的第二候选绿色通道图像。
可选地,在本申请实施例中,去马赛克模块110采用两种不同的插值策略对拜尔格式图像进行绿色通道的插值。
其中,去马赛克模块110按照低通插值法进行插值处理,得到与拜尔格式图像同尺寸的第一候选绿色通道图像;以及按照基于梯度的方向插值法进行插值处理,插值得到与拜尔格式图像同尺寸的第二候选绿色通道图像。
示例性的,在按照低通插值法进行插值处理时,去马赛克模块110将拜尔格式图像中缺失绿色分量的像素点作为插值点。对于每一插值点,首先确定以该插值点为中心的3x3像素阵列(比如,请参照图7,以插值点为中心,即R22,像素阵列即为B11、G12、B13、G21、R22、G23、B31、G32、B33),对于该像素阵列中的每一像素点,按照如下公式计算其绿色低通插值:
Figure BDA0002720684870000161
通俗的说,若像素点为红色像素点或蓝色像素点,则计算其相邻的四个绿色像素点(比如,(j,i)表示计算的目标像素点,Gj-1,i表示目标像素点左侧的绿色像素,Gj,i-1表示目标像素点下侧的绿色像素,Gj,i+1表示目标像素点上侧的绿色像素,Gj+1,i表示目标像素点右侧的绿色像素)的平均值作为其绿色低通插值,若像素点为绿色像素点,则计算其相邻的四个绿色像素点以及自身在内的平均值作为绿色低通插值。
如上,在计算得到前述像素阵列中每一像素点的绿色低通插值后,进一步计算出该像素阵列的绿色低通插值的平均值,作为前述插值点的绿色插值。由此,根据原始绿色像素点和绿色低通插值点即构成了与拜尔格式图像同尺寸的第一候选绿色通道图像。
在按照基于梯度的方向插值法进行插值处理时,去马赛克模块110同样将拜尔格式图像中缺失绿色分量的像素点作为插值点。对于每一插值点,计算其在水平方向的一阶梯度和二阶梯度,以及计算其在垂直方向的一阶梯度和二阶梯度。
然后按照如下公式计算插值点在水平方向和垂直方向的变化量:
Figure BDA0002720684870000171
其中,vh表示水平方向变化量,
Figure BDA0002720684870000172
表示水平方向一阶梯度,
Figure BDA0002720684870000173
表示水平方向二阶梯度,vv表示垂直方向变化量,vv表示垂直方向一阶梯度,
Figure BDA0002720684870000174
表示垂直方向二阶梯度。
然后计算插值点在水平方向两个相邻绿色像素点的平均值
Figure BDA0002720684870000175
以及计算插值点在垂直方向两个相邻绿色像素点的平均值
Figure BDA0002720684870000176
然后,按照如下公式计算插值点的梯度插值:
Figure BDA0002720684870000177
如上,在计算得到前述像素阵列中每一像素点的绿色梯度插值后,根据原始绿色像素点和绿色梯度插值点即构成了与拜尔格式图像同尺寸的第二候选绿色通道图像。
可选地,在一实施例中,将多个候选绿色通道图像融合为绿色通道图像,包括:
(1)获取每一插值点在各方向梯度的最大值;
(2)基于预设融合函数和每一插值点的梯度最大值来确定与每一插值点对应的融合参数;
(3)根据每一插值点对应的融合参数,将每一插值点在第一候选绿色通道图像中的绿色插值和第二候选绿色通道图像中的绿色插值融合,得到绿色融合插值;
(4)根据每一插值点的绿色融合插值生成绿色通道图像。
其中,预设融合函数可由本领域普通技术人员根据实际需要进行选取,比如,可以选取值域为[0,1]的任一单调递增函数。
示例性的,对于任一插值点,采用其在各方向二阶梯度的最大值作为预设融合函数的输入。
其中,去马赛克模块110计算插值点在水平方向、垂直方向、对角反向以及反对角反向的二阶梯度。
比如,对于一插值点,根据低通插值法所计算得到绿色插值,按照如下公式计算其水平方向的二阶梯度:
Figure BDA0002720684870000181
其中,
Figure BDA0002720684870000182
表示水平方向的二阶梯度,
Figure BDA0002720684870000183
表示插值点通过低通插值法的绿色插值,
Figure BDA0002720684870000184
表示插值点水平方向左侧相邻的像素点通过低通插值法得到的绿色插值,
Figure BDA0002720684870000185
表示插值点水平方向右侧相邻的像素点通过低通插值法得到绿色插值。
如上,根据插值点自身通过低通插值法得到的绿色插值,以及其他方向两侧相邻像素点通过低通插值法得到的历史插值,计算得到插值点在其他方向的二阶梯度,包括垂直方向的二阶梯度
Figure BDA0002720684870000186
对角方向的二阶梯度
Figure BDA0002720684870000187
以及反对角方向的二阶梯度
Figure BDA0002720684870000188
然后,取
Figure BDA0002720684870000189
中的最大值,记为
Figure BDA00027206848700001810
假设预设融合函数记为f(x),则对于一插值点,其绿色融合值表示为:
Figure BDA0002720684870000191
其中,Gfinal表示插值点的绿色融合值,
Figure BDA0002720684870000192
表示其绿色梯度插值,Glp表示其绿色低通插值。
如上,可以融合得到每一插值点的绿色融合值,从而根据每一插值点的绿色融合值以及原始绿色像素点的绿色值即可得到融合的绿色通道图像。
可选地,在一实施例中,插值出对应拜尔格式图像的蓝色色差图像,包括:
(1)对于拜尔格式图像中的每一蓝色像素点,计算包括每一蓝色像素点在内的蓝色像素阵列的平均蓝色值;
(2)根据每一蓝色像素点对应的融合参数,将每一蓝色像素点的原始蓝色值和平均蓝色值进行融合,得到每一蓝色像素点的蓝色插值;
(3)将每一蓝色像素点的蓝色插值减去其在绿色通道图像中对应的绿色像素点的绿色值,得到每一蓝色像素点的蓝色色差值;
(4)根据每一蓝色像素点的蓝色色差值生成拜尔格式图像二分之一尺寸的蓝色色差图像。
示例性的,在插值出对应拜尔格式图像的蓝色色差图像时,去马赛克模块110首先将拜尔格式图像中的每一蓝色像素点作为插值点。
对于拜尔格式图像中的每一蓝色像素点,去马赛克模块110计算包括每一蓝色像素点在内的3x3蓝色像素阵列的平均蓝色值。然后,获取到每一蓝色像素点所对应的融合参数,并根据该融合参数将每一蓝色像素点的原始蓝色值和平均蓝色值进行融合,得到每一蓝色像素点的蓝色插值。
然后,去马赛克模块110将每一蓝色像素点的蓝色插值减去其在绿色通道图像中对应的绿色像素点的绿色值(即绿色融合值),得到每一蓝色像素点的蓝色色差值。
最后,去马赛克模块110即可根据每一蓝色像素点的蓝色色差值生成拜尔格式图像二分之一尺寸的蓝色色差图像。
可选地,在一实施例中,插值出对应拜尔格式图像的红色色差图像,包括:
(1)对于拜尔格式图像中的每一红色像素点,计算包括每一红色像素点在内的红色像素阵列的平均红色值;
(2)根据每一红色像素点对应的融合参数,将每一红色像素点的原始红色值和平均红色值进行融合,得到每一红色像素点的红色插值;
(3)将每一红色像素点的红色插值减去其在绿色通道图像中对应的绿色像素点的绿色值,得到每一红色像素点的红色色差值;
(4)根据每一红色像素点的红色色差值生成拜尔格式图像二分之一尺寸的红色色差图像。
示例性的,在插值出对应拜尔格式图像的红色色差图像时,去马赛克模块110首先将拜尔格式图像中的每一红色像素点作为插值点。
对于拜尔格式图像中的每一红色像素点,去马赛克模块110计算包括每一红色像素点在内的3x3红色像素阵列的平均红色值。然后,获取到每一红色像素点所对应的融合参数,并根据该融合参数将每一红色像素点的原始红色值和平均红色值进行融合,得到每一红色像素点的红色插值。
然后,去马赛克模块110将每一红色像素点的红色插值减去其在绿色通道图像中对应的绿色像素点的绿色值(即绿色融合值),得到每一红色像素点的红色色差值。
最后,去马赛克模块110即可根据每一红色像素点的红色色差值生成拜尔格式图像二分之一尺寸的红色色差图像。
可选地,在一实施例中,按照缩放比例对所述亮度通道图像和所述色彩通道图像进行缩放处理,包括:
(1)获取目标系数,并根据目标系数获取多组缩放滤波器系数,目标系数由应用处理模块根据缩放滤波器系数的组数以及缩放比例所确定的多个量化点进行量化得到;
(2)根据多个量化点确定各组滤波器系数对应的精度区间;
(3)对于亮度通道图像和色彩通道图像中每一目标像素点,确定其位置的小数部分所对应的目标精度区间,并根据目标精度区间所对应的滤波器系数对其进行缩放滤波。
应当说明的是,根据不同的清晰度需求,可以通过配置不同的曲线参数来达到。可选地,当采用高斯曲线作为系数曲线时,可以通过选择不同sigma的高斯曲线,来达到不同的清晰度。比如,如果采用sigma=1,则近似于直接采样,如果采用sigma=8,则近似于平均。
其中,可由本领域普通技术人员根据实际需要选择系数曲线,以及对应的曲线参数,比如高斯曲线的sigma。
本申请实施例中,应用处理模块被配置为对系数曲线进行量化,应用处理模块根据配置的缩放滤波器系数的组数以及缩放比例对系数曲线进行量化。
示例性的,假设配置的缩放比例为0.5(即将图像缩放到原始图像的0.5倍),则每组滤波器的抽头数为ceil(1/0.5)=2,若配置的滤波器系数的组数为4,则量化点有滤波器组数*抽头数=4*2=8(个),分别为0,0.125,0.25,0.375,0.5,0.625,0.75以及0.875。相应的,应用处理模块根据这8个量化点对配置的系数曲线进行量化,得到目标系数曲线。
相应的,缩放模块120从应用处理模块获取到该目标系数曲线,并根据该目标系数曲线计算出4组滤波器系数。
然后,缩放模块120将这些量化点在目标系数曲线上的对应的值记为,a0,a1,a2,a3,a4,a5,a6,a7,并将a0和a4分配到第一组滤波器系数,将a1和a5分配到第二组滤波器系数,将a3和a6分配到第三组滤波器系数,以及将a4和a7分配到第四组滤波器系数。
然后,缩放模块120进一步确定出每一组滤波器系数所对应的精度区间,其中,第一组滤波器系数的中心点为0,第二滤波器系数的中心点为0.25,第三组滤波器系数的中心点为0.5,第四组滤波器系数的中心点为0.75,那么可以确定第一组滤波器系数负责的精度区间中心为(0+0.25)/2=0.125,对应的精度区间为[0-0.125,0+0.125],同理,第二组滤波器系数对应的精度区间为[0.125,0.375],第三组滤波器系数对应的精度区间为[0.375,0625],第四组滤波器系数对应的精度区间为[0.625,0.875]。
相应的,在对亮度通道图像和色彩通道图像进行缩放处理时,对于亮度通道图像和色彩通道图像中每一目标像素点,缩放模块确定其位置的小数部分所对应的目标精度区间,并根据目标精度区间所对应的滤波器系数对其进行缩放滤波。比如,假设目标像素点在x=1.3,其小数部分为0.3,可以看出,0.3落在第二组滤波器系数对应的精度区间[0.125,0.375],相应的,缩放模块120将采用第二组滤波器系数对目标像素点进行缩放滤波。
可选地,在一实施例中,请参照图9,可以按照如下方式实现对拜尔格式图像:
按照预设遍历方向(可由本领域普通技术人员根据实际需要进行配置,此处不做具体限制)遍历拜尔格式图像中每一像素点。
对于每一遍历到的像素点,识别该像素点是否为绿色像素点。
若识别该像素点为绿色像素点,则直接将该绿色相像素点的绿色值输出到绿色通道图像;
识别到该像素点不为绿色像素点,则将该像素点设为插值点。对于插值点,分别按照低通插值法和基于梯度方向的插值法对绿色分量进行插值处理,得到该插值点的第一候选绿色值和第二候选绿色值。此外,还根据预设融合函数以及该插值点在各方向梯度的最大值获取融合参数。根据该融合参数对第一候选绿色值和第二候选绿色融合值进行融合,得到绿色融合值。将该绿色融合值输出到绿色通道图像。
此外,对于插值点,还对蓝色分量和红色分量进行插值。
其中,在插值点为蓝色像素点时,计算包括该插值点在内的蓝色像素阵列的平均蓝色值。再根据前述融合参数对插值点的平均蓝色值和原始蓝色值进行融合,得到蓝色插值。最后将该蓝色插值减去前述绿色融合值得到蓝色色差值,将得到的蓝色色差值输出到蓝色色差图像。
在插值点为红色像素点时,计算包括该插值点在内的红色像素阵列的平均红色值。再根据前述融合参数对插值点的平均红色值和原始红色值进行融合,得到红色插值。最后将该红色插值减去前述绿色融合值得到红色色差值,将得到的红色色差值输出到红色色差图像。
如上,对于拜尔格式图像中每一像素点,若该像素点为绿色像素点,则直接将该像素点的绿色值输出到绿色通道图像;若该像素点不为绿色像素点,则按照不同的插值方式插值后融合得到绿色融合值,再输出至绿色通道图像,此外,还根据前述绿色融合至插值得到蓝色色差值(或红色色差图像)输出到蓝色色差图像(或红色色差图像)。由此,可以看出,最终得到绿色通道图像与拜尔格式图像的尺寸相同(长和宽均相同),得到蓝色色差图像和红色色差图像的尺寸相同,且二者尺寸均为拜尔格式图像尺寸的二分之一(长宽均为二分之一)。比如,对于长H宽W的拜尔格式图像,最终得到长H宽W的绿色通道图像,长H/2宽H/2的蓝色色差图像以及长H/2宽H/2的红色色差图像。
请参照图10,本申请实施例还提供一种图像处理芯片10,其通信耦合至应用处理器,包括:
第一接口模块200,用于获取来自图像传感器的第一图像信号;
中央处理模块11,用于对第一图像信号进行指定的处理,以获取第二图像信号,其中,中央处理模块11包括如本申请提供的图像缩放装置100;
第二接口模块300,用于向应用处理器传送第二图像信号。
图像传感器用于将光信号转换成电信号,与光敏二极管、光敏三极管等“点”光源的光敏元件相比,图像传感器将其感受到的光像分成多个小单元,进而转换为可用的电信号,得到原始的图像信号。应当说明的是,本申请实施例中对图像传感器的类型不做具体限制,可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)图像传感器,也可以为电荷藕合器件(Charge Coupled Device,CCD)图像传感器等。
第一接口模块200和第二接口模块300均可以为移动产业处理器接口(MobileIndustry Processor Interface,MIPI)。其中,第一接口模块200获取来自图像传感器的第一图像信号,该第一图像信号为拜尔格式图像信号。
中央处理模块11,用于对第一图像信号进行指定的图像优化处理,以提升图像质量。其中,中央处理模块11包括本申请提供的图像缩放装置100,中央处理模块11在获取到的来自图像传感器的第一图像信号后,先通过内置的图像缩放装置100对第一图像信号进行缩放处理,再对缩放后的第一图像信号进行指定的图像优化处理,相应得到第二图像信号。
在中央处理模块11完成对第一图像信号的指定图像优化处理之后,第二接口模块300接收中央处理模块11对第一图像信号的处理结果,也即是第二图像信号。第二接口模块300与应用处理器通信耦合,用于将第二图像信号传输至应用处理器,供应用处理器进行后处理,已进行显示或存储等。
示例性的,在完成后处理之后,应用处理器可以根据后处理后的图像信号的类型执行相应的操作。应当说明的是,本申请实施例中,对图像信号进行处理并不改变图像信号的类型,比如,原始的图像信号为动态图像信号,相应经过处理的图像信号也为动态图像信号。
其中,当后处理后的图像信号为动态图像信号时,应用处理器可以预览该后处理后的图像信号或者对其进行视频编码等。比如,当原始的图像信号为预览图像序列中一帧动态图像信号时,相应后处理后的图像信号也为动态图像信号,应用处理器将预览前述后处理后的图像信号;当原始的图像信号为视频图像序列中一帧动态图像信号时,相应后处理后的图像信号也为动态图像信号,应用处理器将根据前述后处理后的图像信号进行视频编码。
当后处理后的图像信号为静态图像信号时,应用处理器根据前述后处理后的图像信号进行图像编码,得到编码图像。比如,原始的图像信号为RAW格式图像,相应后处理后的图像信号也为RAW格式图像,应用处理器可以对其进行JPEG图像编码,得到JPEG格式的编码图像。
以上对本申请实施例提供的图像缩放装置、电子设备、图像缩放方法以及图像处理芯片进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请。同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像缩放装置,其特征在于,包括:
去马赛克模块,用于将拜尔格式图像分离为亮度通道图像和色彩通道图像,所述亮度通道图像的尺寸大于所述色彩通道图像的尺寸;
缩放模块,用于按照缩放比例对所述亮度通道图像和所述色彩通道图像进行缩放处理;以及
将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式缩放图像。
2.根据权利要求1所述的图像缩放装置,其特征在于,所述去马赛克模块用于:
根据所述拜尔格式图像的绿色分量进行插值处理,得到对应所述拜尔格式图像的绿色通道图像,并将所述绿色通道图像设为所述亮度通道图像;
根据所述拜尔格式图像的蓝色分量和绿色分量进行插值处理,得到对应所述拜尔格式图像的蓝色色差图像,并将所述蓝色色差图像设为所述色彩通道图像;以及
根据所述拜尔格式图像的红色分量和绿色分量进行插值处理,得到对应拜尔格式图像的红色色差图像,并将所述红色色差图像设为所述色彩通道图像。
3.根据权利要求2所述的图像缩放装置,其特征在于,所述去马赛克模块用于:
根据所述拜尔格式图像的绿色分量,按照多种不同的插值策略分别进行插值处理,得到对应所述拜尔格式图像的多个候选绿色通道图像,其中,对于同一插值点,所述去马赛克模块按照不同的插值策略插值时所选择的邻域像素点不同;
将所述多个候选绿色通道图像融合为所述绿色通道图像。
4.根据权利要求3所述的图像缩放装置,其特征在于,所述去马赛克模块用于:
按照低通插值法进行插值处理,得到与所述拜尔格式图像同尺寸的第一候选绿色通道图像;
按照基于梯度的方向插值法进行插值处理,得到与所述拜尔格式图像同尺寸的第二候选绿色通道图像。
5.根据权利要求4所述的图像缩放装置,其特征在于,所述去马赛克模块用于:
获取每一插值点在各方向梯度的最大值;
基于预设融合函数和每一插值点的梯度最大值来确定与所述每一插值点对应的融合参数;
根据每一插值点对应的融合参数,将每一插值点在第一候选绿色通道图像中的绿色插值和所述第二候选绿色通道图像中的绿色插值融合,得到绿色融合插值;
根据每一插值点的绿色融合插值生成所述绿色通道图像。
6.根据权利要求5所述的图像缩放装置,其特征在于,所述去马赛克模块用于:
对于所述拜尔格式图像中的每一蓝色像素点,计算包括每一蓝色像素点在内的蓝色像素阵列的平均蓝色值;
根据每一蓝色像素点对应的融合参数,将每一蓝色像素点的原始蓝色值和平均蓝色值进行融合,得到每一蓝色像素点的蓝色插值;
将每一蓝色像素点的蓝色插值减去其在所述绿色通道图像中对应的绿色像素点的绿色值,得到每一蓝色像素点的蓝色色差值;
根据每一蓝色像素点的蓝色色差值生成所述拜尔格式图像二分之一尺寸的蓝色色差图像。
7.根据权利要求5所述的图像缩放装置,其特征在于,所述去马赛克模块用于:
对于所述拜尔格式图像中的每一红色像素点,计算包括每一红色像素点在内的红色像素阵列的平均红色值;
根据每一红色像素点对应的融合参数,将每一红色像素点的原始红色值和平均红色值进行融合,得到每一红色像素点的红色插值;
将每一红色像素点的红色插值减去其在所述绿色通道图像中对应的绿色像素点的绿色值,得到每一红色像素点的红色色差值;
根据每一红色像素点的红色色差值生成所述拜尔格式图像二分之一尺寸的红色色差图像。
8.根据权利要求1-7任一项所述的图像缩放装置,其特征在于,所述缩放模块用于:
获取目标系数,并根据所述目标系数获取多组缩放滤波器系数,所述目标系数由应用处理模块根据缩放滤波器系数的组数以及所述缩放比例所确定的多个量化点进行量化得到;
根据所述多个量化点确定各组滤波器系数对应的精度区间;
对于所述亮度通道图像和所述色彩通道图像中每一目标像素点,确定其位置的小数部分所对应的目标精度区间,并根据所述目标精度区间所对应的滤波器系数对其进行缩放滤波。
9.一种电子设备,其特征在于,所述电子设备包括权利要求1-8任一项所述的图像缩放装置。
10.一种图像缩放方法,其特征在于,包括:
将拜尔格式图像分离为亮度通道图像和色彩通道图像,所述亮度通道图像的尺寸大于所述色彩通道图像的尺寸;
按照缩放比例对所述亮度通道图像和所述色彩通道图像进行缩放处理;
将缩放后的亮度通道图像和色彩通道图像融合为拜尔格式缩放图像。
11.一种图像处理芯片,其通信耦合至应用处理器,其特征在于,包括:
第一接口模块,用于获取来自图像传感器的第一图像信号;
中央处理模块,用于对所述第一图像信号进行指定的处理,以获取第二图像信号,其中,所述中央处理模块包括如权利要求1-8任一项所述的图像缩放装置;
第二接口模块,用于向所述应用处理器传送所述第二图像信号。
CN202011086935.8A 2020-10-12 2020-10-12 图像缩放装置、电子设备、图像缩放方法及图像处理芯片 Active CN112218062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011086935.8A CN112218062B (zh) 2020-10-12 2020-10-12 图像缩放装置、电子设备、图像缩放方法及图像处理芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011086935.8A CN112218062B (zh) 2020-10-12 2020-10-12 图像缩放装置、电子设备、图像缩放方法及图像处理芯片

Publications (2)

Publication Number Publication Date
CN112218062A true CN112218062A (zh) 2021-01-12
CN112218062B CN112218062B (zh) 2022-04-22

Family

ID=74053576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011086935.8A Active CN112218062B (zh) 2020-10-12 2020-10-12 图像缩放装置、电子设备、图像缩放方法及图像处理芯片

Country Status (1)

Country Link
CN (1) CN112218062B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0070677A2 (en) * 1981-07-14 1983-01-26 Dai Nippon Printing Co., Ltd. Video printing apparatus
JPS62114378A (ja) * 1985-11-13 1987-05-26 Konishiroku Photo Ind Co Ltd 画像処理方法
US5267028A (en) * 1988-08-26 1993-11-30 Canon Kabushiki Kaisha Solid state image pickup apparatus having luminance control
CN1722852A (zh) * 2004-03-15 2006-01-18 微软公司 用于彩色图像去马赛克的优质梯度校正线性插值
US20130076947A1 (en) * 2011-08-30 2013-03-28 Keigo Hirakawa Single-shot high dynamic range imaging
CN103416067A (zh) * 2011-03-11 2013-11-27 富士胶片株式会社 摄像装置及摄像程序
CN105160628A (zh) * 2015-09-07 2015-12-16 努比亚技术有限公司 一种获取rgb数据的方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0070677A2 (en) * 1981-07-14 1983-01-26 Dai Nippon Printing Co., Ltd. Video printing apparatus
JPS62114378A (ja) * 1985-11-13 1987-05-26 Konishiroku Photo Ind Co Ltd 画像処理方法
US5267028A (en) * 1988-08-26 1993-11-30 Canon Kabushiki Kaisha Solid state image pickup apparatus having luminance control
CN1722852A (zh) * 2004-03-15 2006-01-18 微软公司 用于彩色图像去马赛克的优质梯度校正线性插值
CN103416067A (zh) * 2011-03-11 2013-11-27 富士胶片株式会社 摄像装置及摄像程序
US20130076947A1 (en) * 2011-08-30 2013-03-28 Keigo Hirakawa Single-shot high dynamic range imaging
CN105160628A (zh) * 2015-09-07 2015-12-16 努比亚技术有限公司 一种获取rgb数据的方法和装置

Also Published As

Publication number Publication date
CN112218062B (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
KR101727285B1 (ko) 노이즈 변화와 움직임 감지를 고려한 영상 노이즈 필터링 방법 및 장치
US7227574B2 (en) Image capturing apparatus
US7092020B2 (en) Resizing images captured by an electronic still camera
TWI504276B (zh) 用於捕捉彩色影像之影像感測器
US8537234B2 (en) Image restoration with enhanced filtering
EP1793620A1 (en) Image processing device and method, imaging device, and computer program
US8401341B2 (en) Image processing apparatus, method, and storage medium for generating a magnified image by synthesizing structure and texture
US20020008760A1 (en) Digital camera, image signal processing method and recording medium for the same
TW201123866A (en) System and method to selectively combine video frame image data
KR20090087811A (ko) 촬상 장치, 화상 처리 장치, 화상 처리 방법, 화상 처리방법의 프로그램 및 화상 처리 방법의 프로그램을 기록한기록 매체
CN111353948A (zh) 一种图像降噪方法、装置及设备
CN102655564A (zh) 图像处理设备、图像处理方法以及程序
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
JP5092536B2 (ja) 画像処理装置及びそのプログラム
WO2024027287A9 (zh) 图像处理系统及方法、计算机可读介质和电子设备
JP5291788B2 (ja) 撮像装置
CN112218062B (zh) 图像缩放装置、电子设备、图像缩放方法及图像处理芯片
JP4687454B2 (ja) 画像処理装置および撮像装置
CN115706870B (zh) 视频处理方法、装置、电子设备和存储介质
JP4462017B2 (ja) 欠陥検出補正装置、撮像装置および欠陥検出補正方法
JP6915166B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
US8406558B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP2017208810A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20220083720A (ko) 서버 장치 및 프로그램
KR101145701B1 (ko) 자동초점 기능이 내장된 고정초점 카메라 모듈

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant