CN112233028A - 一种屏下摄像头的子像素渲染方法与装置 - Google Patents

一种屏下摄像头的子像素渲染方法与装置 Download PDF

Info

Publication number
CN112233028A
CN112233028A CN202011101855.5A CN202011101855A CN112233028A CN 112233028 A CN112233028 A CN 112233028A CN 202011101855 A CN202011101855 A CN 202011101855A CN 112233028 A CN112233028 A CN 112233028A
Authority
CN
China
Prior art keywords
sub
rendering
pixel
camera
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011101855.5A
Other languages
English (en)
Other versions
CN112233028B (zh
Inventor
陈涛
王洪剑
林江
黄向军
孙国梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tongtu Semiconductor Technology Co ltd
Original Assignee
Shanghai Tongtu Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tongtu Semiconductor Technology Co ltd filed Critical Shanghai Tongtu Semiconductor Technology Co ltd
Priority to CN202011101855.5A priority Critical patent/CN112233028B/zh
Publication of CN112233028A publication Critical patent/CN112233028A/zh
Application granted granted Critical
Publication of CN112233028B publication Critical patent/CN112233028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种屏下摄像头的子像素渲染方法及装置,所述方法包括如下步骤:步骤S1,对输入图像逐像素点进行分析,提取边缘信息;步骤S2,对于位于屏下摄像头区域的子像素,采用基于边缘信息的自适应渲染方法进行渲染,对于屏下摄像头以外区域的子像素,采取常规的子像素渲染方法;步骤S3,对摄像头区域边界区域的每个子像素的渲染结果,提供逐子像素的调节参数进行独立补偿,以实现过渡自然平滑。

Description

一种屏下摄像头的子像素渲染方法与装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种屏下摄像头的子像素渲染方法与装置。
背景技术
目前的手机全面屏其实并不是真正的全面屏,屏下摄像头占据了部分屏幕位置。由于摄像头区域呈现的是黑色,并没有显示图像内容,这给用户带来了不好的视觉体验。
为了更好的显示效果及用户体验,屏下摄像头区域要兼顾拍摄和显示。当摄像头开启时,摄像头区域配合拍摄,不显示图像内容。而当屏下摄像头关闭时,摄像头区域要正常显示图像内容。目前,摄像头区域通过选取特别的、更稀疏的子像素排列,以兼顾拍摄和内容显示,但是,这种方法给图像子像素渲染也带来了一系列问题,主要包括:摄像头区域图像显示效果;摄像头区域与正常显示区域的过渡自然平滑;适配各种不同形状和大小的摄像头区域和任意周期排列的子像素排列格式。
发明内容
为克服上述现有技术存在的不足,本发明之目的在于提供一种屏下摄像头的子像素渲染方法与装置,以较好地在手机全面屏的屏下摄像头区域正常显示图像内容,给用户带来更好的全面屏视觉体验。
为达上述目的,本发明提出一种屏下摄像头的子像素渲染方法,包括如下步骤:
步骤S1,对输入图像逐像素点进行分析,提取边缘信息;
步骤S2,对于位于屏下摄像头区域的子像素,采用基于边缘信息的自适应渲染方法进行渲染,对于屏下摄像头以外区域的子像素,采取常规的子像素渲染方法;
步骤S3,对摄像头区域边界区域的每个子像素的渲染结果,提供逐子像素的调节参数进行独立补偿,以实现过渡自然平滑。
优选地,于步骤S1中,所述边缘信息包括边缘方向角度值和边缘梯度模值。
优选地,步骤S1进一步包括:
步骤S100,对于任一像素点,计算其水平和垂直梯度;
步骤S101,对该像素点,利用其3×3邻域像素的梯度,得到矩阵D;
步骤S102,计算获得矩阵D的两个特征值,获得较大特征值的特征向量作为梯度方向,由梯度方向得到该像素点的边缘方向角度值;将两个特征值的差作为边缘梯度模值。
优选地,步骤S2进一步包括:
步骤S200,对于输入图像的某个子像素点,根据屏下摄像头区域信息判断其是否位于屏下摄像头区域;
步骤S201,若该子像素点位于屏下摄像头区域,则对其先计算高低锐利度渲染两组结果,然后基于步骤S1图像分析所获取的边缘信息计算混合的比例,最后对高低锐利度渲染的两组结果按比例混合,得到子像素自适应渲染结果;
步骤S202,若该子像素点位于屏下摄像头以外区域,则对其采取常规的子像素渲染方法进行渲染。
优选地,步骤S201进一步包括:
步骤S201a,根据当前子像素渲染输出的颜色分量,进行对应颜色分量的子像素渲染,计算高低锐利度渲染两组结果;
步骤S201b,利用步骤S1得到的边缘方向角度值和边缘梯度模值计算高低锐利度渲染的比例;
步骤S201c,对步骤S201a的高低锐利度渲染的两组结果进行高低锐利度渲染混合。
优选地,于步骤S201a,对于当前子像素点,取以其为中心的颜色分量数据,与高锐利度渲染系数HCoef系数进行乘加,得到高锐利度渲染结果,取以其为中心的颜色分量数据,与低锐利度渲染系数LCoef系数进行乘加,得到低锐利度渲染结果。
优选地,于步骤S201b中,根据边缘方向角度值计算低锐利度渲染比例以及根据边缘梯度模值计算低锐利度渲染比例,并将该两个值相乘得到混合比例。
优选地,步骤S201c,对于当前子像素点,将其高低锐利度渲染值,按照得到的混合比例进行加权平均,得到混合的子像素渲染结果。
优选地,于步骤S3中,设定包含屏下摄像头区域及其边界的方形区域,对设定的方形区域的渲染结果,每个子像素进行独立过渡补偿操作,补偿区域内的每个子像素的补偿量,由补偿参数k(r,c)任意配置。
为达到上述目的,本发明还提供一种屏下摄像头的子像素渲染装置,包括:
输入图像分析模块,用于对输入图像逐像素点进行分析,提取边缘信息;
子像素渲染模块,用于对于位于屏下摄像头区域的子像素,采用基于边缘方向角度值和边缘梯度模值的自适应渲染方法进行渲染,对于屏下摄像头以外区域的子像素,采取常规的子像素渲染方法;
过渡补偿模块,用于对摄像头区域边界区域的每个子像素的渲染结果,提供逐子像素的调节参数进行过渡补偿,以实现过渡自然平滑。
与现有技术相比,本发明一种屏下摄像头的子像素渲染方法及装置通过对在摄像头区域的子像素采用基于边缘方向角度值和边缘梯度模值的自适应渲染方法,能获得较好的图像显示效果,并通过对于摄像头区域边界过渡问题提供逐子像素的调节参数,可以处理任何边界过渡问题,从而实现边界过渡的自然平滑。
附图说明
图1为本发明一种屏下摄像头的子像素渲染方法的步骤流程图;
图2为本发明具体实施例步骤S3过渡补偿中的设定的方形补偿区域示意图;
图3为本发明一种屏下摄像头的子像素渲染装置的系统架构图;
图4为本发明实施例的流程图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用,本说明书中的各项细节亦可基于不同观点与应用,在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种屏下摄像头的子像素渲染方法的步骤流程图。如图1所示,本发明一种屏下摄像头的子像素渲染方法,包括如下步骤:
步骤S1,对输入图像逐像素点进行分析,提取边缘信息,即边缘方向角度值和边缘梯度模值。
具体地,对输入图像I,位于(r,c)处像素(r,c表示行列坐标)的水平和垂直的梯度如下计算:
dx=yI(r,c)-yI(r,c-1),
dy=yI(r,c)-yI(r-1,c),
其中,yI表示输入图像I的灰度图像,可由图像I的红绿蓝三个通道通过系数[0.30,0.59,0.11]加权得到。
对于每个像素点,利用其3×3邻域像素的梯度,可以得出如下矩阵:
Figure BDA0002725648040000051
其中,dx(k)和dy(k)分别表示当前像素3×3邻域的第k(0≤k≤8)个像素的水平和垂直梯度。矩阵D是对称、非负定的。它有两个特征值,如下计算:
Figure BDA0002725648040000052
其中较大的一个特征值,记为λ+,其对应的特征向量(记为(cosθ,sinθ))即为梯度方向,其特征向量可以通过如下公式计算得到:
Figure BDA0002725648040000053
Figure BDA0002725648040000061
梯度方向的垂直方向即为边缘方向,从而由梯度方向可以得到像素点I(r,c)的边缘方向角度值,记为Ang(r,c),0°≤Ang(r,c)<180°(如梯度方向为θ,边缘方向是θ的垂直方向,故为θ+π/2或者θ-π/2)。像素点I(r,c)的边缘梯度模值,记为Mag(r,c),为上述大、小两个特征值的差,即λ+-
步骤S2,对于位于屏下摄像头区域的子像素,采用基于边缘方向角度值和边缘梯度模值的自适应渲染方法进行渲染,对于屏下摄像头以外区域的子像素,采取常规的子像素渲染方法。
对于屏下摄像头全面屏,摄像头区域要兼顾拍摄和显示。通常,屏下摄像头区域采用相比正常显示区域更稀疏的子像素排列格式。因此子像素渲染方法需要处理这两个区域子像素排列上的不同,而最终呈现出一致的显示图像效果。
具体地,步骤S2进一步包括:
步骤S200,对于输入图像的某个子像素点,根据屏下摄像头区域信息判断其是否位于屏下摄像头区域。在本发明具体实施例中,所述屏下摄像头区域信息,包括摄像头区域位置和摄像头区域具体的子像素排列,其均可由参数配置,以适配任意形状和大小的摄像头区域和各种任意周期排列的子像素排列格式。
步骤S201,若该子像素点位于屏下摄像头区域,则对其先计算高低锐利度渲染两组结果,然后基于步骤S1图像分析所获取的边缘信息计算混合的比例,最后对高低锐利度渲染的两组结果按比例混合,得到子像素自适应渲染结果。
由于不同区域的子像素排布的不同,以及图像内容的不同,对子像素渲染的清晰度要求不同。对于本发明先计算高低锐利度渲染两组结果,然后基于图像分析所获取的信息计算混合的比例,最后对这两组结果按比例混合,得到子像素自适应渲染结果。这样,摄像头区域渲染结果既尽可能保持清晰度,又能避免子像素稀疏导致的偏色问题和锯齿问题。
具体地,步骤S201进一步包括:
步骤S201a,对当前子像素计算高低锐利度渲染两组结果,
根据当前子像素渲染输出的颜色分量,进行对应颜色分量的子像素渲染。记高锐利度渲染系数为HCoef,记低锐利度渲染系数为LCoef,比如HCoef和LCoef可以分别选择为如下3×3系数矩阵和5×5系数矩阵:
Figure BDA0002725648040000071
记当前像素点为输入图像I中的第(r,c)位置的像素点,取以其为中心的颜色分量数据,与HCoef系数进行乘加,得到高锐利度渲染结果,记为Spr_HC(r,c)。取以其为中心的颜色分量数据,与LCoef系数进行乘加,得到低锐利度渲染结果,记为Spr_LC(r,c)。
步骤S201b,利用步骤S1得到的边缘信息计算高低锐利度渲染的比例。
对于容易出现锯齿和偏色的内容,比如对于45°角度的边缘,更多的选取低锐利度渲染的结果,而对其它内容选取高锐利度渲染的结果。这样,子像素渲染的结果既能锐利而且不偏色,从而在屏下摄像头区域也能用较好图像显示效果。
假设Ang(r,c)为当前图像I第(r,c)个像素点的边缘方向角度值,Mag(r,c)为其边缘梯度模值。根据边缘方向角度值计算低锐利度渲染比例W_LC_Ang(r,c),根据边缘梯度模值计算低锐利度渲染比例W_LC_Mag(r,c),将这两个值相乘得到图像内容的低锐利度渲染比例W_LC(r,c),具体计算过程如下:
W_LC_Ang(r,c)=1-min(1,k_ang*max(0,|Ang(r,c)-th_ang|-b_ang)),
W_LC_Mag(r,c)=min(1,k_mag*max(0,Mag(r,c)-b_mag)),
W_LC(r,c)=W_LC_Ang(r,c)*W_LC_Mag(r,c),
其中,k_ang≥0,0≤th_ang≤180,b_ang≥0为基于方向的低锐利度渲染比例值相关参数,k_mag≥0,b_mag≥0为基于梯度模值的低锐利度渲染比例值相关参数。
步骤S201c,对步骤S201a的高低锐利度渲染的两组结果进行高低锐利度渲染混合。
对于输入图像I的第(r,c)个像素点,将高低锐利度渲染值Spr_HC(r,c)和Spr_LC(r,c),按照混合比例W_LC(r,c),进行如下加权平均,得到混合的子像素渲染结果Spr(r,c):
Spr(r,c)=W_LC(r,c)*Spr_LC(r,c)+(1-W_LC(r,c))*Spr_HC(r,c)。
步骤S202,若该子像素点位于屏下摄像头以外区域,则对其采取常规的子像素渲染方法进行渲染。由于屏下摄像头以外区域的子像素渲染采用的是现有常规的子像素渲染方法,在此不予赘述。
步骤S3,对摄像头区域边界区域的每个子像素的渲染结果,提供逐子像素的调节参数进行独立补偿,以实现过渡自然平滑。
具体地,由于屏下摄像头区域与正常显示区域在子像素排列上的不同,即使经过了自适应渲染,摄像头区域边界任然会有偏色等过渡不自然平滑问题。如图2所示,可以设定包含屏下摄像头区域及其边界的方形区域。对设定的方形区域的渲染结果,每个子像素进行独立的补偿操作,以实现过渡自然平滑。假设Spr(r,c)为子像素渲染结果,过渡补偿如下:
Spr(r,c)=k(r,c)*Spr(r,c),
其中,0≤k(r,c)<2为逐子像素点的补偿参数。
在本发明具体实施例中,补偿区域内的每个子像素的补偿量,都是可以由补偿参数k(r,c)任意配置的,这样能保证过渡区域的自然平滑。
可见,本发明之屏下摄像头的子像素渲染方法,在摄像头区域,通过采用基于边缘方向角度值和边缘梯度模值的自适应渲染方法,能获得较好的图像显示效果;而对于摄像头区域边界过渡问题,本发明之屏下摄像头的子像素渲染方法,通过提供逐子像素的调节参数,可以处理任何边界问题,从而实现边界过渡的自然平滑。本发明方法,摄像头区域形状和大小以及子像素排列是完全参数化的,能适配任意的摄像头区域。
需说明的是,目前小尺寸显示屏上普遍使用的子像素排列格式有RGBG格式,GGRB格式,delta-RGB格式等。本发明之屏下摄像头子像素渲染方法,可以适应于不同子像素格式屏的屏下摄像头,包括但不限于上述的三种格式。
图3为本发明一种屏下摄像头的子像素渲染装置的系统架构图。如图3所示,本发明一种屏下摄像头的子像素渲染装置,包括:
输入图像分析模块30,用于对输入图像逐像素点进行分析,提取边缘信息,即边缘方向角度值和边缘梯度模值。
具体地,对输入图像I,位于(r,c)处像素(r,c表示行列坐标)的水平和垂直的梯度如下计算:
dx=yI(r,c)-yI(r,c-1),
dy=yI(r,c)-yI(r-1,c),
其中,yI表示输入图像I的灰度图像,可由输入图像I的红绿蓝三个通道通过系数[0.30,0.59,0.11]加权得到。
对于每个像素点,利用其3×3邻域像素的梯度,可以得出如下矩阵:
Figure BDA0002725648040000091
其中,dx(k)和dy(k)分别表示当前像素3×3邻域的第k(0≤k≤8)个像素的水平和垂直梯度。矩阵D是对称、非负定的。它有两个特征值,如下计算:
Figure BDA0002725648040000092
其中较大的一个特征值,记为λ+,其对应的特征向量(记为(cosθ,sinθ))即为梯度方向,其特征向量可以通过如下公式计算得到:
Figure BDA0002725648040000101
Figure BDA0002725648040000102
梯度方向的垂直方向即为边缘方向,从而由梯度方向可以得到像素点I(r,c)的边缘方向角度值,记为Ang(r,c),0°≤Ang(r,c)<180°。像素点I(r,c)的边缘梯度模值,记为Mag(r,c),为上述大、小两个特征值的差,即λ+-
子像素渲染模块31,用于对于位于屏下摄像头区域的子像素,采用基于边缘方向角度值和边缘梯度模值的自适应渲染方法进行渲染,对于屏下摄像头以外区域的子像素,采取常规的子像素渲染方法。
对于屏下摄像头全面屏,摄像头区域要兼顾拍摄和显示。通常,屏下摄像头区域采用相比正常显示区域更稀疏的子像素排列格式。因此子像素渲染方法需要处理这两个区域子像素排列上的不同,而最终呈现出一致的显示图像效果。
具体地,子像素渲染模块31进一步包括:
子像素区域判断模块310,用于对于输入图像的某个子像素点,根据屏下摄像头区域信息判断其是否位于屏下摄像头区域。在本发明具体实施例中,所述屏下摄像头区域信息,包括摄像头区域位置和摄像头区域具体的子像素排列,其均可由参数配置,以适配任意形状和大小的摄像头区域和各种任意周期排列的子像素排列格式。
摄像头区域子像素渲染模块311,若该子像素点位于屏下摄像头区域,则对其先计算高低锐利度渲染两组结果,然后基于输入图像分析模块30图像分析所获取的边缘信息计算混合的比例,最后对高低锐利度渲染的两组结果按比例混合,得到子像素自适应渲染结果。
由于不同区域的子像素排布的不同,以及图像内容的不同,对子像素渲染的清晰度要求不同。对于本发明先计算高低锐利度渲染两组结果,然后基于图像分析所获取的信息计算混合的比例,最后对这两组结果按比例混合,得到子像素自适应渲染结果。这样,摄像头区域渲染结果既尽可能保持清晰度,又能避免子像素稀疏导致的偏色问题和锯齿问题。
摄像头区域子像素渲染模块311具体用于:
对当前子像素计算高低锐利度渲染两组结果。
具体地,根据当前子像素渲染输出的颜色分量,进行对应颜色分量的子像素渲染。记高锐利度渲染系数为HCoef,记低锐利度渲染系数为LCoef,比如HCoef和LCoef可以分别选择为如下3×3系数矩阵和5×5系数矩阵:
Figure BDA0002725648040000111
记当前像素点为输入图像I中的第(r,c)位置的像素点,取以其为中心的颜色分量数据,与HCoef系数进行乘加,得到高锐利度渲染结果,记为Spr_HC(r,c)。取以其为中心的颜色分量数据,与LCoef系数进行乘加,得到低锐利度渲染结果,记为Spr_LC(r,c)。
利用输入图像分析模块30得到的边缘信息计算高低锐利度渲染的比例。
对于容易出现锯齿和偏色的内容,比如对于45°角度的边缘,更多的选取低锐利度渲染的结果,而对其它内容选取高锐利度渲染的结果。这样,子像素渲染的结果既能锐利而且不偏色,从而在屏下摄像头区域也能用较好图像显示效果。
假设Ang(r,c)为当前图像I第(r,c)个像素点的边缘方向角度值,Mag(r,c)为其边缘梯度模值。根据边缘方向角度值计算低锐利度渲染比例W_LC_Ang(r,c),根据边缘梯度模值计算低锐利度渲染比例W_LC_Mag(r,c),将这两个值相乘得到图像内容的低锐利度渲染比例W_LC(r,c),具体计算过程如下:
W_LC_Ang(r,c)=1-min(1,k_ang*max(0,|Ang(r,c)-th_ang|-b_ang)),
W_LC_Mag(r,c)=min(1,k_mag*max(0,Mag(r,c)-b_mag)),
W_LC(r,c)=W_LC_Ang(r,c)*W_LC_Mag(r,c),
其中,k_ang≥0,0≤th_ang≤180,b_ang≥0为基于方向的低锐利度渲染比例值相关参数,k_mag≥0,b_mag≥0为基于梯度模值的低锐利度渲染比例值相关参数。
对高低锐利度渲染的两组结果进行高低锐利度渲染混合。
对于输入图像I的第(r,c)个像素点,将高低锐利度渲染值Spr_HC(r,c)和Spr_LC(r,c),按照混合比例W_LC(r,c),进行如下加权平均,得到混合的子像素渲染结果Spr(r,c):
Spr(r,c)=W_LC(r,c)*Spr_LC(r,c)+(1-W_LC(r,c))*Spr_HC(r,c)。
摄像头外区域子像素渲染模块312,若该子像素点位于屏下摄像头以外区域,则对其采取常规的子像素渲染方法进行渲染。由于屏下摄像头以外区域的子像素渲染采用的是现有常规的子像素渲染方法,在此不予赘述。
过渡补偿模块32,用于对摄像头区域边界区域的每个子像素的渲染结果,提供逐子像素的调节参数进行过渡补偿,以实现过渡自然平滑。
具体地,由于屏下摄像头区域与正常显示区域在子像素排列上的不同,即使经过了自适应渲染,摄像头区域边界任然会有偏色等过渡不自然平滑问题。如图2所示,可以设定包含屏下摄像头区域及其边界的方形区域。对设定的方形区域的渲染结果,每个子像素进行独立的补偿操作,以实现过渡自然平滑。假设Spr(r,c)为子像素渲染结果,过渡补偿如下:
Spr(r,c)=k(r,c)*Spr(r,c),
其中,0≤k(r,c)<2为逐子像素点的补偿参数。
在本发明具体实施例中,补偿区域内的每个子像素的补偿量,都是可以由补偿参数k(r,c)任意配置的,这样能保证过渡区域的自然平滑。
实施例
在本实施例中,如图4所示,一种屏下摄像头的子像素渲染方法的流程如下:
步骤1,图像分析
此步骤对输入图像逐像素点进行分析,提取边缘信息,即边缘方向角度值和边缘模值。
步骤2,自适应渲染;
根据摄像头区域参数信息确定当前子像素是否位于摄像头区域,对摄像头区域子像素,采取自适应渲染方法,对于屏下摄像头以外区域,采取常规的子像素渲染方法。其中摄像头区域参数信息,包括摄像头区域位置和摄像头区域具体的子像素排列,可由参数配置。
子像素排布的不同,以及图像内容的不同,对子像素渲染的清晰度要求不同。本发明先计算高低锐利度渲染两组结果,然后基于图像分析所获取的信息计算混合的比例,最后对这两组结果按比例混合,得到子像素自适应渲染结果。这样,摄像头区域渲染结果既尽可能保持清晰度,要能避免子像素稀疏导致的偏色问题和锯齿问题。
步骤3,过渡补偿。
由于屏下摄像头区域与正常显示区域在子像素排列上的不同,即使经过了自适应渲染,摄像头区域边界任然会有偏色等过渡不自然平滑问题。对划定的包含摄像头区域及其边界的方形区域,本发明对此区域中的每个子像素进行过渡补偿。补偿区域内的每个子像素的补偿量,均可以由补偿参数任意配置,这样能保证过渡区域的自然平滑。
综上所述,本发明一种屏下摄像头的子像素渲染方法及装置通过对在摄像头区域的子像素采用基于边缘方向角度值和边缘梯度模值的自适应渲染方法,能获得较好的图像显示效果,并通过对于摄像头区域边界过渡问题提供逐子像素的调节参数,可以处理任何边界过渡问题,从而实现边界过渡的自然平滑,由于本发明中,摄像头区域形状和大小以及子像素排列是完全参数化的,能适配任意的摄像头区域。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下,对上述实施例进行修饰与改变。因此,本发明的权利保护范围,应如权利要求书所列。

Claims (10)

1.一种屏下摄像头的子像素渲染方法,包括如下步骤:
步骤S1,对输入图像逐像素点进行分析,提取边缘信息;
步骤S2,对于位于屏下摄像头区域的子像素,采用基于边缘信息的自适应渲染方法进行渲染,对于屏下摄像头以外区域的子像素,采取常规的子像素渲染方法;
步骤S3,对摄像头区域边界区域的每个子像素的渲染结果,提供逐子像素的调节参数进行独立补偿,以实现过渡自然平滑。
2.如权利要求1所述的一种屏下摄像头的子像素渲染方法,其特征在于:于步骤S1中,所述边缘信息包括边缘方向角度值和边缘梯度模值。
3.如权利要求2所述的一种屏下摄像头的子像素渲染方法,其特征在于,步骤S1进一步包括:
步骤S100,对于任一像素点,计算其水平和垂直梯度;
步骤S101,对该像素点,利用其3×3邻域像素的梯度,得到矩阵D;
步骤S102,计算获得矩阵D的两个特征值,获得较大特征值的特征向量作为梯度方向,由梯度方向得到该像素点的边缘方向角度值;将两个特征值的差作为边缘梯度模值。
4.如权利要求2所述的一种屏下摄像头的子像素渲染方法,其特征在于,步骤S2进一步包括:
步骤S200,对于输入图像的某个子像素点,根据屏下摄像头区域信息判断其是否位于屏下摄像头区域;
步骤S201,若该子像素点位于屏下摄像头区域,则对其先计算高低锐利度渲染两组结果,然后基于步骤S1图像分析所获取的边缘信息计算混合的比例,最后对高低锐利度渲染的两组结果按比例混合,得到子像素自适应渲染结果;
步骤S202,若该子像素点位于屏下摄像头以外区域,则对其采取常规的子像素渲染方法进行渲染。
5.如权利要求4所述的一种屏下摄像头的子像素渲染方法,其特征在于,步骤S201进一步包括:
步骤S201a,根据当前子像素渲染输出的颜色分量,进行对应颜色分量的子像素渲染,计算高低锐利度渲染两组结果;
步骤S201b,利用步骤S1得到的边缘方向角度值和边缘梯度模值计算高低锐利度渲染的比例;
步骤S201c,对步骤S201a的高低锐利度渲染的两组结果进行高低锐利度渲染混合。
6.如权利要求5所述的一种屏下摄像头的子像素渲染方法,其特征在于:于步骤S201a,对于当前子像素点,取以其为中心的颜色分量数据,与高锐利度渲染系数HCoef系数进行乘加,得到高锐利度渲染结果,取以其为中心的颜色分量数据,与低锐利度渲染系数LCoef系数进行乘加,得到低锐利度渲染结果。
7.如权利要求6所述的一种屏下摄像头的子像素渲染方法,其特征在于:于步骤S201b中,根据边缘方向角度值计算低锐利度渲染比例以及根据边缘梯度模值计算低锐利度渲染比例,并将该两个值相乘得到混合比例。
8.如权利要求7所述的一种屏下摄像头的子像素渲染方法,其特征在于:步骤S201c,对于当前子像素点,将其高低锐利度渲染值,按照得到的混合比例进行加权平均,得到混合的子像素渲染结果。
9.如权利要求8所述的一种屏下摄像头的子像素渲染方法,其特征在于:于步骤S3中,设定包含屏下摄像头区域及其边界的方形区域,对设定的方形区域的渲染结果,每个子像素进行独立过渡补偿操作,补偿区域内的每个子像素的补偿量,由补偿参数k(r,c)任意配置。
10.一种屏下摄像头的子像素渲染装置,包括:
输入图像分析模块,用于对输入图像逐像素点进行分析,提取边缘信息;
子像素渲染模块,用于对于位于屏下摄像头区域的子像素,采用基于边缘方向角度值和边缘梯度模值的自适应渲染方法进行渲染,对于屏下摄像头以外区域的子像素,采取常规的子像素渲染方法;
过渡补偿模块,用于对摄像头区域边界区域的每个子像素的渲染结果,提供逐子像素的调节参数进行过渡补偿,以实现过渡自然平滑。
CN202011101855.5A 2020-10-15 2020-10-15 一种屏下摄像头的子像素渲染方法与装置 Active CN112233028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011101855.5A CN112233028B (zh) 2020-10-15 2020-10-15 一种屏下摄像头的子像素渲染方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011101855.5A CN112233028B (zh) 2020-10-15 2020-10-15 一种屏下摄像头的子像素渲染方法与装置

Publications (2)

Publication Number Publication Date
CN112233028A true CN112233028A (zh) 2021-01-15
CN112233028B CN112233028B (zh) 2023-10-31

Family

ID=74113002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011101855.5A Active CN112233028B (zh) 2020-10-15 2020-10-15 一种屏下摄像头的子像素渲染方法与装置

Country Status (1)

Country Link
CN (1) CN112233028B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113903304A (zh) * 2021-09-30 2022-01-07 昆山国显光电有限公司 一种显示面板的补偿方法、补偿装置和显示装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101533A (zh) * 2016-06-15 2016-11-09 努比亚技术有限公司 渲染控制方法、装置及移动终端
CN106170065A (zh) * 2016-09-26 2016-11-30 信利光电股份有限公司 一种鱼眼摄像头的lsc补偿方法及装置
US20170186140A1 (en) * 2014-02-03 2017-06-29 Mitsuo Eguchi Super Resolution Processing Method, Device, and Program for Single Interaction Multiple Data-Type Super Parallel Computation Processing Device, and Storage Medium
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission
CN109147644A (zh) * 2018-10-12 2019-01-04 京东方科技集团股份有限公司 显示面板及显示方法
CN110047417A (zh) * 2019-04-24 2019-07-23 上海兆芯集成电路有限公司 子像素渲染方法及装置
CN110648620A (zh) * 2019-10-30 2020-01-03 武汉天马微电子有限公司 一种显示面板的渲染方法、显示面板和显示装置
CN111276088A (zh) * 2020-03-26 2020-06-12 Tcl华星光电技术有限公司 一种像素补偿方法
CN111415363A (zh) * 2020-04-20 2020-07-14 电子科技大学中山学院 一种图像边缘识别方法
KR20200086059A (ko) * 2019-01-08 2020-07-16 주식회사 원이멀스 Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170186140A1 (en) * 2014-02-03 2017-06-29 Mitsuo Eguchi Super Resolution Processing Method, Device, and Program for Single Interaction Multiple Data-Type Super Parallel Computation Processing Device, and Storage Medium
CN106101533A (zh) * 2016-06-15 2016-11-09 努比亚技术有限公司 渲染控制方法、装置及移动终端
CN106170065A (zh) * 2016-09-26 2016-11-30 信利光电股份有限公司 一种鱼眼摄像头的lsc补偿方法及装置
US20180137602A1 (en) * 2016-11-14 2018-05-17 Google Inc. Low resolution rgb rendering for efficient transmission
CN109147644A (zh) * 2018-10-12 2019-01-04 京东方科技集团股份有限公司 显示面板及显示方法
KR20200086059A (ko) * 2019-01-08 2020-07-16 주식회사 원이멀스 Vr 체험 공간에서 사용자의 불편감을 해소하기 위한 vr 컨텐츠 생성 시스템 및 방법
CN110047417A (zh) * 2019-04-24 2019-07-23 上海兆芯集成电路有限公司 子像素渲染方法及装置
CN110648620A (zh) * 2019-10-30 2020-01-03 武汉天马微电子有限公司 一种显示面板的渲染方法、显示面板和显示装置
CN111276088A (zh) * 2020-03-26 2020-06-12 Tcl华星光电技术有限公司 一种像素补偿方法
CN111415363A (zh) * 2020-04-20 2020-07-14 电子科技大学中山学院 一种图像边缘识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113903304A (zh) * 2021-09-30 2022-01-07 昆山国显光电有限公司 一种显示面板的补偿方法、补偿装置和显示装置
CN113903304B (zh) * 2021-09-30 2022-12-02 昆山国显光电有限公司 一种显示面板的补偿方法、补偿装置和显示装置

Also Published As

Publication number Publication date
CN112233028B (zh) 2023-10-31

Similar Documents

Publication Publication Date Title
KR100935172B1 (ko) 2차원 이미지의 확대 및 핀칭
US11194536B2 (en) Image processing method and apparatus for displaying an image between two display screens
JP4685864B2 (ja) 画像処理方法、表示画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路
US20100054584A1 (en) Image-based backgrounds for images
EP1484743A2 (en) System for improving display resolution
CN101360250B (zh) 沉浸产生方法和系统及因素控制、内容分析及参数预测法
US10614596B2 (en) Image processing method, electronic device and apparatus having storage function
EP3961551A1 (en) Tetrahedral interpolation calculation method and apparatus, gamut conversion method and apparatus, and medium
KR101178349B1 (ko) 컬러 볼륨 조정 및 휘도 축을 따른 가변 시프트를 이용하는 컬러 향상 방법 및 시스템
US6384828B1 (en) Digital processing apparatus and method for use in enlarging the size of an image displayed on a 2D fixed-pixel screen
CN112233028B (zh) 一种屏下摄像头的子像素渲染方法与装置
KR102583038B1 (ko) 지향성 스케일링 시스템들 및 방법들
CN114202491B (zh) 一种增强光学图像的方法及系统
US11315470B2 (en) Display device and display method thereof
Fang et al. Novel 2-D MMSE subpixel-based image down-sampling for matrix displays
Sakaigawa et al. Low power consumption technology for ultra-high resolution mobile display by using RGBW system
US6720972B2 (en) Method and apparatus for remapping subpixels for a color display
US8014598B2 (en) Method and apparatus for changing a pixel color
CN101364303B (zh) 边缘像素提取及处理方法
Ryu et al. Enhanced reduction of color blending by a gamma-based image boosting method for optical see-through displays
Singh et al. Introduction to Image Processing
CN104076543A (zh) 应用于显示器的显示方法
US12067674B2 (en) Image blending modes systems and methods
US12087249B2 (en) Perceptual color enhancement based on properties of responses of human vision system to color stimulus
Hussain et al. Subpixel Based Image Scaling Using Continuous Domain Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant