CN110400266A - 一种图像矫正的方法及装置、存储介质 - Google Patents

一种图像矫正的方法及装置、存储介质 Download PDF

Info

Publication number
CN110400266A
CN110400266A CN201910511806.XA CN201910511806A CN110400266A CN 110400266 A CN110400266 A CN 110400266A CN 201910511806 A CN201910511806 A CN 201910511806A CN 110400266 A CN110400266 A CN 110400266A
Authority
CN
China
Prior art keywords
image
coefficient
unit
center
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910511806.XA
Other languages
English (en)
Other versions
CN110400266B (zh
Inventor
陈志军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201910511806.XA priority Critical patent/CN110400266B/zh
Publication of CN110400266A publication Critical patent/CN110400266A/zh
Priority to US16/842,861 priority patent/US11288779B2/en
Priority to EP20169600.2A priority patent/EP3751508B1/en
Application granted granted Critical
Publication of CN110400266B publication Critical patent/CN110400266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

本公开是关于一种图像矫正的方法及装置、存储介质;该方法包括:确定图像中各矫正单位的矫正偏移量;确定所述图像中的至少一个目标区域;根据所述目标区域确定所述图像中各矫正单位的图像权重系数;根据所述图像权重系数与所述矫正偏移量,确定所述图像中各矫正单位的最终偏移量;根据所述最终偏移量对所述图像中各矫正单位进行矫正。通过本公开的技术方案,通过设定图像权重系数,能够根据需求对图像的不同区域进行不同程度的矫正。

Description

一种图像矫正的方法及装置、存储介质
技术领域
本公开涉及图像处理技术,尤其涉及一种图像矫正的方法及装置、存储介质。
背景技术
相关技术中,由于相机的镜头是由光学透镜构成的,使用相机进行拍照时,容易产生失真或图像变形,称为图像畸变。图像畸变包括枕形畸变、桶形畸变以及线性畸变等类型。图像畸变不可能完全消除,也难以在拍摄过程中避免,只能通过图像畸变矫正的方法,来对已经拍摄的照片进行处理,尽可能降低畸变造成的影响。现有的图像畸变矫正方法较为单一,通常是全图矫正,而没有考虑到图像中目标区域的特殊性。
例如,在拍照时,离相机中心比较远的地方会产生畸变,特别是人脸处于图形边缘时,会明显被用户感知到。而如果利用相关技术进行图像矫正,则可能会导致背景发生变化,给人不协调感。
目前,亟需一种图像矫正方法,能够在进行图像矫正时既考虑目标区域的特殊性,又能考虑到目标区域与图像整体背景的协调性。
发明内容
为克服相关技术中存在的问题,本公开提供一种图像矫正的方法及装置、存储介质。
根据本公开实施例的第一方面,提供一种图像矫正的方法,包括:
确定图像中各矫正单位的矫正偏移量;
确定所述图像中的目标区域;
根据所述目标区域确定所述图像中各矫正单位的图像权重系数;
根据所述图像权重系数与所述矫正偏移量,确定所述图像中各矫正单位的最终偏移量;
根据所述最终偏移量对所述图像中各矫正单位进行矫正。
上述方案中,所述确定所述图像中的目标区域,包括:
根据所述目标区域的特征,确定中心位置和第一设定值;
以所述中心位置为圆心、所述第一设定值为直径确定外圆;
将所述外圆以内的区域确定为所述目标区域。
上述方案中,根据所述目标区域确定所述图像中各矫正单位的图像权重系数,包括:
将所述目标区域内的各矫正单位的图像权重系数设定为第一系数;其中,所述第一系数大于0且小于等于1;
将所述图像中的目标区域以外的各矫正单位的图像权重系数设定为第二系数;其中,所述第二系数大于等于0且小于所述第一系数。
上述方案中,所述方法还包括:所述第一系数包括第三系数和第四系数;所述将所述目标区域内的各矫正单位的图像权重系数设定为第一系数,包括:
根据所述目标区域的特征,确定第二设定值;
以所述中心位置为圆心、所述第二设定值为直径确定内圆;其中,所述第二设定值小于所述第一设定值;
将所述内圆范围以内的各矫正单位对应的图像权重系数设定为第三系数;
确定所述内圆的第一圆周到所述外圆的第二圆周之间的环形区域;
将所述环形区域中各矫正单元的图像权重系数设定为第四系数;其中,所述第三系数由第一圆周至所述第二圆周,以由所述第一系数至所述第二系数的顺序按比例递减。
上述方案中,所述以所述中心位置为圆心、所述第一设定值为直径确定外圆包括:
根据人脸识别算法确定所述图像中人脸的位置;
根据所述人脸的位置确定人脸中心;
将所述人脸中心确定为所述中心位置;
根据所述人脸的范围确定所述第一设定值;
以所述中心位置为圆心、所述第一设定值为直径确定外圆。
上述方案中,所述根据人脸的范围确定第一设定值,包括:
根据所述人脸的长度确定所述第一设定值。
上述方案中,所述确定所述目标区域之前,该方法还包括:
确定图像中各矫正单位与图像的中心的距离大于设定阈值时,确定所述目标区域;
确定图像中各矫正单位与所述图像的中心的距离不大于设定阈值时,将所述图像中各矫正单位的图像权重系数确定为第五系数;其中,所述第五系数小于1且大于等于0。
上述方案中,所述根据所述最终偏移量对图像中各矫正单位进行矫正,包括:
根据所述最终偏移量,确定所述图像中各矫正单位的坐标;
根据所述各矫正单位的所述坐标,确定图像矩阵;
根据所述图像矩阵内各矫正单位对应原图的像素值,确定所述图像矩阵内各矫正单位的像素值;
根据所述图像矩阵内各矫正单位的像素值确定图像中各矫正单位的像素值;所述像素值包括颜色值或灰度值。
上述方案中,所述根据所述最终偏移量对所述图像中各矫正单位进行矫正后,所述方法还包括:
根据矫正后的图像,确定裁剪区域;
根据所述裁剪区域,对所述矫正后的图像进行裁剪。
根据本公开实施例的第二方面,提供一种图像矫正的装置,包括:
第一确定模块,用于确定图像中各矫正单位的矫正偏移量;
第二确定模块,用于确定所述图像中的至少一个目标区域;
第三确定模块,用于根据所述目标区域确定所述图像中各矫正单位的图像权重系数;
第四确定模块,用于根据所述图像权重系数与所述矫正偏移量,确定所述图像中各矫正单位的最终偏移量;
矫正模块,用于根据所述最终偏移量对所述图像中各矫正单位进行矫正。
上述方案中,所述第二确定模块,还用于以所述中心位置为圆心、第一设定值为直径确定外圆;将所述外圆以内的区域确定为所述目标区域。
上述方案中,所述第三确定模块,包括:
第一设定子模块,用于将所述目标区域内的各矫正单位的图像权重系数设定为第一系数;其中,所述第一系数大于0且小于等于1;
第二设定子模块,用于将所述图像中的目标区域以外的各矫正单位的图像权重系数设定为第二系数;其中,所述第二系数大于等于0且小于所述第一系数。
上述方案中,所述第一系数包括第三系数和第四系数;所述第一设定子模块,还用于根据所述目标区域的特征,确定第二设定值;以所述中心位置为圆心、所述第二设定值为直径确定内圆;其中,所述第二设定值小于所述第一设定值;将所述内圆范围以内的各矫正单位对应的图像权重系数设定为第三系数;确定所述内圆的第一圆周到所述外圆的第二圆周之间的环形区域;将所述环形区域中各矫正单元的图像权重系数设定为第四系数;其中,所述第三系数由第一圆周至所述第二圆周,以由所述第一系数至所述第二系数的顺序按比例递减。
上述方案中,所述第二确定模块,包括:
第一确定子模块,用于根据人脸识别算法确定所述图像中人脸的位置;
第二确定子模块,用于根据所述人脸的位置确定人脸中心;
第三确定子模块,用于将所述人脸中心确定为所述中心位置;
第四确定子模块,用于根据所述人脸的范围确定所述第一设定值;
第五确定子模块,用于以所述中心位置为圆心、所述第一设定值为直径确定外圆。
上述方案中,所述装置还包括:
第六确定模块,用于确定图像中各矫正单位与所述图像的中心的距离大于设定阈值时,确定所述目标区域;
第七确定模块,用于确定图像中各矫正单位与所述图像的中心的距离不大于设定阈值时,将所述图像中各矫正单位的图像权重系数确定为第三系数;其中,所述第三系数小于1且大于等于0。
上述方案中,所述矫正模块,包括:
第六确定子模块,用于根据所述最终偏移量,确定所述图像中各矫正单位的坐标;
第七确定子模块,用于根据所述各矫正单位的所述坐标,确定图像矩阵;
第八确定子模块,用于根据所述图像矩阵内各矫正单位对应原图的像素值,确定所述图像矩阵内各矫正单位的像素值;
第九确定子模块,用于根据所述图像矩阵内各矫正单位的像素值确定图像中各矫正单位的像素值;所述像素值包括颜色值或灰度值。
上述方案中,所述装置还包括:
第九确定模块,用于根据矫正后的图像,确定裁剪区域;
裁剪模块,用于根据所述裁剪区域,对所述矫正后的图像进行裁剪。
根据本公开实施例的第三方面,提供一种图像矫正的装置,至少包括:处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:
处理器用于运行所述可执行指令时,所述可执行指令执行上述任一项提供的图像矫正的方法中的步骤。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述任一项提供的图像矫正的方法中的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:通过对图像中不同的区域设定对应的图像权重系数,根据图像权重系数对图像中的不同区域进行不同程度的矫正,从而避免对全图矫正造成的不协调感。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1A是图像的桶形畸变的示意图;
图1B是图像的枕形畸变的示意图;
图2是根据一示例性实施例示出的一种图像矫正的方法的流程示意图;
图3是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图;
图4是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图;
图5是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图;
图6是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图;
图7是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图;
图8是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图;
图9A是相关技术中图像矫正的坐标变化示意图;
图9B是根据一示例性实施例示出的确定人脸区域的原理示意图;
图10是根据一示例性实施例示出的确定像素的像素值的原理示意图;
图11A是根据一示例性实施例示出的图像矫正后出现边缘内缩的示意图;
图11B是根据一示例性实施例示出的对矫正后的图像进行裁剪的示意图;
图11C是根据一示例性实施例示出的完成矫正后的图像示意图;
图12是根据一示例性实施例示出的一种图像矫正的装置的框图;
图13是根据一示例性实施例示出的另一种图像矫正的装置的框图;
图14是根据一示例性实施例示出的另一种图像矫正的装置的框图;
图15是根据一示例性实施例示出的另一种图像矫正的装置的框图;
图16是根据一示例性实施例示出的另一种图像矫正的装置的框图;
图17是根据一示例性实施例示出的一种图像矫正的装置的实体结构框图;
图18是根据一示例性实施例示出的另一种图像矫正的装置的实体结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
相关技术中,在实际拍照的过程中,距离相机中心较远的位置会产生畸变,特别是当畸变发生在人脸位置时,更容易被感知到。而相关技术中畸变矫正的方法通常是对整图进行校正,而这种方法会使背景产生变化,造成图像的不协调感。因此,本公开实施例仅针对图像中的部分区域进行畸变矫正,例如,仅矫正人脸区域,而不对背景区域进行矫正,避免矫正后的图像不协调。
这里对相关技术中的畸变矫正方法进行简要说明:
图像畸变主要包括径向畸变和切向畸变两类,径向畸变是指沿着相机镜头的透镜半径方向分布的畸变,产生的原因是光线在远离透镜中心的地方比靠近中心的地方更加弯曲;切向畸变是指由于相机镜头的透镜本身与相机传感器平面、即成像平面不平行而产生的畸变,多是由于透镜被粘贴到镜头模组上的安装偏差导致。径向畸变主要包括图1A示出的桶形畸变和图1B示出的枕形畸变两种。
这里,以径向畸变的矫正为例,相机的成像仪光轴中心的畸变为0,沿着镜头半径方向向边缘移动,距镜头的圆心越远畸变越严重。畸变的数学模型可以用主点(principlepoint)周围的泰勒级数展开式的前几项进行描述,通常使用前两项,即k1和k2,对于畸变很大的镜头,如鱼眼镜头,可以增加使用第三项k3来进行描述,成像仪上某个像素的位置与矫正后的位置可以由如下公式1确定:
其中,(x0,y0)是畸变的像素在成像仪上的原始位置,也就是存在畸变的图像中像素的坐标;(x,y)是矫正后的像素对应的坐标;ki为相机镜头的畸变系数,r为当前像素矫正前的位置到图像的中心的距离。
相机镜头的畸变系数ki需要通过相机标定的方式来确定,本领域技术人员可以通过相关的现有技术来了解,这里不再赘述。
下面结合附图和实施例对本公开的技术方案进一步详细阐述。
图2是根据一示例性实施例示出的一种图像矫正的方法的流程示意图,如图2所示,包括以下步骤。
在步骤101中,确定图像中各矫正单位的矫正偏移量;
这里,可以根据上述相关技术中的方式来确定图像中各矫正单位的矫正偏移量。此时图像作为一个整体,确定出的每一矫正单位的矫正偏移量只与镜头的相关参数和该矫正单位所在的位置有关,而与图像中的内容没有关系。确定完成后,每个矫正单位都具有一个矫正偏移量(dx,dy)。
在步骤102中,确定图像中的至少一个目标区域;
对于不同的图像,可以根据图像的内容或图像的类型等方面,来设定需要进行矫正的区域,也可以根据一定的规则确定出需要进行矫正的区域,将这些区域确定为目标区域。
在步骤103中,根据目标区域确定图像中各矫正单位的图像权重系数;
由于目标区域内的矫正单位是需要进行矫正的区域,而目标区域以外的区域则不需要进行矫正,或者不需要完全矫正。因此,可以根据目标区域来对图像中的矫正单位设定图像权重系数,图像权重系数用于表示矫正的程度,例如,矫正单位为像素,对目标区域中的像素,进行100%的矫正,直接使用矫正偏移量(dx,dy)进行矫正;而对目标区域以外的区域,则可以不进行矫正,或者对矫正偏移量(dx,dy)乘以相应的图像权重系数后再进行矫正,例如,设定图像权重系数为10%,则对相应的像素的矫正采用10%×(dx,dy)偏移量进行矫正。
在步骤104中,根据图像权重系数与矫正偏移量,确定图像中各矫正单位的最终偏移量;
确定图像中的不同区域中的各矫正单位对应的图像权重系数后,根据图像权重系数和原有的矫正偏移量确定最终偏移量,例如,图像权重系数为a,则某一像素的最终偏移量为a×(dx,dy)。
在步骤105中,根据最终偏移量对图像中各矫正单位进行矫正。
根据最终偏移量进行图像的矫正,由于不同区域内的矫正单位对应的图像权重系数不同,因此,不同的区域对应有不同的矫正程度。通过最终偏移量进行矫正后,则实现了对图像中不同区域内矫正单位有针对性的矫正,避免了全图统一矫正造成的不协调感。
图3是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图,如图3所示,包括以下步骤。
在步骤201中,确定图像中各矫正单位的矫正偏移量;
在步骤202中,根据目标区域的特征,确定中心位置和第一设定值;
在步骤203中,以中心位置为圆心、第一设定值为直径确定外圆;
在步骤204中,将外圆以内的区域确定为目标区域;
在步骤205中,根据目标区域确定图像中各矫正单位的图像权重系数;
在步骤206中,根据图像权重系数与矫正偏移量,确定图像中各矫正单位的最终偏移量;
在步骤207中,根据最终偏移量对图像中各矫正单位进行矫正。
上述步骤202和步骤204是上述步骤102中确定目标区域的一种实现方式,通过确定圆心和直径的方式来确定圆形的目标区域。中心位置和第一设定值可以根据图像的内容来确定,例如,根据图像中人脸的位置来确定,将人脸中心的位置确定为中心位置,如可以以人脸中心对应的像素位置,作为中心位置,并根据人脸范围来确定第一设定值;也可以根据设定的规则来确定,例如,将图像中指定位置,如左上角的第n行、第m列的像素,设定为中心位置,以指定长度设定为第一设定值,如图像宽度的二分之一等。
图4是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图,如图4所示,包括以下步骤。
在步骤301中,确定图像中各矫正单位的矫正偏移量;
在步骤302中,根据目标区域的特征,确定中心位置和第一设定值;
在步骤303中,以中心位置为圆心、第一设定值为直径确定外圆;
在步骤304中,将外圆以内的区域确定为目标区域;
在步骤305中,将目标区域内的各矫正单位的图像权重系数设定为第一系数;其中,第一系数大于0且小于等于1;
在步骤306中,将图像中的目标区域以外的各矫正单位的图像权重系数设定为第二系数;其中,第二系数大于等于0且小于第一系数;
在步骤307中,根据图像权重系数与矫正偏移量,确定图像中各矫正单位的最终偏移量;
在步骤308中,根据最终偏移量对图像中各矫正单位进行矫正。
上述步骤305和步骤306是上述步骤205中根据目标区域确定图像权重系数的一种实现方式。由于目标区域内的各矫正单位需要进行矫正,也就是最终偏移量需要大于0,因此,将目标区域内的各矫正单位的图像权重系数设定为大于0且小于等于1的第一系数,采用第一系数对矫正偏移量进行处理后得到的最终偏移量不为0,从而能够实现对目标区域内的各矫正单位的矫正。将目标区域内的图像权重系数设定为1时,则保留了原有的矫正偏移量,对目标区域进行矫正时,是100%的矫正。
而目标区域以外的各矫正单位不需要被矫正,或者不需要100%的矫正,即使对这些矫正单位进行矫正,也至少不会采用比目标区域内的矫正单位更大程度的矫正。因此,将目标区域以外的各矫正单位的图像权重系数设定为小于第一系数的第二系数。当第二系数为0时,则最终偏移量为(0,0),也就是不进行矫正,保留了这些矫正单位在原图中的效果。
图5是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图,如图5所示,包括以下步骤。
在步骤401中,确定图像中各矫正单位的矫正偏移量;
在步骤402中,根据目标区域的特征,确定中心位置和第一设定值;
在步骤403中,以中心位置为圆心、第一设定值为直径确定外圆;
这里的中心位置和第一设定值可以根据图像的内容来确定,也可以根据其他规则来设定。例如,确定图像中人脸的位置,并将人脸的中心的位置确定为中心位置、将人脸的长度确定为第一设定值等。
在步骤404中,将外圆以内的区域确定为目标区域;
在步骤405中,根据目标区域的特征,确定第二设定值;
在步骤406中,以中心位置为圆心、第二设定值为直径确定内圆;其中,第二设定值小于第一设定值;
在步骤407中,将内圆范围以内的各矫正单位对应的图像权重系数设定为第三系数;
在步骤408中,确定内圆的第一圆周到外圆的第二圆周之间的环形区域;
在步骤409中,将环形区域中各矫正单元的图像权重系数设定为第四系数;其中,第三系数由第一圆周至第二圆周,以由第一系数至第二系数的顺序按比例递减。这里,第一系数包括上述第三系数和第四系数;
在步骤410中,将图像中的目标区域以外的各矫正单位的图像权重系数设定为第二系数;其中,第二系数大于等于0且小于第一系数;
在步骤411中,根据图像权重系数与矫正偏移量,确定图像中各矫正单位的最终偏移量;
在步骤412中,根据最终偏移量对图像中各矫正单位进行矫正。
上述步骤405和步骤409中,提供了一种确定第一系数的方式,在外圆以内确定一个直径小于外圆直径的内圆,将该内圆的图像权重系数设定为第三系数,例如,设定为1,那么内圆以内的矫正单位就可以以第三系数的权重来进行矫正;而由内圆的圆周到外圆的圆周的这一圆环范围内,则可以使权重逐渐降低,过渡至外圆以外的范围,从而保证图像的矫正更自然。
在另一实施例中,也可以在外圆的范围内确定两个以上内圆,目的是将目标区域进行更细致的划分;内圆可以是外圆的同心圆,以中心位置为圆心,向外圆的方向确定逐渐递减的第一系数,从而使目标区域内与目标区域外的各矫正单位的图像权重系数,能够形成过渡,在目标区域的中心以最大程度进行矫正,而在目标区域的边缘,则以较小的程度进行矫正。这样做可以在矫正的过程中,避免因分区矫正破坏图像的整体感,实现更加自然的矫正。
在其他实施例中,上述以中心位置为圆心、第一设定值为直径确定外圆包括:根据人脸识别算法确定图像中人脸的位置;根据人脸的位置确定人脸中心;将人脸中心确定为中心位置;根据人脸的范围确定第一设定值;以中心位置为圆心、第一设定值为直径确定外圆。
这里,以针对人脸进行矫正为例。通过人脸识别,确定图像中的人脸的位置,再确定出人脸中心,人脸中心可以通过确定人脸鼻尖位置来确定,也可以通过其他方式来确定;然后根据人脸的范围来设定第一设定值,确定外圆,也就是目标区域的范围。这样,就可以将图像中人脸的范围确定为目标区域并进行后续步骤的矫正,而人脸以外的背景区域则可以不进行矫正。
在其他实施例中,上述根据人脸的范围确定第一设定值,包括:根据人脸的长度确定第一设定值。
确定第一设定值时,可以通过识别人脸中的特征,例如确定发际线和下巴的边缘,来确定人脸的长度,并根据人脸的长度来确定第一设定值,将第一设定值作为直径确定外圆,这一外圆就可以将人脸中的矫正单位包括在内。
图6是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图,如图6所示,包括以下步骤。
在步骤501中,确定图像中各矫正单位的矫正偏移量;
在步骤502中,确定当前矫正单位与图像的中心之间的距离是否大于设定阈值;距离大于设定阈值时,则进入步骤504;距离不大于设定阈值时,则进入步骤503;
在步骤503中,将当前矫正单位的权重系数确定为第五系数,并回到步骤502继续确定下一矫正单位;其中,第五系数小于1且大于等于0;
也就是说,当确定图像中各矫正单位与图像的中心的距离大于设定阈值时,确定目标区域;确定图像中各矫正单位与图像的中心的距离不大于设定阈值时,将图像中各矫正单位的图像权重系数确定为第五系数;其中,第三系数小于1且大于等于0;这里,图像的中心是指原图的中心位置,可以理解为矩形图像的对角线的交点。
在步骤504中,确定图像中的至少一个目标区域;
在步骤505中,根据目标区域确定图像中各矫正单位的图像权重系数;
在步骤506中,根据图像权重系数与矫正偏移量,确定图像中各矫正单位的最终偏移量;
在步骤507中,根据最终偏移量对图像中各矫正单位进行矫正。
上述步骤502和步骤503考虑到了图像整体的畸变不均匀性,当发生径向畸变时,图像的中心畸变的程度较小,而图像的四周畸变的程度较大。因此,可以以图像的中心为准,根据镜头的类型来确定设定阈值,例如,鱼眼镜头拍摄的图像,畸变程度较大,可以设定较小的阈值,而普通镜头则可以设定较大的阈值。确定设定阈值后,将距离不大于设定阈值的矫正单位,也就是图像的中心范围内的矫正单位的图像权重系数确定为第五系数,第五系数可以设定为一个较小的比例值。当第五系数为0时,则不对图像的中心范围内的矫正单位进行后续的处理,也就是保留原图的效果,不进行矫正。
对于与图像的中心的距离大于设定阈值的矫正单位,也就是分布与图像四周的矫正单位,再进行后续步骤的处理,确定其中的目标区域,并进行相应的矫正。
采用这种方式,能够首先排除一部分不需要进行矫正的矫正单位,然后对其他矫正单位进行处理,大大减少了数据的运算量,提升了效率,并且能够保证图像的显示效果,不会出现不协调的问题。
图7是根据一示例性实施例示出的另一种图像矫正的方法的流程示意图,如图7所示,包括以下步骤。
在步骤601中,确定图像中各矫正单位的矫正偏移量;
在步骤602中,确定图像中的至少一个目标区域;
在步骤603中,根据目标区域确定图像中各矫正单位的图像权重系数;
在步骤604中,根据图像权重系数与矫正偏移量,确定图像中各矫正单位的最终偏移量;
在步骤605中,根据最终偏移量,确定图像中各矫正单位的坐标;
在步骤606中,根据各矫正单位的坐标,确定图像矩阵;
在步骤607中,根据图像矩阵内各矫正单位对应原图的像素值,确定图像矩阵内各矫正单位的像素值;
在步骤608中,根据图像矩阵内各矫正单位的像素值确定图像中各矫正单位的像素值;像素值包括颜色值或灰度值。
上述步骤605至608提供了步骤105中对图像中的各矫正单位进行矫正的实现方式。由于步骤601至步骤605中对图像中各矫正单位的处理,都是针对矫正单位的坐标进行的运算,确定矫正后的图像中各矫正单位的坐标后,尚未确定各矫正单位最终的显示效果,因此,需要确定各矫正单位的像素值,包括颜色值或灰度值。根据最终偏移量,确定整个图像中各矫正单位的坐标后,由各矫正单位的坐标构成一个坐标的矩阵,这里,称为图像矩阵,该矩阵中对应的每一矫正单位都可以找到与原图相对应的像素值,并通过原图的像素值确定该图像矩阵中矫正单位的像素值。因此,可以从矫正后的图像中的每一矫正单位,在图像矩阵中找到与之对应的矫正单位,并根据对应的原图中矫正单位的像素值来确定矫正后的图像最终的像素值。
以矫正单位为像素为例,对于最终要生成的矫正后的图像,在已知分辨率的基础上,每一像素的位置是固定的,而通过运算得到的图像矩阵中坐标可能并不能与最终的图像中像素的位置一一对应,因此,这里可以采用双线性插值的方法,对于每一最终的像素,在图像矩阵中找到与之坐标距离最近的四个像素位置,然后通过这四个像素位置对应原图中像素的四个像素值,来进行插值运算,得到矫正后图像中当前像素的最终的像素值。
在其他实施例中,上述实施例中根据最终偏移量对图像中各矫正单位进行矫正后,该方法还包括:
根据矫正后的图像,确定裁剪区域;
根据裁剪区域,对矫正后的图像进行裁剪。
由于对图像进行矫正后,图像边缘的像素可能会变为黑像素,对于整体图像来说,会显示出一个不规则的黑色边框。因此,为了保证图像的显示效果,可以对图像进行适当地裁剪,将不规则的边框裁剪掉,仅保留图像中有用的部分。除此之外,还可以对图像的尺寸进行适当地调整,例如,调整到与原图相同的尺寸,或根据需要调整为合适的尺寸。
图8是根据一示例性实施例示出的又一种图像畸变矫正的方法的流程示意图,上述矫正单位可以是图像中的像素,也可以是由若干个像素组成的调整单元,这里,以像素为例。如图8所示,该方法包括:
步骤701、确定原图的原始坐标矩阵N;
这里的原图是指拍摄直接得到的图像、即未进行矫正的原始图像;原图中每一像素有一个对应的坐标,可以用(x0,y0)来表示,将这些像素的坐标(x0,y0)构成的矩阵称为原始坐标矩阵N。
步骤702、对原图进行畸变矫正;确定畸变矫正后的各像素的矫正偏移量(dx,dy)所构成的偏移量矩阵O;
这里采用相关技术中的畸变矫正方法对原图的全图进行矫正,如图9A所示,图中的短线10表示矫正偏移量,图中为径向畸变的矫正示意图,可以看出,图像的中心的矫正偏移量最小,用一个点表示,几乎为零,而由图像的中心向四周的方向,矫正偏移量逐渐增大。畸变矫正后的图像每一像素的坐标在原图的基础上发生了位置的变化,畸变矫正后的像素的坐标可以用(x,y)来表示,该坐标是由原图的对应像素的坐标(x0,y0)经过对应的矫正偏移量(dx,dy)的畸变矫正后得到的。这里将每一像素的矫正偏移量(dx,dy)组成的矩阵称为偏移量矩阵O。
步骤703、确定原图中各像素与图像的中心的距离大于设定阈值时,继续后续步骤;原图中各像素与图像的中心的距离不大于设定阈值时,则直接设定当前像素的最终偏移量为0。
当图像发生径向畸变时,图像的中心畸变的程度较小,而图像的四周畸变的程度较大。因此,可以以图像的中心为准,根据镜头的类型来确定设定阈值,例如,鱼眼镜头拍摄的图像,畸变程度较大,可以设定较小的阈值,而普通镜头则可以设定较大的阈值。确定设定阈值后,将距离不大于设定阈值的像素,也就是图像的中心范围内的像素的最终偏移量直接确定为0,则不需要对图像的中心范围内的像素进行后续的处理,也就是保留原图的效果,不进行矫正。
步骤704、在原图中识别人脸的位置,确定人脸中心的坐标;
这里的人脸识别可以采用相关技术中的方法,主要包括基于几何特征、基于模板或基于模型等几类方法。识别出人脸的位置后,确定人脸中心的像素的坐标,例如,将人脸的鼻尖位置的一个像素作为人脸中心;或者,以人脸的额头和下巴的位置为边界作圆,将该圆的圆心确定为人脸中心的位置。当原图中有多个人脸时,也可以识别多个人脸的位置,并确定每一人脸中心的像素的坐标。
步骤705、以人脸中心为圆心,根据人脸的范围设定参考直径,并根据参考直径作参考圆;
这里,实际是为了针对人脸进行矫正,确认人脸的范围。以人脸中心为圆心,根据人脸的范围设定一个参考直径作为矫正的范围。此外,也可以设定多个参考直径,以人脸为中心作多个同心圆,以便在后续处理中在每个圆的范围内以一定程度的矫正偏移量进行矫正。例如,如图9B所示,以人脸长度为直径作第一个圆c1,称为内圆c1,以人脸长度的2倍为直径作第二个圆c2,称为外圆c2。如此,能够针对人脸的不同范围进行不同程度的矫正,从而能够与背景自然过渡,使图像更加自然。这里将根据参考直径作的圆称为参考圆。上述示例中的内圆c1与外圆c2均为参考圆。
步骤706、根据参考圆确定图像对应的图像权重系数矩阵M。
确定参考圆内的像素,根据设定规则将参考圆内的每一像素的图像权重系数确定为a,a为大于0、小于等于1的数,将参考圆外的像素的权重系数确定为a=0,如果参考圆为多个,则将最外侧参考圆外的像素的图像权重系数确定为a=0。整个图像中每一像素都确定了相应的图像权重系数,这些图像权重系数构成的矩阵,即为图像权重系数矩阵M。这里,确定参考圆内的像素的图像权重系数可以采用多种方式,例如,参考圆不存在同心的其他参考圆时,将参考圆内的像素的图像权重系数确定为a=1;将参考圆外的像素的图像权重系数确定为a=0;或者,参考圆为以人脸中心为圆心作的内圆c1和外圆c2时,将内圆c1内的像素的图像权重系数确定为a=1,将内圆c1和外圆c2之间的像素的图像权重系数确定为a=0.5;又或者,将内圆c1内的像素的图像权重系数确定为a=1,将内圆c1和外圆c2之间的像素的图像权重系数a,可以由内圆到外圆递减,达到过渡的效果,例如,设定步长递减,或者,按照从内圆到外圆的距离的比例递减来确定,可以根据公式1来确定外圆内像素的权重系数:
其中,d为当前像素到圆心、即人脸中心的距离;a为当前像素的权重系数;c1为圆心到内圆边界的距离,也就是内圆的半径;c2为圆心到外圆边界的距离,也就是外圆的半径。
当确认了图像中每一像素的权重系数后,就可以得到对应的权重系数矩阵M。
步骤707、将图像权重系数矩阵M与偏移量矩阵O相乘,得到最终偏移量矩阵H。
由于采用相关技术进行的畸变矫正是基于偏移量矩阵O对原图进行整体的矫正,无法避免由于对背景的过度矫正而造成图像的不协调。因此,这里将步骤605中得到的权重系数矩阵M与偏移量矩阵O相乘,也就是将每一像素的图像权重系数a与对应的矫正偏移量(dx,dy)相乘,得到需要的最终偏移量a×(dx,dy)。由于图像权重系数矩阵O中对应背景区域,或者不需要进行矫正的区域的图像权重系数a=0,其与矫正偏移量(dx,dy)相乘后得到(0,0),实际上就是不对这些像素进行矫正;而人脸区域内的像素的图像权重系数a大于0且小于等于1,因此,可以在人脸区域内对应最终偏移量a×(dx,dy)进行矫正。
这里,设定需要的最终偏移量为(dx',dy'),可以由如下公式2来确定:
(dx',dy')=a×(dx,dy) (公式3)
图像中每一像素的最终偏移量(dx',dy')构成的矩阵即为最终偏移量矩阵M。
步骤708、根据最终偏移量矩阵M对原图进行矫正,得到矫正后的图像矩阵P。
由于最终偏移量矩阵M是根据采用相关技术的畸变矫正方法得到的矫正偏移量(dx,dy)与图像权重系数得到的,因此,最终的矫正实际上是保留了部分原图的图像像素,又在一定程度上对需要矫正的区域中的像素、如上述例子中的人脸区域内的像素进行了矫正,从而实现了图像的部分矫正。矫正后的每一像素最终得到的矩阵为图像矩阵P。
步骤709、采用双线性插值的方法,确定进行矫正后的像素的像素值。
上述步骤中,对图像的像素进行的矫正都是对坐标的运算,并不涉及对每一像素的颜色值或灰度值的处理,因此,仅确定像素的位置后并不能完成图像的矫正,还需要确定被矫正的每一像素的颜色值或灰度值后才能够完成矫正。这里将像素的颜色值或灰度值统称为像素值。
由于上述步骤中对图像的像素的坐标都是针对像素的像平面坐标系进行的运算,进行畸变矫正后,再对得到的每一个像素的矫正偏移量乘以图像权重系数后,得到的坐标可能并非整数值,或者是无法对应到像素的坐标。而针对最终形成的图像中的实际像素,则需要根据其对应于图像矩阵P中距离最近的几个畸变矫正后的像素的坐标所对应的原图坐标的像素,来确定实际像素的像素值。这里的实际像素是指最终能够体现到图像中的像素,对于一定分辨率的图像,每一个实际像素的坐标都是可以确定的。
这里采用双线性插值的方法,来确定像素值。可以理解为以下步骤:
步骤1,选取一个矫正后图像中的像素,其坐标为(xP,yP)。
由于上述矫正的过程实际上是运算过程,得到的像素的坐标为运算后的结果(x,y),而对于实际要生成的图像,并不存在一个位于(x,y)位置的像素。
这里,所选取的像素是矫正后相应图像中的实际像素,它的位置是(xP,yP),但是通过上述步骤的矫正后并没有一个与该实际像素一致的运算结果。也就是说,上述矫正处理后,不存在得到的(x,y)与(xP,yP)相同。因此,需要进行插值处理,来确定该实际像素的像素值。
步骤2,确定像素最近的四个矫正后的坐标(x,y);
如图10所示,实际像素P的位置为(xP,yP),距离实际像素P最近的四个矫正后的四个像素分别用Q11、Q12、Q21和Q22表示,他们的坐标分别表示为(x1,y1)、(x1,y2)、(x2,y1)和(x2,y2)。通过上述步骤607中矫正后的图像矩阵P,可以确定上述四个像素的坐标。
步骤3,确定像素Q11、Q12、Q21和Q22对应的像素值f(Q11)、f(Q12)、f(Q21)和f(Q22)。
由于这里的四个像素Q11、Q12、Q21和Q22都是从原图对应的原始的像素通过矫正得到的,因此,每一个像素都可以在原图中确定对应的像素值,可以通过检测原图对应像素的颜色值或灰度值来确定。这里可以用f(Q11)、f(Q12)、f(Q21)和f(Q22)来分别表示这四个像素在原图中对应的像素值,并赋值给对应的校正后的像素Q11、Q12、Q21和Q22
步骤4,在x方向和y方向分别针对实际像素P进行插值运算,确定P的像素值f(P)。
首先,在x方向上对应y1和y2两个y值进行两次插值计算,可采用如下公式3进行:
得到了图中R1与R2两点的坐标,然后在y方向上进行一次插值计算,可采用如下公式4进行:
如此,就通过双线性插值的方法,得到了矫正后的图像中被矫正后的实际像素的像素值。通过该方法完成每一被矫正的像素的计算后,就能够得到整个图像中每一像素的最终像素值,从而得到矫正后的图像。
步骤709之后还可以包括:步骤710、对矫正后的图像进行裁剪,得到最终图像。
在步骤709中,完成了对图像中各像素的矫正,确定了矫正后的像素的像素值。矫正完成后,由矫正后的全部像素和矫正区域以外未进行矫正的全部像素,共同构成了矫正后的图像。由于矫正的过程中,对像素的位置进行了调整,得到的图像会在边缘出现内缩的情况,也就是图像边缘的一些像素位置的像素值为0,显现出一个不规则的黑色边缘11,如图11A所示。
此时,如图11B在图像内部选取能够包括最大图像区域的矩形框12进行裁剪,去除不规则的黑色边缘,得到最终的图像。
为了能够与原图相适应,此时可以进行适当的缩放,将处理后的图像放大到与原图相同的尺寸,最终完成图像的畸变矫正,如图11C所示,完成矫正的图像中,人脸13的畸变被矫正,而背景部分则保留了原图中的效果。
由于本公开实施例通过为每个像素确定权重系数的方法,针对图像的部分区域的各矫正单位分别进行了矫正,而不需要矫正的另一部分区域的像素则保留了原始图像的效果,因此,在计算矫正后像素的像素值时,也可以排除未进行矫正的部分,而仅计算部分进行了矫正的像素的像素值,从而大大降低了运算量;并且保证了最终的矫正结果,能够有针对性的对图像中的部分内容进行畸变矫正,避免全图矫正带来的不协调感,提升了图像的质量。
图12是根据一示例性实施例示出的一种图像矫正的装置框图。参照图12,该装置1200包括:
第一确定模块1201,用于确定图像中各矫正单位的矫正偏移量;
第二确定模块1202,用于确定图像中的至少一个目标区域;
第三确定模块1203,用于根据目标区域确定图像中各矫正单位的图像权重系数;
第四确定模块1204,用于根据图像权重系数与矫正偏移量,确定图像中各矫正单位的最终偏移量;
以及,矫正模块1205,用于根据最终偏移量对图像中各矫正单位进行矫正。
在其他实施例中,上述第二确定模块1202,具体用于根据所述目标区域的特征,确定中心位置和第一设定值;并以中心位置为圆心、第一设定值为直径确定外圆;将外圆以内的区域确定为目标区域。
图13是根据一示例性实施例示出的一种图像矫正的装置框图。参照图13,该装置1300包括:第一确定模块1201、第二确定模块1202、第三确定模块1203、第四确定模块1204和矫正模块1205,其中,第三确定模块1203包括:
第一设定子模块1301,用于将目标区域内的各矫正单位的图像权重系数设定为第一系数;其中,第一系数大于0且小于等于1;
第二设定子模块1302,用于将图像中的目标区域以外的各矫正单位的图像权重系数设定为第二系数;其中,第二系数大于等于0且小于第一系数。
在其他实施例中,上述第一系数包括第三系数和第四系数;
上述第一设定子模块1301,还用于根据目标区域的特征,确定第二设定值;以中心位置为圆心、第二设定值为直径确定内圆;其中,第二设定值小于第一设定值;将内圆范围以内的各矫正单位对应的图像权重系数设定为第三系数;确定内圆的第一圆周到外圆的第二圆周之间的环形区域;将环形区域中各矫正单元的图像权重系数设定为第四系数;其中,第三系数由第一圆周至第二圆周,以由第一系数至第二系数的顺序按比例递减。
图14是根据一示例性实施例示出的一种图像矫正的装置框图。参照图14,该装置1400包括:第一确定模块1201、第二确定模块1202、第三确定模块1203、第四确定模块1204和矫正模块1205,其中,上述第二确定模块1202,包括:
第一确定子模块1401,用于根据人脸识别算法确定图像中人脸的位置;
第二确定子模块1402,用于根据人脸的位置确定人脸中心;
第三确定子模块1403,用于将人脸中心确定为中心位置;
第四确定子模块1404,用于根据人脸的范围确定第一设定值;
第五确定子模块1405,用于以中心位置为圆心、第一设定值为直径确定外圆。
在其他实施例中,上述第四确定子模块1404,具体用于根据人脸的长度确定第一设定值。
图15是根据一示例性实施例示出的一种图像矫正的装置框图。参照图15,该装置1500包括:第一确定模块1201、第二确定模块1202、第三确定模块1203、第四确定模块1204和矫正模块1205,该装置还包括:
第六确定模块1501,用于根据人脸识别算法确定图像中人脸的位置;
第七确定模块1502,用于确定人脸中各矫正单位与图像的中心的距离大于设定阈值时,确定目标区域;
以及,第八确定模块1503,用于确定人脸中各矫正单位与图像的中心的距离不大于设定阈值时,将人脸中各矫正单位的图像权重系数确定为第三系数;其中,第三系数小于1且大于等于0。
图16是根据一示例性实施例示出的一种图像矫正的装置框图。参照图16,该装置1600包括:第一确定模块1201、第二确定模块1202、第三确定模块1203、第四确定模块1204和矫正模块1205,其中,矫正模块1205,包括:
第六确定子模块1601,用于根据最终偏移量,确定图像中各矫正单位的坐标;
第七确定子模块1602,用于根据各矫正单位的坐标,确定图像矩阵;
第八确定子模块1603,用于根据图像矩阵内各矫正单位对应原图的像素值,确定图像矩阵内各矫正单位的像素值;
以及,第九确定子模块1604,用于根据图像矩阵内各矫正单位的像素值确定图像中各矫正单位的像素值;像素值包括颜色值或灰度值。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图17是根据一示例性实施例示出的一种用于图像矫正的装置1700的框图。例如,装置1700可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图17,装置1700可以包括以下一个或多个组件:处理组件1701,存储器1702,电源组件1703,多媒体组件1704,音频组件1705,输入/输出(I/O)接口1706,传感器组件1707,以及通信组件1708。
上述存储器1702用于存储能够在处理器1701上运行的可执行指令;其中,
处理器1701用于运行可执行指令时,可执行指令执行上述任一方法实施例中所提供的图像矫正的方法中的步骤。
处理组件1701通常控制装置1700的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1701可以包括一个或多个处理器1710来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1701还可以包括一个或多个模块,便于处理组件1701和其他组件之间的交互。例如,处理组件1701可以包括多媒体模块,以方便多媒体组件1704和处理组件1701之间的交互。
存储器1710被配置为存储各种类型的数据以支持在装置1700的操作。这些数据的示例包括用于在装置1700上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1702可以由任何类型的易失性或非易失性存储装置或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘或光盘。
电源组件1703为装置1700的各种组件提供电力。电源组件1703可以包括:电源管理系统,一个或多个电源,及其他与为装置1700生成、管理和分配电力相关联的组件。
多媒体组件1704包括在所述装置1700和用户之间提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1704包括一个前置摄像头和/或后置摄像头。当装置1700处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和/或后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1705被配置为输出和/或输入音频信号。例如,音频组件1705包括一个麦克风(MIC),当装置1700处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1710或经由通信组件1708发送。在一些实施例中,音频组件1705还包括一个扬声器,用于输出音频信号。
I/O接口1706为处理组件1701和外围接口模块之间提供接口,上述外围接口模块可以是键盘、点击轮、按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1707包括一个或多个传感器,用于为装置1700提供各个方面的状态评估。例如,传感器组件1707可以检测到装置1700的打开/关闭状态、组件的相对定位,例如所述组件为装置1700的显示器和小键盘,传感器组件1707还可以检测装置1700或装置1700的一个组件的位置改变,用户与装置1700接触的存在或不存在,装置1700方位或加速/减速和装置1700的温度变化。传感器组件1707可以包括接近传感器,被配置为在没有任何的物理接触时检测附近物体的存在。传感器组件1707还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1707还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件1708被配置为便于装置1700和其他装置之间有线或无线方式的通信。装置1700可以接入基于通信标准的无线网络,如WiFi、2G或3G,或它们的组合。在一个示例性实施例中,通信组件1708经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1708还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术或其他技术来实现。
在示例性实施例中,装置1700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1702,上述指令可由装置1700的处理器1710执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储装置等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行上述任一实施例中的图像矫正的方法。在一实施例中,所述方法包括:
确定图像中各矫正单位的矫正偏移量;
确定图像中的目标区域;
根据目标区域确定图像中各矫正单位的图像权重系数;
根据图像权重系数与矫正偏移量,确定图像中各矫正单位的最终偏移量;
根据最终偏移量对图像中各矫正单位进行矫正。
图18是根据一示例性实施例示出的一种控制应用程序图标的装置1800的框图。例如,装置1800可以被提供为一具有处理能力的设备。参照图18,装置1800包括处理组件1801,其进一步包括一个或多个处理器,以及由存储器1802所代表的存储器资源,用于存储可由处理组件1801的执行的指令,例如应用程序。存储器1802中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1801被配置为执行指令,以执行上述任一实施例中的控制应用程序图标的方法。
装置1800还可以包括一个电源组件1803被配置为执行装置1800的电源管理,一个有线或无线网络接口1804被配置为将装置1800连接到网络,和一个输入/输出(I/O)接口1805。装置1800可以操作基于存储在存储器1802的操作系统,例如Windows ServerTM、MacOS XTM、UnixTM,LinuxTM、FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (19)

1.一种图像矫正的方法,其特征在于,包括:
确定图像中各矫正单位的矫正偏移量;
确定所述图像中的至少一个目标区域;
根据所述目标区域确定所述图像中各矫正单位的图像权重系数;
根据所述图像权重系数与所述矫正偏移量,确定所述图像中各矫正单位的最终偏移量;
根据所述最终偏移量对所述图像中各矫正单位进行矫正。
2.根据权利要求1所述的方法,其特征在于,所述确定所述图像中的待矫正区域,包括:
根据所述目标区域的特征,确定中心位置和第一设定值;
以所述中心位置为圆心、所述第一设定值为直径确定外圆;
将所述外圆以内的区域确定为所述目标区域。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标区域确定所述图像中各矫正单位的图像权重系数,包括:
将所述目标区域内的各矫正单位的图像权重系数设定为第一系数;其中,所述第一系数大于0且小于等于1;
将所述图像中的目标区域以外的各矫正单位的图像权重系数设定为第二系数;其中,所述第二系数大于等于0且小于所述第一系数。
4.根据权利要求3所述的方法,其特征在于,所述第一系数包括第三系数和第四系数;所述将所述目标区域内的各矫正单位的图像权重系数设定为第一系数,包括:
根据所述目标区域的特征,确定第二设定值;
以所述中心位置为圆心、所述第二设定值为直径确定内圆;其中,所述第二设定值小于所述第一设定值;
将所述内圆范围以内的各矫正单位对应的图像权重系数设定为第三系数;
确定所述内圆的第一圆周到所述外圆的第二圆周之间的环形区域;
将所述环形区域中各矫正单元的图像权重系数设定为第四系数;其中,所述第三系数由第一圆周至所述第二圆周,以由所述第一系数至所述第二系数的顺序按比例递减。
5.根据权利要求2所述的方法,其特征在于,所述以所述中心位置为圆心、所述第一设定值为直径确定外圆包括:
根据人脸识别算法确定所述图像中人脸的位置;
根据所述人脸的位置确定人脸中心;
将所述人脸中心确定为所述中心位置;
根据所述人脸的范围确定所述第一设定值;
以所述中心位置为圆心、所述第一设定值为直径确定外圆。
6.根据权利要求5所述的方法,其特征在于,所述根据人脸的范围确定第一设定值,包括:
根据所述人脸的长度确定所述第一设定值。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述确定所述目标区域之前,该方法还包括:
确定图像中各矫正单位与所述图像的中心的距离大于设定阈值时,确定所述目标区域;
确定图像中各矫正单位与所述图像的中心的距离不大于设定阈值时,将所述图像中各矫正单位的图像权重系数确定为第五系数;其中,所述第五系数小于1且大于等于0。
8.根据权利要求1至6任一项所述的方法,其特征在于,所述根据所述最终偏移量对图像中各矫正单位进行矫正,包括:
根据所述最终偏移量,确定所述图像中各矫正单位的坐标;
根据所述各矫正单位的所述坐标,确定图像矩阵;
根据所述图像矩阵内各矫正单位对应原图的像素值,确定所述图像矩阵内各矫正单位的像素值;
根据所述图像矩阵内各矫正单位的像素值确定图像中各矫正单位的像素值;所述像素值包括颜色值或灰度值。
9.根据权利要求1至6任一项所述的方法,其特征在于,所述根据所述最终偏移量对所述图像中各矫正单位进行矫正后,所述方法还包括:
根据矫正后的图像,确定裁剪区域;
根据所述裁剪区域,对所述矫正后的图像进行裁剪。
10.一种图像矫正的装置,其特征在于,包括:
第一确定模块,用于确定图像中各矫正单位的矫正偏移量;
第二确定模块,用于确定所述图像中的至少一个目标区域;
第三确定模块,用于根据所述目标区域确定所述图像中各矫正单位的图像权重系数;
第四确定模块,用于根据所述图像权重系数与所述矫正偏移量,确定所述图像中各矫正单位的最终偏移量;
矫正模块,用于根据所述最终偏移量对所述图像中各矫正单位进行矫正。
11.根据权利要求10所述的装置,其特征在于,
所述第二确定模块,还用于根据所述目标区域的特征,确定中心位置和第一设定值;并以所述中心位置为圆心、所述第一设定值为直径确定外圆;将所述外圆以内的区域确定为所述目标区域。
12.根据权利要求11所述的装置,其特征在于,所述第三确定模块,包括:
第一设定子模块,用于将所述目标区域内的各矫正单位的图像权重系数设定为第一系数;其中,所述第一系数大于0且小于等于1;
第二设定子模块,用于将所述图像中的目标区域以外的各矫正单位的图像权重系数设定为第二系数;其中,所述第二系数大于等于0且小于所述第一系数。
13.根据权利要求12所述的装置,其特征在于,所述第一系数包括第三系数和第四系数;所述第一设定子模块,还用于根据所述目标区域的特征,确定第二设定值;以所述中心位置为圆心、所述第二设定值为直径确定内圆;其中,所述第二设定值小于所述第一设定值;将所述内圆范围以内的各矫正单位对应的图像权重系数设定为第三系数;确定所述内圆的第一圆周到所述外圆的第二圆周之间的环形区域;将所述环形区域中各矫正单元的图像权重系数设定为第四系数;其中,所述第三系数由第一圆周至所述第二圆周,以由所述第一系数至所述第二系数的顺序按比例递减。
14.根据权利要求11所述的装置,其特征在于,所述第二确定模块,包括:
第一确定子模块,用于根据人脸识别算法确定所述图像中人脸的位置;
第二确定子模块,用于根据所述人脸的位置确定人脸中心;
第三确定子模块,用于将所述人脸中心确定为所述中心位置;
第四确定子模块,用于根据所述人脸的范围确定所述第一设定值;
第五确定子模块,用于以所述中心位置为圆心、所述第一设定值为直径确定外圆。
15.根据权利要求10至14任一项所述的装置,其特征在于,所述装置还包括:
第六确定模块,用于根据人脸识别算法确定所述图像中人脸的位置;
第七确定模块,用于确定人脸中各矫正单位与所述图像的中心的距离大于设定阈值时,确定所述目标区域;
第八确定模块,用于确定人脸中各矫正单位与所述图像的中心的距离不大于设定阈值时,将所述人脸中各矫正单位的图像权重系数确定为第三系数;其中,所述第三系数小于1且大于等于0。
16.根据权利要求10至14任一项所述的装置,其特征在于,所述矫正模块,包括:
第六确定子模块,用于根据所述最终偏移量,确定所述图像中各矫正单位的坐标;
第七确定子模块,用于根据所述各矫正单位的所述坐标,确定图像矩阵;
第八确定子模块,用于根据所述图像矩阵内各矫正单位对应原图的像素值,确定所述图像矩阵内各矫正单位的像素值;
第九确定子模块,用于根据所述图像矩阵内各矫正单位的像素值确定图像中各矫正单位的像素值;所述像素值包括颜色值或灰度值。
17.根据权利要求10至14任一项所述的装置,其特征在于,所述装置还包括:
第九确定模块,用于根据矫正后的图像,确定裁剪区域;
裁剪模块,用于根据所述裁剪区域,对所述矫正后的图像进行裁剪。
18.一种图像矫正的装置,其特征在于,所述图像矫正的装置至少包括:处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:
处理器用于运行所述可执行指令时,所述可执行指令执行上述权利要求1至9任一项提供的图像矫正的方法中的步骤。
19.一种非临时性计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述权利要求1至9任一项提供的图像矫正的方法中的步骤。
CN201910511806.XA 2019-06-13 2019-06-13 一种图像矫正的方法及装置、存储介质 Active CN110400266B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910511806.XA CN110400266B (zh) 2019-06-13 2019-06-13 一种图像矫正的方法及装置、存储介质
US16/842,861 US11288779B2 (en) 2019-06-13 2020-04-08 Method and device for image correction and storage medium
EP20169600.2A EP3751508B1 (en) 2019-06-13 2020-04-15 Method and device for image correction and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910511806.XA CN110400266B (zh) 2019-06-13 2019-06-13 一种图像矫正的方法及装置、存储介质

Publications (2)

Publication Number Publication Date
CN110400266A true CN110400266A (zh) 2019-11-01
CN110400266B CN110400266B (zh) 2021-12-28

Family

ID=68323187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910511806.XA Active CN110400266B (zh) 2019-06-13 2019-06-13 一种图像矫正的方法及装置、存储介质

Country Status (3)

Country Link
US (1) US11288779B2 (zh)
EP (1) EP3751508B1 (zh)
CN (1) CN110400266B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381740A (zh) * 2020-11-24 2021-02-19 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN113158924A (zh) * 2021-04-27 2021-07-23 深圳赋能软件有限公司 散斑图像矫正方法、人脸识别方法、装置及设备
CN113409262A (zh) * 2021-06-15 2021-09-17 苏州芯迈智能科技有限公司 Pcb探针定位方法、装置、图形处理器及存储介质
CN113518173A (zh) * 2020-03-27 2021-10-19 上海都诺文化传播有限公司 一种图片处理方法
CN113538252A (zh) * 2020-04-17 2021-10-22 嘉楠明芯(北京)科技有限公司 图像矫正方法以及装置
WO2023010661A1 (zh) * 2021-08-04 2023-02-09 展讯通信(上海)有限公司 图像裁剪方法及相关产品

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312056A (zh) * 2019-08-01 2021-02-02 普兰特龙尼斯公司 利用自适应镜头失真校正和图像变形减少的视频会议
CN113520709B (zh) * 2021-06-25 2024-01-02 艾视雅健康科技(苏州)有限公司 一种头戴式电子辅助视觉设备及其视物变形矫正方法
CN116245748B (zh) * 2022-12-23 2024-04-26 珠海视熙科技有限公司 环视镜头的畸变校正方法、装置、设备、系统及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038163A (zh) * 2007-02-07 2007-09-19 北京航空航天大学 可变焦摄像机空间三维位姿的单视测量方法
CN103729843A (zh) * 2013-12-20 2014-04-16 电子科技大学 基于马尔可夫的医学图像分割方法
CN104166955A (zh) * 2014-05-29 2014-11-26 西安理工大学 基于保角变换图像哈希生成及图像篡改检测定位方法
CN106404173A (zh) * 2016-08-30 2017-02-15 聚光科技(杭州)股份有限公司 校正光谱漂移的方法及装置
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
CN106981050A (zh) * 2016-01-18 2017-07-25 深圳岚锋创视网络科技有限公司 对鱼眼镜头拍摄的图像矫正的方法和装置
US20180061086A1 (en) * 2016-08-31 2018-03-01 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium
CN107945113A (zh) * 2017-11-17 2018-04-20 北京天睿空间科技股份有限公司 局部图像拼接错位的矫正方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453490B2 (en) * 1997-01-31 2008-11-18 Gyrus Acmi, Inc. Correction of image signals characteristic of non-uniform images in an endoscopic imaging system
US6603885B1 (en) * 1998-04-30 2003-08-05 Fuji Photo Film Co., Ltd. Image processing method and apparatus
US6829382B2 (en) * 2001-06-13 2004-12-07 Shih-Jong J. Lee Structure-guided automatic alignment for image processing
JP6201938B2 (ja) * 2014-09-09 2017-09-27 カシオ計算機株式会社 画像補正装置、画像補正方法及びプログラム
US10395403B1 (en) * 2014-12-22 2019-08-27 Altia Systems, Inc. Cylindrical panorama

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101038163A (zh) * 2007-02-07 2007-09-19 北京航空航天大学 可变焦摄像机空间三维位姿的单视测量方法
CN103729843A (zh) * 2013-12-20 2014-04-16 电子科技大学 基于马尔可夫的医学图像分割方法
CN104166955A (zh) * 2014-05-29 2014-11-26 西安理工大学 基于保角变换图像哈希生成及图像篡改检测定位方法
CN106981050A (zh) * 2016-01-18 2017-07-25 深圳岚锋创视网络科技有限公司 对鱼眼镜头拍摄的图像矫正的方法和装置
CN106404173A (zh) * 2016-08-30 2017-02-15 聚光科技(杭州)股份有限公司 校正光谱漂移的方法及装置
US20180061086A1 (en) * 2016-08-31 2018-03-01 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and medium
CN106683045A (zh) * 2016-09-28 2017-05-17 深圳市优象计算技术有限公司 一种基于双目像机的全景图像拼接方法
CN107945113A (zh) * 2017-11-17 2018-04-20 北京天睿空间科技股份有限公司 局部图像拼接错位的矫正方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113518173A (zh) * 2020-03-27 2021-10-19 上海都诺文化传播有限公司 一种图片处理方法
CN113538252A (zh) * 2020-04-17 2021-10-22 嘉楠明芯(北京)科技有限公司 图像矫正方法以及装置
CN113538252B (zh) * 2020-04-17 2024-03-26 嘉楠明芯(北京)科技有限公司 图像矫正方法以及装置
CN112381740A (zh) * 2020-11-24 2021-02-19 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN112381740B (zh) * 2020-11-24 2024-02-06 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN113158924A (zh) * 2021-04-27 2021-07-23 深圳赋能软件有限公司 散斑图像矫正方法、人脸识别方法、装置及设备
CN113409262A (zh) * 2021-06-15 2021-09-17 苏州芯迈智能科技有限公司 Pcb探针定位方法、装置、图形处理器及存储介质
WO2023010661A1 (zh) * 2021-08-04 2023-02-09 展讯通信(上海)有限公司 图像裁剪方法及相关产品

Also Published As

Publication number Publication date
EP3751508A1 (en) 2020-12-16
US20200394769A1 (en) 2020-12-17
CN110400266B (zh) 2021-12-28
EP3751508B1 (en) 2023-05-31
US11288779B2 (en) 2022-03-29

Similar Documents

Publication Publication Date Title
CN110400266A (zh) 一种图像矫正的方法及装置、存储介质
US10032076B2 (en) Method and device for displaying image
KR102278474B1 (ko) 다중 카메라 모듈 기반의 이미지 처리 방법, 장치, 기기 및 매체
JP6374986B2 (ja) 顔認識方法、装置及び端末
EP2927787B1 (en) Method and device for displaying picture
JP2016533100A (ja) 撮影パラメータの調節方法、装置、プログラム、及び記録媒体
CN103945121A (zh) 一种信息处理方法及电子设备
CN106530252B (zh) 图像处理方法及装置
CN105957037B (zh) 图像增强方法及装置
CN109360261A (zh) 图像处理方法、装置、电子设备及存储介质
CN107231505B (zh) 图像处理方法及装置
CN107958439A (zh) 图像处理方法及装置
CN107566695A (zh) 一种补光方法及移动终端
WO2020114097A1 (zh) 一种边界框确定方法、装置、电子设备及存储介质
EP3770859A1 (en) Image processing method, image processing apparatus, and storage medium
KR102273059B1 (ko) 얼굴 이미지를 강화하는 방법 및 장치, 전자 기기
CN107992894B (zh) 图像识别方法、装置及计算机可读存储介质
CN115526774A (zh) 图像插值方法、装置、存储介质及电子设备
EP3799415A2 (en) Method and device for processing videos, and medium
CN115802173B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN107578382A (zh) 图像处理方法及装置
US20230020937A1 (en) Image processing method, electronic device, and storage medium
KR102600849B1 (ko) 이미지 처리 방법, 장치 및 저장 매체
CN110392294A (zh) 人体检测方法、装置、电子设备以及存储介质
CN104811602A (zh) 移动终端的自拍方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant