CN110751602B - 基于人脸检测的保形畸变校正方法和装置 - Google Patents
基于人脸检测的保形畸变校正方法和装置 Download PDFInfo
- Publication number
- CN110751602B CN110751602B CN201910894368.XA CN201910894368A CN110751602B CN 110751602 B CN110751602 B CN 110751602B CN 201910894368 A CN201910894368 A CN 201910894368A CN 110751602 B CN110751602 B CN 110751602B
- Authority
- CN
- China
- Prior art keywords
- image
- corrected
- obtaining
- area
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 114
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 154
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
本公开涉及基于人脸检测的保形畸变校正方法和装置，其中，该方法包括，获取步骤，基于人脸检测，得到待校正图像中的处理区域，并获取处理区域的面积信息和处理区域的位置信息，其中，处理区域包括待校正图像中的一个人脸；处理步骤，根据面积信息和位置信息，得到全局参数；校正步骤，根据全局参数，对待校正图像进行校正处理，得到待校正图像的校正图像。本公开基于全局参数，对待校正图像进行保形畸变校正，以得到边缘人脸扭曲得到有效缓解的校正图像。
Description
技术领域
本公开涉及图像畸变校正技术领域，具体是涉及一种基于人脸检测的保形畸变校正方法和装置。
背景技术
目前，许多高端智能手机配备有三颗以上的后置摄像头，通常有一颗为超广角镜头，用来拍摄更大视野的照片。由于超广角镜头相较于普通镜头具有更大的视场角(往往大于120°)，所以也导致超广角镜头具有更大的畸变，尤其是成像位于边缘区域的物体更容易出现不同程度的扭曲变形。
目前也存在一些用来校正图像边缘扭曲的方案，在这些方案中，往往需要手动调节校正参数才能达到边缘图像校正的目的，难以实现自动化校正。也有一些基于地图学的墨卡托投影保形映射原理的保形畸变校正方案，但是此类校正方案在进行等角映射的同时，也会使视场中的一些直线出现不同程度的弯曲，进而不能更好得实现边缘畸变图像的校正。
发明内容
为了克服现有技术中存在的问题，本公开提供一种基于人脸检测的保形畸变校正方法和装置。
第一方面，本公开实施例提供一种基于人脸检测的保形畸变校正方法，其包括：获取步骤，基于人脸检测，得到待校正图像中的处理区域，并获取处理区域的面积信息和处理区域的位置信息，其中，处理区域包括待校正图像中的一个人脸；处理步骤，根据面积信息和位置信息，得到全局参数；校正步骤，根据全局参数，对待校正图像进行校正处理，得到待校正图像的校正图像。
在一例中，校正步骤包括：获取待校正图像上像素点的图像坐标，基于相机镜头畸变系数，对像素点的图像坐标进行线性畸变校正，获得像素点的第一校正图像坐标；基于全局参数，对像素点的第一校正图像坐标进行保形畸变校正，获得像素点的第二校正图像坐标；基于像素点的第二校正图像坐标，得到待校正图像的校正图像。
在一例中，基于全局参数，对像素点的第一校正图像坐标进行保形畸变校正，获得像素点的第二校正图像坐标包括：根据像素点的第一校正图像坐标进行相机坐标系转换，得到像素点的第一校正相机坐标；根据全局参数，对像素点的第一校正相机坐标进行保形畸变校正，得到像素点的第二校正相机坐标；根据像素点的第二校正相机坐标进行图像坐标系转换，得到像素点的第二校正图像坐标。
在一例中，获取处理区域的面积信息包括：获取处理区域面积和待校正图像面积；根据处理区域面积和待校正图像面积，得到处理区域的面积信息。
在一例中，根据处理区域面积和待校正图像面积，得到处理区域的面积信息包括：根据处理区域面积和待校正图像面积之间的比值，得到处理区域的面积信息。
在一例中，获取处理区域的位置信息包括：获取处理区域中心点与待校正图像中心点之间的距离；根据距离和待校正图像的对角线的长度值，得到处理区域的位置信息。
在一例中，根据距离和待校正图像的对角线的长度值，得到处理区域的位置信息包括：根据距离和长度值之间的比值，得到处理区域的位置信息。
在一例中，基于人脸检测，得到待校正图像中的多个处理区域；处理步骤包括：根据多个处理区域的面积信息和位置信息，得到多个初始全局参数，根据多个初始全局参数，得到全局参数。
在一例中，根据多个初始全局参数，得到全局参数包括：基于多个初始全局参数，确定多个初始全局参数的最大值，并将最大值作为全局参数。
在一例中，获取步包括：基于人脸检测，得到待校正图像中的人脸区域，若人脸区域位于待校正图像中心区域以外的区域，则将人脸区域作为处理区域，其中，待校正图像中心区域包括：以待校正图像中心点为圆心，以预设半径形成的圆形区域，其中，预设半径小于待校正图像的宽度。
第二方面，本公开实施例提供一种基于人脸检测的保形畸变校正装置，该装置具有实现上述第一方面涉及的基于人脸检测的保形畸变校正方法的功能。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一例中，基于人脸检测的保形畸变校正装置包括，获取模块，用于基于人脸检测，得到待校正图像中的处理区域，并获取处理区域的面积信息和处理区域的位置信息，其中，处理区域包括待校正图像中的一个人脸；处理模块，用于根据面积信息和位置信息，得到全局参数；校正模块，用于根据全局参数，对待校正图像进行校正处理，得到待校正图像的校正图像。
第三方面，本公开实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的基于人脸检测的保形畸变校正方法。
第四方面，本公开实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行第一方面的基于人脸检测的保形畸变校正方法。
本公开提供一种基于人脸检测的保形畸变校正方法和装置，其中，基于人脸检测的保形畸变校正方法，通过人脸检测获取待校正图像的处理区域的面积信息和位置信息，基于处理区域的面积信息和位置信息，得到待校正图像的全局参数；并利用全局参数对待校正图像进行保形畸变校正，以得到与待校正图像对应的位于图像边缘的人脸扭曲得到有效缓解的校正图像。
附图说明
通过参考附图阅读下文的详细描述，本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的实施方式，其中：
图1示出了本公开实施例提供的一种基于人脸检测的保形畸变校正方法示意图；
图2示出了本公开实施例提供的一种基于人脸检测的保形畸变校正方法中校正步骤的示意图；
图3示出了本公开实施例提供的一种基于人脸检测的保形畸变校正装置示意图；
图4示出了本公开实施例提供的一种电子设备示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。
需要注意，虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。
图1为本公开实施例提供的一种基于人脸检测的保形畸变校正方法的示意图。如图1所示，基于人脸检测的保形畸变校正方法100包括获取步骤S101，处理步骤S102和校正步骤S103。其中，获取步骤S101包括：基于人脸检测，得到待校正图像中的处理区域，并获取处理区域的面积信息和处理区域的位置信息，其中，处理区域包括待校正图像中的一个人脸。处理步骤S102包括：根据面积信息和位置信息，得到全局参数。校正步骤S103包括：根据全局参数，对待校正图像进行校正处理，得到待校正图像的校正图像。
作为一种可能的实施例，在获取步骤S101中，可以通过人脸检测，检测出待校正图像中的人脸，并输出该人脸框的位置，也就是待校正图像的处理区域。其中，处理区域中包含有待校正图像中的一个人脸。也就是说，待校正图像中的一个处理区域，对应待校正图像的一个人脸。在实际应用中，基于人脸检测，还可以获得该处理区域的面积信息和位置信息。
需要说明的是，待校正图像可以是已经完成初步校正后的图像，只是该图像中的人脸，尤其是位于图像边缘位置的人脸，还需要进一步校正。
由于待处理图像上人脸的畸变情况，往往和人脸的面积信息和位置信息有关。因此，在处理步骤S102中，可以根据处理区域的面积信息和位置信息，得到全局参数。基于全局参数，通过对全图像进行校正，来实现对图像中的人脸进行校正。在实际应用中，可以对处理区域的面积信息和位置信息进行加权处理，以得到全局参数。
在校正步骤S103中，根据得到的全局参数，对待校正图像进行校正处理，以得到待校正图像的校正图像。其中，对待校正图像进行校正处理，可以既包括对待校正图像进行线性畸变校正处理，又包括对待校正图像进行保形畸变校正处理。
本公开提供一种基于人脸检测的保形畸变校正方法和装置，其中，基于人脸检测的保形畸变校正方法，通过人脸检测获取待校正图像的处理区域的面积信息和位置信息，基于处理区域的面积信息和位置信息，得到待校正图像的全局参数；并利用全局参数对待校正图像进行保形畸变校正，以得到与待校正图像对应的位于图像边缘的人脸扭曲得到有效缓解的校正图像。
作为一种可能的实施例，如图2所示，校正步骤S103可以包括：步骤S103a，获取待校正图像上像素点的图像坐标，基于相机镜头畸变系数，对像素点的图像坐标进行线性畸变校正，获得像素点的第一校正图像坐标；步骤S103b，基于全局参数，对像素点的第一校正图像坐标进行保形畸变校正，获得像素点的第二校正图像坐标；步骤S103c，基于像素点的第二校正图像坐标，得到待校正图像的校正图像。
在步骤S103a中，基于相机镜头的畸变系数，对待校正图像上像素点的图像坐标进行线性畸变校正，以获得像素点的第一校正图像坐标。也就是说，通过步骤S103a，即实现了对待校正图像的线性畸变校正，使得位于图像中心区域的图像基本保持原貌。虽然待校正图像已经完成线性畸变校正，但是，位于待校正图像边缘位置的人脸往往还可能存在扭曲变形的情况。
在步骤S103b中，基于全局参数，对已完成线性畸变校正的像素点进行保形畸变校正。在实际应用中，通过对像素点的第一校正图像坐标进行保形畸变校正来实现，以使得位于待校正图像边缘位置的人脸得到校正。通过步骤S103b，可以获得像素点的第二校正图像坐标。
在步骤S103c中，由于像素点的第二校正图像坐标是像素点的图像坐标分别经过线性畸变校正和保形畸变校正得到的。因此，可以基于像素点的第二校正图像坐标，得到待校正图像的校正图像。此时，校正图像是待校正图像完成线性畸变校正和保形畸变校正处理后的校正图像。
作为一种可能的实施例，基于全局参数，对像素点的第一校正图像坐标进行保形畸变校正，获得像素点的第二校正图像坐标包括：根据像素点的第一校正图像坐标，进行相机坐标系转换，以得到像素点的第一校正相机坐标。根据全局参数，对像素点的第一校正相机坐标，进行保形畸变校正，得到像素点的第二校正相机坐标。根据像素点的第二校正相机坐标，进行图像坐标系转换，以得到像素点的第二校正图像坐标。基于此，即完成了对待校正图像上像素点的图像坐标的线性畸变校正和保形畸变校正。
由于第二校正图像坐标与第二校正相机坐标是一一对应的。因此，通过将像素点的第一校正图像坐标，转换到相机坐标系下，获得第二校正相机坐标，然后对第二校正相机坐标进行校正，基于校正后的第二校正相机坐标，再转换到图像坐标系下，以获得第二校正图像坐标，可以保证获得的第二校正图像坐标的校正准确性。
以下述说明为例，现令待校正图像中的像素点的图像坐标为(u，v)。若基于相机镜头畸变系数，对像素点进行线性畸变校正，获得的像素点的第一校正图像坐标为(U，V)，那么，根据像素点的图像坐标与相机坐标之间的转换关系可以得到像素点的第一校正相机坐标。其转换公式如下：
Xc＝(U-cImageX)*fx
Yc＝(V-cImageY)*fy
R＝Xc*Xc+Yc*Yc
其中，fx和fy为相机标定内参数的焦距参数(单位为pixel)，Xc和Yc为像素点转换到相机坐标系下的相机坐标，R为在相机坐标系下，每一个像素点到相机坐标系的原点的距离。由于(U，V)为像素点的第一校正图像坐标，相应的，(Xc，Yc)为该像素点的第一校正相机坐标。
进一步地，根据得到的全局参数，令全局参数为globalParam，对像素点的第一校正相机坐标进行保形畸变校正，得到像素点的第二校正相机坐标。若用(Xcnew，Ycnew)来表示像素点的第二校正相机坐标的话，第二校正相机坐标将满足以下公式：
Xcnew＝Xc*(1+globalParam*R)
Ycnew＝Yc*(1+globalParam*R)
根据得到的第二校正相机坐标后，再利用转换公式得到像素点的第二校正图像坐标。若用(Unew，Vnew)来表示像素点的第二校正图像坐标的话，第二校正图像坐标将满足以下公式：
Unew＝Xcnew*fx+cImageX
Vnew＝Ycnew*fy+cImageY
进一步地，根据计算得到的像素点的第二校正图像坐标，可以得到待校正图像的校正图像。通过此种方法，可以有效降低待校正图像中人脸的畸变程度。
作为一种可能的实施例，获取处理区域的面积信息包括，获取处理区域面积和待校正图像面积，并根据处理区域面积和待校正图像面积，得到处理区域的面积信息。
作为一种可能的实施例，可以用处理区域面积和待校正图像面积的比值，来表征处理区域的面积信息。
在实际应用中，可以获取处理区域高度和处理区域宽度，并根据获取的处理区域高度和处理区域宽度，得到处理区域面积。现令处理区域高度为hFace，处理区域宽度为wFace，那么处理区域面积即为hFace*wFace。同理，获取待校正图像高度和待校正图像宽度，并根据获取的待校正图像高度和待校正图像宽度，得到校正图像面积。现令待校正图像高度为hImage，待校正图像宽度为wImage，那么待校正图像面积即为hImage*wImage。令处理区域的面积信息为scaleRatio，进而，用处理区域面积和待校正图像面积的比值，来表征处理区域的面积信息，可以表示为：
作为一种可能的实施例，可以根据处理区域中心点与待校正图像中心点之间的距离，和待校正图像的对角线的长度值，来得到处理区域的位置信息。因此，获取处理区域的位置信息包括：获取处理区域中心点与待校正图像中心点之间的距离，并根据该距离与待校正图像的对角线的长度值，来得到处理区域的位置信息。其中，待校正图像的对角线的长度值可以是对角线的全长值，也可以是对角线的半长值。
作为一种可能的实施例，也可以用处理区域中心点与待校正图像中心点之间的距离，和待校正图像的对角线的长度值或半长值，这两者的比值，来表征处理区域的位置信息。
在实际应用中，可以获取处理区域中心点的坐标，和待校正图像中心点的坐标，并根据获取的处理区域中心点的坐标，和待校正图像中心点的坐标，得到处理区域中心点与待校正图像中心点之间的距离。现令处理区域中心点的坐标为(XcFace,cFaceY)，待校正图像中心点的坐标为(cImageX,cImageY)，那么处理区域中心点与待校正图像中心点之间的距离即为
同理，根据待校正图像高度和待校正图像宽度，得到待校正图像的对角线的长度值或半长值。现以半长值为例，根据上文可知，由于待校正图像高度为hImage，待校正图像宽度为wImage，那么待校正图像的对角线的半长值为
现令处理区域的位置信息为distanceRatio，进而，用处理区域中心点与待校正图像中心点之间的距离，和待校正图像的对角线的半长值，两者之间的比值，来表征处理区域的位置信息，可以表示为：
进一步地，根据上述处理得到的处理区域的面积信息和位置信息，可以得到相应的全局参数。
现令全局参数为globalParam，那么，根据处理区域的面积信息和处理区域的位置信息的加权处理，得到全局参数，可以表示为：
globalParam＝a*scaleRatio+b*distanceRatio
由于a、b是经验值，其与处理区域的位置和面积有关，因此，在实例应用中，可以根据处理区域的位置信息和面积信息来确定a、b的值，并根据上述公式，计算得到与该处理区域对应的全局参数。
作为一种可能的实施例，若待校正图像存在多个人脸，那么可以基于人脸检测，得到待校正图像中的多个处理区域。进一步地，根据得到的多个处理区域的面积信息和位置信息，得到与多个处理区域对应的多个初始全局参数，并根据得到的多个初始全局参数，确定该待校正图像对应的全局参数。
通过多个初始全局参数，确定待校正图像对应的全局参数，可以满足对待校正图像中所有人脸的校正，因此，可以使得基于该全局参数，得到的待校正图像的校正图像的畸变度有效降低。
作为一种可能的实施例，根据上述获得的多个初始全局参数，可以对得到的初始全局参数进行升降排序，并选择初始全局参数中最大的值作为该待校正图像的全局参数。选取初始全局参数中最大的值作为该待校正图像的全局参数可以有效保证待校正图像中畸变度最大的人脸可以得到有效的校正。
作为一种变形，还可以计算多个初始全局参数的平均值来作为该待校正图像的全局参数。选取多个初始全局参数的平均值作为该待校正图像的全局参数，可以平衡待校正图像中所有人脸的畸变校正程度，以保证待校正图像中所有人脸的整体畸变校正效果。作为一种可能的实施例，由于位于待校正图像边缘位置的人脸往往是最易于发生畸变的，而位于待校正图像的中心区域位置的人脸往往畸变度较小。因此，在实际应用中，往往对位于待校正图像的中心区域位置的人脸不进行校正。
因此，在获取步骤S101中，基于人脸检测，检测得到待校正图像中的人脸区域。若检测得到的人脸区域位于待校正图像中心区域以外的区域，那么，可以将该人脸区域作为处理区域，并作为计算全局参数的处理对象。相应的，若检测到的人脸区域并不位于待校正图像中心区域以外的区域，那么，该人脸区域将不会作为处理区域，相应的，也不会作为计算全局参数的处理对象。通过此方式，可以有效剔除不需要进行人脸校正的情况，进而可以减少运算量。
需要说明的是，待校正图像中心区域可以理解为，以待校正图像中心点为圆心，以预设半径形成的圆形区域。其中，预设半径小于待校正图像的宽度。预设半径的大小可以根据实际情况进行调整。
进一步地，作为一种可能的实施例，待校正图像中心区域可以是，以待校正图像中心点为圆心，以待校正图像宽度的三分之二倍大小为半径，而形成的圆形区域。基于相同的发明构思，本公开实施例还提供一种基于人脸检测的保形畸变校正装置200。如图3所示，该装置包括获取模块201、处理模块202和校正模块203。其中，获取模块201用于基于人脸检测，得到待校正图像中的处理区域，并获取处理区域的面积信息和处理区域的位置信息，其中，处理区域包括待校正图像中的一个人脸。处理模块202用于根据面积信息和位置信息，得到全局参数。校正模块203用于根据全局参数，对待校正图像进行校正处理，得到待校正图像的校正图像。
在一例中，校正模块203用于，获取待校正图像上像素点的图像坐标，基于相机镜头畸变系数，对像素点的图像坐标进行线性畸变校正，获得像素点的第一校正图像坐标；基于全局参数，对像素点的第一校正图像坐标进行保形畸变校正，获得像素点的第二校正图像坐标；基于像素点的第二校正图像坐标，得到待校正图像的校正图像。
在一例中，基于全局参数，对像素点的第一校正图像坐标进行保形畸变校正，获得像素点的第二校正图像坐标包括：根据像素点的第一校正图像坐标进行相机坐标系转换，得到像素点的第一校正相机坐标；根据全局参数，对像素点的第一校正相机坐标进行保形畸变校正，得到像素点的第二校正相机坐标；根据像素点的第二校正相机坐标进行图像坐标系转换，得到像素点的第二校正图像坐标。
在一例中，获取处理区域的面积信息包括：获取处理区域面积和待校正图像面积；根据处理区域面积和待校正图像面积，得到处理区域的面积信息。
在一例中，根据处理区域面积和待校正图像面积，得到处理区域的面积信息包括：根据处理区域面积和待校正图像面积之间的比值，得到处理区域的面积信息。
在一例中，获取处理区域的位置信息包括：获取处理区域中心点与待校正图像中心点之间的距离；根据距离和待校正图像的对角线的长度值，得到处理区域的位置信息。
在一例中，根据距离和待校正图像的对角线的长度值，得到处理区域的位置信息包括：根据距离和长度值之间的比值，得到处理区域的位置信息。
在一例中，基于人脸检测，得到待校正图像中的多个处理区域；处理模块202用于，根据多个处理区域的面积信息和位置信息，得到多个初始全局参数，根据多个初始全局参数，得到全局参数。
在一例中，根据多个初始全局参数，得到全局参数包括：基于多个初始全局参数，确定多个初始全局参数的最大值，并将最大值作为全局参数。
在一例中，获取步模块201用于，基于人脸检测，得到待校正图像中的人脸区域，若人脸区域位于待校正图像中心区域以外的区域，则将人脸区域作为处理区域，其中，待校正图像中心区域包括：以待校正图像中心点为圆心，以预设半径形成的圆形区域，其中，预设半径小于待校正图像的宽度。
图4示出了本公开的一个实施方式提供的一种电子设备30。如图4所示，本公开的一个实施方式提供的一种电子设备30，其中，该电子设备30包括存储器310、处理器320、输入/输出(Input/Output，I/O)接口330。其中，存储器310，用于存储指令。处理器320，用于调用存储器310存储的指令执行本公开基于人脸检测的保形畸变校正方法。其中，处理器320分别与存储器310、I/O接口330连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据，包括本公开实施例中涉及的基于人脸检测的保形畸变校正的程序，处理器320通过运行存储在存储器310的程序从而执行电子设备30的各种功能应用以及数据处理。
本公开实施例中处理器320可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器320可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本公开实施例中的存储器310可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。
本公开实施例中，I/O接口330可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备30的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中I/O接口330可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
在一些实施方式中，本公开提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。
尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
本公开的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。
Claims (10)
1.一种基于人脸检测的保形畸变校正方法，其特征在于，所述方法包括：
获取步骤，基于人脸检测，得到待校正图像中的处理区域，并获取所述处理区域的面积信息和所述处理区域的位置信息，其中，所述处理区域包括所述待校正图像中的一个人脸，获取所述处理区域的面积信息包括：获取处理区域面积和待校正图像面积，根据所述处理区域面积和所述待校正图像面积之间的比值得到所述面积信息；
处理步骤，根据所述面积信息和所述位置信息，得到全局参数；
校正步骤，获取所述待校正图像上像素点的图像坐标，基于相机镜头畸变系数，对所述像素点的所述图像坐标进行线性畸变校正，获得所述像素点的第一校正图像坐标；基于所述全局参数，对所述像素点的所述第一校正图像坐标进行保形畸变校正，获得所述像素点的第二校正图像坐标；基于所述像素点的所述第二校正图像坐标，得到所述待校正图像的所述校正图像。
2.根据权利要求1所述的方法，其特征在于，所述基于所述全局参数，对所述像素点的所述第一校正图像坐标进行保形畸变校正，获得所述像素点的第二校正图像坐标包括：
根据所述像素点的所述第一校正图像坐标进行相机坐标系转换，得到所述像素点的第一校正相机坐标；
根据所述全局参数，对所述像素点的所述第一校正相机坐标进行保形畸变校正，得到所述像素点的第二校正相机坐标；
根据所述像素点的所述第二校正相机坐标进行图像坐标系转换，得到所述像素点的第二校正图像坐标。
3.根据权利要求1所述的方法，其特征在于，获取所述处理区域的位置信息包括：
获取处理区域中心点与待校正图像中心点之间的距离；
根据所述距离和所述待校正图像的对角线的长度值，得到所述处理区域的所述位置信息。
4.根据权利要求3所述的方法，其特征在于，所述根据所述距离和所述待校正图像的对角线的所述长度值，得到所述处理区域的所述位置信息包括：
根据所述距离和所述长度值之间的比值，得到所述处理区域的所述位置信息。
5.根据权利要求1所述的方法，其特征在于，
基于人脸检测，得到所述待校正图像中的多个所述处理区域；
所述处理步骤包括：根据多个所述处理区域的面积信息和位置信息，得到多个初始全局参数，根据多个所述初始全局参数，得到所述全局参数。
6.根据权利要求5所述的方法，其特征在于，所述根据多个所述初始全局参数，得到所述全局参数包括：
基于多个所述初始全局参数，确定多个所述初始全局参数的最大值，并将所述最大值作为所述全局参数。
7.根据权利要求1所述的方法，其特征在于，所述获取步包括：
基于人脸检测，得到所述待校正图像中的人脸区域，若所述人脸区域位于待校正图像中心区域以外的区域，则将所述人脸区域作为所述处理区域，其中，所述待校正图像中心区域包括：以待校正图像中心点为圆心，以预设半径形成的圆形区域，其中，所述预设半径小于所述待校正图像的宽度。
8.一种基于人脸检测的保形畸变校正装置，其中，所述装置包括：
获取模块，用于基于人脸检测，得到待校正图像中的处理区域，并获取所述处理区域的面积信息和所述处理区域的位置信息，其中，所述处理区域包括所述待校正图像中的一个人脸，获取所述处理区域的面积信息包括：获取处理区域面积和待校正图像面积，根据所述处理区域面积和所述待校正图像面积之间的比值得到所述面积信息；
处理模块，用于根据所述面积信息和所述位置信息，得到全局参数；
校正模块，用于获取所述待校正图像上像素点的图像坐标，基于相机镜头畸变系数，对所述像素点的所述图像坐标进行线性畸变校正，获得所述像素点的第一校正图像坐标；基于所述全局参数，对所述像素点的所述第一校正图像坐标进行保形畸变校正，获得所述像素点的第二校正图像坐标；基于所述像素点的所述第二校正图像坐标，得到所述待校正图像的所述校正图像。
9.一种电子设备，其中，所述电子设备包括：
存储器，用于存储指令；以及
处理器，用于调用所述存储器存储的指令执行权利要求1-7中任一项所述基于人脸检测的保形畸变校正方法。
10.一种计算机可读存储介质，其中，
所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-7中任一项所述基于人脸检测的保形畸变校正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910894368.XA CN110751602B (zh) | 2019-09-20 | 2019-09-20 | 基于人脸检测的保形畸变校正方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910894368.XA CN110751602B (zh) | 2019-09-20 | 2019-09-20 | 基于人脸检测的保形畸变校正方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110751602A CN110751602A (zh) | 2020-02-04 |
| CN110751602B true CN110751602B (zh) | 2022-09-30 |
Family
ID=69276814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910894368.XA Active CN110751602B (zh) | 2019-09-20 | 2019-09-20 | 基于人脸检测的保形畸变校正方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110751602B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724140A (zh) * | 2020-05-25 | 2021-11-30 | 华为技术有限公司 | 图像处理方法、电子设备、介质和系统 |
| CN112686824A (zh) * | 2020-12-30 | 2021-04-20 | 北京迈格威科技有限公司 | 图像校正方法、装置、电子设备和计算机可读介质 |
| CN113034351A (zh) * | 2021-03-25 | 2021-06-25 | 联想(北京)有限公司 | 图像处理方法及装置 |
| TWI824550B (zh) * | 2022-06-07 | 2023-12-01 | 鴻海精密工業股份有限公司 | 畸變圖像生成方法、電子設備及計算機可讀存儲媒體 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426149A (zh) * | 2013-07-24 | 2013-12-04 | 玉振明 | 大视角图像畸变的校正处理方法 |
| CN103996172A (zh) * | 2014-05-08 | 2014-08-20 | 东北大学 | 一种基于多步校正的鱼眼图像校正方法 |
| CN104034514A (zh) * | 2014-06-12 | 2014-09-10 | 中国科学院上海技术物理研究所 | 大视场相机非线性畸变校正装置与方法 |
| CN104994281A (zh) * | 2015-06-30 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种人脸畸变校正的方法及终端 |
| CN105141827A (zh) * | 2015-06-30 | 2015-12-09 | 广东欧珀移动通信有限公司 | 一种畸变校正方法及终端 |
| CN107451965A (zh) * | 2017-07-24 | 2017-12-08 | 深圳市智美达科技股份有限公司 | 畸变人脸图像校正方法、装置、计算机设备和存储介质 |
| CN108932698A (zh) * | 2017-11-17 | 2018-12-04 | 北京猎户星空科技有限公司 | 图像畸变的校正方法、装置、电子设备和存储介质 |
| US20190102868A1 (en) * | 2017-10-04 | 2019-04-04 | Intel Corporation | Method and system of image distortion correction for images captured by using a wide-angle lens |
| CN110232667A (zh) * | 2019-06-17 | 2019-09-13 | 厦门美图之家科技有限公司 | 图像畸变修正方法、装置、电子设备及可读存储介质 |
-
2019
- 2019-09-20 CN CN201910894368.XA patent/CN110751602B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103426149A (zh) * | 2013-07-24 | 2013-12-04 | 玉振明 | 大视角图像畸变的校正处理方法 |
| CN103996172A (zh) * | 2014-05-08 | 2014-08-20 | 东北大学 | 一种基于多步校正的鱼眼图像校正方法 |
| CN104034514A (zh) * | 2014-06-12 | 2014-09-10 | 中国科学院上海技术物理研究所 | 大视场相机非线性畸变校正装置与方法 |
| CN104994281A (zh) * | 2015-06-30 | 2015-10-21 | 广东欧珀移动通信有限公司 | 一种人脸畸变校正的方法及终端 |
| CN105141827A (zh) * | 2015-06-30 | 2015-12-09 | 广东欧珀移动通信有限公司 | 一种畸变校正方法及终端 |
| CN107451965A (zh) * | 2017-07-24 | 2017-12-08 | 深圳市智美达科技股份有限公司 | 畸变人脸图像校正方法、装置、计算机设备和存储介质 |
| US20190102868A1 (en) * | 2017-10-04 | 2019-04-04 | Intel Corporation | Method and system of image distortion correction for images captured by using a wide-angle lens |
| CN108932698A (zh) * | 2017-11-17 | 2018-12-04 | 北京猎户星空科技有限公司 | 图像畸变的校正方法、装置、电子设备和存储介质 |
| CN110232667A (zh) * | 2019-06-17 | 2019-09-13 | 厦门美图之家科技有限公司 | 图像畸变修正方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 《适应内容的广角图像拉伸畸变自动校正算法》;杨波;《浙江大学学报（工学版）》;20160930;第50卷(第9期);参见第1711-1717页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110751602A (zh) | 2020-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110751602B (zh) | 基于人脸检测的保形畸变校正方法和装置 | |
| US10298841B2 (en) | Device and method for generating a panoramic image | |
| CN108833784B (zh) | 一种自适应构图方法、移动终端及计算机可读存储介质 | |
| CN105981073B (zh) | 图像生成装置、图像生成方法和程序 | |
| US20210097650A1 (en) | Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system | |
| US9058655B2 (en) | Region of interest based image registration | |
| JP2007013430A (ja) | 動きベクトル検出装置及び方法 | |
| CN110177269B (zh) | 双摄模组曝光同步校正方法及装置 | |
| CN105005972A (zh) | 一种基于拍摄距离的畸变校正方法及移动终端 | |
| EP3518522B1 (en) | Image capturing method and device | |
| CN110796600A (zh) | 一种图像超分重建方法、图像超分重建装置及电子设备 | |
| US10848686B2 (en) | Method of providing image and electronic device for supporting the method | |
| CN110213479B (zh) | 一种视频拍摄防抖方法和装置 | |
| WO2021017532A1 (zh) | 图像融合方法及装置、存储介质、终端 | |
| CN110717914A (zh) | 人体抠像的方法和装置 | |
| CN110660034A (zh) | 图像校正方法、装置及电子设备 | |
| CN113096192A (zh) | 图像传感器内参标定方法、装置、设备及存储介质 | |
| CN111290684A (zh) | 图像显示方法、图像显示装置及终端设备 | |
| US10805584B2 (en) | Projection system and image projection method | |
| CN110852958B (zh) | 基于物体倾斜角度的自适应校正方法和装置 | |
| CN109040579B (zh) | 一种拍摄控制方法、终端及计算机可读介质 | |
| TWI684165B (zh) | 影像處理方法與電子裝置 | |
| CN114493988A (zh) | 一种图像虚化方法、图像虚化装置及终端设备 | |
| CN109360166B (zh) | 一种图像处理方法、装置、电子设备和计算机可读介质 | |
| KR102196749B1 (ko) | 가중치 특징점을 이용한 이미지 정합 방법 및 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |