CN112686824A - 图像校正方法、装置、电子设备和计算机可读介质 - Google Patents
图像校正方法、装置、电子设备和计算机可读介质 Download PDFInfo
- Publication number
- CN112686824A CN112686824A CN202011626262.0A CN202011626262A CN112686824A CN 112686824 A CN112686824 A CN 112686824A CN 202011626262 A CN202011626262 A CN 202011626262A CN 112686824 A CN112686824 A CN 112686824A
- Authority
- CN
- China
- Prior art keywords
- image
- grid
- corrected
- face
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003702 image correction Methods 0.000 title claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例公开了图像校正方法、装置、电子设备和计算机可读介质。该方法的实施例包括：基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立待校正图像对应的网格图像；确定人脸区域和背景区域的权重，并基于权重确定网格图像中的各网格点的目标位置；基于目标位置对待校正图像进行校正，得到校正图像。该实施方式提升了待校正图像的校正效果。
Description
技术领域
本申请实施例涉及计算机技术领域，具体涉及图像校正方法、装置、电子设备和计算机可读介质。
背景技术
随着终端设备的普及以及用户拍照需求的增加，超广角镜头逐渐成为移动设备的必备影像模组。相对于普通长焦或广角镜头，超广角镜头能够获取更大的视场角(Field ofview，FOV)，同时，也会造成更大程度的图像畸变。
现有技术中，通常通过多项式坐标变换算法拟合畸变参数，进而基于该畸变参数对畸变图像进行校正。然而，这种方式通常仅能够解决图像中的背景线条扭曲的问题，无法解决人脸形状改变的问题，甚至容易加重人脸区域的畸变程度，因而图像校正的效果较差。
发明内容
本申请实施例提出了图像校正方法、装置、电子设备和计算机可读介质，以解决现有技术中因无法同时针对背景线条扭曲和人脸形状改变进行校正以致图像校正效果较差的技术问题。
第一方面，本申请实施例提供了一种图像校正方法，该方法包括：基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立所述待校正图像对应的网格图像；确定所述人脸区域和所述背景区域的权重，并基于所述权重确定所述网格图像中的各网格点的目标位置；基于所述目标位置对所述待校正图像进行校正，得到校正图像。
第二方面，本申请实施例提供了一种图像校正装置，该装置包括：建立单元，被配置成基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立所述待校正图像对应的网格图像；确定单元，被配置成确定所述人脸区域和所述背景区域的权重，并基于所述权重确定所述网格图像中的各网格点的目标位置；校正单元，被配置成基于所述目标位置对所述待校正图像进行校正，得到校正图像。。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所描述的方法。
第四方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所描述的方法。
本申请实施例提供的图像校正方法、装置、电子设备和计算机可读介质，通过基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立上述待校正图像对应的网格图像；而后确定上述人脸区域和上述背景区域的权重，并基于上述权重确定上述网格图像中的各网格点的目标位置；最后基于上述目标位置对上述待校正图像进行校正，从而能够得到校正图像。由此，能够基于不同区域的权重对待校正图像中的不同区域进行不同程度的校正，从而能够同时解决背景线条扭曲以及人脸形状改变的问题，提升了图像的校正效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请的图像校正方法的一个实施例的流程图；
图2是根据本申请的图像校正方法中的初始网格图像的生成过程的流程图；
图3a是根据本申请的图像校正方法的规则网格的示意图；
图3b是根据本申请的图像校正方法的球极投影网格的示意图；
图4是根据本申请的图像校正方法中的权重确定过程的流程图；
图5是根据本申请的图像校正装置的一个实施例的结构示意图；
图6是用于实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参考图1，其示出了根据本申请的图像校正方法的一个实施例的流程100。该图像校正方法可应用于电子设备，上述电子设备包括但不限于：服务器、智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准音频层面3，Moving Picture Experts GroupAudio Layer III)播放器、MP4(动态影像专家压缩标准音频层面4，Moving PictureExperts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、掌上电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等。
该图像校正方法，包括以下步骤：
步骤101，基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立上述待校正图像对应的网格图像。
在本实施例中，图像校正方法的执行主体(如上述电子设备)可以获取对待校正图像。其中，待校正图像可以指其上的对象产生畸变(如人脸拉抻变形、建筑物线条扭曲、道路线条扭曲等)的图像。待校正图像中可包含人脸区域和非人脸区域，非人脸区域可视为背景区域。人脸区域可预先通过图像分割等算法预先确定。上述执行主体可预先存储人脸区域的位置信息(如坐标)等。
在一些示例中，待校正图像可以是由图像采集装置(如广角镜头、超广角镜头等)直接采集得到的图像。以超广角镜头为例，相对于普通长焦或广角镜头，超广角镜头能够获取更大的视场角(Field of view，FOV)，同时也会造成更大程度的图像畸变，因而可将超广角镜头采集到的图像作为待校正图像。
在另一些示例中，待校正图像可以是对初始图像进行初步校正后的图像，如采用畸变校正算法初步校正后的图像。上述畸变校正算法可用于恢复初始图像中发生扭曲的背景线条，即能够实现保线效果。保线效果也可称为直线保护效果，是指通过校正将因畸变发生扭曲的直线重新恢复成直线的效果。此处，可采用多项式坐标变换算法等常用的畸变校正算法拟合畸变参数，而后基于该畸变参数对初始图像进行校正，从而得到经过初步校正后的待校正图像。通过初步校正，可将背景中扭曲的线条进行恢复为原始的直线状态，从而初步解决图像中背景线条扭曲的问题。然而，对于包含人脸区域的图像，图像往往不仅存在背景线条扭曲的问题，还存在人脸形状改变(如人脸被拉抻变形)的问题。由于人脸轮廓以及五官均不为直线，且形态较为复杂，故仅采用具有保线效果的图像畸变校正算法无法解决人脸形状改变的问题，甚至容易进一步加重人脸区域的畸变程度，因而，仍需对初步校正后所得到的待校正图像进行进一步校正。
在本实施例中，上述执行主体可以基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格(mesh)建立上述待校正图像对应的网格图像。其中预设网格的类型可包括但不限于球极投影网格、规则网格(如矩形网格等)等。针对人脸区域和背景区域，可采用不同类型的网格，由此所生成的网格图像中，可包含两种不同类型的网格。
在本实施例的一些可选的实现方式中，参见图2，可通过如下子步骤S11至子步骤S12生成初始网格图像：
子步骤S11，获取预先配置的规则网格和球极投影网格。
上述执行主体可预先为待校正图像配置规则网格和球极投影网格。规则网格能够将区域空间切分为规则的格网单元，并使每一个格网单元形状和大小相等。作为示例，图3a示出了的规则网格的示意图，此处将初始校正图像划分为若干个尺寸为100×75矩形网格。
球极投影网格可通过将规则网格进行球极平面投影后得到。其中，球极平面投影是一种将圆球面射影至平面的映射，可通过通用的投影变换公式计算规则网格中的各个网格点(即网格线的交点)在球极平面的映射点，从而得到球极投影网格。作为示例，图3b示出了的球极平面投影的示意图。
子步骤S12，获取球极投影网格中与人脸区域对应的第一网格，获取规则网格中与背景区域对应的第二网格，并根据第一网格和第二网格建立待校正图像对应的网格图像。
上述执行主体中可存储两种类型的网格中的各网格点的坐标，基于各网格点的坐标，可知各网格点的位置与人脸区域的位置关系(如是否位于人脸区域内)。上述执行主体从球极投影网格中获取与人脸区域对应的第一网格，并从规则网格中获取与背景区域(即人脸区域之外的区域)对应的第二网格，将第一网格和第二网格合并后，即可得到待校正图像对应的网格图像。
步骤102，确定人脸区域和背景区域的权重，并基于权重确定初始校正图像中的各网格点的目标位置。
在本实施例中，上述执行主体可以首先确定人脸区域和背景区域的权重。其中，人脸区域和背景区域可具有不同的权重。背景区域的权重可以采用预设值，该预设值可根据大量数据统计和试验预先设定，此处对其具体取值不作限定。人脸区域的权重可以是该预设值与权重调整系数的乘积。该权重调整系数可基于一项或多项校正信息确定，校正信息可以指对畸变程度产生影响的信息。不同的人脸区域的权重调整系数可以不同，因而不同的人脸区域可具有不同的权重。通常，越靠近图像边缘的物体，畸变问题就越明显，因而越靠近图像边缘的人脸区域，其权重调整系数越大，权重越大。
在确定出人脸区域和背景区域的权重后，上述执行主体可以基于各区域的权重确定初始校正图像中的各网格点的目标位置。其中，预设函数可以是预先设置的一个目标函数，该目标函数的值与各区域的权重以及各网格点的位置相关。上述执行主体可以通过优化该目标函数(如最小化该目标函数)，得到各网格点的目标位置。
在本实施例的一些可选的实现方式中，参见图4，上述执行主体可以通过如下子步骤S21至子步骤S23确定人脸区域和背景区域的权重：
子步骤S21，将预设值作为背景区域的权重。
子步骤S22，基于人脸区域和背景区域的校正信息，确定人脸区域的权重调整系数。
人脸区域的校正信息可以指人脸区域中对畸变程度产生影响的信息。例如，可包括但不限于以下至少一项：人脸区域与图像边缘的欧氏距离、人脸区域的面积。通常，越靠近图像边缘的物体，畸变问题就越明显，因而人脸区域的位置或面积不同，则权重不同。背景区域的校正信息可以指背景区域中对畸变程度产生影响的信息。例如，可包括但不限于背景区域的畸变量。由于平台(如图像采集设备)以及模组(如安装于图像采集设备中的超广角摄像头)存在差异，因而不同的平台的模组拍摄的图像的背景区域的畸变量(具体可指背景区域四角的畸变量)存在差异，进而造成同一位置以及面积相同的人脸区域在不同图像中的畸变程度不同，故权重也不相同。上述执行主体可以基于上述校正信息中的一项或多项，确定人脸区域的权重调整系数。
在一些示例中，上述执行主体可以首先获取人脸区域与待校正图像的边缘的欧氏距离(记为l)、人脸区域的面积(记为a)以及背景区域的畸变量(记为d)。其中，在获取人脸区域与待校正图像的边缘的欧氏距离时，可计算人脸区域边界到待校正图像上下左右四个边的距离，并选择欧氏距离的最小值进行权重计算。
而后，确定欧氏距离与预设欧氏距离(记为lT)的第一比值(记为Δl)、面积与预设面积(记为aT)的第二比值(记为Δa)、基变量与预设畸变量(记为dT)的第三比值(记为Δd)。由此，有如下表达式：
Δl＝l/lT
Δa＝a/aT
Δd＝d/dT
而后，上述执行主体可以基于第一比值、第二比值和第三比值，确定人脸区域的权重调整系数。例如，权重调整系数可以为上述三项比值的乘积，即Δl×Δa×Δd。
需要说明的是，人脸区域的相关信息、以及基于人脸区域的相关信息确定人脸区域的权重调整系数的方式不限于上述示例，还可以根据需要进行其他设定，此处不再赘述。
子步骤S23，基于预设值和权重调整系数，确定人脸区域的权重。
此处，可以将预设值(可记为f)与权重调整系数的乘积，作为人脸区域的权重。即，对于某一人脸区域k，其权重(记为fk)为：
fk＝f×Δl×Δa×Δd
由此，针对不同人脸区域，可基于其位置、面积以及图像的畸变量，设置不同的权重，进而进行不同程度的校正。相较于使用同一校正参数的校正方式，能够提高对图像中人脸区域的校正效果，从而提升矫正后的图像质量。
需要说明的是，某一人脸区域的权重，即为该人脸区域中的各个网格点的权重。由此，同一个人脸区域中的各个网格点的权重相同。
在本实施例的一些可选的实现方式中，在基于权重确定初始校正图像中的各网格点的目标位置时，对于初始校正图像中的每一个网格点，上述执行主体可将该网格点的坐标和该网格点所属区域的权重输入至预设函数，对预设函数进行最小化求解，得到该网格点的目标位置。
作为示例，预设函数可以为多项式。该多项式可包括人脸校正项(记为Ea)、网格等大项(记为El)和保直线项(记为Er)。预设函数的值(可记为E)可以为人脸校正项、网格等大项和保直线项的加权求和结果。如下公式所示：
E＝Ea+λl×El+λr×Er
其中，λl、λr分别为权重参数，权重参数的值可根据需要预设设定。eij为规则网格单位法向量。i和j表示两个不同的网格点，分别用于指示第i个网格点和第j个网格点。n为网格点的数量。N(i)为网格点i的邻域网格点(即网格点i的上方网格点、下方网格点、左侧网格点和右侧网格点构成的集合)。Minit(i)表示网格点i的初始坐标，Minit(j)表示网格点j的初始坐标，初始坐标即为步骤101所生成的网格图像中的网格点的坐标。Mu(i)表示网格点i的当前坐标。
需要说明的是，预设函数还可以根据需要进行其他设定，不限于上述示例。
步骤103，基于目标位置对待校正图像进行校正，得到校正图像。
在本实施例中，网格图像中的每个网格点可对应待校正图像中的一个像素点。针对网格图像中的每一个网格点，上述执行主体可基于该网格点的目标位置，调整待校正图像中的像素点，从而实现对待校正图像的校正。
可以理解的是，由于网格图像中的网格点通常较为稀疏，因而上述执行主体可采用插值的方式确定出网格图像中的各个像素点的目标位置。从而基于网格图像中的各个像素点的目标位置，调整待校正图像中的像素点，得到最终的校正图像。
在本实施例的一些可选的实现方式中，上述执行主体可以按照如下步骤对待校正图像进行校正：
第一步，基于各网格点的目标位置，采用双线性插值算法确定网格图像中的各个像素点的目标位置。
其中，双线性插值又称为双线性内插，其核心思想是在两个方向(即水平方向和竖直方向)分别进行线性插值。网格图像中的像素点可包括网格点及其他像素点。在已知网格点的原始位置、网格点的目标位置以及网格图像中的其他像素点的原始位置的基础上，通过双线性插值算法可确定出其他像素点的目标位置。作为示例，网格图像中的网格点A的原始位置为(0，0)、其中一个像素点B的原始位置为(5，5)、网格点C的原始位置为(10，10)。若网格点A目标位置仍为(0，0)，网格点C的目标位置为(20，20)，则像素点B的目标位置可以为(10，10)。
第二步，根据网格图像中的各个像素点的目标位置，调整待校正图像中的像素点，得到校正图像。
此处，可建立网格图像中的每一个像素点与目标坐标(目标位置对应的坐标)的映射，从而得到一个映射表。由于网格图像中像素点与待校正图像中的像素点一一对应，因此，依照该映射表中的映射关系以及网格图像中的各个像素点的目标位置，可调整待校正图像中的各个像素点，从而达到图像校正的效果。调整后的待校正图像，即为校正图像。
本申请的上述实施例提供的方法，通过基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立上述待校正图像对应的网格图像；而后确定上述人脸区域和上述背景区域的权重，并基于上述权重确定上述网格图像中的各网格点的目标位置；最后基于上述目标位置对上述待校正图像进行校正，从而能够得到校正图像。由此，能够基于不同区域的权重对待校正图像中的不同区域进行不同程度的校正，从而能够同时解决背景线条扭曲以及人脸形状改变的问题，提升了图像的校正效果。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种图像校正装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的图像校正装置500包括：建立单元501，被配置成基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立上述待校正图像对应的网格图像；确定单元502，被配置成确定上述人脸区域和上述背景区域的权重，并基于上述权重确定上述网格图像中的各网格点的目标位置；校正单元503，被配置成基于上述目标位置对上述待校正图像进行校正，得到校正图像。
在本实施例的一些可选的实现方式中，上述待校正图像为采用畸变校正算法对初始图像进行初步校正后的图像，上述畸变校正算法用于恢复初始图像中发生扭曲的背景线条。
在本实施例的一些可选的实现方式中，上述建立单元501，进一步被配置成：获取预先配置的规则网格和球极投影网格；获取球极投影网格中与人脸区域对应的第一网格，获取规则网格中与背景区域对应的第二网格，并根据第一网格和第二网格建立待校正图像对应的网格图像。
在本实施例的一些可选的实现方式中，上述确定单元502，进一步被配置成：将预设值作为上述背景区域的权重；基于上述人脸区域和背景区域的校正信息，确定上述人脸区域的权重调整系数；基于上述预设值和上述权重调整系数，确定上述人脸区域的权重。
在本实施例的一些可选的实现方式中，上述确定单元502，进一步被配置成：获取上述人脸区域与待校正图像的边缘的欧氏距离、上述人脸区域的面积以及上述背景区域的畸变量；确定上述欧氏距离与预设欧氏距离的第一比值、上述面积与预设面积的第二比值、上述畸变量与预设畸变量的第三比值；基于上述第一比值、上述第二比值和上述第三比值，确定上述人脸区域的权重调整系数。
在本实施例的一些可选的实现方式中，上述确定单元502，进一步被配置成：对于上述网格图像中的每一个网格点，将该网格点的坐标和该网格点所属区域的权重输入至预设函数，对上述预设函数进行最小化求解，得到该网格点的目标位置。
在本实施例的一些可选的实现方式中，上述预设函数为多项式，上述多项式包括人脸校正项、网格等大项和保直线项，上述预设函数的值为上述人脸校正项、上述网格等大项和上述保直线项的加权求和结果。
在本实施例的一些可选的实现方式中，上述校正单元503，进一步被配置成：基于上述各网格点的目标位置，采用双线性插值算法得到上述网格图像中的各个像素点的目标位置；根据上述网格图像中的各个像素点的目标位置，调整上述待校正图像中的像素点，得到校正图像。
本申请的上述实施例提供的装置，通过基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立上述待校正图像对应的网格图像；而后确定上述人脸区域和上述背景区域的权重，并基于上述权重确定上述网格图像中的各网格点的目标位置；最后基于上述目标位置对上述待校正图像进行校正，从而能够得到校正图像。由此，能够基于不同区域的权重对待校正图像中的不同区域进行不同程度的校正，从而能够同时解决背景线条扭曲以及人脸形状改变的问题，提升了图像的校正效果。
下面参考图6，其示出了用于实现本申请的一些实施例的电子设备的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请的实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储装置608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
通常，以下装置可以连接至I/O接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置607；包括例如磁盘、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本申请的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从ROM 602被安装。在该计算机程序被处理装置601执行时，执行本申请的一些实施例的方法中限定的上述功能。
需要说明的是，本申请的一些实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperTextTransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立待校正图像对应的网格图像；确定人脸区域和背景区域的权重，并基于权重确定网格图像中的各网格点的目标位置；基于目标位置对待校正图像进行校正，得到校正图像。该实施方式提升了待校正图像的校正效果。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的一些实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++；还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)，上述网络包括局域网(LAN)或广域网(WAN)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一确定单元、第二确定单元、选取单元和第三确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本申请的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (11)
1.一种图像校正方法，其特征在于，所述方法包括：
基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立所述待校正图像对应的网格图像；
确定所述人脸区域和所述背景区域的权重，并基于所述权重确定所述网格图像中的各网格点的目标位置；
基于所述目标位置对所述待校正图像进行校正，得到校正图像。
2.根据权利要求1所述的方法，其特征在于，所述待校正图像为采用畸变校正算法对初始图像进行初步校正后的图像，所述畸变校正算法用于恢复所述初始图像中发生扭曲的背景线条。
3.根据权利要求1所述的方法，其特征在于，所述基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立所述待校正图像对应的网格图像，包括：
获取预先配置的规则网格和球极投影网格；
获取所述球极投影网格中与人脸区域对应的第一网格，获取所述规则网格中与背景区域对应的第二网格，并根据所述第一网格和所述第二网格建立所述待校正图像对应的网格图像。
4.根据权利要求1所述的方法，其特征在于，所述确定所述人脸区域和所述背景区域的权重，包括：
将预设值作为所述背景区域的权重；
基于所述人脸区域和背景区域的校正信息，确定所述人脸区域的权重调整系数；
基于所述预设值和所述权重调整系数，确定所述人脸区域的权重。
5.根据权利要求4所述的方法，其特征在于，所述基于所述人脸区域和背景区域的校正信息，确定所述人脸区域的权重调整系数，包括：
获取所述人脸区域与所述待校正图像的边缘的欧氏距离、所述人脸区域的面积以及所述背景区域的畸变量；
确定所述欧氏距离与预设欧氏距离的第一比值、所述面积与预设面积的第二比值、所述畸变量与预设畸变量的第三比值；
基于所述第一比值、所述第二比值和所述第三比值，确定所述人脸区域的权重调整系数。
6.根据权利要求1所述的方法，其特征在于，所述基于所述权重确定所述网格图像中的各网格点的目标位置，包括：
对于所述网格图像中的每一个网格点，将该网格点的坐标和该网格点所属区域的权重输入至预设函数，对所述预设函数进行最小化求解，得到该网格点的目标位置。
7.根据权利要求6所述的方法，其特征在于，所述预设函数为多项式，所述多项式包括人脸校正项、网格等大项和保直线项，所述预设函数的值为所述人脸校正项、所述网格等大项和所述保直线项的加权求和结果。
8.根据权利要求1所述的方法，其特征在于，所述基于所述目标位置对所述待校正图像进行校正，得到校正图像，包括：
基于所述各网格点的目标位置，采用双线性插值算法得到所述网格图像中的各个像素点的目标位置；
根据所述网格图像中的各个像素点的目标位置，调整所述待校正图像中的像素点，得到校正图像。
9.一种图像校正装置，其特征在于，所述装置包括：
建立单元，被配置成基于待校正图像的人脸区域和背景区域，采用不同类型的预设网格建立所述待校正图像对应的网格图像；
确定单元，被配置成确定所述人脸区域和所述背景区域的权重，并基于所述权重确定所述网格图像中的各网格点的目标位置；
校正单元，被配置成基于所述目标位置对所述待校正图像进行校正，得到校正图像。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011626262.0A CN112686824A (zh) | 2020-12-30 | 2020-12-30 | 图像校正方法、装置、电子设备和计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011626262.0A CN112686824A (zh) | 2020-12-30 | 2020-12-30 | 图像校正方法、装置、电子设备和计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112686824A true CN112686824A (zh) | 2021-04-20 |
Family
ID=75454228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011626262.0A Pending CN112686824A (zh) | 2020-12-30 | 2020-12-30 | 图像校正方法、装置、电子设备和计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686824A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436063A (zh) * | 2021-07-30 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113426129A (zh) * | 2021-06-24 | 2021-09-24 | 网易（杭州）网络有限公司 | 自定义角色的相貌调整方法、装置、终端和存储介质 |
| CN113834638A (zh) * | 2021-09-03 | 2021-12-24 | 大连中科创达软件有限公司 | 视场角确定方法、装置、设备及存储介质 |
| CN114581361A (zh) * | 2021-06-28 | 2022-06-03 | 广州极飞科技股份有限公司 | 物体形态测量方法、装置、设备及存储介质 |
| WO2023010662A1 (zh) * | 2021-08-04 | 2023-02-09 | 展讯通信（上海）有限公司 | 人像区域网格点信息存储方法及相关产品 |
| WO2023023960A1 (zh) * | 2021-08-24 | 2023-03-02 | 深圳市大疆创新科技有限公司 | 图像处理及神经网络的训练方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046657A (zh) * | 2015-06-23 | 2015-11-11 | 浙江大学 | 一种图像拉伸畸变自适应校正方法 |
| CN110751602A (zh) * | 2019-09-20 | 2020-02-04 | 北京迈格威科技有限公司 | 基于人脸检测的保形畸变校正方法和装置 |
| CN111008947A (zh) * | 2019-12-09 | 2020-04-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、终端设备及存储介质 |
| CN111105366A (zh) * | 2019-12-09 | 2020-05-05 | Oppo广东移动通信有限公司 | 图像处理方法和装置、终端设备及存储介质 |
| US20200366838A1 (en) * | 2017-08-03 | 2020-11-19 | Hangzhou Hikvision Digital Technology Co., Ltd. | Panoramic image generation method and device |
-
2020
- 2020-12-30 CN CN202011626262.0A patent/CN112686824A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046657A (zh) * | 2015-06-23 | 2015-11-11 | 浙江大学 | 一种图像拉伸畸变自适应校正方法 |
| US20200366838A1 (en) * | 2017-08-03 | 2020-11-19 | Hangzhou Hikvision Digital Technology Co., Ltd. | Panoramic image generation method and device |
| CN110751602A (zh) * | 2019-09-20 | 2020-02-04 | 北京迈格威科技有限公司 | 基于人脸检测的保形畸变校正方法和装置 |
| CN111008947A (zh) * | 2019-12-09 | 2020-04-14 | Oppo广东移动通信有限公司 | 图像处理方法和装置、终端设备及存储介质 |
| CN111105366A (zh) * | 2019-12-09 | 2020-05-05 | Oppo广东移动通信有限公司 | 图像处理方法和装置、终端设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 刘桂雄;刘思洋;吴俊芳;罗文佳;: "基于深度学习的机器视觉目标检测算法及在票据检测中应用", 《中国测试》, no. 05, 31 May 2019 (2019-05-31) * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113426129A (zh) * | 2021-06-24 | 2021-09-24 | 网易（杭州）网络有限公司 | 自定义角色的相貌调整方法、装置、终端和存储介质 |
| CN113426129B (zh) * | 2021-06-24 | 2024-03-01 | 网易（杭州）网络有限公司 | 自定义角色的相貌调整方法、装置、终端和存储介质 |
| CN114581361A (zh) * | 2021-06-28 | 2022-06-03 | 广州极飞科技股份有限公司 | 物体形态测量方法、装置、设备及存储介质 |
| CN113436063A (zh) * | 2021-07-30 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113436063B (zh) * | 2021-07-30 | 2024-03-05 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| WO2023010662A1 (zh) * | 2021-08-04 | 2023-02-09 | 展讯通信（上海）有限公司 | 人像区域网格点信息存储方法及相关产品 |
| WO2023023960A1 (zh) * | 2021-08-24 | 2023-03-02 | 深圳市大疆创新科技有限公司 | 图像处理及神经网络的训练方法和装置 |
| CN113834638A (zh) * | 2021-09-03 | 2021-12-24 | 大连中科创达软件有限公司 | 视场角确定方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112686824A (zh) | 图像校正方法、装置、电子设备和计算机可读介质 | |
| KR102010712B1 (ko) | 왜곡 보정 방법 및 단말기 | |
| CN110517214B (zh) | 用于生成图像的方法和装置 | |
| CN110868541B (zh) | 视场融合方法及装置、存储介质、终端 | |
| US20220301121A1 (en) | Method and apparatus for correcting face distortion, electronic device, and storage medium | |
| CN111062881A (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| CN111325792B (zh) | 用于确定相机位姿的方法、装置、设备和介质 | |
| CN115690382B (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
| WO2021003807A1 (zh) | 一种图像深度估计方法及装置、电子设备、存储介质 | |
| CN111340077A (zh) | 基于注意力机制的视差图获取方法和装置 | |
| CN114022662A (zh) | 图像识别方法、装置、设备及介质 | |
| CN114125411A (zh) | 投影设备校正方法、装置、存储介质以及投影设备 | |
| CN113963072B (zh) | 双目摄像头标定方法、装置、计算机设备和存储介质 | |
| CN113538316B (zh) | 图像处理方法、装置、终端设备以及可读存储介质 | |
| CN113724141B (zh) | 一种图像校正方法、装置及电子设备 | |
| CN111353945A (zh) | 鱼眼图像校正方法、装置及存储介质 | |
| CN113497886B (zh) | 视频处理方法、终端设备及计算机可读存储介质 | |
| CN115205456A (zh) | 三维模型构建方法、装置、电子设备及存储介质 | |
| CN114786001A (zh) | 3d图片拍摄方法和3d拍摄系统 | |
| KR20230002630A (ko) | 교정 방법, 교정 장치 및 이를 이용한 전자 장치 | |
| CN112508801A (zh) | 图像处理方法及计算设备 | |
| WO2023023960A1 (zh) | 图像处理及神经网络的训练方法和装置 | |
| CN115170674B (zh) | 基于单张图像的相机主点标定方法、装置、设备和介质 | |
| CN115514895B (zh) | 图像防抖方法、装置、电子设备和计算机可读存储介质 | |
| CN117135440A (zh) | 视频处理方法及装置、计算机可读介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |