CN114049269A - 图像校正方法和装置、电子设备 - Google Patents
图像校正方法和装置、电子设备 Download PDFInfo
- Publication number
- CN114049269A CN114049269A CN202111308695.6A CN202111308695A CN114049269A CN 114049269 A CN114049269 A CN 114049269A CN 202111308695 A CN202111308695 A CN 202111308695A CN 114049269 A CN114049269 A CN 114049269A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- corrected
- correction
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000003702 image correction Methods 0.000 title claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 336
- 230000000875 corresponding effect Effects 0.000 claims abstract description 253
- 230000011218 segmentation Effects 0.000 claims abstract description 113
- 230000002596 correlated effect Effects 0.000 claims abstract description 12
- 230000004927 fusion Effects 0.000 claims description 41
- 238000012545 processing Methods 0.000 claims description 37
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000009466 transformation Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 abstract description 13
- 238000010586 diagram Methods 0.000 description 15
- 238000005457 optimization Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000005452 bending Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像校正方法,包括:获取待校正图像;检测待校正图像中目标对象所在的目标区域;获取目标区域与待校正图像中预设参考点的目标距离,基于目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;将待校正图像进行分割得到多个分割区域;基于分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重;目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,提升了校正后图像的视觉效果。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像校正方法和装置、电子设备以及计算机可读存储介质。
背景技术
随着计算机技术领域技术的发展,在视觉领域的一些特定场景下,需要将拍摄的发生畸变的图像进行校正处理,从而可以得到符合不同场景需求的具有更好视觉效果的图像。
然而,传统的图像校正方式中,通常直接采用全局校正的方式对图像进行校正,由于这种方式校正后的图像中背景区域存在线条弯曲,因此无法得到较好的图像校正效果。
发明内容
本申请实施例提供一种图像校正方法和装置、电子设备以及计算机可读存储介质,可以有效校正图像中发生畸变的区域,同时又能够减少背景弯曲,分区域自适应调整校正程度,从而有效提升了校正后图像的视觉效果。
一种图像校正方法,包括:
获取待校正图像;
检测所述待校正图像中目标对象所在的目标区域;
获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;
将所述待校正图像进行分割得到多个分割区域;
基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重;
基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,所述原始网格是对所述待校正图像进行网格划分得到的网格图,所述投影网格是对所述原始网格进行投影变换得到的网格图。
一种图像校正装置,包括:
获取模块,用于获取待校正图像;
检测模块,用于检测所述待校正图像中目标对象所在的目标区域;
校正权重计算模块,用于获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;
目标校正权重确定模块,用于将所述待校正图像进行分割得到多个分割区域,基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重;
校正模块,用于基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,所述原始网格是对所述待校正图像进行网格划分得到的网格图,所述投影网格是对所述原始网格进行投影变换得到的网格图。
一种电子设备,包括存储器以及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
获取待校正图像;
检测所述待校正图像中目标对象所在的目标区域;
获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;
将所述待校正图像进行分割,得到多个分割区域;
基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重;
基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,所述原始网格是对所述待校正图像进行网格划分得到的网格图,所述投影网格是对所述原始网格进行投影变换得到的网格图。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如下步骤:
获取待校正图像;
检测所述待校正图像中目标对象所在的目标区域;
获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;
将所述待校正图像进行分割得到多个分割区域;
基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重;
基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,所述原始网格是对所述待校正图像进行网格划分得到的网格图,所述投影网格是对所述原始网格进行投影变换得到的网格图。
上述图像校正方法、装置、电子设备以及计算机可读存储介质,通过获取待校正图像,检测待校正图像中目标对象所在的目标区域;获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;将待校正图像进行分割得到多个分割区域;基于分割区域与目标区域的重叠关系,确定各个分割区域对应的目标校正权重;基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,原始网格是对待校正图像进行网格划分得到的网格图,投影网格是对原始网格进行投影变换得到的网格图,目标区域对应的校正权重随着对应的目标距离的增大而增大,且基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重,将原始网格和投影网格进行融合,使得最大程度的保留了人像整体校正,同时分场景得减弱了背景直线的弯曲情况,可以有效校正图像中发生畸变的区域,同时又能够减少背景弯曲,分区域自适应调整校正程度,从而有效提升了校正后图像的视觉效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像校正方法的应用环境图;
图2为一个实施例中图像校正方法的流程示意图;
图3为一个实施例中待校正图像对应的初始网格图;
图4为一个实施例中待校正图像对应的目标网格图;
图5为一个实施例中对人脸区域进行调整得到目标区域的示意图;
图6为一个实施例中基于目标距离与参考距离确定目标区域对应的校正权重的示意图;
图7为一个实施例中基于目标距离与第一参考距离、第二参考距离确定目标区域对应的校正权重的示意图
图8为一个实施例中图像校正装置的结构框图;
图9为一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中图像校正方法的应用环境图。如图1所示,该应用环境包括终端110和服务器120,图像校正方法可以由终端110、或服务器120独立完成,也可以由终端110、或服务器120配合完成。终端110或服务器120获取待校正图像,检测所述待校正图像中目标对象所在的目标区域;
获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重随着对应的目标距离的增大而增大;将所述待校正图像进行分割,得到对应的分割区域;基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重;基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像。其中终端110可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、车载电脑、穿戴式设备等终端设备。终端设备可以获取各种不同类型的待校正图像,待校正图像包括但不限于视频中的连续图像帧、实时拍摄的图像、从服务器下载的图像等。其中服务器120可以为一个服务器或服务器集群。
图2为一个实施例中图像校正方法的流程图。图2所示的图像校正方法可应用于上述终端110或服务器120中,包括:
步骤202,获取待校正图像。
其中,待校正图像是指需要进行校正的图像。由于拍摄对象所处环境复杂,在某些特定场景下拍摄得到的图像可能会产生畸变等现象,使得拍摄的图像的视觉效果较差,因此需要对已拍摄的图像中发生畸变的区域或者变形的区域进行校正处理。例如,广角相机采集的图像的畸变较大,直观感受就是图像边缘处的图像区域弯曲。因此针对该现象,可通过对相机做标定获取内参,再对采集得到的图像进行畸变校正处理,以获得校正后的图像,从而消除畸变。待校正图像可以包括终端拍摄的图像、摄像头采集的视频流图像或者终端从网络上爬取得到的待校正图像等。例如,本申请实施例中的待校正图像可以为视频流数据中的视频帧图像,视频帧图像中的部分区域可能会发生畸变,导致视频帧图像的视觉效果较差,因此需要进行校正处理。
具体的,终端可以获取摄像头拍摄的待校正图像。此外,终端也可以从服务器或者其他云平台中下载图像,将下载得到的图像作为待校正图像,这里对获取待校正图像的方式不做限定。可以理解的是,本实施例中的待校正图像还可以是将实时拍摄的视频流中的每帧图像作为待校正图像。
举个例子,用户可以通过触发操作启动终端中的某个具有图像识别功能的应用程序,该应用程序调用终端中内置的摄像头采集得到待校正图像。
步骤204,检测待校正图像中目标对象所在的目标区域。
其中,目标对象是指待校正图像中发生畸变的对象,例如,目标对象可以包括发生畸变的人脸、发生畸变的人像、发生畸变的物体、发生畸变的动物等。目标区域是指待校正图像中的发生畸变的对象所在的区域,例如,目标区域可以包括发生畸变的人脸所在的区域以及发生畸变的人像所在的区域等。
具体的,终端获取待校正图像之后,终端可以检测待校正图像中发生畸变的目标对象所在的目标区域。例如,以待校正图像中的人像作为目标对象进行说明。通常确定人像校正范围有两种方式,分别为人脸检测和人像分割。传统方式中,采用局部校正的方式通常需要较为精细的人像边缘信息,否则在校正后会造成人像边缘的线条扭曲。而本申请实施例中不需要精细的人像边缘信息,终端获取待校正图像之后,终端可以利用预设的人脸检测方式检测待校正图像中发生畸变的目标对象,即终端可以使用任意的第三方人脸检测技术检测待校正图像中发生畸变的目标对象,即可得到待校正图像中的目标人脸框,目标人脸框的范围通常上至目标人脸的眉毛,下至目标人脸的下巴,该目标人脸框即为终端检测到的待校正图像中发生畸变的目标人脸所在的目标区域。此外,终端还可以进一步对检测得到的目标人脸框进行适当的优化调整,例如,终端可以按照预设的优化调整方式,对目标人脸框进行适当的优化调整,得到优化调整后的目标人脸框,如以人脸为中心,向四周扩展预设范围,得到优化调整后的目标人脸框。可以理解的是,本申请实施例中采用的检测方式包括但不限于人脸检测,还可以包括其他的检测方式,这里对检测目标对象所在的目标区域的方式不做具体限定。
步骤206,获取目标区域与待校正图像中预设参考点的目标距离,基于目标距离确定目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关。
其中,预设参考点的位置可自定义,一般为待校正图像的中心位置。根据实验,视场角越大的拍摄装置拍摄的图像的目标区域,如人脸的畸变程度越大,同一张图片中,目标区域越靠近图像边缘畸变程度越大,因此处于图像中不同位置的目标区域都有不同的校正程度。
具体地,越靠近待校正图像中心位置的区域的校正程度越小,越接近待校正图像边缘位置的区域的校正程度越大。计算目标区域与待校正图像中预设参考点的目标距离的算法可自定义,如计算目标区域预设位置的目标点与待校正图像预设参考点之间的距离作为目标距离,其中目标点可以是目标区域中心点,也可以是目标区域的顶点,当目标点存在多个时,可根据多个目标点与待校正图像中预设参考点的距离,确定最终的目标距离。待校正图像预设参考点可以是待校正图像中心点,或待校正图像中心点预设范围内的点,可以根据图像的内容或需求进行自定义的调整。
目标区域对应的校正权重随着对应的目标距离的增大而增大,可以设定一个或多个参考距离,根据目标距离与参考距离间的函数关系确定目标区域对应的校正权重。其中参考距离的确定可基于图像的属性,如图像的宽,图像的采集参数,如图像对应的视场角等。
在一个实施例中,设定第一参考距离和第二参考距离,其中第一参考距离大于第二参考距离,当目标距离小于或等于第二参考距离时,通过第一函数确定目标区域对应的校正权重,当目标距离大于第二参考距离且小于第一参考距离时,通过第二函数确定目标区域对应的校正权重,当目标距离大于或等于第一参考距离时,通过第三函数确定目标区域对应的校正权重。通过多个参考距离,可以在不同的距离范围内,设定不同的函数关系计算得到目标区域对应的校正权重,提高了校正权重确定的自适应性与精准性。
步骤208,将待校正图像进行分割得到多个分割区域,基于分割区域与目标区域的重叠关系,确定各个分割区域对应的目标校正权重。
具体地,图像块分割的块尺寸的大小可自定义,在一个实施例中,将图像分割为相同大小的4个区域。一个目标区域可以同时与一个或多个分割区域有重叠,一个分割区域可以同时与一个或多个目标区域有重叠,可以自定义判断是否重叠的条件,如超过预设面积才判断为存在重叠关系,或达到预设比例才判断为存在重叠关系。获取与分割区域存在重叠关系的目标区域作为参考区域,根据参考区域的校正权重确定分割区域对应的目标校正权重,其中确定的方式可以自定义。如当存在多个参考区域时,将各个参考区域对应的校正权重进行加权得到分割区域对应的目标校正权重,或选择参考区域中的最大校正权重作为目标校正权重。
在一个实施例中,还可以基于人脸特征,人物性别、年龄等信息对各个分割区域对应的目标校正权重进行调整。根据不同用户对应的偏好,决定是更好的校正人脸还是更好的保持背景,目标区域的校正会导致背景直线的弯曲,因此两者间需要平衡,在一个实施例中,女性用户使用时,整体校正权重提升,保证脸型无畸变,男性用户使用时降低整体校正权重,在略校正人脸的同时,使背景直线弯曲较小。
步骤210,基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对待校正图像进行校正处理,得到校正处理后的目标图像,原始网格是对待校正图像进行网格划分得到的网格图,投影网格是对原始网格进行投影变换得到的网格图。
其中,网格化处理是指对待校正图像进行网格划分处理,网格划分就是把待校正图像分成很多小的单元,作为有限元分析前处理的重中之重,网格划分与计算目标的匹配程度、网格的质量好坏,决定了后期有限元计算的质量。例如,网格划分可以包括结构化网格划分和非结构化网格划分,网格化处理方式可以包括直接利用开源网格工具处理和自定义网格处理方法等多种网格化处理方式。原始网格是指对待校正图像进行网格划分后,得到的网格图。例如,按照预设的网格参数,对待校正图像进行网格划分,即可得到待校正图像对应的原始网格图,其中每个分割区域根据位置关系,在待校正图像对应的原始网格图中存在对应的原始网格。原始网格图可以包括均匀网格图、非均匀初始网格图等中的至少一种。均匀初始网格图是指原始网格图的网格疏密是均匀的,非均匀初始网格图是指原始网格图的网格疏密是非均匀的。
投影变换是指对网格图进行投影变换处理,投影变换处理可以包括多种类型的投影变换处理方式,例如,本申请实施例中的投影变换处理方式可以为stereographic投影变换(即球极平面投影),球极平面投影(射影)在几何学里,是一种将一个圆球面射影至一个平面的映射。投影网格图是指对原始网格图的所有网格点进行投影变换后,得到的投影变换后的网格点组成的网格图。其中每个分割区域根据位置关系,在待校正图像对应的投影网格图中存在对应的投影网格。
具体地,基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,目标校正权重越大,则融合时,投影网格的融合比例越高。如果目标校正权重为0,则表示目标网格中只存在原始网格,如果目标校正权重为最大校正值,则表示目标网格中只存在投影网格。在一个实施例中,通过以下的公式对原始网格和投影网格进行融合,Mesh=L/10*stereo网格+(1-L/10)*原始网格,Mesh表示目标网格,stereo网格表示stereographic投影变换(即球极平面投影)得到的网格,在终端采用球极平面投影变换的方式时,终端对目标区域内的所有网格点进行球极平面投影变换后得到stereo网格,其中,球极平面投影变换的公式如下所示:
d=min(W,H)
r0=d/(2.0*tan(0.5*atan(d/(2.0*f))))
rp=sqrt(x^2+y^2)
theta=tan(y/x)
ru=r0*tan(0.5*atan(rp/f));
X’=ru*sin(theta)
Y’=ru*cos(theta)
其中,W是图像宽度,H是图像高度,f表示图像对应的拍摄相机等效焦距,x,y表示投影前的网格坐标,X’,Y’表示投影后的网格坐标。
校正处理是指对基于目标网格对待校正图像进行畸变校正处理,例如,本实例中采用的校正处理方式可以为网格插值校正计算的方式。举个例子,如图3所示,为基于目标网格图对待校正图像进行校正处理的示意图。图3为待校正图像对应的初始网格,图4为待校正图像对应的目标网格。即终端可以基于调整后得到的目标网格,利用网格插值校正计算的方式,对待校正图像进行插值计算,即可得到校正后的目标图像。
传统方式中通常插值计算需要计算图像中每个像素点的映射关系,因而计算量过大,而本实施例中则是将待校正图像进行网格化,因而只需要计算网格点的映射关系,就可以进行插值,目标区域对应的四个网格顶点内部的其他像素点按仿射变换的方式映射即可,由此,极大的减少了额外的计算量,从而有效提高了图像畸变校正处理的计算效率,由于不同的分割区域对应不同的目标校正权重,则得到的目标网格在融合时自适应的调整原始网格和投影网格的融合比例,使得目标网格在进行校正处理时,能有效校正图像中发生畸变的区域,同时又能够减少背景弯曲,分区域自适应调整校正程度,从而有效提升了校正后图像的视觉效果。
本实施例中的图像校正方法,通过获取待校正图像,检测待校正图像中目标对象所在的目标区域;获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;将待校正图像进行分割得到多个分割区域;基于分割区域与目标区域的重叠关系,确定各个分割区域对应的目标校正权重;基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,原始网格是对待校正图像进行网格划分得到的网格图,投影网格是对所述原始网格进行投影变换得到的网格图,目标区域对应的校正权重随着对应的目标距离的增大而增大,且基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重,将原始网格和投影网格进行融合,使得最大程度的保留了人像整体校正,同时分场景得减弱了背景直线的弯曲情况,可以有效校正图像中发生畸变的区域,同时又能够减少背景弯曲,分区域自适应调整校正程度,从而有效提升了校正后图像的视觉效果。
在一个实施例中,步骤204包括:检测待校正图像中目标对象的人脸区域;将人脸区域进行扩展得到目标区域,其中,所述目标区域包括目标对象的头部区域。
具体地,可使用人脸检测首先区分有人脸场景和无人脸场景,无人脸场景则不进行畸变校正,待校正图像的目标校正权重为0。如果存在人脸,则将人脸区域进行扩展得到目标区域,目标区域包括目标对象的头部区域。如果是正面脸部,则目标区域包括头发,如果是侧面脸部,则目标区域包括头部的侧面区域,目标区域可以为规则形状区域,如矩形区域。也可以为梯形等根据检测结果自适应调形的其它形状的区域。在一个实施例中,目标对象所在的目标区域为矩形框,以人脸为核心,包括头发,侧脸包括后脑勺等区域。如图5所示,为对目标区域进行调整的示意图。图5中(1)为目标人脸框示意图,图5中(2)为优化调整后的目标人脸框示意图。即终端可以利用任意的人脸检测技术,检测待校正图像中目标人脸所在区域,即可得到如图5中(1)所示的目标人脸框区域。进一步的,终端可以利用预设的优化调整方式,对检测得到的目标人脸框区域进行优化调整,即可得到如图5中(2)所示的优化调整后的目标人脸框区域作为目标区域。
本实施例中,检测到人脸区域后,通过对人脸区域进行扩展,得到包括头部的区域作为目标对象所在的目标区域,使得脸部区域和头部区域形成一个整体,提高了后续通过目标区域计算目标距离和目标校正权重的准确性,从而提高校正后图像的质量。
在一个实施例中,如图6所示,目标区域为矩形区域,步骤206包括:。
步骤206A,获取目标区域的各个顶点,计算各个顶点与待校正图像中预设参考点的径向距离,获取各个顶点的径向距离中的最大值作为目标距离。
具体地,目标区域为矩形区域包括4个顶点,则计算这4个顶点分别与待校正图像中预设参考点的径向距离,其中预设参考点可以为待校正图像的中心点。从各个径向距离中获取最大值作为目标距离。
步骤206B,根据待校正图像的尺寸和待校正图像对应的视场角确定参考距离。
具体地,待校正图像的尺寸包括长和宽,可以根据待校正图像的尺寸确定第一参考距离,确定的方式可自定义。根据待校正图像对应的视场角确定第二参考距离,确定的方式可自定义,其中第二参考距离小于第一参考距离。
步骤206C,基于目标距离与参考距离确定目标区域对应的校正权重。
具体地,根据目标距离分别与第一参考距离和第二参考距离之间的关系确定目标区域对应的校正权重,对于不同的距离范围可确定不同的函数,以目标距离为变量,得到目标区域对应的校正权重。对于不同的函数可以为线性函数也可以为非线性函数,只需要满足根据函数得到的目标区域对应的校正权重随着对应的目标距离的增大而增大。可以理解,在一定的距离范围内,目标区域对应的校正权重可以是固定值。
本实施例中,根据顶点位置与待校正图像中预设参考点的径向距离最大值确定目标距离,并基于参考距离与目标距离的关系确定目标区域对应的校正权重,对于不同的目标距离与参考距离存在不同的距离关系,从而可基于不同的算法确定对应的校正权重,提高了校正权重确定的精准性与自适应性。
在一个实施例中,如图7所示,根据待校正图像的尺寸和待校正图像对应的视场角确定参考距离,基于目标距离与参考距离确定目标区域对应的校正权重,包括:
步骤302,根据待校正图像的尺寸确定第一参考距离,根据待校正图像对应的视场角确定第二参考距离。
具体的,可以对待校正图像的尺寸进行运算得到第一参考距离,在一个实施例中,将待校正图像的宽除以2作为第一参考距离。根据待校正图像对应的视场角确定第二参考距离,视场角的大小决定了光学仪器的视野范围,视场角又可用FOV,不同的视场角对应的图像采用不同的第二参考距离。
步骤304,若目标距离小于或等于第二参考距离,则确定目标区域对应的校正权重为第一目标权重。
具体地,取目标区域框四个顶点中与图像中心最大的径向距离r,以第二参考距离为r0,在待校正图像以r0为半径,作一个圆,则若r小于或r0,则确定目标区域对应的校正权重为第一目标权重,第一目标权重的大小可自定义,在一个实施例中,第一目标权重为0,表示靠近图像中心点位置的目标区域不需要进行校正。
步骤306,若目标距离大于第二参考距离且小于第一参考距离,则所述目标区域对应的校正权重为第二目标权重,所述第二目标权重随着所述目标距离单调递增。
具体地,若r小于第一参考距离,且r大于r0,权重单调递增,在一个实施例中,r在r0到col/2之间,权重单调递增,其中col表示待校正图像的宽。递增可以是线性的或非线性的,递增曲线可以根据实验及主观调整得到。
步骤308,若目标距离大于或等于第一参考距离,则目标区域对应的校正权重为第三目标权重;其中,第一目标权重小于第二目标权重,第二目标权重小于第三目标权重,所述第一参考距离大于所述第二参考距离。
具体地,若目标距离大于或等于第一参考距离,则确定目标区域对应的校正权重为第三目标权重,第三目标权重的大小可自定义,在一个实施例中,第一目标权重为最大值,表示靠近图像边缘位置的目标区域进行最大程度的校正。其中第一目标权重小于第二目标权重,第二目标权重小于第三目标权重,第一参考距离大于第二参考距离,从而保证目标区域对应的校正权重随着对应的目标距离的增大而增大。
本实施例中,通过目标距离与第一参考距离、第二参考距离之间的关系,为不同的目标区域确定不同的校正权重,当目标区域小于第二参考距离,表示离图像中心较近,则设置较小的校正权重,为固定值,当目标区域大于第一参考距离,表示离图像边缘较近,则设置较大的校正权重,为固定值,当目标区域在第一参考距离和第二参考距离之间,则设置变化的校正权重,权重随着目标距离的大小单调递增,从而可自适应的根据目标区域的位置调整校正权重,提高校正权重确定的匹配性与准确性。
在一个实施例中,步骤208之后,还包括:基于目标区域的面积获取权重修正系数;根据权重修正系数对目标区域对应的校正权重进行修正,权重修正系数使得目标区域对应的校正权重与目标区域的面积成反相关。
具体的,当人脸的尺寸达到一定程度,如距离相机非常近后,主观感受上畸变变得不明显,因此,不同尺寸的人脸也拥有不同的校正权重,基于目标区域的面积大小,面积大的目标区域设置较小的权重修正系数,从而将权重修正系数作用于目标区域对应的校正权重后,使得校正权重变小。在一个实施例中,可以根据目标区域的面积与待校正图像的总面积的比例,设置对应的权重修正系数,比例越大,权重修正系数越小,如对于4000*3000像素的待校正图像,当目标区域的面积为300*300时,设置权重修正系数为1,当目标区域的面积为400*400时,设置权重修正系数为0.8,当目标区域的面积为800*800时,设置权重修正系数为0.1,具体的对应关系可根据需要自定义。
本实施例中,通过目标区域的面积对目标区域对应的校正权重进行调整,面积越大的目标区域,将校正权重调小,从而可通过权重修正系数对目标区域对应的校正权重进行修正,进一步符合人眼的观看特性。
在一个实施例中,步骤208中基于分割区域与目标区域的重叠关系,确定各个分割区域对应的目标校正权重包括:对于每一个分割区域,将与分割区域具有重叠面积的目标区域作为分割区域的参考区域;获取分割区域的参考区域对应的校正权重中的最大校正权重,作为分割区域对应的目标校正权重。
具体地,对于每一个分割区域,获取与分割区域具有重叠面积的目标区域,如与分割区域具有重叠面积的目标区域包括A、B和C三个人脸区域,则A、B和C三个人脸区域都作为分割区域的参考区域,获取分割区域的参考区域对应的校正权重中的最大校正权重,作为分割区域对应的目标校正权重,即从A、B和C三个人脸区域对应的校正权重中获取最大值,作为分割区域对应的目标校正权重。如待校正图像有4个分割区域,则分别对这4个分割区域采用上述方式确定各个分割区域对应的目标校正权重。
本实施例中,通过将与分割区域具有重叠面积的目标区域中的校正权重中的最大校正权重,作为分割区域对应的目标校正权重,使得在分割区域中存在多个目标区域时,能自适应的确定目标校正权重。
在一个实施例中,步骤210包括:获取当前分割区域对应的全局投影网格;基于目标校正权重得到第一融合系数和第二融合系数;将第一融合系数作为全局投影网格的融合权重,第二融合系数作为原始网格融合权重,将所述当前分割区域对应原始网格和投影网格进行融合,得到当前分割区域对应的目标网格,所述第一融合系数与目标校正权重成正相关,所述第二融合系数与目标校正权重成反相关。
具体地,全局投影网格是指对原始网格采用全局投影的处理方式得到的网格,可以自定义目标校正权重与融合系数之间的关系,分别得到全局投影网格的融合权重和原始网格对应的融合权重,目标校正权重越大,融合过程中全局投影网格的融合权重越大,所以目标校正权重与第一融合系数成正相关,目标校正权重与第二融合系数成反相关,如在一个实施例中,目标校正权重为L,其中第一融合系数为L/10,第二融合系数为1-L/10。
本实施例中,通过目标校正权重自适应的计算得到匹配的第一融合系数和第二融合系数,从而根据不同的融合权重将全局投影网格和原始网格进行融合,得到校正图像效果更好的的目标网格。
在一个实施例中,方法还包括:获取视频流数据,所述视频流数据包括多帧视频帧图像;将所述视频帧图像依次作为待校正图像进行校正处理,得到对应的多帧目标图像。
具体地,终端可以获取视频流数据,视频流数据可以是由终端中内置的摄像头采集得到的实时的视频流数据,也可以是由终端从服务器上下载得到的非实时的视频流数据。进一步的,终端可以将视频流数据中的每一帧视频帧图像作为待校正图像进行校正处理,以得到多帧目标图像。即终端将视频流数据中的每一帧视频帧图像作为待校正图像,并检测待校正图像中目标对象所在的目标区域;获取目标区域与所述待校正图像中预设参考点的目标距离,基于所述标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重随着对应的目标距离的增大而增大;将待校正图像进行分割,得到对应的分割区域;基于分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重;基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,对各个视频帧图像进行校正处理后,得到畸变校正处理后的视频流。
本实施例中,通过将视频帧图像作为待校正图像进行校正处理,可以有效校正图像中发生畸变的区域,同时又能够减少背景弯曲,分区域自适应调整校正程度,从而有效提升了校正后图像的视觉效果,并且本实施例中校正处理的计算效率较高,可以实时处理视频流数据,有效保证了视频流观看的连续性与图像质量。
在一个实施例中,基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重之后,还包括:获取待校正图像在视频流数据中的前向图像;从分割区域中确定当前分割区域,获取当前分割区域在所述前向图像中匹配的前向分割区域;基于前向分割区域对应的平滑后的目标校正权重与当前分割区域对应的目标校正权重,得到当前分割区域对应的平滑后的目标校正权重。
具体地,有了分割区域对应的目标校正权重后,就可以得到每一帧都较为准确的校正结果。但是在视频中,如果帧间的校正程度相差过大就会造成图像的跳变,极为影响用户的观看质量,因此基于前向视频帧对应的平滑后的目标校正权重,对各个分割区域对应的目标校正权重进行平滑处理。通过求解以下的公式得到当前分割区域对应的平滑后的目标校正权重:
具体地,在进行计算时,需要先获取待校正图像在视频流数据中的前向图像,再从前向图像中获取当前分割区域对应的前向分割区域,即相同位置的区域,从而得到前向分割区域对应的平滑后的目标校正权重,进一步对当前分割区域对应的目标校正权重通过上述公式进行平滑。
本实施例中,通过视频流中的前向图像对应的平滑后的目标校正权重对当前图像的目标校正权重进行平滑,提高了视频流中各个图像间的平滑性,进一步提高了视频图像校正后的质量。
在一个具体的实施例中,可以应用于实时处理视频流数据中的人像畸变校正的场景中。以下以实时校正处理视频流数据中的人像畸变区域为例,对本申请实施例提供的图像校正方法进行说明,包括以下步骤:
1.场景判断
将实时视频流数据中的一帧图像作为待校正图像,检测待校正图像中目标对象所在的目标区域,使用人脸检测首先对待校正图像进行检测,区分有人像场景和无人像场景。无人像场景不进行人像畸变校正,目标校正权重为0,定义目标校正程度包括0-10,0表示完全不校正,10表示完全校正,有人像场景则进入下一步目标校正权重计算。本申请实施例中不需要精细的人像边缘信息,终端获取待校正图像之后,终端可以使用任意的人脸检测技术,以得到的待校正图像中的目标人脸框,目标人脸框的范围通常上至目标人脸的眉毛,下至目标人脸的下巴,终端进一步根据人脸的角度进行适当的优化调整即可,例如,如图4所示的(2)为优化调整后的目标人脸框示意图,即终端根据人脸的角度对原始目标人脸框进行适当的扩大即得到人脸所在的目标区域,一帧图像中可包括一个或多个目标区域。本实施例中不需要人像边缘信息,仅使用人脸框信息进行适当优化调整即可,极大的减少了额外的计算量,从而有效提高了图像畸变校正处理的计算效率。
2、校正权重计算
根据实验,视场角越大的拍摄装置拍摄的图像的目标区域,如人脸的畸变程度越大,同一张图片中,目标区域越靠近图像边缘畸变程度越大,因此处于图像中不同位置的目标区域都有不同的校正程度L,图像中心的人像L=0,紧贴图像边缘的人像L=10,当人脸的尺寸达到一定程度,包括距离相机非常近后,主观感受上畸变变得不明显,因此,不同尺寸的人脸也拥有不同的校正权重。本申请对图像中所有n个人脸分别计算校正程度,表示为L1-Ln。
具体的,取人脸目标区域四个顶点中与图像中心最大的径向距离r,将待校正图像的宽除以2,即col/2作为第一参考距离,根据待校正图像对应的视场角确定第二参考距离r0,以第二参考距离为r0,在待校正图像以r0为半径,作一个圆,若r>=col/2,则人脸目标区域对应的目标权重为10,若r<=r0,则人脸目标区域对应的目标权重为0,若r0<r<col/2,则目标权重随着r的增加单调非性线递增,递增曲线可以根据实验及主观调整得到。
基于人脸目标区域的面积获取权重修正系数,根据权重修正系数对目标区域对应的校正权重进行修正,权重修正系数使得目标区域对应的校正权重与目标区域的面积成反比关系。如人脸目标区域A的面积>人脸目标区域B的面积,则人脸目标区域A的权重修正系数为0.3,人脸目标区域B的面积0.8,人脸目标区域的面积越大,权重修正系数越小,将权重修正系数与人脸目标区域对应的目标权重相乘,得到修正后的目标权重。
3、分区校正程度计算
将待校正图像平均分为4个区域,得到对应的4个分割区域,每个分割区域取其区域内人脸校正权重的最大值作为该区域的目标校正权重,定义为L_lu、L-ru、L-ld、L-rd四个值。
具体地,对于每个分割区域,获取与当前分割区域具有重叠面积的人脸目标区域,作为当前分割区域的参考区域,如与当前分割区域具有重叠面积的人脸目标区域包括A人脸区域和B人脸区域,则将A人脸区域和B人脸区域作为当前分割区域的参考区域。获取当前分割区域的参考区域对应的校正权重中的最大校正权重,作为当前分割区域对应的目标校正权重。
4、平滑校正程度计算
在进行计算时,需要先获取待校正图像在视频流数据中的前向图像,再从前向图像中获取当前人脸目标区域对应的前向分割区域,即相同位置的区域,从而得到前向分割区域对应的平滑后的目标校正权重,进一步对当前人脸目标区域对应的目标校正权重通过以下公式进行平滑:
5、目标网格生成
用四个分割区域分别对应的目标校正权重分别对待校正图像的四个分割区域进行网格计算:
Mesh=L/10*stereo网格+(1-L/10)*原始网格
其中,Mesh表示目标网格,stereo网格表示stereographic投影变换(即球极平面投影)得到的网格。
终端分别基于各个分割区域对应的目标网格对视频帧图像的各个分割区域进行畸变校正处理,以得到畸变校正处理后的目标图像。
本实施例中,通过获取实时视频流数据中的图像作为待校正图像,检测待校正图像中人脸所在的目标区域;获取目标区域与待校正图像中中心点的目标距离,基于目标距离确定目标区域对应的校正权重,目标区域对应的校正权重随着对应的目标距离的增大而增大,将待校正图像进行分割,得到对应的分割区域;基于分割区域与目标区域的重叠关系,确定各个分割区域对应的目标校正权重;基于待校正图像在视频流数据中的前向图像对目标校正权重进行平滑,基于平滑后目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,依次对实时视频流数据中的图像进行校正,得到目标视频流,其中目标区域对应的校正权重随着对应的目标距离的增大而增大,且基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重,将原始网格和投影网格进行融合,使得最大程度的保留了人像整体校正,同时分场景得减弱了背景直线的弯曲情况,可以有效校正图像中发生畸变的区域,同时又能够减少背景弯曲,分区域自适应调整校正程度,从而有效提升了校正后图像的视觉效果。通过视频流中的前向图像对应的平滑后的目标校正权重对当前图像的目标校正权重进行平滑,提高了视频流中各个图像间的平滑性,进一步提高了视频图像校正后的质量。
应该理解的是,虽然图2、6-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、6-7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图8为一个实施例的图像校正装置400的结构框图。如图8所示,一种图像校正装置400,包括:获取模块402、检测模块404、校正权重计算模块406、目标校正权重确定模块408、校正模块410。其中:
获取模块402,用于获取待校正图像。
检测模块404,用于检测待校正图像中目标对象所在的目标区域。
校正权重计算模块406,用于获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关。
目标校正权重确定模块408,用于将所述待校正图像进行分割得到多个分割区域,基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重。
校正模块410,用于基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,所述原始网格是对所述待校正图像进行网格划分得到的网格图,所述投影网格是对所述原始网格进行投影变换得到的网格图。
本实施中的图像校正装置400,通过获取待校正图像,检测待校正图像中目标对象所在的目标区域;获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;将待校正图像进行分割得到多个分割区域;基于分割区域与目标区域的重叠关系,确定各个分割区域对应的目标校正权重;基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,原始网格是对所述待校正图像进行网格划分得到的网格图,所述投影网格是对所述原始网格进行投影变换得到的网格图,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,目标区域对应的校正权重随着对应的目标距离的增大而增大,且基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重,将原始网格和投影网格进行融合,使得最大程度的保留了人像整体校正,同时分场景得减弱了背景直线的弯曲情况,可以有效校正图像中发生畸变的区域,同时又能够减少背景弯曲,分区域自适应调整校正程度,从而有效提升了校正后图像的视觉效果。
在一个实施例中,检测模块404还用于检测所述待校正图像中目标对象的人脸区域;将人脸区域进行扩展得到目标区域,其中,目标区域包括目标对象的头部区域。
本实施中的图像校正装置400,检测到脸部区域后,通过对人脸区域进行扩展得到目标区域,目标区域包括目标对象的头部区域,使得脸部区域和头部区域形成一个整体,提高了后续通过目标区域计算目标距离和目标校正权重的准确性,从而提高校正后图像的质量。
在一个实施例中,目标区域为矩形区域,校正权重计算模块406还用于获取所述目标区域的各个顶点;计算各个顶点与待校正图像中预设参考点的径向距离,获取各个顶点的径向距离中的最大值作为所述目标距离;根据待校正图像的尺寸和待校正图像对应的视场角确定参考距离;基于所述目标距离与所述参考距离确定所述目标区域对应的校正权重。
本实施中的图像校正装置400,根据顶点位置与待校正图像中预设参考点的径向距离最大值确定目标距离,并基于参考距离与目标距离的关系确定目标区域对应的校正权重,对于不同的目标距离与参考距离存在不同的距离关系,从而可基于不同的算法确定对应的校正权重,提高了校正权重确定的精准性与自适应性。
在一个实施例中,校正权重计算模块406还用于根据待校正图像的尺寸确定第一参考距离;根据待校正图像对应的视场角确定第二参考距离;若所述目标距离小于或等于所述第二参考距离,则确定所述目标区域对应的校正权重为第一目标权重;若所述目标距离大于所述第二参考距离且小于所述第一参考距离,则所述目标区域对应的校正权重为第二目标权重,所述第二目标权重随着所述目标距离单调递增;若所述目标距离大于或等于所述第一参考距离,则所述目标区域对应的校正权重为第三目标权重;其中,第一目标权重小于所述第二目标权重,所述第二目标权重小于所述第三目标权重,所述第一参考距离大于所述第二参考距离。
本实施例中,通过目标距离与第一参考距离、第二参考距离之间的关系,为不同的目标区域确定不同的校正权重,当目标区域小于第二参考距离,表示离图像中心较近,则设置较小的校正权重,为固定值,当目标区域大于第一参考距离,表示离图像边缘较近,则设置较大的校正权重,为固定值,当目标区域在第一参考距离和第二参考距离之间,则设置变化的校正权重,权重随着目标距离的大小单调递增,从而可自适应的根据目标区域的位置调整校正权重,提高校正权重确定的匹配性与准确性。
在一个实施例中,校正权重计算模块406还用于基于所述目标区域的面积获取权重修正系数;根据所述权重修正系数对所述目标区域对应的校正权重进行修正,所述权重修正系数使得所述目标区域对应的校正权重与目标区域的面积成反相关。
本实施中的图像校正装置400,通过目标区域的面积对目标区域对应的校正权重进行调整,面积越大的目标区域,将校正权重调小,从而可通过权重修正系数对目标区域对应的校正权重进行修正,进一步符合人眼的观看特性。
在一个实施例中,目标校正权重确定模块408还用于对于每一个分割区域,将与分割区域具有重叠面积的目标区域作为分割区域的参考区域;获取分割区域的参考区域对应的校正权重中的最大校正权重,作为所述分割区域对应的目标校正权重。
本实施中的图像校正装置400,通过将与分割区域具有重叠面积的目标区域中的校正权重中的最大校正权重,作为分割区域对应的目标校正权重,使得在分割区域中存在多个目标区域时,能自适应的确定目标校正权重。
在一个实施例中,校正模块410还用于获取当前分割区域对应的全局投影网格;基于目标校正权重得到第一融合系数和第二融合系数;将第一融合系数作为全局投影网格的融合权重,第二融合系数作为原始网格融合权重,将所述当前分割区域对应原始网格和投影网格进行融合,得到当前分割区域对应的目标网格,所述第一融合系数与目标校正权重成正相关,所述第二融合系数与目标校正权重成反相关。
本实施中的图像校正装置400,通过目标校正权重自适应的计算得到匹配的第一融合系数和第二融合系数,从而根据不同的融合权重将全局投影网格和原始网格进行融合,得到校正图像效果更好的目标网格。
在一个实施例中,所述装置还包括:
视频流处理模块412,用于获取视频流数据,所述视频流数据包括多帧视频帧图像;将所述视频帧图像依次作为待校正图像进行校正处理,得到对应的多帧目标图像。
本实施中的图像校正装置400,通过将视频帧图像作为待校正图像进行校正处理,可以有效校正图像中发生畸变的区域,同时又能够减少背景弯曲,分区域自适应调整校正程度,从而有效提升了校正后图像的视觉效果,并且本实施例中校正处理的计算效率较高,可以实时处理视频流数据,有效保证了视频流观看的连续性与图像质量。
在一个实施例中,目标校正权重确定模块408还用于获取待校正图像在所述视频流数据中的前向图像;从所述分割区域中确定当前分割区域,获取当前分割区域在所述前向图像中匹配的前向分割区域;基于所述前向分割区域对应的平滑后的目标校正权重与当前分割区域对应的目标校正权重,得到当前分割区域对应的平滑后的目标校正权重。
本实施例中,通过视频流中的前向图像对应的平滑后的目标校正权重对当前图像的目标校正权重进行平滑,提高了视频流中各个图像间的平滑性,进一步提高了视频图像校正后的质量
关于图像校正装置的具体限定可以参见上文中对于图像校正方法的限定,在此不再赘述。上述图像校正装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图9为一个实施例中电子设备的内部结构示意图。如图9所示,该电子设备包括通过系统总线连接的处理器、存储器。其中,该处理器用于提供计算和控制能力,支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以上各个实施例所提供的图像校正方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、服务器等。
本申请实施例中提供的图像校正装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述的图像校正方法。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行本申请实施例中所描述的图像校正方法。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本申请实施例中所描述的图像校正方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (12)
1.一种图像校正方法,其特征在于,包括:
获取待校正图像;
检测所述待校正图像中目标对象所在的目标区域;
获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;
将所述待校正图像进行分割得到多个分割区域;
基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重;
基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,所述原始网格是对所述待校正图像进行网格划分得到的网格图,所述投影网格是对所述原始网格进行投影变换得到的网格图。
2.根据权利要求1所述的方法,其特征在于,所述检测所述待校正图像中目标对象所在的目标区域包括:
检测所述待校正图像中目标对象的人脸区域;
将所述人脸区域进行扩展得到目标区域,其中,所述目标区域包括目标对象的头部区域。
3.根据权利要求1所述的方法,其特征在于,所述目标区域为矩形区域,所述获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重包括:
获取所述目标区域的各个顶点;
计算各个顶点与待校正图像中预设参考点的径向距离,获取各个顶点的径向距离中的最大值作为所述目标距离;
根据待校正图像的尺寸和待校正图像对应的视场角确定参考距离;
基于所述目标距离与所述参考距离确定所述目标区域对应的校正权重。
4.根据权利要求3所述的方法,其特征在于,所述根据待校正图像的尺寸和待校正图像对应的视场角确定参考距离,基于所述目标距离与所述参考距离确定所述目标区域对应的校正权重,包括:
根据待校正图像的尺寸确定第一参考距离;
根据待校正图像对应的视场角确定第二参考距离;
若所述目标距离小于或等于所述第二参考距离,则确定所述目标区域对应的校正权重为第一目标权重;
若所述目标距离大于所述第二参考距离且小于所述第一参考距离,则所述目标区域对应的校正权重为第二目标权重,所述第二目标权重随着所述目标距离单调递增;
若所述目标距离大于或等于所述第一参考距离,则所述目标区域对应的校正权重为第三目标权重;其中,所述第一目标权重小于所述第二目标权重,所述第二目标权重小于所述第三目标权重,所述第一参考距离大于所述第二参考距离。
5.根据权利要求1所述的方法,其特征在于,所述基于所述目标距离确定所述目标区域对应的校正权重之后,还包括:
基于所述目标区域的面积获取权重修正系数;
根据所述权重修正系数对所述目标区域对应的校正权重进行修正,所述权重修正系数使得所述目标区域对应的校正权重与目标区域的面积成反相关。
6.根据权利要求1所述的方法,其特征在于,所述基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重包括:
对于每一个分割区域,将与所述分割区域具有重叠面积的目标区域作为分割区域的参考区域;
获取分割区域的参考区域对应的校正权重中的最大校正权重,作为所述分割区域对应的目标校正权重。
7.根据权利要求1所述的方法,其特征在于,所述基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格包括:
获取当前分割区域对应的全局投影网格;
基于目标校正权重得到第一融合系数和第二融合系数;
将第一融合系数作为全局投影网格的融合权重,第二融合系数作为原始网格融合权重,将所述当前分割区域对应原始网格和投影网格进行融合,得到当前分割区域对应的目标网格,所述第一融合系数与目标校正权重成正相关,所述第二融合系数与目标校正权重成反相关。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取视频流数据,所述视频流数据包括多帧视频帧图像;
将所述视频帧图像依次作为待校正图像进行校正处理,得到对应的多帧目标图像。
9.根据权利要求8所述的方法,其特征在于,所述基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重之后,还包括:
获取待校正图像在所述视频流数据中的前向图像;
从所述分割区域中确定当前分割区域,获取当前分割区域在所述前向图像中匹配的前向分割区域;
基于所述前向分割区域对应的平滑后的目标校正权重与当前分割区域对应的目标校正权重,得到当前分割区域对应的平滑后的目标校正权重。
10.一种图像校正装置,其特征在于,包括:
获取模块,用于获取待校正图像;
检测模块,用于检测所述待校正图像中目标对象所在的目标区域;
校正权重计算模块,用于获取所述目标区域与所述待校正图像中预设参考点的目标距离,基于所述目标距离确定所述目标区域对应的校正权重,目标区域对应的校正权重与目标距离正相关;
目标校正权重确定模块,用于将所述待校正图像进行分割得到多个分割区域,基于所述分割区域与所述目标区域的重叠关系,确定各个分割区域对应的目标校正权重;
校正模块,用于基于目标校正权重将各个分割区域对应的原始网格和投影网格进行融合,得到各个分割区域对应的目标网格,基于各个分割区域对应的目标网格对所述待校正图像进行校正处理,得到校正处理后的目标图像,所述原始网格是对所述待校正图像进行网格划分得到的网格图,所述投影网格是对所述原始网格进行投影变换得到的网格图。
11.一种电子设备,包括存储器以及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至9中任一项所述的图像校正方法。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的图像校正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111308695.6A CN114049269A (zh) | 2021-11-05 | 2021-11-05 | 图像校正方法和装置、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111308695.6A CN114049269A (zh) | 2021-11-05 | 2021-11-05 | 图像校正方法和装置、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114049269A true CN114049269A (zh) | 2022-02-15 |
Family
ID=80207438
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111308695.6A Pending CN114049269A (zh) | 2021-11-05 | 2021-11-05 | 图像校正方法和装置、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114049269A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612342A (zh) * | 2022-03-28 | 2022-06-10 | Oppo广东移动通信有限公司 | 人脸图像校正方法及装置、计算机可读介质和电子设备 |
CN115935118A (zh) * | 2022-12-27 | 2023-04-07 | 中科三清科技有限公司 | 数据处理方法、装置、存储介质及芯片 |
CN116503924A (zh) * | 2023-03-31 | 2023-07-28 | 广州翼拍联盟网络技术有限公司 | 人像头发边缘处理方法、装置、计算机设备及存储介质 |
-
2021
- 2021-11-05 CN CN202111308695.6A patent/CN114049269A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114612342A (zh) * | 2022-03-28 | 2022-06-10 | Oppo广东移动通信有限公司 | 人脸图像校正方法及装置、计算机可读介质和电子设备 |
CN115935118A (zh) * | 2022-12-27 | 2023-04-07 | 中科三清科技有限公司 | 数据处理方法、装置、存储介质及芯片 |
CN115935118B (zh) * | 2022-12-27 | 2023-11-14 | 中科三清科技有限公司 | 数据处理方法、装置、存储介质及芯片 |
CN116503924A (zh) * | 2023-03-31 | 2023-07-28 | 广州翼拍联盟网络技术有限公司 | 人像头发边缘处理方法、装置、计算机设备及存储介质 |
CN116503924B (zh) * | 2023-03-31 | 2024-01-26 | 广州翼拍联盟网络技术有限公司 | 人像头发边缘处理方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114049269A (zh) | 图像校正方法和装置、电子设备 | |
CN110517278B (zh) | 图像分割和图像分割网络的训练方法、装置和计算机设备 | |
CN111008947B (zh) | 图像处理方法和装置、终端设备及存储介质 | |
JP6351238B2 (ja) | 画像処理装置、撮像装置および距離補正方法 | |
CN112258528A (zh) | 图像处理方法和装置、电子设备 | |
CN110766639B (zh) | 图像增强方法、装置、移动设备及计算机可读存储介质 | |
CN110349086B (zh) | 一种非同心成像条件的图像拼接方法 | |
CN111105366B (zh) | 图像处理方法和装置、终端设备及存储介质 | |
CN110971827B (zh) | 人像模式拍摄方法、装置、终端设备和存储介质 | |
CN114175091A (zh) | 利用基于上下文分割层的自适应去扭曲的最优身体或面部保护的方法 | |
CN111598779A (zh) | 图像超分辨率处理方法和装置、电子设备及存储介质 | |
JP7116262B2 (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
US10878265B2 (en) | Image processing device and image processing method for setting important areas in an image | |
CN114049268A (zh) | 图像校正方法、装置、电子设备和计算机可读存储介质 | |
CN111415310B (zh) | 一种图像处理方法及装置、存储介质 | |
CN106952247B (zh) | 一种双摄像头终端及其图像处理方法和系统 | |
US20220327674A1 (en) | Image fusion method and apparatus, storage medium, and terminal | |
CN113628229B (zh) | 图像裁剪方法及相关产品 | |
CN107341460B (zh) | 人脸跟踪方法及装置 | |
CN111754429A (zh) | 运动矢量后处理方法和装置、电子设备及存储介质 | |
CN108876704A (zh) | 人脸图像变形的方法、装置及计算机存储介质 | |
WO2023023960A1 (zh) | 图像处理及神经网络的训练方法和装置 | |
CN110290395A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
CN110619611B (zh) | 图像校正标定方法、装置、计算机设备和存储介质 | |
CN112203023A (zh) | 一种十亿像素视频生成方法及装置、设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |