CN111105366A - 图像处理方法和装置、终端设备及存储介质 - Google Patents

图像处理方法和装置、终端设备及存储介质 Download PDF

Info

Publication number
CN111105366A
CN111105366A CN201911252847.8A CN201911252847A CN111105366A CN 111105366 A CN111105366 A CN 111105366A CN 201911252847 A CN201911252847 A CN 201911252847A CN 111105366 A CN111105366 A CN 111105366A
Authority
CN
China
Prior art keywords
value
corrected
size value
grid
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911252847.8A
Other languages
English (en)
Other versions
CN111105366B (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911252847.8A priority Critical patent/CN111105366B/zh
Publication of CN111105366A publication Critical patent/CN111105366A/zh
Application granted granted Critical
Publication of CN111105366B publication Critical patent/CN111105366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Abstract

本申请提出一种图像处理方法和装置、终端设备及存储介质,其中,方法包括:识别图像中的人体区域,其中,人体区域包括人脸子区域和身体子区域;根据预设的初始投影网格对人体区域校正计算,获取与人脸子区域对应的第一校正尺寸值和与身体子区域对应的第二校正尺寸值;在第一校正尺寸值和第二校正尺寸值中,确定满足预设条件的目标校正尺寸值;根据目标校正尺寸值对图像中的人体区域校正处理,生成目标图像。由此,实现了图像校正后,人体区域的身体部分和人脸部分的尺寸协调,增强了校正后图像的真实感,解决了现有技术中,不同区域之间的校正处理单独执行,导致校正后不同区域之间尺寸不协调的技术问题。

Description

图像处理方法和装置、终端设备及存储介质
技术领域
本申请涉及影像处理技术领域,尤其涉及一种图像处理方法和装置、终端设备及存储介质。
背景技术
随着拍照应用的普及,用户对图像的质量的要求也越来越高,然而,拍摄的图像由于摄像头的硬件参数存在畸变,比如,对于广角摄像头而言,由于其摄像头的构造问题,对拍摄的物体透视投影时,会引起物体的形变,如图1所示,越靠近边缘的图像拉伸越严重,即视角越大,投影所拉伸的程度越大,比如,一个球形物体在广角相机中,可能会在图像的边缘会被投影成为椭圆形。
相关技术中,为了消除图像的畸变问题,采用统一的去畸变算法对图像整体进行校正处理,然而,这种针对图像整体统一校正处理的方式,并未考虑到图像中不同区域之间的尺寸关联性,可能会导致基于统一的去畸变算法校正处理后,不同区域的尺寸之间不协调,图像的真实感不强。
发明内容
本申请提出一种图像处理方法和装置、终端设备及存储介质,以解决现有技术中,不同区域之间的校正处理单独执行,导致校正后不同区域之间尺寸不协调的技术问题。
本申请一方面实施例提供了一种图像处理方法,包括:识别图像中的人体区域,其中,所述人体区域包括所述人脸子区域和身体子区域;根据预设的初始投影网格对所述人体区域校正计算,获取与所述人脸子区域对应的第一校正尺寸值和与所述身体子区域对应的第二校正尺寸值;在所述第一校正尺寸值和所述第二校正尺寸值中,确定满足预设条件的目标校正尺寸值;根据所述目标校正尺寸值对所述图像中的人体区域校正处理,生成目标图像。
本申请另一方面实施例提供了一种图像处理装置,包括:识别模块,用于识别图像中的人体区域,其中,所述人体区域包括所述人脸子区域和身体子区域;获取模块,用于根据预设的初始投影网格对所述人体区域校正计算,获取与所述人脸子区域对应的第一校正尺寸值和与所述身体子区域对应的第二校正尺寸值;确定模块,用于在所述第一校正尺寸值和所述第二校正尺寸值中,确定满足预设条件的目标校正尺寸值;生成模块,用于根据所述目标校正尺寸值对所述图像中的人体区域校正处理,生成目标图像。
本申请又一方面实施例提供了一种终端设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如前述实施例所描述的图像处理方法。
本申请还一方面实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例所描述的图像处理方法。
本申请提供的实施例,至少包括如下有益技术效果:
识别图像中的人体区域,其中,人体区域包括人脸子区域和身体子区域,根据预设的初始投影网格对人体区域校正计算,获取与人脸子区域对应的第一校正尺寸值和与身体子区域对应的第二校正尺寸值,进而,在第一校正尺寸值和第二校正尺寸值中,确定满足预设条件的目标校正尺寸值,最后,根据目标校正尺寸值对图像中的人体区域校正处理,生成目标图像。由此,实现了图像校正后,人体区域的身体部分和人脸部分的尺寸协调,增强了校正后图像的真实感,解决了现有技术中,不同区域之间的校正处理单独执行,导致校正后不同区域之间尺寸不协调的技术问题。
本申请附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为现有技术的一种透视投影畸变的场景示意图;
图2为本申请实施例所提供的一种图像处理方法的流程示意图;
图3是根据本申请一个实施例的球形投影网格示意图;
图4-1是根据本申请一个实施例的图像原始网格示意图;
图4-2是根据本申请一个实施例的图校正后始网格示意图;
图4-3是根据本申请一个实施例的校正网格相对于原始网格的尺寸比值结果示意图;
图5是根据本申请一个实施例的图像示意图;
图6为本申请实施例所提供的一种图像处理装置的结构示意图;以及
图7是根据本申请一个实施例的终端设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像处理方法和装置、终端设备及存储介质。本申请实施例的图像指的是摄像头拍摄得到的图像,包括视频流中的视频帧。
为了解决现有技术中提到的,不同区域之间在去畸变校正处理后,尺寸不协调的技术问题,本申请提出了一种结合不同区域之间的尺寸关联性进行校正处理的方式,从而,提高了图像校正处理后不同区域之间的尺寸协调,增强了图像的真实感,其中,不同的区域之间可以为任意具有尺寸关联性的图像区域,比如,可以为桌子所在区域和椅子所在区域等,为了便于说明,本实施例中,以该不同的区域分别为人体的人脸子区域和身体子区域为例。这也就意味着,本申请实施例中的包括人体区域。
具体而言,图2为本申请实施例所提供的一种图像处理方法的流程示意图。如图2所示,该方法包括:
步骤101,识别图像中的人体区域,其中,人体区域包括人脸子区域和身体子区域。
其中,上述人脸子区域可以为整张人脸子区域,也可以为侧脸区域,身体子区域可以为整个身体子区域,也可以为半身区域等。
需要说明的是,在不同的应用场景下,识别图像中的人体区域的方式不同,示例说明如下:
示例一:
在本示例中,提取图像特征,将该图像特征与预设的人体区域对应的图像特征匹配,若匹配成功,则确定匹配成功的图像特征对应的区域为人体区域。
示例二:
在本示例中,可以根据实例分析法,对该图像进行实例分析,识别图像中包含的实体类型,确定实体类型为人体的图像实体所在区域为人体区域。
另外,需要说明的是,在实际执行过程中,划分出人脸子区域和身体子区域的方式也可以采用上述示例示出的方式。
步骤102,根据预设的初始投影网格对人体区域校正计算,获取与人脸子区域对应的第一校正尺寸值和与身体子区域对应的第二校正尺寸值。
其中,作为一种优选的实施例,如图3所示,对于球面投影网格而言,并不会改变拍照对象的形状,因此,在本实施例中,预设的初始投影网格包含对应的网格参数。
具体的,根据预设的初始投影网格对人体区域校正计算,获取与人脸子区域对应的第一校正尺寸值和与身体子区域对应的第二校正尺寸值。
作为一种可能的实现方式,根据预设的初始投影网格确定与人体区域的像素点对应的映射像素点,首先,获取人体区域中每个像素点坐标的深度值,其中,确定人体区域的深度值的方式可以为通过双摄像头的双目探测法获取,也可以为根据图像识别分析的方法计算出。
其次,将人体区域中每个像素点的像素坐标和深度值输入初始投影网格,获取与每个像素点对应的映射像素坐标,假设初始投影网格为透视投影网格,则初始投影网格将(x,y)点映射为(u,v)点,其中,u=(ax+by+c)/(dx+ey+f),v=(gx+hy+1)/(dx+ey+f),dx+ey+f是将3D透视变换应用于包含2D图像的平面之后的点的深度的计算,其中,g,h,d,e,f,a,b,c可以由投影变换对应的矩阵计算得到,在此不进行说明。
在计算得到与每个像素点对应的映射像素坐标后,该映射像素坐标可以理解为校正后的像素坐标,进而,计算每个像素点的映射像素坐标和对应的像素坐标的位移差值,计算人脸子区域中所有像素点对应的位移差值的均值,获取第一校正尺寸值,计算身体子区域中所有像素点对应的位移差值的均值,获取第二校正尺寸值,也就是说,在本实施例中,基于像素点的位移差值的均值确定人脸子区域的校正情况,将其作为第一校正尺寸值,基于像素点的位移差值的均值确定身体子区域的校正情况,将其作为第二校正尺寸值。
作为另一种可能的实现方式,根据人体区域中像素点的坐标构建人体区域中的原始网格,其中,根据像素点的坐标构建原始网格的方式,可由现有技术实现,在此不再赘述,根据预设的初始投影网格对人体区域校正计算,获取与人脸子区域对应的第一变换网格以及与身体子区域对应的第二变换网格,即获取校正处理后变换后的网格,进而,计算第一变换网格与原始网格的尺寸比值获取第一校正尺寸值,并计算第二变换网格与所述原始网格的尺寸比值获取第二校正尺寸值。
举例而言,如图4-1所示,构建的图像的原始网格,进而,在原始网格中且分割出人体区域的网格(图中为示出),如图4-2所示,获取人体区域校正后对应的变换网格,分别比较人体区域和身体子区域变换后的网格于原始的网格的尺寸比值。
在本实施例的不同场景中,计算第一变换网格与原始网格的尺寸比值获取第一校正尺寸值,并计算第二变换网格与原始网格的尺寸比值获取第二校正尺寸值的方式不同,示例如下:
示例一:
在本示例中,综合校正的效率和校正后的图像真实性,选择网格的一个方向进行尺寸比值的计算,其中,在本示例中,将网格划分为水平方向的X轴,和竖直方向的Y轴方向,其中,如图4-3的右图所示,变换网格相对于原始网格在X轴和Y轴上的尺寸比值是可计算的。
举例而言,识别身体子区域中的预设身体特征信息,并根据预设身体特征信息确定身体子区域的校正尺寸置信度,其中,身体子区域的校正尺寸置信度,用于表示身体子区域和人脸子区域在肩膀方向尺寸不一致时,对身体子区域和头部区域的协调感的影响程度。若是置信度大于预设阈值,则表明此时身体子区域和人脸子区域在肩膀方向尺寸不一致时,对身体子区域和头部区域的协调感的影响程度较大,因此,考虑水平方向上尺寸的变化,在本申请的实施例中,以肩膀方向为水平X轴方向为例说明,计算第一变换网格与原始网格在水平方向上的尺寸比值获取第一校正尺寸值,并计算第二变换网格与原始网格在水平方向上的尺寸比值获取第二校正尺寸值,其中,计算校正尺寸值时,可以取所有水平方向上计算得到的对应的尺寸比值的均值。
在本示例中,若是置信度小于等于预设阈值,则表明此时身体子区域和人脸子区域在肩膀方向尺寸不一致时,对身体子区域和头部区域的协调感的影响程度较小,但是身体子区域在身高方向上与人脸子区域不一致时候,可能对身体子区域和头部区域的协调感的影响程度较大,此时,考虑竖直方向上尺寸的变化,在本示例中,以肩膀方向为竖直Y轴方向为例说明,若置信度小于等于预设阈值,则计算第一变换网格与原始网格在竖直方向上的尺寸比值获取第一校正尺寸值,并计算第二变换网格与所述原始网格在竖直方向上的尺寸比值获取第二校正尺寸值。其中,计算校正尺寸值时,可以取所有竖直方向上计算得到的对应的尺寸比值的均值。
需要说明的是,在本示例的不同场景中,识别身体子区域中的预设身体特征信息,并根据预设身体特征信息确定身体子区域的校正尺寸置信度的方式不同:
作为一种可能的示例,预设的身体特征信息包括身体完整度信息,该身体完成度表示身体子区域中包含的身体图像的完整性,举例而言,如图5所示,对于人体区域1-3而言,其中,人体区域1的完整度要大于人体区域2的完成度,人体区域2的完整度要大于人体区域3的完整度,在本实施例中,可以识别身体子区域中的身体图像信息,根据身体图像特征信息确定身体子区域包含的肢体部位,根据该肢体部位确定身体完整度,进而,根据身体完整度确定校正尺寸置信度,比如,可以预先构建每个肢体部位的分值根据该分值之和确定身体完整度,进而,根据预先构建的身体完整度和校正尺寸置信度的对应关系,确定与身体完整度对应的校正尺寸置信度。
当然,在本实施例中,为了保证对图像中突出的用户进行更好的协调一致性处理,还可以确定每个身体子区域在图像中的面积占比,根据面积占比和对应的身体完整度共同确定校正尺寸置信度,继续参照图5,虽然身体子区域2身体完整度小于身体子区域3的身体完整度,但是明显身体子区域2的面积占比大于身体子区域3的面积占比,因此,结合面积占比确定的身体子区域的校正尺寸置信度身体子区域2要大于身体子区域3。在实际计算过程中,可以为身体完整度和面积占比分配不同的权重,根据不同的权重计算出对应的校正尺寸置信度。
作为另一种可能的实现方式,继续参照图5,人体区域在图像中的位置不同,实际上畸变的程度不同的,比如,图5中边缘位置的人体区域3的畸变程度显然要大于中间区域人体区域2的畸变程度,因此,在本实施中,确定身体子区域的位置信息,该位置信息可以为身体子区域的中心坐标点的位置,也可以为身体子区域的中心坐标点距离图像中心坐标的坐标差值,还可以为身体子区域与预设的中心区域的重叠面积与整个身体子区域的面积比等。
在本实施例中,预先构建包含位置信息和畸变程度值的对应关系的数据库,从而,查询预设的数据库获取与位置信息对应的畸变程度值,根据畸变程度值来确定校正尺寸的置信度。其中,畸变程度值越低,则表示对应的身体子区域部分越是靠近图像的中心区域,从而,身体子区域和人脸子区域在肩膀方向尺寸不一致时,对身体子区域和头部区域的协调感的影响程度较大,由此,确定的校正尺寸置信度越高,反之,畸变程度值越高,则表示对应的身体子区域部分越是靠近图像的边缘区域,从而,身体子区域和人脸子区域在身高方向尺寸不一致时,对身体子区域和头部区域的协调感的影响程度较大,由此,确定的校正尺寸置信度越低。
示例二:
不难理解的是,人体区域每个像素点的原始坐标在经过投影网格校正变换后,像素点的坐标会发生变化,变化后的坐标称为参考坐标。在本实施例中,计算每个像素点的参考坐标和原始坐标的坐标差,该坐标差反映了图像的校正程度,由此,可计算人脸子区域中所有像素点的坐标差的均值,作为人脸子区域对应的第一校正尺寸值,可计算身体子区域中所有像素点的坐标差的均值,作为身体子区域对应的第二校正尺寸值。
步骤103,在第一校正尺寸值和第二校正尺寸值中,确定满足预设条件的目标校正尺寸值。
基于上述分析,第一校正尺寸值可以理解为人脸子区域的校正程度,第二校正尺寸值可以理解为身体子区域的校正程度,而实际上身体子区域和人体区域的畸变程度是不同的,因而,在本实施例中,为了提高头部和身体子区域的协调程度,在第一校正尺寸值和第二校正尺寸值中,确定满足预设条件的目标校正尺寸值,其中,预设条件用于判断第一校正尺寸值和第二校正尺寸值中,可以实现校正效果最协调的校正尺寸值。
需要说明的是,在不同的应用场景下,在第一校正尺寸值和第二校正尺寸值中,确定满足预设条件的目标校正尺寸值的方式不同,示例说明如下:
示例一:
在本示例中,计算第一校正尺寸值和第二校正尺寸值的差值绝对值,判断差值绝对值是否大于预设门限值,该预设门限值可根据实验数据标定,若是大于预设门限值,则确定第二校正尺寸值为目标校正尺寸值,即若是第一校正尺寸值和第二校正尺寸值的差异性较大,则将身体子区域对应的第二校正尺寸值作为后续的校正尺寸值,根据该校正尺寸值校正人脸子区域和身体子区域,此时,身体子区域和人脸子区域的大小尺寸比较协调。
若是差值绝对值小于等于预设门限值,则确定第一校正尺寸值为目标校正尺寸值,即若是第一校正尺寸值和第二校正尺寸值的差异性较小,则将人脸子区域对应的第一校正尺寸值作为后续的校正尺寸值,根据该校正尺寸值校正人脸子区域和身体子区域,此时,人脸子区域的真实感较强,且身体子区域的校正后的尺寸和人脸子区域大小也比较协调。
示例二:
考虑到身体子区域的面积占比越大,则其若是校正后畸变比较大,则显然会导致整张图像的真实感明显降低,因此,在本示例中,计算身体子区域的面积相对于整张图像的面积占比。
如面积占比小于预设阈值,则确定第一校正尺寸值为目标校正尺寸值,以便于后续图像校正处理后,头部区域的真实感比较强,且兼顾了身体子区域和人脸子区域的协调性,若面积占比大于预设阈值,则确定第二校正尺寸值为目标校正尺寸值,以便于后续图像校正处理后,身体子区域和人脸子区域的尺寸协调一致。
步骤104,根据目标校正尺寸值对图像中的人体区域校正处理,生成目标图像。
具体的,根据目标校正尺寸值对图像中的人体区域校正处理,生成目标图像,此时处理后的人体区域的人脸子区域和身体子区域比较协调,
作为一种可能的实现方式,确定与目标校正尺寸调节的目标子区域,调节初始投影玩网格的网格参数,以使得人脸子区域和身体子区域之外的非目标子区域,可以按照该目标校正尺寸校正,目标子区域仍旧按照初始投影网格进行校正处理。
作为另一种可能的实现方式,可以根据目标校正尺寸值,对人体区域进行整体的调整,比如根据图像处理算法,按照该目标校正尺寸调节该人体区域的像素点的坐标等,使得其处理后可以实现人体区域到目标校正尺寸值的校正。
综上,本申请实施例的图像处理方法,识别图像中的人体区域,其中,人体区域包括人脸子区域和身体子区域,根据预设的初始投影网格对人体区域校正计算,获取与人脸子区域对应的第一校正尺寸值和与身体子区域对应的第二校正尺寸值,进而,在第一校正尺寸值和第二校正尺寸值中,确定满足预设条件的目标校正尺寸值,最后,根据目标校正尺寸值对图像中的人体区域校正处理,生成目标图像。由此,实现了图像校正后,人体区域的身体部分和人脸部分的尺寸协调,增强了校正后图像的真实感,解决了现有技术中,不同区域之间的校正处理单独执行,导致校正后不同区域之间尺寸不协调的技术问题。
为了实现上述实施例,本申请还提出一种图像处理装置。
图6为本申请实施例提供的一种图像处理装置的结构示意图。
如图6所示,该图像装置包括:识别模块10、获取模块20、确定模块30和生成模块40,其中,
识别模块10,用于识别图像中的人体区域,其中,人体区域包括人脸子区域和身体子区域;
获取模块20,用于根据预设的初始投影网格对人体区域校正计算,获取与人脸子区域对应的第一校正尺寸值和与身体子区域对应的第二校正尺寸值;
确定模块30,用于在第一校正尺寸值和第二校正尺寸值中,确定满足预设条件的目标校正尺寸值;
生成模块40,用于根据目标校正尺寸值对图像中的人体区域校正处理,生成目标图像。
在本申请实施例的一种可能的实现方式中,获取模块20具体用于:
获取人体区域中每个像素点坐标的深度值;
将人体区域中每个像素点的像素坐标和深度值输入初始投影网格,获取与每个像素点对应的映射像素坐标;
计算每个像素点的映射像素坐标和对应的像素坐标的像素差值;
计算人脸子区域中所有像素点对应的像素差值的均值,获取第一校正尺寸值;
计算身体子区域中所有像素点对应的像素差值的均值,获取第二校正尺寸值。
在本申请实施例的一种可能的实现方式中,获取模块20具体用于:
根据人体区域中像素点的坐标构建人体区域中的原始网格;
根据预设的初始投影网格对人体区域校正计算,获取与人脸子区域对应的第一变换网格以及与身体子区域对应的第二变换网格;
计算第一变换网格与原始网格的尺寸比值获取第一校正尺寸值,并计算第二变换网格与原始网格的尺寸比值获取第二校正尺寸值。
在本实施例中,获取模块20可具体用于:
识别身体子区域中的预设身体特征信息,并根据预设身体特征信息确定身体子区域的校正尺寸置信度;
若置信度大于预设阈值,则计算第一变换网格与原始网格在水平方向上的尺寸比值获取第一校正尺寸值,并计算第二变换网格与原始网格在水平方向上的尺寸比值获取第二校正尺寸值;
若置信度小于等于预设阈值,则计算第一变换网格与原始网格在竖直方向上的尺寸比值获取第一校正尺寸值,并计算第二变换网格与原始网格在竖直方向上的尺寸比值获取第二校正尺寸值。
在本实施例中,获取模块20可具体用于:
识别身体子区域的位置信息;
查询预设的数据库获取与位置信息对应的畸变程度值;
根据畸变程度值确定校正尺寸置信度。
在本申请实施例的一种可能的实现方式中,确定模块30,具体用于:
计算第一校正尺寸值和第二校正尺寸值的差值绝对值;
判断差值绝对值是否大于预设门限值;
若大于预设门限值,则确定第二校正尺寸值为目标校正尺寸值;
若小于等于预设门限值,则确定第一校正尺寸值为目标校正尺寸值。
需要说明的是,前述对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置,此处不再赘述。
综上,本申请实施例的图像处理装置,识别图像中的人体区域,其中,人体区域包括人脸子区域和身体子区域,根据预设的初始投影网格对人体区域校正计算,获取与人脸子区域对应的第一校正尺寸值和与身体子区域对应的第二校正尺寸值,进而,在第一校正尺寸值和第二校正尺寸值中,确定满足预设条件的目标校正尺寸值,最后,根据目标校正尺寸值对图像中的人体区域校正处理,生成目标图像。由此,实现了图像校正后,人体区域的身体部分和人脸部分的尺寸协调,增强了校正后图像的真实感,解决了现有技术中,不同区域之间的校正处理单独执行,导致校正后不同区域之间尺寸不协调的技术问题。
为了实现上述实施例,本申请还提出了一种终端设备,图7为根据本申请一个实施例的终端设备70的结构示意图,如图7所示,该终端设备包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序,处理器执行计算机程序时,实现如上述实施例描述的图像处理方法。
为了实现上述实施例,本申请还提出一种非临时性计算机可读存储介质,当存储介质中的指令由处理器被执行时,使得能够执行上述实施例描述的图像处理方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种图像处理方法,其特征在于,包括:
识别图像中的人体区域,其中,所述人体区域包括所述人脸子区域和身体子区域;
根据预设的初始投影网格对所述人体区域校正计算,获取与所述人脸子区域对应的第一校正尺寸值和与所述身体子区域对应的第二校正尺寸值;
在所述第一校正尺寸值和所述第二校正尺寸值中,确定满足预设条件的目标校正尺寸值;
根据所述目标校正尺寸值对所述图像中的人体区域校正处理,生成目标图像。
2.如权利要求1所述的方法,其特征在于,所述根据预设的初始投影网格对所述人体区域校正计算,获取与所述人脸子区域对应的第一校正尺寸值和与所述身体子区域对应的第二校正尺寸值,包括:
获取所述人体区域中每个像素点坐标的深度值;
将所述人体区域中每个像素点的像素坐标和深度值输入所述初始投影网格,获取与所述每个像素点对应的映射像素坐标;
计算所述每个像素点的映射像素坐标和对应的像素坐标的像素差值;
计算所述人脸子区域中所有像素点对应的像素差值的均值,获取所述第一校正尺寸值;
计算所述身体子区域中所有像素点对应的像素差值的均值,获取所述第二校正尺寸值。
3.如权利要求1所述的方法,其特征在于,所述根据预设的初始投影网格对所述人体区域校正计算,获取与所述人脸子区域对应的第一校正尺寸值和与所述身体子区域对应的第二校正尺寸值,包括:
根据所述人体区域中像素点的坐标构建所述人体区域中的原始网格;
根据所述预设的初始投影网格对所述人体区域校正计算,获取与所述人脸子区域对应的第一变换网格以及与所述身体子区域对应的第二变换网格;
计算所述第一变换网格与所述原始网格的尺寸比值获取所述第一校正尺寸值,并计算所述第二变换网格与所述原始网格的尺寸比值获取所述第二校正尺寸值。
4.如权利要求3所述的方法,其特征在于,所述计算所述第一变换网格与所述原始网格的尺寸比值获取所述第一校正尺寸值,并计算所述第二变换网格与所述原始网格的尺寸比值获取所述第二校正尺寸值,包括:
识别所述身体子区域中的预设身体特征信息,并根据所述预设身体特征信息确定所述身体子区域的校正尺寸置信度;
若所述置信度大于所述预设阈值,则计算所述第一变换网格与所述原始网格在水平方向上的尺寸比值获取所述第一校正尺寸值,并计算所述第二变换网格与所述原始网格在水平方向上的尺寸比值获取所述第二校正尺寸值;
若所述置信度小于等于所述预设阈值,则计算所述第一变换网格与所述原始网格在竖直方向上的尺寸比值获取所述第一校正尺寸值,并计算所述第二变换网格与所述原始网格在竖直方向上的尺寸比值获取所述第二校正尺寸值。
5.如权利要求4所述的方法,其特征在于,所述识别所述身体子区域中的预设身体特征信息,并根据所述预设身体特征信息确定所述身体子区域的校正尺寸置信度,包括:
识别所述身体子区域中的身体图像特征信息;
根据所述身体图像特征信息确定身体完整度,根据所述身体完整度确定所述校正尺寸置信度。
6.如权利要求4所述的方法,其特征在于,所述识别所述身体子区域中的预设身体特征信息,并根据所述预设身体特征信息确定所述身体子区域的校正尺寸置信度,包括:
识别所述身体子区域的位置信息;
查询预设的数据库获取与所述位置信息对应的畸变程度值;
根据所述畸变程度值确定所述校正尺寸置信度。
7.如权利要求1所述的方法,其特征在于,所述在所述第一校正尺寸值和所述第二校正尺寸值中,确定满足预设条件的目标校正尺寸值,包括:
计算所述第一校正尺寸值和所述第二校正尺寸值的差值绝对值;
判断所述差值绝对值是否大于预设门限值;
若大于所述预设门限值,则确定所述第二校正尺寸值为所述目标校正尺寸值;
若小于等于所述预设门限值,则确定所述第一校正尺寸值为所述目标校正尺寸值。
8.一种图像处理装置,其特征在于,包括:
识别模块,用于识别图像中的人体区域,其中,所述人体区域包括所述人脸子区域和身体子区域;
获取模块,用于根据预设的初始投影网格对所述人体区域校正计算,获取与所述人脸子区域对应的第一校正尺寸值和与所述身体子区域对应的第二校正尺寸值;
确定模块,用于在所述第一校正尺寸值和所述第二校正尺寸值中,确定满足预设条件的目标校正尺寸值;
生成模块,用于根据所述目标校正尺寸值对所述图像中的人体区域校正处理,生成目标图像。
9.如权利要求8所述的装置,其特征在于,所述获取模块,具体用于:
获取所述人体区域中每个像素点坐标的深度值;
将所述人体区域中每个像素点的像素坐标和深度值输入所述初始投影网格,获取与所述每个像素点对应的映射像素坐标;
计算所述每个像素点的映射像素坐标和对应的像素坐标的像素差值;
计算所述人脸子区域中所有像素点对应的像素差值的均值,获取所述第一校正尺寸值;
计算所述身体子区域中所有像素点对应的像素差值的均值,获取所述第二校正尺寸值。
10.如权利要求8所述的装置,其特征在于,所述获取模块,具体用于:
根据所述人体区域中像素点的坐标构建所述人体区域中的原始网格;
根据所述预设的初始投影网格对所述人体区域校正计算,获取与所述人脸子区域对应的第一变换网格以及与所述身体子区域对应的第二变换网格;
计算所述第一变换网格与所述原始网格的尺寸比值获取所述第一校正尺寸值,并计算所述第二变换网格与所述原始网格的尺寸比值获取所述第二校正尺寸值。
11.如权利要求10所述的装置,其特征在于,所述获取模块,具体用于:
识别所述身体子区域中的预设身体特征信息,并根据所述预设身体特征信息确定所述身体子区域的校正尺寸置信度;
若所述置信度大于所述预设阈值,则计算所述第一变换网格与所述原始网格在水平方向上的尺寸比值获取所述第一校正尺寸值,并计算所述第二变换网格与所述原始网格在水平方向上的尺寸比值获取所述第二校正尺寸值;
若所述置信度小于等于所述预设阈值,则计算所述第一变换网格与所述原始网格在竖直方向上的尺寸比值获取所述第一校正尺寸值,并计算所述第二变换网格与所述原始网格在竖直方向上的尺寸比值获取所述第二校正尺寸值。
12.如权利要求10所述的装置,其特征在于,所述获取模块,具体用于:
识别所述身体子区域的位置信息;
查询预设的数据库获取与所述位置信息对应的畸变程度值;
根据所述畸变程度值确定所述校正尺寸置信度。
13.如权利要求10所述的装置,其特征在于,所述确定模块,具体用于:
计算所述第一校正尺寸值和所述第二校正尺寸值的差值绝对值;
判断所述差值绝对值是否大于预设门限值;
若大于所述预设门限值,则确定所述第二校正尺寸值为所述目标校正尺寸值;
若小于等于所述预设门限值,则确定所述第一校正尺寸值为所述目标校正尺寸值。
14.一种终端设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如权利要求1-7中任一所述的图像处理方法。
15.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的图像处理方法。
CN201911252847.8A 2019-12-09 2019-12-09 图像处理方法和装置、终端设备及存储介质 Active CN111105366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911252847.8A CN111105366B (zh) 2019-12-09 2019-12-09 图像处理方法和装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911252847.8A CN111105366B (zh) 2019-12-09 2019-12-09 图像处理方法和装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN111105366A true CN111105366A (zh) 2020-05-05
CN111105366B CN111105366B (zh) 2023-11-24

Family

ID=70422641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911252847.8A Active CN111105366B (zh) 2019-12-09 2019-12-09 图像处理方法和装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN111105366B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686824A (zh) * 2020-12-30 2021-04-20 北京迈格威科技有限公司 图像校正方法、装置、电子设备和计算机可读介质
CN113222862A (zh) * 2021-06-04 2021-08-06 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质
CN114782901A (zh) * 2022-06-21 2022-07-22 深圳市禾讯数字创意有限公司 基于视觉变动分析的沙盘投影方法、装置、设备及介质
WO2023023960A1 (zh) * 2021-08-24 2023-03-02 深圳市大疆创新科技有限公司 图像处理及神经网络的训练方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090238450A1 (en) * 2005-11-24 2009-09-24 Ryoji Ohba Object Monitoring Method, Object Monitoring Apparatus, and Object Monitoring Program Storage Medium
CN105005972A (zh) * 2015-06-30 2015-10-28 广东欧珀移动通信有限公司 一种基于拍摄距离的畸变校正方法及移动终端
CN108040210A (zh) * 2015-06-30 2018-05-15 广东欧珀移动通信有限公司 一种局部畸变的校正方法及移动终端和相关介质产品
US20190108388A1 (en) * 2017-10-05 2019-04-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US20190251675A1 (en) * 2018-02-09 2019-08-15 Megvii Technology Llc Image processing method, image processing device and storage medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090238450A1 (en) * 2005-11-24 2009-09-24 Ryoji Ohba Object Monitoring Method, Object Monitoring Apparatus, and Object Monitoring Program Storage Medium
CN105005972A (zh) * 2015-06-30 2015-10-28 广东欧珀移动通信有限公司 一种基于拍摄距离的畸变校正方法及移动终端
CN108040210A (zh) * 2015-06-30 2018-05-15 广东欧珀移动通信有限公司 一种局部畸变的校正方法及移动终端和相关介质产品
US20190108388A1 (en) * 2017-10-05 2019-04-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US20190251675A1 (en) * 2018-02-09 2019-08-15 Megvii Technology Llc Image processing method, image processing device and storage medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112686824A (zh) * 2020-12-30 2021-04-20 北京迈格威科技有限公司 图像校正方法、装置、电子设备和计算机可读介质
CN113222862A (zh) * 2021-06-04 2021-08-06 黑芝麻智能科技(上海)有限公司 图像畸变校正方法、装置、电子设备和存储介质
WO2023023960A1 (zh) * 2021-08-24 2023-03-02 深圳市大疆创新科技有限公司 图像处理及神经网络的训练方法和装置
CN114782901A (zh) * 2022-06-21 2022-07-22 深圳市禾讯数字创意有限公司 基于视觉变动分析的沙盘投影方法、装置、设备及介质
CN114782901B (zh) * 2022-06-21 2022-09-09 深圳市禾讯数字创意有限公司 基于视觉变动分析的沙盘投影方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111105366B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN111105366B (zh) 图像处理方法和装置、终端设备及存储介质
CN111008947B (zh) 图像处理方法和装置、终端设备及存储介质
JP5538617B2 (ja) 複数カメラのキャリブレーション用の方法および構成
JP6351238B2 (ja) 画像処理装置、撮像装置および距離補正方法
US11348267B2 (en) Method and apparatus for generating a three-dimensional model
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
CN109871760B (zh) 一种人脸定位方法、装置、终端设备及存储介质
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN110998659A (zh) 图像处理系统、图像处理方法、及程序
KR102206108B1 (ko) 체적형 객체 촬영을 위한 다중 rgb-d 카메라 기반의 포인트 클라우드 정합 방법
CN110971827B (zh) 人像模式拍摄方法、装置、终端设备和存储介质
CN106034203B (zh) 拍摄终端的图像处理方法及其装置
CN107346040B (zh) 裸眼3d显示设备的光栅参数的确定方法、装置及电子设备
CN108629799B (zh) 一种实现增强现实的方法及设备
CN111091507A (zh) 图像处理方法、装置、电子设备以及存储介质
CN109064533B (zh) 一种3d漫游方法及系统
CN113706373A (zh) 模型重建方法及相关装置、电子设备和存储介质
CN107376360B (zh) 游戏直播方法及游戏直播系统
JP7247573B2 (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム
US11080920B2 (en) Method of displaying an object
CN108876704A (zh) 人脸图像变形的方法、装置及计算机存储介质
CN115753019A (zh) 采集设备的位姿调整方法、装置、设备和可读存储介质
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
CN113674139A (zh) 人脸图像的处理方法、装置、电子设备及存储介质
CN115086625A (zh) 投影画面的校正方法、装置、系统、校正设备和投影设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant