CN115050086A - 样本图像生成方法、模型训练方法、图像处理方法和装置 - Google Patents

样本图像生成方法、模型训练方法、图像处理方法和装置 Download PDF

Info

Publication number
CN115050086A
CN115050086A CN202210976849.7A CN202210976849A CN115050086A CN 115050086 A CN115050086 A CN 115050086A CN 202210976849 A CN202210976849 A CN 202210976849A CN 115050086 A CN115050086 A CN 115050086A
Authority
CN
China
Prior art keywords
image
face
truncation
sample image
complete
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210976849.7A
Other languages
English (en)
Other versions
CN115050086B (zh
Inventor
崔东林
刘慧慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210976849.7A priority Critical patent/CN115050086B/zh
Publication of CN115050086A publication Critical patent/CN115050086A/zh
Application granted granted Critical
Publication of CN115050086B publication Critical patent/CN115050086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种样本图像生成方法、模型训练方法、图像处理方法和装置,涉及人工智能技术领域,具体涉及计算机视觉、图像处理、深度学习等技术领域。具体实现方案为:从多个原始图像中,获取包含完整人脸区域,且完整人脸区域的位置信息在原始图像的预设区域内的目标图像,并将目标图像作为负样本图像,以及将目标图像中完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像,以及根据负样本图像和正样本图像,生成用于训练人脸截断分类模型的样本图像集合。由此,通过具有完整人脸区域的负样本图像以及具有部分或者没有人脸的正样本图像,生成用于训练人脸截断分类模型的样本图像集合,丰富了样本图像的多样性。

Description

样本图像生成方法、模型训练方法、图像处理方法和装置
技术领域
本公开涉及计算机技术领域,涉及人工智能技术领域,具体涉及计算机视觉、图像处理、深度学习等技术领域,尤其涉及样本图像生成方法、模型训练方法、图像处理方法和装置。
背景技术
在一些场景中需要对待处理图像进行人脸截断识别,例如,在视频类场景中,为了避免发生人脸截断的视频封面图像呈现在用户面前,影响画面信息的完整度以及影响用户体验,相关技术中,通常采用人脸截断分类模型来对待处理图像进行人脸截断识别,其中,目前的人脸截断分类模型的训练样本均是完整人脸的图像的训练样本,从而导致所训练出的人脸截断分类模型的分类准确度低。
发明内容
本公开提供了一种样本图像生成方法、模型训练方法、图像处理方法和装置。
根据本公开的一方面,提供了一种人脸截断分类模型的样本图像生成方法,所述方法包括:获取多个原始图像;从所述多个原始图像中,获取包含完整人脸区域,且所述完整人脸区域的位置信息在原始图像的预设区域内的目标图像,其中,所述预设区域是距离所述原始图像在宽度方向上的边界线第一预设距离,且距离所述原始图像在高度方向上的边界线第二预设距离的区域;将所述目标图像作为负样本图像;将所述目标图像中所述完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像;根据所述负样本图像和所述正样本图像,生成用于训练人脸截断分类模型的样本图像集合。
根据本公开的另一方面,提供了一种人脸截断分类模型的训练方法,所述方法包括:获取如前所述的人脸截断分类模型的样本图像生成方法所生成的样本图像集合;采用所述样本图像集合训练人脸截断分类模型。
根据本公开的另一方面,提供了一种图像处理方法,包括:获取待处理图像;将所述待处理图像输入到预先训练好的人脸截断分类模型,以得到所述待处理图像的人脸截断分类结果,其中,所述人脸截断分类模型是根据如前所述的人脸截断分类模型的样本图像生成方法所生成的样本图像集合训练得到的;根据所述人脸截断分类结果,确定所述待处理图像的质量检测结果。
根据本公开的另一方面,提供了一种人脸截断分类模型的样本图像生成装置,包括:第一获取模块,用于获取多个原始图像;第二获取模块,用于从所述多个原始图像中,获取包含完整人脸区域,且所述完整人脸区域的位置信息在原始图像的预设区域内的目标图像,其中,所述预设区域是距离所述原始图像在宽度方向上的边界线第一预设距离,且距离所述原始图像在高度方向上的边界线第二预设距离的区域;第一确定模块,用于将所述目标图像作为负样本图像;裁剪模块,用于将所述目标图像中所述完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像;生成模块,用于根据所述负样本图像和所述正样本图像,生成用于训练人脸截断分类模型的样本图像集合。
根据本公开的另一方面,提供了一种人脸截断分类模型的训练装置,所述装置包括:获取模块,用于获取如前所述的人脸截断分类模型的样本图像生成方法所生成的样本图像集合;训练模块,用于采用所述样本图像集合训练人脸截断分类模型。
根据本公开的另一方面,提供了一种图像处理装置,所述装置包括:获取模块,用于获取待处理图像;人脸截断分类模块,用于将所述待处理图像输入到预先训练好的人脸截断分类模型,以得到所述待处理图像的人脸截断分类结果,其中,所述人脸截断分类模型是根据如前所述的人脸截断分类模型的样本图像生成方法所生成的样本图像集合训练得到的;确定模块,用于根据所述人脸截断分类结果,确定所述待处理图像的质量检测结果。
根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开的人脸截断分类模型的样本图像生成方法,或者,人脸截断分类模型的训练方法,或者,图像处理方法。
根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行本公开实施例公开的人脸截断分类模型的样本图像生成方法,人脸截断分类模型的训练方法,或者,图像处理方法。
上述申请中的一个实施例具有如下优点或有益效果:
从多个原始图像中,获取包含完整人脸区域,且完整人脸区域的位置信息在原始图像的预设区域内的目标图像,并将目标图像作为负样本图像,以及将目标图像中的完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像,以及根据负样本图像和正样本图像,生成用于训练人脸截断分类模型的样本图像集合。由此,通过具有完整人脸区域的负样本图像以及具有部分或者没有人脸的正样本图像,生成用于训练人脸截断分类模型的样本图像集合,丰富了样本图像的多样性,继而可提高基于样本图像集合所训练出的人脸截断模型的分类准确度。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开第一实施例的示意图;
图2是根据本公开第二实施例的示意图;
图3是根据本公开第三实施例的示意图;
图4是对目标图像进行人脸截断以得到正样本图像的示例图一;
图5是对目标图像进行人脸截断以得到正样本图像的示例图二;
图6是根据本公开第四实施例的示意图;
图7是根据本公开第五实施例的示意图;
图8是根据本公开第六实施例的示意图;
图9是根据本公开第七实施例的示意图;
图10是根据本公开第八实施例的示意图;
图11是根据本公开第九实施例的示意图;
图12是根据本公开第十实施例的示意图;
图13是根据本公开第十一实施例的示意图;
图14是本公开实施例提供的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的人脸截断分类模型的样本图像生成方法、人脸截断分类模型的训练方法、图像处理方法和装置。
图1是根据本公开第一实施例的示意图,该实施例提供一种人脸截断分类模型的样本图像生成方法。
如图1所示,该人脸截断分类模型的样本图像生成方法可以包括:
步骤101,获取多个原始图像。
其中,本实施的人脸截断分类模型的样本图像生成方法的执行主体为人脸截断分类模型的样本图像生成装置,该人脸截断分类模型的样本图像生成装置可以由软件和/或硬件实现,该人脸截断分类模型的样本图像生成装置可以为电子设备,或者,可以配置在电子设备。
其中,该电子设备可以包括但不限于终端设备、服务器等,该实施例对电子设备不作具体限定。
在本公开的一个实施例中,可从预设的原始图像库中获取多个原始图像。
其中,上述原始图像的数量可以为预先设置的,例如,上述原始图像的数量预设可设置为100万,可从预设的原始图像库中随机选择100万个原始图像。
其中,原始图像库中保存的原始图像可以是视频类产品中各个真实视频所对应的视频封面图像。
步骤102,从多个原始图像中,获取包含完整人脸区域,且完整人脸区域的位置信息在原始图像的预设区域内的目标图像。
其中,完整人脸区域是指包括完整人脸的图像区域。例如,完整人脸区域可以是原始图像中包括完整人脸的最小外接矩形所在的图像区域。作为一种示例,在原始图像为视频封面图像的情况下,完整人脸区域可以为视频封面图像中包括完整人脸的最小外接矩形所对应的图像区域。
在本公开的一个实施例中,可确定多个原始图像各自对应的完整人脸检测结果,并根据完整人脸结果,从多个原始图像中,获取包含完整人脸区域,且完整人脸区域的位置信息在原始图像的预设区域内的目标图像。
其中,完整人脸检测结果包括两种情况,一种情况是完整人脸检测结果中不包括完整人脸区域,另一种情况是完整人脸检测结果中包括至少一个完整人脸区域以及对应的位置信息。
其中,位置信息用于指示该完整人脸区域在原始图像中的位置。在一些示例中,可通过完整人脸区域的边界线上的各个像素点来表示完整人脸区域在原始图像中的位置。在另一些示例中,可通过完整人脸区域的四个顶角坐标来表示完整人脸区域的位置信息。在另一些示例中,可通过完整人脸区域的一对对角顶点所对应的坐标来表示完整人脸区域在原始图像中的位置,例如,可通过完整人脸区域的左上顶角的坐标以及右下顶角的坐标来表示完整人脸区域在原始图像中的位置,也就是说,上述位置信息可以包括左上顶角的坐标以及右下顶角的坐标。又例如,可通过完整人脸区域的右上顶角的坐标以及左下顶角的坐标来表示完整人脸区域在原始图像中的位置,也就是说,上述位置信息可以包括右上顶角的坐标以及左下顶角的坐标。
在本公开的一个实施例中,为了可以快速确定出多个原始图像各自对应的完整人脸检测结果,上述确定多个原始图像各自对应的完整人脸检测结果的一种可能实现方式为:针对每个原始图像,可将该原始图像输入到预先训练好的完整人脸检测模型中,以通过该人脸检测模型得到该原始图像的完整人脸检测结果。也就是说,可基于预先训练好的完整人脸检测模型,来确定多个原始图像各自对应的完整人脸检测结果。
在本公开的一个实施例中,为了可以快速确定出多个原始图像各自对应的完整人脸检测结果,上述确定多个原始图像各自对应的完整人脸检测结果的一种可能实现方式为:针对每个原始图像,可采用用于完整人脸检测的算法,对该原始图像进行完整人脸检测结果,以得到该原始图像的完整人脸检测结果。
其中,预设区域是距离原始图像在宽度方向上的边界线第一预设距离,且距离原始图像在高度方向上的边界线第二预设距离的区域。
其中,第一预设距离为原始图像在其宽度方向上的宽度值的第一预设比例值,可根据实际需求设置第一预设比例值,例如,第一预设比例值可以为20%。也就是说,该预设区域的左边界线与原始图像的左边界线之间的距离为原始图像的宽度的20%,该预设区域的右边界线与原始图像的右边界线之间的距离为原始图像的宽度的20%。
其中,第二预设距离是根据原始图像在其高度方向上的高度值的第二预设比例值,可根据实际需求设置第二预设比例值,例如,第一预设比例值可以为20%。也就是说,该预设区域的上边界线与原始图像的上边界线之间的距离为原始图像的高度的20%,该预设区域的下边界线与原始图像的下边界线之间的距离为原始图像的高度的20%。
其中,第一预设距离和第二预设距离可以是相同的,或者,是不同的,该实施例对此不作具体限定。
步骤103,将目标图像作为负样本图像。
步骤104,将目标图像中完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像。
其中,可以理解的是,在一些示例性实施方式中,可将目标图像中的完整人脸区域的所有人脸区域裁掉。在另一些示例性实施方式中,可将目标图像中的完整人脸区域的部分人脸区域裁掉。
步骤105,根据负样本图像和正样本图像,生成用于训练人脸截断分类模型的样本图像集合。
本公开实施例的人脸截断分类模型的样本图像生成方法,从多个原始图像中,获取包含完整人脸区域,且完整人脸区域的位置信息在原始图像的预设区域内的目标图像,并将目标图像作为负样本图像,以及将目标图像中完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像,以及根据负样本图像和正样本图像,生成用于训练人脸截断分类模型的样本图像集合。由此,通过具有完整人脸区域的负样本图像以及具有部分或者没有人脸的正样本图像,生成用于训练人脸截断分类模型的样本图像集合,丰富了样本图像的多样性,继而可提高基于样本图像集合所训练出的人脸截断模型的分类准确度。
可以理解的是,在一些实施例中,从多个原始图像中,获取包含完整人脸区域,且完整人脸区域的位置信息在原始图像的预设区域内的目标图像的一种可能实现方式,如图2所示,可以包括:
步骤201,针对每个原始图像,确定该原始图像的人脸检测结果。
在本公开的一个实施例中,确定该原始图像的人脸检测结果可通过多种方式实现,示例性说明如下:
作为一种示例,可将该原始图像输入到人脸检测模型中,以通过人脸检测模型对该原始图像进行人脸检测,以得到该原始图像的人脸检测结果。
作为另一种示例,可采用通用的人脸检测算法,对该原始图像进行人脸检测,以得到该原始图像的人脸检测结果。
其中,该人脸检测结果包括两种情况,一种情况是人脸检测结果指示该原始图像中不存在人脸,另一种情况是人脸检测结果中包括至少一个人脸区域以及对应的位置信息。
步骤202,根据人脸检测结果确定原始图像中包含完整人脸区域。
在本公开的一个实施例中,为了可以准确确定出该原始图像是否包含完整人脸区域,在人脸检测结果中包括人脸区域的情况下,判断人脸区域的人脸轮廓是否为完整人脸轮廓,以及在人脸区域的人脸轮廓为完整人脸轮廓的情况下,确定原始图像中包含完整人脸区域。
在本示例实施例中,结合该原始图像中的人脸区域的人脸轮廓是否为完整人脸轮廓,来准确确定出该原始图像中是否存在完整人脸区域,提高了确定原始图像中是否具有完整人脸区域的准确性,继而可提高所确定出的负样本图像的准确性。
步骤203,从人脸检测结果中获取完整人脸区域的位置信息。
步骤204,在位置信息在预设区域内的情况下,将原始图像作为目标图像。
在本示例实施例中,针对每个原始图像,结合该原始图像中人脸区域中的人脸轮廓情况,准确确定出了该原始图像是否具有完整人脸区域,并将具有完整人脸区域以及该完整人脸区域的位置信息在预设区域内的原始图像作为目标图像。由此,从多个原始图像中,准确确定出了人脸区域满足要求的目标图像。
在本公开的一个实施例中,为了可以准确确定出发生人脸截断的正样本图像,上述将目标图像中完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像的一种可能实现方式,如图3所示,可以包括:
步骤301,在目标图像上确定出一条穿过完整人脸区域的裁剪线,其中,裁剪线与完整人脸区域所对应的人像区域的身高方向垂直。
其中,完整人脸区域所对应的人像区域是指包括完整人脸区域的人像区域。
其中,人像区域是指人体在目标图像中的图像区域。其中,人像区域可以包括完整人脸区域和身体区域等。
步骤302,以裁剪线为分界线,对目标图像中远离身体区域的图像区域进行裁剪处理,以得到发生人脸截断的正样本图像,其中,身体区域包含在人像区域内。
其中,本示例实施例中的身体区域和完整人脸区域共同组成一个人像区域。也就是说,本示例中的身体区域和完整人脸区域在同一一个人体在该目标图像中所对应的图像区域内。
在本示例实施例中,通过以目标图像中一条穿过完整人脸区域的裁剪线为分界线,并对目标图像中远离身体区域的图像区域进行裁剪处理,从而得到发生人脸截断的正样本图像。由此,将目标图像中的部分人脸或者全部人脸进行裁剪处理,准确得到了发生了人脸截断的正样本图像。
在本公开的一个实施例中,为了在目标图像上可以准确确定出一条穿过完整人脸区域的裁剪线,上述在目标图像上确定出一条穿过完整人脸区域的裁剪线,包括:在人像区域的身高方向与目标图像的高度方向平行的情况下,根据完整人脸区域在图像坐标系的纵坐标上的取值范围,在目标图像上确定一条裁剪线,其中,裁剪线在纵坐标上的取值在该取值范围内;其中,纵坐标与目标图像的高度方向平行。
作为一种示例,可确定完整人脸区域在图像坐标系的纵坐标上的取值范围;从该取值范围内任取一个取值;并根据该取值,在目标图像上确定一条裁剪线。
在本公开的一个实施例中,在人像区域的身高方向与目标图像的高度方向平行的情况下,为了方便从目标图像中确定出裁剪线,上述图像坐标系以目标图像的左上顶角为原点,并以与左上顶角相连的目标图像的上边界线为横坐标,并以与左上顶角相连的目标图像的左边界线为纵坐标。也就是说,可以以目标图像的左上顶角为原点,并以与该左上顶角相连的目标图像的上边界线为横坐标,并以与该左上顶角相连的目标图像的左边界线为纵坐标建立图像坐标系。
例如,图像坐标系以左上顶角为原点,假设完整人脸区域在图像坐标系下的位置信息包括左上顶角的坐标(left,top),以及右下角顶角的坐标,(right,bottom)。根据左上顶角的坐标和右下顶角的坐标,可确定完整人脸区域在图像坐标系的纵坐标上的取值范围为top~bottom。对应地,可从top~bottom中随机选择一个值value,然后,在完整人脸区域中形成一个裁剪线,其中,该裁剪线在图像坐标系的纵坐标上的取值为value。
作为另一种示例,在人像区域的身高方向与目标图像的高度方向平行的情况下,图像坐标系可以以目标图像的右下顶角为原点,并以与该右下顶角相连的目标图像的下边界线为横坐标,并以与该右下顶角相连的目标图像的右边界线为纵坐标。
作为另一种示例,在人像区域的身高方向与目标图像的高度方向平行的情况下,图像坐标系可以以目标图像的左下顶角为原点,并以与该左下顶角相连的目标图像的下边界线为横坐标,并以与该左下顶角相连的目标图像的左边界线为纵坐标。
作为另一种示例,在人像区域的身高方向与目标图像的高度方向平行的情况下,图像坐标系可以以目标图像的右上顶角为原点,并以与该右上顶角相连的目标图像的上边界线为横坐标,并以与该右上顶角相连的目标图像的右边界线为纵坐标。
基于上述描述,可以看出,在人像区域的身高方向与目标图像的高度方向平行的情况下,可以以目标图像的任意一个顶角为原点,并以与该顶角相连的目标图像的横向边界线为横坐标,以及以与该顶角相连的目标图像的纵向边界线为纵坐标,建立图像坐标系。
为了可以清楚理解本公开,下面结合图4对基于裁剪线对目标图像进行裁剪,以得到发生人脸截断的正样本图像的过程进行示例性描述:
其中,需要说明的是,在本示例中是以左上角顶角为原点,并以与该左上角顶角相连的目标图像的上边界线为横坐标,并以与该左上角顶角相连的目标图像的左边界线为纵坐标,建立图像坐标系。其中,可以理解的是,目标图像的高度方向与图像坐标系的纵坐标平行。另外,在本示例中假设目标图像中的完整人脸区域所对应的人像区域的身高方向与目标图像的高度方向平行,并且假设目标图像中的完整人脸区域在图像坐标系下的位置信息包括左上顶角的坐标(x1,y1),以及右下角顶角的坐标(x2,y2)。对应地,在目标图像上形成一条裁剪线。通过图4中的a,可以看出,该裁剪线在横坐标上的取值在完整人脸区域在横坐标的取值范围(y1,y2)内。其中,远离身体区域的图像区域,在图4的a中是采用标记“A”来表示目标图像中远离身体区域的图像区域。然后,以裁剪线为分界线,将目标图像中的A部分裁剪掉,以得到发生人脸截断的正样本图像,其中,正样本图像如图4中的b所示。
在本公开的一个实施例中,为了在目标图像上可以准确确定出一条穿过完整人脸区域的裁剪线,上述在目标图像上确定出一条穿过完整人脸区域的裁剪线,包括:在人像区域的身高方向与目标图像的宽度方向平行的情况下,根据完整人脸区域在图像坐标系的横坐标上的取值范围,在目标图像上确定一条裁剪线,其中,裁剪线在横坐标上的取值在取值范围内;其中,横坐标与目标图像的宽度方向平行。
在本公开的一个实施例中,在人像区域的身高方向与目标图像的宽度方向平行的情况下,为了方便确定出裁剪线,上述图像坐标系以目标图像的左上顶角为原点,并以与左上顶角相连的目标图像的上边界线为横坐标,并以与左上顶角相连的目标图像的左边界线为纵坐标。也就是说,可以以目标图像的左上顶角为原点,并以与该左上顶角相连的目标图像的上边界线为横坐标,并以与该左上顶角相连的目标图像的左边界线为纵坐标建立图像坐标系。
作为另一种示例,在人像区域的身高方向与目标图像的宽度方向平行的情况下,图像坐标系可以以目标图像的右下顶角为原点,并以与该右下顶角相连的目标图像的下边界线为横坐标,并以与该右下顶角相连的目标图像的右边界线为纵坐标。
作为另一种示例,在人像区域的身高方向与目标图像的宽度方向平行的情况下,图像坐标系可以以目标图像的左下顶角为原点,并以与左下顶角相连的目标图像的下边界线为横坐标,并以与左下顶角相连的目标图像的左边界线为纵坐标。
作为另一种示例,在人像区域的身高方向与目标图像的宽度方向平行的情况下,图像坐标系可以以目标图像的右上顶角为原点,并以与该右上顶角相连的目标图像的上边界线为横坐标,并以与该右上顶角相连的目标图像的右边界线为纵坐标。
基于上述描述,可以看出,在人像区域的身高方向与目标图像的宽度方向平行的情况下,图像坐标系可以以目标图像的任意一个顶角为原点,并以与该顶角相连的目标图像的横向边界线为横坐标,以及以与该顶角相连的目标图像的纵向边界线为纵坐标。也就是说,可以以目标图像的任意一个顶角为原点,并以与该顶角相连的目标图像的横向边界线为横坐标,以及以与该顶角相连的目标图像的纵向边界线为纵坐标建立图像坐标系。
为了可以清楚理解本公开,下面结合图5对基于裁剪线对目标图像进行裁剪,以得到发生人脸截断的正样本图像的过程进行示例性描述:
其中,需要说明的是,在本示例中是以左上角顶角为原点,并以与该左上角顶角相连的目标图像的上边界线为横坐标,并以与该左上角顶角相连的目标图像的左边界线为纵坐标,建立图像坐标系。其中,可以理解的是,目标图像的高度方向与图像坐标系的纵坐标平行。另外,在本示例中假设目标图像中的完整人脸区域所对应的人像区域的高度方向与目标图像的宽度方向平行,并且假设目标图像中的完整人脸区域在图像坐标系下的位置信息包括左上顶角的坐标(x1,y1),以及右下角顶角的坐标(x2,y2)。对应地,在目标图像上形成一条裁剪线。通过图5中的a,可以看出,该裁剪线在横坐标上的取值在完整人脸区域在横坐标的取值范围(x1,x2)内。其中,远离身体区域的图像区域,在图5中的a中是用“A”来表示目标图像中远离身体区域的图像区域。然后,以裁剪线为分界线,将目标图像中的A部分裁剪掉,以得到发生人脸截断的正样本图像,其中,正样本图像如图5中的b所示。
基于上述任意一个实施例的基础上,为了减少人工标注样本图像的成本,提高样本图像的获取效率,上述步骤105根据负样本图像和正样本图像,生成用于训练人脸截断分类模型的样本图像集合的一种可能实现方式,如图6所示,可以包括:
步骤601,采用第一标签对负样本图像进行标注,其中,第一标签表示负样本图像中包含完整人脸。
步骤602,采用第二标签对正样本图像进行标注,其中,第二标签表示正样本图像中发生人脸截断。
步骤603,根据标注后的负样本图像和正样本图像,构建用于训练人脸截断分类模型的样本图像集合。
在本示例实施例,对正样本图像以及负样本图像的标签进行自动标注,并结合标注后的正样本图像和负样本图像,生成用于训练人脸截断分类模型的样本图像集合,可降低训练模型中人工标注的成本,提高用于训练人脸截断分类模型的样本图像集合的获取效率。
本公开实施例还提供一种人脸截断分类模型的训练方法。
图7是根据本公开第五实施例的示意图,该实施例提供一种人脸截断分类模型的训练方法。
如图7所示,该人脸截断分类模型的训练方法可以包括:
步骤701,获取如前述实施例的人脸截断分类模型的样本图像生成方法所生成的样本图像集合。
步骤702,采用样本图像集合训练人脸截断分类模型。
本公开实施例提供的人脸截断分类模型的训练方法,通过具有完整人脸区域的负样本图像以及具有部分人脸或者没有人脸的正样本图像,对人脸截断分类模型进行训练,提高了训练所得到的人脸截断分类模型的分类准确度。
为了可以清楚理解本公开,下面结合图8对该实例的人脸截断分类模型的训练方法进行示例性描述,其中,本实施例中以图像库中保存的图像为视频封面图像,并且以视频封面图像中人像区域的身高方向与视频封面的高度方向,视频封面图像中人像区域的头部区域远离视频封面图像的底部区域为例进行描述,如图8所示,可以包括:
步骤801,从图像库中随机选择出预定数量张视频封面图像。
其中,该图像库用于保存视频封面图像。
在一些示例中,上述预设数量可以根据实际需求而预先设置,例如,预设数量可以为100万,200万等。
步骤802,对选择出的视频封面图像进行人脸检测,以得到每个视频封面图像的人脸检测结果。
步骤803,根据人脸检测结果,从选出的视频封面图像中,获取包括完整人脸区域,且完整人脸区域的位置信息在视频封面图像的预设区域内的视频封面图像作为负样本图像。
具体地,针对所选出的每个视频封面图像,如果根据该视频封面图像的人脸检测结果确定该视频封面图像中包含完整人脸区域,则将该视频封面图像作为候选视频封面图像。
针对所确定出的候选视频封面图像,可确定该候选视频封面图像中的完整人脸区域的位置信息是否在该候选视频封面图像的预设区域内,如果位置信息在该候选视频封面图像的预设区域内,则将该候选视频封面图像作为负样本图像。
例如,以候选视频封面图像的左上角顶角为原点,并以与该左上角顶角相连的候选视频封面图像的上边界线为横坐标,并以与该左上角顶角相连的候选视频封面图像的左边界线为纵坐标,建立图像坐标系。假设完整人脸区域在图像坐标系下的位置信息包括左上顶角的坐标(left,top),以及右下角顶角的坐标,(right,bottom),并且完整人脸区域所对应的人像区域的身高方向与该候选视频封面图像的高度方向平行,假设预设区域的上边界线到候选视频封面图像的上边界线的距离为候选视频封面图像的高度的20%,预设区域的下边界线到候选视频封面图像的下边界线的距离为候选视频封面图像的高度的20%,并且,预设区域的左边界线到候选视频封面图像的左边界线的距离为候选视频封面图像的宽度的20%,以及预设区域的右边界线到候选视频封面图像的右边界线的距离为候选视频封面图像的宽度的20%。对应地,可确定预设区域在图像坐标系上的纵坐标上的取值范围为(y1,y2),以及预设区域在图像坐标系上的横坐标上的取值范围为(x1,x2),其中,y1的取值为候选视频封面图像的高度的20%,y2的取值为候选视频封面图像的高度的80%。其中,x1的取值为候选视频封面图像的宽度的20%,x2的取值为候选视频封面图像的宽度的80%。对应地,在完整人脸区域在图像坐标系下的位置信息后,可判断top以及bottom是否在(y1,y2)的范围内,以及如果在left以及right的取值是否在(x1,x2)的范围内,如果两者的判断结果均为是,也就是说,如果top的值大于y1,且bottom的值小于y2,并且,left的取值大于值大于x1,且right的值小于x2,则将该候选视频封面图像作为负样本图像。
步骤804,将负样本图像进行复制,以得到复制图像,并从复制图像中完整人脸区域在纵坐标上的取值范围内随机选择一个值A,将复制图像中在纵坐标上的取值小于A的图像区域裁剪掉,以得到发生人脸截断的正样本图像。
也就是说,在复制图像中形成一条裁剪线,该裁剪线在图像坐标系上的纵坐标的取值为A。对应地,将复制图像中位于该裁剪线的上部分图像区域删除,以得到发生人脸截断的正样本图像。
步骤805,根据正样本图像以及负样本图像构建标注的数据集合,并根据数据集合训练人脸截断分类模型。
在本公开的一个实施例中,可根据正样本图像以及负样本图像构建标注的数据集合,并结合标注的数据集合对人脸截断分类模型进行训练,以得到训练后的人脸截断分类模型的示例过程可以为:
步骤a,根据正样本图像以及负样本图像构建标注的数据集合;
步骤b,按照预设的比例将数据集合划分为训练样本集合、验证集合和测试集合。
其中,预设的比例是预先设置的,例如,预设的比例可以为8:1:1。
步骤c,对训练样本集合中的图像进行随机裁剪、翻转、颜色空间变换等图片扩增操作,将扩增后的图像统一缩放成预设的红绿蓝(RedGreen Blue)RGB格式图像,并进行图像归一化。
其中,预设大小是预先设置的,例如,预设大小可以为224*224大小。
步骤d,将处理后的训练样本集合中的图像依次输入人脸截断分类模型,通过随机梯度下降的方式不断更新模型权重参数,使模型得以收敛,选取在验证集上最优模型作为最终人脸截断分类模型。
步骤e,将测试集合中的图像缩放成预设大小的RGB格式图像,并进行归一化,以得到处理后的图像,并将处理后的图像输入到最终人脸截断分类模型,得到该处理后的图像是否为发生人脸截断的图像的结果。
在本示例实施例中,通过对具有完整人脸区域的负样本图像的复制图像进行处理,得到正样本图像,并基于所得到的负样本图像和正样本图像对人脸截断分类模型进行训练,从而使得训练所得到的人脸截断分类模型对图像的分类的效果更加准确,并且在训练的过程中,自动对正负样本图像进行自动标注,可减少人工标注的成本,减少模型训练的成本。
另外,需要说明的是,本示例中的人脸截断分类模型比相关技术中的检测模型更轻量,可降低模型部署成本,节省训练过程中的计算资源。
本公开实施例还提供一种图像处理方法。
图9是根据本公开第七实施例的示意图,该实施例提供一种图像处理方法。
如图9所示,该图像处理方法可以包括:
步骤901,获取待处理图像。
其中,本实施的图像处理方法的执行主体为图像处理装置,该图像处理装置可以由软件和/或硬件实现,该图像处理装置可以为电子设备,或者,可以配置在电子设备。
其中,该电子设备可以包括但不限于终端设备、服务器等,该实施例对电子设备不作具体限定。
在本公开的一个实施例中,在对视频进行视频封面图像设置的过程中,可获取从视频中所选定的目标帧图像,并将所选中的目标帧图像作为待处理图像。
步骤902,将待处理图像输入到预先训练好的人脸截断分类模型,以得到待处理图像的人脸截断分类结果。
其中,人脸截断分类模型是根据如前述实施例的人脸截断分类模型的样本图像生成方法所生成的样本图像集合。
其中,人脸截断分类模型的训练方式可参见上述实施例的相关描述,此处不再赘述。
步骤903,根据人脸截断分类结果,确定待处理图像的质量检测结果。
在本公开的一个示例中,在人脸截断分类结果指示该待处理图像中发生人脸截断的情况下,可确定该待处理图像的质量较差。
在本公开的一个示例中,在确定该待处理图像的质量较差的情况下,还可以向该待处理图像所对应的用户的终端设备发生提醒信息,其中,该提醒信息用于提示该待处理图像中发生人脸截断。
在本公开的另一个示例中,在人脸截断分类结果指示该待处理图像中未发生人脸截断的情况下,可确定该待处理图像的质量较好。
本公开实施例提供的图像处理方法,在对待处理图像进行质量检测的过程中,将该待处理图像输入到预先训练好的人脸截断分类模型,使得人脸截断分类模型可准确确定出待处理图像的人脸截断分类结果,进而可提高基于该人脸截断分类结果所确定出的待处理图像的质量检测结果的准确度,提高了图像质量的检测结果的准确度。
为了实现上述实施例,本公开实施例还提供一种人脸截断分类模型的样本图像生成装置。
图10是根据本公开第八实施例的示意图,该实施例提供一种人脸截断分类模型的样本图像生成装置。
如图10所示,该人脸截断分类模型的样本图像生成装置10可以包括第一获取模块101、第二获取模块102、第一确定模块103、裁剪模块104和生成模块105,其中:
第一获取模块101,用于获取多个原始图像。
第二获取模块102,用于从多个原始图像中,获取包含完整人脸区域,且完整人脸区域的位置信息在原始图像的预设区域内的目标图像,其中,预设区域是距离原始图像在宽度方向上的边界线第一预设距离,且距离原始图像在高度方向上的边界线第二预设距离的区域。
第一确定模块103,用于将目标图像作为负样本图像。
裁剪模块104,用于将目标图像中完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像。
生成模块105,用于根据负样本图像和正样本图像,生成用于训练人脸截断分类模型的样本图像集合。
本公开实施例的人脸截断分类模型的样本图像生成装置,从多个原始图像中,获取包含完整人脸区域,且完整人脸区域的位置信息在原始图像的预设区域内的目标图像,并将目标图像作为负样本图像,以及将目标图像中的完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像,以及根据负样本图像和正样本图像,生成用于训练人脸截断分类模型的样本图像集合。由此,通过具有完整人脸区域的负样本图像以及具有部分或者没有人脸的正样本图像,生成用于训练人脸截断分类模型的样本图像集合,丰富了样本图像的多样性,继而可提高基于样本图像集合所训练出的人脸截断模型的分类准确度。
在本公开的一个实施例中,如图11所示,该人脸截断分类模型的样本图像生成装置11可以包括:第一获取模块111、第二获取模块112、第一确定模块113、裁剪模块114和生成模块115;其中,第二获取模块112可以包括第一确定单元1121、第二确定单元1122、获取单元1123和第三确定单元1124;裁剪模块114可以包括第四确定单元1141和裁剪单元1142。
其中,需要说明的是,关于第一获取模块111和第一确定模块113的详细描述可参见上述图10中的第一获取模块101和第一确定模块103的说明,此处不再进行描述。
在本公开的一个实施例中,第二获取模块112,可以包括:
第一确定单元1121,用于针对每个原始图像,确定原始图像的人脸检测结果;
第二确定单元1122,用于根据人脸检测结果确定原始图像中包含完整人脸区域;
获取单元1123,用于从人脸检测结果中获取完整人脸区域的位置信息;
第三确定单元1124,用于在位置信息在预设区域内的情况下,将原始图像作为目标图像。
在本公开的一个实施例中,第二确定单元1122,具体用于:
在人脸检测结果中包括人脸区域的情况下,判断人脸区域的人脸轮廓是否为完整人脸轮廓;
在人脸区域的人脸轮廓为完整人脸轮廓的情况下,确定原始图像中包含完整人脸区域。
在本公开一个实施例中,裁剪模块114,包括:
第四确定单元1141,用于在目标图像上确定出一条穿过完整人脸区域的裁剪线,其中,裁剪线与完整人脸区域所对应的人像区域的身高方向垂直;
裁剪单元1142,用于以裁剪线为分界线,对目标图像中远离身体区域的图像区域进行裁剪处理,以得到发生人脸截断的正样本图像,其中,身体区域包含在人像区域内。
在本公开一个实施例中,第四确定单元1141,具体用于:
在人像区域的身高方向与目标图像的高度方向平行的情况下,根据完整人脸区域在图像坐标系的纵坐标上的取值范围,在目标图像上确定一条裁剪线,其中,裁剪线在纵坐标上的取值在取值范围内;其中,纵坐标与目标图像的高度方向平行。
在本公开一个实施例中,图像坐标系以目标图像的左上顶角为原点,并以目标图像的上边界线为横坐标,并以目标图像的左边界线为纵坐标。
在本公开一个实施例中,生成模块115,具体用于:
采用第一标签对负样本图像进行标注,其中,第一标签表示负样本图像中包含完整人脸;
采用第二标签对正样本图像进行标注,其中,第二标签表示正样本图像中发生人脸截断;
根据标注后的负样本图像和正样本图像,构建用于训练人脸截断分类模型的样本图像集合。
其中,需要说明的是,上述对人脸截断分类模型的样本图像生成方法的解释说明也适用于本实施例中的人脸截断分类模型的样本图像生成装置,该实施例对此不再赘述。
为了实现上述实施例,本公开实施例还提供一种人脸截断分类模型的训练装置。
图12是根据本公开第十实施例的示意图,该实施例提供一种人脸截断分类模型的训练装置。
如图12所示,该人脸截断分类模型的训练装置12可以包括获取模块121和训练模块122,其中:
获取模块121,用于获取如前述实施例的人脸截断分类模型的样本图像生成方法所生成的样本图像集合。
训练模块122,用于采用样本图像集合训练人脸截断分类模型。
其中,需要说明的是,前述对人脸截断分类模型的训练方法的解释说明也适用于该实施例的人脸截断分类模型的训练装置,该实施例对此不作具体限定。
本公开实施例提供的人脸截断分类模型的训练装置,通过具有完整人脸区域的负样本图像以及具有部分或者没有人脸的正样本图像,对人脸截断分类模型进行训练,提高了训练所得到的人脸截断分类模型的分类准确度。
为了实现上述实施例,本公开实施例还提供一种图像处理装置。
图13是根据本公开第十一实施例的示意图,该实施例提供一种图像处理装置。
如图13所示,该图像处理装置13可以包括获取模块131、人脸截断分类模块132和确定模块133,其中:
获取模块131,用于获取待处理图像。
人脸截断分类模块132,用于将待处理图像输入到预先训练好的人脸截断分类模型,以得到待处理图像的人脸截断分类结果,其中,人脸截断分类模型是根据前述实施例的人脸截断分类模型的样本图像生成方法所生成的样本图像集合训练得到的。
确定模块133,用于根据人脸截断分类结果,确定待处理图像的质量检测结果。
其中,需要说明的是,上述对图像处理方法的解释说明也适用于本实施例中的图像处理装置,该实施例对此不再赘述。
本公开实施例提供的图像处理装置,在对待处理图像进行质量检测的过程中,将该待处理图像输入到预先训练好的人脸截断分类模型,使得人脸截断分类模型可准确确定出待处理图像的人脸截断分类结果,进而可提高基于该人脸截断分类结果所确定出的待处理图像的质量检测结果的准确度,提高了图像质量的检测结果的准确度。
其中,需要说明的是,本公开的技术方案中,所涉及的任何数据的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备和一种可读存储介质和一种计算机程序产品。
图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图14所示,该电子设备1400可以包括计算单元1401,其可以根据存储在只读存储器(ROM)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(RAM)1403中的计算机程序,来执行各种适当的动作和处理。在RAM 1403中,还可存储设备1400操作所需的各种程序和数据。计算单元1401、ROM 1402以及RAM 1403通过总线1404彼此相连。输入/输出(I/O)接口1405也连接至总线1404。
设备1400中的多个部件连接至I/O接口1405,包括:输入单元1406,例如键盘、鼠标等;输出单元1407,例如各种类型的显示器、扬声器等;存储单元1408,例如磁盘、光盘等;以及通信单元1409,例如网卡、调制解调器、无线通信收发机等。通信单元1409允许设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理,例如人脸截断分类模型的样本图像生成方法。例如,在一些实施例中,人脸截断分类模型的样本图像生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到RAM 1403并由计算单元1401执行时,可以执行上文描述的人脸截断分类模型的样本图像生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元1401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行人脸截断分类模型的样本图像生成方法。
在另一些示例实施例中,计算单元1401执行上文所描述的各个方法和处理,例如人脸截断分类模型的训练方法。例如,在一些实施例中,人脸截断分类模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到RAM 1403并由计算单元1401执行时,可以执行上文描述的人脸截断分类模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元1401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行人脸截断分类模型的训练方法。
在另一些示例实施例中,计算单元1401执行上文所描述的各个方法和处理,例如图像处理方法。例如,在一些实施例中,图像处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1408。在一些实施例中,计算机程序的部分或者全部可以经由ROM 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到RAM 1403并由计算单元1401执行时,可以执行上文描述的图像处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元1401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像处理方法。
本文中以上描述的装置和技术的各种实施方式可以在数字电子电路装置、集成电路装置、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上装置的装置(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程装置上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储装置、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储装置、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行装置、装置或设备使用或与指令执行装置、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体装置、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的装置和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的装置和技术实施在包括后台部件的计算装置(例如,作为数据服务器)、或者包括中间件部件的计算装置(例如,应用服务器)、或者包括前端部件的计算装置(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的装置和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算装置中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将装置的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机装置可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称 "VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器可以是云服务器,也可以为分布式装置的服务器,或者是结合了区块链的服务器。
其中,需要说明的是,人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (20)

1.一种人脸截断分类模型的样本图像生成方法,包括:
获取多个原始图像;
从所述多个原始图像中,获取包含完整人脸区域,且所述完整人脸区域的位置信息在原始图像的预设区域内的目标图像,其中,所述预设区域是距离所述原始图像在宽度方向上的边界线第一预设距离,且距离所述原始图像在高度方向上的边界线第二预设距离的区域;
将所述目标图像作为负样本图像;
将所述目标图像中所述完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像;
根据所述负样本图像和所述正样本图像,生成用于训练人脸截断分类模型的样本图像集合。
2.根据权利要求1所述的方法,其中,所述从所述多个原始图像中,获取包含完整人脸区域,且所述完整人脸区域的位置信息在原始图像的预设区域内的目标图像,包括:
针对每个原始图像,确定所述原始图像的人脸检测结果;
根据所述人脸检测结果确定所述原始图像中包含完整人脸区域;
从所述人脸检测结果中获取所述完整人脸区域的位置信息;
在所述位置信息在所述预设区域内的情况下,将所述原始图像作为所述目标图像。
3.根据权利要求2所述的方法,其中,所述根据所述人脸检测结果确定所述原始图像中包含完整人脸区域,包括:
在所述人脸检测结果中包括人脸区域的情况下,判断所述人脸区域的人脸轮廓是否为完整人脸轮廓;
在所述人脸区域的人脸轮廓为完整人脸轮廓的情况下,确定所述原始图像中包含完整人脸区域。
4.根据权利要求1所述的方法,其中,所述将所述目标图像中所述完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像,包括:
在所述目标图像上确定出一条穿过所述完整人脸区域的裁剪线,其中,所述裁剪线与所述完整人脸区域所对应的人像区域的身高方向垂直;
以所述裁剪线为分界线,对所述目标图像中远离身体区域的图像区域进行裁剪处理,以得到发生人脸截断的正样本图像,其中,所述身体区域包含在所述人像区域内。
5.根据权利要求4所述的方法,其中,所述在所述目标图像上确定出一条穿过所述完整人脸区域的裁剪线,包括:
在所述人像区域的身高方向与所述目标图像的高度方向平行的情况下,根据所述完整人脸区域在图像坐标系的纵坐标上的取值范围,在所述目标图像上确定一条裁剪线,其中,所述裁剪线在所述纵坐标上的取值在所述取值范围内;其中,所述纵坐标与所述目标图像的高度方向平行。
6.根据权利要求5所述的方法,其中,所述图像坐标系以所述目标图像的左上顶角为原点,并以所述目标图像的上边界线为横坐标,并以所述目标图像的左边界线为纵坐标。
7.根据权利要求1-6任一项所述的方法,其中,所述根据所述负样本图像和所述正样本图像,生成用于训练人脸截断分类模型的样本图像集合,包括:
采用第一标签对所述负样本图像进行标注,其中,所述第一标签表示所述负样本图像中包含完整人脸;
采用第二标签对所述正样本图像进行标注,其中,所述第二标签表示所述正样本图像中发生人脸截断;
根据标注后的所述负样本图像和所述正样本图像,构建用于训练所述人脸截断分类模型的样本图像集合。
8.一种人脸截断分类模型的训练方法,包括:
获取如权利要求1至7任一项所述的方法所生成的样本图像集合;
采用所述样本图像集合训练人脸截断分类模型。
9.一种图像处理方法,包括:
获取待处理图像;
将所述待处理图像输入到预先训练好的人脸截断分类模型,以得到所述待处理图像的人脸截断分类结果,其中,所述人脸截断分类模型是根据权利要求1至7任一项所述的方法所生成的样本图像集合训练得到的;
根据所述人脸截断分类结果,确定所述待处理图像的质量检测结果。
10.一种人脸截断分类模型的样本图像生成装置,包括:
第一获取模块,用于获取多个原始图像;
第二获取模块,用于从所述多个原始图像中,获取包含完整人脸区域,且所述完整人脸区域的位置信息在原始图像的预设区域内的目标图像,其中,所述预设区域是距离所述原始图像在宽度方向上的边界线第一预设距离,且距离所述原始图像在高度方向上的边界线第二预设距离的区域;
第一确定模块,用于将所述目标图像作为负样本图像;
裁剪模块,用于将所述目标图像中所述完整人脸区域的至少一部分人脸区域裁掉,以得到发生人脸截断的正样本图像;
生成模块,用于根据所述负样本图像和所述正样本图像,生成用于训练人脸截断分类模型的样本图像集合。
11.根据权利要求10所述的装置,其中,所述第二获取模块,包括:
第一确定单元,用于针对每个原始图像,确定所述原始图像的人脸检测结果;
第二确定单元,用于根据所述人脸检测结果确定所述原始图像中包含完整人脸区域;
获取单元,用于从所述人脸检测结果中获取所述完整人脸区域的位置信息;
第三确定单元,用于在所述位置信息在所述预设区域内的情况下,将所述原始图像作为所述目标图像。
12.根据权利要求11所述的装置,其中,所述第二确定单元,具体用于:
在所述人脸检测结果中包括人脸区域的情况下,判断所述人脸区域的人脸轮廓是否为完整人脸轮廓;
在所述人脸区域的人脸轮廓为完整人脸轮廓的情况下,确定所述原始图像中包含完整人脸区域。
13.根据权利要求10所述的装置,其中,所述裁剪模块,包括:
第四确定单元,用于在所述目标图像上确定出一条穿过所述完整人脸区域的裁剪线,其中,所述裁剪线与所述完整人脸区域所对应的人像区域的身高方向垂直;
裁剪单元,用于以所述裁剪线为分界线,对所述目标图像中远离身体区域的图像区域进行裁剪处理,以得到发生人脸截断的正样本图像,其中,所述身体区域包含在所述人像区域内。
14.根据权利要求13所述的装置,其中,所述第四确定单元,具体用于:
在所述人像区域的身高方向与所述目标图像的高度方向平行的情况下,根据所述完整人脸区域在图像坐标系的纵坐标上的取值范围,在所述目标图像上确定一条裁剪线,其中,所述裁剪线在所述纵坐标上的取值在所述取值范围内;其中,所述纵坐标与所述目标图像的高度方向平行。
15.根据权利要求14所述的装置,其中,所述图像坐标系以所述目标图像的左上顶角为原点,并以所述目标图像的上边界线为横坐标,并以所述目标图像的左边界线为纵坐标。
16.根据权利要求10-15任一项所述的装置,其中,所述生成模块,具体用于:
采用第一标签对所述负样本图像进行标注,其中,所述第一标签表示所述负样本图像中包含完整人脸;
采用第二标签对所述正样本图像进行标注,其中,所述第二标签表示所述正样本图像中发生人脸截断;
根据标注后的所述负样本图像和所述正样本图像,构建用于训练所述人脸截断分类模型的样本图像集合。
17.一种人脸截断分类模型的训练装置,包括:
获取模块,用于获取如权利要求1至7任一项所述的方法所生成的样本图像集合;
训练模块,用于采用所述样本图像集合训练人脸截断分类模型。
18.一种图像处理装置,包括:
获取模块,用于获取待处理图像;
人脸截断分类模块,用于将所述待处理图像输入到预先训练好的人脸截断分类模型,以得到所述待处理图像的人脸截断分类结果,其中,所述人脸截断分类模型是根据权利要求1至7任一项所述的方法所生成的样本图像集合训练得到的;
确定模块,用于根据所述人脸截断分类结果,确定所述待处理图像的质量检测结果。
19.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法,或者,权利要求8所述的方法,或者,权利要求9所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法,或者,权利要求8所述的方法,或者,权利要求9所述的方法。
CN202210976849.7A 2022-08-15 2022-08-15 样本图像生成方法、模型训练方法、图像处理方法和装置 Active CN115050086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210976849.7A CN115050086B (zh) 2022-08-15 2022-08-15 样本图像生成方法、模型训练方法、图像处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210976849.7A CN115050086B (zh) 2022-08-15 2022-08-15 样本图像生成方法、模型训练方法、图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN115050086A true CN115050086A (zh) 2022-09-13
CN115050086B CN115050086B (zh) 2022-11-04

Family

ID=83167148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210976849.7A Active CN115050086B (zh) 2022-08-15 2022-08-15 样本图像生成方法、模型训练方法、图像处理方法和装置

Country Status (1)

Country Link
CN (1) CN115050086B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216887A (zh) * 2008-01-04 2008-07-09 浙江大学 照片人脸与活体人脸的计算机自动鉴别方法
CN103279745A (zh) * 2013-05-28 2013-09-04 东南大学 一种基于半脸多特征融合的人脸识别方法
CN104112131A (zh) * 2013-04-19 2014-10-22 浙江大华技术股份有限公司 一种用于人脸检测的训练样本的生成方法及装置
CN107240105A (zh) * 2017-06-05 2017-10-10 深圳市茁壮网络股份有限公司 一种图片剪裁方法及装置
CN107832712A (zh) * 2017-11-13 2018-03-23 深圳前海微众银行股份有限公司 活体检测方法、装置和计算机可读存储介质
CN109784207A (zh) * 2018-12-26 2019-05-21 深圳云天励飞技术有限公司 一种人脸识别方法及装置
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技(深圳)有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
US20200250461A1 (en) * 2018-01-30 2020-08-06 Huawei Technologies Co., Ltd. Target detection method, apparatus, and system
CN112329597A (zh) * 2020-11-02 2021-02-05 广州杰赛科技股份有限公司 一种人脸识别的方法和装置
CN112749609A (zh) * 2020-07-23 2021-05-04 腾讯科技(深圳)有限公司 人体图像分割方法、装置、计算机设备及存储介质
CN113011345A (zh) * 2021-03-11 2021-06-22 百度在线网络技术(北京)有限公司 图像质量检测方法、装置、电子设备、可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216887A (zh) * 2008-01-04 2008-07-09 浙江大学 照片人脸与活体人脸的计算机自动鉴别方法
CN104112131A (zh) * 2013-04-19 2014-10-22 浙江大华技术股份有限公司 一种用于人脸检测的训练样本的生成方法及装置
CN103279745A (zh) * 2013-05-28 2013-09-04 东南大学 一种基于半脸多特征融合的人脸识别方法
CN107240105A (zh) * 2017-06-05 2017-10-10 深圳市茁壮网络股份有限公司 一种图片剪裁方法及装置
CN107832712A (zh) * 2017-11-13 2018-03-23 深圳前海微众银行股份有限公司 活体检测方法、装置和计算机可读存储介质
US20200250461A1 (en) * 2018-01-30 2020-08-06 Huawei Technologies Co., Ltd. Target detection method, apparatus, and system
CN109784207A (zh) * 2018-12-26 2019-05-21 深圳云天励飞技术有限公司 一种人脸识别方法及装置
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技(深圳)有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN112749609A (zh) * 2020-07-23 2021-05-04 腾讯科技(深圳)有限公司 人体图像分割方法、装置、计算机设备及存储介质
CN112329597A (zh) * 2020-11-02 2021-02-05 广州杰赛科技股份有限公司 一种人脸识别的方法和装置
CN113011345A (zh) * 2021-03-11 2021-06-22 百度在线网络技术(北京)有限公司 图像质量检测方法、装置、电子设备、可读存储介质

Also Published As

Publication number Publication date
CN115050086B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN108229485B (zh) 用于测试用户界面的方法和装置
CN114155543B (zh) 神经网络训练方法、文档图像理解方法、装置和设备
CN108960229B (zh) 一种面向多方向的文字检测方法和装置
US20200089985A1 (en) Character image processing method and apparatus, device, and storage medium
EP3852008A2 (en) Image detection method and apparatus, device, storage medium and computer program product
EP3876197A2 (en) Portrait extracting method and apparatus, electronic device and storage medium
EP3916634A2 (en) Text recognition method and device, and electronic device
US20220036068A1 (en) Method and apparatus for recognizing image, electronic device and storage medium
CN112989995B (zh) 文本检测方法、装置及电子设备
CN114429637B (zh) 一种文档分类方法、装置、设备及存储介质
CN113177451A (zh) 图像处理模型的训练方法、装置、电子设备及存储介质
CN113205041A (zh) 结构化信息提取方法、装置、设备和存储介质
US20220319141A1 (en) Method for processing image, device and storage medium
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
CN113378958A (zh) 自动标注方法、装置、设备、存储介质及计算机程序产品
CN113362420A (zh) 道路标注生成方法、装置、设备以及存储介质
CN113657396B (zh) 训练方法、译文展示方法、装置、电子设备以及存储介质
WO2021179751A1 (zh) 图像处理方法和系统
CN113326766A (zh) 文本检测模型的训练方法及装置、文本检测方法及装置
CN115050086B (zh) 样本图像生成方法、模型训练方法、图像处理方法和装置
EP4318314A1 (en) Image acquisition model training method and apparatus, image detection method and apparatus, and device
CN115564976A (zh) 图像处理方法、装置、介质及设备
CN115376137A (zh) 一种光学字符识别处理、文本识别模型训练方法及装置
US11749021B2 (en) Retrieval device, control method, and non-transitory storage medium
CN114926429A (zh) 一种线迹长度检测方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant