CN114255493A - 图像检测方法、人脸检测方法及装置、设备及存储介质 - Google Patents

图像检测方法、人脸检测方法及装置、设备及存储介质 Download PDF

Info

Publication number
CN114255493A
CN114255493A CN202011012905.2A CN202011012905A CN114255493A CN 114255493 A CN114255493 A CN 114255493A CN 202011012905 A CN202011012905 A CN 202011012905A CN 114255493 A CN114255493 A CN 114255493A
Authority
CN
China
Prior art keywords
image
detection
detected
detection window
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011012905.2A
Other languages
English (en)
Inventor
黄彬彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumi United Technology Co Ltd
Original Assignee
Lumi United Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lumi United Technology Co Ltd filed Critical Lumi United Technology Co Ltd
Priority to CN202011012905.2A priority Critical patent/CN114255493A/zh
Publication of CN114255493A publication Critical patent/CN114255493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像检测方法及装置、人脸检测方法及装置、终端设备及计算机存储介质,所述图像检测方法包括获取待检测图像;通过检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;其中,所述样本图像为用于训练提取图像中目标对象的形状特征的模型的图像,所述目标参考点为所述样本图像中用于界定出目标对象的形状特征的关键特征点;根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测。

Description

图像检测方法、人脸检测方法及装置、设备及存储介质
技术领域
本发明涉及图像处理领域,尤其涉及一种图像检测方法及装置、人脸检测方法及装置、终端设备及计算机可读存储介质。
背景技术
随着多媒体技术与计算机设备网络的广泛应用,网络上出现了大量图像数据。如何有效的管理这些图像文件,自动识别图像的内容变得越来越需要。
其中图像识别中人脸检测在计算机视觉领域尤其备受关注。已知的人脸检测方法是采用一个检测窗口在图像中先逐列再逐行扫描式的滑动,对待检测图像进行特征提取,以对图像中的人脸进行检测。然而,这需要对待检测图像的整个区域进行特征提取,计算量大且提取特征容易受到非人脸部位的干扰,从而检测时间长且准确率低。
发明内容
为了解决现有存在的技术问题,本申请实施例提供一种快速、且检测准确率高的图像检测方法及装置、人脸检测方法及装置、终端设备及计算机可读存储介质。
为达到上述目的,本申请实施例的技术方案是这样实现的:
本申请实施例第一方面,提供一种图像检测方法,包括:
获取待检测图像;
通过检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;所述样本图像为用于训练提取图像中目标对象的形状特征的模型的图像,所述目标参考点为所述样本图像中用于界定出目标对象的形状特征的关键特征点;
根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测。
本申请实施例第二方面,提供一种人脸检测方法,包括:
获取待检测图像;
通过不同尺寸的检测窗口分别对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;
根据各个所述图像区域的特征向量,确定不同尺寸的检测窗口覆盖的图像区域存在重叠且均包含人脸时,对所述不同尺寸的检测窗口覆盖的存在重叠的图像区域进行融合,确定所述待检测图像中的人脸及其位置。
本申请实施例第三方面,提供一种图像检测装置,包括:
图像获取模块,用于获取待检测图像;
特征提取模块,用于通过检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;
检测模块,用于根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测。
本申请实施例第四方面,提供一种人脸检测装置,包括:
获取模块,用于获取待检测图像;
特征模块,用于通过不同尺寸的检测窗口分别对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;
人脸检测模块,用于根据各个所述图像区域的特征向量,确定不同尺寸的检测窗口覆盖的图像区域存在重叠且均包含人脸时,对所述不同尺寸的检测窗口覆盖的存在重叠的图像区域进行融合,确定所述待检测图像中的人脸及其位置。
本申请实施例第五方面,提供一种终端设备,包括存储器和处理器,所述存储器内存储有计算机程序,所述处理器运行所述计算机程序时,执行本申请任一实施例所述的图像检测方法或本申请任一实施例所述的人脸检测方法。
本申请实施例第六方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序代码,所述计算机程序代码由处理器加载并执行时,执行本申请任一实施例所述的图像检测方法或本申请任一实施例所述的人脸检测方法。
上述实施例所提供的图像检测方法及装置、终端设备及计算机可读存储介质,通过检测窗口对待检测图像进行检测的过程中,根据样本图像中目标对象的形状特征选取关键特征点作为目标参考点,分析目标参考点在样本图像中的位置关系,根据所述位置关系分别确定所述检测窗口在待检测图像滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,通过确定检测窗口覆盖的图像区域的关键区域进行特征提取,可以提升特征提取速度,减少计算量,以提升图像检测效率;其次可以减少非有效特征区域的干扰,可以提升图像检测的准确率;
上述实施例所提供的人脸检测方法及装置、终端设备及计算机可读存储介质,通过不同尺寸的检测窗口分别对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,根据各个所述图像区域的特征向量,确定不同尺寸的检测窗口覆盖的图像区域存在重叠且均包含人脸时,对所述不同尺寸的检测窗口覆盖的存在重叠的图像区域进行融合,确定所述待检测图像中的人脸及其位置,通过确定检测窗口覆盖的图像区域的关键区域来进行特征提取,可以提升特征提取速度,减少计算量,以提升对图像中的人脸检测效率;通过采用不同尺寸的检测窗口进行检测,对重叠区域的检测结果进行融合,从而可以实现对不同图像中不同尺寸混合的人脸、或同一图像中不同尺寸混合的人脸进行快速检测,提升检测准确率。
附图说明
图1为本申请一实施例中图像检测方法的应用场景图;
图2为本申请一实施例中图像检测方法的流程图;
图3为本申请另一实施例中图像检测方法的流程图;
图4为本申请实施例中目标参考点相对于目标对象位置关系的示意图;
图5为本申请实施例中根据目标参考点确定关键区域的示意图;
图6为本申请实施例中图像特征的特征值计算的示意图;
图7为本申请实施例中特征值处理的示意图;
图8为本申请实施例中特征值处理后的特征图;
图9为本申请又一实施例中图像检测方法的流程图;
图10为级联分类器训练原理的示意图;
图11为本申请一实施例中人脸检测方法的流程图;
图12为本申请另一实施中人脸检测方法的流程图;
图13为本申请一可选的具体实施中人脸检测方法的流程图;
图14为本申请一实施例中终端设备的结构示意图;
图15为本申请一实施例中图形检测装置的模块示意图;
图16为本申请另一实施例中终端设备的结构示意图;
图17为本申请一实施例中人脸检测装置的模块示意图。
具体实施方式
以下结合说明书附图及具体实施例对本发明技术方案做进一步的详细阐述。除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
在以下的描述中,涉及到“一些实施例”的表述,其描述了所有可能实施例的子集,但是应当理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
请参阅图1,为本发明实施例提供的图像检测方法的可选应用场景图,用户可以通过于终端设备中安装图像检测应用客户端,于图像检测应用中输入待检测图像,通过服务器对待预测图像进行特征提取、对目标对象进行检测。其中,图像检测应用可以是针对不同图像所包含的对象,通过训练确定级联分类器,从而得到的分别针对不同图像所包含的对象进行检测的应用程序。以图像所包含的对象为人脸为例,图像检测应用是指针对待检测图像中所包含的人脸区域进行检测,以确定待检测图像中是否包含人脸及人脸在所述待检测图像中的位置的应用程序。作为另一种可选的实施方式,用户也可以通过终端设备的图像检测应用直接对待预测图像进行特征提取、对目标对象进行检测。其中,终端设备可以是手机、电脑、ipad、考勤机、摄像头等能够安装所述图像检测应用的设备,以执行本申请任一实施例所述图像检测方法或人脸检测方法。
请参阅图2,为本申请一实施例所提供的图像检测方法,包括如下步骤:
步骤S101,获取待检测图像。
待检测图像可以是任意用于检测是否包含目标对象的图像。终端设备获取待检测图像可以包括如下至少一种:通过图像检测应用的图像获取界面接收用户上传的图像;通过图像检测应用调用摄像模块拍摄图像;通过图像检测应用获取其它终端设备传送的图像。待检测图像可以是实时获取的,也可以是提前存储于终端设备上的。
步骤S103,通过检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量。其中,所述样本图像为用于训练提取图像中目标对象的形状特征的模型的图像,所述目标参考点为所述样本图像中用于界定出目标对象的形状特征的关键特征点。
目标参考点是指根据针对不同图像所包含的目标对象所确定的,包含于所述目标对象的范围内,以能够用于界定出所述目标对象的形状特征的关键特征点。样本图像为用于训练提取图像中目标对象的形状特征的模型的图像,具体的,样本图像是指用于训练的、包含有目标对象的标准图像,通过对样本图像进行分析以能够提取图像中目标对象的形状特征,通过采用样本图像对分类器进行训练可以得到能够提取图像中目标对象的形状特征的分类器模型,通过建立对样本图像中目标对象的形状特征进行分析的分类器模型,得到用所述分类器模型在其它图像中检测是否存在目标对象的规则。本实施例中,该规则是指目标参考点在样本图像中的位置关系。以目标对象为人脸为例,目标参考点是指五官分别对应的位置点,如眼睛的中心、鼻尖、嘴巴两端的嘴角这五个位置点,通过五官的位置点以确定是否为人脸。目标参考点在样本图像中的位置关系是指,根据目标参考点在目标对象中的位置规律而确定的、能够依此而判定是否为目标对象的检测规则。
通过检测窗口在待检测图像中滑动,分别对检测窗口在滑动过程中分别覆盖的图像区域进行人脸检测,其中,针对检测窗口滑动过程中依次覆盖的图像区域进行人脸检测的步骤相同,包括:确定检测窗口所覆盖的图像区域内的关键区域,提取关键区域的图像特征以确定该所述图像区域的特征向量。以检测窗口在待检测图像中初始位于位置一、以及从位置一滑动至位置二为例,根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口在位置一所覆盖的图像区域的关键区域一、以及所述检测窗口在位置二所覆盖的图像区域的关键区域二,提取所述关键区域一的图像特征以确定位置一对应的图像区域的特征向量,以及提取所述关键区域二的图像特征以确定位置二对应的图像区域的特征向量。在检测窗口覆盖的图像区域内,根据目标参考点确定关键区域,提取关键区域的图像特征以确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域的特征向量,如此,可以缩小对检测窗口覆盖的图像区域内进行特征提取的范围,可以提升特征提取速度,减少计算量,以提升图像检测效率;其次,通过确定关键区域进行特征提取可以减少非有效特征区域的干扰,可以提升图像检测的准确率。
步骤S105,根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测。
通过分别提取检测窗口覆盖的图像区域内关键区域的图像特征,以确定所述图像区域内是否包含目标对象。
本申请上述实施例中,通过检测窗口对待检测图像进行检测的过程中,根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,其中,关键区域的确定,有利于减少检测窗口滑动过程中每次框选覆盖的图像区域的图像特征提取量,提升检测效率。通过检测窗口依次框定待检测图像的检测区域并对其覆盖的图像区域的关键区域进行特征提取,可以提升特征提取速度,减少计算量,以提升图像检测效率;其次可以减少非有效特征区域的干扰,可以提升图像检测的准确率。
在一些实施例中,请参阅图3,所述步骤S105,根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测之前,包括:
步骤S1041,根据设定规则对所述检测窗口的尺寸进行调整,得到更新的检测窗口;
步骤S1042,通过所述更新的检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述更新的检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,并提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量。
根据设定规则对检测窗口的尺寸进行调整,可以是根据当前检测窗口的尺寸按比例增加或减小,或者是根据当前检测窗口的尺寸逐渐增加指定大小或逐渐减小指定大小,所述设定规则即指按比例增加或者减小的规则,或逐渐增加指定大小或逐渐减小指定大小的规则。通过根据设定规则对所述检测窗口的尺寸进行调整,通过不同尺寸的检测窗口分别对待检测图像进行扫描检测,并分别提取不同尺寸的检测窗口在所述待检测图像中滑动所覆盖的图像区域的图像特征以确定相应的图像区域的特征向量。通常,目标对象在待检测图像中尺寸大小不同,不同尺寸的检测窗口覆盖的图像区域范围不同,通过不同尺寸的检测窗口依次对待检测图像进行检测,以达到确保目标对象能够落入检测窗口覆盖的图像区域范围内,提高检测的准确率。
其中,根据目标对象在待检测图像中的尺寸范围预先设定检测窗口的最大尺寸和最小尺寸。根据设定规则对检测窗口的尺寸进行调整的过程中,可以是首先通过最小尺寸的检测窗口对待检测图像进行检测,以确认检测窗口滑动过程中每次覆盖的图像区域内是否包含目标对象;然后,根据预设规则将检测窗口的尺寸增加指定大小,通过尺寸增加后的检测窗口分别对待检测图像进行检测,以确认检测窗口滑动过程中每次覆盖的图像区域内是否包含目标对象;依次类推,直至检测窗口的尺寸等于或大于预先设定的最大尺寸。通过尺寸不同的检测窗口分别对待检测图像进行检测,可以确保包含不同尺寸的目标对象均可以被准确地检测到。
在一些实施例中,所述步骤S105,根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测,包括:
根据各个所述图像区域的特征向量,确定所述待检测图像中是否包含目标对象;
在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域同时包含有所述目标对象的情况下,对所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域进行融合。
通过不同尺寸的检测窗口分别对待检测图像进行检测,在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域同时包含有所述目标对象情况下,也即,在待检测图像中同一个区域在不同尺寸的检测窗口下均被检测包含目标对象的情况下,或在检测图像中同一个区域周边被多次检测包含目标对象的情况下,则对所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域进行融合,以准确确定目标对象在待检测图像中的位置。
可选的,融合是指所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域采用非极大抑制算法进行坐标合并。如,根据更新的检测窗口覆盖的图像区域检测到人脸并确定为人脸的第一数值与所述检测窗口覆盖的图像区域检测到人脸并确定为人脸的第二数值进行比较,将所述第一数值和所述第二数值中相对较小的数值对应的图像区域定为冗余图像区域并丢弃。
可选的,所述对更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域进行融合,包括:
在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域中其中之一包含于其中另一的情况下,或,
在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域的重叠度大于阈值的情况下;
根据所述图像区域的特征向量选取保留的图像区域,并确定所述目标对象的坐标。
其中,更新的检测窗口覆盖的图像区域和检测窗口覆盖的图像区域可以是包含关系或部分重叠关系,对图像区域进行融合可以采用非极大抑制算法进行坐标合并。在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域中其中之一包含于其中另一的情况下,根据所述图像区域的特征向量确定为人脸的数值的大小,丢弃二者中数值相对较小的冗余的图像区域,冗余的图像区域可以是位于外面的尺寸较大的图像区域,也可以是位于里面的尺寸较小的图像区域,根据保留的图像区域确定目标对象的坐标,达到目标对象坐标尺寸融合的目的;或者,在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域的重叠度大于阈值的情况下,根据所述图像区域的特征向量确定为人脸的数值的大小,丢弃二者中数值相对较小的冗余的图像区域,所述冗余的图像区域可以是左侧的图像区域或者右侧的图像区域,根据保留的图像区域确定目标对象的坐标,达到目标对象坐标偏移融合的目的。
可选的,所述根据设定规则对所述检测窗口的尺寸进行调整,得到更新的检测窗口,包括:
根据设置比例对所述检测窗口进行缩放,在缩放后的检测窗口的尺寸在设置尺寸范围内的情况下,将缩放后的检测窗口作为更新的检测窗口。
对检测窗口的尺寸进行调整的规则可以是根据设置比例对检测窗口进行缩放。作为一种可选的实施方式,设置比例可以是1.2倍,检测窗口的最小尺寸为20*20,检测窗口的最大尺寸为600*600,在通过检测窗口对所述待检测图像进行检测的过程中,可以先用尺寸为20*20的检测窗口对所述待检测图像进行检测,以分别确定所述检测窗口在待检测图像滑动中所覆盖的图像区域对应的特征向量,分别对所述检测窗口在滑动中所分别覆盖的图像区域内是否包含目标对象进行检测;然后检测窗口按照1.2倍增加得到更新的检测窗口,并通过增加后的检测窗口对所述待检测图像进行检测,直至检测窗口的尺寸大于600*600。
通过以根据待检测的目标对象在不同图像中或在同一图像中可能呈现的尺寸来确定合适的设置尺寸范围,将检测窗口在设置尺寸范围内进行缩放,由不同尺寸的检测窗口分别进行检测,以确保能够对尺寸属于所述设置尺寸范围内的目标对象均能够被有效检测到,提升检测的准确率。
在一些实施例中,所述根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,包括:
根据所述目标参考点在样本图像中的坐标,及所述样本图像中目标对象区域的尺寸,确定所述目标参考点相对于所述目标对象区域的比例坐标;
根据所述比例坐标,确定所述检测窗口覆盖的图像区域内目标参考点的位置,根据所述目标参考点的位置确定关键区域。
目标参考点在样本图像中的位置关系是指,根据目标参考点在目标对象中的位置规律而确定的能够确定是否为目标对象的检测规则。本实施例中,根据目标参考点相对于目标对象区域的比例坐标,以检测窗口在滑动过程中每次框定的图像区域作为待检测图像区域,分别确定所述图像区域内的目标参考点的位置,进一步根据所述目标参考点的位置确定关键区域,通过提取关键区域的特征以检测是否包含目标对象,将关键区域作为有效特征的提取对象,可以提升检测效率,并降低漏检率。
可选的,所述目标参考点为多个,所述根据所述目标参考点的位置确定关键区域,包括:
以所述目标参考点的坐标为中心、以预设值为半径的圆的最小外接方形区域为所述目标参考点对应的关键区域。
本实施例中,通过以目标参考点为中心、以预设值为半径的圆的最小外接方形区域确定关键区域。通过检测窗口对待检测图像进行检测检测是否存在目标对象时,检测窗口主要针对关键区域进行特征提取,以能更快速准确地提取能够用于确定目标对象的有效图像特征。以目标对象为人脸为例,目标参考点可以是指眼睛中心、鼻尖、嘴角五个点,根据左右眼睛中心的距离和嘴角的距离当作基准,确定出人脸成像区域,人脸成像区域的确定可以如图4所示。左右眼睛中心的距离为d1,嘴角两点之间的距离为d2,鼻尖与两眼睛中心连接以及两嘴角连接之间的距离为d3,人脸成像区域的宽度为D,根据目标参考点相对于目标对象的位置关系,此时,人脸中左右眼睛中心、鼻尖、左右嘴角五点的坐标相对于人脸区域尺寸的比例坐标大概为(0.2459,0.2531),(0.7341,0.2531),(0.5,0.5864),(0.2963,0.8333),(0.7037,0.8333)。
根据目标参考点相对于目标对象的比例坐标,确定检测窗口覆盖的图像区域内假如存在人脸时,人脸面部有效特征信息的集中区域,也即所述目标参考点对应的关键区域,如图5所示,根据五官在人脸中的位置关系,分别确定两眼中心、鼻尖、嘴巴两端的嘴角这五个目标参考点在人脸中位置的规律,其中关键区域为边长为D的方形图像区域,半径的预设值r=0.2D,其中,左眼中心的坐标为(x1=0.2459D、y1=0.2531D),右眼中心的坐标为(x2=0.7451D、y3=0.2531D),鼻尖的坐标为(x3=0.5D、y3=0.5864D),嘴巴左端的嘴角坐标为(x4=0.2963D、y4=0.8333D),嘴巴右端的嘴角坐标为(x5=0.7037D、y5=0.8333D)。根据目标参考点相对于目标对象的比例坐标确定检测窗口覆盖的图像区域内目标参考点的坐标,以目标参考点的坐标(x1,y1)为中心,以r为半径圆的最小外接方形区域,确定对应目标参考点对应的关键区域,如以左眼中心(x1=0.2459D、y1=0.2531D)为中心,以r=0.2D为半径确定圆,并将圆的最小外接方形区域确定为左眼中心所在目标参考点的关键区域。
通过以目标关键点坐标为中心,将预设值为半径的范围内确定圆形并将圆形的外接方形区域作为关键区域,可以将图像中包含用于确定是否为人脸的有效图像特征最集中的区域划定为关键区域,避免有效特征遗漏的同时可以提升特征提取速度,减少计算量。
在一些实施例中,所述提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,包括:
将所述关键区域划分为多个图像块;
根据每一图像块各像素点的像素值与其相邻的像素点的像素值的大小,确定所述图像块对应的特征码;
根据所述图像块对应的特征码得到所述图像区域的特征向量。
本实施例中,图像区域的特征向量采用LBP(Local Binary Pattern,局部二值模式)值,提取的特征是图像局部的纹理特征。请参阅图6,可以将关键区域划分为多个图像块,根据图像块中心像素点与相邻像素点的像素值的大小比较,若相邻像素点的像素值大于中心像素点的像素值则该相邻像素点的位置标记1,若相邻像素点的像素值小于中心像素点的像素值则该相邻像素点的位置标记0,从而确定所述图像块中心点像素点的特征值,特征码是由特征值组成的、以表征对应的图像块的图像特征的字段。本实施例中,可以将每一图像块中心像素点的特征值作为所述图像块对应的特征码。可选的,也可以是采用所述图像块其它位置的像素点的特征值作为所述图像块对应的特征码,或位于中部的多个像素点的特征值的均值作为所述图像块对应的特征码。请参阅图7和图8,对所有关键区域进行图像块划分并对图像块做LBP值处理后,得到LBP特征图,统计每个关键区域内不同LBP值出现的次数,再将所述关键区域的LBP值串联起来,构成检测窗口当前覆盖的图像区域对应的LBP特征向量。以图像块为3*3像素块为例,以图像块中心像素为阈值,将相邻的8个像素的灰度值与其进行比较,若周围像素点像素值大于块中心像素值,则该像素点的位置被标记为1,否则为0,这样,3*3邻域内的8个点经比较可产生8位二进制数,即得到图像块的中心像素点的LBP值,作为该图像块区域的纹理信息。
通过将关键区域划分图像块来确定特征码,并由图像块的特征码得到对应关键区域所属图像区域的特征向量,提供了一种相对更为简单的提取图像区域特征向量的方式,可以有效降低表征所述图像区域的特征向量的维度,提升检测效率。
可选的,所述将所述关键区域划分为多个图像块,包括:
根据所述关键区域中特征量确定目标重叠度,根据所述目标重叠度将所述关键区域划分为多个图像块,其中,所述目标重叠度的大小与所述特征量的大小呈正比。
特征量是指包含能够确定是否为人脸的有效图像特征的数量。特征码是由特征值组成的、以表征对应的图像块的图像特征的字段。特征量的大小即指包含能够确定是否为人脸的有效图像特征的数量的多少,特征量越大,表示有效图像特征越多,反之,特征量越小,表示有效图像特征越少。将关键区域划分为多个图像块,相邻图像块之间具有一定重叠度,可以降低漏检测。重叠度越高,则同一区域内提取的特征量也就越多,可以降低漏检概率。以目标重叠度为50%为例,可以将关键区域划分为4*4的图像块,相邻两图像块之间行或列重叠50%,以确保关键区域内特征量的提取。目标重叠度与特征量的大小呈正比,可以减少对无信息区域的特征提取,提高图像检测效率。
在一些实施例中,请参阅图9,所述获取待检测图像之前,还包括:
步骤S1011,获取包含有目标对象的原始图像,根据所述原始图像中目标参考点的标定及目标对象区域的尺寸调整所述原始图像,直至所述原始图像的显示参数满足取值条件,将调整后的所述原始图像作为正样本图像;
步骤S1012,获取不包含目标对象的图像,将所述不包含目标对象的图像作为负样本图像,根据所述正样本图像和所述负样本图像形成训练图像集;
步骤S1013,基于所述训练图像集对级联分类器进行训练。
显示参数是指图像所携带的可以用于调整图像的显示效果的数值信息,主要包括图像的方向、尺寸、亮度、对比度、长宽比例、分辨率等。取值条件是指针对不同参数预先设置的需要满足的条件,如图像尺寸、长宽比例、目标对象区域的尺寸等。原始图像是指针对需要进行检测的目标对象所拍摄或绘制的图像,可以基于互联网中当前已公开的图像库中收集得到的。本实施例中,图像检测是通过机器学习方式实现,通过对原始图像进行调整,形成目标对象在图像中的尺寸范围符合要求的图像形成正训练样本,获取不包括目标对象的图像形成负训练样本,基于正训练样本和负训练样本对初始的分类器进行迭代训练,得到训练后的级联分类器。
其中,以Adaboost迭代算法为例,对所述级联分类器进行迭代训练的过程主要是指采用数据集对多个弱分类器进行训练,再由弱分类器集合构成一个强分类器的过程。请参阅图10,为级联分类器进行迭代训练过程的示意图,其中,data是特征数据,W是样本权重,WeakClassifier表示弱分类器,alpha表示构建强分类器时各个弱分类器所占的权重。训练过程包括:先对data中的每个样本赋一个初始权重W1,然后用data训练一个弱分类器(从data的M维特征数据里面找到某一维特征,这维特征能使data中的样本分类错误率最低,也就得到了weakClassifier1),然后根据权重W1和分类情况算出分类误差率E1,再根据误差率E1算出权重alpha1,接着根据权重W1和权重alpha1算出W2(也就是更新权重,将weakClassifier1分错的样本权重加大),重复上述过程,可以得到多个弱分类器,最后将这些弱分类器加权得到最终的强分类器,即训练后的级联分类器。
通过所述训练后的级联分类器对待检测图像进行检测的过程包括,通过检测窗口在所述待检测图像中滑动,分别提取所述检测窗口滑动过程中分别所覆盖的图像区域的特征向量,将所述特征向量经过弱分类器进行分类判断,按照经训练后的每个弱分类器指定维度的特征,经过这些弱分类器分别分类判断后可得到对应的分数值val,将这些分数值与对应弱分类器的权重alpha相乘累加,即得到所述图像区域是否为人脸的分数值。将所述图像区域的分数值与级联分类器的判断阈值比较,其中,所述判断阈值是在通过对级联分类器训练后得到的,在分数值高于该判断阈值的情况下,即表示检测到人脸;反之,表示未检测到人脸。
在一些实施例中,所述根据所述原始图像中目标参考点的标定及目标对象区域的尺寸调整所述原始图像,直至所述原始图像的显示参数满足取值条件,包括:
根据目标参考点在所述原始图像中的坐标、及目标参考点在目标对象区域中的尺寸关系,对所述原始图像进行裁剪;
调整裁剪后的图像中目标对象符合预设尺寸范围,所述预设尺寸范围与检测窗口大小对应。
其中,预设尺寸范围与图形检测方法能够检测的不同尺寸的目标对象相对应,也即,待检测的目标对象的最小尺寸为20*20,最大尺寸为600*600,则相应根据目标对象所包含的目标参考点在原始图像中的坐标、以及所述目标参考点在目标对象成像区域中的尺寸关系对原始图像的尺寸进行裁剪,形成目标对象的尺寸符合待检测的目标对象尺寸范围的样本图像。通过形成标准的样本图像作为训练样本,有利于提升级联分类器的训练速度和训练精度,提升训练后的级联分类器的检测准确率。
在一些实施例中,所述根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测,包括:
将各个所述图像区域的特征向量进行拼接;
根据拼接后的图像特征,经过级联分类器判别,得到所述待检测图像是否包含所述目标对象及所述目标对象的位置。
待预测图像中包含的目标对象可以为一个或多个,通过提取检测窗口覆盖的图像区域内的图像特征,对所述检测窗口不同位置处提取到的目标对象的特征进行拼接,将拼接后的特征通过级联分类器判别,从而得到待检测图像中是否包含目标对象及目标对象位置的检测结果。仍以Adaboost迭代算法为例,分类层分别对应所述弱分类器。
图像检测方法中,人脸是一个常见的视觉感知对象,在视频监控、出入口控制、视频会议、移动支付以及人机交互等领域有着非常广泛的应用。对人脸图像的处理和分析通常包括人脸检测、人脸跟踪、姿态估计和表情识别等,其中,人脸检测方法是上述人脸信息处理中的基础。人脸检测是指在输入的图像中确定所有人脸的位置和大小的过程。本申请实施例另一方面,请参阅图11,还提供一种人脸检测方法,包括如下步骤:
步骤S201,获取待检测图像。
待检测图像可能是包含人脸或不包含人脸的任意图像,如各场景中装设的摄像头拍摄的大量照片、互联网图像数据库中上传的大量图像等,根据图像分类需求而需要检测区分是否为人脸图像时,可以采用本申请实施例提供的人脸检测方法。
步骤S203,通过不同尺寸的检测窗口分别对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口在待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量。
通过不同尺寸的检测窗口分别对所述待检测图像进行检测,并分别提取不同尺寸的检测窗口覆盖的图像区域的图像特征以确定相应的图像区域的特征向量。通常,待检测图像中人脸尺寸有大小不同,通过不同尺寸的检测窗口依次对待检测图像进行检测,以达到确保目标对象能够落入检测窗口覆盖的图像区域范围内,实现混合尺寸人脸的检测目的,并提高检测的准确率。
根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,从而可以缩小对检测窗口覆盖的图像区域内进行特征提取的范围,可以提升特征提取速度,减少计算量,以提升图像检测效率;其次,通过确定关键区域进行特征提取可以减少非有效特征区域的干扰,可以提升图像检测的准确率。人脸五官在人脸图像中的位置关系,主要是指人脸面部中眼睛的中心、鼻尖、嘴巴两端的嘴角这五个位置点在人脸图像中的位置关系,在检测人脸过程中,五官特征是有效区分人脸的主要部位,以五官位置为参考点确定图像检测过程中进行特征提取的关键区域,既能确保检测精度又能提升检测效率。
步骤S205,根据各个所述图像区域的特征向量,确定不同尺寸的检测窗口覆盖的图像区域存在重叠且均包含人脸时,对所述不同尺寸的检测窗口在待检测图像中滑动所覆盖的存在重叠的图像区域进行融合,确定所述待检测图像中的人脸及其位置。
人脸检测过程中,不同尺寸的检测窗口在待检测图像中滑动分别框定待检测的图像区域,在不同尺寸的检测窗口覆盖的图像区域存在重叠且均包括人脸的情况下,通过对不同尺寸的检测窗口覆盖的存在重叠的图像区域进行融合,以确定人脸的坐标位置。
在一些实施例中,请参阅图12,所述步骤S203,通过不同尺寸的检测窗口分别对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,包括:
步骤S2031,通过检测窗口对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口在待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;
步骤S2032,按照设定规则对所述检测窗口的尺寸进行调整,判断调整后的检测窗口是否超出设置尺寸范围;
若否,执行步骤S2033,根据调整后的检测窗口得到更新的检测窗口,并返回所述通过检测窗口对所述待检测图像进行检测的步骤;
若是,执行步骤S205。
其中,人脸特征主要集中眼睛、鼻子、嘴巴等这些区域。关键区域是根据人脸五官在人脸图像中的位置关系确定的待检测图像中的特征提取区域。可以是分别以眼睛的中心、鼻尖、嘴巴两端的嘴角这五个位置点在人脸图像中的位置关系,确定所述检测窗口覆盖的图像区域内的目标参考点的位置,再以目标参考点为中心、以预设值为半径的圆的最小外接方形区域作为关键区域。通过检测窗口对待检测图像进行检测检测是否存在目标对象时,检测窗口主要针对关键区域进行特征提取,以能更快速准确地提取能够用于确定目标对象的有效图像特征。
其中,按照设定规则对所述检测窗口的尺寸进行调整,在调整后的检测窗口的尺寸在设置尺寸范围内时的情况下,则得到更新的检测窗口,并返回所述通过检测窗口对所述待检测图像进行检测的步骤。设定规则的调整可以是根据设置比例对检测窗口进行缩放的规则。
作为一种可选的实施方式,设置比例可以是1.2倍,检测窗口的最小尺寸为20*20,检测窗口的最大尺寸为600*600,在通过不同尺寸的检测窗口对所述待检测图像进行检测的过程中,可以先用尺寸为20*20的检测窗口对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,以分别确定所述检测窗口覆盖的图像区域对应的特征向量,分别对所述检测窗口覆盖的图像区域内是否包含目标对象进行检测;然后,检测窗口按照1.2倍增加得到更新的检测窗口,并通过尺寸更新后的检测窗口对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,以分别确定所述检测窗口覆盖的图像区域对应的特征向量,分别对所述检测窗口覆盖的图像区域内是否包含目标对象进行检测;然后,再次将按照1.2倍增加得到更新的检测窗口,并通过确定关键区域进行特征提取的方式分别对所述检测窗口覆盖的图像区域内是否包含目标对象进行检测,依次类推,直至检测窗口的尺寸大于600*600。通过不同检测窗口对待检测图像进行检测后,得到各个检测窗口对待检测图像进行检测过程中所覆盖的图像区域是否包含人脸的检测结果,及根据包含人脸的图像区域之间是否有重叠的情况进行融合,最终得到整幅待检测图像中的人脸检测结果。
在一些实施例中,所述提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,包括:
根据所述关键区域中特征量确定目标重叠度,根据所述目标重叠度将所述关键区域划分为多个图像块;
根据每一图像块各像素点的像素值与其相邻的像素点的像素值的大小,确定所述图像块对应的特征码;
根据所述图像块对应的特征码得到所述图像区域的特征向量。
将关键区域划分为多个图像块,相邻图像块之间具有一定重叠度,可以降低漏检测。重叠度越高,则同一区域内提取的特征量也就越多,可以降低漏检概率。以目标重叠度为50%为例,可以将关键区域划分为4*4的图像块,相邻两图像块之间行或列重叠50%,以确保关键区域内特征量的提取。目标重叠度与特征量的大小呈正比,可以减少对无信息区域的特征提取,提高图像检测效率。其中,图像区域的特征向量可以采用LBP(Local BinaryPattern,局部二值模式)值。将关键区域划分为多个图像块,根据图像块中心像素点与相邻像素点的像素值的大小比较,若相邻像素点的像素值大于中心像素点的像素值则该相邻像素点的位置标记1,若相邻像素点的像素值小于中心像素点的像素值则该相邻像素点的位置标记0,从而可以确定所述图像块中心点像素点的特征值。通过对关键区域的图像块做LBP值处理后,得到LBP特征图,统计每个关键区域内不同LBP值出现的次数,再将所述关键区域的LBP值串联起来,即构成检测窗口当前覆盖的图像区域对应的LBP特征向量。
为了能够对本申请实施例提供的图像检测方法和人脸检测方法有更加整体的理解,请参阅图13,下面以对图像检测方法应用于人脸检测的人脸检测方法的实现进行更加具体的示例性说明,所述人脸检测方法包括如下步骤:
S11,获取包含人脸的第一原始图像,根据人脸在图像中的尺寸范围,基于五官位置标定目标参考点的坐标,根据目标参考点在人脸成像区域的位置关系对第一原始图像进行裁剪,形成正训练样本;
S12,获取不包含人脸的第二原始图像,对第二原始图像进行裁剪,形成负训练样本;
S13,将正训练样本和负训练样本形成训练样本集,对分类器进行训练,通过对样本图形根据目标参考点在人脸成像区域的位置关系确定目标参考点的坐标,根据所述目标参考点确定关键区域,提取所述关键区域的图像特征得到样本图像对应的特征向量,根据所述特征向量对样本图像中的目标对象进行检测,通过所述正训练样本和负训练样本进行迭代训练,得到训练后的级联分类器;
S14,通过训练后的级联分类器获取待检测图像,按照人脸在图像中的尺寸范围确定检测窗口的尺寸,通过不同尺寸的检测窗口在所述待检测图像中滑动进行检测,每一尺寸的检测窗口在待检测图像中滑动检测过程中,对检测窗口覆盖的图像区域分别根据目标参考点在人脸成像区域的位置关系确定目标参考点的坐标,根据所述目标参考点确定关键区域,提取所述关键区域的图像特征得到所述图像区域对应的特征向量,根据所述特征向量对相应图像区域中的人脸进行检测;
其中,不同检测窗口进行检测过程中,可以先用最小检测尺寸的检测窗口进行检测,再将检测窗口用1.2倍增加,并重复上述检测过程,直至检测窗口的尺寸大于最大检测尺寸。所述最小检测尺寸为20*20,最大检测尺寸为600**600。
S15,在不同尺寸的检测窗口覆盖的图像区域同时检测到人脸情况下,对所述所述不同尺寸的检测窗口对应的图像区域进行融合;
S16,根据检测窗口分别所覆盖的图像区域内的人脸检测结果,确定所述检测图像是否包含人脸及对应坐标。
本申请实施例中,通过基于五官位置标定目标参考点,根据目标参考点确定特征提取的关键区域,通过关键区域的特征提取用于人脸检测,可以降低漏检测率,缩短检测时间,且缩短训练时间,提升检测速度。此外,可以减小训练时内存的占用情况。如下表所示,为采用本申请实施例提供的基于目标参考点进行特征提取的方式相对于整体人脸区域进行特征提取的方式的对比:
Figure BDA0002698076420000151
其次,对关键区域进行特征提取时,将所述关键区域划分为具有一定重叠度的多个图像块,相邻图像块之间的重叠度根据特征量的增多而相应增加,降低漏检测,提升检测速度,且通过重叠度的动态调整策略,可以权衡漏检测和检测速度,例如,特征较多的区域,划分图像块时相邻图像块之间的重叠度可以大一点;特征较少的区域,划分图像块时相邻图像块之间的重叠度可以小一点。
本申请另一方面提供一种终端设备,请参阅图14,为终端设备的一个可选的硬件结构示意图,所述终端设备包括存储器11和处理器12,存储器11内存储有用于实现本申请任一实施例提供的图像检测方法的计算机程序。所述终端设备还包括网络接口13、用户接口14及将各个组件耦合连接的总线系统15。可以理解的,所述总线系统15用于实现各个组件之间的连接通信,除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。
其中,用户接口13可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
其中,存储器11可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static RandomAccess Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random AccessMemory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类别的存储器。存储器用于存储各种类别的数据以支持图像检测方法的操作。这些数据的示例可以包括:用于在图像检测装置上操作的任何可执行程序,如操作系统和应用程序;原始图像;训练样本集等;其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例提供的图像分类方法可以包含在应用程序中。
其中,处理器12可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成前述任一实施例中人脸检测方法的步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
请参阅图15,本申请另一方面还提供一种人脸检测装置,在示例性实施例中,该图像检测装置可以采用终端设备侧实施。所述图像检测装置包括图像获取模块111,用于获取待检测图像;特征提取模块112,用于通过检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;检测模块113,用于根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测。
在一些实施例中,还包括特征提取模块112,还用于根据设定规则对所述检测窗口的尺寸进行调整,得到更新的检测窗口;
通过所述更新的检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述更新的检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,并提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量。
在一些实施例中,所述特征提取模块112,具体用于根据各个所述图像区域的特征向量,确定所述待检测图像中是否包含目标对象;
在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域同时包含有所述目标对象的情况下,对所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域进行融合。
在一些实施例中,所述特征提取模块112,具体用于在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域中其中之一包含于其中另一的情况下,或,
在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域的重叠度大于阈值的情况下;
根据所述图像区域的特征向量选取保留的图像区域,并确定所述目标对象的坐标。
在一些实施例中,所述特征提取模块112,具体用于根据设置比例对所述检测窗口进行缩放,在缩放后的检测窗口的尺寸在设置尺寸范围内的情况下,将缩放后的检测窗口作为更新的检测窗口。
在一些实施例中,所述特征提取模块112,具体用于根据所述目标参考点在样本图像中的坐标,及所述样本图像中目标对象区域的尺寸,确定所述目标参考点相对于所述目标对象区域的比例坐标;
根据所述比例坐标,确定所述检测窗口覆盖的图像区域内目标参考点的位置,根据所述目标参考点的位置确定关键区域。
在一些实施例中,所述特征提取模块112,具体用于以所述目标参考点的坐标为中心、以预设值为半径的圆的最小外接方形区域为所述目标参考点对应的关键区域。
在一些实施例中,所述特征提取模块112,具体用于将所述关键区域划分为多个图像块;
根据每一图像块各像素点的像素值与其相邻的像素点的像素值的大小,确定所述图像块对应的特征码;
根据所述图像块对应的特征码得到所述图像区域的特征向量。
在一些实施例中,所述特征提取模块112,具体用于根据所述关键区域中特征量确定目标重叠度,根据所述目标重叠度将所述关键区域划分为多个图像块,其中,所述目标重叠度的大小与所述特征量的大小呈正比。
在一些实施例中,还包括训练模块114,用于获取包含有目标对象的原始图像,根据所述原始图像中目标参考点的标定及目标对象区域的尺寸调整所述原始图像,直至所述原始图像的显示参数满足取值条件,将调整后的所述原始图像作为正样本图像;
获取不包含目标对象的图像,将所述不包含目标对象的图像作为负样本图像,根据所述正样本图像和所述负样本图像形成训练图像集;
基于所述训练图像集对级联分类器进行训练。
在一些实施例中,所述训练模块,还用于根据目标参考点在所述原始图像中的坐标、及目标参考点在目标对象区域中的尺寸关系,对所述原始图像进行裁剪;
调整裁剪后的图像中目标对象符合预设尺寸范围,所述预设尺寸范围与检测窗口大小对应。
在一些实施例中,所述训练模块,还用于将各个所述图像区域的特征向量进行拼接;
根据拼接后的图像特征,经过级联分类器判别,得到所述待检测图像是否包含所述目标对象及所述目标对象的位置。
需要说明的是:上述实施例提供的图像检测装置在实现对待检测图像中进行目标对象检测时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的图像检测装置与图像检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请另一方面提供一种终端设备,请参阅图16,为终端设备的一个可选的硬件结构示意图,所述终端设备包括存储器21、处理器22、网络接口23、用户接口24及将各个组件耦合连接的总线系统25。可以理解的,所述总线系统25用于实现各个组件之间的连接通信,除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。存储器21内存储有用于实现本申请任一实施例提供的人脸检测方法的计算机程序。
其中,用户接口13可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
其中,存储器11可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static RandomAccess Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random AccessMemory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类别的存储器。存储器用于存储各种类别的数据以支持图像检测方法的操作。这些数据的示例可以包括:用于在图像检测装置上操作的任何可执行程序,如操作系统和应用程序;原始图像;训练样本集等;其中,操作系统包含各种系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序,例如媒体播放器(Media Player)、浏览器(Browser)等,用于实现各种应用业务。实现本发明实施例提供的图像分类方法可以包含在应用程序中。
其中,处理器12可以是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所提供的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成前述任一实施例中人脸检测方法的步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
请参阅图17,本申请另一方面还提供一种人脸检测装置,在示例性实施例中,该人脸检测装置可以采用终端设备侧实施。所述人脸检测装置包括:获取模块211,用于获取待检测图像;特征模块212,用于通过不同尺寸的检测窗口分别对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;人脸检测模块213,用于根据各个所述图像区域的特征向量,确定不同尺寸的检测窗口覆盖的图像区域存在重叠且均包含人脸时,对所述不同尺寸的检测窗口覆盖的存在重叠的图像区域进行融合,确定所述待检测图像中的人脸及其位置。
在一些实施例中,所述特征模块212,具体用于通过检测窗口对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;
并按照设定规则对所述检测窗口的尺寸进行调整,在调整后的检测窗口的尺寸在设置尺寸范围内的情况下,得到更新的检测窗口,并返回所述通过检测窗口对所述待检测图像进行检测的步骤。
在一些实施例中,所述特征模块212,具体用于根据所述关键区域中特征量确定目标重叠度,根据所述目标重叠度将所述关键区域划分为多个图像块;
根据每一图像块各像素点的像素值与其相邻的像素点的像素值的大小,确定所述图像块对应的特征码;
根据所述图像块对应的特征码得到所述图像区域的特征向量。
需要说明的是:上述实施例提供的人脸检测装置在实现对待检测图像中进行人脸检测时,仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的人脸检测装置与人脸检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在示意性实施例中,本发明实施例还提供了一种计算机可读存储介质,例如包括可执行程序的存储器,上述可执行程序由处理器执行,以完成本申请任一实施例所述的图像检测方法的步骤或本申请任一实施例所述的人脸检测方法的步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-OnlyMemory,简称ROM)、随机存取存储器(RandomAccessMemory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以所述权利要求的保护范围以准。

Claims (19)

1.一种图像检测方法,其特征在于,包括:
获取待检测图像;
通过检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;所述样本图像为用于训练提取图像中目标对象的形状特征的模型的图像,所述目标参考点为所述样本图像中用于界定出目标对象的形状特征的关键特征点;
根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测。
2.如权利要求1所述的图像检测方法,其特征在于,所述根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测之前,包括:
根据设定规则对所述检测窗口的尺寸进行调整,得到更新的检测窗口;
通过所述更新的检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述更新的检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,并提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量。
3.如权利要求2所述的图像检测方法,其特征在于,所述根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测,包括:
根据各个所述图像区域的特征向量,确定所述待检测图像中是否包含目标对象;
在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域同时包含有所述目标对象的情况下,对所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域进行融合。
4.如权利要求3所述的图像检测方法,其特征在于,所述对更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域进行融合,包括:
在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域中其中之一包含于其中另一的情况下,或,
在所述更新的检测窗口覆盖的图像区域和所述检测窗口覆盖的图像区域的重叠度大于阈值的情况下;
根据所述图像区域的特征向量选取保留的图像区域,并确定所述目标对象的坐标。
5.如权利要求2所述的图像检测方法,其特征在于,所述根据设定规则对所述检测窗口的尺寸进行调整,得到更新的检测窗口,包括:
根据设置比例对所述检测窗口进行缩放,在缩放后的检测窗口的尺寸在设置尺寸范围内的情况下,将缩放后的检测窗口作为更新的检测窗口。
6.如权利要求1所述的图像检测方法,其特征在于,所述根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,包括:
根据所述目标参考点在样本图像中的坐标,及所述样本图像中目标对象区域的尺寸,确定所述目标参考点相对于所述目标对象区域的比例坐标;
根据所述比例坐标,确定所述检测窗口覆盖的图像区域内目标参考点的位置,根据所述目标参考点的位置确定关键区域。
7.如权利要求6所述的图像检测方法,其特征在于,所述目标参考点为多个,所述根据所述目标参考点的位置确定关键区域,包括:
以所述目标参考点的坐标为中心、以预设值为半径的圆的最小外接方形区域为所述目标参考点对应的关键区域。
8.如权利要求1所述的图像检测方法,其特征在于,所述提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,包括:
将所述关键区域划分为多个图像块;
根据每一图像块各像素点的像素值与其相邻的像素点的像素值的大小,确定所述图像块对应的特征码;
根据所述图像块对应的特征码得到所述图像区域的特征向量。
9.如权利要求8所述的图像检测方法,其特征在于,所述将所述关键区域划分为多个图像块,包括:
根据所述关键区域中特征量确定目标重叠度,根据所述目标重叠度将所述关键区域划分为多个图像块,其中,所述目标重叠度的大小与所述特征量的大小呈正比。
10.如权利要求1所述的图像检测方法,其特征在于,所述获取待检测图像之前,还包括:
获取包含有目标对象的原始图像,根据所述原始图像中目标参考点的标定及目标对象区域的尺寸调整所述原始图像,直至所述原始图像的显示参数满足取值条件,将调整后的所述原始图像作为正样本图像;
获取不包含目标对象的图像,将所述不包含目标对象的图像作为负样本图像,根据所述正样本图像和所述负样本图像形成训练图像集;
基于所述训练图像集对级联分类器进行训练。
11.如权利要求10所述的图像检测方法,其特征在于,所述根据所述原始图像中目标参考点的标定及目标对象区域的尺寸调整所述原始图像,直至所述原始图像的显示参数满足取值条件,包括:
根据目标参考点在所述原始图像中的坐标、及目标参考点在目标对象区域中的尺寸关系,对所述原始图像进行裁剪;
调整裁剪后的图像中目标对象符合预设尺寸范围,所述预设尺寸范围与检测窗口大小对应。
12.如权利要求1-11任意一项所述的图像检测方法,其特征在于,所述根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测,包括:
将各个所述图像区域的特征向量进行拼接;
根据拼接后的图像特征,经过级联分类器判别,得到所述待检测图像是否包含所述目标对象及所述目标对象的位置。
13.一种人脸检测方法,其特征在于,包括:
获取待检测图像;
通过不同尺寸的检测窗口分别对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;
根据各个所述图像区域的特征向量,确定不同尺寸的检测窗口覆盖的图像区域存在重叠且均包含人脸时,对所述不同尺寸的检测窗口覆盖的存在重叠的图像区域进行融合,确定所述待检测图像中的人脸及其位置。
14.如权利要求13所述的人脸检测方法,其特征在于,所述通过不同尺寸的检测窗口分别对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,包括:
通过检测窗口对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口在所述待检测图像中滑动所覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;
按照设定规则对所述检测窗口的尺寸进行调整,在调整后的检测窗口的尺寸在设置尺寸范围内的情况下,得到更新的检测窗口,并返回所述通过检测窗口对所述待检测图像进行检测的步骤。
15.如权利要求13所述的人脸检测方法,其特征在于,所述提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量,包括:
根据所述关键区域中特征量确定目标重叠度,根据所述目标重叠度将所述关键区域划分为多个图像块;
根据每一图像块各像素点的像素值与其相邻的像素点的像素值的大小,确定所述图像块对应的特征码;
根据所述图像块对应的特征码得到所述图像区域的特征向量。
16.一种图像检测装置,其特征在于,包括:
图像获取模块,用于获取待检测图像;
特征提取模块,用于通过检测窗口对所述待检测图像进行检测,根据目标参考点在样本图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;
检测模块,用于根据各个所述图像区域的特征向量,对所述待检测图像中的目标对象进行检测。
17.一种人脸检测装置,其特征在于,包括:
获取模块,用于获取待检测图像;
特征模块,用于通过不同尺寸的检测窗口分别对所述待检测图像进行检测,根据人脸五官在人脸图像中的位置关系,分别确定所述检测窗口覆盖的图像区域内的关键区域,提取所述关键区域的图像特征以确定对应的所述图像区域的特征向量;
人脸检测模块,用于根据各个所述图像区域的特征向量,确定不同尺寸的检测窗口覆盖的图像区域存在重叠且均包含人脸时,对所述不同尺寸的检测窗口覆盖的存在重叠的图像区域进行融合,确定所述待检测图像中的人脸及其位置。
18.一种终端设备,其特征在于,包括存储器和处理器,所述存储器内存储有计算机程序,所述处理器运行所述计算机程序时,执行权利要求1至12中任一项所述的图像检测方法或权利要求13至15所述的人脸检测方法。
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序代码,所述计算机程序代码由处理器加载并执行时,执行权利要求1至12中任一项所述的图像检测方法或权利要求13至15所述的人脸检测方法。
CN202011012905.2A 2020-09-23 2020-09-23 图像检测方法、人脸检测方法及装置、设备及存储介质 Pending CN114255493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011012905.2A CN114255493A (zh) 2020-09-23 2020-09-23 图像检测方法、人脸检测方法及装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011012905.2A CN114255493A (zh) 2020-09-23 2020-09-23 图像检测方法、人脸检测方法及装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114255493A true CN114255493A (zh) 2022-03-29

Family

ID=80788743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011012905.2A Pending CN114255493A (zh) 2020-09-23 2020-09-23 图像检测方法、人脸检测方法及装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114255493A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI831696B (zh) * 2023-05-23 2024-02-01 晶睿通訊股份有限公司 影像分析方法及其影像分析設備
CN117576492A (zh) * 2024-01-18 2024-02-20 天津医科大学第二医院 胃间质瘤在胃超声内镜下的病灶自动标注识别装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI831696B (zh) * 2023-05-23 2024-02-01 晶睿通訊股份有限公司 影像分析方法及其影像分析設備
CN117576492A (zh) * 2024-01-18 2024-02-20 天津医科大学第二医院 胃间质瘤在胃超声内镜下的病灶自动标注识别装置
CN117576492B (zh) * 2024-01-18 2024-03-29 天津医科大学第二医院 胃间质瘤在胃超声内镜下的病灶自动标注识别装置

Similar Documents

Publication Publication Date Title
CN110163198B (zh) 一种表格识别重建方法、装置和存储介质
CN109255352B (zh) 目标检测方法、装置及系统
CN108009543B (zh) 一种车牌识别方法及装置
CN109146892B (zh) 一种基于美学的图像裁剪方法及装置
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN110163076B (zh) 一种图像数据处理方法和相关装置
CN111950723A (zh) 神经网络模型训练方法、图像处理方法、装置及终端设备
CN111553302B (zh) 关键帧选取方法、装置、设备及计算机可读存储介质
CN107272899B (zh) 一种基于动态手势的vr交互方法、装置及电子设备
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
CN112836625A (zh) 人脸活体检测方法、装置、电子设备
CN111985458A (zh) 一种检测多目标的方法、电子设备及存储介质
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
CN113255685A (zh) 一种图像处理方法、装置、计算机设备以及存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN111932545A (zh) 图像处理方法、目标计数方法及其相关装置
CN110909685A (zh) 姿势估计方法、装置、设备及存储介质
CN114419428A (zh) 一种目标检测方法、目标检测装置和计算机可读存储介质
WO2024022301A1 (zh) 视角路径获取方法、装置、电子设备及介质
CN110969602B (zh) 一种图像清晰程度检测方法及装置
CN115115552B (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN108776959B (zh) 图像处理方法、装置及终端设备
CN113312949A (zh) 视频数据处理方法、视频数据处理装置和电子设备
CN113065379A (zh) 融合图像质量的图像检测方法、装置、电子设备
CN115424181A (zh) 目标对象的检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination