CN108229520B - 从图片中检测物体的方法和装置 - Google Patents

从图片中检测物体的方法和装置 Download PDF

Info

Publication number
CN108229520B
CN108229520B CN201710093230.0A CN201710093230A CN108229520B CN 108229520 B CN108229520 B CN 108229520B CN 201710093230 A CN201710093230 A CN 201710093230A CN 108229520 B CN108229520 B CN 108229520B
Authority
CN
China
Prior art keywords
stage
feature
features
picture
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710093230.0A
Other languages
English (en)
Other versions
CN108229520A (zh
Inventor
欧阳万里
王晓刚
朱欣
王坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710093230.0A priority Critical patent/CN108229520B/zh
Publication of CN108229520A publication Critical patent/CN108229520A/zh
Application granted granted Critical
Publication of CN108229520B publication Critical patent/CN108229520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了从图片中检测物体的方法和装置。根据一个实施方式，用于从图片中检测物体的方法的包括：将图片中物体区域框的图片特征映射为多个第一特征，其中，每个第一特征的特征值和环绕填充值的组合与其他第一特征的特征值和环绕填充值的组合均不同；基于特征链接，根据多个第一特征生成多个第二特征；以及根据多个第二特征确定物体区域框的图片特征的样本状态，样本状态包括正样本及负样本。

Description

从图片中检测物体的方法和装置
技术领域
本申请涉及计算机视觉领域，具体地，涉及从图片中检测物体的方法和装置。
背景技术
物体检测是计算机视觉领域的重要问题。然而，在物体检测中存在样本不均衡的问题。作为背景的负样本的数量远远大于作为前景的物体的正样本的数量。
现有的一种方法是采用级联分类器，其中，多个阶段的分类器相级联，每个阶段的分类器仅考虑当前阶段特征，通过级联的多个分类器依次去掉负样本。但是，已有的级联分类器由于在每个阶段考虑的特征彼此不同，因此各个阶段利用的多组特征只能分别学习，而不能基于已有的特征进行调整，从而导致物体检测的准确率较低。
发明内容
本申请旨在提出一种从图片中检测物体的方法和装置。
根据一个方面，从图片中检测物体的方法包括：将图片中物体区域框的图片特征映射为多个第一特征，其中，每个第一特征的特征值和环绕填充值的组合与其他第一特征的特征值和环绕填充值的组合均不同；基于特征链接，根据多个第一特征生成多个第二特征；以及根据多个第二特征确定物体区域框的图片特征的样本状态，样本状态包括正样本及负样本。
在示例性的实施方式中，所述多个第一特征包括顺序排列的多个阶段的第一特征，所述多个第二特征包括所述多个阶段分别对应的第二特征。
在示例性的实施方式中，第一阶段的第二特征与第一阶段的第一特征相同，其它每个阶段的第二特征由至少一个在前阶段的第二特征及当前阶段的第一特征生成。
在示例性的实施方式中，所述其他每个阶段的第二特征由全部在前阶段的第二特征及当前阶段的第一特征生成。
在示例性的实施方式中，所述其它每个阶段的第二特征均由前一阶段的第二特征及当前阶段的第一特征生成。
在示例性的实施方式中，所述正样本用于指示所述物体区域框的图片特征包括目标物体，所述负样本用于指示所述物体区域框的图片特征不包括目标物体。
在示例性的实施方式中，所述基于级联分类器，根据所述多个第二特征确定所述物体区域框的图片特征的样本状态，包括：基于分类器，根据每个阶段的第二特征分别对应的第一分值，生成每个阶段的第二分值，其中，第一阶段的第二分值根据第一阶段的第一分值确定，其它每个阶段的第二分值根据对应阶段的第一分值和上一阶段的第二分值得到；以及依次根据每个阶段的第二分值确定所述物体区域框的图片特征的样本状态。
在示例性的实施方式中，所述依次根据每个阶段的第二分值确定所述物体区域框的图片特征的样本状态，包括：从第一阶段开始依次根据对应阶段的第二分值确定当前阶段的样本状态；当根据任一阶段的第二分值确定为负样本时，确定所述物体区域框的图片特征的样本状态为负样本，并不再确定后续阶段的样本状态。
在示例性的实施方式中，在所述依次根据每个阶段的第二分值确定所述物体区域框的图片特征的样本状态之前，还包括：对所述每个阶段的第二分值进行归一化处理。
根据另一方面，从图片中检测物体的装置包括：特征映射模块，将图片中物体区域框的图片特征映射为多个第一特征，其中，每个第一特征的特征值和环绕填充值的组合与其他第一特征的特征值和环绕填充值的组合均不同；特征生成模块，基于特征链接根据多个第一特征生成多个第二特征；以及状态确定模块，根据多个第二特征确定物体区域框的图片特征的样本状态，样本状态包括正样本及负样本。
在示例性的实施方式中，所述多个第一特征是包括顺序排列的多个阶段的第一特征，所述多个第二特征包括所述多个阶段分别对应的第二特征。
在示例性的实施方式中，第一阶段的第二特征与第一阶段的第一特征相同，其它每个阶段的第二特征由至少一个在前阶段的第二特征及当前阶段的第一特征生成。
在示例性的实施方式中，所述其他每个阶段的第二特征由全部在前阶段的第二特征及当前阶段的第一特征生成。
在示例性的实施方式中，所述其它每个阶段的第二特征均由前一阶段的第二特征及当前阶段的第一特征生成。
在示例性的实施方式中，所述正样本用于指示所述物体区域框的图片特征包括目标物体，所述负样本用于指示所述物体区域框的图片特征不包括目标物体。
在示例性的实施方式中，所述状态确定模块包括：分值生成子模块，基于分类器根据每个阶段的第二特征分别对应的第一分值生成每个阶段的第二分值，其中，第一阶段的第二分值根据第一阶段的第一分值确定，其它每个阶段的第二分值根据对应阶段的第一分值和上一阶段的第二分值得到；以及状态确定子模块，依次根据每个阶段的第二分值确定所述物体区域框的图片特征的样本状态。
在示例性的实施方式中，所述状态确定子模块从第一阶段开始依次根据对应阶段的第二分值确定当前阶段的样本状态，其中，当根据任一阶段的第二分值确定为负样本时，确定所述物体区域框的图片特征的样本状态为负样本，并不再确定后续阶段的样本状态。
在示例性的实施方式中，所述状态确定模块还包括：归一化处理子模块，位于所述分值生成子模块和所述状态确定子模块之间，用于对所述每个阶段的第二分值进行归一化处理。
根据本申请的实施方式，将同一物体区域框的图片特征映射为具有不同特征值和/或环绕填充值的多个第一特征，并通过将上述多个第一特征进行特征链接而形成多个第二特征。由于第一阶段之后的每个阶段的第二特征结合了在前阶段的第二特征，因此，在训练阶段，除第一阶段之外的每个阶段的特征学习均可基于之前阶段已经学习好的特征，由此仅需较少的计算资源就能实现整个神经网络端到端的联合学习。并且，由于上述特征链接，使得不同阶段的特征得以交互，由此可以提高物体检测的准确性。
附图说明
通过阅读参照附图所作出的以下详细描述，本申请的其它特征、目的和有益效果将会变得更明显，在附图中：
图1示出了根据本申请的一个示例性实施方式用于从图片中检测物体的方法的流程图。
图2示出了根据本申请示例性实施方式的特征映射的一个示意性图示。
图3示出了根据本申请的一个示例性实施方式用于从图片中检测物体的方法的流程图。
图4示出了根据本申请的一个示例性实施方式用于从图片中检测物体的装置的示意框图。
图5示出了根据本申请的一个示例性实施方式用于从图片中检测物体的装置的示意框图。
图6示出了根据本申请的一个示例性实施方式用于从图片中检测物体的计算机系统的框图。
具体实施方式
下面结合附图和实施方式对本申请作进一步的详细说明。可以理解的是，在本文中所描述的具体实施方式仅仅用于解释本申请，而非对本申请进行限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分。下面将参照附图并结合实施方式来详细说明本申请。
图1示出了根据本申请的一个示例性实施方式用于从图片中检测物体的方法10的流程图。
如图1所示，首先，在步骤S11，将图片中物体区域框的图片特征映射为多个第一特征，其中，每个第一特征的特征值和环绕填充值(context padding)的组合与其他第一特征的特征值和环绕填充值的组合均不同。第一特征的特征值表示第一特征的尺寸。第一特征的环绕填充值表示第一特征所包含的图片区域范围(例如，内容与边框之间的填充程度)。例如，环绕填充值为0，表示内容的边缘与边框的边缘是重合的。环绕填充值越大，该特征所包含的内容与边框之间的填充程度越大。也就是说，对于同样的特征值或特征尺寸，不同的环绕填充值表示不同的图片区域范围。具体地，在由特征值表示的特征尺寸相同的情况下，环绕填充值越大，包含的图片区域范围越大。对于同样的环绕填充值或图片区域范围，不同的特征值表示同样的图片区域范围以不同的特征尺寸呈现，由此，不同的特征值会得到不同的图像分辨率。具体地，在由环绕填充值表示是图片区域范围相同的情况下，特征值越大，对应的分辨率越低。在本申请中，图片可以是可能是静态图像或者视频中的某视频帧图像。对于静态图像，此步骤相当于对该静态图像中的物体进行检测。而对于视频中的视频帧图像，此步骤则相当于对该视频中的物体进行检测检测。
图片中的物体区域框表示感兴趣区域(Region of Interest，ROI)，可以通过任何适当的方式从图片中提取。通常，物体区域框是矩形的。每个物体区域框可具有任意的大小。物体区域框的图片特征可以是利用神经网络从图片中提取的该物体区域框的卷积特征。对于每个物体区域框，例如可通过ROI-Pooling(感兴趣区域特征提取)将其映射为多个第一特征。
上述多个第一特征例如包括顺序排列的多个第一特征，并分别对应于顺序排列的多个阶段，多个第二特征包括与顺序排列的多个阶段分别对应的第二特征。每个第一特征具有预定的特征值和环绕填充值，并且每个第一特征的特征值和环绕填充值的组合与其他第一特征的特征值和环绕填充值的组合均不同。由此，在根据本申请的示例性实施方式中，对于每个物体区域框(或ROI)，通过ROI-Pooling进行映射，以获得具有不同分辨率和不同图片区域范围的第一特征。在这里，特征值表示该特征的尺寸，环绕填充值表示该特征对应的图片内容范围。本申请中，为了便于描述，指代同一对象的术语“物体区域框”和“ROI”可替换使用。在本申请中，将具有不同的特征值和环绕填充值的多个第一特征视为对应于顺序排列的多个阶段的第一特征。多个阶段对应的特征值和环绕填充值可以根据需要任意设定，但是设定的各个阶段对应的特征值和环绕填充值在整个检测过程中保持不变，因此，本申请中的多个第一特征和对应的多个第二特征均认为是“顺序排列的”。
图2示出了根据本申请示例性实施方式的特征映射的一个示例。如图2示出的示例，对于224×224的物体区域框，通过ROI-Pooling可将其映射为特征值分别为14×14、22×22、16×16和14×14、环绕填充值context padding分别为0、0.5、0.8和1.7的四个第一特征。可以看到，对于从图片中提取的同一ROI，经ROI-Pooling映射为具有上述不同分辨率和不同环绕填充值的第一特征。在此示例中，特征值为14×14、环绕填充值context padding为0的第一特征是第一阶段的第一特征；特征值为22×22、环绕填充值context padding为0.5的第一特征是第二阶段的第一特征；特征值为16×16、环绕填充值context padding为0.8的第一特征是第三阶段的第一特征；特征值为14×14、环绕填充值context padding为1.7的第一特征是第四阶段的第一特征。如上所述，每个第一特征的特征值和环绕填充值中的至少之一与其他第一特征的特征值和环绕填充值不同，从而映射得到的不同第一特征包含不同的分辨率和/或不同的环绕填充值。应当理解，本示例中的四个阶段及其特征值和环绕填充值都是示例性的，阶段的数量、以及特征值和环绕填充值可以根据具体情况采用任意适当的数量和大小。
对于得到的多个阶段的第一特征，在步骤S12，基于特征链接(feature chaining)根据多个第一特征生成多个第二特征。在示例性的实施方式中，第一阶段的第二特征与第一阶段的第一特征相同，其它每个阶段的第二特征由至少一个在前阶段的第二特征及当前阶段的第一特征生成。在示例性的实施方式中，除第一阶段之外的其他每个阶段的第二特征由全部在前阶段的第二特征及当前阶段的第一特征生成；由此，利用较少的资源生成各个阶段的第二特征。在示例性的实施方式中，除第一阶段之外的其它每个阶段的第二特征均由前一阶段的第二特征及当前阶段的第一特征生成；由此，利用较少的资源生成各个阶段的第二特征，并同时简化了算法。事实上，在步骤S12，可根据在前阶段的任意多个第二特征及当前阶段的第一特征，通过特征链接得到当前阶段的第二特征。生成当前阶段的第二特征时，基于的在前阶段第二特征的数量，本发明实施例不做限制；基于在前阶段的第二特征及当前阶段的第一特征生成当前阶段的第二特征的方式，本发明实施例同样不做限制。
例如，将通过ROI-Pooling映射得到的第t阶段的第一特征记为οt，将通过特征链接基于多个阶段的第一特征形成的第t阶段的第二特征记为ft，那么，第t阶段的第二特征记为ft可由下式得到：
f1＝ο1
ft＝οt⊙at+ft-1(t＞1)
其中，at是预先设定的加权系数，该系数可以是根据经验人为设定的，优选地，是根据对图片进行事先学习而得到的。
在步骤S13，根据上述多个第二特征判定该物体区域框的图片特征的样本状态。样本状态可包括正样本和负样本。例如，正样本用于指示物体区域框的图片特征包括目标物体，负样本用于指示物体区域框的图片特征不包括目标物体。根据上述多个第二特征判定该物体区域框的图片特征的样本状态可利用级联分类器来实现。这里，采用的级联分类器的级数与物体区域框的特征映射和特征链接中的阶段数相同。
根据本申请的实施方式，将同一物体区域框的图片特征映射为具有不同特征值和/或环绕填充值的多个第一特征，并通过将上述多个第一特征进行特征链接而形成多个第二特征。由于第一阶段之后的每个阶段的第二特征结合了在前阶段的第二特征，因此，在训练阶段，除第一阶段之外的每个阶段的特征学习均可基于之前阶段已经学习好的特征，由此仅需较少的计算资源就能实现整个神经网络端到端的联合学习。并且，由于上述特征链接，使得不同阶段的特征得以交互，由此提高了物体检测的效率和准确性。
根据示例性实施方式，在基于级联分类器根据多个第二特征确定物体区域框的图片特征的样本状态的步骤中，可进一步将通过分类器得到的分值链接，从而提高分类器的学习能力。
图3示出了根据本申请的一个示例性实施方式用于从图片中检测物体的方法10’的示意框图。
图3所示的步骤S11和步骤S12与图1所示的步骤S11和步骤S12相同。在步骤S12之后，在步骤S131，基于分类器根据每个阶段的第二特征分别对应的第一分值，生成每个阶段的第二分值，其中，第一阶段的第二分值根据第一阶段的第一分值确定，其它每个阶段的第二分值根据对应阶段的第一分值和上一阶段的第二分值相结合而得到。
例如，对于通过特征链接基于多个阶段的第一特征形成的第t阶段的第二特征ft，将通过分类器得到的第t阶段的第一分值记为ct(ft)，那么，第t阶段的第二分值根据下式得到：
Figure BDA0001229557280000081
其中，bt是预先设定的加权系数，该系数可以是根据经验人为设定的，优选地，是根据对图片进行事先学习而得到的；
Figure BDA0001229557280000082
是对该物体区域框针对K类分类器涉及的K个类别和背景进行分类而得到的分值，pt，i(i为整数1到K+1)是对该物体区域框针对其中第i个类别得到的分值。
在步骤S132，依次根据每个阶段的第二分值确定物体区域框的图片特征的样本状态。具体地，从第一阶段开始依次根据对应阶段的第二分值确定当前阶段的样本状态。当根据任一阶段的第二分值判定该物体区域框的图片特征是负样本时，不再进行后续阶段的判定。例如，在第t阶段的判定中，可将pt，i中的最大值与预定的阈值进行比较，如果pt，i中的最大值大于阈值，则在第t阶段判定该物体区域框对应于正样本，并继续进行下一阶段的判定；否则，在第t阶段判定该物体区域框对应于负样本，并停止对该物体区域框进行后续阶段的判定。
优选地，在根据各个阶段的第二分值进行判定之前，对得到的第二分值进行归一化处理，以便于上述阈值的设定以及pt，i中的最大值与所设定的阈值的比较。例如，利用Softmax函数对得到的第二分值进行归一化处理。
图4示出了根据本申请的一个示例性实施方式用于从图片中检测物体的装置40的示意框图。
如图4所示，用于从图片中检测物体的装置40包括特征映射模块401、特征生成模块402和状态确定模块403。
特征映射模块401将图片中物体区域框的图片特征映射为多个第一特征，其中，每个第一特征的特征值和环绕填充值的组合与其他第一特征的特征值和环绕填充值的组合均不同。第一特征的特征值表示第一特征的尺寸。第一特征的环绕填充值表示第一特征所包含的图片区域范围(例如，内容与边框之间的填充程度)。对于同样的特征值，不同的环绕填充值表示不同的图片区域范围。对于同样的环绕填充值，不同的特征值表示不同的图像分辨率。在本申请中，图片可以是可能是静态图像或者视频中的某视频帧图像。对于静态图像，此步骤相当于对该静态图像中的物体进行检测。而对于视频中的视频帧图像，此步骤则相当于对该视频中的物体进行检测检测。
图片中的物体区域框表示感兴趣区域(Region of Interest，ROI)，可以通过任何适当的方式从图片中提取。通常，物体区域框是矩形的。每个物体区域框可具有任意的大小。物体区域框的图片特征可以是利用神经网络从图片中提取的该物体区域框的卷积特征。对于每个物体区域框，例如可通过ROI-Pooling(感兴趣区域特征提取)将其映射为多个第一特征。
上述多个第一特征例如包括顺序排列的多个第一特征，并分别对应于顺序排列的多个阶段，多个第二特征包括与顺序排列的多个阶段分别对应的第二特征。每个第一特征具有预定的特征值和环绕填充值，并且每个第一特征的特征值和环绕填充值的组合与其他第一特征的特征值和环绕填充值的组合均不同。由此，在根据本申请的示例性实施方式中，对于每个物体区域框(或ROI)，通过ROI-Pooling进行映射，以获得具有不同分辨率和不同图片区域范围的第一特征。在这里，特征值表示该特征的尺寸，环绕填充值表示该特征对应的图片内容范围。本申请中，为了便于描述，指代同一对象的术语“物体区域框”和“ROI”可替换使用。在本申请中，将具有不同的特征值和环绕填充值的多个第一特征视为对应于顺序排列的多个阶段的第一特征。多个阶段对应的特征值和环绕填充值可以根据需要任意设定，但是设定的各个阶段对应的特征值和环绕填充值在整个检测过程中保持不变，因此，本申请中的多个第一特征和对应的多个第二特征均认为是“顺序排列的”。
特征生成模块402根据特征映射模块401得到的多个第一特征生成多个第二特征。在示例性的实施方式中，第一阶段的第二特征与第一阶段的第一特征相同，其它每个阶段的第二特征由至少一个在前阶段的第二特征及当前阶段的第一特征生成。在示例性的实施方式中，除第一阶段之外的其他每个阶段的第二特征由全部在前阶段的第二特征及当前阶段的第一特征生成；由此，利用较少的资源生成各个阶段的第二特征。在示例性的实施方式中，除第一阶段之外的其它每个阶段的第二特征均由前一阶段的第二特征及当前阶段的第一特征生成；由此，利用较少的资源生成各个阶段的第二特征，并同时简化了算法。事实上，可根据在前阶段的任意多个第一特征通过特征链接得到各个阶段的第二特征。具体利用的第一特征的数量和利用的第一特征的结合方式在本申请的实施方式中不做限制。
状态确定模块403基于级联分类器根据上述多个第二特征判定该物体区域框的图片特征的样本状态。样本状态可包括正样本和负样本。例如，正样本用于指示物体区域框的图片特征包括目标物体，负样本用于指示物体区域框的图片特征不包括目标物体。这里，采用的级联分类器的级数与物体区域框的特征映射和特征链接中的阶段数相同。
根据本申请的实施方式，将同一物体区域框的图片特征映射为具有不同特征值和/或环绕填充值的多个第一特征，并通过将上述多个第一特征进行特征链接而形成多个第二特征。由于第一阶段之后的每个阶段的第二特征结合了在前阶段的第二特征，因此，在训练阶段，除第一阶段之外的每个阶段的特征学习均可基于之前阶段已经学习好的特征，由此仅需较少的计算资源就能实现整个神经网络端到端的联合学习。并且，由于上述特征链接，使得不同阶段的特征得以交互，由此提高了物体检测的效率和准确性。
图5示出了根据本申请的一个示例性实施方式用于从图片中检测物体的方法40’的示意框图。
根据示例性实施方式，图5中的特征映射模块401和特征生成模块402与图4所示的特征映射模块401和特征生成模块402相同。图5所示的状态确定模块403可包括分值生成子模块4031和状态确定子模块4032。分值生成子模块4031可基于分类器根据每个阶段的第二特征分别对应的第一分值生成每个阶段的第二分值，其中，第一阶段的第二分值根据第一阶段的第一分值确定，其它每个阶段的第二分值根据对应阶段的第一分值和上一阶段的第二分值得到。状态确定子模块4032可依次根据每个阶段的第二分值确定物体区域框的图片特征的样本状态。
具体地，状态确定子模块4032可从第一阶段开始依次根据对应阶段的第二分值确定当前阶段的样本状态。当根据任一阶段的第二分值判定该物体区域框的图片特征是负样本时，不再进行后续阶段的判定。
在示例性的实施方式中，状态确定模块还可进一步包括设置于分值生成子模块4031和状态确定子模块4032之间的归一化子模块(未示出)，通过对分值生成子模块4031生成的第二分值进行归一化处理，利于状态确定子模块4032对样本状态的确定。例如，归一化子模块可由执行Softmax函数的单元实现。
参照图1至图5描述的用于从图片中检测物体的方法和装置可通过计算机系统来实施。该计算机系统可包括存储有可执行指令的存储器以及处理器。处理器与存储器通信以执行可执行指令从而实施参照图1至图5描述的用于从图片中检测物体的方法和装置。可替代地或附加地，参照图1至图5描述的用于从图片中检测物体的方法和装置可通过非暂时性计算机存储介质来实施。该介质存储计算机可读指令，当这些指令被执行时使处理器执行参照图1至图5描述的用于从图片中检测物体的方法和装置。
现参照图6，图6示出了根据本申请的一个示例性实施方式用于从图片中检测物体的计算机系统60的框图。
如图6所示，计算机系统60可包括处理单元(如中央处理单元(CPU)601、图像处理单元(GPU)等)，其可根据存储在只读存储器(ROM)602中的程序或从存储部分608加载至随机存取存储器(RAM)603中的程序而执行各种适当的动作和过程。在RAM 603中，还可存储有系统600操作所需要的各种程序和数据。CPU 601、ROM 602和RAM 603通过总线604彼此连接。输入/输出I/O接口605也与总线604连接。
以下为可与I/O接口605连接的部件：包括键盘、鼠标等的输入部分606；包括阴极射线管CRT、液晶显示设备LCD和扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括网络接口卡(如LAN卡和调制解调器等)的通信部分609。通信部分609可通过诸如因特网等网络执行通信处理。根据需要，驱动器610也可与I/O接口605连接。如磁盘、光盘、磁光盘、半导体存储器等的可拆卸介质611可安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
具体地，根据本公开的实施例，以上参照图1至图5描述的用于从图片中检测物体关系的方法和装置可实施为计算机软件程序。例如，本公开的实施例可包括计算机程序产品，该产品包括有形地体现在机器可读介质中的计算机程序。该计算机程序包括用于执行参照图1至图5描述的用于从图片中检测物体的方法和装置。在这种实施例中，计算机程序可通过通信部分609从网络上下载并进行安装，和/或可从可拆卸介质611安装。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本申请的实施例所涉及的单元或模块可通过软件或硬件实施。所描述的单元或模块也可设置在处理器中。这些单元或模块的名称不应被视为限制这些单元或模块。
以上描述仅为本申请的示例性实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不背离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种从图片中检测物体的方法，包括：
将图片中物体区域框的图片特征映射为多个第一特征，所述多个第一特征包括顺序排列的多个阶段的第一特征，其中，每个所述第一特征的特征值和环绕填充值的组合与其他所述第一特征的特征值和环绕填充值的组合均不同；
基于特征链接，根据所述多个第一特征生成多个第二特征，所述多个第二特征包括所述多个阶段分别对应的第二特征，其中，第一阶段的第二特征与所述第一阶段的第一特征相同，其它每个阶段的第二特征由至少一个在前阶段的第二特征及当前阶段的第一特征生成；以及
基于级联分类器，根据所述多个第二特征确定所述物体区域框的图片特征的样本状态，所述样本状态包括正样本及负样本。
2.根据权利要求1所述的方法，其中，所述其他每个阶段的第二特征由全部在前阶段的第二特征及当前阶段的第一特征生成。
3.根据权利要求1所述的方法，其中，所述其它每个阶段的第二特征均由前一阶段的第二特征及当前阶段的第一特征生成。
4.根据权利要求1-3中任一项所述的方法，其中，所述正样本用于指示所述物体区域框的图片特征包括目标物体，所述负样本用于指示所述物体区域框的图片特征不包括目标物体。
5.根据权利要求1所述的方法，其中，所述基于级联分类器，根据所述多个第二特征确定所述物体区域框的图片特征的样本状态，包括：
基于分类器，根据每个阶段的第二特征分别对应的第一分值，生成每个阶段的第二分值，其中，第一阶段的第二分值根据第一阶段的第一分值确定，其它每个阶段的第二分值根据对应阶段的第一分值和上一阶段的第二分值得到；以及
依次根据每个阶段的第二分值确定所述物体区域框的图片特征的样本状态。
6.根据权利要求5所述的方法，其中，所述依次根据每个阶段的第二分值确定所述物体区域框的图片特征的样本状态，包括：
从第一阶段开始依次根据对应阶段的第二分值确定当前阶段的样本状态；
当根据任一阶段的第二分值确定为负样本时，确定所述物体区域框的图片特征的样本状态为负样本，并不再确定后续阶段的样本状态。
7.根据权利要求5或6所述的方法，在所述依次根据每个阶段的第二分值确定所述物体区域框的图片特征的样本状态之前，还包括：
对所述每个阶段的第二分值进行归一化处理。
8.一种从图片中检测物体的装置，包括：
特征映射模块，将图片中物体区域框的图片特征映射为多个第一特征，所述多个第一特征包括顺序排列的多个阶段的第一特征，其中，每个所述第一特征的特征值和环绕填充值的组合与其他所述第一特征的特征值和环绕填充值的组合均不同；
特征生成模块，基于特征链接，根据所述多个第一特征生成多个第二特征，所述多个第二特征包括所述多个阶段分别对应的第二特征，其中，第一阶段的第二特征与所述第一阶段的第一特征相同，其它每个阶段的第二特征由至少一个在前阶段的第二特征及当前阶段的第一特征生成；以及
状态确定模块，基于级联分类器，根据所述多个第二特征确定所述物体区域框的图片特征的样本状态，所述样本状态包括正样本及负样本。
9.根据权利要求8所述的装置，其中，所述其他每个阶段的第二特征由全部在前阶段的第二特征及当前阶段的第一特征生成。
10.根据权利要求8所述的装置，其中，所述其它每个阶段的第二特征均由前一阶段的第二特征及当前阶段的第一特征生成。
11.根据权利要求8-10中任一项所述的装置，其中，所述正样本用于指示所述物体区域框的图片特征包括目标物体，所述负样本用于指示所述物体区域框的图片特征不包括目标物体。
12.根据权利要求8所述的装置，其中，所述状态确定模块包括：
分值生成子模块，基于分类器根据每个阶段的第二特征分别对应的第一分值生成每个阶段的第二分值，其中，第一阶段的第二分值根据第一阶段的第一分值确定，其它每个阶段的第二分值根据对应阶段的第一分值和上一阶段的第二分值得到；以及
状态确定子模块，依次根据每个阶段的第二分值确定所述物体区域框的图片特征的样本状态。
13.根据权利要求12所述的装置，其中，所述状态确定子模块从第一阶段开始依次根据对应阶段的第二分值确定当前阶段的样本状态，其中，当根据任一阶段的第二分值确定为负样本时，确定所述物体区域框的图片特征的样本状态为负样本，并不再确定后续阶段的样本状态。
14.根据权利要求12或13所述的装置，所述状态确定模块还包括：
归一化处理子模块，位于所述分值生成子模块和所述状态确定子模块之间，用于对所述每个阶段的第二分值进行归一化处理。
CN201710093230.0A 2017-02-21 2017-02-21 从图片中检测物体的方法和装置 Active CN108229520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710093230.0A CN108229520B (zh) 2017-02-21 2017-02-21 从图片中检测物体的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710093230.0A CN108229520B (zh) 2017-02-21 2017-02-21 从图片中检测物体的方法和装置

Publications (2)

Publication Number Publication Date
CN108229520A CN108229520A (zh) 2018-06-29
CN108229520B true CN108229520B (zh) 2020-11-10

Family

ID=62657312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710093230.0A Active CN108229520B (zh) 2017-02-21 2017-02-21 从图片中检测物体的方法和装置

Country Status (1)

Country Link
CN (1) CN108229520B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236608A (zh) * 2008-01-25 2008-08-06 清华大学 基于图片几何结构的人脸检测方法
WO2013063765A1 (en) * 2011-11-01 2013-05-10 Intel Corporation Object detection using extended surf features
CN105809123A (zh) * 2016-03-04 2016-07-27 北京智慧眼科技股份有限公司 人脸检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101236608A (zh) * 2008-01-25 2008-08-06 清华大学 基于图片几何结构的人脸检测方法
WO2013063765A1 (en) * 2011-11-01 2013-05-10 Intel Corporation Object detection using extended surf features
CN105809123A (zh) * 2016-03-04 2016-07-27 北京智慧眼科技股份有限公司 人脸检测方法及装置

Also Published As

Publication number Publication date
CN108229520A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
Zajac et al. Adversarial framing for image and video classification
JP7415251B2 (ja) 画像処理用の装置及び方法、並びにニューラルネットワークトをトレーニングするシステム
CN106934397B (zh) 图像处理方法、装置及电子设备
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN113139543B (zh) 目标对象检测模型的训练方法、目标对象检测方法和设备
CN113033537A (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN111724430A (zh) 一种图像处理方法、装置及计算机可读存储介质
CN110245747B (zh) 基于全卷积神经网络的图像处理方法及装置
EP3340075B1 (en) Video abstract using signed foreground extraction and fusion
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN113570540A (zh) 一种基于检测-分割架构的图像篡改盲取证方法
US20170091593A1 (en) Pattern classifying apparatus, information processing apparatus, pattern classifying method, and non-transitory computer readable storage medium
US9196025B2 (en) Image processing apparatus, image processing method and image processing program
CN108230332B (zh) 文字图像的处理方法和装置、电子设备、计算机存储介质
CN111179245B (zh) 图像质量检测方法、装置、电子设备和存储介质
CN110852250B (zh) 一种基于最大面积法的车辆排重方法、装置及存储介质
CN108229520B (zh) 从图片中检测物体的方法和装置
CN110874547B (zh) 从视频中识别对象的方法和设备
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN108520259B (zh) 一种前景目标的提取方法、装置、设备及存储介质
CN114998172A (zh) 图像处理方法及相关系统
CN114399497A (zh) 文本图像质量检测方法、装置、计算机设备及存储介质
Wang et al. An airlight estimation method for image dehazing based on gray projection
CN113628192A (zh) 图像模糊检测方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant