CN102449661A - 确定级联分类器的检测确定性 - Google Patents
确定级联分类器的检测确定性 Download PDFInfo
- Publication number
- CN102449661A CN102449661A CN200980159720XA CN200980159720A CN102449661A CN 102449661 A CN102449661 A CN 102449661A CN 200980159720X A CN200980159720X A CN 200980159720XA CN 200980159720 A CN200980159720 A CN 200980159720A CN 102449661 A CN102449661 A CN 102449661A
- Authority
- CN
- China
- Prior art keywords
- image
- sequence
- level
- cascade classifier
- rare object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000012805 post-processing Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 69
- 238000000034 method Methods 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 26
- 239000002131 composite material Substances 0.000 claims description 18
- 230000000644 propagated effect Effects 0.000 claims description 7
- 230000000903 blocking effect Effects 0.000 claims description 5
- 238000013179 statistical model Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 15
- 238000009826 distribution Methods 0.000 description 5
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 244000188472 Ilex paraguariensis Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 244000287680 Garcinia dulcis Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
- G06V10/7747—Organisation of the process, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
公开了用于确定级联分类器(100)的检测确定性的实施例。第一序列(101)的检测级(102)确定图像(112)是否与稀有对象相关联。级(102)中的每一级在图像(112)与稀有对象不相关联时拒绝图像(112)，并且在未拒绝图像(112)时将图像(112)传播到下一级(102)。第二序列(103)的检测级(104)被配置成用于后处理操作。如果在第一序列(101)的最后一级(102d)中未拒绝图像(112)，则第二序列(103)确定图像(112)是否与稀有对象相关联。级(104)中的每一级将图像传播到下一级(104)，从而在图像(112)与稀有对象不相关联时记录拒绝。确定图像(112)与稀有对象相关联的概率。
Description
背景
级联分类器可用于实现图像中的稀有对象检测。这种级联分类器包括已被训练成检测给定图像是否是一种类型的稀有对象(诸如，脸部)的一部分或是否包含该稀有对象的多个检测级。级联分类器包括多个检测级，其中每个检测级判定是接受图像并将其传播到后续级、还是拒绝图像并将其标记为阴性。如果图像到达最后一个检测级并被接受，则图像被标记为阳性。
附图简述
参考以下附图可更好地理解本发明的许多方面。附图中的组件不一定是按比例的，相反重点放在清楚地示出本公开的原理上。此外，在附图中，相同的附图标记指示若干视图中的对应部分。
图1是提供根据本公开的一个实施例的级联分类器的一个示例图示的示意性框图。
图2是提供实现根据本公开的各个实施例的级联分类器应用程序和级联分类器训练应用程序的计算机系统的一个示例图示的示意性框图。
图3-5是提供根据本公开的各个实施例的图2的级联分类器应用程序所执行的各种功能的三个示例的流程图。
图6-5是提供根据本公开的各个实施例的图2的级联分类器训练应用程序所执行的各种功能的一个示例的流程图。
详细描述
本文中的公开涉及确定级联分类器的检测确定性(certainty)。级联分类器可被训练成用于检测图像中各种各样的稀有对象中的一个或多个。稀有对象是通常在图像集合或包括较大图像的图像块集合中偶尔遇到的对象。稀有对象的一些示例包括，但不限于，脸部、眼睛和脸部的其他部分、人、汽车、违禁品、肿瘤和其他医疗图像对象、以及其他对象。图像的一些示例包括，但不限于，数字照片、来自数字视频流的帧、扫描图像、以及其他类型的图像及其部分。
级联分类器被训练成用训练图像集合进行稀有对象检测，该训练图像集合是已知与一种类型的稀有对象相关联或不相关联的样本图像集合。级联检测器的每个检测级基于可配置参数对给定图像执行分析，以确定图像是否包含稀有对象、描绘其一部分、表示该稀有对象、或以其他方式与其相关联。检测级可采用例如线性判别(discriminant)分析、支持向量机、和/或在执行分类中所使用的任何其他方法。每一级的输出为级响应，该级响应可以是单个值或值的数组。判定函数应用于级响应以获得级判定，即，是接受图像作为阳性匹配还是拒绝图像作为阴性匹配。判定函数的非限制性示例为阈值。由此，判定函数和/或每一级的响应可基于该级的判定对于训练图像集合是否正确来配置。
通常在训练接收机操作人员特性(ROC)曲线(即，真阳性的具体比率对假阳性的具体比率)上的单个点期间优化稀有对象检测所使用的级联分类器。该点表示级联分类器将错过的对象(即，假阴性)最小化的能力和错误的检测(即，假阳性)之间的折衷。然而，经训练的级联分类器对于预先假定不同折衷点的任务可能不是准确的。
作为非限制性示例，实现选择性地锐化和平滑图像中的皮肤的应用程序可受益于检测尽可能多的脸的级联分类器。由于眼睛可发现难以检测在未包含脸部的区域中的平滑或锐化，因此这种应用程序对假阳性可能是相当稳健的。相反，作为非限制性示例，由于假阳性将导致无法接受的肤色曲线的偏移因此实现肤色修正的应用程序可能需要尽可能少的假阳性，然而错过脸部(即，假阴性)只是保持图像不改变。
相当多的系统资源可能对于操作级联分类器是必需的，因此在不同折衷点多次运行级联分类器的可能性可能是无法接受的。本公开的实施例包括经修改的级联分类器，该经修改的级联分类器可被运行一次以针对与寻找到的稀有对象相关联的高比例的图像产生概率值。可存在针对任意数量的假阳性所产生的概率值，但是实施例可被配置成使得真阳性的概率值明显高于假阳性的概率值。在这些实施例中，结果可受制于针对与不同应用程序相关联的不同折衷要求所配置的阈值。
参考图1，示出了根据本公开的一个实施例的级联分类器100。级联分类器100实现对图像的稀有对象检测，并且通过确定图像与稀有对象相关联的概率值来确定检测确定性。级联分类器100包括第一序列101的一个或多个检测级102和第二序列103的两个或两个以上检测级104。在一些实施例中，第一序列101的一个或多个检测级102和第二序列103的两个或两个以上检测级104可被共同视为组合序列106的检测级102、104。在各个实施例中，级联分类器100表示对包括组合序列106的检测级102、104的经训练级联分类器的重新配置或修改。
第一序列101的一个或多个检测级102包括多个检测级102。图1示出第一序列101的一个或多个检测级102中的四个检测级102a-102d。在其他实施例中，第一序列101的一个或多个检测级102可包括一些其他数量的检测级102，诸如例如，二十个检测级102。
同样，第二序列103的两个或两个以上检测级104包括多个检测级104。图1示出第一序列的一个或多个检测级103中的三个检测级104a-104c。在其他实施例中，第一序列的一个或多个检测级103可包括一些其他数量的检测级104，诸如例如，十个检测级104。在一些实施例中，第二序列103的两个或两个以上检测级104可被视为级联分类器100的后处理级109。
第一序列101的一个或多个检测级102与普通级联分类器的检测级类似地操作。提供图像块112作为检测级102a的输入。图像块112可表示图像或较大图像的一部分。在一个实施例中，图像块112是图像的十九像素乘以十九像素的部分。检测级102a根据一种或多种类型的图像特征确定图像块112是否与稀有对象相关联。作为非限制性示例，检测级102a可检查图像块122的强度的差异和/或粉红色调的变化来确定图像块112是否与脸部相关联。
如果图像块112被确定为与稀有对象不相关联，则检测级102a被配置成拒绝图像块112。在一些实施例中，检测级102a可将图像块112标记或标注为阴性。否则，如果图像块112被确定为与稀有对象相关联或可能与其相关联，则检测级102a随后将图像块112传播到下一检测级102(检测级102b)。在一些实施例中，可在处理图像块112之后记录每个检测级102的级响应。
在最后一个检测级102d，如果图像块112被确定为与稀有对象相关联或可能与其相关联，则图像块112被传播到第二序列103的两个或两个以上检测级104的第一检测级104。由于普通检测级操作被配置成在最后一个检测级102d停止，因此最后一个检测级102d可被称为截断检测级。
第二序列103的两个或两个以上检测级104与普通级联分类器的检测级不同地操作。每个检测级104可被配置成将每个图像块112传播到下一检测级104，而不是在其被确定为与稀有对象不相关联并被拒绝时结束对图像块112的处理。可记录该确定(检测级判定)的结果，即图像块112被检测级104确定为是阳性还是阴性。因此，如果图像块112被确定为与稀有对象不相关联，则代替完全(outright)拒绝图像块112，可记录对图像块112的拒绝。另外，可记录每个检测级104的检测级响应。
在级联分类器的正常操作中，在最后的检测级之后未被拒绝的图像块112可被标记或标注为阳性匹配。在最后一个检测级102d之后停止实际拒绝的情况下，当激活后处理操作时，级联分类器100与正常操作的级联分类器不同地操作。后处理级109确定图像块112与稀有对象相关联的概率值。作为非限制性示例，该概率值可至少部分地基于所记录的部分或全部检测级102和/或104的级判定和级响应以及可能的其他参数。
在各个实施例中，后处理级109可在第二序列103的检测级104所记录的拒绝的数量满足阈值时完全拒绝图像块112。在这些情况下，后处理级109可将图像块112的概率值设置为零。
后处理级109可使用一个或多个经验分布来计算图像块112的概率值。经验分布可与来自训练图像集合115的多个图像块112相关联，训练图像集合115已知与稀有对象相关联或与其不相关联、并且出于经验分布的目的在最后一个检测级102d之后未被拒绝。经验分布可例如对以下建模：来自第二序列103的两个或两个以上检测级104的对于未被拒绝的训练图像115的检测级响应之和、和/或第二序列103的两个或两个以上检测级104所记录的对于未被拒绝的训练图像115的拒绝的数量。在一个实施例中，经验分布还可基于与被传播到第二序列103的两个或两个以上检测级104的训练图像115相关联的第一序列101的一个或多个检测级102所记录的级响应。经验分布可采用高斯分布、二项分布、和/或其他分布。在一个实施例中，检测级响应之和可通过高斯分布来建模，而所记录的拒绝的数量可通过二项分布来建模。
在一些实施例中，后处理级109可采用更一般的统计模型，诸如例如线性判别分析、逻辑回归、支持向量机(SVM)等来确定概率值，而非硬分类。在这些实施例中，例如可从检测级104中的图像特征池、或现有级联分类器100的全部检测级102、104中的图像特征池中提取用于后处理级109的图像特征。在一个实施例中，第二序列103的两个或两个以上检测级104中的每个检测级104被配置成从统计模型产生图像块112与稀有对象相关联的单独概率值。
接下来参考图2，示出了根据各个实施例的计算机系统200的一个实施例的示例。计算机系统200可包括具有处理器203的处理器电路和存储器206，这两者都耦合到本地接口209。本地接口209可包括例如数据总线，以及伴随的控制/地址总线。包括例如级联分类器应用程序212和级联分类器训练应用程序215的各个组件可存储在存储器206中，并且可被处理器203执行。另外，其他应用程序可存储在存储器206中，并且可被处理器203执行，诸如例如，操作系统。
级联分类器应用程序212实现级联分类器100(图1)。级联分类器应用程序212还可实现包括组合序列106的检测级102、104的未经修改的级联分类器100(图1)，该级联分类器100包括第一序列101的一个或多个检测级102(图1)和第二序列103的两个或两个以上检测级104(图1)。在这种未经修改的级联分类器100中，第二序列103的两个或两个以上检测级104与第一序列101的一个或多个检测级102类似地工作，该级联分类器100在正常操作中继续。级联分类器应用程序212可配置成在级联分类器100的未经修改的操作和经修改操作之间的切换。
在未经修改的操作中，级联分类器应用程序212的输出包括二元确定，即给定图像块112(图1)与给定稀有对象相关联还是与其不相关联。相反，在具有为第二序列103激活的后处理操作的经修改的操作中，级联分类器应用程序212的输出可包括给定图像块112与给定稀有对象相关联的概率值。概率确定使具有不同折衷要求的应用程序能够使用相同的结果。
级联分类器训练应用程序215可用于训练级联分类器应用程序212的级联分类器100来检测给定稀有对象、或重新训练级联分类器100以供经修改的操作。在一些实施例中，级联分类器训练应用程序215可被实现为级联分类器应用程序212的一部分。为了最初训练级联分类器100来检测稀有对象，级联分类器训练应用程序215使用训练图像集合115(图1)来训练每个检测级102、104(图1)。训练图像集合115包括已知与稀有对象相关联的图像集合和已知与稀有对象不相关联的图像集合。作为非限制性示例，如果检测级102、104被训练成检测脸部，则训练图像集合115将包括已知包括脸部的大量图像和已知不包括脸部的大量图像。因此，级联分类器训练应用程序215可基于检测级102、104如何对训练图像集合115作出响应来配置控制检测级102、104的响应的参数。
级联分类器训练应用程序215可实现重新训练程序，从而通过配置用于后处理操作的后处理级109(图1)来修改级联分类器100的操作。重新训练包括将组合序列106的检测级102、104分成第一序列101的一个或多个检测级102和第二序列103的两个或两个以上检测级104。为了执行该划分，可确定截断检测级(例如，最后一个检测级102d(图1))。确定截断检测级是重要的，因为如果其在组合序列106的检测级102、104中太早设置，则级联分类器100可能是低效率的，并且第二序列103的两个或两个以上检测级104可在太多图像块112上运行。如果截断检测级在组合序列106的检测级102、104中太晚设置，则可能拒绝太多的真阳性，并且可能在经修改的级联分类器100和普通的、未经修改的级联分类器100之间几乎不存在差异。
在一个实施例中，截断检测级可被设置为其中已知与稀有对象不相关联的图像集合中未被拒绝的图像的数量基本上等于已知与稀有对象相关联的图像集合的基数的检测级102。这例如可通过确定训练图像集合115中的每一个是否被级联分类器100的组合序列106的检测级102、104中的每个检测级102、104拒绝来实现。在这种情况下，分类问题不再是稀有事件检测，并且更像常规的两类分类。
另外，一旦确定截断检测级，级联分类器训练应用程序215就可确定训练图像集合115针对第二序列103的两个或两个以上检测级104中的检测级104的经验分布。这些经验分布可对例如以下建模：所有的检测级104的级响应之和、可能已经拒绝给定图像块112的检测级104的数量、以及其他样本统计数据。
在一些实施例中，级联分类器训练应用程序215的重新训练过程可只要求经训练的级联两次通过合理尺寸的训练图像集合115，这可比对未经修改的级联分类器100的单个检测级102、104的训练要求少很多。作为非限制性示例，对于包括与稀有对象相关联的图像和与稀有对象不相关联的图像的诸训练图像集合115的每一个，合理尺寸的训练图像集合115可包括4,000至10,000个训练图像115。相反，对未经修改的级联分类器100的单个检测级102、104的训练要求可能约为与该检测级102、104相关联的特征的数量，其范围可以是例如稍后的检测级102、104中的100至500个特征。
级联分类器应用程序212和级联分类器训练应用程序215被描述为存储在存储器206中并且可由处理器203执行。在这个方面，术语“可执行”是指以最终可由处理器203运行的形式的程序文件。可执行程序的示例可以是例如经编译程序，该经编译程序可被转换成可被加载到存储器206的随机存取部分中且由处理器203运行的格式的机器代码、或可以诸如能够被加载到存储器206的随机存取部分且由处理器203运行的目标代码之类的适当格式表达的源代码等。可执行程序可存储在存储器206的任何部分或组件中，该存储器206包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、存储卡、诸如压缩盘(CD)或数字多功能盘(DVD)之类的光盘、软盘、磁带、或其他存储器组件。
此处，存储器206被定义为易失性和非易失性存储器、以及数据存储组件。易失性组件是在断电之后不保存数据值的组件。非易失性组件是在断电之后保存数据的组件。由此，存储器206可包括例如随机存取存储器(RAM)、只读存储器(ROM)、硬盘驱动器、固态驱动器、USB闪存驱动器、经由存储卡读卡器访问的存储卡、经由相关联的软盘驱动器访问的软盘、经由光盘驱动器访问的光盘、经由适当磁带驱动器访问的磁带、和/或其他存储器组件、或这些存储器组件中的任何两个或两个以上的组合。另外，RAM可包括例如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、或磁性随机存取存储器(MRAM)以及其他这样的设备。ROM可包括例如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、或其他类似的存储器设备。
另外，处理器203可表示多个处理器，并且存储器206可表示并行操作的多个存储器。在这种情况下，本地接口209可以是便于在多个处理器203中的任何两个之间、在任何处理器203和存储器206中的任何一个之间、或在存储器206中的任何两个之间等通信的适当网络。由此，计算机系统200可包括多个物理计算机系统。
接下来参考图3，示出了提供根据本公开的各个实施例的级联分类器应用程序212(图2)的一部分的操作的一个示例的流程图。替换地，图3的流程图可被视为示出在计算机系统200(图2)中实现的执行检测级102(图1)的功能的示例方法的步骤。
从框303开始，具体检测级102中的级联分类器应用程序212确定图像块112(图1)的级响应。这可包括例如检查图像块112的强度、色平衡和其他特性。接下来，在框306中，级联分类器应用程序212确定图像块112是否与稀有对象相关联。该确定可通过将级响应与当检测级102被训练成用于检测稀有对象时所计算的存储参数进行比较来执行。
如果在框306中级联分类器应用程序212确定图像块112与稀有对象不相关联，则在框309中级联分类器应用程序212拒绝与稀有对象不相关联的图像块112。当已经拒绝图像块112时，级联分类器应用程序212结束。相反，如果在框306中级联分类器应用程序212确定图像块112与稀有对象相关联，则在框312中级联分类器应用程序212将图像块112传播到下一检测级112。替换地，在框312中，如果检测级102是第一序列101的一个或多个检测级102中的最后一个，则级联分类器应用程序212将图像块112传播到下一检测级104。级联分类器应用程序212随后结束对检测级102的图像块112的处理。
现在转向图4，示出了提供根据本公开的各个实施例的级联分类器应用程序212(图2)的一部分的操作的一个示例的流程图。替换地，图4的流程图可被视为示出在计算机系统200(图2)中实现的执行在后处理操作中所配置的检测级104(图1)的功能的示例方法的步骤。
从框403开始，具体检测级104中的级联分类器应用程序212确定图像块112(图1)的级响应。这可包括例如检查图像块112的强度、色平衡和其他特性。接下来，在框406中，级联分类器应用程序212确定图像块112是否与稀有对象相关联。该确定可通过将判定函数应用于级响应来执行，例如通过将级响应与当检测级104被训练成用于检测稀有对象时所计算的存储参数进行比较。
如果在框406中级联分类器应用程序212确定图像块112与稀有对象不相关联，则在框409中级联分类器应用程序212记录对与稀有对象不相关联的图像块112的拒绝。级联分类器应用程序212接下来移动到框412。相反，如果在框406中级联分类器应用程序212确定图像块112与稀有对象相关联，则级联分类器应用程序212同样移动到框412。在框412中，级联分类器应用程序212将图像块112传播到下一检测级104，并且可记录级响应。替换地，如果检测级104是第二序列103的两个或两个以上检测级104中的最后一个，则级联分类器应用程序212确定图像块112与稀有对象相关联的概率值。级联分类器应用程序212随后结束对检测级104的图像块112的处理。
现在转向图5，示出了提供根据本公开的各个实施例的级联分类器应用程序212(图2)的一部分的操作的一个示例的流程图。替换地，图5的流程图可被视为示出在计算机系统200(图2)中实现的执行级联分类器100(图1)的功能的示例方法的步骤。
从框503开始，级联分类器应用程序212在第一序列101的一个或多个检测级102(图1)中确定图像块112(图1)是否与稀有对象相关联。该确定可涉及对第一序列101的一个或多个检测级102中的一个或多个检测级102(图1)重复应用图3的流程图中所示出的功能。在框504中，级联分类器应用程序212配置第二序列103的两个或两个以上检测级104用于后处理操作，第二序列103的两个或两个以上检测级104可配置成用于正常或后处理操作。
接下来，在框506中，响应于在第一序列101的一个或多个检测级102的最后一个检测级102中未拒绝图像块112，级联分类器应用程序212在第二序列103的两个或两个以上检测级104中确定图像块112是否与稀有对象相关联。该确定可涉及对第二序列103的两个或两个以上检测级104中的每个检测级104(图1)重复应用图4的流程图中所示出的功能。在框509中，级联分类器应用程序212至少部分地基于与第二序列103的两个或两个以上检测级104相关联的级响应和级判定来确定图像块112与稀有对象相关联的概率值。概率值还可至少部分地基于来自检测级102、104中的任何一个的特征响应、级响应、和/或级判定。级联分类器应用程序212随后结束。
参考图6，示出了提供根据本公开的各个实施例的级联分类器训练应用程序215(图2)的一部分的操作的一个示例的流程图。替换地，图6的流程图可被视为示出在计算机系统200(图2)中实现的执行级联分类器训练应用程序215的功能的示例方法的步骤。在一些实施例中，级联分类器训练应用程序215的功能可被实现为级联分类器应用程序212(图2)的一部分。
从框603开始，级联分类器训练应用程序215确定训练图像集合115(图1)中的每一个是否被级联分类器100的组合序列106的检测级102、104(图1)的每一个拒绝。训练图像集合115包括已知与稀有对象相关联的训练图像集合115和已知与稀有对象不相关联的训练图像集合115。接下来，在框606，级联分类器训练应用程序215确定组合序列106的检测级102、104的截断检测级102(图1)。在一个实施例中，从已知与稀有对象不相关联的训练图像集合115中在截断检测级102处未被拒绝的训练图像的数量基本上等于已知与稀有对象相关联的训练图像集合115的基数。在框609，一旦确定截断检测级102，级联分类器训练应用程序215就可将组合序列106的检测级102、104分成第一序列101的一个或多个检测级102(图1)和第二序列103的两个或两个以上检测级104(图1)。第一序列101的一个或多个检测级102中的最后一个检测级102是截断检测级102。级联分类器训练应用程序215随后结束。
可在例如面向对象的设计中或在一些其他编程体系结构中实现如图3-6的示例流程图所示的级联分类器应用程序212和级联分类器训练应用程序215的功能。假设在面向对象的设计中实现该功能，则每个框表示可在封装在一个或多个对象中的一种或多种方法中实现的功能。可使用大量编程语言(诸如例如，C、C++、C#、Visual Basic、VBScript、Java、JavaScript、Perl、Ruby、Python、Flash、或其他编程语言)中的任何一个或其组合来实现级联分类器应用程序212和级联分类器训练应用程序215。
参考图2-6，虽然级联分类器应用程序212和级联分类器训练应用程序215被描述为以如上通用硬件所执行的软件或代码实施，但是作为替换方案，相同的级联分类器应用程序212和级联分类器训练应用程序215还可以专用硬件或者软件/通用硬件和专用硬件的组合来实施。如果以专用硬件实施，则相同的级联分类器应用程序212和级联分类器训练应用程序215还可被实现为采用大量技术中的任何一个或其组合的电路或状态机。这些技术可包括，但不限于，具有用于在应用一个或多个数据信号之后实现各种逻辑功能的逻辑门的分立逻辑电路、具有适当的逻辑门的专用集成电路、或其他组件等。这些技术一般是本领域技术人员所公知的，并且因此在本文中不再赘述。
图3-6的流程图示出实现级联分类器应用程序212和级联分类器训练应用程序215的功能和操作。如果以软件实施，则每个框可表示包括实现特定逻辑功能的程序指令的代码的模块、片断、或部分。程序指令可以包括以编程语言所编写的人类可读的语句的源代码、或包括可由合适的执行系统(诸如计算机系统200或其他系统中的处理器203)识别的数值指令的机器代码的形式实施。可从源代码等转换机器代码。如果以硬件实施，则每个框可表示实现特定逻辑功能的电路或大量互联电路。
虽然图3-6的流程图示出执行的具体次序，但是应当理解，执行的次序可与示出的次序不同。例如，执行两个或两个以上框的次序相对于所示的次序可以是混杂的。同样，图3-6中连续示出的两个或两个以上框可同时执行、或部分地同时执行。另外，出于增强的实用性、统计、性能测量、或提供故障检测辅助等目的，任意数量的计数器、状态变量、警告信号、或消息可被添加到本文所描述的逻辑流程。应当理解，所有这些变体在本公开的范围内。
同样，在级联分类器应用程序212和级联分类器训练应用程序215包括软件或代码时，其可以供指令执行系统(诸如例如，计算机系统200或其他系统中的处理器203)使用或结合其使用的任何计算机可读介质实施。在此意义上，逻辑可包括例如语句，这些语句包括可从计算机可读介质取出且由指令执行系统执行的指令和说明。在本公开的上下文中，“计算机可读介质”可以是可包含、存储、或维持供指令执行系统使用或结合其使用的级联分类器应用程序212和级联分类器训练应用程序215的任何介质。计算机可读介质可包括诸如例如电、磁、光、电磁、红外、或半导体介质的许多物理介质中的任何一个。合适的计算机可读介质的更具体示例可能包括，但不限于，磁带、磁性软盘、磁性硬盘驱动器、存储卡、固态驱动器、USB闪存驱动器、或光盘。同样，计算机可读介质可以是包括例如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM)、或磁性随机存取存储器(MRAM)的随机存取存储器(RAM)。此外，计算机可读介质可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、或其他类型的存储设备。
Claims (15)
1.一种用于确定级联分类器(100)的检测确定性的系统，所述系统包括：
至少一个计算机系统(200)；以及
可在所述至少一个计算机系统(200)中执行的级联分类器应用程序(212)，所述级联分类器应用程序(212)包括：
被配置成确定图像(112)是否与稀有对象相关联的第一序列(101)的一个或多个检测级(102)，每个检测级(102)在正常操作中被配置成在确定所述图像(112)与所述稀有对象不相关联时拒绝所述图像(112)、并且在未拒绝所述图像(112)时将所述图像(112)传播到下一检测级(102)
被配置成响应于在所述第一序列(101)的最后一个检测级(102d)中未拒绝所述图像(112)、确定所述图像(112)是否与所述稀有对象相关联的第二序列(103)的两个或两个以上检测级(104)，每个检测级(104)在后处理操作中被配置成将所述图像(112)传播到下一检测级(104)、并且在确定所述图像(112)与所述稀有对象不相关联时记录拒绝，每个检测级(104)能够在正常或后处理操作中配置；以及
至少部分地基于与所述第二序列(103)相关联的级响应和级判定来确定所述图像(112)与所述稀有对象相关联的概率值的逻辑。
2.如权利要求1所述的系统，其特征在于，所述级联分类器应用程序(212)还包括：至少部分地基于所述第二序列(103)所记录的拒绝的数量和阈值来拒绝所述图像(112)的逻辑，其中当已经拒绝所述图像(112)时所述概率值被确定为零。
3.如权利要求1所述的系统，其特征在于，确定的所述逻辑还包括：至少部分地基于与在所述第一序列(101)的最后一个检测级(102d)未被拒绝的且已知与所述稀有对象相关联或不相关联的多个图像(115)相关联的至少一个经验分布来确定所述图像(112)与所述稀有对象相关联的概率值的逻辑。
4.如权利要求3所述的系统，其特征在于，所述级联分类器应用程序还包括：产生所述至少一个经验分布以对来自所述第二序列(103)的对于所述图像的检测级响应之和与第二序列(103)所记录的对于所述图像的拒绝的数量建模的逻辑。
5.如权利要求1所述的系统，还包括：可在所述至少一个计算机系统(200)中执行的级联分类器训练应用程序(215)，所述级联分类器训练应用程序(215)包括：
将所述级联分类器的组合序列(106)的检测级(102、104)分成所述第一序列(101)和第二序列(103)的逻辑；以及
配置所述第二序列(103)的每个检测级(104)用于后处理操作的逻辑。
6.如权利要求5所述的系统，其特征在于，所述级联分类器训练应用程序(215)还包括：
确定训练图像集合(115)中的每一个是否被所述组合序列(106)的检测级(102、104)中的每一个拒绝的逻辑，所述训练图像集合(115)包括已知与所述稀有对象相关联的图像集合和已知与所述稀有对象不相关联的图像集合；以及
确定所述组合序列(106)的截断检测级(102d)的逻辑，从已知与所述稀有对象不相关联的所述图像集合中在所述截断检测级(102d)处未被拒绝的图像的数量基本上等于已知与所述稀有对象相关联的图像集合的基数；
其中，将所述组合序列(106)分成所述第一序列(101)和第二序列(103)的所述逻辑将所述组合序列(106)划分成使得所述第一序列(101)的最后一个检测级(102d)包括所述截断检测级(102d)。
7.如权利要求1所述的系统，其特征在于，所述第二序列(103)中的每个检测级(104)被配置成从统计模型产生所述图像(112)与所述稀有对象相关联的概率值。
8.如权利要求1所述的系统，其特征在于，所述第二序列(103)中的每个检测级(104)被配置成记录与所述图像(112)相关联的检测级响应。
9.如权利要求1所述的系统，还包括级联分类器训练应用程序(215)，所述级联分类器训练应用程序(215)包括使用训练图像集合(115)来训练所述第一序列(101)和第二序列(103)中的检测级(102、104)中的每一个的逻辑，所述训练图像集合(115)包括已知与所述稀有对象相关联的图像集合和已知与所述稀有对象不相关联的图像集合。
10.如权利要求1所述的系统，其特征在于，所述图像(112)包括较大图像的一部分。
11.如权利要求1所述的系统，其特征在于，所述稀有对象包括脸部。
12.一种用于在至少一个计算机系统(200)中确定级联分类器(100)的检测确定性的方法，所述方法包括以下步骤：
在第一序列(101)的一个或多个检测级(102)中确定图像(112)是否与稀有对象相关联，所述第一序列(101)中的每个检测级(102)在所述图像(112)被所述检测级(102)确定为与所述稀有对象不相关联时拒绝所述图像(112)、并且在未拒绝所述图像(112)时将所述图像(112)传播到所述第一序列(101)中的下一检测级(102)；
配置第二序列(103)的两个或两个以上检测级(104)用于后处理操作，所述第二序列(103)的检测级(104)可配置成用于正常或后处理操作；
响应于在所述第一序列(101)的最后一个检测级(102d)中未拒绝所述图像(112)，在所述第二序列(103)中确定所述图像(112)是否与所述稀有对象相关联，所述第二序列(103)中的每个检测级(104)将所述图像(112)传播到所述第二序列(103)中的下一检测级(104)、并且在所述图像(112)被所述检测级(104)确定为与所述稀有对象不相关联时记录拒绝；以及
至少部分地基于与所述第二序列(103)相关联的级响应和级判定来确定所述图像(112)与所述稀有对象相关联的概率值。
13.如权利要求12所述的方法，还包括以下步骤：至少部分地基于所述第二序列(103)所记录的拒绝的数量和阈值来拒绝所述图像(112)，其中当已经拒绝所述图像(112)时所述概率值被确定为零。
14.如权利要求12所述的方法，其特征在于，确定概率值的步骤还包括以下步骤：至少部分地基于与在所述第一序列的最后一个检测级未被拒绝的且已知与所述稀有对象相关联或不相关联的多个图像(115)相关联的至少一个经验分布来确定所述图像(112)与所述稀有对象相关联的概率值。
15.如权利要求12所述的方法，还包括以下步骤：
确定训练图像集合(115)中的每一个是否被所述级联分类器(100)的组合序列(106)的检测级(102、104)中的每一个拒绝，所述训练图像集合(115)包括已知与所述稀有对象相关联的图像集合和已知与所述稀有对象不相关联的图像集合；以及
确定所述组合序列(106)的截断检测级(102d)，从已知与所述稀有对象不相关联的所述图像集合中在所述截断检测级(102d)处未被拒绝的图像的数量基本上等于已知与所述稀有对象相关联的图像集合的基数；
其中，所述组合序列(106)被分成所述第一序列(101)和第二序列(103)，从而所述第一序列(101)的最后一个检测级(102d)包括所述截断检测级(102d)。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2009/045793 WO2010141005A1 (en) | 2009-06-01 | 2009-06-01 | Determining detection certainty in a cascade classifier |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102449661A true CN102449661A (zh) | 2012-05-09 |
Family
ID=43297975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980159720XA Pending CN102449661A (zh) | 2009-06-01 | 2009-06-01 | 确定级联分类器的检测确定性 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US8559672B2 (zh) |
| EP (1) | EP2438575A4 (zh) |
| CN (1) | CN102449661A (zh) |
| WO (1) | WO2010141005A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530646A (zh) * | 2012-06-12 | 2014-01-22 | 通用汽车环球科技运作有限责任公司 | 使用分类器级联的复杂对象检测 |
| WO2014094275A1 (en) * | 2012-12-20 | 2014-06-26 | Intel Corporation | Accelerated object detection filter using a video motion estimation module |
| CN106295668A (zh) * | 2015-05-29 | 2017-01-04 | 中云智慧（北京）科技有限公司 | 一种鲁棒的枪支检测方法 |
| CN110945534A (zh) * | 2017-06-22 | 2020-03-31 | 伟摩有限责任公司 | 稀有实例分类器 |
| CN112434178A (zh) * | 2020-11-23 | 2021-03-02 | 北京达佳互联信息技术有限公司 | 图像分类方法、装置、电子设备和存储介质 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5808371B2 (ja) * | 2013-08-28 | 2015-11-10 | ヤフー株式会社 | 画像認識装置、画像認識方法及び画像認識プログラム |
| US9208404B2 (en) | 2013-11-15 | 2015-12-08 | Adobe Systems Incorporated | Object detection with boosted exemplars |
| US9269017B2 (en) * | 2013-11-15 | 2016-02-23 | Adobe Systems Incorporated | Cascaded object detection |
| WO2016033468A1 (en) * | 2014-08-28 | 2016-03-03 | Retailmenot, Inc. | Reducing the search space for recognition of objects in an image based on wireless signals |
| US10922626B2 (en) * | 2018-03-09 | 2021-02-16 | Qualcomm Incorporated | Conditional branch in machine learning object detection |
| CN110321952B (zh) * | 2019-07-02 | 2024-02-09 | 腾讯医疗健康(深圳)有限公司 | 一种图像分类模型的训练方法及相关设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7024033B2 (en) | 2001-12-08 | 2006-04-04 | Microsoft Corp. | Method for boosting the performance of machine-learning classifiers |
| US7020337B2 (en) | 2002-07-22 | 2006-03-28 | Mitsubishi Electric Research Laboratories, Inc. | System and method for detecting objects in images |
| US7430315B2 (en) * | 2004-02-13 | 2008-09-30 | Honda Motor Co. | Face recognition system |
| US7817855B2 (en) * | 2005-09-02 | 2010-10-19 | The Blindsight Corporation | System and method for detecting text in real-world color images |
| CN100472556C (zh) * | 2005-10-09 | 2009-03-25 | 欧姆龙株式会社 | 特定被摄体检测装置及方法 |
| KR100813167B1 (ko) * | 2006-06-09 | 2008-03-17 | 삼성전자주식회사 | 고속 정확한 얼굴 검출 방법과 얼굴 검출 학습 방법 및이를 구현하는 시스템 |
| US8031961B2 (en) * | 2007-05-29 | 2011-10-04 | Hewlett-Packard Development Company, L.P. | Face and skin sensitive image enhancement |
| US7890443B2 (en) | 2007-07-13 | 2011-02-15 | Microsoft Corporation | Learning classifiers using combined boosting and weight trimming |
| JP4891197B2 (ja) * | 2007-11-01 | 2012-03-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2009
- 2009-06-01 CN CN200980159720XA patent/CN102449661A/zh active Pending
- 2009-06-01 EP EP09845626.2A patent/EP2438575A4/en not_active Withdrawn
- 2009-06-01 US US13/260,354 patent/US8559672B2/en active Active
- 2009-06-01 WO PCT/US2009/045793 patent/WO2010141005A1/en active Application Filing
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530646A (zh) * | 2012-06-12 | 2014-01-22 | 通用汽车环球科技运作有限责任公司 | 使用分类器级联的复杂对象检测 |
| CN103530646B (zh) * | 2012-06-12 | 2017-08-15 | 通用汽车环球科技运作有限责任公司 | 使用分类器级联的复杂对象检测 |
| WO2014094275A1 (en) * | 2012-12-20 | 2014-06-26 | Intel Corporation | Accelerated object detection filter using a video motion estimation module |
| CN104781828A (zh) * | 2012-12-20 | 2015-07-15 | 英特尔公司 | 使用视频运动估计模块的加速对象检测过滤器 |
| US9141855B2 (en) | 2012-12-20 | 2015-09-22 | Intel Corporation | Accelerated object detection filter using a video motion estimation module |
| CN106295668A (zh) * | 2015-05-29 | 2017-01-04 | 中云智慧（北京）科技有限公司 | 一种鲁棒的枪支检测方法 |
| CN110945534A (zh) * | 2017-06-22 | 2020-03-31 | 伟摩有限责任公司 | 稀有实例分类器 |
| CN110945534B (zh) * | 2017-06-22 | 2024-03-19 | 伟摩有限责任公司 | 稀有实例分类器 |
| CN112434178A (zh) * | 2020-11-23 | 2021-03-02 | 北京达佳互联信息技术有限公司 | 图像分类方法、装置、电子设备和存储介质 |
| WO2022105336A1 (zh) * | 2020-11-23 | 2022-05-27 | 北京达佳互联信息技术有限公司 | 图像分类方法及电子设备 |
| CN112434178B (zh) * | 2020-11-23 | 2024-07-12 | 北京达佳互联信息技术有限公司 | 图像分类方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2438575A4 (en) | 2016-06-29 |
| US8559672B2 (en) | 2013-10-15 |
| US20120243734A1 (en) | 2012-09-27 |
| EP2438575A1 (en) | 2012-04-11 |
| WO2010141005A1 (en) | 2010-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102449661A (zh) | 确定级联分类器的检测确定性 | |
| WO2020164282A1 (zh) | 基于yolo的图像目标识别方法、装置、电子设备和存储介质 | |
| US10121095B2 (en) | Method and device for recognizing subject area of image | |
| CN110457302B (zh) | 一种结构化数据智能清洗方法 | |
| US20190213488A1 (en) | Systems and methods for semantic analysis based on knowledge graph | |
| CN109543032A (zh) | 文本分类方法、装置、计算机设备和存储介质 | |
| CN102737435A (zh) | 一种纸币鉴伪方法和装置 | |
| CN108154191B (zh) | 文档图像的识别方法和系统 | |
| CN104881675A (zh) | 一种视频场景的识别方法和装置 | |
| CN112711578B (zh) | 用于云计算业务的大数据去噪方法及云计算金融服务器 | |
| CN108846660B (zh) | 一种识别异常资金的方法及系统 | |
| US20190236348A1 (en) | Rapid landmark-based media recognition | |
| Farhat et al. | Optical character recognition on heterogeneous SoC for HD automatic number plate recognition system | |
| CN112434970A (zh) | 一种基于智能数据采集的资质数据验证方法、装置 | |
| CN105630662A (zh) | 内存检测方法和装置 | |
| de Ruiter | Redefine or justify? Comments on the alpha debate | |
| CN113011246A (zh) | 票据分类方法、装置、设备及存储介质 | |
| Nguyen-Trang | A new efficient approach to detect skin in color image using Bayesian classifier and connected component algorithm | |
| CN105488599A (zh) | 预测文章热度的方法和装置 | |
| CN103761499B (zh) | 基于多核dsp的条码识别方法 | |
| CN114445207A (zh) | 基于数字人民币的税务管理系统 | |
| KR20150103443A (ko) | 멀티클래스 분류 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 | |
| CN115223170A (zh) | 单据生成方法、装置、电子设备及存储介质 | |
| CN115049484A (zh) | 风险账户预测方法、装置以及电子设备 | |
| CN114443834A (zh) | 一种证照信息提取的方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20120509 |