CN103390164A - 基于深度图像的对象检测方法及其实现装置 - Google Patents
基于深度图像的对象检测方法及其实现装置 Download PDFInfo
- Publication number
- CN103390164A CN103390164A CN2012101439623A CN201210143962A CN103390164A CN 103390164 A CN103390164 A CN 103390164A CN 2012101439623 A CN2012101439623 A CN 2012101439623A CN 201210143962 A CN201210143962 A CN 201210143962A CN 103390164 A CN103390164 A CN 103390164A
- Authority
- CN
- China
- Prior art keywords
- image
- depth image
- visible images
- module
- sorter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种基于深度图像的对象检测方法及其实现装置。包括训练过程和检测过程,从相机中读取图像作为数据源,根据待检测物体距离相机的距离,在图像上对物体进行分割,在分割的基础上计算物体的外观和形状特征,根据计算出的物体的外观和形状特征训练针对于物体的分类器;利用训练过程中得到的分类器,对扫描窗口内的外观和形状特征进行判定,决定扫描窗口内是否包含目标物体,将图像金字塔每一层的检测结果进行融合,得到最终的检测结果。本发明的深度图像不受光照变化的影响,不易受到复杂的背景的影响,从而减小误检数目;显著提高了检测的速度,保证了系统的实时性。
Description
技术领域
本发明涉及模式识别和人机交互领域,更具体地说,涉及一种基于深度图像的对象检测方法及其实现装置。
背景技术
基于图像的物体检测是指在一幅给定图像中确定是否存在某一类或者几类特定的物体,并且给出该物体在图像中的具体的位置的过程。在模式识别和人机交互领域,常见的被检测的物体包括:车辆、人体、人脸、手等。通过确定这些对象的大小、位置、以及运动等信息,计算机可以实现对于特定的视觉目标或者人的行为进行响应,最终实现人机交互或者计算机自动处理识别的目的。
物体检测过程中包括两个关键步骤:特征选择和分类器的学习。特征选择需要解决的问题是:对于当前对象而言,哪些信息具有更强的描述能力。特征选择是否恰当,直接决定了物体检测的成功与否。例如:在人脸检测领域,Paul Viola和Michael Jones将灰度差异特征(Haar)应用于快速鲁棒的人脸检测,并且获得的巨大的成功;在人体检测领域,Navneet Dalal和Bill Triggs利用梯度方向直方图(HOG)特征进行人体描述,实现了较高性能的人体检测。分类器学习所解决的问题是:在已确定的特征的基础上,找到一系列规则,用这些规则来判定当前图像区域是否为包含物体的区域。确定规则的过程称为(机器)学习的过程。在物体检测领域,目前经常采用的分类器包括支持向量机(SVM)方法和基于Adaboost的方法。
物体检测的输入图像通常为彩色图像或者灰度图像。为了实现对于不同大小的物体的检测,常采用的策略为对于输入图像在多个尺度上进行放缩,形成一个图像金字塔,然后在图像金字塔的所有层上利用扫描窗口进行判定。最后再将所有层上的判定结果映射回到输入图像的标准尺寸上进行融合,从而实现对不同大小的物体进行检测。然而,这种基于灰度或者彩色图像的检测方法存在以下不足:其一,易受光照变化的影响,当光照变化较大时,物体的外观会发生较大的变化,而在光照较弱的环境下,某些外观特征也会变得不可辨识;其二,易受到复杂的背景的影响,当背景纹理很丰富时,极易产生与物体相似的外观模式,产生误检;其三,需要对于图像的所有尺度的所有位置进行检测,扫描窗口的数量过多,当采用计算量较大的特征时,系统的实时性没有保证。
四、发明内容
本发明的目的在于针对上述物体检测技术中,检测窗口数量过多,限制了计算量较大的复杂特征的应用的问题,提出了一种基于深度图像的对象检测方法及其实现装置。
实现本发明目的的技术解决方案为:
本发明基于深度图像的对象检测方法,包括训练过程和检测过程,
训练过程的步骤如下:
a1)从相机中读取图像作为数据源;
a2)根据待检测物体距离相机的距离,在图像上对物体进行分割;
a3)在分割的基础上计算物体的外观和形状特征;
a4)根据计算出的物体的外观和形状特征训练针对于物体的分类器;
检测过程的步骤如下:
b1)从相机中读取图像作为数据源;
b2)根据物体距离相机的距离对其图像进行不同尺度的缩放,形成一个图像金字塔;
b3)对于图像金字塔的每一层的图像上的非空区域,划分为多个扫描窗口;
b4)在每一个扫描窗口内部,计算物体的外观和形状特征;
b5)利用训练过程中得到的分类器,对扫描窗口内的外观和形状特征进行判定,决定扫描窗口内是否包含目标物体;
b6)将图像金字塔每一层的检测结果进行融合,得到最终的检测结果。
本发明基于深度图像的对象检测方法,所述步骤a1)和步骤b1)中的数据源可以只包含深度图像,也可以同时包含可见光图像;深度图像是物体距离相机的距离;该深度图像通过双目视觉设备或通过红外结构光投影设备得到。
本发明基于深度图像的对象检测方法,所述步骤a2)如下:
a21)在深度图像上标记目标物体的包围框;对深度图像和可见光图像进行配准,利用变化矩阵将一个图像上的标注结果映射到另一个图像上;
a22)从包围框的中心开始,得到物体在包围框内部的联通区域;假设同一个物体在深度上是连续的,在深度图像上已经标注的物体包围框内,采用连续区域分析connected component analysis方法将物体进行分割,每个包围框被分割成两部分:物体区域和背景区域;
a23)如果输入信息除了深度图像还包括可见光图像,在配准的基础上将步骤12)中的分割结果映射到可见光图像上。
本发明基于深度图像的对象检测方法,所述步骤a3)包括以下具体步骤:
a31)利用待测物体距离相机的距离信息,将待测物体区域剪切出来,对其大小进行尺寸归一化处理;
a32)在归一化后的样本上计算物体的形状特征;
a33)如果输入信息除了深度图像还包括可见光图像,对其进行外观特征的计算;
a34)将可得到的物体的所有特征,形成一个特征池;对该特征池进行特征选择,找到那些分类错误率较小的的特征,用于区分目标物体和非目标物体。
本发明基于深度图像的对象检测方法,所述步骤a4)包括以下具体步骤:
a41)在已有的目标样本集、非目标样本集以及它们的特征池的基础上,进行分类器的训练;
a42)从特征池中,利用迭代过程,选择具有最小分类错误率的特征;
a43)利用选择的特征,生成物体对应的分类器。
本发明基于深度图像的对象检测方法,所述步骤b2)包括以下具体步骤:
b21)给定输入图像对,包括可见光图像和深度图像,且输入图像对已经经过配准;
b22)构建可见光图像金字塔和深度图像金字塔;
b227):更新当前图像尺度;
b228):重复步骤b222)~ b227),构建图像金字塔上的其他层次:可见光图像金字塔以及深度图像金字塔;
本发明基于深度图像的对象检测方法,所述步骤b4)包括以下具体步骤:
b41)在扫描窗口内计算物体的形状特征;
b42)如果输入信息除了深度图像还包括可见光图像,对可见光图像进行外观特征的计算。
本发明基于深度图像的对象检测方法,所述步骤b5)包括以下具体步骤:
b52)在原始输入图像上,将重叠区域大于一定阈值的窗口进行融合,然后利用分类器输出进行阈值处理,得到最终检测结果。
本发明基于深度图像的对象检测方法的实现装置,包括
数据采集模块,用于采集样本数据,其中包括深度信息获取模块和可见光信息获取模块,数据采集模块将采集到的深度图像和可见光图像传递给数据配准模块;
数据配准模块,用于配准深度图像和可见光图像,数据配准模块将配准结果传递给距离分割模块;
距离分割模块,用于将距离相机远近不同的物体分离,将分离结果传递给特征计算模块;
特征计算模块,用于计算分割后的物体的形状特征和外观特征,并将计算好的特征传递给分类器训练模块;
分类器训练模块,用于根据特征计算装置得到的特征,训练得到分类器;
分类器检测模块,利用分类器训练模块得到的分类器,对输入的深度图像以及可见光图像进行检测,得到可能包含物体的候选窗口,并将结果传递给后处理模块;
后处理模块,对于分类器检测装置得到的候选窗口进行融合,输出物体检测窗口。
本发明与现有技术相比,其显著优点:其一,深度图像不受光照变化的影响,当光照变化较大或者在光照较弱的环境下,本发明仍然能够对目标对象辨识;其二,不易受到复杂的背景的影响,即使当背景纹理很丰富时,仍然能够有效的将目标与背景进行区分,从而减小误检数目;其三,不需要对于图像的所有尺度的所有位置进行检测,通过稀疏的图像金字塔,有效的减少了扫描窗口的数目,显著提高了检测的速度,当采用计算量较大的特征时,系统的实时性仍然可以保证。
附图说明
图1是图像采集设备采集的彩色/灰度图像和深度图像的示意图。
图2是正例数据预处理流程图。
图3图像归一化过程示意图。
图4传统物体检测中图像金字塔的构建。
图5物体成像大小与其距离投影中心的距离的关系。
图6基于深度信息的图像金字塔的构建。
图7基于深度图像的对象检测方法的实现装置。
具体实施方式
本发明提供了一种利用基于深度图像的对象检测方法,包括训练和检测两个过程:
训练过程包括以下步骤:
1)根据物体距离相机的距离,在深度图像上对物体区域进行分割;
2)在分割的基础上计算物体的外观和形状特征;
3)根据所述特征训练针对于物体的分类器。
检测过程包括以下步骤:
4)根据物体距离相机的距离对其图像进行不同尺度的缩放,形成一个图像金字塔。
5)对于图像金字塔的每一层的图像上的非空区域,划分为多个扫描窗口。
6)在每一个扫描窗口内部,计算外观和形状特征;
7)利用训练过程中得到的分类器,对扫描窗口内的所述特征进行判定,决定扫描窗口内是否包含目标物体。
8)将图像金字塔每一层的检测结果进行融合,得到最终的检测结果。
上述方法中,所述步骤1)中物体距离相机的距离表示成为一副深度图像;
上述方法中,所述步骤1)中的深度图像可以通过双目视觉设备得到;
上述方法中,所述步骤1)中的深度图像也可以通过红外结构光投影设备得到;
上述方法中,所述步骤1)包括以下具体步骤:
11)在深度图像上标注待检测的物体的包围框;
12)从包围框的中心开始,得到物体在包围框内部的联通区域;
13)如果输入信息除了深度图像还包括彩色图像或者灰度图像,在彩色图像和灰度图像经过配准后,在彩色图像上的对应位置进行分割。
上述方法中,所述步骤2)包括以下具体步骤:
21)利用物体距离相机的距离信息,对物体区域的大小进行归一化;
22)在归一化后的样本上计算物体的形状特征;
23)如果输入信息除了深度图像还包括彩色图像或者灰度图像,可以对其进行外观特征的计算。
24)将可得到的物体的所有特征,形成一个特征池。
上述方法中,所述步骤3)包括以下具体步骤:
31)从特征池中,利用迭代过程,选择具有最小分类错误率的一组的特征;
32)利用选择的特征,生成物体对应的分类器。
上述方法中,所述步骤4)包括以下具体步骤:
41)对于输入深度图像,根据物体距离相机的距离,划分成多个图像,称为一组图像;
42)对于41)中的一组图像,利用21)中的归一化方法,对一组图像根据其距离相机的距离进行不同尺度的缩放,形成一个图像金字塔;
上述方法中,所述步骤5)包括以下具体步骤:
51)每一层的图像金字塔对应于位于一定距离区间的物体,图像金字塔中一层的图像只有在对应区间内的物体的位置具有有效的取值;其他位置取值为空值。
52)在每一层的图像金字塔的非空值区域,划分为多个扫描窗口。
上述方法中,所述步骤6)包括以下具体步骤:
61)在扫描窗口上计算物体的形状特征;形状特征的提取可以采用哈尔特征Haar,梯度方向直方图特征HOG或者轮廓模板等特征。本发明中利用梯度方向直方图特征描述物体的形状。
62)如果输入信息除了深度图像还包括彩色图像或者灰度图像,可以对其进行外观特征的计算。外观特征或者纹理特征的提取可以使用哈尔特征Haar或者局部二值模式特征LBP。本发明中采用哈尔特征Haar。
上述方法中,所述步骤7)包括以下具体步骤:
71)将特征输入步骤3)中得到分类器。
72)所述分类器对输入特征给出判定结果,判定当前窗口为目标物体或者非目标物体。
上述方法中,所述步骤8)包括以下具体步骤:
81)将每一层的图像金字塔的检测结果,放缩回原始图像中。
82)在原始图像中,将相互重叠的检测结果进行合并,得到最终检测结果。
本发明还提供了一种基于深度图像的对象检测方法的实现装置,包括下列模块:
数据采集模块,用于采集样本数据;
数据配准模块,用于配准深度图像和彩色图像;
距离分割模块,用于将距离相机远近不同的物体分离;
特征计算模块,用于计算分割后的物体的形状特征和外观特征;
分类器训练模块,用于根据特征计算装置得到的特征,训练分类器;
分类器检测模块,用于对输入的深度图像以及彩色或者灰度图像进行检测,得到可能包含物体的候选窗口;
后处理模块,对于分类器检测装置得到的候选窗口进行后处理,输出物体检测窗口。
上述装置中,还包括分类器选择装置:根据用户要求,选择使用物体的形状特征或者外观特征。
上述装置中,分类器结构为瀑布型分类器。
上述装置中,瀑布型分类器的每一层分类器可以采用支持向量机(SVM)分类器或者Adaboost分类器。
下面结合附图对本发明的具体实施方式作进一步详细的说明。
本发明的物体检测方法包括训练过程(生成检测器)和检测过程(应用检测器进行物体检测)两个主要过程。
训练过程是指通过已知的样本,学习确定物体的规则的过程。包括以下具体步骤:
首先,本发明的数据源为从图像采集设备得到深度图像和彩色/灰度图像,如图1所示。在以下说明中,在不引起混淆的前提下,将彩色/灰度图像统称为可见光图像。
深度图像12上的每个像素点的值表示该物点到相机投影中心的距离,如13所示。深度图像可以由双目视觉装置获得或者结构光投影装置获得。深度图像为本发明的必要数据源,通过该数据可以得到物体的形状信息以及三维位置信息。
可见光图像11由可见光成像装置获得。可见光图像为本发明的可选数据源。在可获得彩色/灰度数据的情况下,可以得到物体的外观和纹理信息;在不可获得彩色/灰度数据的情况下,可以通过深度图像中物体的形状信息进行物体检测。
其次,数据预处理过程包括正例样本(包含目标物体的样本)的采集和反例样本(不包含目标物体的样本)的采集。正例样本的预处理过程如图2所示,其中包括以下具体步骤:
可见光图像与深度图像的配准过程21,是确定可见光图像与深度图像上的像素点之间的对应关系的过程。配准的结果为两幅图像之间的坐标变换矩阵,通过该变换矩阵,可以找到深度图像和可见光图像上的像素点的映射关系。该坐标变换矩阵可以作为图像采集设备参数,在图像采集设备的相关出厂说明中给出;也可以采用人工的方法,利用靶标物体进行配准。
在深度图像上标记物体的包围框22。在深度图像上标记目标物体的包围框。该过程也可以在可见光图像上进行,因为深度图像和可见光图像已经经过配准,因此可以利用变化矩阵将一个图像上的标注结果映射到另一个图像上。
利用深度图像的连通性进行物体的分割24。这里采用一个假设,同一个物体在深度上应该是连续的。利用这个假设,在深度图像上已经标注的物体包围框内,将物体进行分割。然后将分割结果映射到可见光图像上23。至此,每个包围框被分割成两部分,物体区域和背景区域。分割方法采用连续区域分析(connected component analysis, CCA)方法。
尺寸归一化处理25,26。将可见光图像和深度图像上的包围框区域剪切出来,放缩到标准尺寸。可见光图像的归一化过程如图3所示,在包含物体的图像31、32、33上手工标注物体的包围框34,归一化后成标准尺寸的样本35。本发明中物体的标准尺寸为24×24像素。根据具体应用不同,也可以采用其它标准化尺寸。深度图像的归一化过程与可见光图像相同。
形状特征提取28。在归一化后的深度图像的样本上,提取物体的形状特征。形状特征的提取可以采用哈尔特征Haar,梯度方向直方图特征HOG或者轮廓模板等特征。本发明中利用梯度方向直方图特征描述物体的形状。
外观特征提取27。在归一化后可见光图像的样本上,提取物体的外观特征或者纹理特征。外观特征或者纹理特征的提取可以使用哈尔特征Haar或者局部二值模式特征LBP。本发明中采用哈尔特征Haar。
形成特征池29。在提取完物体的外观和形状特征后,对于目标物体形成一个由多个特征组成的特征池。该特征池中的特征数目非常大,需要进行特征选择,找到那些分类错误率较小的的特征,用于分类。
反例样本的包围框在不包含目标的图像上随机选取。归一化处理的过程和特征提取的过程与正例样本相同。
最后,分类器的生成。在已有的正例样本集、反例样本集以及它们的特征池的基础上,任意学习算法都可以被用来进行分类器的训练,例如支持向量机SVM或者Real Adaboost算法等。本发明中分类器采用Real Adaboost算法进行学习。该分类器的形式如下:
其中,表示应用于学习窗口的强分类器函数,其输出为1或者-1,如果为1,则表示判定为目标物体;如果为-1,则表示判定为非目标物体。公式(1)表示,强分类器的判定结果是多个弱分类器的信度的累加(加法操作)得到的。是符号函数。每个表示一个弱分类器的计算,在本发明中,每个弱分类器对应于特征池中的一个特征。是特征的的标号,同时也是弱分类器器的标号。是待检测窗口。在本例子中,由各弱分类器构成。
对于物体检测问题,针对某一具体目标物体,图像中“非目标物体”的数量要远远大于“目标物体”的数量。因此,在训练或者使用分类器的过程中,为了提高效率运行,本发明采用层级式的瀑布型分类器。瀑布型分类器包含个串行的层级分类器,每个层级分类器都会排除一定比例的反例样本,因此,只有通过所有层级分类器后的测试样本才会被判定为“物体”。样本在瀑布型分类器中测试的层级数目越少,测试的速度也就越快。因为大部分“非目标物体”窗口在层级分类器中的前几个层级通过少量的计算就可以被排除,且实际图像中“非目标物体”的数量要远远大于“目标物体”的数量,因此通过这种瀑布型分类器,可以迅速排除大量“非目标物体”窗口,从而提高处理效率。而“目标物体”窗口虽然要经过所有的层级,但是因为其所占比例相对较少,对于整体的速度影响不大。
经过训练过程后,生成的分类器可以直接用于检测一定大小的物体。在本发明中,归一化后的样本尺寸为24×24像素,因此,生成的分类器可以直接用于检测24×24像素大小的物体。
应用检测器进行物体检测是指对于任意给定图像,判定图像中是否包含目标物体以及确定目标物体所在位置的过程。本发明中分类器可以直接用于检测24×24像素大小的物体,对于不同大小的物体,可以通过放缩输入图像的方式来进行检测。例如,将输入图像的宽和高分别缩小到原来的后,利用检测器进行检测得到的物体,其实际图像尺寸为48×48。为了实现对于所有尺寸的物体的检测,需要将输入图像按照一定的比例进行一系列的放缩,得到一个图像金字塔。然后穷举图像金字塔的所有位置,进行标准尺寸的物体检测。最后再将所有的检测结果按照其所在图像的放缩尺度进行复原,得到最终的物体检测结果。这里,图像金字塔的放缩尺度称为尺度因子,用表示;扫描窗口的移动步长用表示,标准检测窗口尺寸用表示,输入图像的尺寸用表示。
传统的图像金字塔构建过程如图4所示。给定输入图像40,构建图像金字塔41的过程如下:
步骤2:根据当前图像尺度缩小图像,形成图像金字塔的第一层410。
步骤6:重复步骤2~步骤5,构建图像金字塔上的其他层次:411、412、413、414、…,进行相应尺度的物体检测。
步骤7:当图像金字塔的图像的尺寸小于标准检测窗口尺寸时,检测过程终止。
步骤8:在原始输入图像上,将重叠区域大于一定阈值的窗口进行融合,然后利用检测的可信度进行阈值处理,得到最终检测结果。
上述的检测过程,一个主要的问题是扫描窗口的数量非常巨大。以输入图像大小为的图像为例,假设扫描窗口的尺寸为;尺度因子;移动步长用。为了遍历所有的位置和尺度,需要判别的扫描窗口的数量约为21万个。大量的检测窗口会显著影响检测器的检测时间。
在本发明中,深度图像和可见光图像同时获得,可以利用图像的深度信息来大大减少扫描窗口的数量。如图5所示成像系统中,投影中心50、投影平面(像平面)51,物体52,以及物体在像平面上的投影53。假设物体实际尺寸为mm,其距离投影中心的距离为,像的尺寸为像素,像平面到投影中心的距离为。假设像素与mm之间的变换比例为,则像的尺寸由像素转换为mm,可以表示为。根据图5,不难得出物体的像的尺寸和物体的尺寸以及物体距离投影中心的距离存在以下关系:
进一步表示为:
对于特定的物体检测任务而言,其所检测的目标物体的实际尺寸通常会在一定的范围之内。例如对于人脸检测,人脸的实际尺寸的正常范围为;如对于手掌检测,人的手掌的实际尺寸的正常范围为。因此,物体的尺寸可以表示为基准尺寸与变化区间的形式。即:
步骤1:给定输入图像对60,包括可见光图像601和深度图像602。且输入图像对601和602已经经过配准。
步骤2:构建可见光图像金字塔61和深度图像金字塔62,进行多尺度的物体检测。
步骤203:根据公式(5),当物体的像时,其对应的深度的取值范围为
步骤204:根据步骤203中的范围,获得当前深度图像,如图6中的620:
在这里,表示深度图像中的像素点的坐标位置;表示该位置上的物体的距离值。上式表明,深度图像中的像素只包含属于步骤203中范围的部分;而不属于该范围的像素值为空值()。这里需要指出,空值不等同于0,空值表示图像上该部分为无效区域。如图6中的阴影区域616和617均表示空区域。
步骤210:重复步骤202~步骤209,构建图像金字塔上的其他层次:可见光图像金字塔611、612、613、614、…;以及深度图像金字塔621、622、623、624、…。进行相应尺度的物体检测。
步骤3:在原始输入图像上,将重叠区域大于一定阈值的窗口进行融合,然后利用检测的可信度进行阈值处理,得到最终检测结果63。
这里需要着重指出,本发明在步骤207中,扫描窗口只扫描深度图像和可见光图像上的非空区域。而在金字塔的每一层上,非空区域所占的比例通常很小,因此扫描窗口的数量远远小于传统的检测系统。因此,物体的检测速度可以较传统系统提升10倍以上。
此外,因为空区域的加入,物体的误检率能够显著的降低。另一方面,因为将物体图像的大小与物体的实际尺寸相关联,可以排除一些非正常尺寸的物体检测,例如对于人脸检测而言,可以排除宣传画和照片上的过大或者过小的非真实的人脸。这一特性可以应用于某些安防领域,利用尺寸信息的约束和人脸区域在深度图像上的非平面特性,可以排除利用照片通过安检的可能。
所述的具体步骤可以划分为7个具体模块,构成基于深度图像的对象检测方法的实现装置,如图7所示:
数据采集模块,用于采集样本数据;
数据配准模块,用于配准深度图像和彩色图像;
距离分割模块,用于将距离相机远近不同的物体分离;
特征计算模块,用于计算分割后的物体的形状特征和外观特征;
分类器训练模块,用于根据特征计算装置得到的特征,训练分类器;
分类器检测模块,用于对输入的深度图像以及彩色或者灰度图像进行检测,得到可能包含物体的候选窗口;
后处理模块,对于分类器检测装置得到的候选窗口进行后处理,输出物体检测窗口。
上述装置中,还包括分类器选择装置:根据用户要求,选择使用物体的形状特征或者外观特征。
上述装置中,分类器结构为瀑布型分类器。
上述装置中,瀑布型分类器的每一层分类器可以采用支持向量机(SVM)分类器或者Adaboost分类器。
Claims (9)
1.一种基于深度图像的对象检测方法,其特征在于包括训练过程和检测过程,
训练过程的步骤如下:
a1)从相机中读取图像作为数据源;
a2)根据待检测物体距离相机的距离,在图像上对物体进行分割;
a3)在分割的基础上计算物体的外观和形状特征;
a4)根据计算出的物体的外观和形状特征训练针对于物体的分类器;
检测过程的步骤如下:
b1)从相机中读取图像作为数据源;
b2)根据物体距离相机的距离对其图像进行不同尺度的缩放,形成一个图像金字塔;
b3)对于图像金字塔的每一层的图像上的非空区域,划分为多个扫描窗口;
b4)在每一个扫描窗口内部,计算物体的外观和形状特征;
b5)利用训练过程中得到的分类器,对扫描窗口内的外观和形状特征进行判定,决定扫描窗口内是否包含目标物体;
b6)将图像金字塔每一层的检测结果进行融合,得到最终的检测结果。
2.根据权利要求1所述的基于深度图像的对象检测方法,其特征在于:所述步骤a1)和步骤b1)中的数据源可以只包含深度图像,也可以同时包含可见光图像;深度图像是物体距离相机的距离;该深度图像通过双目视觉设备或通过红外结构光投影设备得到。
3.根据权利要求1或2所述的基于深度图像的对象检测方法,其特征在于所述步骤a2)如下:
a21)在深度图像上标记目标物体的包围框;对深度图像和可见光图像进行配准,利用变化矩阵将一个图像上的标注结果映射到另一个图像上;
a22)从包围框的中心开始,得到物体在包围框内部的联通区域;假设同一个物体在深度上是连续的,在深度图像上已经标注的物体包围框内,采用连续区域分析connected component analysis方法将物体进行分割,每个包围框被分割成两部分:物体区域和背景区域;
a23)如果输入信息除了深度图像还包括可见光图像,在配准的基础上将步骤12)中的分割结果映射到可见光图像上。
4.根据权利要求1所述的基于深度图像的对象检测方法,其特征在于所述步骤a3)包括以下具体步骤:
a31)利用待测物体距离相机的距离信息,将待测物体区域剪切出来,对其大小进行尺寸归一化处理;
a32)在归一化后的样本上计算物体的形状特征;
a33)如果输入信息除了深度图像还包括可见光图像,对其进行外观特征的计算;
a34)将可得到的物体的所有特征,形成一个特征池;对该特征池进行特征选择,找到那些分类错误率较小的的特征,用于区分目标物体和非目标物体。
5.根据权利要求1所述的基于深度图像的对象检测方法,其特征在于所述步骤a4)包括以下具体步骤:
a41)在已有的目标样本集、非目标样本集以及它们的特征池的基础上,进行分类器的训练;
a42)从特征池中,利用迭代过程,选择具有最小分类错误率的特征;
a43)利用选择的特征,生成物体对应的分类器。
6.根据权利要求1中所述的基于深度图像的对象检测方法,其特征在于所述步骤b2)包括以下具体步骤:
b21)给定输入图像对,包括可见光图像和深度图像,且输入图像对已经经过配准;
b22)构建可见光图像金字塔和深度图像金字塔;
b228):重复步骤b222)~ b227),构建图像金字塔上的其他层次:可见光图像金字塔以及深度图像金字塔;
7.根据权利要求1中所述的基于深度图像的对象检测方法,其特征在于所述步骤b4)包括以下具体步骤:
b41)在扫描窗口内计算物体的形状特征;
b42)如果输入信息除了深度图像还包括可见光图像,对可见光图像进行外观特征的计算。
9.一种基于深度图像的对象检测方法的实现装置,其特征在于:包括
数据采集模块,用于采集样本数据,其中包括深度信息获取模块和可见光信息获取模块,数据采集模块将采集到的深度图像和可见光图像传递给数据配准模块;
数据配准模块,用于配准深度图像和可见光图像,数据配准模块将配准结果传递给距离分割模块;
距离分割模块,用于将距离相机远近不同的物体分离,将分离结果传递给特征计算模块;
特征计算模块,用于计算分割后的物体的形状特征和外观特征,并将计算好的特征传递给分类器训练模块;
分类器训练模块,用于根据特征计算装置得到的特征,训练得到分类器;
分类器检测模块,利用分类器训练模块得到的分类器,对输入的深度图像以及可见光图像进行检测,得到可能包含物体的候选窗口,并将结果传递给后处理模块;
后处理模块,对于分类器检测装置得到的候选窗口进行融合,输出物体检测窗口。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210143962.3A CN103390164B (zh) | 2012-05-10 | 2012-05-10 | 基于深度图像的对象检测方法及其实现装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210143962.3A CN103390164B (zh) | 2012-05-10 | 2012-05-10 | 基于深度图像的对象检测方法及其实现装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103390164A true CN103390164A (zh) | 2013-11-13 |
CN103390164B CN103390164B (zh) | 2017-03-29 |
Family
ID=49534431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210143962.3A Expired - Fee Related CN103390164B (zh) | 2012-05-10 | 2012-05-10 | 基于深度图像的对象检测方法及其实现装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103390164B (zh) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914706A (zh) * | 2014-03-31 | 2014-07-09 | 深圳市智美达科技有限公司 | 基于分类器的目标检测方法及装置 |
CN103955958A (zh) * | 2014-04-11 | 2014-07-30 | 浙江大学 | 一种基于Kinect设备的交互式材质外观采集方法 |
CN104504908A (zh) * | 2015-01-14 | 2015-04-08 | 苏州科达科技股份有限公司 | 一种违章停车监控方法及系统 |
CN104598878A (zh) * | 2015-01-07 | 2015-05-06 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
CN104933704A (zh) * | 2015-05-28 | 2015-09-23 | 西安算筹信息科技有限公司 | 一种三维立体扫描方法及系统 |
CN105163103A (zh) * | 2014-06-13 | 2015-12-16 | 株式会社理光 | 用层叠结构来表示立体图像以分析图像中的目标的技术 |
CN105335722A (zh) * | 2015-10-30 | 2016-02-17 | 商汤集团有限公司 | 一种基于深度图像信息的检测系统及方法 |
CN105740833A (zh) * | 2016-02-03 | 2016-07-06 | 北京工业大学 | 一种基于深度序列的人体行为识别方法 |
CN105975611A (zh) * | 2016-05-18 | 2016-09-28 | 天津大学 | 自适应组合降采样增强学习机 |
CN106295640A (zh) * | 2016-08-01 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种智能终端的物体识别方法和装置 |
WO2017080451A1 (en) * | 2015-11-11 | 2017-05-18 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for binocular stereo vision |
CN106709443A (zh) * | 2016-12-19 | 2017-05-24 | 同观科技(深圳)有限公司 | 一种安全带佩戴状态的检测方法及终端 |
CN106886998A (zh) * | 2015-12-15 | 2017-06-23 | 株式会社理光 | 物体分割方法及设备 |
CN106919895A (zh) * | 2016-07-01 | 2017-07-04 | 湖南拓视觉信息技术有限公司 | 用于运动目标的跟踪方法和系统 |
WO2017143812A1 (zh) * | 2016-02-26 | 2017-08-31 | 腾讯科技(深圳)有限公司 | 区分对象的方法和装置 |
CN107729908A (zh) * | 2016-08-10 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 一种机器学习分类模型的建立方法、装置及系统 |
CN107992789A (zh) * | 2016-10-27 | 2018-05-04 | 比亚迪股份有限公司 | 识别交通灯的方法、装置及车辆 |
CN108647742A (zh) * | 2018-05-19 | 2018-10-12 | 南京理工大学 | 基于轻量级神经网络的快速目标检测方法 |
CN108769476A (zh) * | 2018-06-06 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质 |
CN109344897A (zh) * | 2018-09-29 | 2019-02-15 | 中山大学 | 一种基于图片蒸馏的通用物体检测框架及其实现方法 |
CN109344702A (zh) * | 2018-08-23 | 2019-02-15 | 北京华捷艾米科技有限公司 | 基于深度图像和彩色图像的行人检测方法及装置 |
CN109635682A (zh) * | 2018-11-26 | 2019-04-16 | 上海集成电路研发中心有限公司 | 一种人脸识别装置和方法 |
US10275688B2 (en) | 2014-12-17 | 2019-04-30 | Nokia Technologies Oy | Object detection with neural network |
WO2021237738A1 (zh) * | 2020-05-29 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 自动驾驶方法和装置、距离确定方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090213240A1 (en) * | 2008-02-25 | 2009-08-27 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) images |
US20110249190A1 (en) * | 2010-04-09 | 2011-10-13 | Nguyen Quang H | Systems and methods for accurate user foreground video extraction |
CN102317954A (zh) * | 2009-02-16 | 2012-01-11 | 戴姆勒股份公司 | 检测对象的方法 |
CN102318351A (zh) * | 2009-02-17 | 2012-01-11 | 三星电子株式会社 | 图形图像处理方法和设备 |
CN102448564A (zh) * | 2009-05-29 | 2012-05-09 | 微软公司 | 环境和/或目标分割 |
-
2012
- 2012-05-10 CN CN201210143962.3A patent/CN103390164B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090213240A1 (en) * | 2008-02-25 | 2009-08-27 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) images |
CN102317954A (zh) * | 2009-02-16 | 2012-01-11 | 戴姆勒股份公司 | 检测对象的方法 |
CN102318351A (zh) * | 2009-02-17 | 2012-01-11 | 三星电子株式会社 | 图形图像处理方法和设备 |
CN102448564A (zh) * | 2009-05-29 | 2012-05-09 | 微软公司 | 环境和/或目标分割 |
US20110249190A1 (en) * | 2010-04-09 | 2011-10-13 | Nguyen Quang H | Systems and methods for accurate user foreground video extraction |
Cited By (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914706A (zh) * | 2014-03-31 | 2014-07-09 | 深圳市智美达科技有限公司 | 基于分类器的目标检测方法及装置 |
CN103914706B (zh) * | 2014-03-31 | 2017-03-15 | 深圳市智美达科技有限公司 | 基于分类器的目标检测方法及装置 |
CN103955958B (zh) * | 2014-04-11 | 2016-08-17 | 浙江大学 | 一种基于Kinect设备的交互式材质外观采集方法 |
CN103955958A (zh) * | 2014-04-11 | 2014-07-30 | 浙江大学 | 一种基于Kinect设备的交互式材质外观采集方法 |
CN105163103B (zh) * | 2014-06-13 | 2017-10-27 | 株式会社理光 | 用层叠结构来表示立体图像以分析图像中的目标的技术 |
US9679205B2 (en) | 2014-06-13 | 2017-06-13 | Ricoh Company, Ltd. | Method and system for displaying stereo image by cascade structure and analyzing target in image |
CN105163103A (zh) * | 2014-06-13 | 2015-12-16 | 株式会社理光 | 用层叠结构来表示立体图像以分析图像中的目标的技术 |
US10275688B2 (en) | 2014-12-17 | 2019-04-30 | Nokia Technologies Oy | Object detection with neural network |
CN104598878A (zh) * | 2015-01-07 | 2015-05-06 | 深圳市唯特视科技有限公司 | 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法 |
CN104504908A (zh) * | 2015-01-14 | 2015-04-08 | 苏州科达科技股份有限公司 | 一种违章停车监控方法及系统 |
CN104933704A (zh) * | 2015-05-28 | 2015-09-23 | 西安算筹信息科技有限公司 | 一种三维立体扫描方法及系统 |
CN104933704B (zh) * | 2015-05-28 | 2019-06-04 | 算筹信息科技有限公司 | 一种三维立体扫描方法及系统 |
CN105335722A (zh) * | 2015-10-30 | 2016-02-17 | 商汤集团有限公司 | 一种基于深度图像信息的检测系统及方法 |
CN105335722B (zh) * | 2015-10-30 | 2021-02-02 | 商汤集团有限公司 | 一种基于深度图像信息的检测系统及方法 |
WO2017080451A1 (en) * | 2015-11-11 | 2017-05-18 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for binocular stereo vision |
US10861177B2 (en) | 2015-11-11 | 2020-12-08 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for binocular stereo vision |
CN106886998A (zh) * | 2015-12-15 | 2017-06-23 | 株式会社理光 | 物体分割方法及设备 |
CN105740833B (zh) * | 2016-02-03 | 2019-03-22 | 北京工业大学 | 一种基于深度序列的人体行为识别方法 |
CN105740833A (zh) * | 2016-02-03 | 2016-07-06 | 北京工业大学 | 一种基于深度序列的人体行为识别方法 |
WO2017143812A1 (zh) * | 2016-02-26 | 2017-08-31 | 腾讯科技(深圳)有限公司 | 区分对象的方法和装置 |
US10957092B2 (en) | 2016-02-26 | 2021-03-23 | Tencent Technology (Shenzhen) Company Limited | Method and apparatus for distinguishing between objects |
CN105975611A (zh) * | 2016-05-18 | 2016-09-28 | 天津大学 | 自适应组合降采样增强学习机 |
CN106919895B (zh) * | 2016-07-01 | 2020-03-27 | 湖南拓视觉信息技术有限公司 | 用于运动目标的跟踪方法和系统 |
CN106919895A (zh) * | 2016-07-01 | 2017-07-04 | 湖南拓视觉信息技术有限公司 | 用于运动目标的跟踪方法和系统 |
CN106295640A (zh) * | 2016-08-01 | 2017-01-04 | 乐视控股(北京)有限公司 | 一种智能终端的物体识别方法和装置 |
CN107729908A (zh) * | 2016-08-10 | 2018-02-23 | 阿里巴巴集团控股有限公司 | 一种机器学习分类模型的建立方法、装置及系统 |
CN107992789B (zh) * | 2016-10-27 | 2020-09-15 | 比亚迪股份有限公司 | 识别交通灯的方法、装置及车辆 |
CN107992789A (zh) * | 2016-10-27 | 2018-05-04 | 比亚迪股份有限公司 | 识别交通灯的方法、装置及车辆 |
CN106709443B (zh) * | 2016-12-19 | 2020-06-02 | 同观科技(深圳)有限公司 | 一种安全带佩戴状态的检测方法及终端 |
CN106709443A (zh) * | 2016-12-19 | 2017-05-24 | 同观科技(深圳)有限公司 | 一种安全带佩戴状态的检测方法及终端 |
CN108647742A (zh) * | 2018-05-19 | 2018-10-12 | 南京理工大学 | 基于轻量级神经网络的快速目标检测方法 |
CN108647742B (zh) * | 2018-05-19 | 2021-07-13 | 南京理工大学 | 基于轻量级神经网络的快速目标检测方法 |
CN108769476A (zh) * | 2018-06-06 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质 |
CN109344702A (zh) * | 2018-08-23 | 2019-02-15 | 北京华捷艾米科技有限公司 | 基于深度图像和彩色图像的行人检测方法及装置 |
CN109344897A (zh) * | 2018-09-29 | 2019-02-15 | 中山大学 | 一种基于图片蒸馏的通用物体检测框架及其实现方法 |
CN109344897B (zh) * | 2018-09-29 | 2022-03-25 | 中山大学 | 一种基于图片蒸馏的通用物体检测系统及其实现方法 |
CN109635682A (zh) * | 2018-11-26 | 2019-04-16 | 上海集成电路研发中心有限公司 | 一种人脸识别装置和方法 |
CN109635682B (zh) * | 2018-11-26 | 2021-09-14 | 上海集成电路研发中心有限公司 | 一种人脸识别装置和方法 |
WO2021237738A1 (zh) * | 2020-05-29 | 2021-12-02 | 深圳市大疆创新科技有限公司 | 自动驾驶方法和装置、距离确定方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN103390164B (zh) | 2017-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103390164A (zh) | 基于深度图像的对象检测方法及其实现装置 | |
Zhou et al. | Safety helmet detection based on YOLOv5 | |
Li et al. | Automatic pavement crack detection by multi-scale image fusion | |
CN106874894B (zh) | 一种基于区域全卷积神经网络的人体目标检测方法 | |
Tao et al. | Smoke detection based on deep convolutional neural networks | |
CN110348319B (zh) | 一种基于人脸深度信息和边缘图像融合的人脸防伪方法 | |
Rekha et al. | Shape, texture and local movement hand gesture features for indian sign language recognition | |
WO2020253308A1 (zh) | 矿井下皮带运输人员人机交互行为安全监控与预警方法 | |
CN103942577B (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
CN103514456B (zh) | 基于压缩感知多核学习的图像分类方法及其装置 | |
CN102682287B (zh) | 基于显著度信息的行人检测方法 | |
CN105574527B (zh) | 一种基于局部特征学习的快速物体检测方法 | |
CN109508710A (zh) | 基于改进YOLOv3网络的无人车夜间环境感知方法 | |
CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
CN103279768B (zh) | 一种基于增量学习人脸分块视觉表征的视频人脸识别方法 | |
CN106529448A (zh) | 利用聚合通道特征进行多视角人脸检测的方法 | |
CN103345631B (zh) | 图像特征提取、训练、检测方法及模块、装置、系统 | |
CN104268598B (zh) | 一种基于二维扫描激光的人腿检测方法 | |
CN105160317A (zh) | 一种基于区域分块行人性别识别方法 | |
CN106682641A (zh) | 基于fhog‑lbph特征的图像行人识别方法 | |
CN102902986A (zh) | 自动性别识别系统及方法 | |
CN103310194A (zh) | 视频中基于头顶像素点梯度方向的行人头肩部检测方法 | |
CN110008913A (zh) | 基于姿态估计与视点机制融合的行人再识别方法 | |
CN106373146A (zh) | 一种基于模糊学习的目标跟踪方法 | |
CN103971106A (zh) | 多视角人脸图像性别识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170329 Termination date: 20200510 |