CN109558886B - 检测方法及装置 - Google Patents
检测方法及装置 Download PDFInfo
- Publication number
- CN109558886B CN109558886B CN201710887373.9A CN201710887373A CN109558886B CN 109558886 B CN109558886 B CN 109558886B CN 201710887373 A CN201710887373 A CN 201710887373A CN 109558886 B CN109558886 B CN 109558886B
- Authority
- CN
- China
- Prior art keywords
- sub
- region
- frame
- sample frame
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种检测方法及装置,该方法包括:对预存的样本帧进行归一化处理,并将归一化处理后的样本帧映射到指定象限区域的多个子区域中;根据所述样本帧在各所述子区域中的显著性特征获得目标对象的显著性特征模型;根据预存的样本值和所述显著性特征模型训练分类器;对获取到的待检测帧进行预处理;利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,并利用训练好的分类器检测所述待检测帧是否含有目标对象。本发明提供的检测方案利用样本帧训练得到目标对象的显著性特征模型及分类器,来对待检测帧进行特征提取及目标匹配,在加快检测速度的同时,提高了检出率。
Description
技术领域
本发明涉及视频分析处理技术领域,具体而言,涉及一种检测方法及装置。
背景技术
行人和非机动车是道路交通重要的组成部分,目前对于行人的检测方法比较多样,主要是利用HOG特征结合模式识别的检测方法检测行人目标、利用背景建模、背景差分获取初步定位以减少检测范围。但现有的一些方法存在复杂度高或者是存在精确度和鲁棒性问题。并且,目前对于非机动车的检测方法还并没有较多的深入研究,因此如何准确、快速、适应干扰性强地检测非机动车是本领域亟待解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种检测方法及装置,以解决上述问题。
本发明较佳实施例提供一种检测方法,所述方法包括:
对预存的样本帧进行归一化处理,并将归一化处理后的样本帧映射到指定象限区域的多个子区域中;
根据所述样本帧在各所述子区域中的显著性特征及各所述子区域间的特征关联性获得目标对象的显著性特征模型;
根据所述预存的样本帧和所述显著性特征模型训练分类器;
对获取到的待检测帧进行预处理;
利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测所述待检测帧是否含有目标对象。
进一步地,所述根据所述样本帧在各所述子区域中的显著性特征及各所述子区域间的特征关联性获得目标对象的显著性特征模型的步骤,包括:
根据所述样本帧在各所述子区域中的显著性特征提取出各所述子区域的参数模型;
根据各所述子区域间的特征关联性和各所述参数模型获得目标对象的显著性特征模型。
进一步地,所述子区域包括第一子区域、第二子区域、第三子区域以及第四子区域,所述根据所述样本帧在各所述子区域中的显著性特征提取出各所述子区域的参数模型的步骤,包括:
计算出所述样本帧在所述第一子区域中的区域置信度度量,将所述区域置信度度量作为全局权值;
计算出所述样本帧在所述第二子区域中的目标权重中心坐标;
对所述第三子区域中的所述样本帧进行卷积操作和下采样操作,提取出所述样本帧的边缘特征;
获得所述样本帧在所述第四子区域中的均值函数。
进一步地,所述根据各所述子区域间的特征关联性和各所述参数模型获得目标对象的显著性特征模型的步骤,包括:
建立所述第一子区域和所述第二子区域的特征关联性,将所述第二子区域的目标权重中心坐标以及邻域映射到所述第一子区域;
计算映射到所述第一子区域的邻域内像素点的像素值和,并根据所述像素值和以及所述第二子区域的邻域的各点权值计算得到映射到所述第一子区域的权重表征点;
计算映射到所述第一子区域的权重表征点及目标权重中心坐标的梯度矢量值,并根据所述梯度矢量值获得所述第一子区域和所述第二子区域的相关描述子;
将所述第四子区域的均值函数映射到所述第三子区域得到映射结果,并根据所述映射结果以及所述第四子区域的均值函数获得所述第三子区域和所述第四子区域的相关描述子;
根据所述第一子区域和所述第二子区域的相关描述子以及所述第三子区域和所述第四子区域的相关描述子获得目标对象的显著性特征模型。
进一步地,所述对获取到的待检测帧进行预处理的步骤,包括:
提取所述待检测帧的灰度图,对所述灰度图进行下采样操作;
对经过下采样操作后的灰度图进行缩放处理;
在缩放处理后的灰度图中提取出多帧信息。
进一步地,所述目标对象包括标定对象,所述利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测所述待检测帧是否含有目标对象的步骤,包括:
根据所述样本帧以及所述待检测帧获得固定相关系数,并根据所述固定相关系数以及所述标定对象的宽度获得检测缩放尺度;
根据所述检测缩放尺度对预处理后的待检测帧进行缩放,利用所述显著性特征模型在所述检测缩放尺度下的区域中进行特征提取,并采用训练好的分类器检测该区域中是否含有目标对象。
本发明另一较佳实施例提供一种检测装置,所述装置包括:
映射模块,用于对预存的样本帧进行归一化处理,并将归一化处理后的样本帧映射到指定象限区域的多个子区域中;
特征模型获取模块,用于根据所述样本帧在各所述子区域中的显著性特征及各所述子区域间的特征关联性获得目标对象的显著性特征模型;
训练模块,用于根据所述预存的样本帧和所述显著性特征模型训练分类器;
预处理模块,用于对获取到的待检测帧进行预处理;
检测模块,用于利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测所述待检测帧是否含有目标对象。
进一步地,所述特征模型获取模块包括参数模型获取单元以及特征模型获取单元;
所述参数模型获取单元用于根据所述样本帧在各所述子区域中的显著性特征提取出各所述子区域的参数模型;
所述特征模型获取单元用于根据各所述子区域间的特征关联性和各所述参数模型获得目标对象的显著性特征模型。
进一步地,所述子区域包括第一子区域、第二子区域、第三子区域以及第四子区域,所述特征模型获取单元包括第一计算子单元、第二计算子单元、提取子单元以及第三计算子单元;
所述第一计算子单元用于计算出所述样本帧在所述第一子区域中的区域置信度度量,将所述区域置信度度量作为全局权值;
所述第二计算子单元用于计算出所述样本帧在所述第二子区域中的目标权重中心坐标;
所述提取子单元用于对所述第三子区域中的所述样本帧进行卷积操作和下采样操作,提取出所述样本帧的边缘特征;
所述第三计算子单元用于获得所述样本帧在所述第四子区域中的均值函数。
进一步地,所述预处理模块包括灰度提取单元、缩放单元以及多帧信息提取单元;
所述灰度提取单元用于提取所述待检测帧的灰度图,对所述灰度图进行下采样操作;
所述缩放单元用于对经过下采样操作后的灰度图进行缩放处理;
所述多帧信息提取单元用于在缩放处理后的灰度图中提取出多帧信息。
本发明实施例提供的检测方法及装置,通过对预存的样本帧进行归一化处理后将其映射到指定象限区域的多个子区域中。再根据样本帧在各子区域中的显著性特征及各子区域间的特征关联性获得目标对象的显著性特征模型。在对获取到的待检测帧进行预处理之后,利用得到的显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测待检测帧中是否含有目标对象。该检测方案利用样本帧训练得到目标对象的显著性特征模型及分类器来对待检测帧进行特征提取及目标匹配,在加快检测速度的同时,提高了检出率。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的检测方法的应用场景示意图。
图2为本发明较佳实施例提供的服务端的示意性结构框图。
图3为本发明较佳实施例提供的智能终端的示意性结构框图。
图4为本发明较佳实施例提供的检测方法的流程图。
图5为图4中步骤S103的子步骤的流程图。
图6为图5中步骤S1031的子步骤的流程图。
图7为图5中步骤S1033的子步骤的流程图。
图8为图4中步骤S107的子步骤的流程图。
图9为图4中步骤S109的子步骤的流程图。
图10为本发明较佳实施例提供的第一检测装置和第二检测装置的功能模块框图。
图11为本发明实施例提供的特征模型获取模块的功能模块框图。
图12为本发明较佳实施例提供的特征模型获取单元的功能模块框图。
图13为本发明较佳实施例提供的预处理模块的功能模块框图。
图标:100-服务端;110-第一检测装置;111-映射模块;112-特征模型获取模块;1121-参数模型获取单元;1122-特征模型获取单元;11221-第一计算子单元;11222-第二计算子单元;11223-提取子单元;11224-第三计算子单元;113-训练模块;120-第一处理器;130-第一存储器;200-智能终端;210-第二检测装置;211-预处理模块;2111-灰度提取单元;2112-缩放单元;2113-多帧信息提取单元;212-检测模块;220-第二处理器;230-第二存储器。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1,为本发明较佳实施例提供的检测方法的应用场景示意图。该场景中包括服务端100和智能终端200。所述服务端100通过网络与所述智能终端200通信连接,以进行数据通信或交互。在本实施例中,所述智能终端200可以包括多个,多个所述智能终端200与所述服务端100通信连接。在本实施例中,所述智能终端200为智能交通相机,所述服务端100为与所述智能交通相机通信的后台服务器。所述服务器可以是网络服务器、数据库服务器,可以是单独的服务器也可以是服务器集群等。
请参阅图2,为本发明实施例提供的上述服务端100的示意性结构框图。在本实施例中,所述服务端100包括第一检测装置110、第一处理器120及第一存储器130。其中,所述第一存储器130与所述第一处理器120之间直接或间接的电性连接,以实现数据的传输或交互。所述第一检测装置110包括至少一个可以软件或固件的形式存储于所述第一存储器130中或固化在所述服务端100的操作系统中的软件功能模块。所述第一处理器120用于执行所述第一存储器130中存储的可执行模块,例如所述第一检测装置110包括的软件功能模块或计算机程序。
请参阅图3,为本发明实施例提供的上述智能终端200的示意性结构框图。在本实施例中,所述智能终端200包括第二检测装置210、第二处理器220及第二存储器230。其中,所述第二存储器230与所述第二处理器220之间直接或间接的电性连接,以实现数据的传输或交互。所述第二检测装置210包括至少一个可以软件或固件的形式存储于所述第二存储器230中或固化在所述智能终端200的操作系统中的软件功能模块。所述第二处理器220用于执行所述第二存储器230中存储的可执行模块,例如所述第二检测装置210包括的软件功能模块或计算机程序。
请参阅图4,是本发明实施例提供的一种检测方法的流程图。所应说明的是,本发明提供的方法不以图4及以下所述的具体顺序为限制。下面将对图4中示出的各步骤进行详细说明。
步骤S101,对预存的样本帧进行归一化处理,并将归一化处理后的样本帧映射到指定象限区域的多个子区域中。
在本实施例中,所述服务端100中预存有包含目标对象的样本帧,将样本帧作为特征提取感兴趣区域进行训练以获得目标对象的显著性特征模型。在本实施例中,所述目标对象包括但不限于三轮车、自行车、电瓶车等。可选地,为了提高样本训练效率,首先需要对预存的样本帧进行大小归一化处理,以将样本归一为统一的尺寸大小。将归一化处理后的样本帧映射至指定象限区域。假设归一化后的区域大小为(2n)*(2n),将该指定象限区域平均划分为四个子区域,从左上角按顺时针方向依次为第一子区域、第二子区域、第三子区域以及第四子区域,可分别标记为a、b、c、d四个部分。其中,在该指定象限区域的左半部分(即第一子区域和第三子区域)为当前帧的灰度图,第一区域包含人体的上半身图像,第三子区域包含非机动车图像。右边部分(即第二子区域和第四子区域)为隔帧帧差后的多帧特征,第二子区域为人体的上半身图像,第四子区域为非机动车图像。
在本实施例中,将所述感兴趣区域的特征计算区域进行四部分划分主要考虑到两点原因。第一点是考虑到非机动车目标无论的自行车、三轮车还是电瓶车等等的特征类型,其上半部分主要是人体的上半身,是具有形变特性的目标。而非机动车的下半部分则是车体,属于刚体,其形状相对固定。因此将二者区分有利于更好地描述非机动车目标对象的特征本质。第二点是考虑到感兴趣区域中目标之间的特征相似性问题,其中非机动车上半部分均为人体,是比较一致的,而下半部分为三轮车、自行车等不同类型的存在差异性的非机动车。如此把上下部分分离有利于后续提高目标类似部分的权值,增强类内相似特征的集中度,从而有效地区分非机动车目标和背景。
步骤S103,根据所述样本帧在各所述子区域中的显著性特征及各所述子区域间的特征关联性获得目标对象的显著性特征模型。
可选地,在本实施例中,将各个子区域的像素点的像素值分别标记为Ia(xi,yi)、Ib(xi,yi)、Ic(xi,yi)、Id(xi,yi),其中(xi,yi)表示各子区域第i个像素点坐标。在本实施例中,将各个子区域的坐标系x,y均映射到第一象限,其中,xi,yi∈[0,n],以组成四个重叠大小为n*n的图像。当i的取值相同时各子区域的坐标位置一一对应。再根据样本帧在各个子区域中的显著性特征及各子区域间的特征关联性获得目标对象的显著性特征模型。
请参阅图5,在本实施例中,步骤S103可以包括步骤S1031和步骤S1033两个子步骤。
步骤S1031,根据所述样本帧在各所述子区域中的显著性特征提取出各所述子区域的参数模型。
请参阅图6,在本实施例中,步骤S1031可包括步骤S10311、步骤S10313、步骤S10315以及步骤S10317四个子步骤。
步骤S10311,计算出所述样本帧在所述第一子区域中的区域置信度度量,将所述区域置信度度量作为全局权值。
步骤S10313,计算出所述样本帧在所述第二子区域中的目标权重中心坐标。
步骤S10315,对所述第三子区域中的所述样本帧进行卷积操作和下采样操作,提取出所述样本帧的边缘特征。
步骤S10317,获得所述样本帧在所述第四子区域中的均值函数。
在本实施例中,考虑到第一子区域,即a部分区域,能很好地区分非机动车目标和背景,并且第一子区域在非机动车目标的类内特征一致性较好,因此将样本帧在第一子区域中的特征作为整体特征提取区域的全局权值,以突出该区域特征在显著性特征模型中的权重。可选地,首先计算出第一子区域中样本帧各像素点灰度值的梯度Ga(xi,yi)。搜索第一子区域内梯度幅值相似度,角度互补度,以及y轴位置的近似度(即处于同一水平位置的像素点坐标在y轴上的值的接近程度),计算满足一定阈值且最近似的点进行两两匹配(除去零点),再得到以匹配对数为参数的区域置信度度量,如下所示:
其中,对于ga(xi,yi),当满足下述公式时,则ga(xi,yi)=1,否则ga(xi,yi)=0。
其中,μ表示梯度偏差参数,v表示梯度幅值参数,λ表示角度互补阈值,Gay(xn,yn)表示像素点(xn,yn)在y方向上的梯度,Gax(xn,yn)表示像素点(xn,yn)在x方向上的梯度,Gay(xm,ym)表示像素点(xm,ym)在y方向上的梯度,Gax(xm,ym)表示像素点(xm,ym)在x方向上的梯度。
在本实施例中,对于第一子区域的处理主要是考虑到人体上半部分的结构对称性,通过梯度的幅值和角度关系描述对称的像素点,再把这些点通过一个对数关系转换为置信度的权值。
可选地,计算出样本帧在第二子区域中的目标权重中心坐标。其中,第二子区域的多帧信息能较好地快速划分前景目标的大致区域,权重中心的概念参考了重心的概念,其计算方法也和重心的计算方法类似。首先,进行滤波操作去除第二子区域中的孤立点,以排除毛刺干扰。根据第二子区域中像素值计算权重中心坐标(xo,yo)满足如下公式:
在上式中即计算gbx(xi),gby(yi)的正值的均值以分别作为权重中心坐标的x坐标值和y坐标值。
其中:
上式中,gbx(xi)在第二子区域任意y轴坐标下,x轴坐标为xi的像素点的像素值I(xi,y)为正值时取xi,非正值时取0;gby(yi)在第二子区域任意x轴坐标下,y轴坐标为yi的像素点的像素值I(x,yi)为正值时取yi,非正值时取0。
在本实施例中,取第二子区域的多帧信息的权重中心能很好地消除后续计算中的经验风险,保证样本训练能有较好的学习效果。
可选地,对于第三子区域的处理,首先对第三子区域进行平滑滤波滤除,以排除尖利毛刺部分干扰。对于第三子区域中的像素点Ic(xi,yi),计算大小为3*3且步长为1的卷积Cov3×3(xi,yi)。对卷积得到的结果进行归一化处理,划分若干个大小为m*m(m<n)且步长为m的邻域部分,取每个邻域内像素点的像素值极值作为像素值生成一个中间结果,则针对第三子区域汇总第l个邻域Ql对应生成的中间结果满足下式:
进一步地,对样本帧在第四子区域进行均值求取。可选地,根据第四子区域的像素值对其作二类区分,当像素值大于0时取1,剩余的则取0,如下:
其中,gdsig(xi,yi)为第四子区域像素二分类参数,Id(xi,yi)表示第四子区域内第i个像素点的像素值。
在第四子区域取若干个大小为m*m(m<n)且步长为m的邻域生成一个中间结果,此时以邻域内像素点的像素值均值作为新的采样值,如下以第四子区域中第l个邻域为例:
在本实施例中,第四子区域作为第三子区域的权重,考虑到第四子区域的多帧信息重点表征了第三子区域刚性目标的运动属性,同时也能对第三子区域取的卷积结果做范围限定,滤除非前景区域的刚体特征。
步骤S1033,根据各所述子区域间的特征关联性和各所述参数模型获得目标对象的显著性特征模型。
请参阅图7,在本实施例中,步骤S1033可包括步骤S10331、步骤S10333、步骤S10335、步骤S10337以及步骤S10339五个子步骤。
步骤S10331,建立所述第一子区域和所述第二子区域的特征关联性,将所述第二子区域的目标权重中心坐标以及邻域映射到所述第一子区域。
步骤S10333,计算映射到所述第一子区域的邻域内像素点的像素值和,并根据所述像素值和以及所述第二子区域的邻域的各点权值计算得到映射到所述第一子区域的权重表征点。
步骤S10335,计算映射到所述第一子区域的权重表征点及目标权重中心坐标的梯度矢量值,并根据所述梯度矢量值获得所述第一子区域和所述第二子区域的相关描述子。
步骤S10337,将所述第四子区域的均值函数映射到所述第三子区域得到映射结果,并根据所述映射结果以及所述第四子区域的均值函数获得所述第三子区域和所述第四子区域的相关描述子。
步骤S10339,根据所述第一子区域和所述第二子区域的相关描述子以及所述第三子区域和所述第四子区域的相关描述子获得目标对象的显著性特征模型。
可选地,在本实施例中,经过上述的对各个子区域的特征提取之后,根据权重相关性及各子区域的参数模型获得各子区域之间的象限关联性,并根据象限关联性获得目标对象的显著性特征模型。
可选地,将第一子区域和第二子区域特征进行关联,将第二子区域的权重中心坐标(xo,yo)映射到第一子区域中,得到映射结果,标记为(x'o,y'o)。取第二子区域的m*m邻域的像素权重度量,取该邻域中的像素值最大的像素点作为权重表征点,满足下式:
其中,km表示邻域内的第m个像素点的像素值,Kb(xl,yl)表示第l个邻域的权重表征点的像素值。
计算出邻域中各点权重,表示如下:
将第二子区域的邻域映射到第一子区域中,计算第一子区域内对应该邻域中的各点的像素点和假设映射后的表征点为(x'l,y'l),根据该像素点和以及第二子区域中计算得到的邻域的各点权重计算得到映射到第二子区域的权重表征点,其像素值计算如下:
根据计算出的权重表征点的像素值Ka(x'l,y'l)可得到对应的权重表征点坐标(x'l,y'l)。
计算出第一子区域中各邻域权重表征点(x'l,y'l)和第一子区域权重中心坐标(x'o,y'o)的梯度幅值和梯度方向,如下:
根据上式获得第一子区域和第二子区域的相关描述子fab(x'l,y'l):
fab(x'l,y'l)=f(Gk(x'l,y'l),αk(x'l,y'l))
在本实施例中,第一子区域和第二子区域中的特征能高效地表征非机动车目标上半部分区域的相对于前景中心的像素聚束性和其本身的形态特征。
进一步地,在本实施例中,将第三子区域和第四子区域进行特征关联,获得表征非机动车目标运动刚性属性。在经过以上的对第三子区域和第四子区域的特征描述之后,对二者进行关联。将第四子区域的均值函数映射到第三子区域中得到的映射结果满足下式:
fc(x'l,y'l)=gcmax m×m(xl,yl)*gdsig(xi,yi)
其中,(xi,yi)为第四子区域中的点,(xl,yl)为第三子区域中邻域的权重表征点。
根据映射结果以及第四子区域的均值函数得到第三子区域和第四子区域的相关描述子,如下:
fcd(x'l,y'l)=fc(x'l,y'l)*gdavgm×m(x'l,y'l)
进一步地,在本实施例中,将第一子区域和第二子区域的相关描述子以及第三子区域和第四子区域的相关描述子通过全局权值关联,得到目标对象的显著性特征模型f(x,y),最后利用样本迭代来计算显著性特征模型的具体参数,则f(x,y)表达如下:
f(x,y)=ωa*(fab(x,y)+fcd(x,y))
利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,其中,x、y分别为待检测帧的特征搜索窗口中像素点的横坐标和纵坐标。
本实施例中得到的显著性特征模型能很好地描述非机动车目标的头肩对称性、运动属性、目标聚束性等属性。四个子区域的划分能有效地区分非机动车目标上半部分的形变特性和下半部分的刚性特性。并且,将多帧属性加权到显著性特征模型中能在时域上剔除许多干扰,增强检测的鲁棒性。
可选地,在具体实施时,在样本提取训练时,针对性地增加地面箭头标记区域和汽车后视镜等区域来作为负样本,可提高模型的迭代效率和检测效果。
步骤S105,根据所述预存的样本帧和所述显著性特征模型训练分类器。
在本实施例中,分类器可以是Adaboost、SVM等,本发明不限定分类器的种类,分类器的训练过程为现有技术,故在本实施例中不再赘述。
步骤S107,对获取到的待检测帧进行预处理。
可选地,请参阅图8,在本实施例中,步骤S107可以包括步骤S1071、步骤S1073以及步骤S1075三个子步骤。
步骤S1071,提取所述待检测帧的灰度图,对所述灰度图进行下采样操作。
步骤S1073,对经过下采样操作后的灰度图进行缩放处理。
步骤S1075,在缩放处理后的灰度图中提取出多帧信息。
可选地,在本实施例中,具体实施时,智能终端200在获取到待检测帧后,即对待检测帧进行预处理。在预处理后的待检测帧中提取目标对象。可选地,提取获得的待检测帧的灰度图,并对获得的灰度图进行下采样操作。根据各智能终端200的分辨率的不同按不同的特定系数对经过下采样操作的灰度图进行适当的缩放处理。在缩放处理时,其遵守的原则是在保证特征可见的同时,窗口遍历耗时能够极大削减。再在缩放处理后的灰度图基础上提取多帧信息,可选地,可间隔一帧取前后帧对应位置处的像素值进行作差以提取出多帧信息,其中,将差值小于预设阈值T的点进行取零操作以提高多帧信息对噪点的容错。
步骤S109,利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测所述待检测帧是否含有目标对象。
可选地,在本实施例中,根据预存的样本帧和得到的显著性特征模型训练得到分类器后,利用显著性特征模型在预处理后的待检测帧中做窗口滑动以进行特征提取,并采用训练好的分类器检测待检测帧中是否含有目标对象。
可选地,请参阅图9,在本实施例中,步骤S109可以包括步骤S1091和步骤S1093两个子步骤。
步骤S1091,根据所述样本帧以及所述待检测帧获得固定相关系数,并根据所述固定相关系数以及所述标定对象的宽度获得检测缩放尺度。
步骤S1093,根据所述检测缩放尺度对预处理后的待检测帧进行缩放,利用所述显著性特征模型在所述检测缩放尺度下的区域中进行特征提取,并采用训练好的分类器检测该区域中是否含有目标对象。
在本实施例中,考虑在某些场景下道路较窄且背景干扰较大(例如汽车比较多),为了更好地适应例如非机动车等目标对象的检测,利用非机动车车牌的标定作为参考系,即将非机动车的车牌作为标定对象计算出一个特征搜索窗口的最佳检测尺度,以通过减少金字塔层数、缩短搜索时间而又不影响检测效果。根据目标对象的样本帧的原始正样本的尺度以及缩放后的待检测帧中的目标对象的尺度的比例计算得到一固定相关系数r,设L为归一化后的检测帧中Yx处的标准标定对象的宽度,如此可得到检测缩放尺度为:
R=L/r
本实施例中,为了达到自适应的效果,可事先标定地面的车道线,根据车道线直线方程计算出车道线的远处交点即视线消失点为Cy,事先标定Y处标定对象的宽度为Wlp,根据透视关系可得到如下关系式:
因此,可得出:
将上式带入检测缩放尺度公式可得到:
在具体实施时,根据得到的检测缩放尺度对预处理后的待检测帧进行缩放,仅需在该检测缩放尺度下的区域中进行窗口遍历,以获得特征相似度匹配条件满足目标对象的区域,对该区域利用得到的显著性特征模型进行特征提取,采用训练好的分类器检测以得到该区域中的目标对象。
本实施例提供的检测方法,针对非机动车的特性提出一个显著性特征模型的特征提取方法,该方法能很好地描述非机动车目标的头肩对称性、运动属性、目标聚束性等属性。四个子区域的划分能够高效地区分非机动车目标的上部分的形变特性和下部分的刚性特性。且多帧属性加权到显著特征描述子中能在时域上剔除许多干扰,增强了检测的鲁棒性,耗时少,效果好。且为了更好地适应目标对象的特征检测,进行了基于先验知识的非机动车快速窗口匹配优化,针对检测场景为道路窄且汽车较多的场景,利用标定车牌作为参考,计算出一个特征搜索窗口的最佳检测尺度,以通过减少金字塔层数缩短搜索时间而又不影响检出效果。
为了检验本发明所提供的检测方法在不同场景下的检测效果,在本实施例中进行相应的道路实测,实测数据如下:
由上述实测数据可见,本发明提供的检测方法在保证良好的实时性的同时,目标检测的准确率和不同场景下的适应性也有较好的提升。
请参阅图10,为本发明实施例提供的第一检测装置110以及第二检测装置210的功能模块框图。所述第一检测装置110包括映射模块111、特征模型获取模块112以及训练模块113,所述第二检测装置210包括预处理模块211和检测模块212。
所述映射模块111用于对预存的所述样本帧进行归一化处理,并将归一化处理后的样本帧映射到指定象限区域的多个子区域中。具体地,该映射模块111可用于执行图4中所示的步骤S101,具体的操作方法可参考步骤S101的详细描述。
所述特征模型获取模块112用于根据所述样本帧在各所述子区域中的显著性特征及各子区域间的特征关联性获得所述目标对象的显著性特征模型。具体地,该特征模型获取模块112可用于执行图4中所示的步骤S103,具体的操作方法可参考步骤S103的详细描述。
所述训练模块113用于根据所述预存的样本帧和所述显著性特征模型训练分类器。具体地,该训练模块113可用于执行图4中所示的步骤S105,具体的操作方法可参考步骤S105的详细描述。
所述预处理模块211用于对获取到的待检测帧进行预处理。具体地,该预处理模块211可用于执行图4中所示的步骤S107,具体的操作方法可参考步骤S107的详细描述。
所述检测模块212用于利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测所述待检测帧是否含有目标对象。具体地,该检测模块212可用于执行图4中所示的步骤S109,具体的操作方法可参考步骤S109的详细描述。
可选地,请参阅图11,在本实施例中,所述特征模型获取模块112包括参数模型获取单元1121以及特征模型获取单元1122。
所述参数模型获取单元1121用于根据所述样本帧在各所述子区域中的显著性特征提取出各所述子区域的参数模型。具体地,该参数模型获取单元1121可用于执行图5中所示的步骤S1031,具体的操作方法可参考步骤S1031的详细描述。
所述特征模型获取单元1122用于根据各所述子区域间的特征关联性和各所述参数模型获得目标对象的显著性特征模型。具体地,该特征模型获取单元1122可用于执行图5中所示的步骤S1033,具体的操作方法可参考步骤S1033的详细描述。
可选地,在本实施例中,所述子区域包括第一子区域、第二子区域、第三子区域以及第四子区域,请参阅图12,所述特征模型获取单元1122包括第一计算子单元11221、第二计算子单元11222、提取子单元11223以及第三计算子单元11224。
所述第一计算子单元11221用于计算出所述样本帧在所述第一子区域中的区域置信度度量,将所述区域置信度度量作为全局权值。具体地,该第一计算子单元11221可用于执行图6中所示的步骤S10311,具体的操作方法可参考步骤S10311的详细描述。
所述第二计算子单元11222用于计算出所述样本帧在所述第二子区域中的目标权重中心坐标。具体地,该第二计算子单元11222可用于执行图6中所示的步骤S10313,具体的操作方法可参考步骤S10313的详细描述。
所述提取子单元11223用于对所述第三子区域中的所述样本帧进行卷积操作和下采样操作,提取出所述样本帧的边缘特征。具体地,该提取子单元11223可用于执行图6中所示的步骤S10315,具体的操作方法可参考步骤S10315的详细描述。
所述第三计算子单元11224用于获得所述样本帧在所述第四子区域中的均值函数。具体地,该第三计算子单元11224可用于执行图6中所示的步骤S10317,具体的操作方法可参考步骤S10317的详细描述。
请参阅图13,在本实施例中,所述预处理模块211包括灰度提取单元2111、缩放单元2112以及多帧信息提取单元2113。
所述灰度提取单元2111用于提取所述待检测帧的灰度图,对所述灰度图进行下采样操作。具体地,该灰度提取单元2111可用于执行图8中所示的步骤S1071,具体的操作方法可参考步骤S1071的详细描述。
所述缩放单元2112用于对经过下采样操作后的灰度图进行缩放处理。具体地,该缩放单元2112可用于执行图8中所示的步骤S1073,具体的操作方法可参考步骤S1073的详细描述。
所述多帧信息提取单元2113用于在缩放处理后的灰度图中提取出多帧信息。具体地,该多帧信息提取单元2113可用于执行图8中所示的步骤S1075,具体的操作方法可参考步骤S1075的详细描述。
综上所述,本发明提供的检测方法及装置,通过对预存的样本帧进行归一化处理后将其映射到指定象限区域的多个子区域中。再根据样本帧在各子区域中的显著性特征及各子区域间的特征关联性获得目标对象的显著性特征模型。在对获取到的待检测帧进行预处理之后,利用得到的显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测待检测帧中是否含有目标对象。该检测方案利用样本帧训练得到目标对象的显著性特征模型及分类器来对待检测帧进行特征提取及目标对象检测,在加快检测速度的同时,提高了检出率。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种检测方法,其特征在于,所述方法包括:
对预存的样本帧进行归一化处理,并将归一化处理后的样本帧映射到指定象限区域的多个子区域中;
根据所述样本帧在各所述子区域中的显著性特征及各所述子区域间的特征关联性获得目标对象的显著性特征模型;
根据所述预存的样本帧和所述显著性特征模型训练分类器;
对获取到的待检测帧进行预处理;
利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测所述待检测帧是否含有目标对象;
其中,所述根据所述样本帧在各所述子区域中的显著性特征及各所述子区域间的特征关联性获得目标对象的显著性特征模型的步骤,包括:
根据所述样本帧在各所述子区域中的显著性特征提取出各所述子区域的参数模型;
根据各所述子区域间的特征关联性和各所述参数模型获得目标对象的显著性特征模型。
2.根据权利要求1所述的检测方法,其特征在于,所述子区域包括第一子区域、第二子区域、第三子区域以及第四子区域,所述根据所述样本帧在各所述子区域中的显著性特征提取出各所述子区域的参数模型的步骤,包括:
计算出所述样本帧在所述第一子区域中的区域置信度度量,将所述区域置信度度量作为全局权值;
计算出所述样本帧在所述第二子区域中的目标权重中心坐标;
对所述第三子区域中的所述样本帧进行卷积操作和下采样操作,提取出所述样本帧的边缘特征;
获得所述样本帧在所述第四子区域中的均值函数。
3.根据权利要求2所述的检测方法,其特征在于,所述根据各所述子区域间的特征关联性和各所述参数模型获得目标对象的显著性特征模型的步骤,包括:
建立所述第一子区域和所述第二子区域的特征关联性,将所述第二子区域的目标权重中心坐标以及邻域映射到所述第一子区域;
计算映射到所述第一子区域的邻域内像素点的像素值和,并根据所述像素值和以及所述第二子区域的邻域的各点权值计算得到映射到所述第一子区域的权重表征点;
计算映射到所述第一子区域的权重表征点及目标权重中心坐标的梯度矢量值,并根据所述梯度矢量值获得所述第一子区域和所述第二子区域的相关描述子;
将所述第四子区域的均值函数映射到所述第三子区域得到映射结果,并根据所述映射结果以及所述第四子区域的均值函数获得所述第三子区域和所述第四子区域的相关描述子;
根据所述第一子区域和所述第二子区域的相关描述子以及所述第三子区域和所述第四子区域的相关描述子获得目标对象的显著性特征模型。
4.根据权利要求1所述的检测方法,其特征在于,所述对获取到的待检测帧进行预处理的步骤,包括:
提取所述待检测帧的灰度图,对所述灰度图进行下采样操作;
对经过下采样操作后的灰度图进行缩放处理;
在缩放处理后的灰度图中提取出多帧信息。
5.根据权利要求1所述的检测方法,其特征在于,所述目标对象包括标定对象,所述利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测所述待检测帧是否含有目标对象的步骤,包括:
根据所述样本帧以及所述待检测帧获得固定相关系数,并根据所述固定相关系数以及所述标定对象的宽度获得检测缩放尺度;
根据所述检测缩放尺度对预处理后的待检测帧进行缩放,利用所述显著性特征模型在所述检测缩放尺度下的区域中进行特征提取,并采用训练好的分类器检测该区域中是否含有目标对象。
6.一种检测装置,其特征在于,所述装置包括:
映射模块,用于对预存的样本帧进行归一化处理,并将归一化处理后的样本帧映射到指定象限区域的多个子区域中;
特征模型获取模块,用于根据所述样本帧在各所述子区域中的显著性特征及各所述子区域间的特征关联性获得目标对象的显著性特征模型;
训练模块,用于根据所述预存的样本帧和所述显著性特征模型训练分类器;
预处理模块,用于对获取到的待检测帧进行预处理;
检测模块,用于利用所述显著性特征模型在预处理后的待检测帧中进行特征提取,并采用训练好的分类器检测所述待检测帧是否含有目标对象;
其中,所述特征模型获取模块用于通过以下方式获得显著性特征模型:
根据所述样本帧在各所述子区域中的显著性特征提取出各所述子区域的参数模型;
根据各所述子区域间的特征关联性和各所述参数模型获得目标对象的显著性特征模型。
7.根据权利要求6所述的检测装置,其特征在于,所述特征模型获取模块包括参数模型获取单元以及特征模型获取单元;
所述参数模型获取单元用于根据所述样本帧在各所述子区域中的显著性特征提取出各所述子区域的参数模型;
所述特征模型获取单元用于根据各所述子区域间的特征关联性和各所述参数模型获得目标对象的显著性特征模型。
8.根据权利要求7所述的检测装置,其特征在于,所述子区域包括第一子区域、第二子区域、第三子区域以及第四子区域,所述特征模型获取单元包括第一计算子单元、第二计算子单元、提取子单元以及第三计算子单元;
所述第一计算子单元用于计算出所述样本帧在所述第一子区域中的区域置信度度量,将所述区域置信度度量作为全局权值;
所述第二计算子单元用于计算出所述样本帧在所述第二子区域中的目标权重中心坐标;
所述提取子单元用于对所述第三子区域中的所述样本帧进行卷积操作和下采样操作,提取出所述样本帧的边缘特征;
所述第三计算子单元用于获得所述样本帧在所述第四子区域中的均值函数。
9.根据权利要求6所述的检测装置,其特征在于,所述预处理模块包括灰度提取单元、缩放单元以及多帧信息提取单元;
所述灰度提取单元用于提取所述待检测帧的灰度图,对所述灰度图进行下采样操作;
所述缩放单元用于对经过下采样操作后的灰度图进行缩放处理;
所述多帧信息提取单元用于在缩放处理后的灰度图中提取出多帧信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710887373.9A CN109558886B (zh) | 2017-09-27 | 2017-09-27 | 检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710887373.9A CN109558886B (zh) | 2017-09-27 | 2017-09-27 | 检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109558886A CN109558886A (zh) | 2019-04-02 |
CN109558886B true CN109558886B (zh) | 2021-02-02 |
Family
ID=65863828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710887373.9A Active CN109558886B (zh) | 2017-09-27 | 2017-09-27 | 检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109558886B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246547A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 一种根据场景变化特征对视频中运动物体检测的方法 |
US8224072B2 (en) * | 2009-07-16 | 2012-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for normalizing displaceable features of objects in images |
CN106127164A (zh) * | 2016-06-29 | 2016-11-16 | 北京智芯原动科技有限公司 | 基于显著性检测和卷积神经网络的行人检测方法及装置 |
US9514363B2 (en) * | 2014-04-08 | 2016-12-06 | Disney Enterprises, Inc. | Eye gaze driven spatio-temporal action localization |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
-
2017
- 2017-09-27 CN CN201710887373.9A patent/CN109558886B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101246547A (zh) * | 2008-03-03 | 2008-08-20 | 北京航空航天大学 | 一种根据场景变化特征对视频中运动物体检测的方法 |
US8224072B2 (en) * | 2009-07-16 | 2012-07-17 | Mitsubishi Electric Research Laboratories, Inc. | Method for normalizing displaceable features of objects in images |
US9514363B2 (en) * | 2014-04-08 | 2016-12-06 | Disney Enterprises, Inc. | Eye gaze driven spatio-temporal action localization |
CN106127164A (zh) * | 2016-06-29 | 2016-11-16 | 北京智芯原动科技有限公司 | 基于显著性检测和卷积神经网络的行人检测方法及装置 |
Non-Patent Citations (1)
Title |
---|
Likelihood Map Fusion for Visual Object Tracking;Zhaozheng Yin,et al.;《2008 IEEE Workshop on Applications of Computer Vision》;20080109;1-7 * |
Also Published As
Publication number | Publication date |
---|---|
CN109558886A (zh) | 2019-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
CN108154102B (zh) | 一种道路交通标志识别方法 | |
Prioletti et al. | Part-based pedestrian detection and feature-based tracking for driver assistance: real-time, robust algorithms, and evaluation | |
JP2016062610A (ja) | 特徴モデル生成方法及び特徴モデル生成装置 | |
US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
CN110334762B (zh) | 一种基于四叉树结合orb和sift的特征匹配方法 | |
CN109800682B (zh) | 驾驶员属性识别方法及相关产品 | |
CN104200228B (zh) | 一种安全带识别方法与系统 | |
CN105989334B (zh) | 基于单目视觉的道路检测方法 | |
CN110222572B (zh) | 跟踪方法、装置、电子设备及存储介质 | |
CN112036455B (zh) | 一种图像识别方法、智能终端和存储介质 | |
CN109816694B (zh) | 目标跟踪方法、装置及电子设备 | |
Sugiharto et al. | Traffic sign detection based on HOG and PHOG using binary SVM and k-NN | |
JP2012221162A (ja) | 対象物検出装置及びプログラム | |
CN106778777B (zh) | 一种车辆匹配方法及系统 | |
Chen | Road vehicle recognition algorithm in safety assistant driving based on artificial intelligence | |
Huang et al. | Multi‐class obstacle detection and classification using stereovision and improved active contour models | |
CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
CN110555406B (zh) | 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法 | |
CN114898306B (zh) | 一种检测目标朝向的方法、装置及电子设备 | |
CN116823884A (zh) | 多目标跟踪方法、系统、计算机设备及存储介质 | |
CN109558886B (zh) | 检测方法及装置 | |
CN116434156A (zh) | 目标检测方法、存储介质、路侧设备及自动驾驶系统 | |
Zhao et al. | Blur feature extraction plus automatic KNN matting: a novel two stage blur region detection method for local motion blurred images | |
Tian et al. | A novel approach for change detection in remote sensing image based on saliency map |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |