CN113283430B - 目标检测的方法、装置、电子设备及计算机可读存储介质 - Google Patents
目标检测的方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113283430B CN113283430B CN202110833468.9A CN202110833468A CN113283430B CN 113283430 B CN113283430 B CN 113283430B CN 202110833468 A CN202110833468 A CN 202110833468A CN 113283430 B CN113283430 B CN 113283430B
- Authority
- CN
- China
- Prior art keywords
- haar
- image information
- processed
- target detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种目标检测的方法、装置、电子设备及计算机可读存储介质,涉及计算机技术领域,该方法包括:获取待处理的图像信息,然后从待处理的图像信息中提取哈尔Haar特征,然后将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,然后基于至少两个局部Haar特征值进行目标检测,得到目标检测结果。本申请可以提高目标检测的准确度。
Description
技术领域
本申请涉及计算机技术领域,尤其是涉及一种目标检测的方法、装置、电子设备及计算机可读存储介质。
背景技术
目标检测,在公共安全、智能交通领域、视频图像处理以及停车管理等领域存在的大量需求,是上述领域智能化功能应用的基础技术。该技术直接影响上述领域终端产品的形态、性能、智能化程度。
在智能交通、公共安全、视频图像处理以及停车管理等领域中,主要通过传统的目标检测方法进行图像信息进行目标检测。具体地,从待处理的图像中提取积分图特征,并通过AdaBoost方式进行目标检测。
发明人在研究过程中发现:通过上述方式进行目标检测,会导致目标检测的准确度较低,进而可能导致用户体验较差。
发明内容
本申请目的是提供一种目标检测的方法、装置、电子设备及计算机可读存储介质,用于解决以上至少一项技术问题。
第一方面,本申请提供一种目标检测的方法,采用如下的技术方案:
获取待处理的图像信息;
从待处理的图像信息中提取哈尔Haar特征;
将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值;
基于至少两个局部Haar特征值进行目标检测,得到目标检测结果。
在一种可能的实现方式中,获取待处理的图像信息,包括:
获取视频流信息,并从视频流信息中抽取每帧图像信息,分别作为待处理的图像信息。
在另一种可能的实现方式中,将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,之前还包括:
对提取到的Haar特征进行二值化处理,得到二值化处理后的Haar特征;
其中,将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,包括:
将二值化处理后的Haar特征进行组合处理,得到至少两个局部Haar特征值。
在另一种可能的实现方式中,从待处理的图像信息中提取哈尔Haar特征,之前还包括:
对待处理的图像信息进行图像预处理,图像预处理的方式包括:感兴趣区域处理、图像噪声去除处理以及图像均衡化处理中的至少一项;
其中,从待处理的图像信息中提取哈尔Haar特征,包括:
从预处理后的图像信息中提取Haar特征。
在另一种可能的实现方式中,从待处理的图像信息中提取哈尔Haar特征,包括:
通过至少一种尺寸的滑动窗口,从待处理的图像信息中提取滑动窗口内图像信息对应的Haar特征。
在另一种可能的实现方式中,提取到的Haar特征为待处理的图像信息中各个滑动窗口内图像信息分别对应的Haar特征;
将二值化处理后的Haar特征进行组合处理,得到任一局部Haar特征值,包括:
以一个二值化处理后的 Haar 特征为中心点,确定与中心点存在连接关系的至少两个二值化处理后的Haar特征值;
将至少两个二值化处理后的Haar特征值进行组合处理,并将组合后的特征值转换为十进制,得到任一局部Haar特征值。
在另一种可能的实现方式中,基于至少两个局部Haar特征值进行目标检测,得到目标检测结果,之后还包括:
若目标检测结果满足预设条件,则输出满足目标检测结果的图像以及目标检测结果;
其中,目标检测结果包括:目标类型信息以及目标尺寸信息中的至少一项。
第二方面,提供了一种目标检测的装置,采用如下技术方案:
获取模块,用于获取待处理的图像信息;
提取模块,用于从待处理的图像信息中提取哈尔Haar特征;
组合处理模块,用于将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值;
目标检测模块,用于基于至少两个局部Haar特征值进行目标检测,得到目标检测结果。
在一种可能的实现方式中,获取模块在获取待处理的图像信息时,具体用于:
获取视频流信息,并从视频流信息中抽取每帧图像信息,分别作为待处理的图像信息。
在另一种可能的实现方式中,装置还包括:二值化处理模块,其中,
二值化处理模块,用于对提取到的Haar特征进行二值化处理,得到二值化处理后的Haar特征;
其中,组合处理模块在将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值时,具体用于:
将二值化处理后的Haar特征进行组合处理,得到至少两个局部Haar特征值。
在另一种可能的实现方式中,装置还包括:图像预处理模块,其中,
图像预处理模块,用于对待处理的图像信息进行图像预处理,图像预处理的方式包括:感兴趣区域处理、图像噪声去除处理以及图像均衡化处理中的至少一项;
其中,提取模块在从待处理的图像信息中提取哈尔Haar特征时,具体用于:
从预处理后的图像信息中提取Haar特征。
在另一种可能的实现方式中,提取模块在从待处理的图像信息中提取哈尔Haar特征时,具体用于:
通过至少一种尺寸的滑动窗口,从待处理的图像信息中提取滑动窗口内图像信息对应的Haar特征。
在另一种可能的实现方式中,提取到的Haar特征为待处理的图像信息中各个滑动窗口内图像信息分别对应的Haar特征;
组合处理模块在将二值化处理后的Haar特征进行组合处理,得到任一局部Haar特征值时,具体用于:
以一个二值化处理后的 Haar 特征为中心点,确定与中心点存在连接关系的至少两个二值化处理后的Haar特征值;
将至少两个二值化处理后的Haar特征值进行组合处理,并将组合后的特征值转换为十进制,得到任一局部Haar特征值。
在另一种可能的实现方式中,装置还包括:输出模块,其中,
输出模块,用于当目标检测结果满足预设条件时,输出满足目标检测结果的图像以及目标检测结果;
其中,目标检测结果包括:目标类型信息以及目标尺寸信息中的至少一项。
第三方面,提供了一种电子设备,该电子设备包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:执行根据第一方面中任一可能的实现方式所示的目标检测的方法对应的操作。
第四方面,提供了一种计算机可读存储介质,存储介质存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面中任一可能的实现方式所示的目标检测的方法。
本申请提供了一种目标检测的方法、装置、电子设备及计算机可读存储介质,与相关技术中通过积分图特征以及AdaBoost方式进行目标检测相比,本申请中通过获取待处理的图像信息,然后从待处理的图像信息中提取哈尔Haar特征,并将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,然后基于至少两个局部Haar特征值进行目标检测,得到目标检测结果,由于本申请中进行目标检测所依据的局部Haar特征值能够从多个维度表征待处理的图像信息,从而可以提高进行目标检测的准确度,进而可以提升用户体验。
附图说明
图1为本申请实施例提供的一种目标检测的方法流程示意图;
图2为本申请实施例提供的一种目标检测的装置结构示意图;
图3为本申请实施例提供的一种电子设备的装置结构示意图;
图4为本申请实施例提供的一种智能网络摄像机的示例图;
图5为本申请实施例中提供的四种Haar特征的示例图;
图6为本申请实施例中提供的一种目标检测的方法的应用场景示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本申请的权利要求范围内都受到专利法的保护。
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
另外,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,如无特殊说明,一般表示前后关联对象是一种“或”的关系。
本申请实施例提供了一种目标检测的方法,如图1所示,在本申请实施例中提供的目标检测的方法可以由电子设备执行,该电子设备可以为服务器也可以为终端设备,其中,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此,该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例在此不做限制,该方法包括:
步骤S101、获取待处理的图像信息。在本申请实施例中,获取待处理的图像信息的方式可以与本申请实施例中介绍的方式相同,也可以和相关技术介绍的获取方式相同,在本申请实施例中不做限定。
步骤S102、从待处理的图像信息中提取哈尔Haar特征。
对于本申请实施例,Haar特征分为四类:边缘特征、线性特征、中心特征和对角线特征,组合成特征模板,具体如图5所示。特征模板内有白色和黑色两种矩形,并定义该模板的特征值为白色矩形像素和与黑色矩形像素和之间的差值。Haar特征值反映了图像的灰度变化情况。例如:脸部的一些特征能由矩形特征简单的描述,如:眼睛要比脸颊颜色要深,鼻梁两侧比鼻梁颜色要深,嘴巴比周围颜色要深等。但矩形特征只对一些简单的图形结构,如边缘、线段较敏感,所以只能描述特定走向(水平、垂直、对角)的结构。
具体地,在本申请实施例中,Haar特征值也可以是几个相邻矩形区域的累积强度之间的差值,相邻矩形区域的布局可以任意变化。
步骤S103、将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值。
具体地,相邻的几个Haar特征进行组合处理,得到新的特征,称为局部Haar特征值。在本申请实施例中,将待处理的图像通过上述方式,得到至少两个局部Haar特征值。
步骤S104、基于至少两个局部Haar特征值进行目标检测,得到目标检测结果。
具体地,在本申请实施例中,基于至少两个局部Haar特征值并通过训练后的网络模型进行目标检测处理,得到目标检测结果。在本申请实施例中,训练后的网络模型可以包括:反向传播(Back Propagation,BP)神经网络、支持向量机(Support Vector Machine,SVM)模型以及AdaBoost模型中的任一模型。
本申请实施例提供了一种目标检测的方法,与相关技术中通过积分图特征以及AdaBoost方式进行目标检测相比,本申请实施例中通过获取待处理的图像信息,然后从待处理的图像信息中提取哈尔Haar特征,并将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,然后基于至少两个局部Haar特征值进行目标检测,得到目标检测结果,由于本申请实施例中进行目标检测所依据的局部Haar特征值能够从多个维度表征待处理的图像信息,从而可以提高进行目标检测的准确度,进而可以提升用户体验。
进一步地,步骤S101中获取待处理的图像信息,具体可以包括以下至少一项:从网络中下载待处理的图像信息,以实现获取待处理的图像信息;从本地存储中获取待处理的图像信息;从外部设备中获取待处理的图像信息;实时拍摄以获取待处理的图像信息。在本申请实施例中并不限定于上述介绍的四种实现方式,任意其他获取待处理的图像信息的方式均在本申请实施例的保护范围之内。
本申请实施例的另一种可能的实现方式中,为了提高提取Haar特征的准确度以及提取速度,步骤S102之前还可以包括:对待处理的图像信息进行图像预处理。在本申请实施例中,对待处理的图像信息进行图像预处理的方式可以通过训练后的模型进行处理,也可以不通过训练后的模型进行处理,在本申请实施例中不做限定。
其中,图像预处理的方式包括:感兴趣区域处理、图像噪声去除处理以及图像均衡化处理中的至少一项。
对于本申请实施例,感兴趣区域(Region Of Interest,ROI)。机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域。在Halcon、OpenCV、Matlab等机器视觉软件上可以通过各种算子(Operator)和函数来求得感兴趣区域。
具体地,在本申请实施例中可以通过方法一、方法二以及方法三中的任一方法,对待处理的图像进行感兴趣区域处理:
方法一:使用opencv中Mat函数方法,调用Mat(Rect).setTo方法设置掩模的方式,对待处理的图像进行感兴趣区域处理;
方法二:在全为0的原始掩模中画一个封闭区域,使用漫水填充算法填充封闭区域,将封闭区域的值都设置为255,实现掩模的提取,以对待处理的图像进行感兴趣区域处理;
方法三:将边界转换为轮廓,使用cv::drawContours(mask, contours, -1, cv::Scalar::all(255),CV_FILLED)函数提取感兴趣区域,以实现对待处理的图像进行感兴趣区域处理。
具体地,在本申请实施例中并不限定于以上三种方式对待处理的图像进行感兴趣区域处理,其它任何对待处理的图像进行感兴趣区域处理的方式均在本申请保护范围之内。
具体地,在本申请实施例中可以通过以下方式对待处理的图像信息进行图像噪声去除处理:基于空间域下的滤波器、基于小波域的小波阈值去噪、基于偏微分方程(PDE)的图像去噪、全变分(TV)图像去噪。在本申请实施例中,图像噪声去除处理方式还可以包括其他噪声去除方式,在本申请实施例中不做限定。
具体地,在本申请实施例中,对待处理的图像进行图像均衡化处理的方式可以包括:直方图均衡化处理,还可以包括其他图像均衡化处理方式,
在本申请实施例中不做限定。
进一步地,在对获取到的待处理的图像进行图像预处理之后,步骤S102具体可以包括:通过至少一种尺寸的滑动窗口,从待处理的图像信息中提取滑动窗口内图像信息对应的Haar特征。在本申请实施例中,步骤S102的执行,并不是必须对待处理的图像进行图像预处理。
具体地,在本申请实施例中,通过同一尺寸的滑动窗口,从待处理的图像信息中提取滑动窗口内的图像信息对应的Haar特征;例如,通过n*n的滑动窗口得到每个n*n的图像信息,并得到每个n*n的图像信息中的Haar特征;也可以通过不同的尺寸的滑动窗口,从待处理的图像信息中提取滑动窗口内的图像信息对应的Haar特征,例如,滑动窗口的尺寸可以为16*16,以及24*24。
具体地,从待处理的图像信息中提取哈尔Haar特征,具体可以包括:从预处理后的图像信息中提取Haar特征。在本申请实施例中,从待处理的图像信息中提取Haar特征的方式可以通过训练后模型进行处理,也可以不通过训练后的模型进行处理,在本申请实施例中不做限定。
具体地,从待处理的图像中提取Haar特征的方式,具体可以包括:通过以下公式1计算Haar特征值,其中,
f(x)=(H1)-(H2) 公式1;
其中,x表征待处理的图像信息,f(x)表征待处理的图像信息的Haar特征值,(H1)和(H2)分别表示Haar特征的填充矩形的强度和未填充矩形的强度和。
进一步地,为了减少对待处理的图像信息进行目标检测的过程中的计算量,提升方法的运行效率,步骤S103之前还可以包括:对提取到的Haar特征进行二值化处理,得到二值化处理后的Haar特征。也就是说,在从待处理的图像中提取Haar特征之后,可以对提取到的Haar特征进行二值化处理,得到二值化处理后的Haar特征。
具体地,通过下述公式2对提取到的Haar特征进行二值化处理,得到二值化处理后的Haar特征,其中,
也即,((H1)-(H2))表征Haar特征值,Bin(x)表征二值化处理后的Haar特征值。
具体地,步骤S103中将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,具体可以包括:将二值化处理后的Haar特征进行组合处理,得到至少两个局部Haar特征值。在本申请实施例中,可以通过不同尺寸的滑动窗口,以确定各个窗口内的图像信息分别对应的局部Haar特征值;也可以通过相同尺寸的滑动窗口,以确定各个窗口内的图像信息分别对应的局部Haar特征值。例如,某些局部Haar特征值可以为81*81尺寸的图像信息中对应的局部Haar特征值,某些局部Haar特征值可以为256*256尺寸的图像信息中对应的局部Haar特征值。在本申请实施例中,将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值的方式可以通过训练后模型进行处理,也可以不通过训练后的模型进行处理,在本申请实施例中不做限定。
具体地,提取到的Haar特征为待处理的图像信息中各个滑动窗口内图像信息分别对应的Haar特征;其中,将二值化处理后的Haar特征进行组合处理,得到任一局部Haar特征值,包括:以一个二值化处理后的 Haar 特征为中心点,确定与中心点存在连接关系的至少两个二值化处理后的Haar特征值;将至少两个二值化处理后的Haar特征值进行组合处理,并将组合后的特征值转换为十进制,得到任一局部Haar特征值。
具体地,通过以下步骤,得到任一局部Haar特征值:
S11(图中未示出)、以一个二值化 Haar 特征为中心点,连接 8 个相邻的二值化Haar 特征;
S12(图中未示出)、计算中心点相邻的 8 个二值化 Haar 特征的特征值,其中,与中心点相邻的8个二值化Haar特征的特征值分别表示为:B1、B2、B3、B4、B5、B6、B7以及B8 ;
S13(图中未示出)、根据相邻的8个二值化Haar特征的特征值计算局部Haar特征值,具体地,通过下述公式3计算局部Haar特征值(ABHF):
ABHF=Loc(B1,B2,B3,B4,B5,B6,B7,B8)2 公式3;
其中,(B1,B2,B3,B4,B5,B6,B7,B8)2 表示将其中二进制数值转换成为十进制数,ABHF表征局部Haar特征值。
例如,B1,B2,B3,B4,B5,B6,B7,B8分别为0,1,1,0,1,0,1,0,也即(B1,B2,B3,B4,B5,B6,B7,B8)2为(0,1,1,0,1,0,1,0)2, ABHF=(0,1,1,0,1,0,1,0)2=106,也即,该局部Haar特征值为106。
进一步地,局部Haar特征值可以为整型,因此在通过该图像信息对应的Haar特征值,并通过训练后的模型进行目标检测时,训练后的模型中所利用的所有参数同样为整型。在本申请实施例中,从待处理的图像信息中提取到的局部Haar特征值为整型以及训练后的模型中所利用的所有参数同样为整型,由于整型数据占据的内存较小,从而可以降低目标检测所占用的内存空间,并且可以提升目标检测的处理速度。
进一步地,基于至少两个局部Haar特征值进行目标检测,得到目标检测结果,之后还可以包括:若目标检测结果满足预设条件,则输出满足目标检测结果的图像以及目标检测结果。
其中,目标检测结果包括:目标类型信息以及目标尺寸信息中的至少一项。在本申请实施例中,目标检测结果还可以包括:目标的其他属性信息。例如,若检测目标是车辆信息,则目标的其他属性信息可以包括:车牌号码、车牌颜色以及车身颜色等。
进一步地,在上述实施例中介绍了对待处理的图像信息通过获取至少两个局部Haar特征值,以进行目标检测的方式,本申请实施例中除了可以对图像进行目标检测,还可以对视频流信息进行目标检测。
具体地,步骤S101具体可以包括:获取视频流信息,并从视频流信息中抽取每帧图像信息,作为待处理的图像信息。也就是说,当获取到视频流信息,从视频流信息中抽取各帧图像信息,并将每帧图像信息作为待处理的图像信息,并按照本申请实施例中对待处理的图像信息进行目标检测的方式对视频流信息中的每帧图像均进行目标检测处理。在本申请实施例中,在对每帧图像进行目标检测处理之后,进行运动目标跟踪处理,如满足,检测结果输出,即对检测结果进行抓拍输出,输出当前帧图像、目标类型、目标大小以及目标其他检测属性。在本申请实施例中,运动目标跟踪处理,可以包括:建立跟踪列表,采用最近邻方法实现运动目标匹配与跟踪;其中,在本申请实施例中,对视频流中每帧图像进行目标检测处理的方式和对待处理图像进行目标检测处理的方式相似,不再赘述。
进一步地,针对视频流,基于至少两个局部Haar特征值进行目标检测,得到目标检测结果,之后还可以包括:若目标检测结果满足预设条件,则输出满足目标检测结果的图像以及目标检测结果。
对于本申请实施例,若对某帧图像按照上述目标检测的方式进行目标检测时,若目标检测结果满足预设条件,则输出该帧图像以及目标检测结果。在本申请实施例中,不同的应用场景,其输出目标检测结果的条件(预设条件)也是不相同的,可以是稳定结果输出、触发线输出以及越过线输出等条件。
下述实施例中通过一个具体的实例来介绍目标检测的方法,如图6所示,具体如下所示:
获取模型数据,并基于模型数据对模型进行加载;
当获取到多媒体信息时,该多媒体信息可以为视频流信息或者图像信息,对多媒体信息进行加载,例如,对多媒体信息进行预处理;
当模型加载成功以及多媒体数据加载成功,确定该多媒体信息是否为视频流;
若该多媒体信息不为视频流,则对该多媒体信息(图像信息)进行Haar特征提取、局部Haar特征组合以及目标检测处理,并输出目标检测结果;
若该多媒体信息为视频流,则将该多媒体信息存放在视频流队列中,确定视频流是否结束,若未结束,则抽取视频流队列中的帧图像,对该帧图像进行Haar特征提取、局部Haar特征组合、目标识别与检测以及当前帧结果输出,然后进行运动目标跟踪处理,运动目标检测结果输出;循环执行确定视频流是否结束,从视频帧抽取帧图像,并对该图像进行Haar特征提取,局部Haar特征组合、目标识别与检测,以及当前帧检测结果输出,然后进行运动目标跟踪处理以及运动目标检测结果输出,直至检测到视频流结束。
上述实施例从方法流程的角度介绍一种目标检测的方法,下述实施例从虚拟模块或者虚拟单元的角度介绍了一种目标检测的装置,具体详见下述实施例。
本申请实施例提供一种目标检测的装置,如图2所示,该目标检测的装置20包括:获取模块21、提取模块22、组合处理模块23以及目标检测模块24,其中,
获取模块21,用于获取待处理的图像信息;
提取模块22,用于从待处理的图像信息中提取哈尔Haar特征;
组合处理模块23,用于将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值;
目标检测模块24,用于基于至少两个局部Haar特征值进行目标检测,得到目标检测结果。
本申请实施例的另一种可能的实现方式,获取模块21在获取待处理的图像信息时,具体用于:获取视频流信息,并从视频流信息中抽取每帧图像信息,作为待处理的图像信息。
本申请实施例的另一种可能的实现方式,装置20还包括:二值化处理模块,其中,
二值化处理模块,用于对提取到的Haar特征进行二值化处理,得到二值化处理后的Haar特征;
其中,组合处理模块23在将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值时,具体用于:将二值化处理后的Haar特征进行组合处理,得到至少两个局部Haar特征值。
本申请实施例的另一种可能的实现方式,装置20还包括:图像预处理模块,其中,
图像预处理模块,用于对待处理的图像信息进行图像预处理,图像预处理的方式包括:感兴趣区域处理、图像噪声去除处理以及图像均衡化处理中的至少一项;
其中,提取模块22在从待处理的图像信息中提取哈尔Haar特征时,具体用于:从预处理后的图像信息中提取Haar特征。
本申请实施例的另一种可能的实现方式,提取模块22在从待处理的图像信息中提取哈尔Haar特征时,具体用于:通过至少一种尺寸的滑动窗口,从待处理的图像信息中提取滑动窗口内图像信息对应的Haar特征。
本申请实施例的另一种可能的实现方式,提取到的Haar特征为待处理的图像信息中各个滑动窗口内图像信息分别对应的Haar特征;
组合处理模块23在将二值化处理后的Haar特征进行组合处理,得到任一局部Haar特征值时,具体用于:以一个二值化处理后的 Haar 特征为中心点,确定与中心点存在连接关系的至少两个二值化处理后的Haar特征值;将至少两个二值化处理后的Haar特征值进行组合处理,并将组合后的特征值转换为十进制,得到任一局部Haar特征值。
本申请实施例提供了一种目标检测的装置,与相关技术中通过积分图特征以及AdaBoost方式进行目标检测相比,本申请实施例中通过获取待处理的图像信息,然后从待处理的图像信息中提取哈尔Haar特征,并将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,然后基于至少两个局部Haar特征值进行目标检测,得到目标检测结果,由于本申请实施例中进行目标检测所依据的局部Haar特征值能够从多个维度表征待处理的图像信息,从而可以提高进行目标检测的准确度,进而可以提升用户体验。
本申请实施例提供了一种目标检测的装置,适用于上述方法实施例,在此不再赘述。
本申请实施例中还提供了一种电子设备,如图3所示,图3所示的电子设备300包括:处理器301和存储器303。其中,处理器301和存储器303相连,如通过总线302相连。可选地,电子设备300还可以包括收发器304。需要说明的是,实际应用中收发器304不限于一个,该电子设备300的结构并不构成对本申请实施例的限定。
处理器301可以是CPU(Central Processing Unit,中央处理器),通用处理器,DSP(Digital Signal Processor,数据信号处理器),ASIC(Application SpecificIntegrated Circuit,专用集成电路),FPGA(Field Programmable Gate Array,现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器301也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线302可包括一通路,在上述组件之间传送信息。总线302可以是PCI(Peripheral Component Interconnect,外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture,扩展工业标准结构)总线等。总线302可以分为地址总线、数据总线、控制总线等。为便于表示,图3中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器303可以是ROM(Read Only Memory,只读存储器)或可存储静态信息和指令的其他类型的静态存储设备,RAM(Random Access Memory,随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备,也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。
存储器303用于存储执行本申请方案的应用程序代码,并由处理器301来控制执行。处理器301用于执行存储器303中存储的应用程序代码,以实现前述方法实施例所示的内容。
其中,电子设备包括但不限于:移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等。图3示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
具体地,在本申请实施例中,图3中的处理器301可以为通用处理器、并且无需图像加速模块、图形处理器(Graphics Processing Unit,GPU)、张量处理器(TensorProcessing Unit,TPU)等专用计算资源加持。当然,图3中的处理器301也可以为其他任意处理器,在本申请实施例中对此不进行限定。
具体地,如图4所示,本申请实施例中的电子设备可以为智能网络摄像机,该智能网络摄像头包括透镜(英文全称:LENS)光学镜头1、滤光装置2、图像传感器3、信号采集转换器4、水平垂直(Horizontal Vertical,HV)信号驱动器5、视频编码器6、现场可编程门阵列(Field Programmable Gate Array,FPGA)处理器7、同步动态随机存取内存(SynchronousDynamic Random-Access Memory,SDRAM)存储器8、进阶精简指令集机器(Advanced RISCMachine,ARM)中心处理器9,以及网络接口10、RS485接口11、SHDC接口12、I/O接口13、电源接口14;其中, LENS光学镜头1、图像传感器3、信号采集转换器4、FPGA可编程逻辑处理器7、SDRAM存储器8和ARM中心处理器9依次连接,实现图像采集、存储、分析和处理; FPGA可编程逻辑处理器7、HV信号驱动器5和图像传感器3依次连接,实现对图像传感器3的控制; FPGA可编程逻辑处理器7、视频编码器6和ARM中心处理器9依次连接,实现视频监控和处理; ARM中心处理器9、与网络接口10、RS485接口11、SHDC接口12、I/O接口13并行连接,ARM中心处理器9实现对上述部件的控制,实现与外部系统的数据交互。
具体地,LENS光学镜头1、图像传感器3、信号采集转换器4、HV信号驱动器5、FPGA可编程逻辑处理器7、SDRAM存储器8、视频编码器6和ARM中心处理器9均为通用器件; ARM中心处理器9是一种通用处理器件,其主频800Mhz及以上; ARM中心处理器9,用于执行上述方法实施例。
具体地,FPGA可编程逻辑处理器7通过LENS光学镜头1、图像传感器3、信号采集转换器4将智能网络摄像机C视场的信息按25fps的速度采集上来,再存放在SDRAM存储器8中;ARM中心处理器9按照时间顺序依次从SDRAM存储器8中获取实时图片序列,实时分析与检测目标。例如,实时分析与检测运动车辆;FPGA可编程逻辑处理器7通过HV信号驱动器5对图像传感器3控制,调节图像传感器的曝光时间、增益和白平衡。
例如,在运动车辆行驶过程中,ARM中心处理器9从SDRAM存储器8中获得视频图片序列进行车辆目标检测,然后将检测结果通过网络协议上传给系统管理平台。视频编码器6,可将实时视频编码为H264/H265视频文件,实现实时视频编码、监控功能,再传给ARM中心处理器9进行相应处理。
本申请实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,当其在计算机上运行时,使得计算机可以执行前述方法实施例中相应内容。与相关技术相比,本申请实施例中通过获取待处理的图像信息,然后从待处理的图像信息中提取哈尔Haar特征,并将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,然后基于至少两个局部Haar特征值进行目标检测,得到目标检测结果,由于本申请中进行目标检测所依据的局部Haar特征值能够从多个维度表征待处理的图像信息,从而可以提高进行目标检测的准确度,进而可以提升用户体验。
进一步地,在本申请实施例中还提供了一种芯片系统,包括至少一个处理器,当程序指令在至少一个处理器中执行,用于执行以上方法实施例所示的操作。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (9)
1.一种目标检测的方法,其特征在于,包括:
获取待处理的图像信息;
从所述待处理的图像信息中提取哈尔Haar特征;
将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值;
基于所述至少两个局部Haar特征值进行目标检测,得到目标检测结果;
其中,所述从所述待处理的图像信息中提取哈尔Haar特征,包括:
通过至少两种不同尺寸的滑动窗口,从所述待处理的图像信息中提取所述滑动窗口内图像信息对应的Haar特征。
2.根据权利要求1所述的方法,其特征在于,所述获取待处理的图像信息,包括:
获取视频流信息,并从所述视频流信息中抽取每帧图像信息,分别作为所述待处理的图像信息。
3.根据权利要求1或2所述的方法,其特征在于,所述将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,之前还包括:
对所述提取到的Haar特征进行二值化处理,得到二值化处理后的Haar特征;
其中,所述将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值,包括:
将所述二值化处理后的Haar特征进行组合处理,得到至少两个局部Haar特征值。
4.根据权利要求1或2所述的方法,其特征在于,所述从所述待处理的图像信息中提取哈尔Haar特征,之前还包括:
对所述待处理的图像信息进行图像预处理,所述图像预处理的方式包括:感兴趣区域处理、图像噪声去除处理以及图像均衡化处理中的至少一项;
其中,所述从所述待处理的图像信息中提取哈尔Haar特征,包括:
从预处理后的图像信息中提取Haar特征。
5.根据权利要求1所述的方法,其特征在于,所述提取到的Haar特征为所述待处理的图像信息中各个滑动窗口内图像信息分别对应的Haar特征;
将二值化处理后的Haar特征进行组合处理,得到任一局部Haar特征值,包括:
以一个二值化处理后的 Haar 特征为中心点,确定与所述中心点存在连接关系的至少两个二值化处理后的Haar特征值;
将所述至少两个二值化处理后的Haar特征值进行组合处理,并将组合后的特征值转换为十进制,得到所述任一局部Haar特征值。
6.根据权利要求2所述的方法,其特征在于,所述基于所述至少两个局部Haar特征值进行目标检测,得到目标检测结果,之后还包括:
若所述目标检测结果满足预设条件,则输出满足所述目标检测结果的帧图像以及所述目标检测结果;
其中,所述目标检测结果包括:目标类型信息以及目标尺寸信息中的至少一项。
7.一种目标检测的装置,其特征在于,包括:
获取模块,用于获取待处理的图像信息;
提取模块,用于从所述待处理的图像信息中提取哈尔Haar特征;
组合处理模块,用于将提取到的Haar特征进行组合处理,得到至少两个局部Haar特征值;
目标检测模块,用于基于所述至少两个局部Haar特征值进行目标检测,得到目标检测结果;
所述提取模块在从待处理的图像信息中提取哈尔Haar特征时,具体用于:通过至少两种不同尺寸的滑动窗口,从待处理的图像信息中提取滑动窗口内图像信息对应的Haar特征。
8.一种电子设备,其特征在于,该电子设备包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行,一个或多个程序配置用于:执行权利要求1-6任一项所述的目标检测的方法。
9.一种计算机可读存储介质,其特征在于,包括:存储有能够被处理器加载并执行如权利要求1-6任一项所述的方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110833468.9A CN113283430B (zh) | 2021-07-23 | 2021-07-23 | 目标检测的方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110833468.9A CN113283430B (zh) | 2021-07-23 | 2021-07-23 | 目标检测的方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113283430A CN113283430A (zh) | 2021-08-20 |
CN113283430B true CN113283430B (zh) | 2022-12-27 |
Family
ID=77286991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110833468.9A Active CN113283430B (zh) | 2021-07-23 | 2021-07-23 | 目标检测的方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113283430B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104298969A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 基于颜色与haar特征融合的人群规模统计方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007293438A (ja) * | 2006-04-21 | 2007-11-08 | Omron Corp | 特徴量取得装置 |
CN101609509B (zh) * | 2008-06-20 | 2012-02-15 | 中国科学院计算技术研究所 | 一种基于预分类器的图像物体检测方法及系统 |
CN105335748B (zh) * | 2014-08-07 | 2018-10-12 | 株式会社理光 | 图像特征提取方法和系统 |
CN105740748A (zh) * | 2014-09-19 | 2016-07-06 | 江苏慧眼数据科技股份有限公司 | 基于累积二元组合的Haar特征的行人检测方法 |
CN105760826B (zh) * | 2016-02-03 | 2020-11-13 | 歌尔股份有限公司 | 一种人脸跟踪方法、装置和智能终端 |
CN112070117A (zh) * | 2020-08-06 | 2020-12-11 | 武汉理工大学 | 一种皮带撕裂检测方法、设备及存储介质 |
-
2021
- 2021-07-23 CN CN202110833468.9A patent/CN113283430B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104298969A (zh) * | 2014-09-25 | 2015-01-21 | 电子科技大学 | 基于颜色与haar特征融合的人群规模统计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113283430A (zh) | 2021-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108875535B (zh) | 图像检测方法、装置和系统及存储介质 | |
CN108875537B (zh) | 对象检测方法、装置和系统及存储介质 | |
US10062195B2 (en) | Method and device for processing a picture | |
CN111626163B (zh) | 一种人脸活体检测方法、装置及计算机设备 | |
CN111861938B (zh) | 图像去噪方法、装置、电子设备及可读存储介质 | |
CN110766007A (zh) | 证件遮挡检测方法、装置、设备及可读存储介质 | |
CN110232381B (zh) | 车牌分割方法、装置、计算机设备及计算机可读存储介质 | |
CN111563517A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN111126248A (zh) | 一种遮挡下的车辆识别方法及装置 | |
CN117315406B (zh) | 一种样本图像处理方法、装置及设备 | |
CN113205011B (zh) | 图像掩膜确定方法及装置、存储介质和电子设备 | |
CN112101139B (zh) | 人形检测方法、装置、设备及存储介质 | |
CN113283430B (zh) | 目标检测的方法、装置、电子设备及计算机可读存储介质 | |
WO2023185646A1 (en) | Systems and methods for image processing | |
CN110222652B (zh) | 行人检测方法、装置及电子设备 | |
CN113792671B (zh) | 人脸合成图像的检测方法、装置、电子设备及介质 | |
CN113538337B (zh) | 检测方法、检测装置及计算机可读存储介质 | |
CN113239738B (zh) | 一种图像的模糊检测方法及模糊检测装置 | |
CN113421317B (zh) | 一种生成图像的方法、系统及电子设备 | |
CN115829911A (zh) | 检测系统的成像一致性的方法、装置和计算机存储介质 | |
CN113628148A (zh) | 红外图像降噪方法和装置 | |
CN109493349B (zh) | 一种图像特征处理模块、增强现实设备和角点检测方法 | |
CN113365027B (zh) | 视频处理方法及装置、电子设备和存储介质 | |
CN115187918B (zh) | 一种监控视频流中移动物体的识别方法及系统 | |
WO2022224638A1 (ja) | 情報処理装置、情報処理方法、及び制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |