CN116363392A - 目标检测方法、装置、电子设备和存储介质 - Google Patents
目标检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116363392A CN116363392A CN202211567234.5A CN202211567234A CN116363392A CN 116363392 A CN116363392 A CN 116363392A CN 202211567234 A CN202211567234 A CN 202211567234A CN 116363392 A CN116363392 A CN 116363392A
- Authority
- CN
- China
- Prior art keywords
- image
- target detection
- feature
- detection result
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 263
- 238000000605 extraction Methods 0.000 claims abstract description 47
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 33
- 239000013598 vector Substances 0.000 claims description 53
- 238000000691 measurement method Methods 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 6
- 238000004891 communication Methods 0.000 description 16
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000004927 fusion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- UDHXJZHVNHGCEC-UHFFFAOYSA-N Chlorophacinone Chemical compound C1=CC(Cl)=CC=C1C(C=1C=CC=CC=1)C(=O)C1C(=O)C2=CC=CC=C2C1=O UDHXJZHVNHGCEC-UHFFFAOYSA-N 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种目标检测方法、装置、电子设备和存储介质,属于图像处理技术领域,所述目标检测方法包括:获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;对所述目标检测结果进行负例过滤,得到目标用户对应的检测结果,所述目标用户对应的图像检索特征库是通过对所述目标用户确定的负例图像进行预处理和特征提取得到的。本发明通过无需单独针对目标用户定制目标检测模型,只需要根据目标用户对应的图像检索特征库对目标检测结果进行负例过滤,即可实现针对目标用户定义的目标检测事件得到检测结果,可提高目标检测的效率并降低实现成本。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种目标检测方法、装置、电子设备和存储介质。
背景技术
目标检测是计算机视觉和数字图像处理的一个热门方向,广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域,通过计算机视觉减少对人力资本的消耗,具有重要的现实意义。目标检测的基本任务是需要判别图片中被检测的目标类别,同时需要使用矩形边界框来确定目标的所在位置及大小,并给出相应的置信度。作为计算机视觉领域的一个基本问题目标检测也是许多计算机视觉任务如图像分割、目标追踪、图像描述的基础。
在现实生活中,存在一种主观目标检测场景,以城管违规事件为例,有的用户认为在路边摆放桌椅属于城管违规事件,需要及时检出,以便执法人员做出相应处理,有的用户认为这不属于违规事件,不应该被检出。并且,用户无法一次描述出所有应该检出的事件(正例)和不该检出的事件(负例)。目前现有的技术均为每个用户单独定制检测模型,同时每次用户变更需求时,均需针对用户需求重新单独定制检测模型,效率低且成本高。
发明内容
本发明提供一种目标检测方法、装置、电子设备和存储介质,用以解决现有技术中为每个用户单独定制检测模型,效率低且成本高的问题。
本发明提供一种目标检测方法,包括:
获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;
基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到所述目标用户对应的检测结果,所述目标用户对应的图像检索特征库是通过对所述目标用户确定的负例图像进行预处理和特征提取得到的。
根据本发明提供的一种目标检测方法,所述基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到所述目标用户对应的检测结果,包括:
对所述目标检测结果进行预处理和特征提取,得到所述目标检测结果对应的第一图像特征;
在所述目标用户对应的图像检索特征库中查找与所述第一图像特征的相似度超过预设阈值的第二图像特征;
若存在所述第二图像特征,则不输出所述目标检测结果;或者,若不存在所述第二图像特征,则输出所述目标检测结果。
根据本发明提供的一种目标检测方法,所述目标检测方法还包括:
获取所述目标用户确定的负例图像,构建图像数据集;
遍历所述图像数据集,对所述图像数据集中的每一图像进行所述预处理和特征提取,得到所述每一图像对应的特征向量或矩阵;
将所述每一图像对应的特征向量或矩阵与所述每一图像相关联,得到所述目标用户对应的图像检索特征库。
根据本发明提供的一种目标检测方法,所述对所述目标检测结果进行预处理和特征提取,得到所述目标检测结果对应的第一图像特征,包括:
对所述目标检测结果进行预处理,所述预处理包括:增强对比度和去除噪声;
对经过所述预处理的目标检测结果进行尺度不变特征变换SIFT特征提取,得到所述目标检测结果对应的SIFT特征,对经过所述预处理的目标检测结果进行高层语义特征提取,得到所述目标检测结果对应的高层语义特征;
融合所述SIFT特征和高层语义特征,得到所述目标检测结果对应的第一图像特征。
根据本发明提供的一种目标检测方法,所述对经过所述预处理的目标检测结果进行尺度不变特征变换SIFT特征提取,得到所述目标检测结果对应的SIFT特征,包括:
构建尺度空间;
确定所述经过所述预处理的目标检测结果中的特征点,并去除所述特征点中对比度低的极值点和不稳定的边缘响应点,并结合随机抽样一致性算法,剔除所述特征点中具有重大误差的极值点,得到第一特征点集合;
确定所述第一特征点集合中的各特征点方向,并旋转所述第一特征点集合中的各特征点,得到所述目标检测结果对应的SIFT特征。
根据本发明提供的一种目标检测方法,所述对经过所述预处理的目标检测结果进行高层语义特征提取,得到所述目标检测结果对应的高层语义特征,包括:
将经过所述预处理的目标检测结果输入至CNN特征提取网络进行高层语义特征提取;
获取所述CNN特征提取网络的全连接层的输出向量,得到所述目标检测结果对应的高层语义特征。
根据本发明提供的一种目标检测方法,所述在所述目标用户对应的图像检索特征库中查找与所述第一图像特征的相似度超过预设阈值的第二图像特征,包括:
基于预设相似性度量方法,计算所述第一图像特征与所述图像检索特征库中每一图像对应的特征向量或矩阵之间的相似度;
判断是否存在第二图像对应的特征向量或矩阵与所述第一图像特征的相似度超过所述预设阈值;
若存在,则确定所述第二图像对应的特征向量或矩阵为第二图像特征;
其中,所述预设相似性度量方法包括:二次式距离度量方法、曼哈顿距离度量方法、欧式距离度量方法或余弦相似度度量方法。
本发明还提供一种目标检测装置,包括:
目标检测单元,用于获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;
负例过滤单元,用于对所述目标检测结果进行负例过滤,得到目标用户对应的检测结果。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述的目标检测方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述的目标检测方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的目标检测方法。
本发明提供的目标检测方法、装置、电子设备和存储介质,通过对待检测图像进行目标检测,得到目标检测结果,然后基于目标用户对应的图像检索特征库对目标检测结果进行负例过滤,无需单独针对目标用户定制目标检测模型,只需要根据目标用户对应的图像检索特征库对目标检测结果进行负例过滤,即可实现针对目标用户定义的目标检测事件得到检测结果,可提高目标检测的效率并降低实现成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的目标检测方法可运行的应用环境图;
图2为本发明提供的目标检测方法的流程示意图;
图3为本发明实施例提供的对目标检测结果进行负例过滤的流程示意图;
图4为本发明实施例提供的对目标检测结果进行预处理和特征提取的流程示意图;
图5为本发明实施例提供的对经过预处理的目标检测结果进行SIFT特征提取的流程示意图;
图6为本发明实施例提供的目标检测装置的结构示意图;
图7为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”所区别的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”一般表示前后关联对象是一种“或”的关系。
现有技术中均为每个用户单独定制检测模型,同时每次用户变更需求时,均需针对用户需求重新单独定制检测模型,效率低且成本高。为此,本发明提供了目标检测方法、装置、电子设备和存储介质,通过对待检测图像进行目标检测,得到目标检测结果,然后基于目标用户对应的图像检索特征库对目标检测结果进行负例过滤,无需单独针对目标用户定制目标检测模型,只需要根据目标用户对应的图像检索特征库对目标检测结果进行负例过滤,即可实现针对目标用户定义的目标检测事件得到检测结果,可提高目标检测的效率并降低实现成本。
图1为本发明实施例提供的目标检测方法可运行的应用环境图。如图1所示,该应用环境包括终端110和服务器120,终端110和服务器120之间通过网络进行通信,通信网络可以是无线通信网络或者有线通信网络,其中终端和服务器的个数不限。上述无线通信网络可以包括但不限于以下至少之一:WIFI(Wireless Fidelity,无线保真),蓝牙,上述有线通信网络可以包括但不限于以下至少之一:广域网,城域网,局域网。
在一些实施例中,终端110(终端设备)包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备,例如,手机、平板、台式笔记本以及可以运行应用程序的智能设备,包括智能汽车的中央控制台等。具体可以指用户设备(user equipment,UE)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。终端设备还可以是卫星电话、蜂窝电话、智能手机、无线数据卡、无线调制解调器、机器类型通信设备、可以是无绳电话、会话启动协议(session initiation protocol,SIP)电话、无线本地环路(wireless local loop,WLL)站、个人数字处理(personal digital assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备或可穿戴设备,虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、5G网络或者未来通信网络中的终端设备等。终端可以由电池供电,还可以附接到车辆或者船舶的电源系统,并由车辆或者船舶的电源系统供电。车辆或者船舶的电源系统还可以为终端的电池充电,以延长终端的通信时间。
服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
需要说明的是,本发明中目标检测方法的实现既可以直接在终端110上完成,也可以直接在服务器120上完成,也可以在服务器120上完成后,由服务器120将处理结果发送至终端110。
图2为本发明提供的目标检测方法的流程示意图。如图2所示,提供了一种目标检测方法,以该方法应用于图1中的终端为例进行说明,包括以下步骤:步骤210和步骤220。
步骤210、获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;
可选地,待检测图像可以是待检测视频中的一帧或多帧图像,也可以是摄像头或相机拍摄的一帧或多帧图像。
目标检测是指在待检测图像上,使用矩形边界框确定目标所在的位置及大小,因此,目标检测结果可以理解为包含有矩形边界框的图像。
可选地,对所述待检测图像进行目标检测,得到目标检测结果,包括:
将待检测图像输入目标检测模型,获取所述目标检测模型输出的目标检测结果。
需要说明的是,本发明不对目标检测模型进行限定。也不限定目标检测结果的具体类型。
通过目标检测模型检出待检测图像中的所有疑似目标,然后基于目标用户对目标的需求,对所有疑似目标进行负例过滤,从而最终得到该目标用户对应的检测结果,该目标用户对应的检测结果去除了该目标用户认为的负例。
如城管违规事件检测中,有的用户认为路边摆放的桌椅不需要检出,则针对该用户,需要把该类检出图片作为负例筛选出来;有的用户认为路边摆放的桌椅有碍市容,需要将其检出,则针对该用户,就应该保留该检测结果作为正例保留下来。
步骤220、基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到所述目标用户对应的检测结果。
所述目标用户对应的图像检索特征库是通过对所述目标用户确定的负例图像进行预处理和特征提取得到的。
其中,目标用户确定的负例图像是经用户主观判断的目标检测结果中的负例图像。通过对所述目标用户确定的负例图像进行预处理和特征提取,得到多个特征,组成图像检索特征库。
可以理解,图像检索特征库是针对目标用户的,不同用户对应的图像检索特征库可能不同,也可能相同,取决于不同用户对于目标检测事件的定义是否相同。此处,目标检测事件是指检测出的目标属于用户认定的正例,即应该检出的事件。
对于目标检测结果中的一查询图像,对该查询图像进行相同的预处理和特征提取,得到查询图像的特征,根据合适的相似度度量方法与图像检索特征库中的各特征计算相似度,当相似度超过预设阈值,则认为该查询图像属于目标用户定义的负例,从而不输出该查询图像,实现在目标检测结果中过滤用户定义的负例。
本发明通过利用目标用户对应的图像检索特征库,实现了对目标检测结果进行负例过滤。
进一步地,可以将筛选出来的负例图像的特征存入图像检索特征库。
在本发明实施例中,通过对待检测图像进行目标检测,得到目标检测结果,然后基于目标用户对应的图像检索特征库对目标检测结果进行负例过滤,不需要修改目标检测模型,就可以有效过滤用户不需要被检出的负例图像,无需单独针对目标用户定制目标检测模型,只需要根据目标用户对应的图像检索特征库对目标检测结果进行负例过滤,即可实现针对目标用户定义的目标检测事件得到检测结果,当用户需求发生变化时,相比于为用户单独定制目标检测模型,能够迅速响应用户需求,降低成本,提高检出准确率,可极大地提升用户的体验感。
图3为本发明实施例提供的对目标检测结果进行负例过滤的流程示意图。在一些实施例中,如图3所示,所述步骤220,包括:
步骤221、对所述目标检测结果进行预处理和特征提取,得到所述目标检测结果对应的第一图像特征;
由于图像可能受到噪声、色差、亮度等因素的影响,导致图片提取出的特征质量下降,它会影响后续基于图像特征进行图像检索的效果。为了解决这一问题,本发明首先对目标检测结果进行预处理。
在本实施例中,预处理包括增强对比度和去除噪声,也可以采用其他可以提高图像特征提取质量的方法,本发明对此不作限制。
图像特征提取,就是识别出能够代表图像的某些信息,比如图片中的物体、风景或者是其他事物,不同的颜色或者是不同的纹理,将这些特征提取出来之后可以作为检索匹配的标签。本实施例不对特征提取的方式作限制。
步骤222、在所述目标用户对应的图像检索特征库中查找与所述第一图像特征的相似度超过预设阈值的第二图像特征;
即采用合适的相似度度量方法,计算第一图像特征与所述目标用户对应的图像检索特征库中各特征的相似度,查找与所述第一图像特征的相似度超过预设阈值的第二图像特征。
步骤223、若存在所述第二图像特征,则不输出所述目标检测结果;或者,若不存在所述第二图像特征,则输出所述目标检测结果。
若存在所述第二图像特征,即第一图像特征与第二图像特征的相似度超过预设阈值,则认为该第一图像特征对应的目标检测结果属于目标用户定义的负例,从而不输出该第一图像特征对应的目标检测结果,实现在目标检测结果中过滤用户定义的负例。
若不存在所述第二图像特征,则第一图像特征与图像检索特征库中各特征的相似度均不超过预设阈值,则认为该第一图像特征对应的目标检测结果不属于目标用户定义的负例,从而不过滤该第一图像特征对应的目标检测结果,输出该第一图像特征对应的目标检测结果。
在本发明实施例中,基于目标用户对应的图像检索特征库对目标检测结果进行负例过滤,不需要修改目标检测模型,就可以有效过滤用户不需要被检出的负例图像,能够迅速响应用户需求,降低成本,提高检出准确率。
在一些实施例中,所述目标检测方法还包括:构建所述目标用户对应的图像检索特征库。
可选地,构建所述目标用户对应的图像检索特征库,包括:
获取所述目标用户确定的负例图像,构建图像数据集;
遍历所述图像数据集,对所述图像数据集中的每一图像进行所述预处理和特征提取,得到所述每一图像对应的特征向量或矩阵;
将所述每一图像对应的特征向量或矩阵与所述每一图像相关联,得到所述目标用户对应的图像检索特征库。
可以理解,构建目标用户对应的图像检索特征库的主要步骤如下:首先,获取所述目标用户确定的负例图像,构建图像数据集,然后遍历图像数据集,对图像数据集中的每一图像进行如步骤221中的预处理和特征提取,得到所述每一图像对应的特征向量或矩阵,然后将每一图像对应的特征向量或矩阵与原图像(即每一图像自身)相关联,也就是建立图像与其特征向量或矩阵之间的映射关系,利用提取出的特征向量或者矩阵,作为整个图像的标签,从而,构建了所述目标用户对应的图像检索特征库。
在本发明实施例中,通过构建所述目标用户对应的图像检索特征库,基于目标用户对应的图像检索特征库对目标检测结果进行负例过滤,不需要修改目标检测模型,就可以有效过滤用户不需要被检出的负例图像,能够迅速响应用户需求,降低成本,提高检出准确率。
图4为本发明实施例提供的对目标检测结果进行预处理和特征提取的流程示意图。在一些实施例中,如图4所示,所述步骤221,包括:
步骤2211、对所述目标检测结果进行预处理,所述预处理包括:增强对比度和去除噪声;
步骤2212、对经过所述预处理的目标检测结果进行尺度不变特征变换SIFT特征提取,得到所述目标检测结果对应的SIFT特征,对经过所述预处理的目标检测结果进行高层语义特征提取,得到所述目标检测结果对应的高层语义特征;
由于单一特征通常是从图像的某一方面的特性表达图像内容,忽略了图像其他方面的属性,导致对图像的表达不够准确。为了充分地表达图像内容,可以利用具有互补性的特征进行融合,可以达到更好的效果。因此本发明基于单一特征表达力不足的问题,采用多特征融合的方案选取合适的图像特征进行融合,作为图像的特征向量。
在多特征融合时,本发明更注重的是各种单一特征的优势互补,而非越多越好,从而可避免无意义的特征堆积和信息冗余。本发明选取的特征为尺度不变特征变换(Scale-invariant feature transform,SIFT)特征和高层语义特征。
SIFT特征提取通过对SIFT描述子聚类,构建视觉单词,提取出具有区分性的表示,属于底层特征。
高层语义特征提取可以将输入的图像变成固定长度的向量,获得图像的高层语义特征,本实施例对高层语义特征提取的方法不作限制。
SIFT特征和高层语义特征的侧重点不同,SIFT具有良好的稳定性和通用性,不易受外界条件所影响,但本身缺乏高层语义信息。高层语义特征反映了图像的高层语义信息,可以实现更好的检索效果,但对数据集的要求较高,忽略整体和局部之间的联系,在图像检索中仍然存在一定的问题。两种特征属于不同层次,并且具有互补性,可以进行特征融合。
步骤2213、融合所述SIFT特征和高层语义特征,得到所述目标检测结果对应的第一图像特征。
可选地,可以将SIFT特征和高层语义特征进行拼接来实现特征融合,也可以将SIFT特征和高层语义特征进行加权求和来实现特征融合,也可以采用其他特征融合手段,本发明对此不作限制。
需要说明的是,构建所述目标用户对应的图像检索特征库时,对图像数据集中的每一图像进行预处理和特征提取的方法与本实施例步骤2211至步骤2213相同。
在本发明实施例中,通过对经过预处理的目标检测结果进行尺度不变特征变换SIFT特征提取和高层语义特征提取,并将提取出来的SIFT特征和高层语义特征进行融合,可以有效提升特征匹配的精度,从而能够有效过滤用户不需要被检出的负例图像,提高检出准确率。
在一些实施例中,如图5所示,所述对经过所述预处理的目标检测结果进行尺度不变特征变换SIFT特征提取,得到所述目标检测结果对应的SIFT特征,包括:
步骤500、构建尺度空间;
图像的尺度空间可以表示为:
L(x,y,σ)=G(x,y,σ)*I(x,y)
其中,L(x,y,σ)即为该尺度下尺度空间的函数表示,G(x,y,σ)表示一个尺度变化的高斯函数,I(x,y)表示经过所述预处理的目标检测结果,简称为图像,其中,“*”表示在x和y方向上进行卷积操作。
G(x,y,σ)的具体公式为:
其中,(x,y)代表图像中位于某处的点。σ即尺度空间参数,σ不同,图像的模糊程度不同。σ的值越小,代表要表达的图像越高清,观测图像时细节信息就可以更好地被观测到。
但是,由于LoG的检测效率不高,为提高检测效率,使用高斯差分DoG金字塔代替LoG检测的方法。其中,具体的计算如下:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,0))*I(x,y)
=L(x,y,kσ)-L(x,y,σ)
式中,D(x,y,σ)表示需要提取SIFT特征的图像,k表示需要提取SIFT特征的图像与其相邻尺度空间的倍数。
步骤510、确定所述经过所述预处理的目标检测结果中的特征点,并去除所述特征点中对比度低的极值点和不稳定的边缘响应点,并结合随机抽样一致性算法,剔除所述特征点中具有重大误差的极值点,得到第一特征点集合;
SIFT特征点是属于DoG空间的局部极值点,其中极值点的搜索和确定需要在相邻的尺度空间中来进行,为了提高特征点的可靠性和提升特征匹配的速度和精度,需要对提取的空间极值点按照一定方法进行删除,本发明结合随机抽样一致性算法(Random SampleConsensus,Ransac)将具有重大误差的极值点剔除。具体包括以下步骤:
(a)去除对比度低的极值点,精确关键点位置
利用三维二次公式对LoG函数进行曲线拟合,展开式如下
其中,x指图像中位于某处的像素点,X指这个点周围的26个像素点。
通过对上式进行求导,令求导后的式子等于零,获得极值点:
极值点对应的方程式为:
设定一个阈值,如果D(x)大于阈值,则保留该点。反之如果小于阈值,将该极值点是为对比度低的极值点,剔除该点。
(b)去除不稳定的边缘响应点
边缘区域的点具有决策性很差,并且易受噪音的影响,而高斯差分函数会在边缘区域产生强烈的响应,所以要去除具有这种性质的点。通过极值点的曲率可以判断该点是否为边缘点,边缘响应点的主曲率通常具有一种性质:主曲率在横跨边缘很大,在垂直边缘较小。主曲率通过二阶Hessian矩阵求出:
式中,H的特征值α和β分别代表x和y方向的梯度,即有:
Tr(H)=Dxx+Dyy=a+β
Det(H)=DxxDyy-(Dxy)2=αβ
其中,r为特征值α和β的比值。
当下式成立时,保留该极值点,反之,把该极值点看做边缘响应点,剔除:
(c)结合Ransaca算法剔除重大误差的特征点
如果直接使用SIFT算法提取的图像特征点进行特征匹配,得到的效果并不好,原因是每张图片提取出来的特征点都有一些偏差,本发明加入了Ransac算法来将每一张图片提取出来的具有重大误差的特征点进行去除,对经过算法处理后留下的特征点再进行特征匹配。其中,Ransac算法的实现步骤如下:
①假设要将P个数据点{x1,x2,…,xn}拟合一个至少n个点决定的模型(p>=n,对于圆来说n=3);
②设迭代计数k=1;
③从p中随机选择n个点拟合一个模型,记为M1,n在一开始为3,之后会越来越大;
④给定容限误差,计算数据点{x1,x2,…,xn}中相对模型的残差在偏差内的个数,如果内点个数大于阈值t,算法终止,之后可以根据内点集合重新拟合模型(可以使用最小二乘法或其变种);
⑤设k=k+1,如果k小于预先设定的k,则重复步骤3,新的内点集合和模型分别记为s1*和M1*,否则采用具有当前内点最多的点集模型,或者算法失败。
Ransac算法和SIFT算法结合有很大的优势,能够剔除图像中噪声干扰点,二者结合大大增强了SIFT算法的特征匹配能力,使得SIFT算法有了更好的鲁棒性。
步骤520、确定所述第一特征点集合中的各特征点方向,并旋转所述第一特征点集合中的各特征点,得到所述目标检测结果对应的SIFT特征。
以上方法可以确定图像的特征点,但是为了提高算法的匹配精度和增强算法的鲁棒性,还需要为确定好的特征点确定一个方向,像素梯度的模值m(x,y)和幅角θ(x,y)分别为:
其中,L(x,y)为像素点(x,y)的方向。
进一步地,为了使生成的特征向量具有更好的鲁棒性,还需要对生成特征点的坐标轴进行旋转,进行旋转时选取的邻域半径为r,r的计算方式如下:
旋转后的新坐标为:
其中,σ为尺度空间参数,d为常量,可以为4。
在本发明实施例中,通过将Ransac算法和SIFT算法结合,可以有效提升特征匹配的速度、精度,增强算法的鲁棒性,从而能够有效过滤用户不需要被检出的负例图像,提高检出准确率。
在一些实施例中,所述对经过所述预处理的目标检测结果进行高层语义特征提取,得到所述目标检测结果对应的高层语义特征,包括:
将经过所述预处理的目标检测结果输入至CNN特征提取网络进行高层语义特征提取;
获取所述CNN特征提取网络的全连接层的输出向量,得到所述目标检测结果对应的高层语义特征。
可选地,本发明通过卷积神经网络(Convolutional Neural Networks,CNN)来实现高层语义特征提取。CNN特征提取通过卷积,池化等一系列处理,将输入的图像变成固定长度的向量,可以获得图像的高层语义特征。
可选地,由于ResNet网络通过残差结构避免了深层网络中的退化问题,并且通过批量归一化(Batch Normalization,BN)层解决梯度消失和梯度爆炸的问题,在多个视觉任务中表现良好,因此本发明实施例采用ResNet50作为CNN特征提取网络。整个网络结构分为50层,由4个大模块组成:第1个大模块有3个小模块,第2个大模块有4个小模块,第3个大模块有6个小模块,第4个大模块有3个小模块,其中每个小模块都由3个卷积核组成,再加上网络第一层卷积层和网络最后一层全连接层,构成了50层网络结构。
将所有的负例图像批量输送到预先训练好的ResNet50模型中,图像的高层语义特征向量为ResNet50模型的最后一层全连接层的输出向量,然后将SIFT特征向量和该高层语义特征向量进行特征融合,组成包含图片底层和高层语义信息的完整的特征向量,存储图像检索特征库中,再将目标检测结果的特征向量与图像检索特征库中的特征进行相似度计算,获取目标检测结果与图像检索特征库中负例图像的相似度,即可完成负例图像的过滤。
在本发明实施例中,通过CNN特征提取实现对目标检测结果的高层语义特征提取,然后与SIFT特征进行融合,可以有效提升特征匹配的速度、精度,从而能够有效过滤用户不需要被检出的负例图像,提高检出准确率。
在一些实施例中,所述步骤222,包括:
基于预设相似性度量方法,计算所述第一图像特征与所述图像检索特征库中每一图像对应的特征向量或矩阵之间的相似度;
判断是否存在第二图像对应的特征向量或矩阵与所述第一图像特征的相似度超过所述预设阈值;
若存在,则确定所述第二图像对应的特征向量或矩阵为第二图像特征;
其中,所述预设相似性度量方法包括:二次式距离度量方法、曼哈顿距离度量方法、欧式距离度量方法或余弦相似度度量方法。
图像相似度的衡量也就是特征向量之间的比较,将特征向量看作多维空间的一点,通过合适的度量方法计算点之间的距离,根据不同的场景需要选择不同的相似性度量方法,可用的相似性度量方法包括二次式距离、曼哈顿距离、欧式距离以及余弦相似度。
(1)欧式距离是常见的距离度量方法,可以得到两个向量在欧式空间下的绝对距离。当图像提取出的特征满足下面两个条件时:(a)特征向量各分量之间是正交的;(b)特征向量各维数的重要程度相同,则可以采用欧氏距离计算特征向量之间的距离,向量A和向量B的欧式距离计算方法如下:
在上式中,N为图像特征向量的维数。
(2)二次式距离主要应用于利用颜色直方图提取图像特征的图像检索中,因为在颜色相似度方面,二次式距离考虑的比较全面,可以较好地表示不同颜色之间的距离差距。对于任意的两个颜色直方图C和D,二次式距离D的计算方法如下:
D=(C-D)TA(C-D)
其中,A是一个对称矩阵,A=[aij],aij表达的是颜色之间的相似性。
(3)曼哈顿距离,是计算两个点投射到坐标轴上所形成的线段距离和。通常两点间的曼哈顿距离会随着坐标轴的变动而发生改变。假设存在两个二维的点i(x1,y1),j(x2,y2),那么两点之间的曼哈顿距离计算方法如下:
D(i,j)=|x1-x2|+|y1-y2|
(4)余弦相似度,通常应用于高维特征空间中,与向量的大小无关联,只衡量向量之间方向的相似度。首先将特征向量映射到相应的特征空间之中,然后计算两个向量之间的夹角的余弦值,对比向量之间的相似度。计算公式如下:
其中,D(A,B)的取值范围在0到1之间。用于相似度测量时,值越大代表两张图像相似度越高。
在本发明实施例中,根据不同的场景需要选择不同的相似性度量方法,在目标用户对应的图像检索特征库中查找与第一图像特征的相似度超过预设阈值的第二图像特征,从而能够有效过滤用户不需要被检出的负例图像,提高检出准确率。
下面对本发明提供的目标检测装置进行描述,下文描述的目标检测装置与上文描述的目标检测方法可相互对应参照。
图6为本发明实施例提供的目标检测装置的结构示意图,如图6所示,该装置包括:目标检测单元610和负例过滤单元620,其中,
目标检测单元610,用于获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;
负例过滤单元620,用于基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到目标用户对应的检测结果,所述目标用户对应的图像检索特征库是通过对所述目标用户确定的负例图像进行预处理和特征提取得到的。
可选地,所述基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到所述目标用户对应的检测结果,包括:
对所述目标检测结果进行预处理和特征提取,得到所述目标检测结果对应的第一图像特征;
在所述目标用户对应的图像检索特征库中查找与所述第一图像特征的相似度超过预设阈值的第二图像特征;
若存在所述第二图像特征,则不输出所述目标检测结果;或者,若不存在所述第二图像特征,则输出所述目标检测结果。
可选地,所述目标检测装置还包括:特征库构建单元,所述特征库构建单元用于:
获取所述目标用户确定的负例图像,构建图像数据集;
遍历所述图像数据集,对所述图像数据集中的每一图像进行所述预处理和特征提取,得到所述每一图像对应的特征向量或矩阵;
将所述每一图像对应的特征向量或矩阵与所述每一图像相关联,得到所述目标用户对应的图像检索特征库。
可选地,所述对所述目标检测结果进行预处理和特征提取,得到所述目标检测结果对应的第一图像特征,包括:
对所述目标检测结果进行预处理,所述预处理包括:增强对比度和去除噪声;
对经过所述预处理的目标检测结果进行尺度不变特征变换SIFT特征提取,得到所述目标检测结果对应的SIFT特征,对经过所述预处理的目标检测结果进行高层语义特征提取,得到所述目标检测结果对应的高层语义特征;
融合所述SIFT特征和高层语义特征,得到所述目标检测结果对应的第一图像特征。
可选地,所述对经过所述预处理的目标检测结果进行尺度不变特征变换SIFT特征提取,得到所述目标检测结果对应的SIFT特征,包括:
构建尺度空间;
确定所述经过所述预处理的目标检测结果中的特征点,并去除所述特征点中对比度低的极值点和不稳定的边缘响应点,并结合随机抽样一致性算法,剔除所述特征点中具有重大误差的极值点,得到第一特征点集合;
确定所述第一特征点集合中的各特征点方向,并旋转所述第一特征点集合中的各特征点,得到所述目标检测结果对应的SIFT特征。
可选地,所述对经过所述预处理的目标检测结果进行高层语义特征提取,得到所述目标检测结果对应的高层语义特征,包括:
将经过所述预处理的目标检测结果输入至CNN特征提取网络进行高层语义特征提取;
获取所述CNN特征提取网络的全连接层的输出向量,得到所述目标检测结果对应的高层语义特征。
可选地,所述在所述目标用户对应的图像检索特征库中查找与所述第一图像特征的相似度超过预设阈值的第二图像特征,包括:
基于预设相似性度量方法,计算所述第一图像特征与所述图像检索特征库中每一图像对应的特征向量或矩阵之间的相似度;
判断是否存在第二图像对应的特征向量或矩阵与所述第一图像特征的相似度超过所述预设阈值;
若存在,则确定所述第二图像对应的特征向量或矩阵为第二图像特征;
其中,所述预设相似性度量方法包括:二次式距离度量方法、曼哈顿距离度量方法、欧式距离度量方法或余弦相似度度量方法。
在此需要说明的是,本发明实施例提供的目标检测装置,能够实现上述目标检测方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图7示例了一种电子设备的实体结构示意图,如图7所示,该电子设备可以包括:处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令,以执行目标检测方法,该方法包括:获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到所述目标用户对应的检测结果,所述目标用户对应的图像检索特征库是通过对所述目标用户确定的负例图像进行预处理和特征提取得到的。
此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法实施例所提供的目标检测方法,该方法包括:获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到所述目标用户对应的检测结果,所述目标用户对应的图像检索特征库是通过对所述目标用户确定的负例图像进行预处理和特征提取得到的。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的目标检测方法,该方法包括:获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到所述目标用户对应的检测结果,所述目标用户对应的图像检索特征库是通过对所述目标用户确定的负例图像进行预处理和特征提取得到的。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种目标检测方法,其特征在于,包括:
获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;
基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到所述目标用户对应的检测结果,所述目标用户对应的图像检索特征库是通过对所述目标用户确定的负例图像进行预处理和特征提取得到的。
2.根据权利要求1所述的目标检测方法,其特征在于,所述基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到所述目标用户对应的检测结果,包括:
对所述目标检测结果进行预处理和特征提取,得到所述目标检测结果对应的第一图像特征;
在所述目标用户对应的图像检索特征库中查找与所述第一图像特征的相似度超过预设阈值的第二图像特征;
若存在所述第二图像特征,则不输出所述目标检测结果;或者,若不存在所述第二图像特征,则输出所述目标检测结果。
3.根据权利要求2所述的目标检测方法,其特征在于,所述目标检测方法还包括:
获取所述目标用户确定的负例图像,构建图像数据集;
遍历所述图像数据集,对所述图像数据集中的每一图像进行所述预处理和特征提取,得到所述每一图像对应的特征向量或矩阵;
将所述每一图像对应的特征向量或矩阵与所述每一图像相关联,得到所述目标用户对应的图像检索特征库。
4.根据权利要求2或3所述的目标检测方法,其特征在于,所述对所述目标检测结果进行预处理和特征提取,得到所述目标检测结果对应的第一图像特征,包括:
对所述目标检测结果进行预处理,所述预处理包括:增强对比度和去除噪声;
对经过所述预处理的目标检测结果进行尺度不变特征变换SIFT特征提取,得到所述目标检测结果对应的SIFT特征,对经过所述预处理的目标检测结果进行高层语义特征提取,得到所述目标检测结果对应的高层语义特征;
融合所述SIFT特征和高层语义特征,得到所述目标检测结果对应的第一图像特征。
5.根据权利要求4所述的目标检测方法,其特征在于,所述对经过所述预处理的目标检测结果进行尺度不变特征变换SIFT特征提取,得到所述目标检测结果对应的SIFT特征,包括:
构建尺度空间;
确定所述经过所述预处理的目标检测结果中的特征点,并去除所述特征点中对比度低的极值点和不稳定的边缘响应点,并结合随机抽样一致性算法,剔除所述特征点中具有重大误差的极值点,得到第一特征点集合;
确定所述第一特征点集合中的各特征点方向,并旋转所述第一特征点集合中的各特征点,得到所述目标检测结果对应的SIFT特征。
6.根据权利要求4所述的目标检测方法,其特征在于,所述对经过所述预处理的目标检测结果进行高层语义特征提取,得到所述目标检测结果对应的高层语义特征,包括:
将经过所述预处理的目标检测结果输入至CNN特征提取网络进行高层语义特征提取;
获取所述CNN特征提取网络的全连接层的输出向量,得到所述目标检测结果对应的高层语义特征。
7.根据权利要求2所述的目标检测方法,其特征在于,所述在所述目标用户对应的图像检索特征库中查找与所述第一图像特征的相似度超过预设阈值的第二图像特征,包括:
基于预设相似性度量方法,计算所述第一图像特征与所述图像检索特征库中每一图像对应的特征向量或矩阵之间的相似度;
判断是否存在第二图像对应的特征向量或矩阵与所述第一图像特征的相似度超过所述预设阈值;
若存在,则确定所述第二图像对应的特征向量或矩阵为第二图像特征;
其中,所述预设相似性度量方法包括:二次式距离度量方法、曼哈顿距离度量方法、欧式距离度量方法或余弦相似度度量方法。
8.一种目标检测装置,其特征在于,包括:
目标检测单元,用于获取待检测图像,对所述待检测图像进行目标检测,得到目标检测结果;
负例过滤单元,用于基于目标用户对应的图像检索特征库,对所述目标检测结果进行负例过滤,得到目标用户对应的检测结果,所述目标用户对应的图像检索特征库是通过对所述目标用户确定的负例图像进行预处理和特征提取得到的。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述的目标检测方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211567234.5A CN116363392A (zh) | 2022-12-07 | 2022-12-07 | 目标检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211567234.5A CN116363392A (zh) | 2022-12-07 | 2022-12-07 | 目标检测方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116363392A true CN116363392A (zh) | 2023-06-30 |
Family
ID=86925716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211567234.5A Pending CN116363392A (zh) | 2022-12-07 | 2022-12-07 | 目标检测方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116363392A (zh) |
-
2022
- 2022-12-07 CN CN202211567234.5A patent/CN116363392A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Noh et al. | Large-scale image retrieval with attentive deep local features | |
Huang et al. | A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds | |
Wang et al. | Background-driven salient object detection | |
Tuzel et al. | Global-local face upsampling network | |
CN107329962B (zh) | 图像检索数据库生成方法、增强现实的方法及装置 | |
CN107545049B (zh) | 图片处理方法及相关产品 | |
CN112614110B (zh) | 评估图像质量的方法、装置及终端设备 | |
CN110532413B (zh) | 基于图片匹配的信息检索方法、装置、计算机设备 | |
CN112084849A (zh) | 图像识别方法和装置 | |
US20200005078A1 (en) | Content aware forensic detection of image manipulations | |
CN111339884A (zh) | 图像识别方法以及相关设备、装置 | |
CN113095333A (zh) | 无监督特征点检测方法及装置 | |
CN114627244A (zh) | 三维重建方法及装置、电子设备、计算机可读介质 | |
Liu et al. | Overview of image inpainting and forensic technology | |
CN112651321A (zh) | 档案处理方法、装置及服务器 | |
CN110163095B (zh) | 回环检测方法、回环检测装置及终端设备 | |
WO2019100348A1 (zh) | 图像检索方法和装置以及图像库的生成方法和装置 | |
Wang et al. | Accurate and robust image copy-move forgery detection using adaptive keypoints and FQGPCET-GLCM feature | |
Liao et al. | Multi-scale saliency features fusion model for person re-identification | |
CN112149528A (zh) | 一种全景图目标检测方法、系统、介质及设备 | |
Chen et al. | IGS-Net: Seeking good correspondences via interactive generative structure learning | |
Qi et al. | An efficient deep learning hashing neural network for mobile visual search | |
CN116363392A (zh) | 目标检测方法、装置、电子设备和存储介质 | |
Tang et al. | A GMS-guided approach for 2D feature correspondence selection | |
CN114445916A (zh) | 一种活体检测方法、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |