CN116091982B - 图像检测方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像检测方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116091982B
CN116091982B CN202310340822.3A CN202310340822A CN116091982B CN 116091982 B CN116091982 B CN 116091982B CN 202310340822 A CN202310340822 A CN 202310340822A CN 116091982 B CN116091982 B CN 116091982B
Authority
CN
China
Prior art keywords
image
detection
detected
target
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310340822.3A
Other languages
English (en)
Other versions
CN116091982A (zh
Inventor
朱洪银
林群阳
张闯
王敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202310340822.3A priority Critical patent/CN116091982B/zh
Publication of CN116091982A publication Critical patent/CN116091982A/zh
Application granted granted Critical
Publication of CN116091982B publication Critical patent/CN116091982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像检测方法、装置、电子设备及计算机可读存储介质,涉及图像处理技术领域,旨在解决传统技术中仅基于模型检测无法应对不同场景需求的问题,方法包括:获取待检测图像,确定检测目标;判断所述检测目标是否命中目标库;若是,则在所述目标库中确定所述检测目标对应的图像检测模式;若所述图像检测模式为特征检测模式,则利用所述检测目标对应的特征图像集对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标;若所述图像检测模式为模型检测模式,则利用所述检测目标对应的图像检测模型对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标。

Description

图像检测方法、装置、电子设备及计算机可读存储介质
技术领域
本发明涉及图像处理技术领域,特别涉及一种图像检测方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术的蓬勃发展,越来越多的图像和视频资源作为数字资产进入互联网络。然而,其中也存在大量的违规视频、图像资源,这对于网络安全和净化网络环境带来巨大挑战。违规视频检测旨在检测视频、图像中是否包含违规内容,从而实现净化互联网环境。
检测互联网中的违规视频和图片是具有挑战性的问题。视频、图像违规内容有数十种,如不文明内容等,违规的类型多样化是一方面的挑战;另一方面,在实际互联网应用场景中,人们希望对违规内容的范围进行调节,例如增加新的违规类型或者减少违规的种类。然而,目前没有一个单独模型能够解决面临的各种情况,面对违规类型多样化的场景,为每次的检测需求去训练一个模型又是不现实的。
因此,如何实现多样化的图像检测,以应对不同的场景需求是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种图像检测方法,该图像检测方法可以实现多样化的图像检测,以应对不同的场景需求;本发明的另一目的是提供一种图像检测装置、电子设备及计算机可读存储介质,均具有上述有益效果。
第一方面,本发明提供了一种图像检测方法,包括:
获取待检测图像,确定检测目标;
判断所述检测目标是否命中目标库;
若是,则在所述目标库中确定所述检测目标对应的图像检测模式;
若所述图像检测模式为特征检测模式,则利用所述检测目标对应的特征图像集对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标;
若所述图像检测模式为模型检测模式,则利用所述检测目标对应的图像检测模型对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标。
可选地,所述判断所述检测目标是否命中目标库,包括:
对所述检测目标与所述目标库中的各目标关键词进行关键词匹配,获得关键词匹配度;
当所述关键词匹配度未超出第一阈值时,确定所述检测目标未命中所述目标库;
当所述关键词匹配度超出所述第一阈值时,确定所述检测目标命中所述目标库。
可选地,所述利用所述检测目标对应的特征图像集对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标,包括:
对所述待检测图像进行特征点提取,获得第一特征点;
对所述特征图像集中的各特征图像进行特征点提取,获得每一所述特征图像的第二特征点;
判断所述第一特征点与所述第二特征点是否匹配;
若是,则确定所述待检测图像中存在所述检测目标;
若否,则确定所述待检测图像中不存在所述检测目标。
可选地,所述对所述待检测图像进行特征点提取,获得第一特征点,包括:
利用尺度不变特征变化算法对所述待检测图像进行特征点提取,获得所述第二特征点。
可选地,所述判断所述第一特征点与所述第二特征点是否匹配,包括:
利用快速最近邻搜索包算法计算所述第一特征点与所述第二特征点之间的特征点匹配度;
当所述特征点匹配度超出第二阈值时,确定所述第一特征点与所述第二特征点匹配;
当所述特征点匹配度未超出所述第二阈值时,确定所述第一特征点与所述第二特征点不匹配。
可选地,所述图像检测方法还包括:
对所述待检测图像进行语义分割处理,确定各所述第一特征点所属的目标类别;
相应地,当所述第一特征点与所述第二特征点匹配时,所述确定所述待检测图像中存在所述检测目标之前,还包括:
判断所述目标类别是否为所述检测目标;
若是,则执行所述确定所述待检测图像中存在所述检测目标的步骤。
可选地,所述图像检测方法还包括:
在所述特征检测模式下,当确定所述待检测图像中存在所述检测目标时,将所述待检测图像添加至所述特征图像集。
可选地,所述利用所述检测目标对应的图像检测模型对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标之前,还包括:
判断模型池中是否存在所述检测目标对应的图像检测模型;
若是,则执行所述利用所述图像检测模型对所述待检测图像进行检测的步骤;
若否,则确定所述检测目标对应的目标学习算法,利用所述目标学习算法对所述检测目标对应的标注图像集进行模型训练,得到所述图像检测模型。
可选地,所述确定所述检测目标对应的目标学习算法,包括:
在预设映射关系中查询确定所述检测目标对应的目标学习算法;所述预设映射关系为各检测目标与各学习算法之间的映射关系。
可选地,所述图像检测方法还包括:
当所述预设映射关系中不存在与所述检测目标对应的目标学习算法时,输出学习算法选择提示,以利用所述学习算法选择提示获得学习算法选择命令;
根据所述学习算法选择命令确定所述目标学习算法,并在算法池中调取获得所述目标学习算法。
可选地,所述算法池中的学习算法包括YOLO检测算法、DETR检测算法、ViT分类算法中的一种或多种。
可选地,所述利用所述目标学习算法对所述检测目标对应的标注图像集进行模型训练,得到所述图像检测模型,包括:
判断标注图像库中是否存在所述检测目标对应的标注图像集;
若是,则在所述标注图像库中调取所述标注图像集,并利用所述目标学习算法对所述标注图像集进行模型训练,得到所述图像检测模型;
若否,则输出标注图像集获取提示。
可选地,所述图像检测方法还包括:
当接收到样本采集指令时,利用网络爬虫采集获得所述检测目标对应的样本图像;
利用预设语义表征模型将所述样本图像转换为语义向量;
确定所述检测目标在目标库中命中的目标关键词;
对所述语义向量和所述目标关键词进行余弦相似度计算,获得相似度;
当所述相似度超出第三阈值时,将所述样本图像加入所述标注图像集。
可选地,所述图像检测方法还包括:
在所述模型检测模式下,当确定所述待检测图像中存在所述检测目标时,将所述待检测图像添加至所述标注图像集。
可选地,所述获取待检测图像之后,还包括:
利用预设图像超分模型对所述待检测图像进行超分处理。
可选地,所述图像检测方法还包括:
当所述检测目标未命中所述目标库时,输出检测模式选择提示,以利用所述检测模式选择提示获得检测模式选择命令;
根据所述检测模式选择命令确定所述图像检测模式。
可选地,所述获取待检测图像,包括:
接收浏览器上传的图像检测请求;
对所述图像检测请求进行解析,获得所述待检测图像。
可选地,所述对所述图像检测请求进行解析,获得所述待检测图像,包括:
对所述图像检测请求进行解析,获得待检测视频;
对所述待检测视频进行分帧处理,获得所述待检测图像。
可选地,所述图像检测方法还包括:
确定图像检测结果;所述图像检测结果为所述待检测图像中存在所述检测目标或所述待检测图像中不存在所述检测目标;
将所述图像检测结果输出至所述浏览器。
可选地,所述获取待检测图像,包括:
接收文件传输系统上传的待检数据包;
对所述待检数据包进行解析,获得所述待检测图像。
可选地,所述对所述待检数据包进行解析,获得所述待检测图像,包括:
对所述待检数据包进行解析,获得待检测视频;
对所述待检测视频进行分帧处理,获得所述待检测图像。
可选地,所述图像检测方法还包括:
确定图像检测结果;所述图像检测结果为所述待检测图像中存在所述检测目标或所述待检测图像中不存在所述检测目标;
将所述图像检测结果反馈至所述文件传输系统。
第二方面,本发明还公开了一种图像检测装置,包括:
获取模块,用于获取待检测图像,确定检测目标;
判断模块,用于判断所述检测目标是否命中目标库;
确定模块,用于若所述检测目标命中所述目标库,则在所述目标库中确定所述检测目标对应的图像检测模式;
第一检测模块,用于若所述图像检测模式为特征检测模式,则利用所述检测目标对应的特征图像集对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标;
第二检测模块,用于若所述图像检测模式为模型检测模式,则利用所述检测目标对应的图像检测模型对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标。
第三方面,本发明还公开了一种电子设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的任一种图像检测方法的步骤。
第四方面,本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的任一种图像检测方法的步骤。
本发明所提供的一种图像检测方法,包括:获取待检测图像,确定检测目标;判断所述检测目标是否命中目标库;若是,则在所述目标库中确定所述检测目标对应的图像检测模式;若所述图像检测模式为特征检测模式,则利用所述检测目标对应的特征图像集对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标;若所述图像检测模式为模型检测模式,则利用所述检测目标对应的图像检测模型对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标。
可见,应用本发明所提供的技术方案,通过特征检测和模型检测相结合的方式实现了图像检测,在图像检测过程中,预先创建目标库,用于记录各类检测目标与图像检测模式之间的对应关系,图像检测模式包括特征检测模式和模型检测模式,在待检测图像的检测目标命中目标库的情况下,若图像检测模式为特征检测模式,则可以通过特征点识别和匹配的方式进行图像检测,若图像检测模式为模型检测模式,则可以通过模型识别的方式进行图像检测,由此,实现了多样化的图像检测,可以有效应对不同的场景需求,有助于提高用户的使用体验。
本发明还公开了一种图像检测装置、电子设备以及计算机可读存储介质,同样具有上述技术效果,本发明在此不再赘述。
附图说明
为了更清楚地说明现有技术和本发明实施例中的技术方案,下面将对现有技术和本发明实施例描述中需要使用的附图作简要的介绍。当然,下面有关本发明实施例的附图描述的仅仅是本发明中的一部分实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图,所获得的其他附图也属于本发明的保护范围。
图1为本发明所提供的一种图像检测方法的流程示意图;
图2为本发明所提供的一种基于语义分割的特征匹配增强方法的流程示意图;
图3为本发明所提供的一种模型算法池架构示意图;
图4为本发明所提供的一种违规图像检测方法的工作流程图;
图5为本发明所提供的一种图像检测装置的流程示意图;
图6为本发明所提供的一种电子设备的结构示意图。
具体实施方式
本发明的核心是提供一种图像检测方法,该图像检测方法可以实现多样化的图像检测,以应对不同的场景需求;本发明的另一核心是提供一种图像检测方法电子设备及计算机可读存储介质,均具有上述有益效果。
为了对本发明实施例中的技术方案进行更加清楚、完整地描述,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行介绍。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供了一种图像检测方法。
请参考图1,图1为本发明所提供的一种图像检测方法的流程示意图,该图像检测方法可以包括如下S101~S105。
S101:获取待检测图像,确定检测目标;
本步骤旨在实现待检测图像的获取以及检测目标的确定。其中,待检测图像即为需要进行图像检测的目标图像,其获取方式并不影响本技术方案的实施,例如,可以由用户通过前端直接输入,也可以是图像采集设备直接采集得到,还可以是在视频数据中解析得到;并且,待检测图像的数量也不唯一,可以为单张图像,也可以为批量图像,均可以由用户根据实际情况进行设定。进一步,检测目标则是用户需要在待检测图像中检测是否存在的目标对象,同样由用户根据实际检测需求进行设定,例如,在违规图像检测场景下,检测目标可以为各种不文明行为等。
S102:判断检测目标是否命中目标库;若是,则执行S103;
本步骤旨在实现检测目标与目标库的匹配,该目标库用于记录各类检测目标与图像检测模式之间的对应关系,以实现检测目标对应的图像检测模式的查询,其中,图像检测模式即对待检测图像进行图像检测的工作模式。可以想到的是,当待检测图像的检测目标命中目标库时,说明目标库中预设有该检测目标对应的图像检测模式,当未命中目标库时,说明目标库中未设有该检测目标对应的图像检测模式。
S103:在目标库中确定检测目标对应的图像检测模式;
本步骤旨在实现检测目标对应的图像检测模式的确定,其中,图像检测模式包括特征检测模式和模型检测模式。如上所述,目标库用于记录各类检测目标与图像检测模式之间的对应关系,以实现检测目标对应的图像检测模式的查询,因此,在确定待检测图像的检测目标命中目标库时,可以在目标库中进一步确定该检测目标对应的图像检测模式。
S104:若图像检测模式为特征检测模式,则利用检测目标对应的特征图像集对待检测图像进行检测,确定待检测图像中是否存在检测目标;
本步骤旨在实现特征检测模式下的图像检测。具体而言,当用户选择图像检测模式为特征检测模式时,可以先获取检测目标对应的特征图像集,例如,当检测目标为某动物时,旨在识别确定待检测图像中是否存在该类动物,因此,可以获取由各类动物图像组成的特征图像集;进一步,则可以利用该特征图像集对待检测图像进行检测,从而确定待检测图像中是否存在检测目标,该过程具体可以通过特征匹配技术实现。
S105:若图像检测模式为模型检测模式,则利用检测目标对应的图像检测模型对待检测图像进行检测,确定待检测图像中是否存在检测目标。
本步骤旨在实现模型检测模式下的图像检测。具体而言,当用户选择图像检测模式为模型检测模式时,可以进一步调取检测目标对应的图像检测模型,例如,当检测目标为某动物时,旨在识别确定待检测图像中是否存在该类动物,因此,可以获取该类动物对应的图像检测模型;进一步,即可利用调取的图像检测模型对待检测图像进行检测,也就是将待检测图像输入至图像检测模型,根据模型的输出结果即可确定待检测图像中是否存在检测目标。
可见,本发明实施例所提供的图像检测方法,通过特征检测和模型检测相结合的方式实现了图像检测,在图像检测过程中,预先创建目标库,用于记录各类检测目标与图像检测模式之间的对应关系,图像检测模式包括特征检测模式和模型检测模式,在待检测图像的检测目标命中目标库的情况下,若图像检测模式为特征检测模式,则可以通过特征点识别和匹配的方式进行图像检测,若图像检测模式为模型检测模式,则可以通过模型识别的方式进行图像检测,由此,实现了多样化的图像检测,可以有效应对不同的场景需求,有助于提高用户的使用体验。
在上述实施例的基础上:
在本发明的一个实施例中,上述判断检测目标是否命中目标库,可以包括:
对检测目标与目标库中的各目标关键词进行关键词匹配,获得关键词匹配度;
当关键词匹配度未超出第一阈值时,确定检测目标未命中目标库;
当关键词匹配度超出第一阈值时,确定检测目标命中目标库。
如上所述,目标库用于记录各类检测目标与图像检测模式之间的对应关系,以实现检测目标对应的图像检测模式的查询,但是,由于表述习惯的不同,针对同一检测目标,目标库中用于描述该检测目标的关键词与用户描述该检测目标的关键词可能并不一致,因此,为实现检测目标与目标库的匹配检测,可以采用计算关键词匹配度的实现方式。
在实现过程中,可以对检测目标与目标库中的各目标关键词进行关键词匹配,获得二者之间的关键词匹配度,如若该关键词匹配度未超出第一阈值,则可以确定检测目标未命中目标库;如若该关键词匹配度超出第一阈值,则可以确定检测目标命中目标库。当然,第一阈值的具体取值并不影响本技术方案的实施,由技术人员根据实际情况进行设置即可,本申请对此不做限定。
在本发明的一个实施例中,上述利用检测目标对应的特征图像集对待检测图像进行检测,确定待检测图像中是否存在检测目标,可以包括:
对待检测图像进行特征点提取,获得第一特征点;
对特征图像集中的各特征图像进行特征点提取,获得每一特征图像的第二特征点;
判断第一特征点与第二特征点是否匹配;
若是,则确定待检测图像中存在检测目标;
若否,则确定待检测图像中不存在检测目标。
本发明实施例提供了一种特征检测模式下的图像检测方法,即可以通过特征提取、特征匹配的方式实现。具体而言,可以先对待检测图像进行特征点提取得到其中的特征点信息,即上述第一特征点;然后对特征图像集中的每一张特征图像进行特征点提取,得到每一张特征图像对应的特征点信息,即上述第二特征点;最后,依次将第一特征点与每一个第二特征点进行匹配,如若二者相匹配,则可以确定待检测图像中存在检测目标,反之,如若二者不匹配,则可以确定待检测图像中不存在检测目标。由此,实现了特征检测模式下的图像检测。
在本发明的一个实施例中,上述对待检测图像进行特征点提取,获得第一特征点,可以包括:利用尺度不变特征变化算法(SIFT,Scale-invariant feature transform)对待检测图像进行特征点提取,获得第二特征点。
本发明实施例提供了一种特征点提取方法,该特征点提取方法同时适用于第一特征点的提取和第二特征点的提取,即可以利用上述尺度不变特征变化算法实现。具体而言,SIFT算法的优势在于,特征是局部的,对遮挡和杂乱非常稳健,具有尺度不变性,即使是小物体也可以生成许多特征,接近实时性能。SIFT算法主要包含以下四个步骤:
(1)尺度空间极值选择:构建尺度空间,寻找特征的潜在位置。对图像求出高斯拉普拉斯算子,找到跨尺度和空间的局部最大值,使用高斯微分,搜索尺度和空间上的局部极值。
(2)关键点定位:找到潜在的关键点位置之后,使用尺度空间的泰勒级数扩展来获得更准确的极值位置,对其进行细化以获得更准确的结果。
(3)方向分配:为关键点分配方向以实现图像旋转的不变性。根据比例在关键点位置周围取一个邻域,并计算该区域的梯度大小和方向,进一步的计算都是相对于这个方向进行的。
(4)关键点描述:在适当的尺度和旋转不变性的情况下,将关键点描述为高维向量,有助于唯一地识别特征。取关键点周围的16×16邻域,进行特定划分,并实现对光照变化、旋转等的鲁棒性。
在本发明的一个实施例中,上述判断第一特征点与第二特征点是否匹配,可以包括:
利用快速最近邻搜索包算法计算第一特征点与第二特征点之间的特征点匹配度;
当特征点匹配度超出第二阈值时,确定第一特征点与第二特征点匹配;
当特征点匹配度未超出第二阈值时,确定第一特征点与第二特征点不匹配。
本发明实施例提供了一种特征点匹配方法,即可以基于快速最近邻搜索包(FLANN,Fast Library for Approximate Nearest Neighbors)算法实现,FLANN算法主要用于在高维空间中执行快速近似最近邻搜索,其中的最近邻机制是为了比较最近邻距离与次近邻距离的匹配值,从而在不满足区分性的条件时,对于模糊性的点则不匹配,可以有效减少错误匹配。
在实现过程中,可以利用FLANN算法计算第一特征点与第二特征点之间的特征点匹配度,如若特征点匹配度超出第二阈值,即可确定二者匹配,进而确定待检测图像中存在检测目标;如若特征点匹配度未超出第二阈值,即可确定二者不匹配,进而确定待检测图像中不存在检测目标。同样的,第二阈值的取值并不影响本技术方案的实施,由技术人员根据实际需求进行自定义设置即可,本发明对此不做限定。
在本发明的一个实施例中,该图像检测方法还可以包括:
对待检测图像进行语义分割处理,确定各第一特征点所属的目标类别;
相应地,当第一特征点与第二特征点匹配时,确定待检测图像中存在检测目标之前,还包括:
判断目标类别是否为检测目标;
若是,则执行确定待检测图像中存在检测目标的步骤。
在特征匹配的过程中,对于质量较高的待检测图像可以直接进行匹配,但是,在实际环境中,由于各种原因导致的图像画质、底色等参差不齐,例如,互联网图像都是经过压缩的,有些图像被故意制作为分辨率较低图像,在图像中的标志有扭曲变形、残缺不全的问题等,这些情况都是很难匹配到特征点的,进而造成图像检测结果的不准确性。
为解决上述技术问题,本申请实施例提出了基于语义分割校验的实现方式。请参考图2,图2为本发明所提供的一种基于语义分割的特征匹配增强方法的流程示意图,对于待检测图像,可以对其进行语义分割处理,以确定待检测图像中各第一特征点所属的目标类别;进一步,当确定第一特征点与第二特征点匹配时,可以先基于语义分割结果对检测目标进行校验,即判断目标类别是否确实为检测目标,并在判断结果为是的情况下再确定待检测图像中确实存在检测目标。当然,当确定目标类别不是检测目标时,则可以过滤掉该目标类别对应的特征点,也就是过滤掉不合格的匹配特征点。由此,基于语义分割技术实现了匹配校验,有助于提升图像检测结果的准确性。
在本发明的一个实施例中,上述图像检测方法还可以包括:在特征检测模式下,当确定待检测图像中存在检测目标时,将待检测图像添加至特征图像集。
本发明实施例所提供的图像检测方法还可以进一步实现特征图像集的更新功能,以便于丰富特征图像集,从而为后续新接收到的针对相同检测目标的待检测图像的检测结果提供更为准确的保障。有基于此,在特征检测模式下,当确定待检测图像中存在检测目标时,即可将待检测图像添加至特征图像集。
在本发明的一个实施例中,上述利用检测目标对应的图像检测模型对待检测图像进行检测,确定待检测图像中是否存在检测目标之前,还可以包括:
判断模型池中是否存在检测目标对应的图像检测模型;
若是,则执行利用图像检测模型对待检测图像进行检测的步骤;
若否,则确定检测目标对应的目标学习算法,利用目标学习算法对检测目标对应的标注图像集进行模型训练,得到图像检测模型。
为进一步提高图像检测效率,避免多次构建图像检测模型造成的时间浪费,可以预先创建模型池,用于存储已经创建过的图像检测模型,具体为记录已经创建过的图像检测模型与检测目标之间的对应关系。具体而言,在模型检测模式下,在进行图像检测模型训练之前,可以先判断模型池中是否存在检测目标对应的图像检测模型,例如,当检测目标为某类动物时,判断模型池中是否存在用于检测该类动物的图像检测模型,若存在,则无需再进行模型训练,直接在模型池中调取该图像检测模型进行图像检测即可;反之,如若模型池中不存在检测对象对应的图像检测模型,则需要进行模型训练,得到针对检测目标的图像检测模型。当然,对于新创建的图像检测模型,由于模型池中不存在,则可以将其添加至模型池,以实现模型池的更新,增加模型池内图像检测模型的多样性。
在本发明的一个实施例中,上述确定检测目标对应的目标学习算法,可以包括:在预设映射关系中查询确定检测目标对应的目标学习算法;预设映射关系为各检测目标与各学习算法之间的映射关系。
本申请实施例提供了一种确定检测目标对应的目标学习算法的实现方法。具体而言,可以预先创建各类检测目标与各类学习算法之间的映射关系,由此,在模型训练过程中,即可直接在该预设映射关系中查询用户输入的检测目标对应的目标学习算法,从而实现目标学习算法的调用,进而实现相应的模型训练。
在本发明的一个实施例中,该图像检测方法还可以包括:
当预设映射关系中不存在与检测目标对应的目标学习算法时,输出学习算法选择提示,以利用学习算法选择提示获得学习算法选择命令;
根据学习算法选择命令确定目标学习算法,并在算法池中调取获得目标学习算法。
可以理解的是,预设映射关系中所记录的检测目标的类型必然是有限的,针对某些检测目标,预设映射关系中可能并未记录其对应的目标学习算法,此时,为保证后续模型训练过程的正常进行,在确定预设映射关系中不存在检测目标对应的目标学习算法时,可以输出学习算法选择提示,用于提醒用户可以自主进行目标学习算法的选择。与此同时,可以预先创建算法池,用于存储各类学习算法,以供用户根据实际检测需求进行自定义选择,由此,用户则可以通过输入学习算法选择命令的方式在算法池中进行目标学习算法的选择,进而在算法池中实现目标学习算法的调取。
在本发明的一个实施例中,算法池中的学习算法可以包括YOLO(You Only LookOnce,你只看一次)检测算法、DETR检测算法(DEtection TRansformer,一种目标检测算法)、ViT分类算法(Vision Transformer,一种图像分类算法)中的一种或多种。
需要说明的是,上述各类学习算法仅为本发明实施例所提供的一种实现方式,并不唯一,技术人员可以添加任意其他类型的可用于实现图像检测模型训练的学习算法,以供用户选择。
基于上述各实施例,请参考图3,图3为本发明所提供的一种模型算法池架构示意图,该模型算法框架包括模型池和算法池,算法池中包括有YOLOv5(YOLO检测算法的v5版本)检测模型算法、DETR检测模型算法、ViT分类模型算法等,模型池中包括有A类目标检测模型、B类目标检测模型、C类目标检测模型等,以供用户根据自身检测需求进行模型和算法的选择。
在本发明的一个实施例中,上述利用目标学习算法对检测目标对应的标注图像集进行模型训练,得到图像检测模型,可以包括:
判断标注图像库中是否存在检测目标对应的标注图像集;
若是,则在标注图像库中调取标注图像集,并利用目标学习算法对标注图像集进行模型训练,得到图像检测模型;
若否,则输出标注图像集获取提示。
本发明实施例提供了一种模型检测模式下的图像检测方法。具体而言,可以预先创建标注图像库,用于存储不同类别的检测对象对应的标注数据集,那么,在进行模型训练时,则可以直接在标注图像库中调取检测目标对应的标注图像集,并用于进行模型训练。当然,当标注图像库中不存在检测对象对应的标注图像集时,则可以输出标注图像集获取提示,以提醒技术人员进行关于检测对象对应的标注图像集的采集,并用于进行模型训练,得到对应于检测对象的图像检测模型。
可以理解的是,对于标注数据集而言,不同的标注员标注的数据集是有差别的,包括目标的覆盖度、图片选取的标准等,难以对所有标注的数据集进行统一。为此,对于同一待标注数据集,可以让不同的标注员对其进行标注,然后基于每一个标注数据集训练一个图像检测模型,最后基于少数服从多数的原则进行最优图像检测模型的选择。
在本发明的一个实施例中,该图像检测方法还可以包括:
当接收到样本采集指令时,利用网络爬虫采集获得检测目标对应的样本图像;
利用预设语义表征模型将样本图像转换为语义向量;
确定检测目标在目标库中命中的目标关键词;
对语义向量和目标关键词进行余弦相似度计算,获得相似度;
当相似度超出第三阈值时,将样本图像加入标注图像集。
如上所述,当标注图像库中不存在检测对象对应的标注图像集时,可以输出标注图像集获取提示,以提醒技术人员进行关于检测对象对应的标注图像集的采集,得到检测对象对应的标注图像集。有基于此,本发明实施例提供了一种采集标注图像样本、构建标注图像集的实现方法。
具体而言,用户可以发起样本采集指令以启动样本数据的采集,使得系统可以基于该样本采集指令启动网络爬虫技术,得到检测目标对应的样本图像。可以理解的是,基于网络爬虫直接抓取的图像并不总是满足用户预期,例如,在某些搜索引擎中搜索的关键词其中返回的很多图像并不是用户想要的,因此,为进一步提升样本数据质量,本发明实施例提出了基于语义分析的样本筛选方法。
在实现过程中,对于通过网络爬虫采集到的样本图像,可以利用预设语义表征模型将其转换为语义向量;然后,确定检测目标在目标库中命中的目标关键词,由此,即可对样本图像的语义向量和目标关键词进行余弦相似度计算,获得二者之间的相似度;进一步,如若该相似度超出第三阈值,则可以保留该样本图像并将其将加入标注图像集;反之,如若相似度未超出第三阈值,则不保留该样本图像,剔除即可。当然,第三阈值的取值并不影响本技术方案的实施,由技术人员根据实际情况进行设定即可,本申请对此不做限定。
在本发明的一个实施例中,该图像检测方法还可以包括:在模型检测模式下,当确定待检测图像中存在检测目标时,将待检测图像添加至标注图像集。
本发明实施例所提供的图像检测方法还可以进一步实现标注图像集的更新功能,以便于丰富标注图像集,从而为后续新接收到的针对相同检测目标的待检测图像的检测结果提供更为准确的保障。有基于此,在模型检测模式下,当确定待检测图像中存在检测目标时,即可将待检测图像添加至标注图像集。当然,在将待检测图像添加至标注图像集之前可以先对其中的检测目标进行标注,然后再将标注后的图像添加至标注图像集。
在本发明的一个实施例中,上述获取待检测图像之后,还可以包括:利用预设图像超分模型对待检测图像进行超分处理。
为进一步提高图像检测结果的准确性,在对待检测图像进行图像检测之前,可以先对其进行图像超分处理,也就是在接收到待检测图像之后,可以先将其输入至预设图像超分模型进行图像超分处理,以便于增强待检测图像的画质细节、增强纹理和颜色信息等。当然,为保证检测效率,在利用预设图像超分模型对待检测图像进行处理之前,可以先对其进行分辨率检测,如若分辨率较高,则无需对其进行超分处理,直接进入后续图像检测流程即可,反之,如若待检测图像的分辨率较低,则可以先对其进行图像超分处理再进入图像检测流程。
在本发明的一个实施例中,该图像检测方法还可以包括:
当检测目标未命中目标库时,输出检测模式选择提示,以利用检测模式选择提示获得检测模式选择命令;
根据检测模式选择命令确定图像检测模式。
可以理解的是,由于用户需求多种多言,目标库中可能无法涵盖所有类型的检测目标,对于检测目标未命中目标库的情况,则可以输出检测模式选择提示,以供用户自定义选择图像检测模式,即用户自定义选择特征检测模式或模型检测模式。
其中,上述各实施例中关于用户与系统之间的交互,可以基于智能对话机器人实现,以机器人对话窗口的形式实现各类用户命令的下发。
在本发明的一个实施例中,该图像检测方法还可以包括:当确定待检测图像中存在检测目标时,输出告警提示。
本发明实施例所提供的图像检测方法还可以进一步实现告警提示,也就是在确定待检测图像中确实存在检测目标时,可以输出告警提示信息,尤其是针对违规图像检测的场景,在确定待检测图像中存在检测目标时,说明待检测图像中存在违规目标,因此,可以通过告警提示的方式告知技术人员,以便于提醒技术人员及时对该违规图像进行处理。当然,告警提示方式并不唯一,可以包括但不限于邮件提醒、声音告警等方式,本发明对此不做限定。
在本发明的一个实施例中,上述获取待检测图像,可以包括:
接收浏览器上传的图像检测请求;
对图像检测请求进行解析,获得待检测图像。
本发明实施例提供了一种获取待检测图像的实现方法,即可以通过浏览器上传的方式实现待检测图像的获取。具体而言,用户可以通过浏览器发起图像检测请求,待检测图像附加于该图像检测请求中,由此,图像检测设备在接收到该图像检测请求之后,即可通过请求解析的方式,获得其中的待检测图像。显而易见地,该种实现方式适用于少量待检测图像的图像检测场景。
在本发明的一个实施例中,上述对图像检测请求进行解析,获得待检测图像,可以包括:
对图像检测请求进行解析,获得待检测视频;
对待检测视频进行分帧处理,获得待检测图像。
如上所述,待检测图像可以是从视频数据中解析获得,因此,用户通过浏览器上传的图像检测请求中的待检测数据具体可以为待检测视频,那么,在通过请求解析得到待检测视频之后,即可通过分帧处理得到每一张待检测图像。
在本发明的一个实施例中,该图像检测方法还可以包括:
确定图像检测结果;图像检测结果为待检测图像中存在检测目标或待检测图像中不存在检测目标;
将图像检测结果输出至浏览器。
本发明实施例所提供的图像检测方法可以进一步实现图像检测结果的反馈功能,针对基于浏览器上传待检测图像的场景,在完成图像检测获得图像检测结果之后,可以将该图像检测结果输出至浏览器,以告知用户图像检测结果。其中,图像检测结果即为待检测图像中存在检测目标或待检测图像中不存在检测目标。
在本发明的一个实施例中,上述获取待检测图像,可以包括:
接收文件传输系统上传的待检数据包;
对待检数据包进行解析,获得待检测图像。
本发明实施例提供了另一种获取待检测图像的实现方法,即可以通过文件传输系统上传的方式实现待检测图像的获取。具体而言,用户可以通过文件传输系统上传待检数据包,待检数据包中包括待检测图像,由此,图像检测设备在接收到该待检数据包之后,即可通过数据包解析的方式,获得其中的待检测图像。显而易见地,该种实现方式适用于批量待检测图像的图像检测场景。
在本发明的一个实施例中,上述对待检数据包进行解析,获得待检测图像,可以包括:
对待检数据包进行解析,获得待检测视频;
对待检测视频进行分帧处理,获得待检测图像。
如上所述,待检测图像可以是从视频数据中解析获得,因此,用户通过文件传输系统上传的待检数据包中的待检测数据具体可以为待检测视频,那么,在通过数据包解析得到待检测视频之后,即可通过分帧处理得到每一张待检测图像。
在本发明的一个实施例中,该图像检测方法还可以包括:
确定图像检测结果;图像检测结果为待检测图像中存在检测目标或待检测图像中不存在检测目标;
将图像检测结果反馈至文件传输系统。
本发明实施例所提供的图像检测方法可以进一步实现图像检测结果的反馈功能,针对基于文件传输系统上传待检测图像的场景,在完成图像检测获得图像检测结果之后,可以将该图像检测结果反馈至文件传输系统,以告知用户图像检测结果。其中,图像检测结果即为待检测图像中存在检测目标或待检测图像中不存在检测目标。
在上述各实施例的基础上,本发明实施例提供了另一种图像检测方法。
在本发明实施例所提供的图像检测方法中,以违规图像检测为例,图像检测流程主要包括如下两种工作模式:
(1)对于缺乏标注图像集的情况,可以由用户直接上传待检测的目标图片,并通过特征匹配的方式实现违规图像识别冷启动;
(2)对于自适应的图像检测以及提升检测效果的情况,用户可以通过定义感兴趣的违规类别,并标注数据集,然后从模型池中选择学习算法,来训练不同的图像检测模型,最终实现违规图像检测。
进一步,请参考图4,图4为本发明所提供的一种违规图像检测方法的工作流程图,在用户操作使用方式上,可以支持如下两种实现方式:
(1)通过浏览器/服务器架构进行视频、图像检测。用户可以通过浏览器上传一张图片或者视频到服务器,然后服务器将数据发送给Flask(一种应用程序框架)后台进行处理,在后台通过API接口(Application Programming Interface,应用程序编程接口)调用违规检测算法和图像检测模型进行数据处理,得出检测结果。然后,由后台分析结果,得出结论视频、图像是否违规,并将最终结果通过服务器,发送HTTP(HyperText TransferProtocol,超文本传输协议)响应到浏览器,使得用户可以看到检测结果。该种服务方式主要适用于以人工检测单个样本。
(2)通过文件传输系统批量上传进行离线检测。通过将大量的互联网上的图片或者视频文件通过文件传输系统批量上传到服务器,然后采用违规检测算法和图像检测模型进行批量的视频、图像检测,最后将得出的结果以便于解析的形式保存并返回。显然,这种方式工作效率较高,适合处理大量数据。
可见,本发明实施例所提供的图像检测方法,通过特征检测和模型检测相结合的方式实现了图像检测,在图像检测过程中,预先创建目标库,用于记录各类检测目标与图像检测模式之间的对应关系,图像检测模式包括特征检测模式和模型检测模式,在待检测图像的检测目标命中目标库的情况下,若图像检测模式为特征检测模式,则可以通过特征点识别和匹配的方式进行图像检测,若图像检测模式为模型检测模式,则可以通过模型识别的方式进行图像检测,由此,实现了多样化的图像检测,可以有效应对不同的场景需求,有助于提高用户的使用体验。
本发明实施例提供了一种图像检测装置。
请参考图5,图5为本发明所提供的一种图像检测装置的结构示意图,该图像检测装置可以包括:
获取模块100,用于获取待检测图像,确定检测目标;
判断模块200,用于判断检测目标是否命中目标库;
确定模块300,用于若检测目标命中目标库,则在目标库中确定检测目标对应的图像检测模式;
第一检测模块400,用于若图像检测模式为特征检测模式,则利用检测目标对应的特征图像集对待检测图像进行检测,确定待检测图像中是否存在检测目标;
第二检测模块500,用于若图像检测模式为模型检测模式,则利用检测目标对应的图像检测模型对待检测图像进行检测,确定待检测图像中是否存在检测目标。
可见,本发明实施例所提供的图像检测装置,通过特征检测和模型检测相结合的方式实现了图像检测,在图像检测过程中,预先创建目标库,用于记录各类检测目标与图像检测模式之间的对应关系,图像检测模式包括特征检测模式和模型检测模式,在待检测图像的检测目标命中目标库的情况下,若图像检测模式为特征检测模式,则可以通过特征点识别和匹配的方式进行图像检测,若图像检测模式为模型检测模式,则可以通过模型识别的方式进行图像检测,由此,实现了多样化的图像检测,可以有效应对不同的场景需求,有助于提高用户的使用体验。
在本发明的一个实施例中,上述判断模块200可具体用于对检测目标与目标库中的各目标关键词进行关键词匹配,获得关键词匹配度;当关键词匹配度未超出第一阈值时,确定检测目标未命中目标库;当关键词匹配度超出第一阈值时,确定检测目标命中目标库。
在本发明的一个实施例中,上述第一检测模块400包括:
第一提取单元,用于对待检测图像进行特征点提取,获得第一特征点;
第二提取单元,用于对特征图像集中的各特征图像进行特征点提取,获得每一特征图像的第二特征点;
特征点匹配单元,用于判断第一特征点与第二特征点是否匹配;
第一确定单元,用于若第一特征点与第二特征点匹配,则确定待检测图像中存在检测目标;
第二确定单元,用于若第一特征点与第二特征点不匹配,则确定待检测图像中不存在检测目标。
在本发明的一个实施例中,上述第一提取单元可具体用于利用尺度不变特征变化算法对待检测图像进行特征点提取,获得第二特征点。
在本发明的一个实施例中,上述特征点匹配单元可具体用于利用快速最近邻搜索包算法计算第一特征点与第二特征点之间的特征点匹配度;当特征点匹配度超出第二阈值时,确定第一特征点与第二特征点匹配;当特征点匹配度未超出第二阈值时,确定第一特征点与第二特征点不匹配。
在本发明的一个实施例中,上述第一检测模块400还可以包括:
语义分割处理单元,用于对待检测图像进行语义分割处理,确定各第一特征点所属的目标类别;
目标类别判断单元,用于当第一特征点与第二特征点匹配时,上述确定待检测图像中存在检测目标之前,判断目标类别是否为检测目标;若是,则执行确定待检测图像中存在检测目标的步骤。
在本发明的一个实施例中,该图像检测装置还可以包括特征图像集更新模块,用于在特征检测模式下,当确定待检测图像中存在检测目标时,将待检测图像添加至特征图像集。
在本发明的一个实施例中,该图像检测装置还可以包括模型池判断模块,用于在上述利用检测目标对应的图像检测模型对待检测图像进行检测,确定待检测图像中是否存在检测目标之前,判断模型池中是否存在检测目标对应的图像检测模型;若是,则执行利用图像检测模型对待检测图像进行检测的步骤;若否,则确定检测目标对应的目标学习算法,利用目标学习算法对检测目标对应的标注图像集进行模型训练,得到图像检测模型。
在本发明的一个实施例中,上述模型池判断模块可具体用于在预设映射关系中查询确定检测目标对应的目标学习算法;预设映射关系为各检测目标与各学习算法之间的映射关系。
在本发明的一个实施例中,上述模型池判断模块还可用于当预设映射关系中不存在与检测目标对应的目标学习算法时,输出学习算法选择提示,以利用学习算法选择提示获得学习算法选择命令;根据学习算法选择命令确定目标学习算法,并在算法池中调取获得目标学习算法。
在本发明的一个实施例中,算法池中的学习算法可以包括YOLO检测算法、DETR检测算法、ViT分类算法中的一种或多种。
在本发明的一个实施例中,上述模型池判断模块可具体用于判断标注图像库中是否存在检测目标对应的标注图像集;若是,则在标注图像库中调取标注图像集,并利用目标学习算法对标注图像集进行模型训练,得到图像检测模型;若否,则输出标注图像集获取提示。
在本发明的一个实施例中,该图像检测装置还可以包括样本采集模块,用于当接收到样本采集指令时,利用网络爬虫采集获得检测目标对应的样本图像;利用预设语义表征模型将样本图像转换为语义向量;确定检测目标在目标库中命中的目标关键词;对语义向量和目标关键词进行余弦相似度计算,获得相似度;当相似度超出第三阈值时,将样本图像加入标注图像集。
在本发明的一个实施例中,该图像检测装置还可以包括标注图像集更新模块,用于在模型检测模式下,当确定待检测图像中存在检测目标时,将待检测图像添加至标注图像集。
在本发明的一个实施例中,该图像检测装置还可以包括超分处理模块,用于在上述获取待检测图像之后,还可以包括:利用预设图像超分模型对待检测图像进行超分处理。
在本发明的一个实施例中,该图像检测装置还可以包括模式选择模块,用于当检测目标未命中目标库时,输出检测模式选择提示,以利用检测模式选择提示获得检测模式选择命令;根据检测模式选择命令确定图像检测模式。
在本发明的一个实施例中,上述获取模块1可以包括:
第一接收单元,用于接收浏览器上传的图像检测请求;
第一解析单元,用于对图像检测请求进行解析,获得待检测图像。
在本发明的一个实施例中,上述第一解析单元可具体用于对图像检测请求进行解析,获得待检测视频;对待检测视频进行分帧处理,获得待检测图像。
在本发明的一个实施例中,该图像检测装置还可以包括第一反馈模块,用于确定图像检测结果;图像检测结果为待检测图像中存在检测目标或待检测图像中不存在检测目标;将图像检测结果输出至浏览器。
在本发明的一个实施例中,上述获取模块1可以包括:
第二接收单元,用于接收文件传输系统上传的待检数据包;
第二解析单元,用于对待检数据包进行解析,获得待检测图像。
在本发明的一个实施例中,上述第二解析单元可具体用于对待检数据包进行解析,获得待检测视频;对待检测视频进行分帧处理,获得待检测图像。
在本发明的一个实施例中,该图像检测装置还可以包括第二反馈模块,用于确定图像检测结果;图像检测结果为待检测图像中存在检测目标或待检测图像中不存在检测目标;将图像检测结果反馈至文件传输系统。
对于本发明实施例提供的装置的介绍请参照上述方法实施例,本发明在此不做赘述。
本发明实施例提供了一种电子设备。
请参考图6,图6为本发明所提供的一种电子设备的结构示意图,该电子设备可包括:
存储器,用于存储计算机程序;
处理器,用于执行计算机程序时可实现如上述任意一种图像检测方法的步骤。
如图6所示,为电子设备的组成结构示意图,电子设备可以包括:处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
在本发明实施例中,处理器10可以为中央处理器(Central Processing Unit,CPU)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
处理器10可以调用存储器11中存储的程序,具体的,处理器10可以执行图像检测方法的实施例中的操作。
存储器11中用于存放一个或者一个以上程序,程序可以包括程序代码,程序代码包括计算机操作指令,在本发明实施例中,存储器11中至少存储有用于实现以下功能的程序:
获取待检测图像,确定检测目标;
判断检测目标是否命中目标库;
若是,则在目标库中确定检测目标对应的图像检测模式;
若图像检测模式为特征检测模式,则利用检测目标对应的特征图像集对待检测图像进行检测,确定待检测图像中是否存在检测目标;
若图像检测模式为模型检测模式,则利用检测目标对应的图像检测模型对待检测图像进行检测,确定待检测图像中是否存在检测目标。
在一种可能的实现方式中,存储器11可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统,以及至少一个功能所需的应用程序等;存储数据区可存储使用过程中所创建的数据。
此外,存储器11可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。
通信接口12可以为通信模块的接口,用于与其他设备或者系统连接。
当然,需要说明的是,图6所示的结构并不构成对本发明实施例中电子设备的限定,在实际应用中电子设备可以包括比图6所示的更多或更少的部件,或者组合某些部件。
本发明实施例提供了一种计算机可读存储介质。
本发明实施例所提供的计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时可实现如上述任意一种图像检测方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本发明实施例提供的计算机可读存储介质的介绍请参照上述方法实施例,本发明在此不做赘述。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的技术方案进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明的保护范围内。

Claims (24)

1.一种图像检测方法,其特征在于,所述方法包括:
获取待检测图像,确定检测目标;所述检测目标由用户预先设定;
判断所述检测目标是否命中目标库;
若是,则在所述目标库中确定所述检测目标对应的图像检测模式;
若所述图像检测模式为特征检测模式,则利用所述检测目标对应的特征图像集对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标;
若所述图像检测模式为模型检测模式,则利用所述检测目标对应的图像检测模型对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标;
其中,所述利用所述检测目标对应的特征图像集对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标,包括:
对所述待检测图像进行特征点提取,获得第一特征点;
对所述特征图像集中的各特征图像进行特征点提取,获得每一所述特征图像的第二特征点;
判断所述第一特征点与所述第二特征点是否匹配;
若是,则确定所述待检测图像中存在所述检测目标;
若否,则确定所述待检测图像中不存在所述检测目标。
2.根据权利要求1所述的图像检测方法,其特征在于,所述判断所述检测目标是否命中目标库,包括:
对所述检测目标与所述目标库中的各目标关键词进行关键词匹配,获得关键词匹配度;
当所述关键词匹配度未超出第一阈值时,确定所述检测目标未命中所述目标库;
当所述关键词匹配度超出所述第一阈值时,确定所述检测目标命中所述目标库。
3.根据权利要求1所述的图像检测方法,其特征在于,所述对所述待检测图像进行特征点提取,获得第一特征点,包括:
利用尺度不变特征变化算法对所述待检测图像进行特征点提取,获得所述第一特征点。
4.根据权利要求1所述的图像检测方法,其特征在于,所述判断所述第一特征点与所述第二特征点是否匹配,包括:
利用快速最近邻搜索包算法计算所述第一特征点与所述第二特征点之间的特征点匹配度;
当所述特征点匹配度超出第二阈值时,确定所述第一特征点与所述第二特征点匹配;
当所述特征点匹配度未超出所述第二阈值时,确定所述第一特征点与所述第二特征点不匹配。
5.根据权利要求1所述的图像检测方法,其特征在于,还包括:
对所述待检测图像进行语义分割处理,确定各所述第一特征点所属的目标类别;
相应地,当所述第一特征点与所述第二特征点匹配时,所述确定所述待检测图像中存在所述检测目标之前,还包括:
判断所述目标类别是否为所述检测目标;
若是,则执行所述确定所述待检测图像中存在所述检测目标的步骤。
6.根据权利要求1所述的图像检测方法,其特征在于,还包括:
在所述特征检测模式下,当确定所述待检测图像中存在所述检测目标时,将所述待检测图像添加至所述特征图像集。
7.根据权利要求1所述的方法,其特征在于,所述利用所述检测目标对应的图像检测模型对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标之前,还包括:
判断模型池中是否存在所述检测目标对应的图像检测模型;
若是,则执行所述利用所述图像检测模型对所述待检测图像进行检测的步骤;
若否,则确定所述检测目标对应的目标学习算法,利用所述目标学习算法对所述检测目标对应的标注图像集进行模型训练,得到所述图像检测模型。
8.根据权利要求7所述的方法,其特征在于,所述确定所述检测目标对应的目标学习算法,包括:
在预设映射关系中查询确定所述检测目标对应的目标学习算法;所述预设映射关系为各检测目标与各学习算法之间的映射关系。
9.根据权利要求8所述的方法,其特征在于,还包括:
当所述预设映射关系中不存在与所述检测目标对应的目标学习算法时,输出学习算法选择提示,以利用所述学习算法选择提示获得学习算法选择命令;
根据所述学习算法选择命令确定所述目标学习算法,并在算法池中调取获得所述目标学习算法。
10.根据权利要求9所述的图像检测方法,其特征在于,所述算法池中的学习算法包括YOLO检测算法、DETR检测算法、ViT分类算法中的一种或多种。
11.根据权利要求7所述的图像检测方法,其特征在于,所述利用所述目标学习算法对所述检测目标对应的标注图像集进行模型训练,得到所述图像检测模型,包括:
判断标注图像库中是否存在所述检测目标对应的标注图像集;
若是,则在所述标注图像库中调取所述标注图像集,并利用所述目标学习算法对所述标注图像集进行模型训练,得到所述图像检测模型;
若否,则输出标注图像集获取提示。
12.根据权利要求11所述的图像检测方法,其特征在于,还包括:
当接收到样本采集指令时,利用网络爬虫采集获得所述检测目标对应的样本图像;
利用预设语义表征模型将所述样本图像转换为语义向量;
确定所述检测目标在目标库中命中的目标关键词;
对所述语义向量和所述目标关键词进行余弦相似度计算,获得相似度;
当所述相似度超出第三阈值时,将所述样本图像加入所述标注图像集。
13.根据权利要求7所述的图像检测方法,其特征在于,还包括:
在所述模型检测模式下,当确定所述待检测图像中存在所述检测目标时,将所述待检测图像添加至所述标注图像集。
14.根据权利要求1所述的图像检测方法,其特征在于,所述获取待检测图像之后,还包括:
利用预设图像超分模型对所述待检测图像进行超分处理。
15.根据权利要求1所述的图像检测方法,其特征在于,还包括:
当所述检测目标未命中所述目标库时,输出检测模式选择提示,以利用所述检测模式选择提示获得检测模式选择命令;
根据所述检测模式选择命令确定所述图像检测模式。
16.根据权利要求1所述的图像检测方法,其特征在于,所述获取待检测图像,包括:
接收浏览器上传的图像检测请求;
对所述图像检测请求进行解析,获得所述待检测图像。
17.根据权利要求16述的图像检测方法,其特征在于,所述对所述图像检测请求进行解析,获得所述待检测图像,包括:
对所述图像检测请求进行解析,获得待检测视频;
对所述待检测视频进行分帧处理,获得所述待检测图像。
18.根据权利要求16所述的图像检测方法,其特征在于,还包括:
确定图像检测结果;所述图像检测结果为所述待检测图像中存在所述检测目标或所述待检测图像中不存在所述检测目标;
将所述图像检测结果输出至所述浏览器。
19.根据权利要求1所述的图像检测方法,其特征在于,所述获取待检测图像,包括:
接收文件传输系统上传的待检数据包;
对所述待检数据包进行解析,获得所述待检测图像。
20.根据权利要求19所述的图像检测方法,其特征在于,所述对所述待检数据包进行解析,获得所述待检测图像,包括:
对所述待检数据包进行解析,获得待检测视频;
对所述待检测视频进行分帧处理,获得所述待检测图像。
21.根据权利要求19所述的图像检测方法,其特征在于,还包括:
确定图像检测结果;所述图像检测结果为所述待检测图像中存在所述检测目标或所述待检测图像中不存在所述检测目标;
将所述图像检测结果反馈至所述文件传输系统。
22.一种图像检测装置,其特征在于,包括:
获取模块,用于获取待检测图像,确定检测目标;所述检测目标由用户预先设定;
判断模块,用于判断所述检测目标是否命中目标库;
确定模块,用于若所述检测目标命中所述目标库,则在所述目标库中确定所述检测目标对应的图像检测模式;
第一检测模块,用于若所述图像检测模式为特征检测模式,则利用所述检测目标对应的特征图像集对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标;
第二检测模块,用于若所述图像检测模式为模型检测模式,则利用所述检测目标对应的图像检测模型对所述待检测图像进行检测,确定所述待检测图像中是否存在所述检测目标;
其中,所述第一检测模块具体用于对所述待检测图像进行特征点提取,获得第一特征点;对所述特征图像集中的各特征图像进行特征点提取,获得每一所述特征图像的第二特征点;判断所述第一特征点与所述第二特征点是否匹配;若是,则确定所述待检测图像中存在所述检测目标;若否,则确定所述待检测图像中不存在所述检测目标。
23.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至21任一项所述的图像检测方法的步骤。
24.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至21任一项所述的图像检测方法的步骤。
CN202310340822.3A 2023-04-03 2023-04-03 图像检测方法、装置、电子设备及计算机可读存储介质 Active CN116091982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310340822.3A CN116091982B (zh) 2023-04-03 2023-04-03 图像检测方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310340822.3A CN116091982B (zh) 2023-04-03 2023-04-03 图像检测方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN116091982A CN116091982A (zh) 2023-05-09
CN116091982B true CN116091982B (zh) 2023-07-14

Family

ID=86210459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310340822.3A Active CN116091982B (zh) 2023-04-03 2023-04-03 图像检测方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116091982B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414461A (zh) * 2019-08-02 2019-11-05 湖南德雅坤创科技有限公司 一种人体目标检测方法、装置和计算机可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111242943B (zh) * 2020-01-22 2022-10-28 腾讯科技(深圳)有限公司 图像处理方法、装置、图像处理设备及存储介质
CN112396030A (zh) * 2020-11-30 2021-02-23 河南中烟工业有限责任公司 一种循环烟箱的箱皮牌号和旋转角度的识别方法
CN112926399A (zh) * 2021-01-28 2021-06-08 上海商汤智能科技有限公司 目标对象检测方法、装置、电子设备和存储介质
CN113674416B (zh) * 2021-08-26 2024-04-26 中国电子科技集团公司信息科学研究院 三维地图的构建方法、装置、电子设备及存储介质
CN113963290A (zh) * 2021-09-24 2022-01-21 深圳市九洲电器有限公司 视频目标检测方法、装置、设备及可读存储介质
CN115035448A (zh) * 2022-06-09 2022-09-09 济南银捷实业有限公司 防护舱物品滞留与现场无人算法模型训练及逻辑判断方法
CN115457309A (zh) * 2022-08-18 2022-12-09 铭台(北京)科技有限公司 一种基于自然语言的图像无监督分类方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110414461A (zh) * 2019-08-02 2019-11-05 湖南德雅坤创科技有限公司 一种人体目标检测方法、装置和计算机可读存储介质

Also Published As

Publication number Publication date
CN116091982A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN108304882B (zh) 一种图像分类方法、装置及服务器、用户终端、存储介质
Islam et al. Doa-gan: Dual-order attentive generative adversarial network for image copy-move forgery detection and localization
CN109710780B (zh) 一种归档方法及装置
CN101281593B (zh) 智能视频监控事件检索方法及系统
TWI223171B (en) System for classifying files of non-textual subject data, method for categorizing files of non-textual data and method for identifying a class for data file at a classification node
KR102027878B1 (ko) 딥러닝 기술과 이미지 특징 추출 기술을 결합한 영상물 내 미술품 인식 방법
Li et al. An anti-fraud system for car insurance claim based on visual evidence
CN109299307B (zh) 一种基于结构分析的商标检索预警方法及装置
CN111222409A (zh) 车辆品牌的标注方法、装置及系统
Zhang et al. Multi-scale segmentation strategies in PRNU-based image tampering localization
CN112989098B (zh) 一种图像类侵权实体自动化检索方法、装置和电子设备
CN114267029A (zh) 一种车道线检测方法、装置、设备及存储介质
CN116091982B (zh) 图像检测方法、装置、电子设备及计算机可读存储介质
US10402303B2 (en) Determining similarities in computer software codes for performance analysis
CN111738173B (zh) 视频片段检测方法、装置、电子设备及存储介质
Maigrot et al. Tampering detection and localization in images from social networks: A CBIR approach
CN110188790B (zh) 图片样本的自动化生成方法和系统
CN113743434A (zh) 一种目标检测网络的训练方法、图像增广方法及装置
CN116451175A (zh) 一种多模态数据处理方法、装置、电子设备及存储介质
Li et al. A Siamese inception architecture network for person re-identification
CN116844077A (zh) 视频处理的方法、装置、计算机设备及存储介质
CN109446330B (zh) 网络服务平台情感倾向识别方法、装置、设备和存储介质
CN112801048A (zh) 最优目标图像的识别方法、装置、设备及存储介质
CN112069357A (zh) 视频资源处理方法、装置、电子设备及存储介质
CN110362703A (zh) 一种图片规整处理方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant