CN110287936B - 图像检测方法、装置、设备及存储介质 - Google Patents

图像检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110287936B
CN110287936B CN201910589714.3A CN201910589714A CN110287936B CN 110287936 B CN110287936 B CN 110287936B CN 201910589714 A CN201910589714 A CN 201910589714A CN 110287936 B CN110287936 B CN 110287936B
Authority
CN
China
Prior art keywords
vehicle
image
branch
initial image
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910589714.3A
Other languages
English (en)
Other versions
CN110287936A (zh
Inventor
王旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN201910589714.3A priority Critical patent/CN110287936B/zh
Publication of CN110287936A publication Critical patent/CN110287936A/zh
Application granted granted Critical
Publication of CN110287936B publication Critical patent/CN110287936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Abstract

本公开提供一种图像检测方法、装置、设备及存储介质。本实施例提供的图像检测方法,包括:对获取的视频图像进行预处理,得到初始图像;通过目标模型的第一分支检测所述初始图像中车辆的方向,通过第二分支检测所述初始图像中车辆的关键点;其中,所述目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;根据所述车辆的方向,确定所述车辆的关键点是否有效;若所述车辆的关键点有效,则输出所述车辆的关键点。通过本公开实施例提供的图像检测方法,可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。

Description

图像检测方法、装置、设备及存储介质
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像检测方法、装置、设备及存储介质。
背景技术
随着图像处理技术的发展,对图像中物体的检测技术也被越来越广泛地应。例如在对车辆进行监控时,就需要对车身的关键点进行检测,以准确地识别出车辆的信息。
目前,车辆的关键点检测一般需要至少构建三个独立的学习模型,用于实现对车辆关键点的检测。例如:通过训练好的车辆检测模型从视频图像中检测出车辆,然后通过方向检测模型检测出车辆的方向,最后再通过训练好的关键点检测模型从车辆图像上检测出关键点信息。
但是,通过上述方式,需要预先对多个学习模型进行单独训练,且所有模型检测的总耗时长,图像的检测效率低下。
发明内容
本公开提供一种图像检测方法、装置、设备及存储介质,可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。
第一方面,本公开提供一种图像检测方法,包括:
对获取的视频图像进行预处理,得到初始图像;
通过目标模型的第一分支检测所述初始图像中车辆的方向,通过第二分支检测所述初始图像中车辆的关键点;其中,所述目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;
根据所述车辆的方向,确定所述车辆的关键点是否有效;
若所述车辆的关键点有效,则输出所述车辆的关键点。
在一种可能的设计中,对获取的视频图像进行预处理,得到初始图像,包括:
对获取的视频图像进行旋转、压缩、裁剪、灰度调整中的任一或者任多处理,得到预设尺寸大小的初始图像。
在一种可能的设计中,在根据所述车辆的方向,确定所述车辆的关键点是否有效之前,还包括:
获取所述第一分支提取的第一特征向量,所述第一特征向量用于表征所述车辆的方向;
获取所述第二分支提取的第二特征向量,所述第二特征向量用于表征所述车辆的关键点;
对所述第一特征向量和所述第二特征向量中的元素进行合并处理,得到合并后的特征向量;
获取所述合并后的特征向量相对于换算矩阵的特征值;
若所述特征值减去预设的参考值之后,得到的是正数,则确定初始图像中包含车辆;
若得到的是负数,则确定初始图像中不包含车辆,舍弃所述初始图像。
在一种可能的设计中,根据所述车辆的方向,确定所述车辆的关键点是否有效,包括:
若所述车辆的方向在参考方向的角度范围内,则确定所述车辆的关键点有效;
若所述车辆的方向不在参考方向的角度范围内,则确定所述车辆的关键点无效。
在一种可能的设计中,在通过目标模型的第一分支检测所述初始图像中车辆的方向,通过第二分支检测所述初始图像中车辆的关键点之前,还包括:
构建训练样本集;所述训练样本集中包括三类样本图像;所述三类样本图像包括:第一类图像、第二类图像、第三类图像;所述第一类图像是指:仅标注有车辆的图像;第二类图像是指:标注有车辆、车辆的方向、车辆的关键点中任意两种信息的图像;第三类图像是指:标注有车辆、车辆的方向、车辆的关键点的图像;
创建初始模型;
将所述训练样本集输入所述初始模型,训练所述初始模型的第一分支和第二分支,直到所述初始模型的第一分支和第二分支检测的结果与实际标注的结果之间的判断误差小于预设的阈值;得到所述目标模型。
第二方面,本公开还提供一种图像检测装置,包括:
预处理模块,用于对获取的视频图像进行预处理,得到初始图像;
检测模块,用于通过目标模型的第一分支检测所述初始图像中车辆的方向,通过第二分支检测所述初始图像中车辆的关键点;其中,所述目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;
确定模块,用于根据所述车辆的方向,确定所述车辆的关键点是否有效;
输出模块,用于在所述车辆的关键点有效时,输出所述车辆的关键点。
在一种可能的设计中,所述预处理模块,具体用于:
对获取的视频图像进行旋转、压缩、裁剪、灰度调整中的任一或者任多处理,得到预设尺寸大小的初始图像。
在一种可能的设计中,还包括:
筛选模块,用于在根据所述车辆的方向,确定所述车辆的关键点是否有效之前,获取所述第一分支提取的第一特征向量,所述第一特征向量用于表征所述车辆的方向;
获取所述第二分支提取的第二特征向量,所述第二特征向量用于表征所述车辆的关键点;
对所述第一特征向量和所述第二特征向量中的元素进行合并处理,得到合并后的特征向量;
获取所述合并后的特征向量相对于换算矩阵的特征值;
若所述特征值减去预设的参考值之后,得到的是正数,则确定初始图像中包含车辆;
若得到的是负数,则确定初始图像中不包含车辆,舍弃所述初始图像。
在一种可能的设计中,所述确定模块,具体用于:
若所述车辆的方向在参考方向的角度范围内,则确定所述车辆的关键点有效;
若所述车辆的方向不在参考方向的角度范围内,则确定所述车辆的关键点无效。
在一种可能的设计中,还包括:
样本构建模块,用于构建训练样本集;所述训练样本集中包括三类样本图像;所述三类样本图像包括:第一类图像、第二类图像、第三类图像;所述第一类图像是指:仅标注有车辆的图像;第二类图像是指:标注有车辆、车辆的方向、车辆的关键点中任意两种信息的图像;第三类图像是指:标注有车辆、车辆的方向、车辆的关键点的图像;
模型创建模块,用于创建初始模型;
训练模块,用于将所述训练样本集输入所述初始模型,训练所述初始模型的第一分支和第二分支,直到所述初始模型的第一分支和第二分支检测的结果与实际标注的结果之间的判断误差小于预设的阈值;得到所述目标模型。
第三方面,本公开还提供一种电子设备,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中任意一种图像检测方法。
第四方面,本公开实施例还提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面中任意一种图像检测方法。
本公开提供一种图像检测方法、装置、设备及存储介质,通过对获取的视频图像进行预处理,得到初始图像;通过目标模型的第一分支检测所述初始图像中车辆的方向,通过第二分支检测所述初始图像中车辆的关键点;其中,所述目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;根据所述车辆的方向,确定所述车辆的关键点是否有效;若所述车辆的关键点有效,则输出所述车辆的关键点。从而可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开根据一示例实施例示出的图像检测方法的应用场景图;
图2为本公开根据一示例实施例示出的图像检测方法的流程示意图;
图3为本公开根据另一示例实施例示出的图像检测方法的流程示意图;
图4为本公开根据一示例实施例示出的图像检测装置的结构示意图;
图5为本公开根据另一示例实施例示出的图像检测装置的结构示意图;
图6为本公开根据一示例实施例示出的电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着图像处理技术的发展,对图像中物体的检测技术也被越来越广泛地应。例如在对车辆进行监控时,就需要对车身的关键点进行检测,以准确地识别出车辆的信息。目前,车辆的关键点检测一般需要至少构建三个独立的学习模型,用于实现对车辆关键点的检测。例如:通过训练好的车辆检测模型从视频图像中检测出车辆,然后通过方向检测模型检测出车辆的方向,最后再通过训练好的关键点检测模型从车辆图像上检测出关键点信息。但是,通过上述方式,需要预先对多个学习模型进行单独训练,且所有模型检测的总耗时长,图像的检测效率低下。
针对上述技术问题,本公开提供一种方法,可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。图1为本公开根据一示例实施例示出的图像检测方法的应用场景图,如图1所示,图像检测装置,包括:预处理模块、检测模块、确定模块、输出模块。预处理模块,用于对获取的视频图像进行预处理,得到初始图像。预处理模块可以对获取的视频图像进行旋转、压缩、裁剪、灰度调整中的任一或者任多处理,得到预设尺寸大小的初始图像。检测模块,用于通过目标模型的第一分支检测初始图像中车辆的方向,通过第二分支检测初始图像中车辆的关键点;其中,目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点。确定模块,用于根据车辆的方向,确定车辆的关键点是否有效。若车辆的方向在参考方向的角度范围内,则确定车辆的关键点有效;若车辆的方向不在参考方向的角度范围内,则确定车辆的关键点无效。例如,将本公开的方法应用于车牌追踪的应用场景中,目标模型的第一分支检测得到车辆的方向,目标模型的第二分支检测得到车辆的关键点,若车辆的方向不在参考方向的角度范围内,则很可能识别到的关键点不是车牌位置,不包含车牌信息。因此,需要这些车辆的关键点是无效的,需要进行舍弃。输出模块,用于在车辆的关键点有效时,输出车辆的关键点。本公开中的目标模型可用于对视频中的车身关键点进行检测,该关键点检测可用于车牌追踪、车牌模糊处理、车灯贴纸等应用场景。
图2为本公开根据一示例实施例示出的图像检测方法的流程示意图,如图2所示,本实施例提供的图像检测方法,包括:
步骤101、对获取的视频图像进行预处理,得到初始图像。
在本实施例中,可以对获取的视频图像进行旋转、压缩、裁剪、灰度调整中的任一或者任多处理,得到预设尺寸大小的初始图像。例如,对获取的视频图像进行裁剪,得到预设尺寸的图像,作为初始图像,进而进行关键点检测。
步骤102、通过目标模型的第一分支检测初始图像中车辆的方向,通过第二分支检测初始图像中车辆的关键点。
在本实施例中,目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点。模型的训练将在后续中进行详细介绍。目标模型包括两个分支,通过目标模型的第一分支检测初始图像中车辆的方向,通过目标模型的第二分支检测初始图像中车辆的关键点。
步骤103、根据车辆的方向,确定车辆的关键点是否有效。
在本实施例中,若车辆的方向在参考方向的角度范围内,则确定车辆的关键点有效;若车辆的方向不在参考方向的角度范围内,则确定车辆的关键点无效。例如,将本公开的方法应用于车牌追踪的应用场景中,目标模型的第一分支检测得到车辆的方向,目标模型的第二分支检测得到车辆的关键点,若车辆的方向不在参考方向的角度范围内,则很可能识别到的关键点不是车牌位置,不包含车牌信息。因此,需要这些车辆的关键点是无效的,需要进行舍弃。
在一种可能的实施方式中,在根据车辆的方向,确定车辆的关键点是否有效之前,还包括:获取第一分支提取的第一特征向量,第一特征向量用于表征车辆的方向;获取第二分支提取的第二特征向量,第二特征向量用于表征车辆的关键点;对第一特征向量和第二特征向量中的元素进行合并处理,得到合并后的特征向量;获取合并后的特征向量相对于换算矩阵的特征值;若特征值减去预设的参考值之后,得到的是正数,则确定初始图像中包含车辆;若得到的是负数,则确定初始图像中不包含车辆,舍弃初始图像。
具体地,初始图像也有可能不包含车辆,而对于不包含车辆的初始图像,则不存在车辆识别价值。为了提供效率,可以在确定车辆的关键点是否有效之前,首先确定初始图像中是否包含车辆。因此,可以获取第一分支提取的第一特征向量,第一特征向量用于表征车辆的方向;获取第二分支提取的第二特征向量,第二特征向量用于表征车辆的关键点;对第一特征向量和第二特征向量中的元素进行合并处理,得到合并后的特征向量;获取合并后的特征向量相对于换算矩阵的特征值;若特征值减去预设的参考值之后,得到的是正数,则确定初始图像中包含车辆;若得到的是负数,则确定初始图像中不包含车辆,舍弃初始图像。
步骤104、若车辆的关键点有效,则输出车辆的关键点。
在本实施例中,若车辆的关键点有效,则将车辆的关键点输出。若车辆的关键点无效,则将车辆的关键点舍弃。本公开中的目标模型可用于对视频中的车身关键点进行检测,该关键点检测可用于车牌追踪、车牌模糊处理、车灯贴纸等应用场景。
本实施例,通过对获取的视频图像进行预处理,得到初始图像;通过目标模型的第一分支检测初始图像中车辆的方向,通过第二分支检测初始图像中车辆的关键点;其中,目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;根据车辆的方向,确定车辆的关键点是否有效;若车辆的关键点有效,则输出车辆的关键点。从而可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。
图3为本公开根据另一示例实施例示出的图像检测方法的流程示意图,如图3所示,本实施例提供的图像检测方法,包括:
步骤201、构建训练样本集。
本实施例中,训练样本集中包括三类样本图像。三类样本图像包括:第一类图像、第二类图像、第三类图像;第一类图像是指:仅标注有车辆的图像;第二类图像是指:标注有车辆、车辆的方向、车辆的关键点中任意两种信息的图像;第三类图像是指:标注有车辆、车辆的方向、车辆的关键点的图像。这样的训练样本集,可以不需要每个样本都包含标注有车辆、车辆的方向、车辆的关键点的图像信息,从而减少了训练样本集的构建成本
步骤202、创建初始模型。
本实施例中,还需要创建初始的模型,初始的模型经过训练之后,会得到目标模型。
步骤203、将训练样本集输入初始模型进行模型训练,得到目标模型。
本实施例中,将训练样本集输入初始模型,训练初始模型的第一分支和第二分支,直到初始模型的第一分支和第二分支检测的结果与实际标注的结果之间的判断误差小于预设的阈值。最终,得到目标模型。
具体地,在训练过程中,可以将训练集中的图像样本输入模型,同时训练模型识别车辆方向、车身关键点的能力。此种训练过程可以反复执行,直到模型收敛。也可以先基于训练集中的图像样本训练模型识别车辆方向的能力,即训练初始模型的第一分支,得到第一模型。然后,锁定第一模型中用于识别车辆方向的参数,并基于训练集中的图像样本继续对第一模型进行训练,获得可识别车辆方向和车身关键点的第二模型,即完成初始模型的第二分支的训练。
步骤204、对获取的视频图像进行预处理,得到初始图像。
步骤205、通过目标模型的第一分支检测初始图像中车辆的方向,通过第二分支检测初始图像中车辆的关键点。
步骤206、根据车辆的方向,确定车辆的关键点是否有效。
步骤207、若车辆的关键点有效,则输出车辆的关键点。
本实施例中,步骤204~步骤207的具体实现过程和技术原理请参见图2所示的方法中步骤101~步骤104中的相关描述,此处不再赘述。
本实施例,通过对获取的视频图像进行预处理,得到初始图像;通过目标模型的第一分支检测初始图像中车辆的方向,通过第二分支检测初始图像中车辆的关键点;其中,目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;根据车辆的方向,确定车辆的关键点是否有效;若车辆的关键点有效,则输出车辆的关键点。从而可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。
另外,本实施还可以构建训练样本集,创建初始模型。然后,将训练样本集输入初始模型进行模型训练,得到目标模型,从而可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。
图4为本公开根据一示例实施例示出的图像检测装置的结构示意图。如图4所示,本实施例提供的图像检测装置30,包括:
预处理模块301,用于对获取的视频图像进行预处理,得到初始图像;
检测模块302,用于通过目标模型的第一分支检测初始图像中车辆的方向,通过第二分支检测初始图像中车辆的关键点;其中,目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;
确定模块303,用于根据车辆的方向,确定车辆的关键点是否有效;
输出模块304,用于在车辆的关键点有效时,输出车辆的关键点。
在一种可能的设计中,预处理模块301,具体用于:
对获取的视频图像进行旋转、压缩、裁剪、灰度调整中的任一或者任多处理,得到预设尺寸大小的初始图像。
在一种可能的设计中,确定模块303,具体用于:
若车辆的方向在参考方向的角度范围内,则确定车辆的关键点有效;
若车辆的方向不在参考方向的角度范围内,则确定车辆的关键点无效。
本实施例提供的装置,可以用于执行图2所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本实施例,通过对获取的视频图像进行预处理,得到初始图像;通过目标模型的第一分支检测初始图像中车辆的方向,通过第二分支检测初始图像中车辆的关键点;其中,目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;根据车辆的方向,确定车辆的关键点是否有效;若车辆的关键点有效,则输出车辆的关键点。从而可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。
在图4所示实施例的基础上,图5为本公开根据另一示例实施例示出的图像检测装置的结构示意图,如图5所示,本实施例提供的图像检测装置,还包括:
筛选模块305,用于在根据车辆的方向,确定车辆的关键点是否有效之前,获取第一分支提取的第一特征向量,第一特征向量用于表征车辆的方向;
获取第二分支提取的第二特征向量,第二特征向量用于表征车辆的关键点;
对第一特征向量和第二特征向量中的元素进行合并处理,得到合并后的特征向量;
获取合并后的特征向量相对于换算矩阵的特征值;
若特征值减去预设的参考值之后,得到的是正数,则确定初始图像中包含车辆;
若得到的是负数,则确定初始图像中不包含车辆,舍弃初始图像。
在一种可能的设计中,还包括:
样本构建模块306,用于构建训练样本集;训练样本集中包括三类样本图像;三类样本图像包括:第一类图像、第二类图像、第三类图像;第一类图像是指:仅标注有车辆的图像;第二类图像是指:标注有车辆、车辆的方向、车辆的关键点中任意两种信息的图像;第三类图像是指:标注有车辆、车辆的方向、车辆的关键点的图像;
模型创建模块307,用于创建初始模型;
训练模块308,用于将训练样本集输入初始模型,训练初始模型的第一分支和第二分支,直到初始模型的第一分支和第二分支检测的结果与实际标注的结果之间的判断误差小于预设的阈值;得到目标模型。
本实施例提供的装置,可以用于执行图2、图3所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本实施例,通过对获取的视频图像进行预处理,得到初始图像;通过目标模型的第一分支检测初始图像中车辆的方向,通过第二分支检测初始图像中车辆的关键点;其中,目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;根据车辆的方向,确定车辆的关键点是否有效;若车辆的关键点有效,则输出车辆的关键点。从而可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。
另外,本实施还可以构建训练样本集,创建初始模型。然后,将训练样本集输入初始模型进行模型训练,得到目标模型,从而可以有效地缩短车辆关键点的检测时间,提高图像的检测效率。
图6为本公开根据一示例实施例示出的电子设备的结构示意图。如图6所示,本实施例提供的一种电子设备40,包括:
处理器401;以及,
存储器402,用于存储处理器的可执行指令,该存储器还可以是flash(闪存);
其中,处理器401配置为经由执行可执行指令来执行上述方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地,存储器402既可以是独立的,也可以跟处理器401集成在一起。
当存储器402是独立于处理器401之外的器件时,电子设备40,还可以包括:
总线403,用于连接处理器401以及存储器402。
本实施例还提供一种可读存储介质,可读存储介质中存储有计算机程序,当电子设备的至少一个处理器执行该计算机程序时,电子设备执行上述的各种实施方式提供的方法。
本实施例还提供一种程序产品,该程序产品包括计算机程序,该计算机程序存储在可读存储介质中。电子设备的至少一个处理器可以从可读存储介质读取该计算机程序,至少一个处理器执行该计算机程序使得电子设备实施上述的各种实施方式提供的方法。
最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (9)

1.一种图像检测方法,其特征在于,包括:
对获取的视频图像进行预处理,得到初始图像;
通过目标模型的第一分支检测所述初始图像中车辆的方向,通过第二分支检测所述初始图像中车辆的关键点;其中,所述目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;
根据所述车辆的方向,确定所述车辆的关键点是否有效;
若所述车辆的关键点有效,则输出所述车辆的关键点;
其中,根据所述车辆的方向,确定所述车辆的关键点是否有效,包括:
若所述车辆的方向在参考方向的角度范围内,则确定所述车辆的关键点有效;
若所述车辆的方向不在参考方向的角度范围内,则确定所述车辆的关键点无效。
2.根据权利要求1所述的方法,其特征在于,对获取的视频图像进行预处理,得到初始图像,包括:
对获取的视频图像进行旋转、压缩、裁剪、灰度调整中的任一或者任多处理,得到预设尺寸大小的初始图像。
3.根据权利要求1所述的方法,其特征在于,在根据所述车辆的方向,确定所述车辆的关键点是否有效之前,还包括:
获取所述第一分支提取的第一特征向量,所述第一特征向量用于表征所述车辆的方向;
获取所述第二分支提取的第二特征向量,所述第二特征向量用于表征所述车辆的关键点;
对所述第一特征向量和所述第二特征向量中的元素进行合并处理,得到合并后的特征向量;
获取所述合并后的特征向量相对于换算矩阵的特征值;
若所述特征值减去预设的参考值之后,得到的是正数,则确定初始图像中包含车辆;
若得到的是负数,则确定初始图像中不包含车辆,舍弃所述初始图像。
4.根据权利要求1-3中任一项所述的方法,其特征在于,在通过目标模型的第一分支检测所述初始图像中车辆的方向,通过第二分支检测所述初始图像中车辆的关键点之前,还包括:
构建训练样本集;所述训练样本集中包括三类样本图像;所述三类样本图像包括:第一类图像、第二类图像、第三类图像;所述第一类图像是指:仅标注有车辆的图像;第二类图像是指:标注有车辆、车辆的方向、车辆的关键点中任意两种信息的图像;第三类图像是指:标注有车辆、车辆的方向、车辆的关键点的图像;
创建初始模型;
将所述训练样本集输入所述初始模型,训练所述初始模型的第一分支和第二分支,直到所述初始模型的第一分支和第二分支检测的结果与实际标注的结果之间的判断误差小于预设的阈值;得到所述目标模型。
5.一种图像检测装置,其特征在于,包括:
预处理模块,用于对获取的视频图像进行预处理,得到初始图像;
检测模块,用于通过目标模型的第一分支检测所述初始图像中车辆的方向,通过第二分支检测所述初始图像中车辆的关键点;其中,所述目标模型是通过预设的训练样本集训练得到的神经网络模型,用于从初始图像中检测出车辆的方向和车辆的关键点;
确定模块,用于根据所述车辆的方向,确定所述车辆的关键点是否有效;
输出模块,用于在所述车辆的关键点有效时,输出所述车辆的关键点;
其中,所述确定模块,具体用于:
若所述车辆的方向在参考方向的角度范围内,则确定所述车辆的关键点有效;
若所述车辆的方向不在参考方向的角度范围内,则确定所述车辆的关键点无效。
6.根据权利要求5所述的装置,其特征在于,所述预处理模块,具体用于:
对获取的视频图像进行旋转、压缩、裁剪、灰度调整中的任一或者任多处理,得到预设尺寸大小的初始图像。
7.根据权利要求5所述的装置,其特征在于,还包括:
筛选模块,用于在根据所述车辆的方向,确定所述车辆的关键点是否有效之前,获取所述第一分支提取的第一特征向量,所述第一特征向量用于表征所述车辆的方向;
获取所述第二分支提取的第二特征向量,所述第二特征向量用于表征所述车辆的关键点;
对所述第一特征向量和所述第二特征向量中的元素进行合并处理,得到合并后的特征向量;
获取所述合并后的特征向量相对于换算矩阵的特征值;
若所述特征值减去预设的参考值之后,得到的是正数,则确定初始图像中包含车辆;
若得到的是负数,则确定初始图像中不包含车辆,舍弃所述初始图像。
8.一种电子设备,其特征在于,包括:
处理器;以及,
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至4中任一项所述图像检测方法。
9.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至4中任一项所述的图像检测方法。
CN201910589714.3A 2019-07-02 2019-07-02 图像检测方法、装置、设备及存储介质 Active CN110287936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910589714.3A CN110287936B (zh) 2019-07-02 2019-07-02 图像检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910589714.3A CN110287936B (zh) 2019-07-02 2019-07-02 图像检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN110287936A CN110287936A (zh) 2019-09-27
CN110287936B true CN110287936B (zh) 2021-08-10

Family

ID=68021784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910589714.3A Active CN110287936B (zh) 2019-07-02 2019-07-02 图像检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110287936B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259822A (zh) * 2020-01-19 2020-06-09 杭州微洱网络科技有限公司 针对电商图像中模特脖颈关键点的检测方法
CN112052807B (zh) * 2020-09-10 2022-06-10 讯飞智元信息科技有限公司 车辆位置检测方法、装置、电子设备及存储介质
CN112200834A (zh) * 2020-09-18 2021-01-08 广东芯盾微电子科技有限公司 一种基于车辆关键点轨迹的倒车判断方法、系统及介质
CN112348035A (zh) * 2020-11-11 2021-02-09 东软睿驰汽车技术(沈阳)有限公司 车辆关键点检测方法、装置及电子设备
CN114333308A (zh) * 2021-12-24 2022-04-12 中国联合网络通信集团有限公司 交通异常识别方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013059940A1 (en) * 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN105160649A (zh) * 2015-06-30 2015-12-16 上海交通大学 基于核函数非监督聚类的多目标跟踪方法及系统
CN105654507A (zh) * 2015-12-24 2016-06-08 北京航天测控技术有限公司 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
CN107944252A (zh) * 2017-12-18 2018-04-20 乐清咔咔网络科技有限公司 一种信息印章印文唯一性特征提取的方法
CN108805932A (zh) * 2018-06-11 2018-11-13 合肥越明交通电子科技有限公司 一种高精度智能评判车辆特征点所在地理位置的方法
CN109255337A (zh) * 2018-09-29 2019-01-22 北京字节跳动网络技术有限公司 人脸关键点检测方法和装置
CN109766867A (zh) * 2019-01-22 2019-05-17 长沙智能驾驶研究院有限公司 车辆运行状态确定方法、装置、计算机设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013059940A1 (en) * 2011-10-27 2013-05-02 Tandemlaunch Technologies Inc. System and method for calibrating eye gaze data
CN103149939A (zh) * 2013-02-26 2013-06-12 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN105160649A (zh) * 2015-06-30 2015-12-16 上海交通大学 基于核函数非监督聚类的多目标跟踪方法及系统
CN105654507A (zh) * 2015-12-24 2016-06-08 北京航天测控技术有限公司 一种基于图像动态特征跟踪的车辆外廓尺寸测量方法
CN107944252A (zh) * 2017-12-18 2018-04-20 乐清咔咔网络科技有限公司 一种信息印章印文唯一性特征提取的方法
CN108805932A (zh) * 2018-06-11 2018-11-13 合肥越明交通电子科技有限公司 一种高精度智能评判车辆特征点所在地理位置的方法
CN109255337A (zh) * 2018-09-29 2019-01-22 北京字节跳动网络技术有限公司 人脸关键点检测方法和装置
CN109766867A (zh) * 2019-01-22 2019-05-17 长沙智能驾驶研究院有限公司 车辆运行状态确定方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Detection Keypoint with Stable Position, Orientation, and Scale under Illumination Changes;Bill Triggs;《European Cerence on Computer Vision》;20041231;第100-113页 *
基于车牌识别及车辆特征点匹配的套牌车识别;汪峥嵘;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20131115;C034-229 *

Also Published As

Publication number Publication date
CN110287936A (zh) 2019-09-27

Similar Documents

Publication Publication Date Title
CN110287936B (zh) 图像检测方法、装置、设备及存储介质
CN108038474B (zh) 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110020592B (zh) 物体检测模型训练方法、装置、计算机设备及存储介质
CN109753928B (zh) 违章建筑物识别方法和装置
CN111639653B (zh) 一种误检图像确定方法、装置、设备和介质
CN109034086B (zh) 车辆重识别方法、装置及系统
CN111046971A (zh) 图像识别方法、装置、设备及计算机可读存储介质
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN112668374A (zh) 图像处理方法、装置、重识别网络的训练方法及电子设备
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN112668462A (zh) 车损检测模型训练、车损检测方法、装置、设备及介质
CN112633255A (zh) 目标检测方法、装置及设备
CN112052907A (zh) 基于图像边缘信息的目标检测方法、装置及存储介质
CN116206334A (zh) 一种野生动物识别方法和装置
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN116844006A (zh) 一种目标识别方法、装置、电子设备及可读存储介质
CN111626313B (zh) 一种特征提取模型训练方法、图像处理方法及装置
CN111950415A (zh) 一种图像检测方法和装置
CN111507420A (zh) 轮胎信息获取方法、装置、计算机设备和存储介质
CN109934858B (zh) 图像配准方法及装置
CN111401184A (zh) 机器视觉处理方法、装置、存储介质和电子设备
CN113706580B (zh) 一种基于相关滤波跟踪器的目标跟踪方法、系统、设备及介质
CN115050069A (zh) 基于深度学习的人脸及属性识别方法、系统及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant