CN112489020B - 一种图像筛选方法、装置、电子设备及存储介质 - Google Patents

一种图像筛选方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112489020B
CN112489020B CN202011383084.3A CN202011383084A CN112489020B CN 112489020 B CN112489020 B CN 112489020B CN 202011383084 A CN202011383084 A CN 202011383084A CN 112489020 B CN112489020 B CN 112489020B
Authority
CN
China
Prior art keywords
target detection
detection frame
weight coefficient
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011383084.3A
Other languages
English (en)
Other versions
CN112489020A (zh
Inventor
赖琪萍
谢会斌
李聪廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202011383084.3A priority Critical patent/CN112489020B/zh
Publication of CN112489020A publication Critical patent/CN112489020A/zh
Application granted granted Critical
Publication of CN112489020B publication Critical patent/CN112489020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像筛选方法,所述图像筛选方法包括:获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数;其中,所述重合面积比值与所述权重系数正相关;根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像。本申请能够选取画面完整且清晰的抓拍图像。本申请还公开了一种图像筛选装置、一种电子设备及一种存储介质,具有以上有益效果。

Description

一种图像筛选方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像筛选方法、装置、一种电子设备及一种存储介质。
背景技术
目标检测跟踪是当前较为热门的技术,目标检测跟踪系统都利用抓拍模块获取抓拍图像。而如何确定在什么时候对目标进行抓拍,就会涉及到抓拍目标图像优选策略相关的内容。对抓拍目标图像进行优选,其目的在于筛选出目标出现期间最优的一帧图像,以便于后续对抓拍图像进行特征提取等系列操作。
目前主流的抓拍图像优选策略都是基于计算目标检测框面积来实现的。一般认为拥有更大的面积代表着目标信息更全面。但传统的基于面积的抓拍目标图像优选也存在许多问题:例如仅面积一项内容无法反应目标检测框的完整度和长宽比例情况,在某些场景下(画面边缘)目标的面积虽然最大,但此时目标在画面内已不完整,这种情况下的抓拍图像显然并不是最优的。
因此,如何选取画面完整且清晰的抓拍图像是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种图像筛选方法、装置、一种电子设备及一种存储介质,能够选取画面完整且清晰的抓拍图像。
为解决上述技术问题,本申请提供一种图像筛选方法,该图像筛选方法包括:
获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;其中,所述预设抓拍区域内任意位置与所述抓拍图像的边缘之间的距离大于预设值;
确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;
根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数;其中,所述重合面积比值与所述权重系数正相关;
根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像。
可选的,根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数,包括:
计算所述重合区域的面积与所述目标检测框的面积的重合面积比值γ;
利用第一权重计算公式确定所述目标检测框的权重系数W;其中,所述第一权重计算公式为W=γ2
可选的,根据所述权重系数和所述目标检测框的面积确定每一抓拍图像的图像质量得分,包括:
计算所述目标检测框与所述抓拍图像的面积比值A;
利用第一图像质量计算公式确定每一抓拍图像的图像质量得分Q;其中,所述第一图像质量计算公式为Q=W·A,W为权重系数。
可选的,在确定每一所述抓拍图像中的目标检测框之后,还包括:
计算每一所述目标检测框的长宽比例;
相应的,根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数,包括:
根据所述重合区域与所述目标检测框的重合面积比值计算中间权重系数;
根据所述长宽比例调整所述中间权重系数得到所述目标检测框的权重系数;
其中,第一权重系数大于第二权重系数;所述第一权重系数为所述长宽比例大于预设比例时,调整所述中间权重系数得到的所述目标检测框的权重系数;所述第二权重系数为所述长宽比例小于或等于预设比例时,调整所述中间权重系数得到的所述目标检测框的权重系数。
可选的,根据所述长宽比例调整所述中间权重系数得到所述目标检测框的权重系数,包括:
当所述长宽比例大于预设比例时,利用第二权重计算公式计算所述目标检测框的权重系数W;其中,所述第二权重计算公式为W=γ2+α;γ为所述重合区域的面积与所述目标检测框的面积的重合面积比值,α为预设参数;
当所述长宽比例小于或等于预设比例时,利用第三权重计算公式计算所述目标检测框的权重系数W;其中,所述第三权重计算公式为W=γ2+β,β为预设参数,且α<β。
可选的,在确定每一所述抓拍图像中的目标检测框之后,还包括:
确定所述目标检测框与所述抓拍图像之间的中心点距离;
相应的,根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,包括:
根据所述权重系数和所述目标检测框的面积计算中间质量得分;
根据所述中心点距离调整所述中间质量得分得到每一所述抓拍图像的图像质量得分;其中,所述中心点距离与所述图像质量得分负相关。
可选的,根据所述中心点距离调整所述中间质量得分得到每一所述抓拍图像的图像质量得分,包括:
根据第二图像质量计算公式确定每一所述抓拍图像的图像质量得分Q;
其中,所述第二图像质量计算公式为
Figure BDA0002810130180000031
W为权重系数,A为所述目标检测框与所述抓拍图像的面积比值,δ为大于0的预设参数,d为中心点距离。
本申请还提供了一种图像筛选装置,该装置包括:
图像获取模块,用于获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;其中,所述预设抓拍区域内任意位置与所述抓拍图像的边缘之间的距离大于预设值;
重合区域确定模块,用于确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;
权重系数计算模块,用于根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数;其中,所述重合面积比值与所述权重系数正相关;
图像选择模块,用于根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像。
本申请还提供了一种存储介质,其上存储有计算机程序,所述计算机程序执行时实现上述图像筛选方法执行的步骤。
本申请还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现上述图像筛选方法执行的步骤。
本申请提供了一种图像筛选方法,包括:获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;其中,所述预设抓拍区域内任意位置与所述抓拍图像的边缘之间的距离大于预设值;确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数;其中,所述重合面积比值与所述权重系数正相关;根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像。
本申请在获取多张抓拍图像之后确定抓拍图像中的预设抓拍区域,通过对抓拍图像进行目标检测可以得到目标检测框,确定目标检测框与预设抓拍区域的重合区域。通过计算重合面积比值可以确定目标检测框落在预设抓拍区域的面积占目标检测框总面积的比值,本申请根据重合面积比值确定目标检测框的权重系数。本申请结合权重系数和目标检测框的面积对所有的抓拍图像进行评分,并将图像质量得分最高的抓拍图像设置为优选抓拍图像。由于图像质量得分能够兼顾图像清晰度和图像完整性,因此本申请能够选取画面完整且清晰的抓拍图像。本申请同时还提供了一种图像筛选装置、一种电子设备和一种存储介质,具有上述有益效果,在此不再赘述。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种图像筛选方法的流程图;
图2为本申请实施例所提供的一种预设抓拍区域的设置示意图;
图3为本申请实施例所提供的第一种抓拍图像的目标检测结果示意图;
图4为本申请实施例所提供的第二种抓拍图像的目标检测结果示意图;
图5为本申请实施例所提供的第三种抓拍图像的目标检测结果示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面请参见图1,图1为本申请实施例所提供的一种图像筛选方法的流程图。
具体步骤可以包括:
S101:获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;
其中,在本步骤之前可以获取视频数据的操作,上述视频数据可以为监控设备传输的视频数据,在得到视频数据之后还可以按照预设周期从视频数据中提取多张抓拍图像。可以理解的是,所有抓拍图像的尺寸相同,内容可以存在区别。在得到抓拍图像之后,本实施例可以确定抓拍图像中的预设抓拍区域,预设抓拍区域为抓拍图像的子区域,本实施例不限定预设抓拍区域的形状,预设抓拍区域可以为圆形区域、椭圆区域、矩形区域等。
上述预设抓拍区域内任意位置与所述抓拍图像的边缘之间的距离大于预设值。作为一种可行的实施方式,当预设抓拍区域为矩形区域时,预设抓拍区域的长宽比例与抓拍图像的长宽比例相同、预设抓拍区域的面积小于抓拍图像的面积、预设抓拍区域的中心点与抓拍图像的中心点为同一点。请参见图2,图2为本申请实施例所提供的一种预设抓拍区域的设置示意图,图2中实线框为抓拍图像,虚线框为抓拍图像中的预设抓拍区域。需要补充说明的是,本实施例中提到的长为矩形水平方向的边,宽为矩形竖直方向的边。
S102:确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;
其中,在得到抓拍图像之后本实施例可以对每一张抓拍图像执行目标检测操作,得到每一抓拍图像的目标检测框。抓拍图像中可以存在任意数量个目标检测框,目标检测框用于指示目标检测操作的检测对象所在的位置。本实施例不限定上述检测对象的种类,检测对象可以为车辆、行人或动物。目标检测框可以在抓拍图像的任意位置,因此目标检测框与预设抓拍区域可以存在以下三种位置关系:(1)目标检测框在预设抓拍区域内;(2)目标检测框与预设抓拍区域部分重合;(3)目标检测框与预设抓拍区域完全不相交。
在得到目标检测框之后,可以根据目标检测框与预设抓拍区域的顶点坐标确定目标检测框与预设抓拍区域的重合区域。当目标检测框与预设抓拍区域完全不相交时,重合区域为空。
S103:根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数;
其中,在确定目标检测框与预设抓拍区域的重合区域之后,可以将重合区域的面积与目标检测框的面积之比作为重合面积比,进而根据重合面积比确定目标检测框的权重系数。本实施例中重合面积比值与所述权重系数正相关,重合面积比越大目标检测框存在于预设抓拍区域内的比例越大。由于预设抓拍区域内任意位置与所述抓拍图像的边缘之间的距离大于预设值,因此预设抓拍区域处于抓拍图像的中心区域,同理可知目标检测框处于中心区域的比例越大目标检测框对应的图像越完整,目标检测框的权重系数越大。
S104:根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像。
其中,本步骤建立在已经得到目标检测框的权重系数的基础上,可以根据权重系数和目标检测框的面积确定每一抓拍图像的图像质量得分,图像质量得分与权重系数的值正相关,图像质量得分还与目标检测框的面积正相关。本实施例可以按照图像质量得分对抓拍图像进行排序,并将图像质量得分最高的抓拍图像设置为优选抓拍图像。
作为一种可行的实施方式,在确定优选抓拍图像之后,可以对优选抓拍图像执行图像特征提取,进而基于图像特征进行进一步的图像分析操作。例如在交通监控过程中,可以对监控视频的抓拍图像执行上述实施例的筛选操作得到优选抓拍图像,通过提取优选抓拍图像的图像特征检测车辆是否存在违反交通规则(如逆行、闯红灯)的行为。
本实施例在获取多张抓拍图像之后确定抓拍图像中的预设抓拍区域,通过对抓拍图像进行目标检测可以得到目标检测框,确定目标检测框与预设抓拍区域的重合区域。通过计算重合面积比值可以确定目标检测框落在预设抓拍区域的面积占目标检测框总面积的比值,本实施例根据重合面积比值确定目标检测框的权重系数。本实施例结合权重系数和目标检测框的面积对所有的抓拍图像进行评分,并将图像质量得分最高的抓拍图像设置为优选抓拍图像。由于图像质量得分能够兼顾图像清晰度和图像完整性,因此本实施例能够选取画面完整且清晰的抓拍图像。
为了解决目前抓拍图像优选策略中存在的面积优选局限性问题,本申请所提供的实施例参照目标检测算法中检测框回归中常用的IOU原理,充分考虑到画面边缘问题,目标检测款尺寸异常问题及中心点距离问题,设计出以下几种更高效的、在工程实现上代码更简洁的优选策略。
策略1:相关技术中仅根据目标检测框的面积选取优选抓拍图像,没有考虑目标不完整的情况。一般来说目标往往在靠近画面边缘的时候拥有最大面积,但此时目标也通常已经部分消失,这种非完整目标并不是最优情况。在以往的策略中,通常会设定画面边缘,当目标检测框的坐标落在某一边缘范围内,则判定为次优状况滤除。但这种过滤方式往往通过条件判断语句实现。在实际的工程化开发中,通过过滤各种特殊情况来优选目标,会将工程代码变得非常冗杂,代码的可读性和维护性都会降低。
本实施例通过以下方式设置权重系数、计算图像质量得分,以便选取完整度较高的抓拍图像作为优选抓拍图像,本实施例可以包括以下步骤:
步骤A1:获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;
步骤A2:确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;
步骤A3:计算所述重合区域的面积与所述目标检测框的面积的重合面积比值γ;
步骤A4:利用第一权重计算公式确定所述目标检测框的权重系数W;其中,所述第一权重计算公式为W=γ2
步骤A5:根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像。
上述实施例提供了基于交并比IOU的图像质量得分的计算方案,交并比IOU是目标检测网络训练中所使用的指标。在anchor-based的方法中交并比IOU可以很好的评判检测框predict box和ground truth的距离关系。参照检测网络训练中的交并比IOU概念,本实施例在设计抓拍图像优选策略时,采用目标检测框与预设抓拍区域的交并比作为参考因素,结合交并比IOU的值在[0,1]范围内这一特性,本实施例中以图像质量得分的概念来衡量抓拍图像的质量,图像质量得分越高表示这一帧的目标检测框越优。
请参见图3,图3为本申请实施例所提供的第一种抓拍图像的目标检测结果示意图,图中c为抓拍图像,b为预设抓拍区域,a1为第一目标检测框,a2为第二目标检测框。在检测目标抓拍系统中,理想的目标抓拍图像面积应尽可能大并且拥有完整的目标信息。如图3示例,在图像c中划定理想抓拍区域为预设抓拍区域b,第一目标检测框a1完全落在预设抓拍区域b内,面积越大则代表越优。由于目标框的面积,第二目标检测框a2仅部分落在预设抓拍区域b内,此时可以通过一定的权重系数降低面积的影响,确保全部落在理想抓拍区域内的目标是被最优先考虑的。
本实施例中,权重系数W=γ2,γ为重合区域的面积与目标检测框的面积的比值,上述重合面积比值γ反映了目标检测框在预设抓拍区域内的完整度,在计算权重系数时取重合面积比值γ的平方值可以更大程度的衰减靠近图像边缘的目标框分值,γ的范围为(0,1]。
在根据权重系数和目标检测框的面积确定每一抓拍图像的图像质量得分的过程中,可以包括以下操作:计算所述目标检测框与所述抓拍图像的面积比值A;利用第一图像质量计算公式确定每一抓拍图像的图像质量得分Q;其中,所述第一图像质量计算公式为Q=W·A,W为权重系数。在上述实施例中权重系数W=γ2,故
Figure BDA0002810130180000091
|a|为目标检测框的面积,|c|为抓拍图像的面积。基于以上方式的优选策略分值计算模式,可以很好的优选当目标在运动过程中存在检测框完整落入理想抓拍区域内的情况。抓拍图像的质量关键在于抓拍目标的完整性。不完整的目标除了在目标即将消失时会出现,在目标被其它物体遮挡时也容易出现。更高质量的抓拍目标图像的优选可以通过特征比对实现,通过特征比对可以更好的对比出最为完整的抓拍图像。但加入特征比对将会消耗更多的性能,本实施例在性能消耗方面较特征比对有非常明显的优势。
策略2:相关技术中仅根据目标检测框的面积选取优选抓拍图像,没有考虑异常目标尺寸问题。在某一些目标场景下,例如在画面边缘行驶的超大客车,仅通过面积比较优选,会抓拍到仅一半大客车图像的目标,通常仅包含半块车牌信息或完全不包含车牌信息,且长宽比例严重失衡,为无效抓拍图片。这种场景下,期望的最佳目标画面应该是比例相对合理,且尽可能包含全部车牌信息的目标图像。
本实施例通过以下方式设置权重系数、计算图像质量得分,以便选取长宽比例合适的抓拍图像作为优选抓拍图像,本实施例可以包括以下步骤:
步骤B1:获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;
其中,所述预设抓拍区域内任意位置与所述抓拍图像的边缘之间的距离大于预设值;
步骤B2:确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;
步骤B3:计算每一所述目标检测框的长宽比例;
步骤B4:根据所述重合区域与所述目标检测框的重合面积比值计算中间权重系数;
步骤B5:根据所述长宽比例调整所述中间权重系数得到所述目标检测框的权重系数;
其中,第一权重系数大于第二权重系数;所述第一权重系数为所述长宽比例大于预设比例时,调整所述中间权重系数后得到的所述目标检测框的权重系数;所述第二权重系数为所述长宽比例小于或等于预设比例时,调整所述中间权重系数后得到的所述目标检测框的权重系数。
作为一种可行的实施方式,当所述长宽比例大于预设比例时,可以利用第二权重计算公式计算所述目标检测框的权重系数W;其中,所述第二权重计算公式为W=γ2+α;γ为所述重合区域的面积与所述目标检测框的面积的重合面积比值,α为预设参数;当所述长宽比例小于或等于预设比例时,利用第三权重计算公式计算所述目标检测框的权重系数W;其中,所述第三权重计算公式为W=γ2+β,β为预设参数,且α<β。
步骤B6:根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像。
根据以上分析,图像质量得分
Figure BDA0002810130180000101
式中/>
Figure BDA0002810130180000102
为长宽比,|a|为目标检测框的面积,|c|为抓拍图像的面积,x为预设比例。
举例说明上述过程,请参见图4,图4为本申请实施例所提供的第二种抓拍图像的目标检测结果示意图,图4中C为抓拍图像,B为预设抓拍区域,At1为t1时刻对应的目标检测框,At2为t2时刻对应的目标检测框。如图4所示假设目标为大客车这类检测框很大的目标,目标的运动轨迹仅经过画面边缘。大客车在t1时刻的面积大于t2时刻,但是虽然目标检测框At1拥有更大面积,但目标检测框At2中有完整的车牌信息,显然对车辆目标进行抓拍时更希望获取到完整的车牌信息。观察目标检测框At1可以发现,此时目标检测框的长宽比例是失衡的。在实际的业务中统计发现,一般目标的h/w比值在数值2以内是比较合理的。
因此图像质量得分计算公式为:
Figure BDA0002810130180000103
策略3:相关技术中仅根据目标检测框的面积选取优选抓拍图像,并未考虑特殊场景。例如以半圆(曲线)轨迹运动并且出现时间极短的小目标,通常最大面积帧是在目标出现或者即将消失时,这种情况下目标可能并不完整而且图像模糊。如果此时恰好边缘过滤策略,由于尺度很小,目标易被过滤。
本实施例通过以下方式设置权重系数、计算图像质量得分,以便选取合适位置的抓拍图像作为优选抓拍图像,本实施例可以包括以下步骤:
步骤C1:获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;其中,所述预设抓拍区域内任意位置与所述抓拍图像的边缘之间的距离大于预设值;
步骤C2:确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;
步骤C3:确定所述目标检测框与所述抓拍图像之间的中心点距离;
其中,上述中心点距离为目标检测框的中心点与抓拍图像的中心点之间的距离。
步骤C4:根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数;其中,所述重合面积比值与所述权重系数正相关;
步骤C5:根据所述权重系数和所述目标检测框的面积计算中间质量得分;
其中,本实施例可以目标检测框与所述抓拍图像的面积比值A与权重系数W的乘积作为中间质量得分。
步骤C6:根据所述中心点距离调整所述中间质量得分得到每一所述抓拍图像的图像质量得分;其中,所述中心点距离与所述图像质量得分负相关。
具体的,本实施例可以根据第二图像质量计算公式确定每一所述抓拍图像的图像质量得分Q。其中,所述第二图像质量计算公式为
Figure BDA0002810130180000111
W为权重系数,A为所述目标检测框与所述抓拍图像的面积比值,δ为大于0的预设参数,d为中心点距离。δ可以根据目标检测框的长宽比调整。
步骤C7:将所述图像质量得分最高的抓拍图像设置为优选抓拍图像。
请参见图5,图5为本申请实施例所提供的第三种抓拍图像的目标检测结果示意图,图5中存在非常小的目标在画面边缘很短暂的出现,运动轨迹呈弧形,并且目标的运动速度很快。在这类场景下,容易抓拍到的模糊的不完整目标图像。以目标的完整性和清晰程度作为考量,在分析素材的过程中发现,越靠近画面中心点的目标,相对更完整且清晰,画面质量比边缘位置更好。考虑到这一因素,本实施例可以加入了目标框中心点到画面中心点距离作为优选分值项,图像质量得分计算公式如下
Figure BDA0002810130180000121
上述在图像质量得分计算中加入中心点距离因素,可以影响预设抓拍区域内的优选效果。考虑到在预设抓拍区域内,距离因素并不是首要考虑因素项。此时可以将与中心点距离相关的惩罚项因子降低,或者也可以在这一区域内部不考虑中心点距离因素,可以根据优选的检测跟踪场景自定义修改。本实施例将抓拍目标优选策略的过程通过分值的形式表达,精简了抓拍图像优选过程,同时考虑了特殊场景进一步提高抓拍目标图像优选质量。
本申请实施例还提供的一种图像筛选装置,该装置可以包括:
图像获取模块,用于获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;
重合区域确定模块,用于确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;
权重系数计算模块,用于根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数;其中,所述重合面积比值与所述权重系数正相关;
图像选择模块,用于根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像。
本实施例在获取多张抓拍图像之后确定抓拍图像中的预设抓拍区域,通过对抓拍图像进行目标检测可以得到目标检测框,确定目标检测框与预设抓拍区域的重合区域。通过计算重合面积比值可以确定目标检测框落在预设抓拍区域的面积占目标检测框总面积的比值,本实施例根据重合面积比值确定目标检测框的权重系数。本实施例结合权重系数和目标检测框的面积对所有的抓拍图像进行评分,并将图像质量得分最高的抓拍图像设置为优选抓拍图像。由于图像质量得分能够兼顾图像清晰度和图像完整性,因此本实施例能够选取画面完整且清晰的抓拍图像。
进一步的,权重系数计算模块包括:
重合面积比值计算单元,用于计算所述重合区域的面积与所述目标检测框的面积的重合面积比值γ;
第一系数计算单元,用于利用第一权重计算公式确定所述目标检测框的权重系数W;其中,所述第一权重计算公式为W=γ2
进一步的,图像选择模块包括:
面积比计算单元,用于计算所述目标检测框与所述抓拍图像的面积比值A;
第一得分计算单元,用于利用第一图像质量计算公式确定每一抓拍图像的图像质量得分Q;其中,所述第一图像质量计算公式为Q=W·A,W为权重系数。
进一步的,还包括:
长宽比计算单元,用于在确定每一所述抓拍图像中的目标检测框之后,计算每一所述目标检测框的长宽比例;
相应的,权重系数计算模块包括:
中间权重计算单元,用于根据所述重合区域与所述目标检测框的重合面积比值计算中间权重系数;
权重调整单元,用于根据所述长宽比例调整所述中间权重系数得到所述目标检测框的权重系数;
其中,第一权重系数大于第二权重系数;所述第一权重系数为所述长宽比例大于预设比例时,调整所述中间权重系数得到的所述目标检测框的权重系数;所述第二权重系数为所述长宽比例小于或等于预设比例时,调整所述中间权重系数得到的所述目标检测框的权重系数。
进一步的,权重调整单元用于当所述长宽比例大于预设比例时,利用第二权重计算公式计算所述目标检测框的权重系数W;其中,所述第二权重计算公式为W=γ2+α;γ为所述重合区域的面积与所述目标检测框的面积的重合面积比值,α为预设参数;还用于当所述长宽比例小于或等于预设比例时,利用第三权重计算公式计算所述目标检测框的权重系数W;其中,所述第三权重计算公式为W=γ2+β,β为预设参数,且α<β。
进一步的,还包括:
距离确定单元,用于在确定每一所述抓拍图像中的目标检测框之后,确定所述目标检测框与所述抓拍图像之间的中心点距离;
相应的,图像选择模块包括:
中间得分计算单元,用于根据所述权重系数和所述目标检测框的面积计算中间质量得分;
得分调整单元,用于根据所述中心点距离调整所述中间质量得分得到每一所述抓拍图像的图像质量得分;其中,所述中心点距离与所述图像质量得分负相关。
进一步的,所述得分调整单元具体为用于根据第二图像质量计算公式确定每一所述抓拍图像的图像质量得分Q的单元;
其中,所述第二图像质量计算公式为
Figure BDA0002810130180000141
W为权重系数,A为所述目标检测框与所述抓拍图像的面积比值,δ为大于0的预设参数,d为中心点距离。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
本申请还提供了一种存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备,可以包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时,可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口,电源等组件。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种图像筛选方法,其特征在于,包括:
获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;其中,所述预设抓拍区域内任意位置与所述抓拍图像的边缘之间的距离大于预设值;
确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;
根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数;其中,所述重合面积比值与所述权重系数正相关;所述重合面积比值为:所述重合区域的面积与所述目标检测框的面积的比值;
根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像;
在确定每一所述抓拍图像中的目标检测框之后,还包括:
计算每一所述目标检测框的长宽比例;
相应的,根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数,包括:
根据所述重合区域与所述目标检测框的重合面积比值计算中间权重系数;
根据所述长宽比例调整所述中间权重系数得到所述目标检测框的权重系数;
其中,所述长宽比例大于预设比例时调整所述中间权重系数得到的所述目标检测框的权重系数,所述长宽比例小于或等于预设比例时调整所述中间权重系数得到的所述目标检测框的权重系数。
2.根据权利要求1所述图像筛选方法,其特征在于,根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数,包括:
计算所述重合区域的面积与所述目标检测框的面积的重合面积比值γ;
利用第一权重系数计算公式确定所述目标检测框的权重系数W;其中,所述第一权重系数计算公式为W=γ2,所述第一权重系数为:所述中间权重系数。
3.根据权利要求1所述图像筛选方法,其特征在于,根据所述权重系数和所述目标检测框的面积确定每一抓拍图像的图像质量得分,包括:
计算所述目标检测框与所述抓拍图像的面积比值A;
利用第一图像质量计算公式确定每一抓拍图像的图像质量得分Q;其中,所述第一图像质量计算公式为Q=W·A,W为权重系数。
4.根据权利要求1所述图像筛选方法,其特征在于,根据所述长宽比例调整所述中间权重系数得到所述目标检测框的权重系数,包括:
当所述长宽比例大于预设比例时,利用第二权重系数计算公式计算所述目标检测框的权重系数W;其中,所述第二权重系数计算公式为W=γ2+α;γ为所述重合区域的面积与所述目标检测框的面积的重合面积比值,α为预设参数,所述第二权重系数为:所述长宽比例大于预设比例时、调整所述中间权重系数得到的所述目标检测框的权重系数;
当所述长宽比例小于或等于预设比例时,利用第三权重系数计算公式计算所述目标检测框的权重系数W;其中,所述第三权重系数计算公式为W=γ2+β,β为预设参数,且α<β,所述第三权重系数为:所述长宽比例小于或等于预设比例时、调整所述中间权重系数得到的所述目标检测框的权重系数。
5.根据权利要求1所述图像筛选方法,其特征在于,在确定每一所述抓拍图像中的目标检测框之后,还包括:
确定所述目标检测框与所述抓拍图像之间的中心点距离;
相应的,根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,包括:
根据所述权重系数和所述目标检测框的面积计算中间质量得分;
根据所述中心点距离调整所述中间质量得分得到每一所述抓拍图像的图像质量得分;其中,所述中心点距离与所述图像质量得分负相关。
6.根据权利要求5所述图像筛选方法,其特征在于,根据所述中心点距离调整所述中间质量得分得到每一所述抓拍图像的图像质量得分,包括:
根据第二图像质量计算公式确定每一所述抓拍图像的图像质量得分Q;
其中,所述第二图像质量计算公式为
Figure QLYQS_1
W为权重系数,A为所述目标检测框与所述抓拍图像的面积比值,δ为大于0的预设参数,d为中心点距离。
7.一种图像筛选装置,其特征在于,包括:
图像获取模块,用于获取多张抓拍图像并确定所述抓拍图像中的预设抓拍区域;其中,所述预设抓拍区域内任意位置与所述抓拍图像的边缘之间的距离大于预设值;
重合区域确定模块,用于确定每一所述抓拍图像中的目标检测框,并确定所述目标检测框与所述预设抓拍区域的重合区域;
权重系数计算模块,用于根据所述重合区域与所述目标检测框的重合面积比值确定所述目标检测框的权重系数;其中,所述重合面积比值与所述权重系数正相关;所述重合面积比值为:所述重合区域的面积与所述目标检测框的面积的比值;
图像选择模块,用于根据所述权重系数和所述目标检测框的面积确定每一所述抓拍图像的图像质量得分,并将所述图像质量得分最高的抓拍图像设置为优选抓拍图像;
其中,还包括:
长宽比计算单元,用于在确定每一所述抓拍图像中的目标检测框之后,计算每一所述目标检测框的长宽比例;
相应的,所述权重系数计算模块包括:
中间权重计算单元,用于根据所述重合区域与所述目标检测框的重合面积比值计算中间权重系数;
权重调整单元,用于根据所述长宽比例调整所述中间权重系数得到所述目标检测框的权重系数;
其中,所述长宽比例大于预设比例时调整所述中间权重系数得到的所述目标检测框的权重系数,所述长宽比例小于或等于预设比例时调整所述中间权重系数得到的所述目标检测框的权重系数。
8.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1至6任一项所述图像筛选方法的步骤。
9.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上权利要求1至6任一项所述图像筛选方法的步骤。
CN202011383084.3A 2020-12-01 2020-12-01 一种图像筛选方法、装置、电子设备及存储介质 Active CN112489020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011383084.3A CN112489020B (zh) 2020-12-01 2020-12-01 一种图像筛选方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011383084.3A CN112489020B (zh) 2020-12-01 2020-12-01 一种图像筛选方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112489020A CN112489020A (zh) 2021-03-12
CN112489020B true CN112489020B (zh) 2023-05-23

Family

ID=74938317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011383084.3A Active CN112489020B (zh) 2020-12-01 2020-12-01 一种图像筛选方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112489020B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511694B (zh) * 2022-01-28 2023-05-12 北京百度网讯科技有限公司 图像识别方法、装置、电子设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893963A (zh) * 2016-03-31 2016-08-24 南京邮电大学 一种筛选视频中单个行人目标的最佳易识别帧的方法
CN106710240A (zh) * 2017-03-02 2017-05-24 公安部交通管理科学研究所 融合多目标雷达与视频信息的通行车辆跟踪测速方法
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN110599503A (zh) * 2019-06-18 2019-12-20 腾讯科技(深圳)有限公司 检测模型训练方法、装置、计算机设备和存储介质
CN110807767A (zh) * 2019-10-24 2020-02-18 北京旷视科技有限公司 目标图像筛选方法及目标图像筛选装置
CN110969859A (zh) * 2018-09-30 2020-04-07 浙江宇视科技有限公司 车辆抓拍自动变倍方法及装置
CN111160201A (zh) * 2019-12-20 2020-05-15 万翼科技有限公司 一种人脸图像上传方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105893963A (zh) * 2016-03-31 2016-08-24 南京邮电大学 一种筛选视频中单个行人目标的最佳易识别帧的方法
CN106710240A (zh) * 2017-03-02 2017-05-24 公安部交通管理科学研究所 融合多目标雷达与视频信息的通行车辆跟踪测速方法
CN109117794A (zh) * 2018-08-16 2019-01-01 广东工业大学 一种运动目标行为跟踪方法、装置、设备及可读存储介质
CN110969859A (zh) * 2018-09-30 2020-04-07 浙江宇视科技有限公司 车辆抓拍自动变倍方法及装置
CN110599503A (zh) * 2019-06-18 2019-12-20 腾讯科技(深圳)有限公司 检测模型训练方法、装置、计算机设备和存储介质
CN110807767A (zh) * 2019-10-24 2020-02-18 北京旷视科技有限公司 目标图像筛选方法及目标图像筛选装置
CN111160201A (zh) * 2019-12-20 2020-05-15 万翼科技有限公司 一种人脸图像上传方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"一种结合训练样本筛选的SVM图像分割方法";薛志东 等;《计算机工程与应用》;20071231;第55-57页 *
"图像目标的自动识别和快速筛选技术";李吉成 等;《红外与激光工程》;20061031;第35卷;第225-231页 *

Also Published As

Publication number Publication date
CN112489020A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
JP3899523B2 (ja) 画像類似度算出システムおよび画像検索システム
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
EP2549738B1 (en) Method and camera for determining an image adjustment parameter
US8189916B2 (en) Image processing method, system, and computer readable medium
CN103140876B (zh) 信息处理装置、信息处理方法、信息处理装置用程序以及记录介质
CN105631418A (zh) 一种人数统计的方法和装置
CN109478329B (zh) 图像处理方法和装置
CN108986097A (zh) 一种镜头起雾状态检测方法、计算机装置及可读存储介质
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
CN107945523A (zh) 一种道路车辆检测方法、交通参数检测方法及装置
CN112966654B (zh) 唇动检测方法、装置、终端设备及计算机可读存储介质
CN112800850A (zh) 一种视频处理方法、装置、电子设备及存储介质
CN114782412A (zh) 图像检测方法、目标检测模型的训练方法及装置
CN112489020B (zh) 一种图像筛选方法、装置、电子设备及存储介质
CN111225162A (zh) 图像曝光的控制方法、系统、可读存储介质及摄像设备
CN114302226B (zh) 一种视频画幅智能裁剪方法
CN113312949B (zh) 视频数据处理方法、视频数据处理装置和电子设备
CN104809438B (zh) 一种检测电子眼的方法和设备
CN113177917B (zh) 一种抓拍图像优选方法、系统、设备及介质
CN113938671B (zh) 图像内容分析方法、装置、电子设备和存储介质
CN115937168A (zh) 一种基于机器人的垃圾桶满溢检测方法、装置及机器人
CN111027560B (zh) 文本检测方法以及相关装置
CN114359183A (zh) 图像质量评估方法及设备、镜头遮挡的确定方法
CN114219759A (zh) 一种检测方法、检测装置和计算机可读存储介质
CN109727193B (zh) 图像虚化方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant