CN112801934A - 一种基于图像序列上下文信息的候选框选择方法 - Google Patents

一种基于图像序列上下文信息的候选框选择方法 Download PDF

Info

Publication number
CN112801934A
CN112801934A CN202011391596.4A CN202011391596A CN112801934A CN 112801934 A CN112801934 A CN 112801934A CN 202011391596 A CN202011391596 A CN 202011391596A CN 112801934 A CN112801934 A CN 112801934A
Authority
CN
China
Prior art keywords
frame
candidate
candidate frame
image sequence
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011391596.4A
Other languages
English (en)
Inventor
袁夏
王亚宁
赵春霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202011391596.4A priority Critical patent/CN112801934A/zh
Publication of CN112801934A publication Critical patent/CN112801934A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像序列上下文信息的候选框选择方法，包括以下步骤：首先对于当前帧及其相邻的前后帧得到的所有候选框按类别标签进行分类，然后遍历当前帧中的每一个候选框，对当前帧的每一个候选框分别在其前一帧和后一帧中找到所有与其类别相同的候选框，计算它与这些候选框的交并比，并根据交并比的结果对其置信度进行重新评分，如果交并比大于预设阈值，则相应提高其置信度得分。反之，则降低其置信度评分。最后根据新的置信度得分来选择候选框。通过这种基于图像序列上下文信息对当前帧候选框重新打分的方法选择候选框，可以有效地降低目标检测过程中漏检和错检的发生，提高了检测的准确率。

Description

一种基于图像序列上下文信息的候选框选择方法
技术领域
本发明属于图像目标检测领域，特别是一种基于图像序列上下文信息的候选框选择方法。
背景技术
基于深度学习方法的图像目标检测方法通过对单张图像进行检测时会产生很多候选框，这些候选框通过网络预测得到的置信度进行筛选，大于置信度阈值的保留，小于置信度阈值的则删除，最终得到目标候选框。但是对于图像序列而言，相邻帧之间存在时空上下文关系，如果对于图像序列进行逐帧的检测，则没有用到这种丰富的上下文信息，容易造成漏检和错检。
发明内容
本发明的目的在于提供一种基于图像序列上下文信息的候选框选择方法，能够较好的利用图像序列之间的时空关系解决目标检测过程中预测候选框的选择问题。
实现本发明目的的技术解决方案为：
一种基于图像序列上下文信息的候选框选择方法，包括以下步骤：
1、对当前帧及其相邻的前一帧、后一帧检测得到的候选框分别按类别进行分类；
2、遍历当前帧中的每一个候选框，对当前帧的每一个候选框与前一帧和后一帧中同类别的候选框匹配，计算交并比；
3、根据当前帧候选框与前后帧候选框的匹配情况，对当前帧的候选框的置信度进行重打分；
4、对重新评分后的当前帧的候选框按置信度选择保留或去除，输出当前帧的所有的保留下来的候选框。
本发明与现有技术相比，其显著优点为：
1、利用了图像序列的上下文信息，基于相邻帧间的时空关系，对当前帧图像的候选框置信度进行更为合理的重新评分。
2、计算量少，不需要引入额外的信息，仅需要计算当前帧候选框与前一帧和后一帧候选框的交并比，就可以根据公式转换得到新的置信度评分。
附图说明
图1为本发明一种基于图像序列上下文信息的候选框选择方法流程图。
具体实施方式
本发明的主要过程是，在图像序列目标检测的候选框选择过程中，根据图像序列中当前帧与邻近的前后帧之间预测候选框的交并比，对当前候选框的置信度进行重新评分并对根据得分对候选框进行选择。
下面结合说明书附图对本发明作进一步说明。
如图1所示，本发明一种基于图像序列上下文信息的候选框选择方法，包括以下步骤：
步骤1、对当前帧及其相邻的前一帧、后一帧检测得到的候选框分别按类别进行分类。设图像序列每一帧检测的所有候选框的集合对应一个特征矩阵，
设特征矩阵的形式为
Figure BDA0002813006120000021
其大小为 N*(C+4)，N为特征图包含的候选框个数，C为检测的类别总数，特征矩阵每一行对应一个候选框，每个候选框形式为：
W＝[x1，y1，x2，y2，s1，s2，…sC]因为候选框为矩形框，左上角顶点和右下角顶点对应的直角坐标分别为(x1，y1)，(x2，y2)，s1，s2，s3，...sC为该候选框对应的C个类别的置信度得分，大小范围[0，1]。从C个类别中选择置信度得分最高的类别作为其对应的预测类别，则每个候选框对应的形式为 [x1，y1，x2，y2，i，si]，1≤i≤C，然后将这一帧的所有候选框按照预测类别进行分类，并按照类别顺序排列。
步骤2、设候选框w1对应的坐标为(a1.b1)和(a2，b2)，候选框w2对应的坐标为 (a3，b3)和(a4，b4)，则两个框的交并比IoU计算公式如下：
Figure BDA0002813006120000022
对当前帧的每一个候选框，分别根据公式计算它与前一帧及后一帧每一个同类别候选框的交并比，并记录与前一帧及后帧候选框交并比的最大值，记为μ1，μ2；
步骤3、根据当前帧候选框与前后帧候选框的匹配情况，对当前帧的所有候选框的置信度进行重打分。设当前帧候选框对应的置信度为conf1，重新评分后的置信度为conf2，计算公式如下
conf2＝conf1*(1+max(0，u1)*max(0，u2))
步骤4、设置信度阈值为λ(0.4≤λ≤0.6)，若当前帧候选框的置信度 conf2≥λ，则将候选框保留；反之，将候选框删除。最后输出当前帧所有保留下来的候选框集合对应的特征矩阵。

Claims (5)

1.一种基于图像序列上下文信息的候选框选择方法，其特征在于，包括以下步骤：
1、对当前帧及其相邻的前一帧、后一帧检测得到的候选框分别按类别进行分类；
2、遍历当前帧中的每一个候选框，将当前帧的每一个候选框与前一帧和后一帧中同类别的候选框匹配，计算交并比；
3、根据当前帧候选框与前后帧候选框的匹配情况，对当前帧的候选框的置信度进行重打分；
4、对重新评分后的当前帧的候选框按置信度选择保留或去除，输出当前帧的所有的保留下来的候选框。
2.根据权利要求1所述的基于图像序列上下文信息的候选框选择方法，其特征在于，步骤1中，设图像序列每一帧检测的所有候选框的集合对应一个特征矩阵，设特征矩阵的形式为
Figure FDA0002813006110000011
其大小为N*(C+4)，N为特征图包含的候选框个数，C为检测的类别总数，特征矩阵每一行对应一个候选框，每个候选框形式为：
W＝[x1,y1,x2,y2,s1,s2,…sC]，候选框为矩形框，左上角顶点和右下角顶点对应的直角坐标分别为(x1,y1),(x2,y2),s1,s2,s3,…sC为该候选框对应的C个类别的置信度得分，大小范围[0,1]；从C个类别中选择置信度得分最高的类别作为其对应的预测类别,则每个候选框对应的形式为[x1,y1,x2,y2,i,si],1≤i≤C,然后将这一帧的所有候选框按照预测类别进行分类，并按照类别顺序排列。
3.根据权利要求1所述的基于图像序列上下文信息的候选框选择方法，其特征在于，步骤2中，设候选框w1对应的坐标为(a1,b1)和(a2,b2)，候选框w2对应的坐标为(a3,b3)和(a4,b4)，则两个框的交并比IoU计算公式如下：
Figure FDA0002813006110000012
根据计算公式，对当前帧的每一个候选框，分别计算它与前一帧及后一帧每一个同类别候选框的交并比，并记录与前一帧及后一帧候选框交并比的最大值，记为μ1，μ2。
4.根据权利要求1所述的基于图像序列上下文信息的候选框选择方法，其特征在于，步骤3中，根据当前帧候选框与前后帧候选框的匹配情况，对当前帧的候选框的置信度进行重打分：设当前帧候选框对应的置信度为conf1，重新评分后的置信度为conf2，计算公式如下
conf2＝conf1*(1+max(0,u1)*max(0,u2))。
5.根据权利要求1所述的基于图像序列上下文信息的候选框选择方法，其特征在于：步骤4中，设置信度阈值为λ(0.4≤λ≤0.6)，若当前帧候选框的置信度conf2≥λ,则将候选框保留；反之，将候选框删除；最后输出当前帧所有保留下来的候选框。
CN202011391596.4A 2020-12-02 2020-12-02 一种基于图像序列上下文信息的候选框选择方法 Withdrawn CN112801934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011391596.4A CN112801934A (zh) 2020-12-02 2020-12-02 一种基于图像序列上下文信息的候选框选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011391596.4A CN112801934A (zh) 2020-12-02 2020-12-02 一种基于图像序列上下文信息的候选框选择方法

Publications (1)

Publication Number Publication Date
CN112801934A true CN112801934A (zh) 2021-05-14

Family

ID=75806399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011391596.4A Withdrawn CN112801934A (zh) 2020-12-02 2020-12-02 一种基于图像序列上下文信息的候选框选择方法

Country Status (1)

Country Link
CN (1) CN112801934A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030272A (zh) * 2023-03-30 2023-04-28 之江实验室 一种基于信息抽取的目标检测方法、系统和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116030272A (zh) * 2023-03-30 2023-04-28 之江实验室 一种基于信息抽取的目标检测方法、系统和装置

Similar Documents

Publication Publication Date Title
CN110084095B (zh) 车道线检测方法、车道线检测装置和计算机存储介质
JP4976608B2 (ja) 画像をイベントに自動的に分類する方法
US8385649B2 (en) Information processing apparatus and method for detecting object in image data
JP5500024B2 (ja) 画像認識方法及び装置並びにプログラム
CN109829445B (zh) 一种视频流中的车辆检测方法
CN110097044A (zh) 基于深度学习的一阶段车牌检测识别方法
CN116152226B (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
WO2005066896A2 (en) Detection of sky in digital color images
CN111626145B (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
CN103035013A (zh) 一种基于多特征融合的精确运动阴影检测方法
CN110310305B (zh) 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置
CN108460336A (zh) 一种基于深度学习的行人检测方法
CN113034511A (zh) 基于高分辨率遥感影像与深度学习的乡村建筑识别算法
CN114998595A (zh) 弱监督语义分割方法、语义分割方法及可读存储介质
CN112801934A (zh) 一种基于图像序列上下文信息的候选框选择方法
CN117292113A (zh) 一种基于深度学习的混凝土裂缝动态扩展实时监测方法
WO2023207535A1 (zh) 一种伪标签框生成方法、装置及电子设备
CN114821318B (zh) 一种基于Darkdet-Net的低照度小样本目标检测方法
CN111539390A (zh) 一种基于Yolov3的小目标图像识别方法、设备和系统
CN114724063B (zh) 一种基于深度学习的公路交通事件检测方法
JP2004538555A (ja) デジタル画像を分類する方法
CN114429577A (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
CN107832732A (zh) 基于三叉树遍历的车道线检测方法
CN114384073A (zh) 一种基于地铁隧道裂纹检测方法及系统
CN111738088B (zh) 一种基于单目摄像头的行人距离预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20210514