CN113269055A - 一种落叶检测预测框损失函数计算方法 - Google Patents

一种落叶检测预测框损失函数计算方法 Download PDF

Info

Publication number
CN113269055A
CN113269055A CN202110488329.7A CN202110488329A CN113269055A CN 113269055 A CN113269055 A CN 113269055A CN 202110488329 A CN202110488329 A CN 202110488329A CN 113269055 A CN113269055 A CN 113269055A
Authority
CN
China
Prior art keywords
prediction
loss function
frame
fallen
prediction frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110488329.7A
Other languages
English (en)
Other versions
CN113269055B (zh
Inventor
缪燕子
张宗伟
王贺升
赵忠祥
代伟
王啸林
翟煜
史延诺
王志铭
王玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202110488329.7A priority Critical patent/CN113269055B/zh
Publication of CN113269055A publication Critical patent/CN113269055A/zh
Application granted granted Critical
Publication of CN113269055B publication Critical patent/CN113269055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明针对智能清扫装置对成片落叶检测难、效率低的问题，提出一种用于落叶检测的预测框损失函数—引力损失函数(AIoU Loss)的计算方法。通过引入预测框间的距离参数，使用最小外接矩形框替换符合条件的原预测框，达到预测成片落叶的效果。本发明解决了在检测落叶时，区分单片落叶和成片落叶的问题，使智能落叶清扫装置更准确的定位落叶地点，提高清扫效率。

Description

一种落叶检测预测框损失函数计算方法
技术领域
本发明涉及目标检测技术领域，具体涉及一种落叶检测预测框损失函数计算方法。
背景技术
目前，随着计算机视觉技术的发展，目标检测成为当前的研究热点，在环卫领域有着广泛的应用前景。路面的落叶清理是环卫工作的难点，尤其是园区和狭窄道路的落叶只能由人工清理，费时费力，因而，利用目标检测技术实现路面落叶的智能清理成为新的途径。
落叶检测的需求与一般的目标检测不同。单片落叶与成片落叶分布不均匀，对于成片落叶的清扫，只需检测落叶的成片区域即可。现有的目标检测算法可以很好的完成单片落叶的检测任务，但是检测成片落叶的结果很不理想，原因主要在于现有算法的预测框损失函数只注重于单片落叶损失的计算，没有考虑到成片落叶的复杂情况。所以，区分单片、成片落叶的高效目标检测算法成为迫切需求。
发明内容
本发明提出了一种新的预测框损失函数—AIoULoss(引力损失函数)用以解决成片落叶的检测问题。
本发明可通过以下技术方案实现：
一种适用于落叶检测的预测框损失函数计算方法，包括以下步骤：
步骤1：首先计算出已标定数据集的目标框中心点之间的欧式距离，求出其平均值lAvg，并令δ＝lAvg，δ表示判定阈值。
步骤2：假设共有N个预测框，下面开始计算N个预测框两两之间的距离。引入参数lPre表示预测框中心点之间的欧氏距离，对计算所得距离进行排序，得到
Figure BDA0003051382000000011
步骤3：当lPrei＜δ时，判定为成片落叶，进入步骤4，否则进入步骤8。
步骤4：使用lPrei的两个关联预测框的最小外接矩形来替代原本的两个预测框，获取最新的预测框B'。
步骤5：按照新预测框计算IoU损失LFusing'，如下式：
Figure BDA0003051382000000012
其中，B'表示融合之后的预测框，G表示真实框，SB'∩G表示预测框与真实框的重合面积，SB'∪G表示预测框和真实框的面积和减去重合面积。
同时，计算原预测框与真实框的重合面积之比：
Figure BDA0003051382000000021
其中，SB∩G表示融合前的预测框和真实框重合面积，SB∪G表示融合前的真实框和真实框之和减去其重合面积。
如果LFusing'＜LIoU'，则判定为融合失败，转入步骤7。
如果LFusing'≥LIoU'，则判定为成功融合，使用新的大预测框替代原来的两个预测框参与损失函数计算，即
Figure BDA0003051382000000022
其中，B'和G分别代表新预测框和真实框，C为预测框和真实框的最小外接矩形。
步骤6：剩余预测框数量为N-1，返回步骤2，再次进行距离计算，进行下一次迭代。
步骤7：放弃对当前预测框的融合处理，转入步骤3，进行lPrei+1的计算。
步骤8：融合过程结束，判定为单片落叶时，进入单片落叶处理过程，其预测框损失函数如下所示：
Figure BDA0003051382000000023
其中，IoU为预测框和真实框的IoU损失，ρ为预测框和真实框中心点之间的欧氏距离，B和G分别代表预测框和真实框，c为预测框和真实框的最小外接矩阵的对角线长度。
步骤9：为了同时实现单片落叶与成片落叶的损失函数计算，定义AIoULoss函数如下：
LAIoU＝LIoU+LFusing，
其中，LAIoU是总的损失函数值，LIoU使得单片落叶目标的预测框和匹配上的目标框尽可能接近，LFusing是使得成片落叶目标的预测框和匹配上的目标框尽可能接近。
步骤10：根据实验的验证效果与实际应用场景，对δ进行微调。如果落叶清扫单位覆盖面积大，可以增大δ，获得更大的成片落叶面积，提高清扫效率；如果落叶清扫单位覆盖面积较小，可以减小δ，取得更好的清扫效果。
本发明技术思路为独创，与现有的技术相比，可以有效解决落叶检测过程中单片与成片落叶难以区分的问题。
附图说明
图1为本发明的算法流程图。
具体实施方式
本发明提出了一种新的预测框损失函数—AIoULoss(引力损失函数)用以解决成片落叶的检测问题，下面对本发明做进一步说明。
本发明可通过以下技术方案实现：
一种适用于落叶检测的预测框损失函数计算方法，包括以下步骤：
步骤1：首先计算出已标定数据集的目标框中心点之间的欧式距离，求出其平均值lAvg，并令lAvg＝δ。δ表示判定阈值。
步骤2：假设共有N个预测框，下面开始计算N个预测框两两之间的距离。引入参数lPre表示预测框中心点之间的欧氏距离，对计算所得距离进行排序，得到：
Figure BDA0003051382000000031
步骤3：当lPrei＜δ时，判定为成片落叶，进入步骤4，否则进入步骤8。
步骤4：使用lPrei的两个关联预测框的最小外接矩形来替代原本的两个预测框，获取最新的预测框B'。
步骤5：按照新预测框计算IoU损失LFusing'，如下式：
Figure BDA0003051382000000032
其中，B'表示融合之后的预测框，G表示真实框，SB'∩G表示预测框与真实框的重合面积，SB'∪G表示预测框和真实框的面积和减去重合面积。
同时，计算原预测框与真实框的重合面积之比：
Figure BDA0003051382000000033
其中，SB∩G表示融合前的预测框和真实框重合面积，SB∪G表示融合前的真实框和真实框之和减去其重合面积。
如果LFusing′＜LIoU′，则判定为融合失败，转入步骤7。
如果LFusing'≥LIoU'，则判定为成功融合，使用新的大预测框替代原来的两个预测框参与损失函数计算，即
Figure BDA0003051382000000034
其中，B'和G分别代表新预测框和真实框，C为预测框和真实框的最小外接矩形。
步骤6：剩余预测框数量为N-1，返回步骤2，再次进行距离计算，进行下一次迭代。
步骤7：放弃对当前预测框的融合处理，转入步骤3，进行lPrei+1的计算。
步骤8：融合过程结束，判定为单片落叶时，进入单片落叶处理过程，其预测框损失函数如下所示：
Figure BDA0003051382000000041
其中，IoU为预测框和真实框的IoU损失，ρ为预测框和真实框中心点之间的欧氏距离，B和G分别代表预测框和真实框，c为预测框和真实框的最小外接矩阵的对角线长度。
步骤9：为了同时实现单片落叶与成片落叶的损失函数计算，定义AIoULoss函数如下：
LAIoU＝LIoU+LFusing，
其中，LAIoU是总的损失函数值，LIoU使得单片落叶目标的预测框和匹配上的目标框尽可能接近，LFusing是使得成片落叶目标的预测框和匹配上的目标框尽可能接近。
步骤10：根据实验的验证效果与实际应用场景，对δ进行微调。如果落叶清扫单位覆盖面积大，可以增大δ，获得更大的成片落叶面积，提高清扫效率；如果落叶清扫单位覆盖面积较小，可以减小δ，取得更好的清扫效果。

Claims (4)

1.一种落叶检测预测框损失函数计算方法，包括以下步骤：
步骤1：计算出已标定数据集的目标框中心点之间的欧式距离l，令lAvg＝δ，δ表示判定阈值；
步骤2：计算N个预测框两两之间的距离lPre并由小到大排序；
步骤3：比较lPre和δ大小，若lPre≤δ，进入步骤4，否则进入步骤8；
步骤4：对上面所述距离l的两个预测框进行融合处理，得到新的预测框；
步骤5：比较融合得出的新预测框与原预测框的IoU值，若新预测框的IoU值大,则使用新预测框替代原预测框，计算损失函数Lfusing，执行步骤6，否则，执行步骤7；
步骤6：更新预测框，获得N-1个预测框，返回执行步骤2；
步骤7：放弃融合预测框，选取下一个lPre，返回步骤3；
步骤8：预测框融合结束，未融合预测框计算损失函数LIoU；
步骤9：计算引力损失函数AIoU Loss；
步骤10：根据实验的验证效果与实际应用场景，对δ进行微调。
2.根据权利要求1所述的一种适用于落叶检测算法的损失函数设计，其特征在于，步骤5中的损失函数Lfusing采用下式计算：
Figure FDA0003051381990000011
其中，B'和G分别代表新预测框和真实框，C为预测框和真实框的最小外接矩形，LFusing'为新预测框IoU损失。
3.根据权利要求1所述的一种适用于落叶检测算法的损失函数设计，其特征在于，步骤9中引力损失函数AIoULoss公式如下：
LAIoU＝LIoU+LFusing。
4.根据权利要求1所述的一种适用于落叶检测算法的损失函数设计，其特征在于，根据实验的验证效果与实际应用场景，对δ进行微调，如果落叶清扫单位覆盖面积大，可以增大δ，获得更大的成片落叶面积，提高清扫效率；如果落叶清扫单位覆盖面积较小，可以减小δ，取得更好的清扫效果。
CN202110488329.7A 2021-05-06 2021-05-06 一种落叶检测预测框损失函数计算方法 Active CN113269055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110488329.7A CN113269055B (zh) 2021-05-06 2021-05-06 一种落叶检测预测框损失函数计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110488329.7A CN113269055B (zh) 2021-05-06 2021-05-06 一种落叶检测预测框损失函数计算方法

Publications (2)

Publication Number Publication Date
CN113269055A true CN113269055A (zh) 2021-08-17
CN113269055B CN113269055B (zh) 2024-02-13

Family

ID=77229959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110488329.7A Active CN113269055B (zh) 2021-05-06 2021-05-06 一种落叶检测预测框损失函数计算方法

Country Status (1)

Country Link
CN (1) CN113269055B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683137A (zh) * 2017-01-11 2017-05-17 中国矿业大学 基于人工标志的单目多目标识别与定位方法
CN109671058A (zh) * 2018-12-05 2019-04-23 武汉精立电子技术有限公司 一种大分辨率图像的缺陷检测方法及系统
WO2019099899A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Analyzing spatially-sparse data based on submanifold sparse convolutional neural networks
CN112200081A (zh) * 2020-10-10 2021-01-08 平安国际智慧城市科技股份有限公司 异常行为识别方法、装置、电子设备及存储介质
CN112287788A (zh) * 2020-10-20 2021-01-29 杭州电子科技大学 基于改进YOLOv3和改进NMS的行人检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683137A (zh) * 2017-01-11 2017-05-17 中国矿业大学 基于人工标志的单目多目标识别与定位方法
WO2019099899A1 (en) * 2017-11-17 2019-05-23 Facebook, Inc. Analyzing spatially-sparse data based on submanifold sparse convolutional neural networks
CN109671058A (zh) * 2018-12-05 2019-04-23 武汉精立电子技术有限公司 一种大分辨率图像的缺陷检测方法及系统
CN112200081A (zh) * 2020-10-10 2021-01-08 平安国际智慧城市科技股份有限公司 异常行为识别方法、装置、电子设备及存储介质
CN112287788A (zh) * 2020-10-20 2021-01-29 杭州电子科技大学 基于改进YOLOv3和改进NMS的行人检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J DU: "Understanding of object detection based on CNN family and YOLO", 《JOURNAL OF PHYSICS:CONFERENCE SERIES》, pages 1 - 9 *
LI SHOUJUN等: "A novel varistructure grey forecasting model with speed adaptation and its application", 《MATHEMATICS AND COMPUTERS IN SIMULATION》, pages 45 - 70 *
ZHAOHUI ZHENG等: "Distance-IOU Loss:Faster and Better Learning for Bounding Box Regression", 《HTTPS://ARXIV.ORG/ABS/1911.08287V1》, pages 1 - 8 *

Also Published As

Publication number Publication date
CN113269055B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
WO2023065395A1 (zh) 作业车辆检测与跟踪方法和系统
CN105118294B (zh) 一种基于状态模式的短时交通流预测方法
CN109977895B (zh) 一种基于多特征图融合的野生动物视频目标检测方法
US9298993B2 (en) On-street vehicle parking occupancy estimation via curb detection
CN102567380A (zh) 在视频图像中检索车辆信息的方法
CN108960055B (zh) 一种基于局部线段模式特征的车道线检测方法
CN102982559A (zh) 车辆跟踪方法及系统
CN102903239A (zh) 交通路口车辆左右违章转向检测方法和系统
CN107944354B (zh) 一种基于深度学习的车辆检测方法
WO2020107326A1 (zh) 车道线检测方法、设备、计算机可读存储介质
WO2014082480A1 (zh) 一种人数及人群运动方向的计算方法及装置
CN103593672A (zh) Adaboost分类器在线学习方法及系统
CN109543648B (zh) 一种过车图片中人脸提取方法
CN105488519A (zh) 一种基于视频尺度信息的视频分类方法
Wu et al. Traffic pattern modeling, trajectory classification and vehicle tracking within urban intersections
CN112894101A (zh) 一种基于深度学习算法的穿孔等离子弧焊接熔池状态预测方法
CN111259707A (zh) 一种特殊线型车道线检测模型的训练方法
CN113269055A (zh) 一种落叶检测预测框损失函数计算方法
Liu et al. Deformable model-based vehicle tracking and recognition using 3-D constrained multiple-Kernels and Kalman filter
CN104517127A (zh) 一种基于Bag-of-features模型的自学习行人计数方法及装置
CN113674317A (zh) 一种高位视频的车辆跟踪方法及装置
CN109615007B (zh) 基于粒子滤波的深度学习网络目标检测方法
KR101701043B1 (ko) 파티클 필터를 이용한 폐 윤곽선 추출방법 및 추출장치
CN111428567A (zh) 一种基于仿射多任务回归的行人跟踪系统及方法
CN113706860B (zh) 一种基于树莓派智能配时交通信号灯控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant