CN111325075B - 一种视频序列目标检测方法 - Google Patents

一种视频序列目标检测方法 Download PDF

Info

Publication number
CN111325075B
CN111325075B CN201811543205.9A CN201811543205A CN111325075B CN 111325075 B CN111325075 B CN 111325075B CN 201811543205 A CN201811543205 A CN 201811543205A CN 111325075 B CN111325075 B CN 111325075B
Authority
CN
China
Prior art keywords
frame
detection
detection result
target detection
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811543205.9A
Other languages
English (en)
Other versions
CN111325075A (zh
Inventor
乐国庆
张立平
苏帅
刘振
许静
刘轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Huahang Radio Measurement Research Institute
Original Assignee
Beijing Huahang Radio Measurement Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Huahang Radio Measurement Research Institute filed Critical Beijing Huahang Radio Measurement Research Institute
Priority to CN201811543205.9A priority Critical patent/CN111325075B/zh
Publication of CN111325075A publication Critical patent/CN111325075A/zh
Application granted granted Critical
Publication of CN111325075B publication Critical patent/CN111325075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种应用于车载视觉系统的视频序列目标检测方法，包括以下步骤：步骤S1、使用Faster‑RCNN目标检测框架，获取当前车辆行驶方向的视频图像作为当前帧检测结果；步骤S2、将当前帧检测结果输入至下一帧检测前的RPN网络，计算RPN层候选框与前帧检测结果框之间的重叠度；步骤S3、将候选框进行分类和回归，输出检测结果。本发明提高目标检测算法的检测精度，而且在不降低检测算法的精度的前提下提升检测速度。

Description

一种视频序列目标检测方法
技术领域
本发明涉及计算机视觉技术领域，是一种应用于车载视觉系统的 视频序列目标检测策略。
背景技术
目前，对于先进辅助驾驶系统(ADAS)，投资成本相对较少的方 向就是计算机视觉，其目的就是通过视觉来获取车辆前方的各类目标 信息，进而给予驾驶员警示，保护驾驶员的安全。针对中国的复杂交 通环境，各种目标如：行人、非机动车辆、以及快递车辆等，都是建立ADAS需要的且必不可少的信息，并且对于这些目标的检测是减 少事故发生率的有效方案。
近年来，基于视觉的目标检测算法可谓是百花齐放，并且都具有 较高的检测精度与实时性，例如caffe-ssd、Faster-RCNN、YOLO等， 但是由于车载环境的复杂性，包括：车载环境的光照变化比较明显、 图像中的检测目标在自身车辆行驶过程中容易产生畸变、目标的尺度 大小多种多样、和检测图像的分辨率较低等，这些问题都会对现有目 标检测算法的检测精度产生一些影响。
另外，对于ADAS，目标检测算法的检测框的稳定性、检测算法 的实时性也都是至关重要的影响因素，前者会影响基于视觉的测距精 度，进而影响ADAS报警准确性；后者会影响ADAS响应时间。
发明内容
鉴于上述问题的分析，本发明旨在提供一种应用于车载视觉系统 的视频序列目标检测方法，提高目标检测算法的检测精度，而且在不 降低检测算法的精度的前提下提升检测速度。
本发明主要是通过以下技术方案实现的，包括以下步骤：
步骤S1、使用Faster-RCNN目标检测框架，获取当前车辆行驶 方向的视频图像作为当前帧检测结果；
步骤S2、将当前帧检测结果输入至下一帧检测前的RPN网络， 计算RPN层候选框与前帧检测结果框之间的重叠度IOU；保留IOU＝0 和IOU＞Thershold的候选框；
Thershold为重叠率的阈值；
步骤S3、将候选框进行分类和回归；
步骤S4、重复步骤S1～S3，保存当前帧图像检测结果。
进一步，其特征在于在所述步骤2还包括对IOU＞Thershold的候 选框按其IOU值从高到低排序，筛除排序较低的候选框。按其IOU 值从高到低排序，筛除排序较低的候选框。
进一步，其特征在于在所述步骤2中RPN层添加一个数据接口。
本发明有益效果如下：
本发明适用于车载视觉系统应用环境中的基于视频序列的目标 检测，无需重新训练目标检测模型，在原本的Faster-rcnn检测框架基 础上，在侯选框的位置和数量上进行了策略优化，提升基于视频序列 目标检测精度并提高检测的实时性，从而给驾驶员提供预警进而规避。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限 制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明提供的目标检测方法流程图；
图2为前帧输入图像；
图3为前帧检测结果输入下一帧RPN层效果。
图4为筛选Proposal候选框后的效果。
图5为下一帧检测结果显示。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成 本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。
Faster-RCNN框架中包含两个网络——RPN和Fast-RCNN网络， 前者用于生成候选框，后者对候选框进行分类和位置回归。
本发明的一个具体实施例，公开了一种用于车载视觉系统的基于 视频序列的目标检测策略；如图1所示，包括以下步骤：
步骤S1、根据车载视觉系统的应用场景，使用Faster-RCNN目 标检测框架，获取当前行驶方向前方的视频图像作为前帧输入图像， 如图2所示。将当前帧检测结果输入至下一帧检测前的RPN网络， 分析帧间信息。
步骤S2、帧间信息分析，根据设置的输出候选框，如图3所示。
由于视频序列前后帧是具有上下文帧间信息的，在RPN层添加 一个数据接口，将前帧的检测结果位置输入给RPN层。
1、计算RPN层候选框与前帧检测结果框之间的重叠度；
2、根据设置的输出候选框个数筛选候选框；
如果IOU＝0，即没有重叠，存在刚进入和方消失在视野中的目标， 这些候选框保留；
IOU＞Thershold,Thershold为重叠率的阈值，可人为设置，即表示 同一车辆和行人在前后两帧图像中的位置是相近的，这些候选框保留。 对IOU＞Thershold的候选框按其IOU值从高到低排序，筛除排序较低 的候选框。
通过上述策略限制候选框个数，调整RPN网络的输出，结果如 图4所示。RPN网络的候选框的输出个数，是可以设置的，并且检测的精度与该参数也存在一定的正比关系，但同时也会影响检测的实时 性。即个数少实时性高，但可能精度低，根据实际情况调整。
步骤S3、再将筛选后RPN网络输出的的候选框进行分类和回归， 输出下一帧视频图像的检测结果，如图5所示。
步骤S4、重复步骤S1至S4，保存当前帧图像检测结果。保存当 前帧图像检测结果的位置信息供下一帧使用本策略影响RPN的候选 框。
经过上述所有步骤即可获得每一帧视频图像中的目标检测结果。
综上所述，本发明实施例提供的用于车载视觉系统的基于视频序 列的目标检测策略。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流 程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存 储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、 光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范 围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技 术范围。

Claims (1)

1.一种视频序列目标检测方法，包括以下步骤：
步骤S1、使用Faster-RCNN目标检测框架，获取当前车辆行驶方向的视频图像作为当前帧检测结果；
步骤S2、将当前帧检测结果输入至下一帧检测前的RPN网络，计算RPN层候选框与前帧检测结果框之间的重叠度IOU；保留IOU＝0和IOU＞Thershold的候选框；
Thershold为重叠率的阈值；
步骤S3、将候选框进行分类和回归；
步骤S4、重复步骤S1～S3，保存当前帧图像检测结果。
CN201811543205.9A 2018-12-17 2018-12-17 一种视频序列目标检测方法 Active CN111325075B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811543205.9A CN111325075B (zh) 2018-12-17 2018-12-17 一种视频序列目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811543205.9A CN111325075B (zh) 2018-12-17 2018-12-17 一种视频序列目标检测方法

Publications (2)

Publication Number Publication Date
CN111325075A CN111325075A (zh) 2020-06-23
CN111325075B true CN111325075B (zh) 2023-11-07

Family

ID=71171033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811543205.9A Active CN111325075B (zh) 2018-12-17 2018-12-17 一种视频序列目标检测方法

Country Status (1)

Country Link
CN (1) CN111325075B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468998A (zh) * 2021-06-23 2021-10-01 武汉虹信技术服务有限责任公司 一种基于视频流的人像检测方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913082A (zh) * 2016-04-08 2016-08-31 北京邦焜威讯网络技术有限公司 一种对图像中目标进行分类的方法及系统
CN106709515A (zh) * 2016-12-16 2017-05-24 北京华航无线电测量研究所 一种适用于下视景象匹配选区准则干预方法
CN107316058A (zh) * 2017-06-15 2017-11-03 国家新闻出版广电总局广播科学研究院 通过提高目标分类和定位准确度改善目标检测性能的方法
US10032072B1 (en) * 2016-06-21 2018-07-24 A9.Com, Inc. Text recognition and localization with deep learning
CN108388879A (zh) * 2018-03-15 2018-08-10 斑马网络技术有限公司 目标的检测方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913082A (zh) * 2016-04-08 2016-08-31 北京邦焜威讯网络技术有限公司 一种对图像中目标进行分类的方法及系统
US10032072B1 (en) * 2016-06-21 2018-07-24 A9.Com, Inc. Text recognition and localization with deep learning
CN106709515A (zh) * 2016-12-16 2017-05-24 北京华航无线电测量研究所 一种适用于下视景象匹配选区准则干预方法
CN107316058A (zh) * 2017-06-15 2017-11-03 国家新闻出版广电总局广播科学研究院 通过提高目标分类和定位准确度改善目标检测性能的方法
CN108388879A (zh) * 2018-03-15 2018-08-10 斑马网络技术有限公司 目标的检测方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龚安，等.基于卷积神经网络的实时行人检测方法.《计算机系统应用》.2017,第26卷(第9期),215-218. *

Also Published As

Publication number Publication date
CN111325075A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
WO2020038091A1 (zh) 智能驾驶控制方法与装置、电子设备、程序和介质
US11380104B2 (en) Method and device for detecting illegal parking, and electronic device
CN109753913B (zh) 计算高效的多模式视频语义分割方法
CN111091091A (zh) 目标对象重识别特征的提取方法、装置、设备及存储介质
CN109784290B (zh) 一种目标检测方法、装置、设备及可读存储介质
CN101470809B (zh) 一种基于扩展混合高斯模型的运动目标检测方法
CN109145798B (zh) 一种驾驶场景目标识别与可行驶区域分割集成方法
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
KR20210080459A (ko) 차선 검출방법, 장치, 전자장치 및 가독 저장 매체
CN109558901B (zh) 一种语义分割训练方法及装置、电子设备、存储介质
CN110309765B (zh) 一种视频运动目标高效检测方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN111008608B (zh) 一种基于深度学习的夜间车辆检测方法
CN111178119A (zh) 路口状态检测方法、装置、电子设备及车辆
CN103530640A (zh) 基于AdaBoost与SVM的无牌车辆检测方法
CN110276318A (zh) 夜间公路下雨识别方法、装置、计算机设备及存储介质
CN103106796A (zh) 智能交通监控系统中的车辆检测方法和装置
JP2019192209A (ja) ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法
CN111931572B (zh) 一种遥感影像的目标检测方法
CN113762220B (zh) 目标识别方法、电子设备、计算机可读存储介质
CN111325075B (zh) 一种视频序列目标检测方法
CN111027542A (zh) 一种基于Faster RCNN算法改进的目标检测方法
CN112700653A (zh) 一种车辆违法变道的判定方法、装置、设备及存储介质
JP2021111364A (ja) データマッチング方法及び装置並びにデータ処理装置
CN110826564A (zh) 一种复杂场景图像中的小目标语义分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant