CN109272509A - 一种连续图像的目标检测方法、装置、设备及存储介质 - Google Patents

一种连续图像的目标检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109272509A
CN109272509A CN201811038286.7A CN201811038286A CN109272509A CN 109272509 A CN109272509 A CN 109272509A CN 201811038286 A CN201811038286 A CN 201811038286A CN 109272509 A CN109272509 A CN 109272509A
Authority
CN
China
Prior art keywords
frame image
image
frame
target
consecutive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811038286.7A
Other languages
English (en)
Other versions
CN109272509B (zh
Inventor
刘栩辰
方兴
杨宏斌
程云
董刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811038286.7A priority Critical patent/CN109272509B/zh
Publication of CN109272509A publication Critical patent/CN109272509A/zh
Priority to US17/273,320 priority patent/US11836931B2/en
Priority to PCT/CN2019/103703 priority patent/WO2020048396A1/zh
Application granted granted Critical
Publication of CN109272509B publication Critical patent/CN109272509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种连续图像的目标检测方法、装置、设备及计算机可读存储介质。其中，方法包括在对视频序列的第二帧图像利用目标检测网络模型进行目标检测之前，可将第二帧图像分割为多个子图像，对各子图像根据运动估计准则在第一帧图像中匹配相应的图像块，并利用预设背景像素值替换在第一帧图像中存在相匹配图像块的子图像的像素数据，最后将替换处理后的第二帧图像作为目标检测网络模型的输入，得到第二帧图像中的目标物体的目标框和各自所属的类别。本申请优化了连续图像的目标检测算法，基于连续图像的冗余性，利用相邻图像帧中已经识别的目标信息来降低当前图像帧上目标检测的计算复杂度，提高了目标检测的吞吐量。

Description

一种连续图像的目标检测方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理领域，特别是涉及一种连续图像的目标检测方法、装置、设备及计算机可读存储介质。
背景技术
近几年，随着人工智能技术的兴起，目标检测作为计算机视觉中最基本和首要的任务之一，广泛应用于工业界和日常生活的各个方面，例如自动驾驶、安防系统，以及游戏娱乐等领域。
Faster-RCNN算法广泛应用于运动目标行为的特征检测和追踪。该方法首先用卷积神经网络(CNN)的卷积层加池化层提取图片的特征区域，这些特征区域被共享用于后续的区域选取网络(Region Proposal Networks，RPN)和全连接层。然后利用RPN网络生成候选框，该层先通过softmax全连接层判断锚(anchors)属于前景还是背景，然后在利用回归边界框(bounding box regression)来修改锚，从而获得精确的候选框。最后由RoI池化层收集输入的特征区域，并把这些数据送入全连接层进行目标类别的判定。
尽管Faster-RCNN算法可实现运动目标的行为跟踪和检测，但是该算法的架构比较复杂，对终端要求较高，在视频或者要求较快识别物体的应用场景中难以执行。而YOLO-v3算法处理图片的速度较快，且YOLO-v3算法移植方便，可以在各个操作系统下实现，对硬件的配置要求也相对较低，能够较容易的在轻量级设备上实现。
YOLO-v3算法首先通过特征提取网络对输入图像提取特征，得到一定尺寸大小的特征图，比如13*13，然后将输入图像分成13*13个grid cell(网格单元)，如果groundtruth(标注数据)中某个object目标主体)的中心坐标落在哪个grid cell中，那么就由该grid cell来预测该object，因为每个grid cell都会预测固定数量的bounding box(目标框)(YOLO-v3算法中为3个，这几个bounding box的初始大小是不一样的)，只有和groundtruth的IOU最大的bounding box才是用来预测该object的。可以看出，预测得到的输出特征图有两个维度是提取到的特征的维度，比如13*13，还有一个维度(深度)是B*(5+C)，其中，B表示每个grid cell预测的bounding box的数量，比如YOLO v1中是2个，YOLO v2中是5个，YOLO v3中是3个，C表示bounding box的类别数，5表示4个坐标信息和一个置信度。
尽管YOLO-v3算法通过参数的调节，模型优化，使其对视频中的人物进行快速识别和追踪，达到快速检测效果，而且可保证能够达到一定的精度。但是，该算法以单帧图像作为基本的识别输入，对每帧图像都运行完整的目标检测算法，即将每一帧进行解压缩，然后送入目标检测深度学习网络，最终在每一帧图像上得到不同数量的目标框，在保证视频中目标检测的平均准确率的基础上引入较多冗余信息。比如，I帧(视频压缩中的关键帧)中已经被CNN算法检测到的物体，在P帧(视频压缩中的前向差别帧)或者B帧(视频压缩中的前后向差别帧)的相似的位置再次出现时，CNN算法需要重新计算该目标的bounding box。此类冗余计算增加了目标检测CNN算法的复杂度，增加了计算量，导致整个目标检测过程计算量大，吞吐率较低，降低了视频序列的目标检测性能。
发明内容
本发明实施例的目的是提供一种连续图像的目标检测方法、装置、设备及计算机可读存储介质，大大的降低了目标检测过程中处理的计算量，从而提高了连续图像(如视频序列)中运动物体的目标检测的吞吐率。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种连续图像的目标检测方法，包括：
将视频序列的第一帧图像输入目标检测网络模型，得到所述第一帧图像的目标物体的目标框和各自所属的类别；
将所述视频序列的第二帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在所述第一帧图像中匹配相应的图像块，以确定所述第一帧图像中的目标物体在所述第二帧图像中的位置；
利用预设背景像素值替换在所述第一帧图像中存在相匹配图像块的子图像的像素数据；
将替换处理后的第二帧图像作为所述目标检测网络模型的输入，得到所述第二帧图像中的目标物体的目标框和各自所属的类别；
其中，所述第二帧图像为所述第一帧图像相邻的下一帧图像。
可选的，所述目标检测网络模型为YOLO-v3网络模型或SSD网络模型。
可选的，在所述将替换处理后的第二帧图像作为所述目标检测网络模型的输入之后，还包括：
将所述视频序列的第三帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在所述第一帧图像和所述第二帧图像中匹配相应的图像块，以确定所述第三帧图像的前向帧中的目标物体在所述第三帧图像中的位置；
利用预设背景像素值替换在所述第一帧图像和所述第二帧图像中存在相匹配图像块的子图像的像素数据；
将替换处理后的第三帧图像作为所述目标检测网络模型的输入，得到所述第三帧图像中的目标物体的目标框和各自所属的类别；
其中，所述第三帧图像为所述第二帧图像相邻的下一帧图像。
可选的，所述将所述视频序列的第二帧图像分割为多个子图像之前，还包括：
对获取的所述视频序列的第二帧图像进行去噪处理，以去除所述第二帧图像中的噪声干扰信号。
本发明实施例另一方面提供了一种连续图像的目标检测装置，包括：
第一帧图像输入模块，用于将视频序列的第一帧图像输入目标检测网络模型，得到所述第一帧图像的目标物体的目标框和各自所属的类别；
图像匹配模块，用于将所述视频序列的第二帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在所述第一帧图像中匹配相应的图像块，以确定所述第一帧图像中的目标物体在所述第二帧图像中的位置；所述第二帧图像为所述第一帧图像相邻的下一帧图像；
背景替换模块，用于利用预设背景像素值替换在所述第一帧图像中存在相匹配图像块的子图像的像素数据；
第二帧图像输入模块，用于将替换处理后的第二帧图像作为所述目标检测网络模型的输入，得到所述第二帧图像中的目标物体的目标框和各自所属的类别。
可选的，所述目标检测网络模型为YOLO-v3网络模型或SSD网络模型。
可选的，还包括第三帧图像处理模块，所述第三帧图像处理模块包括：
前向帧图像匹配子模块，用于将所述视频序列的第三帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在所述第一帧图像和所述第二帧图像中匹配相应的图像块，以确定所述第三帧图像的前向帧中的目标物体在所述第三帧图像中的位置；所述第三帧图像为所述第二帧图像相邻的下一帧图像；
重复目标替换子模块，用于利用预设背景像素值替换在所述第一帧图像和所述第二帧图像中存在相匹配图像块的子图像的像素数据；
第三帧图像输入子模块，用于将替换处理后的第三帧图像作为所述目标检测网络模型的输入，得到所述第三帧图像中的目标物体的目标框和各自所属的类别。
可选的，还包括：
去噪模块，用于对所述视频序列的第二帧图像和第三帧图像进行去噪处理，以去除所述第二帧图像和所述第三帧图像中的噪声干扰信号。
本发明实施例还提供了一种连续图像的目标检测设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述连续图像的目标检测方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有连续图像的目标检测程序，所述连续图像的目标检测程序被处理器执行时实现如前任一项所述连续图像的目标检测方法的步骤。
本发明实施例提供了一种连续图像的目标检测方法，在对视频序列的第二帧图像利用目标检测网络模型进行目标检测之前，可将第二帧图像分割为多个子图像，对各子图像根据运动估计准则在第一帧图像中匹配相应的图像块，并利用预设背景像素值替换在第一帧图像中存在相匹配图像块的子图像的像素数据，以将相邻两帧图像中重复的目标进行替换，最后将替换处理后的第二帧图像作为目标检测网络模型的输入，得到第二帧图像中的目标物体的目标框和各自所属的类别，优化了连续图像的目标检测算法。
本申请提供的技术方案的优点在于，通过分析连续图像如视频序列前后帧中的冗余信息，即重复出现的目标物体，利用背景像素数据替换后帧中的重复目标，大大的降低了后帧图像在进行目标检测时的数据处理量，解决了现有技术中没有考虑相邻时间段上其他图像帧上已经检测和识别到的目标信息造成目标检测性能降低的现象，利用相邻图像帧中已经识别的目标信息来降低当前图像帧上目标检测的计算复杂度，减小了目标检测网络模型复杂度，提高了目标检测的吞吐量。
此外，本发明实施例还针对连续图像的目标检测方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种连续图像的目标检测方法的流程示意图；
图2为本发明实施例提供的另一种连续图像的目标检测方法的流程示意图；
图3为本发明实施例提供的连续图像的目标检测装置的一种具体实施方式结构图；
图4为本发明实施例提供的连续图像的目标检测装置的另一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种连续图像的目标检测方法的流程示意图，本发明实施例可包括以下内容：
S101：将视频序列的第一帧图像输入目标检测网络模型，得到第一帧图像的目标物体的目标框和各自所属的类别。
视频序列为一系列连续图像构成，也即多帧彼此相邻的图像按照时间顺序排列而成。
目标检测网络模型可为现有技术中任何一种可实现目标检测算法训练的样本数据集所得的网络模型，可选的，目标检测网络模型可为YOLO-v3网络模型或SSD(SingleShot Multibox Detector)网络模型。
目标检测网络模型对输入的图像会自动识别该图像中包含的目标物体，并在图像中利用目标框的形式标出各目标物体，并输出各目标物体所属的类别，例如人、动物、植物等。
第一帧图像为视频序列进行目标检测时，输入的第一帧图像。
S102：将视频序列的第二帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在第一帧图像中匹配相应的图像块，以确定第一帧图像中的目标物体在第二帧图像中的位置。
第二帧图像为第一帧图像相邻的下一帧图像。
运动估计准则为基于现有技术中任何一种目标跟踪算法对视频序列中的目标物体进行跟踪分析后，确定的目标物体在整个视频序列中的一个运动规则，具体如何采用目标跟踪算法得到运动估计准则，请参阅现有技术，此处，不再赘述。
第二帧图像的各子图像在第一帧图像中存在相匹配的图像块，则表明二帧图像中存在重复目标，也即同一个目标物体在第一帧图像和第二帧图像中同时出现，对于该目标检测已在上一步骤中实现了目标的识别，如果重复在第二帧图像中进行目标检测，无疑是重复动作，没有任何实际效果。鉴于此，为了减少第二帧图像在目标检测中处理数据量，可将与第一帧图像中重复的目标进行剔除。
S103：利用预设背景像素值替换在第一帧图像中存在相匹配图像块的子图像的像素数据。
可使用背景像素值将相邻两帧图像重复目标在后帧图像上相应位置的像素数据进行替换，从而在目标检测时，不对其进行处理。
S104：将替换处理后的第二帧图像作为目标检测网络模型的输入，得到第二帧图像中的目标物体的目标框和各自所属的类别。
依次将第二帧图像中各子图像都进行匹配(在第一帧图像中匹配相应的数据块)与判断(判断当前子图像是否在第一帧图像中存在匹配图像块)后，将存在匹配图像块的子图像均用背景像素值进行替代。替代后的第二帧图像在进行目标检测时，检测的目标物体与第一帧图像中的目标物体不同。
在本发明实施例提供的技术方案中，通过分析连续图像如视频序列前后帧中的冗余信息，即重复出现的目标物体，利用背景像素数据替换后帧中的重复目标，大大的降低了后帧图像在进行目标检测时的数据处理量，解决了现有技术中没有考虑相邻时间段上其他图像帧上已经检测和识别到的目标信息造成目标检测性能降低的现象，利用相邻图像帧中已经识别的目标信息来降低当前图像帧上目标检测的计算复杂度，减小了目标检测网络模型复杂度，提高了目标检测的吞吐量。
基于上述实施例，请参阅图2所示，还可包括：
S105：将所述视频序列的第三帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在所述第一帧图像和所述第二帧图像中匹配相应的图像块，以确定所述第三帧图像的前向帧中的目标物体在所述第三帧图像中的位置。
S106：利用预设背景像素值替换在所述第一帧图像和所述第二帧图像中存在相匹配图像块的子图像的像素数据。
S107：将替换处理后的第三帧图像作为所述目标检测网络模型的输入，得到所述第三帧图像中的目标物体的目标框和各自所属的类别。
第3帧图像中的每一块根据一定的运动估计准则在第1帧图像、第2帧图像中找出当前的匹配块。由此得到，前向帧中的目标在第3帧上的位置，使用背景像素替换第3帧上重复的目标块。
以次类推，之后的每帧图像将根据上述步骤进行处理，得到视频序列中所有目标的目标框和所属类别。
由上可知，本发明实施例优化了连续图像的目标检测算法，基于连续图像的冗余性，利用相邻图像帧中已经识别的目标信息来降低当前图像帧上目标检测的计算复杂度，提高了目标检测的吞吐量。
为了进一步的提升图像识别的准确度，可对获取的视频序列进行去噪处理，也即在输入目标检测网络模型之前，对每帧图像进行去噪处理，以去除各帧图像中的噪声干扰信号，进而提升目标检测的准确度和效率。
本发明实施例还针对连续图像的目标检测方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的连续图像的目标检测装置进行介绍，下文描述的连续图像的目标检测装置与上文描述的连续图像的目标检测方法可相互对应参照。
参见图3，图3为本发明实施例提供的连续图像的目标检测装置在一种具体实施方式下的结构图，该装置可包括：
第一帧图像输入模块301，用于将视频序列的第一帧图像输入目标检测网络模型，得到第一帧图像的目标物体的目标框和各自所属的类别；
图像匹配模块302，用于将视频序列的第二帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在第一帧图像中匹配相应的图像块，以确定第一帧图像中的目标物体在第二帧图像中的位置；第二帧图像为第一帧图像相邻的下一帧图像；
背景替换模块303，用于利用预设背景像素值替换在第一帧图像中存在相匹配图像块的子图像的像素数据；
第二帧图像输入模块304，用于将替换处理后的第二帧图像作为目标检测网络模型的输入，得到第二帧图像中的目标物体的目标框和各自所属的类别。
可选的，在本实施例的一些实施方式中，请参阅图4，所述装置例如还可以包括第三帧图像处理模块305，所述第三帧图像处理模块305包括：
前向帧图像匹配子模块，用于将视频序列的第三帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在第一帧图像和第二帧图像中匹配相应的图像块，以确定第三帧图像的前向帧中的目标物体在第三帧图像中的位置；第三帧图像为第二帧图像相邻的下一帧图像；
重复目标替换子模块，用于利用预设背景像素值替换在第一帧图像和第二帧图像中存在相匹配图像块的子图像的像素数据；
第三帧图像输入子模块，用于将替换处理后的第三帧图像作为目标检测网络模型的输入，得到第三帧图像中的目标物体的目标框和各自所属的类别。
在本实施例的另一些实施方式中，所述装置例如还可以包括去噪模块306，用于对视频序列的第一帧图像、第二帧图像和第三帧图像进行去噪处理，以去除视频序列中的噪声干扰信号。
本发明实施例所述连续图像的目标检测装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例优化了连续图像的目标检测算法，基于连续图像的冗余性，利用相邻图像帧中已经识别的目标信息来降低当前图像帧上目标检测的计算复杂度，提高了目标检测的吞吐量。
本发明实施例还提供了一种连续图像的目标检测设备，具体可包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如上任意一实施例所述连续图像的目标检测方法的步骤。
本发明实施例所述连续图像的目标检测设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例优化了连续图像的目标检测算法，基于连续图像的冗余性，利用相邻图像帧中已经识别的目标信息来降低当前图像帧上目标检测的计算复杂度，提高了目标检测的吞吐量。
本发明实施例还提供了一种计算机可读存储介质，存储有连续图像的目标检测程序，所述连续图像的目标检测程序被处理器执行时如上任意一实施例所述连续图像的目标检测方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例优化了连续图像的目标检测算法，基于连续图像的冗余性，利用相邻图像帧中已经识别的目标信息来降低当前图像帧上目标检测的计算复杂度，提高了目标检测的吞吐量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种连续图像的目标检测方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种连续图像的目标检测方法，其特征在于，包括：
将视频序列的第一帧图像输入目标检测网络模型，得到所述第一帧图像的目标物体的目标框和各自所属的类别；
将所述视频序列的第二帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在所述第一帧图像中匹配相应的图像块，以确定所述第一帧图像中的目标物体在所述第二帧图像中的位置；
利用预设背景像素值替换在所述第一帧图像中存在相匹配图像块的子图像的像素数据；
将替换处理后的第二帧图像作为所述目标检测网络模型的输入，得到所述第二帧图像中的目标物体的目标框和各自所属的类别；
其中，所述第二帧图像为所述第一帧图像相邻的下一帧图像。
2.根据权利要求1所述的连续图像的目标检测方法，其特征在于，所述目标检测网络模型为YOLO-v3网络模型或SSD网络模型。
3.根据权利要求1所述的连续图像的目标检测方法，其特征在于，在所述将替换处理后的第二帧图像作为所述目标检测网络模型的输入之后，还包括：
将所述视频序列的第三帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在所述第一帧图像和所述第二帧图像中匹配相应的图像块，以确定所述第三帧图像的前向帧中的目标物体在所述第三帧图像中的位置；
利用预设背景像素值替换在所述第一帧图像和所述第二帧图像中存在相匹配图像块的子图像的像素数据；
将替换处理后的第三帧图像作为所述目标检测网络模型的输入，得到所述第三帧图像中的目标物体的目标框和各自所属的类别；
其中，所述第三帧图像为所述第二帧图像相邻的下一帧图像。
4.根据权利要求1-3任意一项所述的连续图像的目标检测方法，其特征在于，在所述将所述视频序列的第二帧图像分割为多个子图像之前，还包括：
对获取的所述视频序列的第二帧图像进行去噪处理，以去除所述第二帧图像中的噪声干扰信号。
5.一种连续图像的目标检测装置，其特征在于，包括：
第一帧图像输入模块，用于将视频序列的第一帧图像输入目标检测网络模型，得到所述第一帧图像的目标物体的目标框和各自所属的类别；
图像匹配模块，用于将所述视频序列的第二帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在所述第一帧图像中匹配相应的图像块，以确定所述第一帧图像中的目标物体在所述第二帧图像中的位置；所述第二帧图像为所述第一帧图像相邻的下一帧图像；
背景替换模块，用于利用预设背景像素值替换在所述第一帧图像中存在相匹配图像块的子图像的像素数据；
第二帧图像输入模块，用于将替换处理后的第二帧图像作为所述目标检测网络模型的输入，得到所述第二帧图像中的目标物体的目标框和各自所属的类别。
6.根据权利要求5所述的连续图像的目标检测装置，其特征在于，所述目标检测网络模型为YOLO-v3网络模型或SSD网络模型。
7.根据权利要求5所述的连续图像的目标检测装置，其特征在于，还包括第三帧图像处理模块，所述第三帧图像处理模块包括：
前向帧图像匹配子模块，用于将所述视频序列的第三帧图像分割为多个子图像，对各子图像根据预设的运动估计准则在所述第一帧图像和所述第二帧图像中匹配相应的图像块，以确定所述第三帧图像的前向帧中的目标物体在所述第三帧图像中的位置；所述第三帧图像为所述第二帧图像相邻的下一帧图像；
重复目标替换子模块，用于利用预设背景像素值替换在所述第一帧图像和所述第二帧图像中存在相匹配图像块的子图像的像素数据；
第三帧图像输入子模块，用于将替换处理后的第三帧图像作为所述目标检测网络模型的输入，得到所述第三帧图像中的目标物体的目标框和各自所属的类别。
8.根据权利要求5-7任意一种所述的连续图像的目标检测装置，其特征在于，还包括：
去噪模块，用于对所述视频序列的第二帧图像和第三帧图像进行去噪处理，以去除所述第二帧图像和所述第三帧图像中的噪声干扰信号。
9.一种连续图像的目标检测设备，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至4任一项所述连续图像的目标检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有连续图像的目标检测程序，所述连续图像的目标检测程序被处理器执行时实现如权利要求1至4任一项所述连续图像的目标检测方法的步骤。
CN201811038286.7A 2018-09-06 2018-09-06 一种连续图像的目标检测方法、装置、设备及存储介质 Active CN109272509B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811038286.7A CN109272509B (zh) 2018-09-06 2018-09-06 一种连续图像的目标检测方法、装置、设备及存储介质
US17/273,320 US11836931B2 (en) 2018-09-06 2019-08-30 Target detection method, apparatus and device for continuous images, and storage medium
PCT/CN2019/103703 WO2020048396A1 (zh) 2018-09-06 2019-08-30 一种连续图像的目标检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811038286.7A CN109272509B (zh) 2018-09-06 2018-09-06 一种连续图像的目标检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109272509A true CN109272509A (zh) 2019-01-25
CN109272509B CN109272509B (zh) 2021-10-29

Family

ID=65187762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811038286.7A Active CN109272509B (zh) 2018-09-06 2018-09-06 一种连续图像的目标检测方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US11836931B2 (zh)
CN (1) CN109272509B (zh)
WO (1) WO2020048396A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348369A (zh) * 2019-07-08 2019-10-18 北京字节跳动网络技术有限公司 一种视频场景分类方法、装置、移动终端及存储介质
WO2020048396A1 (zh) * 2018-09-06 2020-03-12 郑州云海信息技术有限公司 一种连续图像的目标检测方法、装置、设备及存储介质
CN111310744A (zh) * 2020-05-11 2020-06-19 腾讯科技（深圳）有限公司 图像识别方法、视频播放方法、相关设备及介质
CN111753574A (zh) * 2019-03-26 2020-10-09 顺丰科技有限公司 抛扔区域定位方法、装置、设备及存储介质
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN112085025A (zh) * 2019-06-14 2020-12-15 阿里巴巴集团控股有限公司 物体分割方法、装置、设备
CN112084949A (zh) * 2020-09-10 2020-12-15 上海交通大学 视频实时识别分割和检测方法及装置
CN113808162A (zh) * 2021-08-26 2021-12-17 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN117444990A (zh) * 2023-12-25 2024-01-26 深圳市普朗医疗科技发展有限公司 基于3d建模的机械臂注射控制方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401241A (zh) * 2020-03-16 2020-07-10 中国民用航空飞行学院 基于卷积神经网络的海上民用航空器搜寻方法及装置
CN112184766B (zh) * 2020-09-21 2023-11-17 广州视源电子科技股份有限公司 一种对象的跟踪方法、装置、计算机设备和存储介质
CN112991280B (zh) * 2021-03-03 2024-05-28 望知科技(深圳)有限公司 视觉检测方法、系统及电子设备
CN113362371A (zh) * 2021-05-18 2021-09-07 北京迈格威科技有限公司 目标跟踪方法及装置、电子设备、存储介质
CN115205655B (zh) * 2022-09-15 2022-12-09 中国科学院长春光学精密机械与物理研究所 动态背景下的红外暗弱点目标检测系统及其检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184235A (zh) * 2007-06-21 2008-05-21 腾讯科技（深圳）有限公司 一种从运动图像中提取背景图像的实现方法及装置
CN101266689A (zh) * 2008-04-23 2008-09-17 北京中星微电子有限公司 一种运动目标检测方法及装置
CN101901486A (zh) * 2009-11-17 2010-12-01 华为技术有限公司 运动目标检测方法和装置
US20170024898A1 (en) * 2013-03-13 2017-01-26 Mecommerce, Inc. Determining dimension of target object in an image using reference object
US20180173966A1 (en) * 2015-12-29 2018-06-21 Sengled Co., Ltd. Method and device for target detection

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034733A (ja) 2005-07-27 2007-02-08 Toshiba Corp 対象物領域検出装置、方法およびプログラム
CN101271514B (zh) 2007-03-21 2012-10-10 株式会社理光 一种快速目标检测和目标输出的图像检测方法及装置
CN102567727B (zh) 2010-12-13 2014-01-01 中兴通讯股份有限公司 一种背景目标替换方法和装置
JP5960710B2 (ja) * 2011-10-11 2016-08-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム
US9451162B2 (en) * 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
CN103986910A (zh) 2014-05-20 2014-08-13 中国科学院自动化研究所 一种基于智能分析摄像机的客流统计方法和系统
US10417817B2 (en) * 2014-11-13 2019-09-17 Nvidia Corporation Supersampling for spatially distributed and disjoined large-scale data
CN108416250B (zh) * 2017-02-10 2021-06-22 浙江宇视科技有限公司 人数统计方法及装置
US10755144B2 (en) * 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
US10599958B2 (en) * 2017-12-14 2020-03-24 Avigilon Corporation Method and system for classifying an object-of-interest using an artificial neural network
CN108280843A (zh) 2018-01-24 2018-07-13 新华智云科技有限公司 一种视频目标检测跟踪方法及设备
CN109272509B (zh) 2018-09-06 2021-10-29 郑州云海信息技术有限公司 一种连续图像的目标检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101184235A (zh) * 2007-06-21 2008-05-21 腾讯科技（深圳）有限公司 一种从运动图像中提取背景图像的实现方法及装置
CN101266689A (zh) * 2008-04-23 2008-09-17 北京中星微电子有限公司 一种运动目标检测方法及装置
CN101901486A (zh) * 2009-11-17 2010-12-01 华为技术有限公司 运动目标检测方法和装置
US20170024898A1 (en) * 2013-03-13 2017-01-26 Mecommerce, Inc. Determining dimension of target object in an image using reference object
US20180173966A1 (en) * 2015-12-29 2018-06-21 Sengled Co., Ltd. Method and device for target detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TAO JIA ET AL: "Moving object detection based on blob analysis", 《2008 IEEE INTERNATIONAL CONFERENCE ON AUTOMATION AND LOGISTICS》 *
刘振华等: "改进的航拍图像序列背景运动补偿技术", 《计算机工程》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11836931B2 (en) 2018-09-06 2023-12-05 Zhengzhou Yunhai Information Technology Co., Ltd. Target detection method, apparatus and device for continuous images, and storage medium
WO2020048396A1 (zh) * 2018-09-06 2020-03-12 郑州云海信息技术有限公司 一种连续图像的目标检测方法、装置、设备及存储介质
CN111753574A (zh) * 2019-03-26 2020-10-09 顺丰科技有限公司 抛扔区域定位方法、装置、设备及存储介质
WO2020206861A1 (zh) * 2019-04-08 2020-10-15 江西理工大学 基于YOLO v3的针对交通枢纽关键物体的检测方法
CN112085025A (zh) * 2019-06-14 2020-12-15 阿里巴巴集团控股有限公司 物体分割方法、装置、设备
CN112085025B (zh) * 2019-06-14 2024-01-16 阿里巴巴集团控股有限公司 物体分割方法、装置、设备
CN110348369A (zh) * 2019-07-08 2019-10-18 北京字节跳动网络技术有限公司 一种视频场景分类方法、装置、移动终端及存储介质
CN111310744A (zh) * 2020-05-11 2020-06-19 腾讯科技（深圳）有限公司 图像识别方法、视频播放方法、相关设备及介质
CN112084949A (zh) * 2020-09-10 2020-12-15 上海交通大学 视频实时识别分割和检测方法及装置
CN112084949B (zh) * 2020-09-10 2022-07-19 上海交通大学 视频实时识别分割和检测方法及装置
CN113808162A (zh) * 2021-08-26 2021-12-17 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN113808162B (zh) * 2021-08-26 2024-01-23 中国人民解放军军事科学院军事医学研究院 目标跟踪方法、装置、电子设备及存储介质
CN117444990A (zh) * 2023-12-25 2024-01-26 深圳市普朗医疗科技发展有限公司 基于3d建模的机械臂注射控制方法及系统
CN117444990B (zh) * 2023-12-25 2024-02-27 深圳市普朗医疗科技发展有限公司 基于3d建模的机械臂注射控制方法及系统

Also Published As

Publication number Publication date
CN109272509B (zh) 2021-10-29
US20210319565A1 (en) 2021-10-14
US11836931B2 (en) 2023-12-05
WO2020048396A1 (zh) 2020-03-12

Similar Documents

Publication Publication Date Title
CN109272509A (zh) 一种连续图像的目标检测方法、装置、设备及存储介质
CN109344736B (zh) 一种基于联合学习的静态图像人群计数方法
CN107169463B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN107527337B (zh) 一种基于深度学习的视频对象移除篡改检测方法
CN110245579B (zh) 人流密度预测方法及装置、计算机设备及可读介质
CN109522967A (zh) 一种商品定位识别方法、装置、设备以及存储介质
CN109934293A (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
CN109190635A (zh) 基于分类cnn的目标追踪方法、装置及电子设备
CN108805083A (zh) 单阶段的视频行为检测方法
CN109377445A (zh) 模型训练方法、替换图像背景的方法、装置和电子系统
CN109815865A (zh) 一种基于虚拟水尺的水位识别方法及系统
CN108875482B (zh) 物体检测方法和装置、神经网络训练方法和装置
CN110378942A (zh) 基于双目相机的障碍物标识方法、系统、设备和存储介质
CN114758288A (zh) 一种配电网工程安全管控检测方法及装置
CN110120065A (zh) 一种基于分层卷积特征和尺度自适应核相关滤波的目标跟踪方法及系统
CN113705461A (zh) 人脸清晰度检测方法、装置、设备及存储介质
CN111008631A (zh) 图像的关联方法及装置、存储介质和电子装置
CN109815936A (zh) 一种目标对象分析方法及装置、计算机设备和存储介质
CN109840905A (zh) 电力设备锈迹检测方法及系统
CN109685805A (zh) 一种图像分割方法及装置
CN109409305A (zh) 一种人脸图像清晰度评价方法及装置
CN115239508A (zh) 基于人工智能的场景规划调整方法、装置、设备及介质
Yuan et al. Deep variational instance segmentation
CN118015715A (zh) 基于深度融合网络的分布式aigc伪造检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant