CN110674778B - 一种高分辨视频图像目标检测方法及装置 - Google Patents

一种高分辨视频图像目标检测方法及装置 Download PDF

Info

Publication number
CN110674778B
CN110674778B CN201910942414.9A CN201910942414A CN110674778B CN 110674778 B CN110674778 B CN 110674778B CN 201910942414 A CN201910942414 A CN 201910942414A CN 110674778 B CN110674778 B CN 110674778B
Authority
CN
China
Prior art keywords
image
region
video image
interest
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910942414.9A
Other languages
English (en)
Other versions
CN110674778A (zh
Inventor
王扩
张传金
郑浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ANHUI CREARO TECHNOLOGY CO LTD
Original Assignee
ANHUI CREARO TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ANHUI CREARO TECHNOLOGY CO LTD filed Critical ANHUI CREARO TECHNOLOGY CO LTD
Priority to CN201910942414.9A priority Critical patent/CN110674778B/zh
Publication of CN110674778A publication Critical patent/CN110674778A/zh
Application granted granted Critical
Publication of CN110674778B publication Critical patent/CN110674778B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高分辨视频图像目标检测方法及装置，该方法包括：实时获取所述视频图像；选取所述视频图像中的感兴趣区域图像；若选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像；将实时获取所述视频图像和所需感兴趣区域图像分割成宽高相同的各个子区域图像；依次取出各个子区域图像并对各个子区域图像进行识别检测；若各个子区域图像中的至少两个子区域图像之间为重叠图像，则将至少两个子区域图像进行合并处理后得到最终图像，本发明通过对图像进行分割检测，减少模型检测时统一分辨率大小造成图像的形变。

Description

一种高分辨视频图像目标检测方法及装置
技术领域
本发明涉及图像目标检测技术设备技术领域，具体是一种高分辨视频图像目标检测方法及装置。
背景技术
在安防领域，随着视频监控越来越高清化，视频中比较小的目标也可以观察出来，在智能识别方面，传统的图像处理算法，识别率低，对复杂场景下的识别更是效果不佳，深度学习的发展，极大提高识别效果，可以应用到各种场景，以深度学习SSD和YOLO算法为代表，识别速度快，识别率高，但是SSD算法或者YOLO算法识别图像，必须对图片统一到合适的分辨率，使用SSD-300，需要图像缩放到300x300分辨率大小，使用SSD-500需要图像缩放到500x500分辨率大小，图像缩放会对要识别的目标产生形变，特别是对小目标的影响更大，会显著降低识别率，若是训练更高的分辨率模型，会使模型参数急剧增大，模型识别会占用大量内存空间，识别速度降低，对硬件要求高，如果对不同的分辨率视频，训练各自对应的识别模型，使工作量变的很大，加大维护管理难度。
发明内容
本发明的目的在于提供一种高分辨视频图像目标检测方法及装置，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种高分辨视频图像目标检测方法,该方法包括：
实时获取所述视频图像；
选取所述视频图像中的感兴趣区域图像；
若选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像；
将实时获取所述视频图像和所需感兴趣区域图像分割成宽高相同的各个子区域图像；
依次取出各个子区域图像并对各个子区域图像进行识别检测；
若各个子区域图像中的至少两个子区域图像之间为重叠图像，则将至少两个子区域图像进行合并处理后得到最终图像。
作为本发明进一步的方案：选取所述视频图像中的感兴趣区域图像包括：
将获取到的当前视频图像与上一帧视频图像做帧间差分法后得到第一图像；
对第一图像进行腐蚀操作、膨胀操作和二值化操作后，若第一图像中区域图像的像素值大于预设图像像素值，则该区域为感兴趣区域图像。
作为本发明进一步的方案：若选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像包括：
将选取的感兴趣区域图像与上一帧视频图像进行读取；
将选取的感兴趣区域图像与上一帧视频图像计算交并比值，若交并比值大于预设阈值，则选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像；
则对重叠图像进行选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像所述。
一种高分辨视频图像目标检测装置，该装置包括：
获取模块：实时获取所述视频图像；
选取模块：选取所述视频图像中的感兴趣区域图像；
确认模块：若选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像；
分割模块：将实时获取所述视频图像和所需感兴趣区域图像分割成宽高相同的各个子区域图像；
检测模块：依次取出各个子区域图像并对各个子区域图像进行识别检测；
合并模块：若各个子区域图像中的至少两个子区域图像之间为重叠图像，则将至少两个子区域图像进行合并处理后得到最终图像。
作为本发明进一步的方案：所述选取模块包括：
处理单元：将获取到的当前视频图像与上一帧视频图像做帧间差分法后得到第一图像；
筛选单元：对第一图像进行腐蚀操作、膨胀操作和二值化操作后，若第一图像中区域图像的像素值大于预设图像像素值，则该区域为感兴趣区域图像。
作为本发明进一步的方案：所述确认模块包括:
读取单元：将选取的感兴趣区域图像与上一帧视频图像进行读取；
计算单元：将选取的感兴趣区域图像与上一帧视频图像计算交并比值，若交并比值大于预设阈值，则选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像；
确定单元：则对重叠图像进行选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像。
与现有技术相比，本发明的有益效果是：本发明通过对图像进行分割检测，减少模型检测时统一分辨率大小造成图像的形变，对小目标识别率不会降低，同时对感兴趣区域选取，实现图像实时检测，运行速度快，降低硬件计算要求，同时算法适用各种尺寸的图像，从cif到1080p 2k等分辨率都可以识别使用，不用针对不同的分辨率视频图像训练多个模型，减少大量工作。
附图说明
图1为一种高分辨视频图像目标检测方法的流程示意图；
图2为一种高分辨视频图像目标检测装置的示意图；
图3为一种高分辨视频图像目标检测装置中选取模块的示意图；
图4为一种高分辨视频图像目标检测装置中确认模块的示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4
一种高分辨视频图像目标检测方法,该方法包括：
S101、实时获取视频图像；
S102、选取视频图像中的感兴趣区域图像；
选取视频图像中的感兴趣区域图像包括：
将获取到的当前视频图像与上一帧视频图像做帧间差分法后得到第一图像；
对第一图像进行腐蚀操作、膨胀操作和二值化操作后，若第一图像中区域图像的像素值大于预设图像像素值，则该区域为感兴趣区域图像。
选取视频图像中的感兴趣区域图像的具体步骤如下：
(1)获取上一帧视频图像与当前视频图像做帧间差分法，得到图像frame_d。
(2)对图像frame_d做腐蚀操作，膨胀操作。
(3)对图像frame_d二值化操作,图像像素小于10，赋值为0
(4)计算图像frame_d最左方不为0像素的x坐标记为Ptx，计算图像最上方不为0像素的y坐标记为Pty，计算图像最右方不为0像素的x坐标记为Pbx，计算图像最下方不为0像素的x坐标记为Pby。
(5)根据(4)计算的值，由两个坐标点可以确定选取的区域范围，如下公式
Rect_roi＝R(Ptx,Pty,Pbx,Pby)
Rect_roi是最终选取的感兴趣区域。
S103、若选取视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像；
若选取视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像包括：
将选取的感兴趣区域图像与上一帧视频图像进行读取；
将选取的感兴趣区域图像与上一帧视频图像计算交并比值，若交并比值大于预设阈值，则选取视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像；
则对重叠图像进行选取视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像。
具体步骤如下：
(1)将上一帧视频图像的检测结果放入集合M中，集合M中所有区域框以自有的中心点宽高扩大两倍，并且把步骤S102的感兴趣区域Rect_roi区域框也放入集合M。
(2)将所有集合M中的框按照位置从左到右进行排序，依次读取目标框。
(3)遍历集合M中的框，分别与步骤(2)选取的目标框计算交并比，如果计算值大于0，则认为此框与r有重叠，遍历两个框中像素绝对坐标最小minX，minY值，与绝对坐标最大maxX，maxY值，由四个值，组成两个坐标(minX，minY)(maxX，maxY)生成新的框,放入集合M，同时移除计算的两个目标框。
(4)回到第(2)步进行迭代，直到集合M的元素遍历一遍。
(5)集合M中的目标区域，为所需要的所有感兴趣区域。
S104、将实时获取视频图像和所需感兴趣区域图像分割成宽高相同的各个子区域图像；
具体步骤如下：
(1)将实时获取视频图像和所需感兴趣区域图像需要分割成宽高相同的各个子区域，以width表示获取图像的宽度，以hieght表示获取图像的高度，计算分割出子区域的宽高数值
wn＝width/1000
hn＝hieght/1000
dw＝width/(wn+1)
dh＝hieght/(hn+1)
dw为子区域的宽，dh为子区域的高。
(2)对(1)得到的子区域宽dw,子区域的高dh，从原图像左上角原点(0,0)出发，对图像依次从左到右，从上到下,无重叠截取图子区域图像。
(3)对(1)得到的子区域宽dw,高dh，从原图像左上角(0，dw/2)坐标点出发，对图像依次从左到右，从上到下，无重叠截取图子区域图像。
(4)对(1)得到的子区域宽dw,高dh，从原图像左上角dh/2，0)坐标点出发，对图像依次从左到右，从上到下，无重叠截取图子区域图像。
(5)对(1)得到的子区域宽dw,高dh，从原图像左上角(dw/2，dh/2)坐标点出发，对图像依次从左到右，从上到下，无重叠截取图子区域图像。
(6)由(2),(3),(4),(5)以上步骤得到的子区域图像,放入集合L中，集合L包含所有需要被检测的图像。
S105、依次取出各个子区域图像并对各个子区域图像进行识别检测；
使用SSD-300算法检测各个子区域图像，
由步骤S104得到的集合L，依次取出图像，使用SSD-300算法模型识别目标，并且算出绝对坐标值和类别，存入集合H。
S106、若各个子区域图像中的至少两个子区域图像之间为重叠图像，则将至少两个子区域图像进行合并处理后得到最终图像。
具体步骤如下：
(1)使用计算得到的集合H；创建的集合M，初始化为空集。
(2)将所有集合H中的框进行排序，选出分数最高的框m，从集合H移到集合M；
(3)遍历集H中的框，分别与框m计算交并比，如果高于阈值0.4，则认为此框与m重叠，合并两个框。
(4)进行迭代，直到集合H为空，集合M中的框为最终结果。
一种高分辨视频图像目标检测装置，该装置包括：
获取模块：实时获取视频图像；
选取模块：选取视频图像中的感兴趣区域图像；
确认模块：若选取视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像；
分割模块：将实时获取视频图像和所需感兴趣区域图像分割成宽高相同的各个子区域图像；
检测模块：依次取出各个子区域图像并对各个子区域图像进行识别检测；
合并模块：若各个子区域图像中的至少两个子区域图像之间为重叠图像，则将至少两个子区域图像进行合并处理后得到最终图像。
选取模块包括：
处理单元：将获取到的当前视频图像与上一帧视频图像做帧间差分法后得到第一图像；
筛选单元：对第一图像进行腐蚀操作、膨胀操作和二值化操作后，若第一图像中区域图像的像素值大于预设图像像素值，则该区域为感兴趣区域图像。
确认模块包括:
读取单元：将选取的感兴趣区域图像与上一帧视频图像进行读取；
计算单元：将选取的感兴趣区域图像与上一帧视频图像计算交并比值，若交并比值大于预设阈值，则选取视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像；
确定单元：则对重叠图像进行选取视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像。
虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
故以上所述仅为本申请的较佳实施例，并非用来限定本申请的实施范围；即凡依本申请的权利要求范围所做的各种等同变换，均为本申请权利要求的保护范围。

Claims (2)

1.一种高分辨视频图像目标检测方法,其特征在于，该方法包括：
实时获取所述视频图像；
选取所述视频图像中的感兴趣区域图像；
若选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像；
将实时获取所述视频图像和所需感兴趣区域图像分割成宽高相同的各个子区域图像；
依次取出各个子区域图像并对各个子区域图像进行识别检测；
若各个子区域图像中的至少两个子区域图像之间为重叠图像，则将至少两个子区域图像进行合并处理后得到最终图像；
选取所述视频图像中的感兴趣区域图像包括：
将获取到的当前视频图像与上一帧视频图像做帧间差分法后得到第一图像；
对第一图像进行腐蚀操作、膨胀操作和二值化操作后，若第一图像中区域图像的像素值大于预设图像像素值，则该区域为感兴趣区域图像；
若选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像包括：
将选取的感兴趣区域图像与上一帧视频图像进行读取；
将选取的感兴趣区域图像与上一帧视频图像计算交并比值，若交并比值大于预设阈值，则选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像；
则对重叠图像进行选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像。
2.一种高分辨视频图像目标检测装置，其特征在于，该装置包括：
获取模块：实时获取所述视频图像；
选取模块：选取所述视频图像中的感兴趣区域图像；
确认模块：若选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像，则进行迭代处理后得到所需感兴趣区域图像；
分割模块：将实时获取所述视频图像和所需感兴趣区域图像分割成宽高相同的各个子区域图像；
检测模块：依次取出各个子区域图像并对各个子区域图像进行识别检测；
合并模块：若各个子区域图像中的至少两个子区域图像之间为重叠图像，则将至少两个子区域图像进行合并处理后得到最终图像；
所述选取模块包括：
处理单元：将获取到的当前视频图像与上一帧视频图像做帧间差分法后得到第一图像；
筛选单元：对第一图像进行腐蚀操作、膨胀操作和二值化操作后，若第一图像中区域图像的像素值大于预设图像像素值，则该区域为感兴趣区域图像；
所述确认模块包括:
读取单元：将选取的感兴趣区域图像与上一帧视频图像进行读取；
计算单元：将选取的感兴趣区域图像与上一帧视频图像计算交并比值，若交并比值大于预设阈值，则选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像；
确定单元：则对重叠图像进行选取所述视频图像中的感兴趣区域图像与上一帧视频图像之间为重叠图像。
CN201910942414.9A 2019-09-30 2019-09-30 一种高分辨视频图像目标检测方法及装置 Active CN110674778B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910942414.9A CN110674778B (zh) 2019-09-30 2019-09-30 一种高分辨视频图像目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910942414.9A CN110674778B (zh) 2019-09-30 2019-09-30 一种高分辨视频图像目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN110674778A CN110674778A (zh) 2020-01-10
CN110674778B true CN110674778B (zh) 2023-05-16

Family

ID=69078826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910942414.9A Active CN110674778B (zh) 2019-09-30 2019-09-30 一种高分辨视频图像目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN110674778B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738070A (zh) * 2020-05-14 2020-10-02 华南理工大学 一种多个小目标的自动准确检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0823821A2 (en) * 1996-08-08 1998-02-11 NCR International, Inc. System for analyzing movement patterns
CN108337515A (zh) * 2018-01-19 2018-07-27 浙江大华技术股份有限公司 一种视频编码方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106557740B (zh) * 2016-10-19 2019-05-03 华中科技大学 一种遥感图像中油库目标的识别方法
CN106550240A (zh) * 2016-12-09 2017-03-29 武汉斗鱼网络科技有限公司 一种带宽节省方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0823821A2 (en) * 1996-08-08 1998-02-11 NCR International, Inc. System for analyzing movement patterns
CN108337515A (zh) * 2018-01-19 2018-07-27 浙江大华技术股份有限公司 一种视频编码方法及装置

Also Published As

Publication number Publication date
CN110674778A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN108009543B (zh) 一种车牌识别方法及装置
CN109389121B (zh) 一种基于深度学习的铭牌识别方法及系统
CN109785291B (zh) 一种车道线自适应检测方法
CN109409366B (zh) 基于角点检测的畸变图像校正方法及装置
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN109753953B (zh) 图像中定位文本的方法、装置、电子设备和存储介质
US8401333B2 (en) Image processing method and apparatus for multi-resolution feature based image registration
CN111814711A (zh) 一种应用于矿井机器视觉的图像特征快速匹配方法及系统
US20100201871A1 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
CN106228548A (zh) 一种屏幕裂痕的检测方法及装置
CN109886159B (zh) 一种非限定条件下的人脸检测方法
CN111739020B (zh) 周期纹理背景缺陷标签自动标注方法、装置、设备及介质
CN108961262B (zh) 一种复杂场景下的条码定位方法
CN113627306A (zh) 关键点处理方法及装置、可读存储介质、终端
CN113177941B (zh) 一种钢卷边裂识别方法、系统、介质和终端
CN110674778B (zh) 一种高分辨视频图像目标检测方法及装置
CN111582166A (zh) 基于高斯建模和YoLo V3目标检测的遗留物检测方法
CN111047614B (zh) 一种基于特征提取的复杂场景图像的目标角点提取方法
CN113657264A (zh) 基于暗通道和knn算法融合的森林火灾烟雾根节点检测方法
CN111914818A (zh) 一种基于多帧离散置信度森林火灾烟雾根节点检测方法
Romić et al. Influence of the input image resolution on the staircase detection
CN105141963A (zh) 图像运动估计方法和装置
CN113657137A (zh) 数据处理方法、装置、电子设备及存储介质
CN112364835A (zh) 视频信息取帧方法、装置、设备及存储介质
TWI480809B (zh) Image feature extraction method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant