CN111339977A - 一种基于远程视频监控的小目标智能识别系统及其识别方法 - Google Patents

一种基于远程视频监控的小目标智能识别系统及其识别方法 Download PDF

Info

Publication number
CN111339977A
CN111339977A CN202010139927.9A CN202010139927A CN111339977A CN 111339977 A CN111339977 A CN 111339977A CN 202010139927 A CN202010139927 A CN 202010139927A CN 111339977 A CN111339977 A CN 111339977A
Authority
CN
China
Prior art keywords
target
image
identification
intelligent
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010139927.9A
Other languages
English (en)
Inventor
王世先
吴壮志
张锐
贾会梅
秦建峰
全晓鹏
侯米娜
周磊
徐妙语
雷亚宁
肖艳丽
白晓波
王二红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Costar Group Co Ltd
Original Assignee
Henan Costar Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Costar Group Co Ltd filed Critical Henan Costar Group Co Ltd
Priority to CN202010139927.9A priority Critical patent/CN111339977A/zh
Publication of CN111339977A publication Critical patent/CN111339977A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于远程视频监控的小目标智能识别系统，是基于远程视频监控系统来实现的，该远程视频监控系统包括前端单元和后端单元，前端单元设计功能为监控采集、智能分析及伺服系统，后端单元设计功能为系统控制、多系统集成及大数据分析，所述小目标智能识别系统处于前端单元中，且所述小目标智能识别系统包括视频采集模块、图像预处理模块、智能分析模块、数据处理模块、编码分析模块及数据通信模块。与现有技术相比，本发明能有效解决在远程视频监控条件下对小目标的智能化、精准化、实时性检测和识别，并将图像识别信息以及衍生的预警信息传输到后端控制中心。

Description

一种基于远程视频监控的小目标智能识别系统及其识别方法
技术领域
本发明涉及目标检测、计算机视觉及视频监控技术领域，具体涉及一种基于远程视频监控的小目标智能识别系统及其识别方法。
背景技术
远程视频监控系统越来越多的应用在边防监控、海域监控、远程瞭望等领域，成为监控、侦察及防御性系统的主要组成部分。随着可见光、红外、雷达、激光等多种探测技术的综合应用，已能建立全时段、全天候的视频监控网络。现阶段，视频监控的核心在于智能化快速准确识别目标。
在远程视频监控实际应用中，场景具有多样化、复杂化等特点，受环境影响较大。同时还存在场景目标图像较小、分辨率低、背景融合度高等问题，这就为远程目标检测和识别带来了很大困难。目标识别的方法有很多，常用的方法是基于图像处理和算法提取目标特征后建立目标模型，再基于深度学习技术进行目标识别，该方法对远程小目标检测识别时易受外界环境影响、实时性较差、目标识别率差。如何解决远程小目标的智能化精准实时识别，是视频监控领域一个技术难题。
发明内容
为解决上述技术缺陷，本发明的目的是提供一种基于远程视频监控的小目标智能识别系统，能有效解决在远程视频监控条件下对小目标的智能化、精准化、实时性检测和识别，并将图像识别信息以及衍生的预警信息传输到后端控制中心。
本发明的另一目的是提供一种基于远程视频监控的小目标智能识别方法，通过在远程视频监控系统中采用嵌入式系统架构设计，围绕图像增强算法和深度学习算法等方法，进行远程小目标的智能化精准检测和识别。
为达到上述目的，本发明采用的技术方案是：一种基于远程视频监控的小目标智能识别系统，是基于远程视频监控系统来实现的，该远程视频监控系统包括前端单元和后端单元，前端单元设计功能为监控采集、智能分析及伺服系统，后端单元设计功能为系统控制、多系统集成及大数据分析，其特征在于：所述小目标智能识别系统处于前端单元中，且所述小目标智能识别系统包括视频采集模块、图像预处理模块、智能分析模块、数据处理模块、编码分析模块及数据通信模块。
进一步地，所述视频采集模块由远程摄像机镜头和图像采集处理模块组成，将采集到远端图像数据传递至图像预处理模块。
图像预处理模块设计采用含有GPU的并发处理单元，具有增强处理图像数据功能，并将处理后的图像数据传递至智能分析模块。
智能分析模块包括具有小目标智能检测和识别功能的AI智能芯片，检测识别后将检测识别数据传递至数据处理模块。
数据处理模块对智能分析结果进行视频信息叠加和处理，根据预警规则参数对检测识别数据进行预警识别判定，并将检测识别数据、图像信息数据、预警信息数据及目标位置信息进行信息合成叠加处理，传递至编码分析模块。
编码分析模块含有视频编码芯片，对处理后的视频图像进行传输加密编码，传递至数据通信模块；
数据通信模块进行通讯协议转换，根据视频流和相关数据信息以及控制指令进行通讯传输，信息数据会传输到后端单元。
所述小目标智能识别系统采用嵌入式ARM多核架构和并发处理模式，其中图像预处理模块、数据处理模块及数据通信模块均通过ARM主控单元来实现；图像采集处理模块通过图像采集处理芯片实现对图像原始数据的获取；目标智能识别算法部署在AI智能芯片上；编码分析模块通过视频编码芯片实现对视频的分析和编码处理。
一种基于远程视频监控的小目标智能识别方法，是要实现远程视频监控条件下对小目标的智能化、精准化、实时性检测和识别，通过以下步骤来实现：
1）视频采集模块通过远程摄像机镜头和图像采集处理模块将采集到的远端图像数据传递至图像预处理模块；
2）通过图像预处理模块对采集到的图像进行增强处理，提升小目标检测识别的准确率，分为两个阶段：第一阶段根据前期建设的背景要素库、训练模型及对应的图像质量评估参数，进行图像质量比对分析，对图像质量进行衡量，若判定若图像质量不达标，依据参数加载各种图像增强算法进行综合图像增强处理；
第一阶段中，有效的图像质量增强算法是具有自适应性的，能排除一些不需要进行增强处理的图像序列，提高在图像增强步骤中的计算效率，提升系统实时性。
第二阶段图像增强处理通过评估参数判定，通过多种不同的图像算法进行融合，达到优化增强图像效果的目的，减少因环境因素、复杂背景及人为操作下对图像质量及效果的影响，使低像素小目标更容易识别，提升小目标识别的准确率，提升后的图像数据传递至智能分析模块；
第二阶段中涉及到的图像算法包括锐化细化图像增强、亮度对比度增强、去噪声平滑、去雾增透、抗抖动及灰阶调整。
3）在远程监控系统中涉及到的智能分析较多，例如动目标跟踪、区域报警、视频拼接、目标测距、目标识别等，都以深度学习技术为基础，综合多种智能分析算法，达到智能化功能的目的，智能分析模块通过动目标检测单元和目标智能识别单元，对远程小目标进行智能化分析识别，具体是对预处理后的图像进行分析，由动目标检测单元进行运动目标检测，可以快速检测出要识别的目标，然后将目标信息发送给目标识别单元，加载深度学习网络模块，准确识别出目标信息；
分析过程中对远程小目标图像特征是通过分析远程小目标图像特征来实现，这些远程小目标图像特征包括背景融合度高、目标像素点低、精准特征不明显及具有运动性。
上述方法首先运用目标的运动性，进行快速检测，锁定信息后进行目标识别，不仅提升了目标检测和识别的速度，保证了实时性，还缩小了目标信息范围，使准确性也得到了保障。
传统思维方法是对小目标通过算法直接识别，带来的效果是实时性差或准确性差。在图像预处理模块中对图像进行的增强处理，只是解决此问题的第一步，之后还需要通过智能分析模块来确保图像效果的实时性和准确性。
步骤3）中的动目标检测单元采用背景减除算法和帧差算法相结合进行检测。具体分为两个阶段：第一阶段通过三帧帧差运算得到图像中的运动区域；
第二阶段在求取的运动区域内运用三帧帧差图像和背景减除图像的逻辑或操作，得到高精度、比较完整的前景图像，背景模型采用混合高斯模型，可以在复杂背景下达到较好的抗干扰性，同时采用基于前景目标的背景更新方法更新时变权值参数，使模型能及时反映背景变化。
步骤3）中的目标智能识别单元基于深度学习算法实现，深度学习网络框架部署在AI芯片上，通过加载深度学习目标智能识别网络模型，实现对多种目标的智能分类和识别，上述识别包括人脸识别、车辆识别、车牌识别及远程小目标识别。
远程小目标识别是基于yolo v3网络模型进行的改进，该模型采用单阶检测算法，不需要region proposal阶段，能够直接获取目标的类别概率和位置坐标值，所以实时性效果优于两阶的RCNN；同时，使用不同的特征尺度来预测物体，对小目标的检测效果要优于yolo v3。但由于远程复杂场景的特殊性以及目标较小，对yolo v3模型基础进行了优化提升，在保证实时性的情况下，提高了目标识别的准确率，尤其是远程小目标识别，具体包括以下步骤：第一步利用公开分类数据集进行目标分类提取工作，在yolo v3网络模型进行分类训练，得到目标分类模型；第二步对yolo v3模型进行改进构建目标识别网络模型，利用已训练好的分类网络模型参数作为目标识别网络模型的初始化参数，使用自建的数据集进行训练，得到目标识别模型；第三步利用第二步训练好的目标识别模型搭建目标智能识别模块，实现对视频的智能分析及后续结果处理。
远程小目标识别第一步实现步骤如下：第一是对公开数据集进行目标分类提取，从数据集中移除不需要的目标图像，只留下行人、车辆、动物等已标注好的目标数据集，修改yolo v3的网络模型输出层，并将数据集按照7:3比例生成新的训练集和测试集；第二是构建yolo v3神经网络，改变网络分类输出层，将输出改为所需的几种目标类型个数；同时，根据分类数据集使用维度聚类（dimension clusters）方法更新用来预测边界框的先验框（Anchor）大小；第三是利用分类数据集和分类训练模型进行训练：a）加载Imagenet上预先训练好的权重作为初始化参数值；b）修改配置文件中目标类别数、训练和测试数据集路径、目标对应类别名；c）通过前向传播获取目标分类结果，然后对比实际样本值计算损失，再根据误差值和设定的学习率进行反向传播来更新模型参数，以此种方式进行迭代训练，直到网络收敛或达到设定训练次数，得到目标的分类模型。
远程小目标识别第二步实现步骤如下：第一是自建数据集，采集远程复杂场景中的监控视频，通过抽帧获取目标图片，然后使用lableImg软件工具进行目标标注，将标记信息保存到xml文件中，构建行人、车辆、动物等目标数据集，并将数据集按比例生成新的训练集和测试集；第二是对yolo v3模型改进：a）从4倍降采样的特征图与其它几层特征进行融合来检测目标，因为4倍降采样特征图包含更多小目标信息，将低层特征和高层特征进行融合，可以获得更多目标属性信息，还可以提高监控视频中目标重识别的准确度；b）取消yolov3的三个尺寸输出层，只使用一个尺寸输出进行目标检测；第三是使用迁移学习方法：a）将优化的yolo v3网络模型迁移到实际应用场景，就可完成对目标的识别，减少网络模型训练时间，提高网络模型训练效果；b）将分类网络模型提供的网络参数作为改进后网络模型的初始化参数，不需要太多图片数据即可完成训练；c）采用层迁移方法对自建的数据集进行训练，目标相似度比较高的层次直接被迁移过来，特征差异大的层通过参数的微调训练，获取检测模型，实现目标识别。
本发明有益效果是：本发明有效地解决了远程视频监控系统中对目标背景复杂多变、目标分类识别精度不高的环境下远程小目标的智能化精准检测和识别的问题。该设计实现的方法是以深度学习技术为基础，以嵌入式ARM多核架构为载体，对多种算法优化改进，进行多种算法应用融合，采用图像预处理、动目标检测、目标智能识别等多种方法的组合应用，提升了远程小目标识别的实时性和准确性，同时将此功能方法成系统的嵌入远程视频监控系统前端，尽可能减少视频传输、编解码等造成的延时，并为后续的目标追踪和目标行为分析提供实时有效的数据支撑，具用实时性好、远距离观测、识别率高、漏检率低、扩展性强等特点。
附图说明
下面根据附图及实施例，对本发明的方法、结构和特征作进一步描述。
图1是本发明的工作原理图。
图2是本发明的结构示意图。
图3是本发明的工作流程示意图。
图4是本发明中图像预处理模块对采集到的图像进行增强处理的参考功能示意图。
图5是本发明中基于yolo v3改进的小目标识别算法网络结构图。
图6是层迁移方法示意图。
具体实施方式
结合附图，对本发明的具体实施方式做进一步详细阐述，具体技术实现方式如下：
附图1-3是本发明的一种实施例，公开了一种基于远程视频监控的小目标智能识别系统，在远程视频监控系统中设计实现的小目标智能识别主要由六部分组成：视频采集模块、图像预处理模块、智能分析模块、数据处理模块、编码分析模块、数据通信模块。
视频采集模块由远程摄像机镜头和图像采集处理模组组成，将采集到远端图像数据传递给图像预处理模块；图像预处理模块是自主开发含有GPU的并发处理单元，主要对图像数据进行增强处理，然后将处理后的图像数据传递给智能分析模块；智能分析模块含有AI智能芯片，进行小目标智能检测和识别，并将检测识别数据发送给数据处理模块；数据处理模块主要完成对智能分析结果进行视频信息叠加和处理工作，根据预警规则参数对检测识别数据进行预警识别判定，并将检测识别数据、图像信息数据、预警信息数据、目标位置信息等进行信息合成叠加处理，发送给编码分析模块；编码分析模块含有视频编码芯片，主要对处理后的视频图像进行传输加密编码，发送给数据通信模块；数据通信模块进行通讯协议转换，根据视频流和相关数据信息以及控制指令进行通讯传输。信息数据会传输到远程视频监控后端控制系统。
系统整体采用嵌入式ARM多核架构、并发处理模式。图像预处理、数据处理、数据通信都由ARM主控单元来实现；图像采集模块通过图像采集处理芯片实现对图像原始数据的获取；目标智能识别算法部署在AI智能芯片上；编码分析模块通过编码芯片实现对视频的分析和编码处理。
2、本发明中实现远程视频监控条件下对小目标的智能化、精准化、实时性检测和识别，其设计主要集中在图像预处理模块和智能分析模块。
1）图像预处理模块主要分为两个步骤：
A）进行图像质量比对分析，通过图像质量评估参数判定图像质量达标情况。
B）根据参数加载各种图像增强算法进行综合图像增强处理，增强优化图像效果，具体参看图5。
2）对远程小目标的智能化分析识别主要通过动目标检测和目标智能识别单元。
A）动目标检测单元采用背景减除算法和帧差算法相结合的方案。进行运动目标检测，快速检测出要识别的目标，然后将目标信息发送给目标识别单元。
B）目标智能识别单元基于深度学习算法，加载深度学习目标智能识别网络模型，主要实现方法是基于yolo v3网络模型进行优化改进，进而达到对远程小目标的检测和识别，yolo v3网络模型结构具体参看图5、采用层迁移方法具体参看图6。
在本发明中所涉及到远程小目标及识别范围主要是指人、车、船、飞机等，像素点范围是在≥13×18，远程范围是在500mm 5-6km。
以上所描述的仅为本发明的较佳实施例，上述具体实施例不是对本发明的限制，对于本领域的普通技术人员，在不脱离本发明原理的情况所做的润饰、修改或等同替换，也属于本发明的保护范围。

Claims (10)

1.一种基于远程视频监控的小目标智能识别系统，是基于远程视频监控系统来实现的，该远程视频监控系统包括前端单元和后端单元，其特征在于：前端单元设计功能为监控采集、智能分析及伺服系统，后端单元设计功能为系统控制、多系统集成及大数据分析，所述小目标智能识别系统处于前端单元中，且所述小目标智能识别系统包括视频采集模块、图像预处理模块、智能分析模块、数据处理模块、编码分析模块及数据通信模块；
所述视频采集模块由远程摄像机镜头和图像采集处理模块组成，将采集到的远端图像数据传递至图像预处理模块；
图像预处理模块设计采用含有GPU的并发处理单元，具有增强处理图像数据功能，并将处理后的图像数据传递至智能分析模块；
智能分析模块包括具有小目标智能检测和识别功能的AI智能芯片，检测识别后将检测识别数据传递至数据处理模块；
数据处理模块对智能分析结果进行视频信息叠加和处理，根据预警规则参数对检测识别数据进行预警识别判定，并将检测识别数据、图像信息数据、预警信息数据及目标位置信息进行信息合成叠加处理，传递至编码分析模块；
编码分析模块具有对视频的分析和编码处理功能的视频编码芯片，对处理后的视频图像进行传输加密编码，传递至数据通信模块；
数据通信模块进行通讯协议转换，根据视频流和相关数据信息以及控制指令进行通讯传输，信息数据会传输到后端单元。
2.根据权利要求1所述的基于远程视频监控的小目标智能识别系统，其特征在于：所述小目标智能识别系统采用嵌入式ARM多核架构和并发处理模式，其中图像预处理模块、数据处理模块及数据通信模块均通过ARM主控单元来实现。
3.根据权利要求1所述的基于远程视频监控的小目标智能识别系统，其特征在于：图像采集处理模块通过图像采集处理芯片实现对图像原始数据的获取。
4.根据权利要求1所述的基于远程视频监控的小目标智能识别系统，其特征在于：智能分析模块中的AI智能芯片部署有目标智能识别算法。
5.一种基于远程视频监控的小目标智能识别方法，是要实现远程视频监控条件下对小目标的智能化、精准化、实时性检测和识别，其特征在于包括以下步骤：
1）视频采集模块通过远程摄像机镜头和图像采集处理模块将采集到的远端图像数据传递至图像预处理模块；
2）通过图像预处理模块对采集到的图像进行增强处理，提升小目标检测识别的准确率，分为两个阶段：第一阶段根据前期建设的背景要素库、训练模型及对应的图像质量评估参数，进行图像质量比对分析，对图像质量进行衡量，若判定若图像质量不达标，依据参数加载各种图像增强算法进行综合图像增强处理；
第一阶段中，有效的图像质量增强算法是具有自适应性的，能排除一些不需要进行增强处理的图像序列，提高在图像增强步骤中的计算效率，提升系统实时性；
第二阶段中图像增强处理通过评估参数判定，通过多种不同的图像算法进行融合，达到优化增强图像效果的目的，减少因环境因素、复杂背景及人为操作下对图像质量及效果的影响，使低像素小目标更容易识别，提升小目标识别的准确率，提升后的图像数据传递至智能分析模块；
第二阶段中涉及到的图像算法包括锐化细化图像增强、亮度对比度增强、去噪声平滑、去雾增透、抗抖动及灰阶调整；
3）智能分析模块通过动目标检测单元和目标智能识别单元，对远程小目标进行智能化分析识别，具体是对预处理后的图像进行分析，由动目标检测单元进行运动目标检测，可以快速检测出要识别的目标，然后将目标信息发送给目标识别单元，加载深度学习网络模块，准确识别出目标信息；
分析过程中对远程小目标图像特征是通过分析远程小目标图像特征来实现，这些远程小目标图像特征包括背景融合度高、目标像素点低、精准特征不明显及具有运动性。
6.根据权利要求5所述的基于远程视频监控的小目标智能识别方法，其特征在于：步骤3）中的动目标检测单元采用背景减除算法和帧差算法相结合进行检测，具体分为两个阶段：第一阶段通过三帧帧差运算得到图像中的运动区域；第二阶段在求取的运动区域内运用三帧帧差图像和背景减除图像的逻辑或操作，得到高精度、比较完整的前景图像，背景模型采用混合高斯模型，可以在复杂背景下达到较好的抗干扰性，同时采用基于前景目标的背景更新方法更新时变权值参数，使模型能及时反映背景变化。
7.根据权利要求5所述的基于远程视频监控的小目标智能识别方法，其特征在于：步骤3）中的目标智能识别单元基于深度学习算法实现，深度学习网络框架部署在AI芯片上，通过加载深度学习目标智能识别网络模型，实现对多种目标的智能分类和识别，上述识别包括人脸识别、车辆识别、车牌识别及远程小目标识别；远程小目标识别是基于yolo v3网络模型进行的改进，该模型采用单阶检测算法，不需要region proposal阶段，能够直接获取目标的类别概率和位置坐标值，所以实时性效果优于两阶的RCNN；同时，使用不同的特征尺度来预测物体，对小目标的检测效果要优于yolo v3；
但由于远程复杂场景的特殊性以及目标较小，对yolo v3模型基础进行了优化提升，在保证实时性的情况下，提高了目标识别的准确率，尤其是远程小目标识别，具体包括以下步骤：第一步利用公开分类数据集进行目标分类提取工作，在yolo v3网络模型进行分类训练，得到目标分类模型；第二步对yolo v3模型进行改进构建目标识别网络模型，利用已训练好的分类网络模型参数作为目标识别网络模型的初始化参数，使用自建的数据集进行训练，得到目标识别模型；第三步利用第二步训练好的目标识别模型搭建目标智能识别模块，实现对视频的智能分析及后续结果处理。
8.根据权利要求7所述的基于远程视频监控的小目标智能识别方法，其特征在于：远程小目标识别第一步实现步骤如下：第一是对公开数据集进行目标分类提取，从数据集中移除不需要的目标图像，只留下行人、车辆、动物等已标注好的目标数据集，修改yolo v3的网络模型输出层，并将数据集按照7:3比例生成新的训练集和测试集；第二是构建yolo v3神经网络，改变网络分类输出层，将输出改为所需的几种目标类型个数；同时，根据分类数据集使用维度聚类（dimension clusters）方法更新用来预测边界框的先验框（Anchor）大小；第三是利用分类数据集和分类训练模型进行训练：a）加载Imagenet上预先训练好的权重作为初始化参数值；b）修改配置文件中目标类别数、训练和测试数据集路径、目标对应类别名；c）通过前向传播获取目标分类结果，然后对比实际样本值计算损失，再根据误差值和设定的学习率进行反向传播来更新模型参数，以此种方式进行迭代训练，直到网络收敛或达到设定训练次数，得到目标的分类模型。
9.根据权利要求7所述的基于远程视频监控的小目标智能识别方法，其特征在于：远程小目标识别第二步实现步骤如下：第一是自建数据集，采集远程复杂场景中的监控视频，通过抽帧获取目标图片，然后使用lableImg软件工具进行目标标注，将标记信息保存到xml文件中，构建行人、车辆、动物等目标数据集，并将数据集按比例生成新的训练集和测试集；第二是对yolo v3模型改进：a）从4倍降采样的特征图与其它几层特征进行融合来检测目标，因为4倍降采样特征图包含更多小目标信息，将低层特征和高层特征进行融合，可以获得更多目标属性信息，还可以提高监控视频中目标重识别的准确度；b）取消yolo v3的三个尺寸输出层，只使用一个尺寸输出进行目标检测。
10.根据权利要求7所述的基于远程视频监控的小目标智能识别方法，其特征在于：远程小目标识别第三步是使用迁移学习方法：a）将优化的yolo v3网络模型迁移到实际应用场景，就可完成对目标的识别，减少网络模型训练时间，提高网络模型训练效果；b）将分类网络模型提供的网络参数作为改进后网络模型的初始化参数，不需要太多图片数据即可完成训练；c）采用层迁移方法对自建的数据集进行训练，目标相似度比较高的层次直接被迁移过来，特征差异大的层通过参数的微调训练，获取检测模型，实现目标识别。
CN202010139927.9A 2020-03-03 2020-03-03 一种基于远程视频监控的小目标智能识别系统及其识别方法 Pending CN111339977A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010139927.9A CN111339977A (zh) 2020-03-03 2020-03-03 一种基于远程视频监控的小目标智能识别系统及其识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010139927.9A CN111339977A (zh) 2020-03-03 2020-03-03 一种基于远程视频监控的小目标智能识别系统及其识别方法

Publications (1)

Publication Number Publication Date
CN111339977A true CN111339977A (zh) 2020-06-26

Family

ID=71185787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010139927.9A Pending CN111339977A (zh) 2020-03-03 2020-03-03 一种基于远程视频监控的小目标智能识别系统及其识别方法

Country Status (1)

Country Link
CN (1) CN111339977A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738185A (zh) * 2020-06-28 2020-10-02 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
CN112099458A (zh) * 2020-10-16 2020-12-18 中泰信达环保科技(武汉)有限公司 一种人工智能污水运营系统
CN112904775A (zh) * 2021-01-20 2021-06-04 深圳市蓝泰源信息技术股份有限公司 一种公交车载智能终端
CN112990262A (zh) * 2021-02-08 2021-06-18 内蒙古大学 一种草原生态数据监测与智能决策一体化解决系统
CN113469117A (zh) * 2021-07-20 2021-10-01 国网信息通信产业集团有限公司 一种多路视频实时检测方法及系统
CN113591591A (zh) * 2021-07-05 2021-11-02 北京瑞博众成科技有限公司 人工智能现场行为识别系统
CN113949849A (zh) * 2021-12-02 2022-01-18 广西电网有限责任公司钦州供电局 基于人工智能的输电通道可视化监拍系统
CN114049732A (zh) * 2021-09-29 2022-02-15 国网山东省电力公司郓城县供电公司 一种变电站视频监控方法、系统及存储介质
CN114333339A (zh) * 2020-09-24 2022-04-12 百度（美国）有限责任公司 深度神经网络功能模块去重复的方法
CN114416686A (zh) * 2021-12-06 2022-04-29 广州天长信息技术有限公司 一种车辆设备指纹carid识别系统及识别方法
CN114743163A (zh) * 2022-04-29 2022-07-12 北京容联易通信息技术有限公司 一种基于深度学习的视频智能监控算法架构方法和系统
CN115795068A (zh) * 2023-02-09 2023-03-14 安徽合信国质检验检测有限公司 一种基于智能识别技术检测报告ai自动校核系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
WO2019109771A1 (zh) * 2017-12-05 2019-06-13 南京南瑞信息通信科技有限公司 基于多核异构并行计算的电力人工智能视觉分析系统
CN109934108A (zh) * 2019-01-31 2019-06-25 华南师范大学 一种多目标多种类的车辆检测和测距系统及实现方法
CN110766098A (zh) * 2019-11-07 2020-02-07 中国石油大学(华东) 基于改进YOLOv3的交通场景小目标检测方法
CN212990128U (zh) * 2020-03-03 2021-04-16 河南中光学集团有限公司 一种基于远程视频监控的小目标智能识别系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055501A (zh) * 2017-11-22 2018-05-18 天津市亚安科技有限公司 一种目标检测及跟踪的视频监控系统及方法
WO2019109771A1 (zh) * 2017-12-05 2019-06-13 南京南瑞信息通信科技有限公司 基于多核异构并行计算的电力人工智能视觉分析系统
CN109934108A (zh) * 2019-01-31 2019-06-25 华南师范大学 一种多目标多种类的车辆检测和测距系统及实现方法
CN110766098A (zh) * 2019-11-07 2020-02-07 中国石油大学(华东) 基于改进YOLOv3的交通场景小目标检测方法
CN212990128U (zh) * 2020-03-03 2021-04-16 河南中光学集团有限公司 一种基于远程视频监控的小目标智能识别系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738185A (zh) * 2020-06-28 2020-10-02 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
CN111738185B (zh) * 2020-06-28 2023-09-05 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及设备
CN114333339B (zh) * 2020-09-24 2024-04-09 百度（美国）有限责任公司 深度神经网络功能模块去重复的方法
CN114333339A (zh) * 2020-09-24 2022-04-12 百度（美国）有限责任公司 深度神经网络功能模块去重复的方法
CN112099458A (zh) * 2020-10-16 2020-12-18 中泰信达环保科技(武汉)有限公司 一种人工智能污水运营系统
CN112904775A (zh) * 2021-01-20 2021-06-04 深圳市蓝泰源信息技术股份有限公司 一种公交车载智能终端
CN112990262B (zh) * 2021-02-08 2022-11-22 内蒙古大学 一种草原生态数据监测与智能决策一体化解决系统
CN112990262A (zh) * 2021-02-08 2021-06-18 内蒙古大学 一种草原生态数据监测与智能决策一体化解决系统
CN113591591A (zh) * 2021-07-05 2021-11-02 北京瑞博众成科技有限公司 人工智能现场行为识别系统
CN113469117A (zh) * 2021-07-20 2021-10-01 国网信息通信产业集团有限公司 一种多路视频实时检测方法及系统
CN114049732A (zh) * 2021-09-29 2022-02-15 国网山东省电力公司郓城县供电公司 一种变电站视频监控方法、系统及存储介质
CN113949849A (zh) * 2021-12-02 2022-01-18 广西电网有限责任公司钦州供电局 基于人工智能的输电通道可视化监拍系统
CN114416686A (zh) * 2021-12-06 2022-04-29 广州天长信息技术有限公司 一种车辆设备指纹carid识别系统及识别方法
CN114743163A (zh) * 2022-04-29 2022-07-12 北京容联易通信息技术有限公司 一种基于深度学习的视频智能监控算法架构方法和系统
CN114743163B (zh) * 2022-04-29 2023-02-10 北京容联易通信息技术有限公司 一种基于深度学习的视频智能监控算法架构方法和系统
CN115795068A (zh) * 2023-02-09 2023-03-14 安徽合信国质检验检测有限公司 一种基于智能识别技术检测报告ai自动校核系统

Similar Documents

Publication Publication Date Title
CN111339977A (zh) 一种基于远程视频监控的小目标智能识别系统及其识别方法
Song et al. MS-YOLO: Object detection based on YOLOv5 optimized fusion millimeter-wave radar and machine vision
Heidecker et al. An application-driven conceptualization of corner cases for perception in highly automated driving
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN111209808A (zh) 一种基于分层处理的无人机图像语义分割识别方法
CN116486368A (zh) 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
CN116258940A (zh) 一种多尺度特征及自适应权重的小目标检测方法
CN212990128U (zh) 一种基于远程视频监控的小目标智能识别系统
Yin Object Detection Based on Deep Learning: A Brief Review
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
CN114218999A (zh) 一种基于融合图像特征的毫米波雷达目标检测方法及系统
CN113763423A (zh) 一种基于多模态数据的系统性目标识别与跟踪方法
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN117557957A (zh) 一种基于改进YOLOv5的机场场面航空器目标检测方法
Bi et al. Machine vision
CN117808689A (zh) 基于毫米波雷达与摄像头融合的深度补全方法
Chougula et al. Road segmentation for autonomous vehicle: A review
CN117173399A (zh) 一种跨模态交叉注意力机制的交通目标检测方法及系统
Li et al. Feature point extraction and tracking based on a local adaptive threshold
Zhao et al. DHA: Lidar and vision data fusion-based on road object classifier
Shen et al. A lightweight method for small scale traffic sign detection based on YOLOv4-Tiny
CN112651986B (zh) 环境识别方法、识别装置、识别系统、电子设备及介质
CN114926456A (zh) 一种半自动标注和改进深度学习的铁轨异物检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination