CN111027397A - 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备 - Google Patents

适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备 Download PDF

Info

Publication number
CN111027397A
CN111027397A CN201911113081.5A CN201911113081A CN111027397A CN 111027397 A CN111027397 A CN 111027397A CN 201911113081 A CN201911113081 A CN 201911113081A CN 111027397 A CN111027397 A CN 111027397A
Authority
CN
China
Prior art keywords
pedestrian
network
model
edge
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911113081.5A
Other languages
English (en)
Other versions
CN111027397B (zh
Inventor
陈锴嘉
陈昊鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201911113081.5A priority Critical patent/CN111027397B/zh
Publication of CN111027397A publication Critical patent/CN111027397A/zh
Application granted granted Critical
Publication of CN111027397B publication Critical patent/CN111027397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备，包括：行人搜索网络模型分割步骤:结合边缘装置的剩余计算资源信息，分析二进制格式的模型，并对二进制格式的模型做分割，将合适的模型片段分派给边缘装置；行人搜索网络模型动态计算卸载步骤:利用边缘装置的限制碎片资源，将中央服务器的行人搜索任务的部分计算需求卸载到边缘装置，执行中央服务器分配的任务；行人搜索网络模型融合步骤:将行人搜索网络中的行人检测子网及行人重识别子网进行融合且并行识别；综合特征目标检测搜索结果获取步骤：获取综合特征目标搜索结果信息。本发明对于的视频流搜索任务有良好的应用价值。

Description

适用于智能监控网络中的综合特征目标检测方法、系统、介质 及设备
技术领域
本发明涉及边缘计算技术领域和深度学习技术领域，具体地，涉及一种适用于 智能监控网络中的综合特征目标检测方法、系统、介质及设备。
背景技术
计算机相关领域技术的快速发展，使得视频监控应用特别是行人搜索应用已越来越广泛，与之相伴的便是监控网络的成长，如何负担越来越大的监控网络识别需 求是始终存在的关键问题。行人搜索一直是监控网络的智能化应用之一，行人搜索 作为图像处理与计算机视觉的重要领域，在学术和实际中都有极为重要的影响。特 别是随着近年来深度学习领域的迅猛发展，更加精准及更快的行人搜索已然成为学 术界的关注点之一。随着雪亮工程等国家重点工程的实施，智能监控网络呈现出网 络规模越来越大，视频质量越来越高的趋势，而人们对行人搜索的高精准度及实时 处理效率的需求也越来越高。因此，提升行人搜索的搜索效率变得非常具有挑战性， 对网络带宽和计算能力都提出了很高的要求。当下很多行人搜索实现的方法原理是 依靠后端计算能力强大的服务器进行全域视频数据分析而实现的，但是它们在高分 辨率大规模的网络下是难以实现的。网络规模的增大和视频质量的提高使得原有方 法中用来处理的服务器负荷超载，此外，高质量视频传输本身也会产生较大的网络 延迟。提升行人搜索效率的技术方案主要有基于边缘计算任务卸载的方法，以及在 模型本身进行优化的方法等。这些方法尽管可以减少负载提升性能，但在网络规模 增大的情况下，其性能效率上仍显低效，且容易造成边缘设备资源耗尽。有些方法侧重于监控设备彼此之间进行协作。Sushma Nagaraj在Edge-based street objectdetection提出了分别训练浅层网络及深层网络，并把事先训练好的模型部署在边 缘装置上，让边缘装置能对图像先进行数据预处理，若遇到难以处理或是处理时常 较久的图像才会发送给中央服务器，用中央服务器的深层网络进行识别，虽然提高 了图片处理的实时性，但遇到了连续困难识别的场景容易大幅降低识别的帧率。Li 提出了Edgent框架，是基于边缘与终端协同的深度学习模型推理时的框架，其逻辑 分为三个阶段，分别为离线训练阶段、在线优化阶段以及协同推断阶段。在离线训 练阶段，训练完目标需求的深度神经网络，并估算各个层在边缘装置及在终端设备 上的模型推理时延；在线优化阶段，对模型推理进行优化，优化的方式为寻找退出 点以及可切分点，将模型一分为两个二进制模型；在协同推断阶段，边缘装置先根 据他的部分进行模型推理，并将结果传递给中央服务器让它进行后续的推断，但是 整体架构是个静态分割的方法，分割完后难以根据现实场景适配。
专利文献CN101136067A公开了一种基于综合特征一致性模型的人造目标检测 方法,该方法首先建立综合特征一致性模型,然后利用该模型对自然图像进行初步 的感兴趣区域检测,最后利用数学形态学中的腐蚀和区域标注对其进行后处理。该 专利并不能很好地适用于智能监控网络中的综合特征目标检测中。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备。
根据本发明提供的一种适用于智能监控网络中的综合特征目标检测方法，行人搜索 网络模型分割步骤:结合边缘装置的剩余计算资源信息，分析二进制格式的模型，并对二进制格式的模型做分割，将合适的模型片段分派给边缘装置；行人搜索网络模型动态 计算卸载步骤:利用边缘装置的限制碎片资源，将中央服务器的行人搜索任务的部分计 算需求卸载到边缘装置，执行中央服务器分配的任务；行人搜索网络模型融合步骤:将 行人搜索网络中的行人检测子网及行人重识别子网进行融合且并行识别，获取行人搜索 网络模型融合结果信息；综合特征目标检测搜索结果获取步骤：根据行人搜索网络模型 融合结果信息，获取综合特征目标搜索结果信息。
优选地，所述行人搜索网络模型分割步骤包括:信息收集步骤:边缘单元传递自身计 算资源包括边缘单元内存容量、边缘单元中央处理器的信息、边缘单元硬盘容量给中央服务器，让中央服务器做综合分析；信息分析步骤:根据边缘装置的计算资源信息，将训 练好的模型切割出多个合适的片段，发派到边缘装置。
优选地，所述行人搜索网络模型动态计算卸载步骤包括：监控边缘单元资源步骤：边缘单元开启即启动此步骤，实时监控边缘单元的计算资源、内存资源、网络资源及存 储资源；模型在边缘单元上的卸载步骤：在边缘单元资源紧张前，将边缘单元内存上的 模型卸载；模型在边缘单元上的加载步骤：模型卸载后，根据监控单元的剩余计算资源 分析结果，将相应的模型加载上边缘单元内存。
优选地，所述行人搜索网络模型融合步骤包括:图像特征提取步骤：将原始图像输入进深度卷积骨干网络，提取三维的图像特征；行人检测步骤:行人检测子网基于图像 特征提取步骤提取的特征负责从整幅摄像头图像识别行人的位置；此子网的特别之处在 于，使用了一阶段检测的子网，一阶段检测的行人检测网络同时完成对行人的位置回归 已经候选框的分类。行人重识别步骤:行人重识别子网基于图像特征提取步骤提取的特 征负责从行人检测子网检测到的行人并分别提取两者的特征向量进行一对一对匹配，使 用调整后余弦相似函数，相似度超过0.5则视为检测到目标。
根据本发明提供的一种适用于智能监控网络中的综合特征目标检测系统，行人搜索 网络模型分割模块:结合边缘装置的剩余计算资源信息，分析二进制格式的模型，并对二进制格式的模型做分割，将合适的模型片段分派给边缘装置；行人搜索网络模型动态 计算卸载模块:利用边缘装置的限制碎片资源，将中央服务器的行人搜索任务的部分计 算需求卸载到边缘装置，执行中央服务器分配的任务；行人搜索网络模型融合模块:将 行人搜索网络中的行人检测子网及行人重识别子网进行融合且并行识别，获取行人搜索 网络模型融合结果信息；综合特征目标检测搜索结果获取模块：根据行人搜索网络模型 融合结果信息，获取综合特征目标搜索结果信息。
优选地，所述行人搜索网络模型分割模块包括:信息收集模块:边缘单元传递自身计 算资源包括边缘单元内存容量、边缘单元中央处理器的信息、边缘单元硬盘容量给中央服务器，让中央服务器做综合分析；信息分析模块:根据边缘装置的计算资源信息，将训 练好的模型切割出多个合适的片段，发派到边缘装置。
优选地，所述行人搜索网络模型动态计算卸载模块包括：监控边缘单元资源模块：边缘单元开启即启动此模块，实时监控边缘单元的计算资源、内存资源、网络资源及存 储资源；模型在边缘单元上的卸载模块：在边缘单元资源紧张前，将边缘单元内存上的 模型卸载；模型在边缘单元上的加载模块：模型卸载后，根据监控单元的剩余计算资源 分析结果，将相应的模型加载上边缘单元内存。
优选地，所述行人搜索网络模型融合模块包括:图像特征提取模块：将原始图像输入进深度卷积骨干网络，提取三维的图像特征；行人检测模块:行人检测子网基于图像 特征提取模块提取的特征负责从整幅摄像头图像识别行人的位置；此子网的特别之处在 于，使用了一阶段检测的子网，一阶段检测的行人检测网络同时完成对行人的位置回归 已经候选框的分类。行人重识别模块:行人重识别子网基于图像特征提取模块提取的特 征负责从行人检测子网检测到的行人并分别提取两者的特征向量进行一对一对匹配，使 用调整后余弦相似函数，相似度超过0.5则视为检测到目标。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序 被处理器执行时实现适用于智能监控网络中的综合特征目标检测方法的步骤。
根据本发明提供的适用于智能监控网络中的综合特征目标检测设备，包括：控制器； 所述控制器包括存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执 行时实现适用于智能监控网络中的综合特征目标检测方法的步骤；或者，所述控制器包括适用于智能监控网络中的综合特征目标检测系统。
与现有技术相比，本发明具有如下的有益效果：
1、本发明通过利用边缘设备的空闲资源，并设计了边缘计算的任务卸载模块， 使得行人搜索任务能达到更好的规模扩展性，且让边缘设备的空闲资源在避免紧缺 的前提下达到最大程度的利用，在如上有益效果之上，并保有良好的精准度。
2、本发明对行人搜索任务的两个模型分别是行人检测以及行人重识别模型进 行融合，一次性的输入便能计算场景图下每个行人的相似度，在实际场景中，不但 能大幅提升搜索的效率，并能使之运行在计算受限的边缘身边上。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明中的方法架构示意图。
图2为本发明中系统计算迁移走向示意图。
图3为本发明中测试网络时延的模型派发示意图。
图4为本发明中行人搜索模型融合示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人 员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于 本发明的保护范围。
如图1-4所示，根据本发明提供的一种适用于智能监控网络中的综合特征目标检测 方法，行人搜索网络模型分割步骤:结合边缘装置的剩余计算资源信息，分析二进制格式的模型，并对二进制格式的模型做分割，将合适的模型片段分派给边缘装置；行人搜 索网络模型动态计算卸载步骤:利用边缘装置的限制碎片资源，将中央服务器的行人搜 索任务的部分计算需求卸载到边缘装置，执行中央服务器分配的任务；行人搜索网络模 型融合步骤:将行人搜索网络中的行人检测子网及行人重识别子网进行融合且并行识别， 获取行人搜索网络模型融合结果信息；综合特征目标检测搜索结果获取步骤：根据行人 搜索网络模型融合结果信息，获取综合特征目标搜索结果信息。
优选地，所述行人搜索网络模型分割步骤包括:信息收集步骤:边缘单元传递自身计 算资源包括边缘单元内存容量、边缘单元中央处理器的信息、边缘单元硬盘容量给中央服务器，让中央服务器做综合分析；信息分析步骤:根据边缘装置的计算资源信息，将训 练好的模型切割出多个合适的片段，发派到边缘装置。
优选地，所述行人搜索网络模型动态计算卸载步骤包括：监控边缘单元资源步骤：边缘单元开启即启动此步骤，实时监控边缘单元的计算资源、内存资源、网络资源及存 储资源；模型在边缘单元上的卸载步骤：在边缘单元资源紧张前，将边缘单元内存上的 模型卸载；模型在边缘单元上的加载步骤：模型卸载后，根据监控单元的剩余计算资源 分析结果，将相应的模型加载上边缘单元内存。
优选地，所述行人搜索网络模型融合步骤包括:图像特征提取步骤：将原始图像输入进深度卷积骨干网络，提取三维的图像特征；行人检测步骤:行人检测子网基于图像 特征提取步骤提取的特征负责从整幅摄像头图像识别行人的位置；此子网的特别之处在 于，使用了一阶段检测的子网，一阶段检测的行人检测网络同时完成对行人的位置回归 已经候选框的分类。行人重识别步骤:行人重识别子网基于图像特征提取步骤提取的特 征负责从行人检测子网检测到的行人并分别提取两者的特征向量进行一对一对匹配，使 用调整后余弦相似函数，相似度超过0.5则视为检测到目标。
具体地，在一个实施例中，如图1所示，一种行人搜索网络中的边缘计算任务卸载方法，包括：行人搜索网络模型分割的方法:结合边缘装置的剩余计算资源信息，分析 并对二进制格式的模型做分割，将合适的模型片段分派给边缘装置。
行人搜索网络模型动态计算卸载的方法:利用边缘装置的限制碎片资源，将中央服 务器的行人搜索任务的部分计算需求卸载到边缘装置，执行中央服务器分配的任务。
行人搜索网络模型融合的方法:将行人搜索网络中的行人检测子网及行人重识别子网进行融合且并行识别，一步输入得到结果。
每个摄像头初始化后，摄像头端向云服务器建立连线，传自身的计算资源、硬盘、内存等信息给云服务器，供云服务器进行综合分析，并订资源分级，若摄像头的计算资 源较少，则分级较少。云服务器收到摄像头的请求后，根据资源分级生成各级的分割后 模型的二进制执行文件，云服务器将分割后的剩余部分全部载入显存，准备进行推断， 最后将二进制执行文件传回给边缘摄像头节点。根据云服务器端的回复，收到各级的模 型，摄像头里负责监控边缘节点计算资源的进程根据当前剩余资源载入最充分利用资源 的模型入显存，使得摄像头能随时开始进行识别。
摄像头获取视频流，根据当前载入的模型进行推断，将结果发送给云服务器。摄像头的资源监控模块实时监控摄像头边缘节点的剩余计算资源，若发生资源紧张或是大的资源空缺则释放在内存上的模型，重新载入新的模型。云服务根据摄像头传回的结果作 为输入继续进行模型推断，将推断的结果进行整合，若发现了目标行人则报警。静态调 度算法容易造成闲置资源，也容易造成边缘节点资源不够而死机，本系统的核心是透过 动态调度算法的方式，让边缘节点最大化的利用计算资源，即使资源不够了，也能动态 地分配所需计算资源较少的任务。
云服务器距离GPU集群摄像头较远，且行人搜索模型在搜索到目标行人前需要不间 断的进行监控，容易造成不稳定性以及宽带不足的问题，故通信机制的设计也是本系统重点考量的部分。
针对不稳定性，本系统采取心跳通信方式进行检测，实时检测摄像头是否有宕机的 情况发生，此外，边缘节点里的资源监控模块也附属边缘节点的资源使用状况给云服务器，让云服务器能实时跟踪各个节点的使用状况。
针对宽带不足的问题，边缘节点难以在发送结果前知道目前网络的拥塞状况，其中 传递边缘节点的模型推断结果占的宽带最多，本文采用少量开始的方法，一开始先传输少量的数据包进行试探，若能在特定时延前送达云服务器，则慢慢增加数据包，避免网 络过于拥塞，若长时间拥塞状态，或是边缘节点的模型推断时间比网络传输时间还短， 摄像头将在边缘节点端将模型尽可能的推断完，只传输最终的识别结果，这是由于深度 学习模型推断越多，结果的大小越小，更利于网络传输。
如图2所示，有四个角色，分别为数据生产者、边缘装置、云以及数据消费者，描 述了迁移走向，数据生产者在本系统为摄像头，产生视频流数据，边缘装置为摄像头附 属的嵌入式计算设备，云负责统整和计算剩余结果，数据消费者为监控人员观看搜索结 果的界面。
如图3所示，摄像头初始化后，传递小数据包到云服务器进行宽带资源试探。若数据包到达时间>时间阈值，则将数据包加大一个量级L，再传递加大后的数据包到云服务器。一直重复，直到数据包到达时间<时间阈值，边缘节点计算出当前所在宽带的大小 T。根据T的大小，边缘节点计算何种模型能保证最小的模型推断时间+传输时间。
如图4所示，一阶段行人检测网络以工整的棋盘式预设潜在目标候选框，对每个目标框利用回归算法完成目标位置和目标类别的分类。
融合后的模型共享同个深度卷积网络，使得图像特征提取一次完成，在本发明的目 标行人搜索模型，Task A、Task B、Task C分别为行人位置回归任务、行人分类任务、 行人重识别任务。
本领域技术人员可以将本发明提供的适用于智能监控网络中的综合特征目标检测 方法，理解为本发明提供的适用于智能监控网络中的综合特征目标检测系统的一个实施 例。即，所述适用于智能监控网络中的综合特征目标检测系统可以通过执行所述适用于智能监控网络中的综合特征目标检测方法的步骤流程实现。
根据本发明提供的一种适用于智能监控网络中的综合特征目标检测系统，行人搜索 网络模型分割模块:结合边缘装置的剩余计算资源信息，分析二进制格式的模型，并对二进制格式的模型做分割，将合适的模型片段分派给边缘装置；行人搜索网络模型动态 计算卸载模块:利用边缘装置的限制碎片资源，将中央服务器的行人搜索任务的部分计 算需求卸载到边缘装置，执行中央服务器分配的任务；行人搜索网络模型融合模块:将 行人搜索网络中的行人检测子网及行人重识别子网进行融合且并行识别，获取行人搜索 网络模型融合结果信息；综合特征目标检测搜索结果获取模块：根据行人搜索网络模型 融合结果信息，获取综合特征目标搜索结果信息。
优选地，所述行人搜索网络模型分割模块包括:信息收集模块:边缘单元传递自身计 算资源包括边缘单元内存容量、边缘单元中央处理器的信息、边缘单元硬盘容量给中央服务器，让中央服务器做综合分析；信息分析模块:根据边缘装置的计算资源信息，将训 练好的模型切割出多个合适的片段，发派到边缘装置。
优选地，所述行人搜索网络模型动态计算卸载模块包括：监控边缘单元资源模块：边缘单元开启即启动此模块，实时监控边缘单元的计算资源、内存资源、网络资源及存 储资源；模型在边缘单元上的卸载模块：在边缘单元资源紧张前，将边缘单元内存上的 模型卸载；模型在边缘单元上的加载模块：模型卸载后，根据监控单元的剩余计算资源 分析结果，将相应的模型加载上边缘单元内存。
优选地，所述行人搜索网络模型融合模块包括:图像特征提取模块：将原始图像输入进深度卷积骨干网络，提取三维的图像特征；行人检测模块:行人检测子网基于图像 特征提取模块提取的特征负责从整幅摄像头图像识别行人的位置；此子网的特别之处在 于，使用了一阶段检测的子网，一阶段检测的行人检测网络同时完成对行人的位置回归 已经候选框的分类。行人重识别模块:行人重识别子网基于图像特征提取模块提取的特 征负责从行人检测子网检测到的行人并分别提取两者的特征向量进行一对一对匹配，使 用调整后余弦相似函数，相似度超过0.5则视为检测到目标。
具体的，在一个实施例中，行人搜索网络模型融合系统中，模型子网络架构包括:行 人检测子网:行人检测子网负责从整幅摄像头图像识别行人的位置，此子网的特征在于， 此系统使用了一阶段检测的子网，一阶段检测的行人检测网络同时完成对行人的位置回 归已经候选框的分类。行人重识别子网:行人重识别子网负责从行人检测子网检测到的行人并分别提取两者的特征向量进行一对一对匹配，使用调整后余弦相似函数，相似度 超过0.5则视为检测到目标。所述的行人搜索网络模型融合的方法，其特征在于，所述 的模型训练环节包括:行人检测位置回归模块:行人检测位置回归部分的训练先将图像 以棋盘式的方法进行切割，对每个候选框进行回归训练，损失函数定义为回归训练的损 失函数。行人检测分类模块:行人检测分类部分的训练与行人检测位置回归部分相同， 先将图像以棋盘式的方法进行切割，对每个切割的部分利用交叉熵的方式进行训练，并 使用行人重识别模块的相似度对样本重要性进行判别。行人重识别模块:行人重识别部 分的训练使用三元损失函数对子网进行训练，每次训练提取三个样本，分别为样本本身、 正样本及副样本，训练目标使得正样本与样本的距离更近，负样本与样本的距离远。
根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序 被处理器执行时实现适用于智能监控网络中的综合特征目标检测方法的步骤。
根据本发明提供的适用于智能监控网络中的综合特征目标检测设备，包括：控制器； 所述控制器包括存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执 行时实现适用于智能监控网络中的综合特征目标检测方法的步骤；或者，所述控制器包括适用于智能监控网络中的综合特征目标检测系统。
本发明通过利用边缘设备的空闲资源，并设计了边缘计算的任务卸载模块，使 得行人搜索任务能达到更好的规模扩展性，且让边缘设备的空闲资源在避免紧缺的 前提下达到最大程度的利用，在如上有益效果之上，并保有良好的精准度。
本发明对行人搜索任务的两个模型分别是行人检测以及行人重识别模型进行 融合，一次性的输入便能计算场景图下每个行人的相似度，在实际场景中，不但能 大幅提升搜索的效率，并能使之运行在计算受限的边缘身边上。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及 其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制 器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装 置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、 模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、 单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、 “竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示 的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装 置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的 限制。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上 述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改， 这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的 特征可以任意相互组合。

Claims (10)

1.一种适用于智能监控网络中的综合特征目标检测方法，其特征在于，包括：
行人搜索网络模型分割步骤:结合边缘装置的剩余计算资源信息，分析二进制格式的模型，并对二进制格式的模型做分割，将合适的模型片段分派给边缘装置；
行人搜索网络模型动态计算卸载步骤:利用边缘装置的限制碎片资源，将中央服务器的行人搜索任务的部分计算需求卸载到边缘装置，执行中央服务器分配的任务；
行人搜索网络模型融合步骤:将行人搜索网络中的行人检测子网及行人重识别子网进行融合且并行识别，获取行人搜索网络模型融合结果信息；
综合特征目标检测搜索结果获取步骤：根据行人搜索网络模型融合结果信息，获取综合特征目标搜索结果信息。
2.根据权利要求1所述的适用于智能监控网络中的综合特征目标检测方法，其特征在于，所述行人搜索网络模型分割步骤包括:
信息收集步骤:边缘单元传递自身计算资源包括边缘单元内存容量、边缘单元中央处理器的信息、边缘单元硬盘容量给中央服务器，让中央服务器做综合分析；
信息分析步骤:根据边缘装置的计算资源信息，将训练好的模型切割出多个片段，发派到边缘装置。
3.根据权利要求1所述的适用于智能监控网络中的综合特征目标检测方法，其特征在于，所述行人搜索网络模型动态计算卸载步骤包括：
监控边缘单元资源步骤：实时监控边缘单元的计算资源、内存资源、网络资源及存储资源；
模型在边缘单元上的卸载步骤：将边缘单元内存上的模型卸载；
模型在边缘单元上的加载步骤：模型卸载后，根据监控单元的剩余计算资源分析结果，将相应的模型加载上边缘单元内存。
4.根据权利要求1所述的适用于智能监控网络中的综合特征目标检测方法，其特征在于，所述行人搜索网络模型融合步骤包括:
图像特征提取步骤：将原始图像输入进深度卷积骨干网络，提取三维的图像特征；
行人检测步骤:行人检测子网基于图像特征提取步骤提取的特征负责从整幅摄像头图像识别行人的位置；
行人重识别步骤:行人重识别子网基于图像特征提取步骤提取的特征负责从行人检测子网检测到的行人并分别提取两者的特征向量进行一对一匹配，使用调整后余弦相似函数，相似度超过0.5则视为检测到目标。
5.一种适用于智能监控网络中的综合特征目标检测系统，其特征在于，
行人搜索网络模型分割模块:结合边缘装置的剩余计算资源信息，分析二进制格式的模型，并对二进制格式的模型做分割，将合适的模型片段分派给边缘装置；
行人搜索网络模型动态计算卸载模块:利用边缘装置的限制碎片资源，将中央服务器的行人搜索任务的部分计算需求卸载到边缘装置，执行中央服务器分配的任务；
行人搜索网络模型融合模块:将行人搜索网络中的行人检测子网及行人重识别子网进行融合且并行识别，获取行人搜索网络模型融合结果信息；
综合特征目标检测搜索结果获取模块：根据行人搜索网络模型融合结果信息，获取综合特征目标搜索结果信息。
6.根据权利要求5所述的适用于智能监控网络中的综合特征目标检测系统，其特征在于，所述行人搜索网络模型分割模块包括:
信息收集模块:边缘单元传递自身计算资源包括边缘单元内存容量、边缘单元中央处理器的信息、边缘单元硬盘容量给中央服务器，让中央服务器做综合分析；
信息分析模块:根据边缘装置的计算资源信息，将训练好的模型切割出多个片段，发派到边缘装置。
7.根据权利要求5所述的适用于智能监控网络中的综合特征目标检测系统，其特征在于，所述行人搜索网络模型动态计算卸载模块包括：
监控边缘单元资源模块：实时监控边缘单元的计算资源、内存资源、网络资源及存储资源；
模型在边缘单元上的卸载模块：将边缘单元内存上的模型卸载；
模型在边缘单元上的加载模块：模型卸载后，根据监控单元的剩余计算资源分析结果，将相应的模型加载上边缘单元内存。
8.根据权利要求5所述的适用于智能监控网络中的综合特征目标检测系统，其特征在于，所述行人搜索网络模型融合模块包括:
图像特征提取模块：将原始图像输入进深度卷积骨干网络，提取三维的图像特征；
行人检测模块:行人检测子网基于图像特征提取模块提取的特征负责从整幅摄像头图像识别行人的位置；
行人重识别模块:行人重识别子网基于图像特征提取模块提取的特征负责从行人检测子网检测到的行人并分别提取两者的特征向量进行一对一匹配，使用调整后余弦相似函数，相似度超过0.5则视为检测到目标。
9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的适用于智能监控网络中的综合特征目标检测方法的步骤。
10.一种适用于智能监控网络中的综合特征目标检测设备，其特征在于，包括：控制器；
所述控制器包括权利要求9所述的存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的适用于智能监控网络中的综合特征目标检测方法的步骤；或者，所述控制器包括权利要求5至8中任一项所述的适用于智能监控网络中的综合特征目标检测系统。
CN201911113081.5A 2019-11-14 2019-11-14 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备 Active CN111027397B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911113081.5A CN111027397B (zh) 2019-11-14 2019-11-14 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911113081.5A CN111027397B (zh) 2019-11-14 2019-11-14 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备

Publications (2)

Publication Number Publication Date
CN111027397A true CN111027397A (zh) 2020-04-17
CN111027397B CN111027397B (zh) 2023-05-12

Family

ID=70201408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911113081.5A Active CN111027397B (zh) 2019-11-14 2019-11-14 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备

Country Status (1)

Country Link
CN (1) CN111027397B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507893A (zh) * 2020-12-14 2021-03-16 华南理工大学 一种基于边缘计算的分布式无监督行人重识别方法
WO2022257662A1 (zh) * 2021-06-09 2022-12-15 华为技术有限公司 一种应用人工智能的通信方法及通信装置
CN116311080A (zh) * 2023-05-12 2023-06-23 重庆华悦生态环境工程研究院有限公司深圳分公司 监控影像检测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803301A (zh) * 2017-03-28 2017-06-06 广东工业大学 一种基于深度学习的人脸识别门禁方法及系统
CN107704824A (zh) * 2017-09-30 2018-02-16 北京正安维视科技股份有限公司 基于空间约束的行人重识别方法及设备
CN108345860A (zh) * 2018-02-24 2018-07-31 江苏测联空间大数据应用研究中心有限公司 基于深度学习和距离度量学习的人员再识别方法
CN109936619A (zh) * 2019-01-18 2019-06-25 中国科学院空间应用工程与技术中心 一种基于雾计算的空间信息网络架构、方法和可读存储介质
CN109948425A (zh) * 2019-01-22 2019-06-28 中国矿业大学 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
WO2019127273A1 (zh) * 2017-12-28 2019-07-04 深圳市锐明技术股份有限公司 一种多人脸检测方法、装置、服务器、系统及存储介质
CN110414336A (zh) * 2019-06-21 2019-11-05 中国矿业大学 一种三元组边缘中心损失的深度互补分类器行人搜索方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106803301A (zh) * 2017-03-28 2017-06-06 广东工业大学 一种基于深度学习的人脸识别门禁方法及系统
CN107704824A (zh) * 2017-09-30 2018-02-16 北京正安维视科技股份有限公司 基于空间约束的行人重识别方法及设备
WO2019127273A1 (zh) * 2017-12-28 2019-07-04 深圳市锐明技术股份有限公司 一种多人脸检测方法、装置、服务器、系统及存储介质
CN108345860A (zh) * 2018-02-24 2018-07-31 江苏测联空间大数据应用研究中心有限公司 基于深度学习和距离度量学习的人员再识别方法
CN109936619A (zh) * 2019-01-18 2019-06-25 中国科学院空间应用工程与技术中心 一种基于雾计算的空间信息网络架构、方法和可读存储介质
CN109948425A (zh) * 2019-01-22 2019-06-28 中国矿业大学 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN110414336A (zh) * 2019-06-21 2019-11-05 中国矿业大学 一种三元组边缘中心损失的深度互补分类器行人搜索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘顺强: "基于深度学习的监控场景中的行人分析研究" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507893A (zh) * 2020-12-14 2021-03-16 华南理工大学 一种基于边缘计算的分布式无监督行人重识别方法
WO2022257662A1 (zh) * 2021-06-09 2022-12-15 华为技术有限公司 一种应用人工智能的通信方法及通信装置
CN116311080A (zh) * 2023-05-12 2023-06-23 重庆华悦生态环境工程研究院有限公司深圳分公司 监控影像检测方法及装置
CN116311080B (zh) * 2023-05-12 2023-09-12 重庆华悦生态环境工程研究院有限公司深圳分公司 监控影像检测方法及装置

Also Published As

Publication number Publication date
CN111027397B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
US9251425B2 (en) Object retrieval in video data using complementary detectors
CN111027397A (zh) 适用于智能监控网络中的综合特征目标检测方法、系统、介质及设备
CN112232293A (zh) 图像处理模型训练、图像处理方法及相关设备
CN111382623A (zh) 一种直播审核的方法、装置、服务器和存储介质
CN113408087B (zh) 一种基于云边系统和视频智能分析的变电站巡视方法
CN108764456B (zh) 机载目标识别模型构建平台、机载目标识别方法及设备
CN107992937B (zh) 基于深度学习的非结构化数据判决方法和装置
CN112784718A (zh) 一种基于边缘计算与深度学习的绝缘子状态识别方法
CN113037783B (zh) 一种异常行为检测方法及系统
CN111091106B (zh) 图像聚类方法及装置、存储介质、电子装置
CN110232418B (zh) 一种语义识别方法、终端及计算机可读存储介质
CN116980569A (zh) 一种基于云计算的安全监控系统及方法
CN110909794A (zh) 一种适用于嵌入式设备的目标检测系统
CN115860102B (zh) 一种自动驾驶感知模型的预训练方法、装置、设备和介质
CN109086737B (zh) 基于卷积神经网络的航运货物监控视频识别方法及系统
CN114640669A (zh) 边缘计算方法及装置
Huang et al. A smart-decision system for realtime mobile ar applications
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
EP4311202A1 (en) End-edge-cloud coordination system and method based on digital retina, and device
Xu et al. Accurate and Efficient Federated Learning based Edge Intelligence for Effective Video Analysis
Montero et al. Multi-Stage Dynamic Batching and On-Demand I-Vector Clustering for Cost-effective Video Surveillance.
CN111737371A (zh) 可动态预测的数据流量检测分类方法及装置
CN112149562A (zh) 基于多功能杆的道路智慧养护系统及方法
CN113496176A (zh) 动作识别方法、装置以及电子设备
CN111160201A (zh) 一种人脸图像上传方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant