CN112966608A - 一种基于边端协同的目标检测方法、系统及存储介质 - Google Patents

一种基于边端协同的目标检测方法、系统及存储介质 Download PDF

Info

Publication number
CN112966608A
CN112966608A CN202110246508.XA CN202110246508A CN112966608A CN 112966608 A CN112966608 A CN 112966608A CN 202110246508 A CN202110246508 A CN 202110246508A CN 112966608 A CN112966608 A CN 112966608A
Authority
CN
China
Prior art keywords
image
result
target detection
mobile terminal
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110246508.XA
Other languages
English (en)
Inventor
张展
左德承
冯懿
封威
刘宏伟
胡馨月
卢海斌
刘强
温东新
董剑
舒燕君
罗丹彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202110246508.XA priority Critical patent/CN112966608A/zh
Publication of CN112966608A publication Critical patent/CN112966608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供了一种基于边缘协同的目标检测方法、系统及存储介质，应用于基于边端协同的目标检测系统，基于边端协同的目标检测系统包括移动端和边缘云，包括：由移动端获取待检测图像，对待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将第一分类结果或第一结果图像作为第一目标检测结果；由移动端判断移动端和边缘云是否符合预设条件；若是，则由移动端将待检测图像发送给边缘云，由边缘云将待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将第二分类结果或第二结果图像发送给移动端，由移动端基于第二分类结果或第二结果图像获得第二目标检测结果，保证在快速响应检测任务的基础上获得最优的目标检测结果。

Description

一种基于边端协同的目标检测方法、系统及存储介质
技术领域
本发明涉及图像识别技术领域，具体而言，涉及一种基于边端协同的目标检测方法、系统及存储介质。
背景技术
人工智能的发展，为可穿戴计算设备智能化发展带来重大机遇，智能移动终端成为当前科技发展的热点领域。智能化可穿戴设备使用户的感知能力得到极大延伸，结合人工智能与计算机视觉等技术开发可穿戴智能应用，将使用户的任务遂行能力、协同能力等得到极大提升。
随着深度学习理论的完善和在计算机视觉方面应用的发展，深度神经网络应用于目标检测的研究越来越热门，虽然深度神经网络与目标检测融合方面取得了一定的成果，但其仍存在着占用大量内存和计算资源的问题。现有的目标检测系统主要搭载在本地服务器或远程的云端服务器上，大型云计算服务器处于终端产生数据和应用模型的远端，这使得检测模型无法快速地发布和应用到终端检测设备；若将目标检测系统搭载在移动端，会占用大量内存和计算资源，移动端算力不足又会导致检测精度下降。
发明内容
本发明解决的问题是如何在快速得出目标检测结果的前提下平衡检测精度与检测速度。
为解决上述问题，本发明提供一种基于边端协同的目标检测方法，应用于基于边端协同的目标检测系统，所述基于边端协同的目标检测系统包括移动端和边缘云，包括：
由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果；由所述移动端判断所述移动端和所述边缘云是否符合预设条件；若是，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将所述第二分类结果或者所述第二结果图像发送给所述移动端，由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果。
相对于现有技术，在判断移动端和边缘云是否符合预设条件之前进行粗粒度分类，有利于充分利用移动端的计算资源，保证能快速地获得初步的检测结果；通过判断移动端和边缘云是否符合预设条件，确定图像的处理方式，保证在快速获得图像检测结果的情况下合理利用资源以获得最好的目标检测结果；通过将细粒度分类分配至边缘云进行，解决了移动端的计算能力和功耗受限的问题，并且在移动端独立完成对待检测图像的粗粒度分类，保证检测任务的快速响应，也可以保证第一结果图像能够在移动端上不间断地显示。
可选地，所述预设条件包括以下至少一者：网络速度大于预设速度、网络延迟小于预设网络延迟、网络连接质量优于预设网络连接质量、边缘云资源占用情况小于预设比例。
由此，保证可以从移动端所处的网络环境和/或边缘云资源占用情况等多方面立体地判断是否适合将待检测图像传输至边缘云进行细粒度分类。
可选地，所述由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果包括：将所述第二分类结果映射在所述第一结果图像，得到映射图像，将所述映射图像作为所述第二目标检测结果。
由此，可不传输第二结果图像，仅传输第二分类结果到移动端，文件较小，可以保证传输的时效性，同时，第二分类结果映射在第一结果图像可以使最终显示输出的第二目标检测结果更为直观，兼顾了目标结果输出效率与显示效果。
可选地，所述由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像包括：由所述边缘云通过第一目标检测模型将所述待检测图像进行目标的位置检测，并根据位置检测结果提取所述目标，获得目标图像子块，将所述目标图像子块作为第二目标检测模型的输入图像，通过所述第二目标检测模型对所述目标图像子块进行处理，获得所述第二结果图像，其中，所述第一目标检测模型为YOLOv3-tiny模型，所述第二目标检测模型为B-CNN模型。
由此，细粒度分类包括识别图像中的目标并框选，使用B-CNN模型进一步识别目标的类别，保证识别的结果更为详细。
可选地，在移动端获取待检测图像，对所述待检测图像进行粗粒度分类之前，还包括：
获取训练图像；由所述训练图像构建数据集，所述数据集包括训练集、测试集和验证集，其中，所述数据集包括第一数据集和第二数据集，所述第一数据集包括第一训练集、第一测试集和第一验证集，所述第二数据集包括第二训练集、第二测试集和第二验证集；基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型，其中，所述第一目标检测模型进行所述粗粒度分类，所述第二目标检测模型进行所述细粒度分类。
由此，保证训练出的目标检测模型符合训练要求。
可选地，所述由所述训练图像构建数据集，所述数据集包括训练集、测试集和验证集包括：对所述训练图像进行目标类别标注、目标位置标注，将标注后的图像作为第一数据集的图像，其中，所述目标位置标注将待检测目标的位置用矩形框标注；对所述训练图像进行裁剪处理，获得图像子块，所述图像子块包含目标对象，将所述图像子块作为所述第二数据集的图像。
由此，保证训练目标与训练结果相匹配。
可选地，所述基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型包括：
基于所述第一训练集获得第一机器学习模型；基于所述第一测试集判断所述第一机器学习模型的检测情况是否满足第一预设要求，其中，所述第一预设要求包括所述第一机器学习模型的检测速度和检测正确率；若所述第一机器学习模型未满足所述第一预设要求，则判断所述第一机器学习模型的训练次数是否达到预设最大次数，若未达到所述预设最大次数，则再次训练预设次数，返回所述基于第一测试集判断所述第一机器学习模型的检测情况是否满足第一预设要求的步骤；基于所述第二训练集获得第二机器学习模型；基于所述第二测试集判断所述第二机器学习模型的检测情况是否满足第二预设要求，其中，所述第二预设要求包括所述第二机器学习模型的检测速度和检测正确率；若所述第二机器学习模型未满足所述第二预设要求，则判断所述第二机器学习模型的训练次数是否达到所述预设次数，若未达到所述预设次数，则再次训练预设次数后，返回执行所述基于第二测试集判断所述第二机器学习模型的检测情况是否满足第二预设要求的步骤。
由此，保证训练出的目标检测模型符合训练目标，且在训练次数达到预期时结束训练，可以有效地节约训练资源。
可选地，所述基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型还包括：
基于所述第一测试集或所述第二测试集的结果调整模型参数，获得符合预设检测速度区间和预设检测精度区间的目标检测模型。
由此，可以保证目标检测模型的检测速度与检测精度的平衡。
本发明还提供一种基于边端协同的目标检测系统，包括：移动端和边缘云；
由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果；
由所述移动端判断所述移动端和所述边缘云是否符合预设条件；
若是，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将所述第二分类结果或者所述第二结果图像发送给所述移动端，由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果。
所述基于边端协同的目标检测系统相对于现有技术与所述基于边端协同的目标检测方法所具有的优势相同，在此不再赘述
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的基于边缘协同的目标检测方法。
所述计算机可读存储介质相对于现有技术与所述基于边端协同的目标检测方法所具有的优势相同，在此不再赘述。
附图说明
图1为本发明基于边端协同的目标检测方法的一实施例流程图；
图2为本发明基于边端协同的目标检测方法的一实施例示意图；
图3为本发明基于边端协同的目标检测方法细化后的实施例流程图；
图4为本发明基于边端协同的目标检测方法细化后的实施例流程图；
图5为本发明基于边端协同的目标检测方法细化后的另一实施例流程图；
图6为本发明基于边端协同的目标检测方法的一实施例的框图；
图7为本发明基于边端协同的目标检测方法的一实施例的逻辑图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
本发明提出一种基于边端协同的目标检测方法。应用于基于边端协同的目标检测系统，所述基于边端协同的目标检测系统包括移动端和边缘云。
在本发明基于边端协同的目标检测方法一实施例中，如图1、图6和图7所示，所述基于边端协同的目标检测方法包括：
步骤S100，由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果。
通过监控摄像头、终端设备、移动设备的摄像头等录入设备获取图像。在一实施例中，使用移动终端的摄像头采集视频，从视频中截取图像帧供后续步骤处理。
本发明中的移动端包括移动终端等能够执行与无线接口上的传输有关的所有功能的终端装置，包括，方便移动的终端，例如可穿戴设备、手机、无线摄像头、智能显示器等终端设备。
本发明中的边缘云包括分布在网络边缘侧，提供实时数处理、分析决策的小规模云数据中心，可以部署在云端以获得最快的计算速度；也可以部署在移动端附近的处理中心，以获得最优的数据传输质量。
粗粒度分类为粗粒度目标检测，具体包括识别图像中的待检测目标的类别，包括坦克、人等目标类别，在一实施例中，粗粒度目标检测用于识别出图像中的坦克，首先从图像中划分感兴趣区域，由移动端对感兴趣区域内的图像子块进行粗粒度分类，识别出图像中的坦克，并对坦克作出标注，标注信息包括目标类别(即标注坦克)、目标位置，并使用矩形框框选出坦克的最小外接矩形。
机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。
可选地，目标位置的标注方式包括，以图像的左下角为原点，建立如图2所示的平面直角坐标系，将矩形框的几何中心记为所述目标的位置坐标。
由此，可以准确地统一各个目标的位置，不会因为目标的大小、形状不同而产生坐标标注不统一的情况。
在一实施例中，获取图像的流程是，通过可穿戴式设备的摄像头采集的视频截取的图像帧作为输入图像。
在边缘云和移动端之间的网络条件不佳、边缘云资源占用比例过高等无法快速处理待检测图像时，可以仅显示移动端输出的第一结果图像。
在一实施例中，一使用者在网络条件恶劣的环境下手持移动终端识别想要检测的目标，此时移动端无法与边缘云进行连接，故移动端的处理器在对待检测图像进行粗粒度目标检测后直接将第一结果图像输出至移动终端显示，解决了环境较差时移动端无法独立输出目标检测结果的问题。
步骤S200，由所述移动端判断所述移动端和所述边缘云是否符合预设条件。
在一些情况中，移动端所处的环境可能会比较恶劣，为了应对不同的情况，需根据不同的实际环境选择相应的检测手段检测。因为各种检测方案之间都有一个必须经过的处理过程，即对图像进行粗粒度分类，所以在获取图像后，先对图像进行粗粒度分类，获得粗粒度分类后的第一分类结果，然后再根据情况使用相应的方案。判断当前所处的情况需要一定时间，若获取图像后先判断当前的情况是否符合预设条件，在进行判断的时间段内，移动端处于空闲状态，会浪费此时移动端的计算力，降低了总体的计算效率，故先对图像进行粗粒度分类既可以保证移动端计算力的合理分配，又可以节省一定时间，提升效率。
可选地，所述预设条件包括以下至少一者：网络速度大于预设速度、网络延迟小于预设网络延迟、网络连接质量优于预设网络连接质量、边缘云资源占用情况小于预设比例。
移动端在将待检测图像传输至边缘云之前需要从三个方面判断网络环境，分别为移动端与边缘云之间的网络速度、延迟与网络连接质量，若移动端所处的网络环境较差，则会导致待检测图像的传输效率低下，若因为边缘云资源占用过高而无暇检测此图像中的目标，同样会影响目标检测的速度。此时为了快速获得第二分类结果，不传输待检测图像至边缘云，待检测图像由移动端独立处理和输出显示。
当移动端与边缘云之间满足网络速度大于网络速度阈值、网络延迟小于网络延迟阈值、网络连接质量优于网络连接质量阈值的一种或多种情况时，则表示移动端的网络环境比较好，可以快速、稳定地传输待检测图像，且在边缘云资源占用比较低时，边缘云有足够的计算力检测识别对图像中的目标，可以快速检测并获得结果图像，然后将检测结果传输回移动端显示，达到快速检测图像中目标类别的目的。
由于移动端所处的环境难以长期保证其传输质量的稳定性，当移动端与边缘云难以保持畅通连接时，移动端具有独立作业能力。
步骤S300，若所述移动端和所述边缘云符合预设条件，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将所述第二分类结果或者所述第二结果图像发送给所述移动端，由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果。
边缘云是分布在网络边缘侧，提供实时数据处理、分析决策的小规模数据中心，在一实施例中，包括异构的(CPU+GPU)边缘服务器。
细粒度分类为细粒度目标检测，具体包括识别图像中的待检测目标的类别的具体类别，例如识别出坦克的具体型号、识别图像中的人具体为男人还是女人等。
在一实施例中，若移动端和边缘云符合所述预设条件，即移动端的网络环境较好，且边缘云有足够的算力处理时，移动端将待检测图像传输至边缘云，由边缘云对待检测图像中的感兴趣区域进行细粒度分类，即对感兴趣区域进行细粒度目标检测，获得待检测目标的具体类别，记为第二分类结果，将包含第二分类结果第二分类结果的图像记为第二结果图像。
以包含坦克目标的待检测图像为例，当移动端和边缘云符合预设条件时，移动端将待检测图像传输至边缘云，通过边缘云对待检测图像进行细粒度目标检测，具体为，对待检测图像进行粗粒度分类，识别出图像中的坦克，然后框选出坦克的最小外接矩形并进行细粒度分类，识别出该坦克的具体型号，获得包含坦克具体型号的第二结果图像，第二分类结果包括所述坦克的具体型号。
可选地，在移动端将待检测图像传输至边缘云后，返回步骤S100，进行下一图像的粗粒度分类。为了合理利用移动端的硬件计算能力，将待检测图像传输至边缘云后，继续对下一个图像进行粗粒度目标检测，保证在相同时间段内提高移动端的处理效率。
当所述移动端和边缘云不符合预设条件时，表示此时移动端的网络状况较差，不能及时将图像传输至边缘云，或此时的边缘云资源占用比例过高，无法及时对待检测图像进行细粒度目标检测，此时移动端为了快速得出检测的结果，不发送待检测图像至边缘云，直接将步骤S100中获得的第一目标检测结果作为检测结果输出。可选地，将未发送至边缘云的待检测图像进行标记，在移动端和边缘云从不符合预设条件到预设条件时，判断此时的移动端的传输资源占用比例是否低于预设比例，若低于预设比例，则将所述标记的待检测图像传输至边缘云进行细粒度目标检测，获得细粒度目标检测结果。其中，移动端的传输资源占用比例低于预设比例时，表示此时的移动端可以在不影响正常工作的情况下传输图像，此时将之前未发送至边缘云进行细粒度目标检测的待检测图像传输至边缘云进行细粒度目标检测，保证可以合理利用移动端和边缘云空闲时的资源，尽可能地对所有图像进行细粒度目标检测，获得细粒度目标检测结果。
在一实施例中，将得出的第二分类以非图像的形式发送至移动端，例如，将待检测目标的具体类别以文本的形式发送至移动端，若第二分类结果包含多个待检测目标，则将待检测目标的坐标和具体类别分组，发送至移动端，叠加在相应的待检测图像或第一结果图像中显示。以非图像的形式传输，其文件容量较小，可以快速地传输回移动端，保证移动端可以快速地接收到边缘云的第二分类结果并显示在移动端，增加传输速率。
可选地，将包含第二分类结果的第二结果图像发送至移动端上显示。直接传输包含第二分类结果的图像可以保证数据在传输过程中的准确性，不会因为数据元素的分离而产生不准确的结果。
可选地，所述由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果包括：将所述第二分类结果映射在所述第一结果图像，得到映射图像，将所述映射图像作为所述第二目标检测结果。
可选地，所述由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像包括：由所述边缘云通过第一目标检测模型将所述待检测图像进行目标的位置检测，并根据位置检测结果提取所述目标，获得目标图像子块，将所述目标图像子块作为第二目标检测模型的输入图像，通过所述第二目标检测模型对所述目标图像子块进行处理，获得所述第二结果图像，其中，所述第一目标检测模型为YOLOv3-tiny模型，所述第二目标检测模型为B-CNN模型。
第一目标检测模型被布置在移动端，为轻量级的粗粒度目标检测模型，通过模型压缩量化，NPU推理加速，CPU多核多线程加速，来加速移动端的第一目标检测模型的运行，从而降低整体系统的推算时间，加快运行速度，以满足移动终端节点计算能力较弱且能耗要求较高的特点；部署在边缘云的第二目标检测模型包括YOLOV3-tiny算法与B-CNN算法(双线性卷积神经网络)，通过接受移动端传输过来的待检测图像，计算推理出目标对象的细粒度分类。由于边缘云相较于移动端有更加优秀的硬件设备，能够更好的进行运算处理，边缘云上直接运行细粒度分类算法，针对终端设备传输过来的待检测图像，能进行细粒度分类，并输出最终的分类结果，最终实现边端协同的目标检测功能。
在一实施例中，由移动端获取图像后，随即对待检测图像进行粗粒度分类，获得第一分类结果，然后对网络延迟、网络速度、网络连接质量、边缘云的资源占用情况判断是否进行细粒度分类，若可以进行细粒度分类，则将同一个待检测图像或已经进行粗粒度分类后的第一结果图像发送至边缘云进行细粒度分类。边缘云对接收到的图像使用YOLOv3-tiny模型进行初步的目标识别，并使用矩形框框选出目标的最小外接矩形，然后对框选出的部分进行裁剪，将裁剪后的图像使用B-CNN模型进行细粒度分类，然后得出第二分类结果。将第二分类结果返回发送至移动端以叠加显示，其中，叠加显示为在已显示的第一结果图像中加入第二检测结果的内容，使之共同显示在以待检测图像为最底层的图层上。
可选地，在步骤S100之前，如图3所示，还包括：
步骤S1，获取训练图像；
步骤S2，由所述训练图像构建数据集，所述数据集包括训练集、测试集和验证集，其中，所述数据集包括第一数据集和第二数据集，所述第一数据集包括第一训练集、第一测试集和第一验证集，所述第二数据集包括第二训练集、第二测试集和第二验证集；
步骤S3，基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型，其中，所述第一目标检测模型进行所述粗粒度分类，所述第二目标检测模型进行所述细粒度分类。
在对所述图像的感兴趣区域进行粗粒度分类之前，还包括对粗粒度分类和细粒度分类的算法的训练。
先获取训练图像，基于训练图像构建总的数据集，通过数据集里的图像进行分组，以优化算法，具体包括将数据集分为第一数据集和第二数据集，第一数据集和第二数据集所包含的图像允许有交集，即同一个图像可以既存在于第一数据集和第二数据集。同时，将第一数据集和第二数据集分别分为第一训练集、第一测试集、第一验证集、第二训练集、第二测试集和第二验证集。训练集用于对算法的训练；测试集用于测试算法的识别率和/或检测速度；验证集用于验证算法的检测精度，根据检测精度调整模型参数，获得符合要求的检测模型。
可选地，由所述训练图像构建数据集，所述数据集包括训练集、测试集和验证集包括：
对所述训练图像进行目标类别标注、目标位置标注，将标注后的图像作为第一数据集的图像，其中，所述目标位置标注将待检测目标的位置用矩形框标注；
对所述训练图像进行裁剪处理，获得图像子块，所述图像子块包含目标对象，将所述图像子块作为所述第二数据集的图像。
训练集包含对目标检测模型的训练图像，所述训练图像包含各自对应的目标检测模型所需要训练的内容标注，例如，第一目标检测模型所要达到的目标是检测出图像中包含的目标的类别、使用矩形框框选目标所在的位置并标记，故第一数据集的标注包括目标类别标注、目标位置标注；而第二目标检测模型所要达到的目标是检测出图像中包含的目标的具体类别，故第二数据集的标注包括对所述训练图像进行处理，获得只包含目标对象的图像子块。其中，只包含目标对象的图像子块为矩形框内的图像子块，其用于减少第二目标检测模型的计算量，提高检测精度。
可选地，如图4和图5所示，所述基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型包括：
步骤S41，基于所述第一训练集获得第一机器学习模型；
步骤S51，基于所述第一测试集判断所述第一机器学习模型的检测情况是否满足第一预设要求，其中，所述第一预设要求包括所述第一机器学习模型的检测速度和检测正确率；
步骤S61，若所述第一机器学习模型未满足所述第一预设要求，则判断所述第一机器学习模型的训练次数是否达到预设最大次数，若未达到所述预设最大次数，则再次训练预设次数，返回所述基于第一测试集判断所述第一机器学习模型的检测情况是否满足第一预设要求的步骤；
步骤S42，基于所述第二训练集获得第二机器学习模型；
步骤S52，基于所述第二测试集判断所述第二机器学习模型的检测情况是否满足第二预设要求，其中，所述第二预设要求包括所述第二机器学习模型的检测速度和检测正确率；
步骤S62，若所述第二机器学习模型未满足所述第二预设要求，则判断所述第二机器学习模型的训练次数是否达到所述预设次数，若未达到所述预设次数，则再次训练预设次数后，返回执行所述基于第二测试集判断所述第二机器学习模型的检测情况是否满足第二预设要求的步骤。
训练图像的具体步骤为，第一步，加载初始的第一目标检测模型，根据经验预设训练次数，选择第一训练集中的图像输入第一目标检测模型进行训练，在训练模型时，先对模型进行前向传播获取预测值，再进行反向传播并更新变量，获得训练后的第一目标检测模型。第二目标检测模型训练的第一步同第一目标检测模型，此处不再赘述。
第二步，通过第一测试集测试训练后的第一目标检测模型的识别率以及检测速度，判断是否达到训练目标，若达到目标，则结束训练；通过第二测试集测试训练后的第二目标检测模型的识别率，判断是否达到训练目标，若达到目标，则结束训练；
第三步，若未达到目标，则判断是否达到训练次数，若达到目标，则结束训练，若未达到目标，则再次训练预设次数后，返回执行所述基于第一测试集判断所述第一机器学习模型的检测情况是否满足第一预设要求的步骤，直到满足上述之一的训练目标，结束训练。第二目标检测模型训练的第三步同第一目标检测模型，此处不再赘述。
可选地，预设次数根据经验设定。
可选地，所述基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型还包括：
基于所述第一测试集或所述第二测试集的结果调整模型参数，获得符合预设检测速度区间和预设检测精度区间的目标检测模型。此处的目标检测模型即第一目标检测模型和第二目标检测模型。
本发明还提供一种基于边端协同的目标检测系统，包括：移动端和边缘云；
由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果；
由所述移动端判断所述移动端和所述边缘云是否符合预设条件；
若是，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将所述第二分类结果或者所述第二结果图像发送给所述移动端，由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果。
所述基于边端协同的目标检测系统相对于现有技术与所述基于边端协同的目标检测方法所具有的优势相同，在此不再赘述。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如上所述的基于边缘协同的目标检测方法。
所述计算机可读存储介质相对于现有技术与所述基于边端协同的目标检测方法所具有的优势相同，在此不再赘述。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种基于边端协同的目标检测方法，其特征在于，应用于基于边端协同的目标检测系统，所述基于边端协同的目标检测系统包括移动端和边缘云，包括：
由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果；
由所述移动端判断所述移动端和所述边缘云是否符合预设条件；
若是，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将所述第二分类结果或者所述第二结果图像发送给所述移动端，由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果。
2.根据权利要求1所述的基于边端协同的目标检测方法，其特征在于，所述预设条件包括以下至少一者：网络速度大于预设速度、网络延迟小于预设网络延迟、网络连接质量优于预设网络连接质量、边缘云资源占用情况小于预设比例。
3.根据权利要求2所述的基于边端协同的目标检测方法，其特征在于，所述由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果包括：
将所述第二分类结果映射在所述第一结果图像，得到映射图像，将所述映射图像作为所述第二目标检测结果。
4.根据权利要求3所述的基于边端协同的目标检测方法，其特征在于，所述由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像包括：
由所述边缘云通过第一目标检测模型将所述待检测图像进行目标的位置检测，并根据位置检测结果提取所述目标，获得目标图像子块，将所述目标图像子块作为第二目标检测模型的输入图像，通过所述第二目标检测模型对所述目标图像子块进行处理，获得所述第二结果图像，其中，所述第一目标检测模型为YOLOv3-tiny模型，所述第二目标检测模型为B-CNN模型。
5.根据权利要求4所述的基于边端协同的目标检测方法，其特征在于，在所述由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类之前，还包括：
获取训练图像；
由所述训练图像构建数据集，所述数据集包括训练集、测试集和验证集，其中，所述数据集包括第一数据集和第二数据集，所述第一数据集包括第一训练集、第一测试集和第一验证集，所述第二数据集包括第二训练集、第二测试集和第二验证集；
基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型，其中，所述第一目标检测模型用于进行所述粗粒度分类，所述第二目标检测模型用于进行所述细粒度分类。
6.根据权利要求5所述的基于边端协同的目标检测方法，其特征在于，所述由所述训练图像构建数据集包括：
对所述训练图像进行目标类别标注、目标位置标注，将标注后的图像作为所述第一数据集的图像，其中，所述目标位置标注将待检测目标的位置用矩形框标注；
对所述训练图像进行裁剪处理，获得图像子块，所述图像子块包含目标对象，将所述图像子块作为所述第二数据集的图像。
7.根据权利要求5所述的基于边端协同的目标检测方法，其特征在于，所述基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型包括：
基于所述第一训练集获得第一机器学习模型；
基于所述第一测试集判断所述第一机器学习模型的检测情况是否满足第一预设要求，其中，所述第一预设要求包括所述第一机器学习模型的检测速度和检测正确率；
若所述第一机器学习模型未满足所述第一预设要求，则判断所述第一机器学习模型的训练次数是否达到预设最大次数，若未达到所述预设最大次数，则再次训练预设次数后，返回执行所述基于第一测试集判断所述第一机器学习模型的检测情况是否满足第一预设要求的步骤；
基于所述第二训练集获得第二机器学习模型；
基于所述第二测试集判断所述第二机器学习模型的检测情况是否满足第二预设要求，其中，所述第二预设要求包括所述第二机器学习模型的检测速度和检测正确率；
若所述第二机器学习模型未满足所述第二预设要求，则判断所述第二机器学习模型的训练次数是否达到所述预设次数，若未达到所述预设次数，则再次训练预设次数后，返回执行所述基于第二测试集判断所述第二机器学习模型的检测情况是否满足第二预设要求的步骤。
8.根据权利要求5所述的基于边端协同的目标检测方法，其特征在于，所述基于所述第一数据集和所述第二数据集分别获得第一目标检测模型和第二目标检测模型还包括：
基于所述第一测试集或所述第二测试集的结果调整模型参数，获得符合预设检测速度区间和预设检测精度区间的目标检测模型。
9.一种基于边端协同的目标检测系统，其特征在于，包括：移动端和边缘云；
由所述移动端获取待检测图像，对所述待检测图像进行粗粒度分类，获得包含第一分类结果的第一结果图像，将所述第一分类结果或所述第一结果图像作为第一目标检测结果；
由所述移动端判断所述移动端和所述边缘云是否符合预设条件；
若是，则由所述移动端将所述待检测图像发送给所述边缘云，由所述边缘云将所述待检测图像进行细粒度分类，获得包含第二分类结果的第二结果图像，将所述第二分类结果或者所述第二结果图像发送给所述移动端，由所述移动端基于所述第二分类结果或者所述第二结果图像获得第二目标检测结果。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器读取并运行时，实现如权利要求1-8任一项所述的基于边缘协同的目标检测方法。
CN202110246508.XA 2021-03-05 2021-03-05 一种基于边端协同的目标检测方法、系统及存储介质 Pending CN112966608A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110246508.XA CN112966608A (zh) 2021-03-05 2021-03-05 一种基于边端协同的目标检测方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110246508.XA CN112966608A (zh) 2021-03-05 2021-03-05 一种基于边端协同的目标检测方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN112966608A true CN112966608A (zh) 2021-06-15

Family

ID=76276709

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110246508.XA Pending CN112966608A (zh) 2021-03-05 2021-03-05 一种基于边端协同的目标检测方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN112966608A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887330A (zh) * 2021-09-10 2022-01-04 国网吉林省电力有限公司 一种基于遥感图像的目标检测系统
CN114127814A (zh) * 2021-06-25 2022-03-01 商汤国际私人有限公司 场景检测方法及装置、电子设备、计算机存储介质
WO2022096959A1 (en) * 2021-06-25 2022-05-12 Sensetime International Pte. Ltd. Scene detection method and apparatus, electronic device and computer storage medium
CN115345907A (zh) * 2022-10-18 2022-11-15 广东电网有限责任公司中山供电局 一种基于边缘计算的目标动态跟踪装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110167474A1 (en) * 2008-07-24 2011-07-07 Zscaler, Inc. Systems and methods for mobile application security classification and enforcement
CN106682590A (zh) * 2016-12-07 2017-05-17 浙江宇视科技有限公司 一种监控业务的处理方法以及服务器
CN107277011A (zh) * 2017-06-16 2017-10-20 深圳市盛路物联通讯技术有限公司 终端设备的数据分类方法及装置
CN108257667A (zh) * 2016-12-28 2018-07-06 中国科学院深圳先进技术研究院 一种数据处理方法及终端设备
CN109086792A (zh) * 2018-06-26 2018-12-25 上海理工大学 基于检测和识别网络架构的细粒度图像分类方法
CN111027605A (zh) * 2019-11-28 2020-04-17 北京影谱科技股份有限公司 基于深度学习的细粒度图像识别方法和装置
CN111464583A (zh) * 2019-01-22 2020-07-28 阿里巴巴集团控股有限公司 计算资源分配方法、装置、服务器及存储介质
CN111784685A (zh) * 2020-07-17 2020-10-16 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
CN112347875A (zh) * 2020-10-26 2021-02-09 清华大学 基于区域划分的边缘协同目标检测方法及装置
CN112419401A (zh) * 2020-11-23 2021-02-26 上海交通大学 一种基于云边协同与深度学习的飞机表面缺陷检测系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110167474A1 (en) * 2008-07-24 2011-07-07 Zscaler, Inc. Systems and methods for mobile application security classification and enforcement
CN106682590A (zh) * 2016-12-07 2017-05-17 浙江宇视科技有限公司 一种监控业务的处理方法以及服务器
CN108257667A (zh) * 2016-12-28 2018-07-06 中国科学院深圳先进技术研究院 一种数据处理方法及终端设备
CN107277011A (zh) * 2017-06-16 2017-10-20 深圳市盛路物联通讯技术有限公司 终端设备的数据分类方法及装置
CN109086792A (zh) * 2018-06-26 2018-12-25 上海理工大学 基于检测和识别网络架构的细粒度图像分类方法
CN111464583A (zh) * 2019-01-22 2020-07-28 阿里巴巴集团控股有限公司 计算资源分配方法、装置、服务器及存储介质
CN111027605A (zh) * 2019-11-28 2020-04-17 北京影谱科技股份有限公司 基于深度学习的细粒度图像识别方法和装置
CN111784685A (zh) * 2020-07-17 2020-10-16 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
CN112347875A (zh) * 2020-10-26 2021-02-09 清华大学 基于区域划分的边缘协同目标检测方法及装置
CN112419401A (zh) * 2020-11-23 2021-02-26 上海交通大学 一种基于云边协同与深度学习的飞机表面缺陷检测系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114127814A (zh) * 2021-06-25 2022-03-01 商汤国际私人有限公司 场景检测方法及装置、电子设备、计算机存储介质
WO2022096959A1 (en) * 2021-06-25 2022-05-12 Sensetime International Pte. Ltd. Scene detection method and apparatus, electronic device and computer storage medium
AU2021204550A1 (en) * 2021-06-25 2023-01-19 Sensetime International Pte. Ltd. Scene detection method and apparatus, electronic device and computer storage medium
CN114127814B (zh) * 2021-06-25 2023-06-20 商汤国际私人有限公司 场景检测方法及装置、电子设备、计算机存储介质
CN113887330A (zh) * 2021-09-10 2022-01-04 国网吉林省电力有限公司 一种基于遥感图像的目标检测系统
CN115345907A (zh) * 2022-10-18 2022-11-15 广东电网有限责任公司中山供电局 一种基于边缘计算的目标动态跟踪装置

Similar Documents

Publication Publication Date Title
CN112966608A (zh) 一种基于边端协同的目标检测方法、系统及存储介质
CN111260665B (zh) 图像分割模型训练方法和装置
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
CN108197618B (zh) 用于生成人脸检测模型的方法和装置
CN112162863B (zh) 一种边缘卸载决策方法、终端及可读存储介质
CN112183482A (zh) 危险驾驶行为识别方法、装置、系统及可读存储介质
CN109934077B (zh) 一种图像识别方法和电子设备
US10769808B2 (en) Apparatus and methods of automated tracking and counting of objects on a resource-constrained device
CN110059623B (zh) 用于生成信息的方法和装置
CN113642474A (zh) 一种基于yolov5的危险区域人员监控方法
CN111104988A (zh) 图像识别方法及相关装置
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN108764051A (zh) 图像处理方法、装置及移动终端
CN115205925A (zh) 表情系数确定方法、装置、电子设备及存储介质
CN114842185A (zh) 用于火灾的目标识别方法、装置、设备及介质
CN114612011A (zh) 一种风险防控决策方法及装置
CN111126209A (zh) 车道线检测方法及相关设备
CN111985439A (zh) 人脸检测方法、装置、设备和存储介质
CN109978058A (zh) 确定图像分类的方法、装置、终端及存储介质
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
US8913838B2 (en) Visual information processing allocation between a mobile device and a network
EP4318314A1 (en) Image acquisition model training method and apparatus, image detection method and apparatus, and device
CN115359322A (zh) 一种目标检测模型训练方法、装置、设备和存储介质
CN111461971B (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN109087280A (zh) 连铸坯质量检测方法、装置、控制设备、服务器及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210615

RJ01 Rejection of invention patent application after publication