CN116935152A - 目标检测方法和装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种目标检测方法和装置、电子设备及存储介质，属于人工智能技术领域，包括：边缘节点获取多个样本图像，然后通过部署模型对各个样本图像进行推理，得到难例样本，将难例样本发送给云端；云端根据难例样本对初始模型进行增量训练，得到样本模型，进行评估，将评估结果满足预设条件的样本模型发送给边缘节点；边缘节点根据样本模型对部署模型进行更新，将更新后的部署模型作为训练好的目标检测模型；边缘节点获取待检测图像，将待检测图像输入目标检测模型，得到目标检测结果。本申请通过云边协同自动对目标检测模型进行训练，充分利用云端的计算、存储能力，能够及时根据生成的样本图像进行训练学习，进一步提高了目标检测的精度。

Description

目标检测方法和装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种目标检测方法和装置、电子设备及存储介质。

背景技术

目标检测是图像检测的一个重要组成部分，目标检测的任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小。由于同一物体也可能有不同的外观、形状，加上成像设备老化、气候变化、外物遮挡等因素的干扰，成像设备生成的图像中的目标数据一直在变化。

相关技术中，目标检测方法通过手动收集当前环境下新生成的图像以进行训练学习，提高目标检测效果，然而该方法浪费了大量的人力资源，难以及时进行训练学习，影响目标检测的准确性，因此，如何提高目标检测的准确性，成为了亟待解决的技术问题。

发明内容

本申请实施例的主要目的在于提出一种目标检测方法和装置、电子设备及存储介质，旨在提高目标检测的准确性。

为实现上述目的，本申请实施例的第一方面提出了一种目标检测方法，应用于云边协同系统，所述云边协同系统包括边缘节点和云端，所述方法包括：

由所述边缘节点获取多个样本图像；

由所述边缘节点通过预先设置的部署模型对各个所述样本图像进行推理，得到难例样本，并将所述难例样本发送给云端；

由所述云端根据所述难例样本对预先设置的初始模型进行增量训练，得到样本模型；

由所述云端对所述样本模型进行评估，并将评估结果满足预设条件的所述样本模型发送给所述边缘节点；

由所述边缘节点根据所述样本模型对所述部署模型进行更新处理，并将更新后的所述部署模型作为训练好的目标检测模型；

由所述边缘节点获取待检测图像，并将所述待检测图像输入至所述目标检测模型，得到目标检测结果。

在一些实施例，所述由所述边缘节点通过预先设置的部署模型对各个所述样本图像进行推理，得到难例样本，包括：

对于每个所述样本图像，由所述边缘节点通过预先设置的部署模型对所述样本图像进行推理，得到至少一个预测框和所述预测框对应的置信度；

根据所述预测框和与所述预测框对应的置信度，计算所述样本图像的难例系数；

当所述难例系数大于预设的难例阈值时，确定所述样本图像为难例样本。

在一些实施例，在将所述难例样本发送给云端之后，所述方法还包括：

由所述云端对接收到的所述难例样本进行统计，得到所述难例样本的数量；

当所述难例样本的数量大于或等于预设的数量阈值时，触发获取预先设置的所述初始模型以对所述初始模型进行增量训练。

在一些实施例，所述由所述云端根据所述难例样本对预先设置的初始模型进行增量训练，得到样本模型，包括：

获取各个所述难例样本对应的标注数据；

根据多个所述难例样本和所述难例样本对应的标注数据确定难例集；

根据预设的训练比例从所述难例集提取得到训练样本集；

将所述训练样本集中各个训练样本分别输入所述初始模型，得到各个训练样本对应的第一样本检测结果；

根据各个训练样本对应的所述标注数据和所述第一样本检测结果，优化所述初始模型的参数，得到样本模型。

在一些实施例，所述由所述云端对所述样本模型进行评估，并将评估结果满足预设条件的所述样本模型发送给所述边缘节点，包括：

将所述难例集中存在于所述训练样本集的难例样本剔除，得到评估样本集；

将所述评估样本集中各个评估样本分别输入所述样本模型，得到各个评估样本对应的第二样本检测结果；

根据各个评估样本对应的所述标注数据和所述第二样本检测结果，确定所述样本模型的评估准确率；

当所述评估准确率大于或等于预设的准确率阈值时，将所述样本模型发送给所述边缘节点。

在一些实施例，所述由所述边缘节点获取多个样本图像之前，所述方法还包括：

由所述云端获取目标检测模型；

由所述云端将所述目标检测模型进行格式转换，分别得到第一格式的所述目标检测模型和第二格式的所述目标检测模型，并将所述第一格式的目标检测模型作为初始模型，将所述第二格式的目标检测模型作为部署模型；

由所述云端将第一格式的所述目标检测模型作为初始模型，并设置所述初始模型的训练参数，其中，所述训练参数至少包括以下之一：数量阈值、训练比例、准确率阈值；

由所述云端将第二格式的所述目标检测模型作为部署模型，并将所述部署模型发送给所述边缘节点。

在一些实施例，所述由所述云端根据所述难例样本对预先设置的初始模型进行增量训练，得到样本模型之后，所述方法还包括：

由所述云端将所述样本模型由第一格式转为第二格式，并对第二格式的所述样本模型进行评估，以将满足预设条件的所述样本模型发送给所述边缘节点。

为实现上述目的，本申请实施例的第二方面提出了一种目标检测装置，应用于所述云边协同系统，所述云边协同系统包括边缘节点和云端，所述目标检测装置分别与所述边缘节点和所述云端连接，所述装置包括：

图像采集模块，用于控制所述边缘节点获取多个样本图像；

边缘推理模块，用于控制所述边缘节点通过预先设置的部署模型对各个所述样本图像进行推理，得到难例样本，并将所述难例样本发送给云端；

增量训练模块，用于控制所述云端根据所述难例样本对预先设置的初始模型进行增量训练，得到样本模型；

模型评估模块，用于控制所述云端对所述样本模型进行评估，并将评估结果满足预设条件的所述样本模型发送给所述边缘节点；

模型更新模块，用于控制所述边缘节点根据所述样本模型对所述部署模型进行更新处理，并将更新后的所述部署模型作为训练好的目标检测模型；

目标检测模块，用于控制所述边缘节点获取待检测图像，并将所述待检测图像输入至所述目标检测模型，得到目标检测结果。

为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

本申请提出的目标检测方法和装置、电子设备及存储介质,其应用于云边协同系统，该方法通过云边协同系统中的边缘节点和云端实现，首先由边缘节点获取多个样本图像，并通过预先设置的部署模型对样本图像进行推理，得到难例样本，将难例样本发送给云端，其次，由云端根据难例样本对预先设置的初始模型进行增量训练，得到样本模型，然后对样本模型进行评估，并将评估结果满足预设条件的样本模型发送给边缘节点，然后，边缘节点根据样本模型对部署模型进行更新处理，更新后的部署模型即为训练好的目标检测模型，最后，由边缘节点获取待检测图像，并将待检测图像输入至目标检测模型，得到目标检测结果。本申请实施例通过云边协同的方式自动对目标检测模型进行训练、评估和更新，并在边缘节点对训练好的目标检测模型进行应用，其充分利用了云端的计算能力和存储能力，能够及时根据新生成的样本图像进行训练学习，缩短了目标检测模型的更新周期，进一步提高了目标检测的精度。

附图说明

图1是本申请实施例提供的目标检测方法的主要流程图；

图2是本申请实施例提供的目标检测方法的边缘推理的流程图；

图3是本申请实施例提供的目标检测方法的触发增量训练的流程图；

图4是本申请实施例提供的目标检测方法的增量训练的流程图；

图5是本申请实施例提供的目标检测方法的模型评估的流程图；

图6是本申请实施例提供的目标检测方法的模型部署的流程图；

图7是本申请实施例提供的目标检测方法的格式转换的流程图；

图8是本申请实施例提供的云边协同系统的结构示意图；

图9是本申请实施例提供的目标检测装置的结构示意图；

图10是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

首先，对本申请中涉及的若干名词进行解析：

人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用装置的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家装置等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

云边协同(Cloud edge collaboration)即实现边缘计算与云计算的协同联动，共同释放数据价值。传统的云边协同方式主要是当终端设备产生数据或任务请求后，通过边缘网络将数据上传至边缘服务器，由位于边缘计算中心的边缘服务器执行计算任务。计算量较大、复杂度较高的计算任务将由边缘计算中心向上通过核心网迁移至云计算中心，待云计算中心完成大数据分析后再将结果和数据存储至云计算中心或将计算结果、优化输出的业务规则、模型通过核心网下发至边缘计算中心，由边缘计算中心向下通过边缘网络将计算结果传输至终端设备，边缘计算根据云计算下发的新业务规则进行业务执行和优化处理，由此实现云边协同。

目标检测(Object Detection)：属于图像检测的一个重要组成部分,其主要任务是找出图像中所有感兴趣的目标(物体)，确定它们的位置和大小。由于各类物体有不同的外观，形状，姿态，加上成像时光照，遮挡等因素的干扰，目标检测一直是机器视觉领域最具有挑战性的问题。目标检测广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域；同时目标检测也是许多视觉任务需要的一个前序算法，对后续的人脸识别、步态识别、人群计数、实例分割等任务起着至关重要的作用。

相关技术中，目标检测方法通过手动收集当前环境下新生成的图像以进行训练学习，提高目标检测效果，然而该方法浪费了大量的人力资源，难以及时进行训练学习，影响目标检测的准确性，因此，如何提高目标检测的准确性，成为了亟待解决的技术问题。

基于此，本申请实施例提供了一种目标检测方法和装置、电子设备及存储介质，旨在提高目标检测的准确性。

本申请实施例提供的目标检测方法和装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的目标检测方法。

本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用装置。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互装置、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请可用于众多通用或专用的计算机装置环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器装置、基于微处理器的装置、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何装置或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的用户相关数据。

图1是本申请实施例提供的目标检测方法的主要流程图，图1中的方法可以包括但不限于包括步骤S100至步骤S600。

步骤S100、由边缘节点获取多个样本图像。

步骤S200、由边缘节点通过预先设置的部署模型对各个样本图像进行推理，得到难例样本，并将难例样本发送给云端。

步骤S300、由云端根据难例样本对预先设置的初始模型进行增量训练，得到样本模型。

步骤S400、由云端对样本模型进行评估，并将评估结果满足预设条件的样本模型发送给边缘节点。

步骤S500、由边缘节点根据样本模型对部署模型进行更新处理，并将更新后的部署模型作为训练好的目标检测模型。

步骤S600、由边缘节点获取待检测图像，并将待检测图像输入至目标检测模型，得到目标检测结果。

需要说明的是，本申请实施例提供的目标检测方法应用于云边协同系统，云边协同系统包括边缘节点和云端。

本申请实施例所示意的步骤S100至步骤S600，首先由边缘节点获取多个样本图像，并通过预先设置的部署模型对样本图像进行推理，得到难例样本，将难例样本发送给云端，其次，由云端根据难例样本对预先设置的初始模型进行增量训练，得到样本模型，然后对样本模型进行评估，并将评估结果满足预设条件的样本模型发送给边缘节点，然后，边缘节点根据样本模型对部署模型进行更新处理，更新后的部署模型即为训练好的目标检测模型，最后，由边缘节点获取待检测图像，并将待检测图像输入至目标检测模型，得到目标检测结果。本申请实施例通过云边协同的方式自动对目标检测模型进行训练、评估和更新，并在边缘节点对训练好的目标检测模型进行应用，其充分利用了云端的计算能力和存储能力，能够及时根据新生成的样本图像进行训练学习，该过程不占用人工时间，缩短了目标检测模型的更新周期，进一步提高了目标检测的精度。

在一些实施例的步骤S100中，边缘节点可根据相机、摄像头等装置获取样本图像，也可以通过对视频的截取获取样本图像，通过获取多个样本图像，能够为后续目标检测模型的训练提供丰富的样本素材。

在一些实施例的步骤S200中，部署模型为未经训练的目标检测模型，边缘计算接近终端用户且地理位置分散，可以支持低时延、位置感知、高移动性和高QoS的应用服务，因此将部署模型部署在边缘节点，将样本图像输入部署模型，由于外界环境因素等影响，部分样本图像存在难以检测到正确目标的情况，将这些样图像作为难例样本并发送给云端，以进行增量训练，使得最终得到的训练好的目标检测模型能够识别难例样本，提高目标检测模型的检测精度。

在一些实施例的步骤S300中，云计算技术以廉价且大量的计算服务器提供了强大的计算能力，可以为用户和应用提供按需访问的丰富计算资源和存储资源，因此将初始模型部署在云端并由云端对初始模型进行增量训练，增量训练又称为增量学习，增量训练是指一个学习系统能不断地从新样本中学习新的知识，并能保存大部分以前已经学习到的知识，因此，通过增量训练得到的模型在能够检测难例样本的同时，还能够对已有的其他样本图像进行目标检测。

在一些实施例的步骤S400中，由云端对样本模型进行评估，当评估结果满足预设要求，即样本模型的评估效果满足预设要求时，将样本模型发送给边缘节点，评估是对对增量训练得到的样本模型进行性能评估，样本模型的评估结果满足要求，那么最终得到的目标检测模型能够实现对难例样本的检测，其目标检测能力得到提升。

在一些实施例的步骤S500中，在边缘节点，根据样本模型对部署模型进行更新处理，使得更新后的部署模型为满足评估预设要求的样本模型，并将更新后的部署模型作为训练好的目标检测模型，使得部署模型能够进行目标检测，缩短了模型的更新周期，进一步提高了目标检测模型的检测精度。

在一些实施例的步骤S600中，边缘节点获取待检测图像，并将待检测图像输入至目标检测模型，得到目标检测结果，该过程是对训练好的目标检测模型的应用，经上述训练后，边缘节点对待检测图像进行目标检测，得到的目标检测结果更加精确。

需要说明的是，边缘计算是指在更接近数据生成的位置来处理、分析和存储数据，从而实现快捷且近乎实时的分析和响应，云原生的理念是指将云上资源利用率充分提升，利用分布式系统的弹性扩展与可靠性等能力，能够让系统最大程度的享受云计算红利。而云边协同即实现边缘计算与云计算的协同联动，共同释放数据价值。计算量较大、复杂度较高的计算任务将由边缘节点向上通过核心网迁移至云端，待云端完成大数据分析后再将结果和数据存储至云端或将计算结果、优化输出的业务规则、模型通过核心网下发至边缘节点，由边缘节点向下通过边缘网络将计算结果传输至终端设备，边缘计算根据云计算下发的新业务规则进行业务执行和优化处理，由此实现云边协同。云边协同实现了资源、管理和应用服务3个领域的全面协同。

需要说明的是，参照图8，图8是本申请实施例提供的云边协同系统的结构示意图。云边协同系统包括一个或多个云端节点、多个边缘端节点，它们组成一个集群。数据在边缘节点持续生成，云端持续监控新生成的数据，并通过配置一些触发规则来确定是否自动开始训练、评估和部署，并不断提高模型性能。本申请实施例提供的目标检测方法通过云端持续监控新生成的样本图像，并通过配置训练参数来确定是否自动开始训练、评估和部署，不断提高模型性能，边缘节点处的部署模型为训练好的目标检测模型，该目标检测模型可以配置给用户，用户通过对目标检测模型的应用能够实现目标检测并进一步提高目标检测精度。

请参阅图2，在一些实施例中，步骤S200可以包括但不限于包括步骤S210至步骤S230：

步骤S210，对于每个样本图像，由边缘节点通过预先设置的部署模型对样本图像进行推理，得到至少一个预测框和预测框对应的置信度。

步骤S220，根据预测框和与预测框对应的置信度，计算样本图像的难例系数。

步骤S230，当难例系数大于预设的难例阈值时，确定样本图像为难例样本。

在一些实施例的步骤S210中，目标检测的过程是将样本图像中的待检测目标通过预测框进行标注，因此，能将样本图像输入边缘节点预先设置的部署模型进行目标检测，能够得到至少一个预测框和预测框对应的置信度。

需要说明的是，置信度用于表征预测框的可信程度，取值范围为0至1，置信度的值越大说明预测框中越可能存在待检测目标。

在一些实施例的步骤S220中，计算一张样本图像中推理结果的置信度小于预设框阈值的数量占总预测框的比例，得到样本图像的难例系数。

在一些实施例的步骤S230中，比较样本图像的难例系数和预设的难例阈值，当难例系数大于预设的难例阈值时，样本图像为难例样本。

需要说明的是，本申请实施例选出难例的原理是：设置box_threshold(框阈值)和img_threshold(难例阈值)，其中，box_threshold用于计算样本图片的难例系数，即推理结果的置信度得分小于阈值的数量占总输出预测框的百分比；img_threshold用于判断该样本图片是否是难例，难例系数大于该阈值都认为是难例样本。输入预测框列表，例如[bbox1,bbox2,bbox3,....]，bbox代表预测框，其中，bbox＝[x1,y1,x2,y2,score,label]，x1,y1,x2,y2用来表示预测框的坐标，score表示预测框对应的推理置信度得分，label表示预测框对应的标签，score取值范围为0至1。输出的结果为True或者False，其中，True是难例样本，False是非难例样本。

在一实施例中，假设box_threshold设置为0.9，img_threshold为0.6，对样本图像进行推理后有10个预测框，即预测框列表有10个元素，其中8个元素的置信度都小于0.9，那么该样本图像的难例系数为8/10＝0.8，而该样本图像的难例系数大于难例阈值0.6，因此，该样本图像被认为是难例样本。

需要说明的是，通过边缘节点的部署模型对样本图像进行目标检测，得到至少一个预测框和与预测框对应的置信度，并据此计算该样本图像的难例系数，最后通过对比难例系数和预设的难例阈值，判断样本图像是否为难例，部署模型对能够区分的样本图像直接输出，而将难以区分的图像作为后续模型训练的样本数据，使得训练好的目标检测模型能够区分难例样本，提高模型的检测精度，从而提高目标检测的精度。

请参阅图3，在一些实施例中，步骤S200与步骤S300之间可以包括但不限于包括步骤S710至步骤S720：

步骤S710，由云端对接收到的难例样本进行统计，得到难例样本的数量。

步骤S720，当难例样本的数量大于或等于预设的数量阈值时，触发获取预先设置的初始模型以对初始模型进行增量训练。

在一些实施例的步骤S710中，由于模型训练需要一定数量的样本，通过云端对接收到的难例样本进行统计，能够得到难例样本的数量，便于为后续的模型训练提供相应数量的难例样本。

在一些实施例的步骤S720中，用户可预先设置数量阈值，当难例样本的数量大于或等于数量阈值时，触发获取预先设置的初始模型进行增量训练。

需要说明的是，本申请实施例通过调用tensorflow函数对初始模型进行增量训练。

需要说明的是，本申请实施例通过云端监测其接收到的难例样本的数量，当难例样本的数量大于或等于数量阈值时，触发初始模型进行增量训练，为后续的增量训练提供了充分的样本，使得训练好的目标检测模型的适用范围更广。

请参阅图4，在一些实施例中，步骤S300可以包括但不限于包括步骤S310至步骤S350：

步骤S310，获取各个难例样本对应的标注数据。

步骤S320，根据多个难例样本和难例样本对应的标注数据确定难例集。

步骤S330，根据预设的训练比例从难例集提取得到训练样本集。

步骤S340，将训练样本集中各个训练样本分别输入初始模型，得到各个训练样本对应的第一样本检测结果。

步骤S350，根据各个训练样本对应的标注数据和第一样本检测结果，优化初始模型的参数，得到样本模型。

在一些实施例的步骤S310中，难例样本对应的标注数据为对难例样本中的待检测目标进行标注后得到的图像，或者，标注数据为进行目标检测后得到的至少一个预测框和对应的置信度，而其置信度都为1。

在一些实施例的步骤S320中，将多个难例样本和难例样本对应的标注数据作为难例集，便于后续模型的训练和评估。

在一些实施例的步骤S330中，难例集中包括云端接收到的所有难例样本，将难例集中的难例样本的数量与预设的训练比例相乘，并在难例集中选取与相乘结果对应数量的难例样本作为训练样本集。

在一些实施例的步骤S340中，将训练样本集中各个训练样本分别输入初始模型，得到各个训练样本对应的第一样本检测结果，偏于通过第一样本检测结果反向优化初始模型的参数。

在一些实施例的步骤S350中，根据各个训练样本对应的标注数据和第一样本检测结果，优化初始模型的参数，并将参数优化后的初始模型作为样本模型。

需要说明的是，在难例集中选取预设训练比例的难例样本作为训练样本集，通过训练样本集对云端预先设置的初始模型进行训练，以优化初始模型的参数，得到样本模型，使得样本模型能够对难例样本进行区分，从而提高目标检测模型的检测能力。

请参阅图5，在一些实施例中，步骤S400还可以包括但不限于包括步骤S410至步骤S440：

步骤S410，将难例集中存在于训练样本集的难例样本剔除，得到评估样本集。

步骤S420，将评估样本集中各个评估样本分别输入样本模型，得到各个评估样本对应的第二样本检测结果。

步骤S430，根据各个评估样本对应的标注数据和第二样本检测结果，确定样本模型的评估准确率。

步骤S440，当评估准确率大于或等于预设的准确率阈值时，将样本模型发送给边缘节点。

在一些实施例的步骤S410中，难例集中的难例样本可用于增量训练和评估，将难例集中的训练样本集对应的难例样本进行剔除，得到评估结果，避免了训练样本集与评估样本集的重复，增强了评估结果的可靠性。

在一些实施例的步骤S420中，将评估样本集中的各个评估样本分别输入样本模型，得到评估结果，其中，评估结果为包括至少一个预测框的目标检测的难例样本。

在一些实施例的步骤S430中，将评估样本对应的标注数据和第二样本检测结果进行对比，评估样本对应的标注数据能够覆盖评估样本中的所有待检测目标，二者对比，能够判断样本模型是否能区别当前输入的难例样本，将样本能够区别的评估样本的数量占据评估样本集中评估样本的总数的比例作为样本模型对于评估样本集的评估准确率。

在一些实施例的步骤S440中，当评估准确率大于或等于预设的准确率阈值时，样本模型满足对于其检测能力的要求，因此，将样本模型发送给边缘节点。

需要说明的是，通过评估样本集中的难例样本对样本模型的性能进行评估，当样本模型对于评估样本集的评估准确率大于或等于预设的准确率阈值时，增量训练生成的样本模型满足对于目标检测模型的需求，控制云端将样本模型发送给边缘节点。评估过程的设置使得目标检测模型能够满足要求，减少了直接应用时目标检测模型对难例样本的区分能力低的情况，并且使得目标检测模型的性能更加直观。

在一实施例中，定义数量阈值为1000，训练比例为0.8，评估准确率为95％。通过云端监测接收到的难例样本的数量，一旦样本数量大于或等于设定的数量阈值(1000)，则触发获取预先设置的初始模型进行增量训练。假设当前的难例样本数为1000，则训练样本集中的难例样本的数目为800(样本数*训练比例)，启动增量训练任务，将用800个难例样本对初始模型进行增量训练，得到样本模型。训练完成后，启动评估任务，将难例集中剩余的难例样本作为评估样本集，并将评估样本集中的评估样本输入样本模型以对样本模型进行性能评估，当样本模型对于评估样本集的评估准确率大于或等于准确率阈值时，将样本模型发送给边缘节点，如果评估准确率不足95％，则边缘节点不进行任何改动。

请参阅图6，在一些实施例，步骤S100之前包括但不限于步骤S810至步骤S840：

步骤S810，由云端获取目标检测模型。

步骤S820，由云端将目标检测模型进行格式转换，分别得到第一格式的目标检测模型和第二格式的目标检测模型。

步骤S830，由云端将第一格式的目标检测模型作为初始模型，并设置初始模型的训练参数，其中，训练参数至少包括以下之一：数量阈值、训练比例、准确率阈值。

步骤S840，由云端将第二格式的目标检测模型作为部署模型，并将部署模型发送给边缘节点。

在一些实施例的步骤S810中，目标检测模型为已有的目标检测模型。

在一些实施例的步骤S820中，对于通过tensorflow函数进行增量训练的目标检测模型，需要将目标检测模型进行格式转换，分别得到ckpt格式的目标检测模型和pb格式的目标检测模型。

需要说明的是，第一格式的目标检测模型为ckpt格式，第二格式的目标检测模型为pb格式。

在一些实施例的步骤S830中，云计算技术以廉价且大量的计算服务器提供了强大的计算能力，可以为用户和应用提供按需访问的丰富计算资源和存储资源，因此将第一格式的目标检测模型，即ckpt格式的目标检测模型作为初始模型部署在云端并在云端对模型进行增量训练，另外，云端还设置初始模型的训练参数用以增量训练和评估。

需要说明的是，初始模型的训练参数至少包括以下之一：数量阈值、训练比例、准确率阈值。

需要说明的是，初始模型的训练参数还包括难例阈值、框阈值等。

需要说明的是，本申请实施例可以将初始模型的训练参数设为固定值，也可以设置为一次增量训练对应一组训练参数。

需要说明的是，本申请可以预先设置程序，对每次初始模型的训练设置对应的训练参数。当满足当前训练参数时，即可触发初始模型进行增量训练。本申请也可以人工调整每次训练参数。

需要说明的是，因为目标检测模型比较复杂，需要的数据比较多，所以目标检测模型的训练时间会耗时较长。如果在训练过程中出现了目标检测模型不可预期的错误，导致训练意外终止，那么目标检测模型的增量训练将会前功尽弃。为了解决这一问题，本申请实施例使用模型持久化来保存目标检测模型在训练过程中的临时数据，即将ckpt格式的初始模型部署在云端以云端对目标检测模型进行增量训练。

在一些实施例的步骤S840中，边缘计算接近终端用户且地理位置分散，可以支持低时延、位置感知、高移动性和高QoS的应用服务，因此将第二格式的目标检测模型，即pb格式的目标检测模型部署在边缘节点作为部署模型。

需要说明的是，目标检测模型需要提供给用户做目标检测，那么只需要完成前向传播过程。此时采用模型持久化来只保存前向传播过程中的变量并将变量固定下来，即将pb格式的部署模型部署在边缘节点以进行目标检测和推理。

需要说明的是，部署模型和初始模型是同一模型的两种不同格式，ckpt和pb持久化方式的区别在于ckpt文件将模型结构与模型权重分离保存，便于训练过程；pb文件则是一种序列化文件，便于发布和离线预测。因此，将初始模型设置为ckpt格式，有利于对于目标检测模型的训练。

请参阅图7，在一些实施例中，步骤S300与步骤S400之间可以包括但不限于包括步骤S910：

步骤S910，由云端将样本模型由第一格式转为第二格式，并对第二格式的样本模型进行评估，以将满足预设条件的样本模型发送给边缘节点。

在一些实施例的步骤S910中，本申请采用云边协同的方式对目标检测模型进行训练，其中，云端节点的初始模型通过调用函数tensorflow函数进行增量训练，为了提升目标检测模型的训练效率，将初始模型的格式设置为ckpt、部署模型的格式设置为pb，因此，需要将增量训练得到的样本模型进行格式转换，将样本模型由cpkt转为pb，以便于对样本模型进行性能评估和对部署模型进行更新。

在一实施例中，目标检测模型应用到智慧工地中反光衣和安全帽的检测任务，通过在边缘节点部署目标检测模型来实现反光衣和安全帽的检测，其中，边缘节点处的目标检测模型为pb格式，其又称为部署模型。本实施例采用yolov5算法来检测安全帽和反光衣，然而摄像头设备老化等原因会引起部署模型的数据分布发生变化，导致当前人工智能摄像头的部署模型无法适用于当前的环境，从而造成目标检测精度下降。因此，边缘节点处的部署模型需要不定期使用新的数据重新调整，使得模型能够持续的适配当前的样本图像。本申请实施例提供的目标检测方法持续监测边缘节点生成的难例样本，当难例样本的数量达到预设训练条件时，根据难例样本对初始模型进行增量训练，并对增量训练得到的样本模型进行评估，当样本模型的评估结果满足预设条件时，根据样本模型对部署模型进行更新，该方法根据设定的训练参数自动开始训练、评估和部署，能将新产生的数据立刻反应到模型中去。并且更新的过程不占用人工时间、更新的周期更短，模型检测精度也不断提高。

本申请实施例提供的目标检测方法应用于云边协同系统，该方法通过云边协同系统中的边缘节点和云端实现，首先由边缘节点获取多个样本图像，并通过预先设置的部署模型对样本图像进行推理，得到难例样本，将难例样本发送给云端，其次，由云端根据难例样本对预先设置的初始模型进行增量训练，得到样本模型，然后对样本模型进行评估，并将评估结果满足预设条件的样本模型发送给边缘节点，然后，边缘节点根据样本模型对部署模型进行更新处理，更新后的部署模型即为训练好的目标检测模型，最后，由边缘节点获取待检测图像，并将待检测图像输入至目标检测模型，得到目标检测结果。本申请提供的目标检测方法在边缘节点进行目标检测模型的部署，边缘节点的部署模型可用于目标检测，而在云端进行模型的训练和相关数据的存储，充分利用了云端的计算能力和储存能力，并且模型部署在边缘节点便于进行离线检测等，不受网络等情况的约束，且更加方便快捷，该模型训练方法能够及时根据新生成的样本图像进行训练学习，缩短了目标检测模型的更新周期，进一步提高了目标检测的精度。

请参阅图8，本申请实施例还提供一种目标检测装置，可以实现上述目标检测方法，该装置包括：

图像采集模块100，用于控制所述边缘节点获取多个样本图像；

边缘推理模块200，用于控制所述边缘节点通过预先设置的部署模型对各个样本图像进行推理，得到难例样本，并将难例样本发送给云端；

增量训练模块300，用于控制所述云端根据难例样本对预先设置的初始模型进行增量训练，得到样本模型；

模型评估模块400，用于控制所述云端对样本模型进行评估，并将评估结果满足预设条件的样本模型发送给边缘节点；

模型更新模块500，用于控制边缘节点根据样本模型对部署模型进行更新处理，并将更新后的部署模型作为训练好的目标检测模型。

目标检测模块600，用于控制边缘节点获取待检测图像，并将待检测图像输入至目标检测模型，得到目标检测结果。

该目标检测装置的具体实施方式与上述目标检测方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述目标检测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：

处理器601，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器602，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器602可以存储操作装置和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器602中，并由处理器601来调用执行本申请实施例的目标检测方法；

输入/输出接口603，用于实现信息输入及输出；

通信接口604，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；

总线605，在设备的各个组件(例如处理器601、存储器602、输入/输出接口603和通信接口604)之间传输信息；

其中处理器601、存储器602、输入/输出接口603和通信接口604通过总线605实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述目标检测方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例提供的目标检测方法、目标检测装置、电子设备及存储介质，其通过首先获取多个样本图像，通过边缘节点预先设置的部署模型对样本图像进行推理，得到难例样本，并将难例样本发送给云端，其次，根据难例样本对云端预先设置的初始模型进行增量训练，得到样本模型，然后通过云端对样本模型进行评估，并将评估结果满足预设条件的样本模型发送给边缘节点，最后，根据样本模型对部署模型进行更新处理，更新后的部署模型即为训练好的目标检测模型。本申请实施例通过云边协同的方式对目标检测模型进行训练，充分利用了云端的计算能力和存储能力，能够将新产生的数据，即样本图像立刻反映到模型中，并且模型训练和更新的过程不占用人工时间，缩短了模型的更新周期，使得模型的目标检测精度进一步提高。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (10)

1.一种目标检测方法，其特征在于，应用于云边协同系统，所述云边协同系统包括边缘节点和云端，所述方法包括：

由所述边缘节点获取多个样本图像；

由所述边缘节点通过预先设置的部署模型对各个所述样本图像进行推理，得到难例样本，并将所述难例样本发送给云端；

由所述云端根据所述难例样本对预先设置的初始模型进行增量训练，得到样本模型；

由所述云端对所述样本模型进行评估，并将评估结果满足预设条件的所述样本模型发送给所述边缘节点；

由所述边缘节点根据所述样本模型对所述部署模型进行更新处理，并将更新后的所述部署模型作为训练好的目标检测模型；

由所述边缘节点获取待检测图像，并将所述待检测图像输入至所述目标检测模型，得到目标检测结果。

2.根据权利要求1所述的目标检测方法，其特征在于，所述由所述边缘节点通过预先设置的部署模型对各个所述样本图像进行推理，得到难例样本，包括：

对于每个所述样本图像，由所述边缘节点通过预先设置的部署模型对所述样本图像进行推理，得到至少一个预测框和所述预测框对应的置信度；

根据所述预测框和与所述预测框对应的置信度，计算所述样本图像的难例系数；

当所述难例系数大于预设的难例阈值时，确定所述样本图像为难例样本。

3.根据权利要求1所述的目标检测方法，其特征在于，在将所述难例样本发送给云端之后，所述方法还包括：

由所述云端对接收到的所述难例样本进行统计，得到所述难例样本的数量；

当所述难例样本的数量大于或等于预设的数量阈值时，触发获取预先设置的所述初始模型以对所述初始模型进行增量训练。

4.根据权利要求3所述的目标检测方法，其特征在于，所述由所述云端根据所述难例样本对预先设置的初始模型进行增量训练，得到样本模型，包括：

获取各个所述难例样本对应的标注数据；

根据多个所述难例样本和所述难例样本对应的标注数据确定难例集；

根据预设的训练比例从所述难例集提取得到训练样本集；

将所述训练样本集中各个训练样本分别输入所述初始模型，得到各个训练样本对应的第一样本检测结果；

根据各个训练样本对应的所述标注数据和所述第一样本检测结果，优化所述初始模型的参数，得到样本模型。

5.根据权利要求4所述的目标检测方法，其特征在于，所述由所述云端对所述样本模型进行评估，并将评估结果满足预设条件的所述样本模型发送给所述边缘节点，包括：

将所述难例集中存在于所述训练样本集的难例样本剔除，得到评估样本集；

将所述评估样本集中各个评估样本分别输入所述样本模型，得到各个评估样本对应的第二样本检测结果；

根据各个评估样本对应的所述标注数据和所述第二样本检测结果，确定所述样本模型的评估准确率；

当所述评估准确率大于或等于预设的准确率阈值时，将所述样本模型发送给所述边缘节点。

6.根据权利要求1至5任一项所述的目标检测方法，其特征在于，所述由所述边缘节点获取多个样本图像之前，所述方法还包括：

由所述云端获取目标检测模型；

由所述云端将所述目标检测模型进行格式转换，分别得到第一格式的所述目标检测模型和第二格式的所述目标检测模型；

由所述云端将第一格式的所述目标检测模型作为初始模型，并设置所述初始模型的训练参数，其中，所述训练参数至少包括以下之一：数量阈值、训练比例、准确率阈值；

由所述云端将第二格式的所述目标检测模型作为部署模型，并将所述部署模型发送给所述边缘节点。

7.根据权利要求6所述的目标检测方法，其特征在于，所述由所述云端根据所述难例样本对预先设置的初始模型进行增量训练，得到样本模型之后，所述方法还包括：

由所述云端将所述样本模型由第一格式转为第二格式，并对第二格式的所述样本模型进行评估，以将满足预设条件的所述样本模型发送给所述边缘节点。

8.一种目标检测装置，其特征在于，应用于所述云边协同系统，所述云边协同系统包括边缘节点和云端，所述目标检测装置分别与所述边缘节点和所述云端连接，所述装置包括：

图像采集模块，用于控制所述边缘节点获取多个样本图像；

边缘推理模块，用于控制所述边缘节点通过预先设置的部署模型对各个所述样本图像进行推理，得到难例样本，并将所述难例样本发送给云端；

增量训练模块，用于控制所述云端根据所述难例样本对预先设置的初始模型进行增量训练，得到样本模型；

模型评估模块，用于控制所述云端对所述样本模型进行评估，并将评估结果满足预设条件的所述样本模型发送给所述边缘节点；

模型更新模块，用于控制所述边缘节点根据所述样本模型对所述部署模型进行更新处理，并将更新后的所述部署模型作为训练好的目标检测模型；

目标检测模块，用于控制所述边缘节点获取待检测图像，并将所述待检测图像输入至所述目标检测模型，得到目标检测结果。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的目标检测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的目标检测方法。