CN113065513A - 智能摄像头自训练置信度阈值的优化方法、装置及设备 - Google Patents

智能摄像头自训练置信度阈值的优化方法、装置及设备 Download PDF

Info

Publication number
CN113065513A
CN113065513A CN202110433572.9A CN202110433572A CN113065513A CN 113065513 A CN113065513 A CN 113065513A CN 202110433572 A CN202110433572 A CN 202110433572A CN 113065513 A CN113065513 A CN 113065513A
Authority
CN
China
Prior art keywords
confidence
confidence coefficient
training
threshold
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110433572.9A
Other languages
English (en)
Inventor
陈辉
龙祥
张智
熊章
雷奇文
艾伟
胡国湖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xingxun Intelligent Technology Co ltd
Original Assignee
Wuhan Xingxun Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Xingxun Intelligent Technology Co ltd filed Critical Wuhan Xingxun Intelligent Technology Co ltd
Priority to CN202110433572.9A priority Critical patent/CN113065513A/zh
Publication of CN113065513A publication Critical patent/CN113065513A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本发明属于图像处理技术领域，解决了由于智能摄像头在采用本地自训练中置信度阈值生成的伪标签质量无法保证，所导致自训练效果不佳的技术问题，提供了一种智能摄像头自训练置信度阈值的优化方法、装置及设备。该方法包括:当前模型对测试样本集检测输出检测结果；然后结合取样步长对应的各置信度阈值，得到多个mAP值；筛选出符合要求的mAP值，从而确定目标置信度阈值。本发明还包括用于执行上述方法的装置和设备。本发明通过置信度阈值与mAP值的对应关系，筛选出符合要求的mAP值，从而确定出目标置信度阈值，使用该目标置信度阈值去筛选伪标签，可以减少漏标、错标等错误标签，提高微调训练后模型的检测准确性。

Description

智能摄像头自训练置信度阈值的优化方法、装置及设备
本申请是2021年1月27日提交、发明名称为“智能摄像头自训练置信度阈值选择方法、装置及设备”申请号为202110109738.1的发明专利申请的分案申请。
技术领域
本发明涉及图像处理技术领域，尤其涉及一种智能摄像头自训练置信度阈值的优化方法、装置及设备。
背景技术
随着视频监控设备被广泛应用于监控日常生活中的不同场景，摄像头尤其是带有图像分析功能的智能摄像头成为现在生活监控管理中的一个常见监控工具。这种智能摄像头除了配备有常规的摄像头拍摄还设有具有处理器功能的芯片，可以对拍摄的场景图像数据进行简单的处理分析。
然而现有技术中，因这类智能摄像头的芯片具备有计算能力，为使智能摄像头能够适应多场景应用，通常做法是这类智能摄像头在出厂前会尽可能多的收集多个不同场景的样本图像训练出一个轻量级网络模型部署到智能摄像头上，使得智能摄像头能够适用于不同场景，如：婴幼儿看护管理、医院病人监护、学校监控、商城监控、车库监控、景区监控、养殖场监控、道路交通监控等。
尽管智能摄像头事先对不同应用场景进行了很多样本采集，里面对每个场景都进行了大量的样本训练，但是在直接将智能摄像头使用到场景中开展监护时，对于不同用户所在的实际场景依然存在较大差异性，这就导致智能摄像头出厂前进行大量训练得到的基础检测模型不适用，容易出现较大偏差，此外，还有一种是将智能摄像头与服务器连接起来，由服务器提供基础检测模型的升级安装程序包，让智能摄像头的基础检测模型进行升级更新。但随着人们对用个人隐私以及信息安全的考量，不愿将智能摄像头与服务器连接，而其它方式比如下载基础检测模型的更新程序包升级这又会增加智能摄像头的硬件成本(因为现有的智能摄像头一般没有触控屏之类的交互显示界面，如果设置触控屏等交互硬件识别增加智能摄像头成本)和升级维护时间。
发明内容
有鉴于此，本发明实施例提供了一种智能摄像头自训练置信度阈值的优化方法、装置及设备，用以解决智能摄像头在本地自训练中置信度阈值生成的伪标签质量无法保证，所导致自训练效果不佳的技术问题。
本发明采用的技术方案是：
本发明提供了一种智能摄像头自训练置信度阈值的优化方法，所述方法包括：
获取测试样本集和置信度阈值的取样步长；
利用所述测试样本集对当前模型进行测试，输出所述测试样本集中的检测结果；
根据所述取样步长对应的各置信度阈值和所述检测结果，输出与各所述置信度阈值一一对应的mAP值；
对比各所述mAP值，输出与对比结果对应的目标mAP值作为所述当前模型的目标置信度阈值；
其中，所述目标mAP值为符合要求的mAP值，所述mAP值为平均精度值。
优选地，在所述利用所述测试样本集对当前模型进行测试，输出所述测试样本集中的检测结果之后还包括：
对所述检测结果中各正样本的置信度进行排序，输出置信度序列；
对所述置信度序列进行取样，得到多个取样置信度；
输出各所述取样置信度一一对应的mAP值；
其中，将各取样置信度作为置信度阈值。
优选地，所述对比各所述mAP值，输出与对比结果对应的目标mAP值作为所述当前模型的目标置信度阈值包括：
对比各所述取样置信度和各所述置信度阈值对应的mAP值，输出目标mAP值；
根据所述目标mAP值，将与所述目标mAP值对应的置信度阈值作为所述目标置信度阈值；
其中，所述目标mAP值为从各所述mAP值中筛选出的最大的mAP值。
优选地，所述对比各所述取样置信度和各所述置信度阈值对应的mAP值，输出目标mAP值包括：
将各所述取样置信度和取样步长对应的置信度阈值记为第一置信度阈值组；
根据所述第一置信度阈值组中各置信度阈值对应的mAP值，输出最大的mAP值对应的参考置信度阈值，以及与所述参考置信度阈值相邻的前一置信度阈值和后一置信度阈值；
减小取样步长，输出所述前一置信度阈值与所述参考置信度阈值之间的第一置信度阈值区间和所述参考置信度阈值与所述后一置信度阈值之间的第二置信度阈值区间；
获取所述第一置信度阈值区间和所述第二置信度阈值区间的置信度阈值，得到新的所述第一置信度阈值组；
重复根据所述第一置信度阈值组中各置信度阈值对应的mAP值，输出最大的mAP值对应的参考置信度阈值，以及与所述参考置信度阈值相邻的前一置信度阈值和后一置信度阈值至获取所述第一置信度阈值区间和所述第二置信度阈值区间的置信度阈值，得到新的所述第一置信度阈值组，直到输出所述目标mAP值。
优选地，在所述减小取样步长，输出所述前一置信度阈值与所述参考置信度阈值之间的第一置信度阈值区间和所述参考置信度阈值与所述后一置信度阈值之间的第二置信度阈值区间中，后一取样步长为前一取样步长的1/2。
优选地，其特征在于，所述根据所述取样步长对应的各置信度阈值和所述检测结果，输出与各所述置信度阈值一一对应的mAP值和/或所述输出各所述取样置信度一一对应的mAP值包括：
根据各所述取样置信度和/或各所述置信度阈值，以及所述测试样本集中各样本的检测结果，输出与各所述取样置信度和/或各所述置信度阈值一一对应的各类别的准确率和召回率；
根据各类别对应的所述准确率和所述召回率，输出与各所述取样置信度和/或各所述置信度阈值一一对应的mAP值。
本发明还提供了一种采用边缘计算优化智能摄像头检测模型的方法包括任一项所述的智能摄像头自训练置信度阈值选择方法。
本发明还提供了一种智能摄像头自训练置信度阈值的优化装置，其特征在于，包括：
样本数据模块：用于获取测试样本集和置信度阈值的取样步长；
数据检测模块：用于利用所述测试样本集对当前模型进行测试，输出所述测试样本集中的检测结果；
数据处理模块：用于根据所述取样步长对应的各置信度阈值和所述检测结果，输出与各所述置信度阈值一一对应的mAP值；
目标输出模块：用于对比各所述mAP值，输出与对比结果对应的目标mAP值作为所述当前模型的目标置信度阈值；
其中，所述目标mAP值为符合要求的mAP值，所述mAP值为平均精度值。
本发明还提供了一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现上述任一项所述的方法。
本发明还提供了一种介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现上述任一项所述的方法。
综上所述，本发明的有益效果如下：
本发明提供的一种智能摄像头自训练置信度阈值的优化方法、装置及设备，通过设置取样步长得到多个置信度阈值，由当前模型对测试样本集进行测试，输出检测结果；由检测结果得到与各置信度阈值一一对应的mAP值，对比所有的mAP值，输出符合要求的mAP值对应的置信度阈值作为目标置信度阈值，可以使得检测结果的准确率和召回率处于最佳。当需要对检测模型进行微调训练时，可以直接在本地采用该方法确定置信度阈值，可以减少伪标签中漏标、错标等错误标签，提高伪标签的质量，提高检测模型训练的效果，该方法无需将本地数据上传服务器，可以保证数据的安全性和用户的隐私。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，这些均在本发明的保护范围内。
图1为本发明实施方式一的实施例1中采用边缘计算优化智能摄像头检测模型的方法的流程示意图；
图2为本发明实施方式一的实施例1中获取第二样本集的流程示意图；
图3为本发明实施方式一的实施例1中对样本添加伪标签的流程示意图；
图4为本发明实施方式一的实施例1中利用第三样本集对模型微调训练的流程示意图；
图5为本发明实施方式一的实施例1中获取目标模型的流程示意图；
图6为本发明实施方式一的实施例1中获取摄像头的基础检测模型的流程示意图；
图7为本发明实施方式一的实施例2中获取目标置信度阈值的流程示意图；
图8为本发明实施方式一的实施例2中输出目标置信度阈值的流程示意图；
图9为本发明实施方式一的实施例2中获取目标mAP值的流程示意图；
图10为本发明实施方式一的实施例2中mAP值曲线的结构示意图；
图11为本发明实施方式一的实施例2中获取置信度阈值的mAP值的流程示意图；
图12为本发明实施方式一的实施例2中计算mAP值的流程示意图；
图13为本发明实施方式一的实施例3中输出校验模型的流程示意图；
图14为本发明实施方式一的实施例3中各正样本的可靠权重的流程示意图；
图15为本发明实施方式一的实施例3中网络输出层的结构示意图；
图16为本发明实施方式一的实施例3中获取高可靠权重和低可靠权重的流程示意图；
图17为本发明实施方式一的实施例3中人工标签对应的校验模型的流程示意图；
图18为本发明实施方式一的实施例3中伪标签对应的校验模型的流程示意图；
图19为本发明实施方式二的实施例4中可持续优化摄像头效果的装置的结构示意图；
图20为本发明实施方式二的实施例5中智能摄像头样本置信度阈值选择装置的结构框图；
图21为本发明实施方式二的实施例6中智能摄像头模型自训练的装置的结构示意图；
图22为本发明实施方式三中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在本发明的描述中，需要理解的是，术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。如果不冲突，本发明施例以及实施例中的各个特征可以相互结合，均在本发明的保护范围之内。
实施方式一
实施例1
请参见图1，图1为本发明实施例1中采用边缘计算优化智能摄像头检测模型的方法的流程示意图。本发明实施例1的采用边缘计算优化智能摄像头检测模型的方法包括：
S10：获取预置的第一样本集和本地实时采集的第二样本集；
具体的，在智能摄像头中内置一个可以在多个应用场景使用的基础检测模型，该基础检测模型由收集的多个应用场景的训练样本组成一个训练集A训练得到；场景至少包括以下之一：婴幼儿看护、学校、游乐场、商城、车库、养殖场和道路；通过特定渠道获取目标场景对应的样本，样本至少包括以下之一：图像、声音和视频；特定渠道至少包括以下之一：开源数据集、搭建场景、市场；其中，训练基础检测模型的样本集A均需要进行人工校验，添加人工标签；从训练集A中随机抽取多个样本作为第一样本集；第二样本集的样本为智能摄像头采集的实际应用场景的本地图像，设定第二样本集的标签为伪标签。
S11：采用所述第一样本集和所述第二样本集对当前模型进行微调训练，得到校验模型；
S12：对比所述当前模型和所述校验模型，输出目标模型；
具体的，智能摄像头在上市前，对训练集A进行随机训练，输出一个基础检测模型，将该基础检测模型植入智能摄像头中，当用户将智能摄像头安装到目标区域后，最初使用阶段，利用基础检测模型对智能摄像头采集的本地图像进行数据处理，其中，数据处理包括检测任务处理和/或分类任务处理；此时当前模型为基础检测模型，在使用过程中，通过第一样本集和第二样本集在本地对当前模型进行微调训练，得到本次训练的校验模型，对比校验模型和当前模型对第二样本集的处理结果，根据对比结果输出目标模型，在下一次微调训练前，目标模型对智能摄像头采集的本地图像进行数据处理。
需要说明的是：通过第一样本集和第二样本集在本地对当前模型进行微调训练，智能摄像头本地训练，用户数据无需上传服务器，防止本地数据的泄露，提高数据安全性；同时，采用本地图像进行训练，能够提高目标模型与智能摄像头的安装场景的契合度，保证智能摄像头的数据处理的精准度。
在一实施例中，请参见图2，所述S10包括：
S101：采集实际应用场景的本地实时图像；
具体的，智能摄像头安装在具体的应用场景后，开始对实际应用场景进行监控，采集实际应用场景的实时图像。
S102：利用当前模型对所述本地实时图像进行检测，输出所述本地实时图像对应的检测结果；
具体的，将采集的本地实时图像送入当前模型，当前模型输出与各本地图像对应的检测结果，检测结果至少包括以下之一：置信度、类别信息、位置信息；根据检测结果可以计算各置信度阈值对应的召回率和准确率。
对类别信息的分类任务，在一应用实施例中：通过智能摄像头采集的本地实时图像，经过当前模型分析后，得到各图像的类别；根据各图像所属的类别，添加对应的类别标签。
对于检测任务，在一应用实施例中，在智能摄像头拍摄的监控目标区域的本地实时图像中寻找第一类和/或第二类…和/或第N类对应的正样本，当前模型对本地实时图像进行处理，输出本地实时图像中复合类别要求的正样本，并输出对应的检测结果；检测结果至少包括以下之一：位置信息、置信度、类别信息等；其中，类别信息至少包括以下之一：人、动物、可移动物件、固定物件、附着在移动物件上的固定物件等。
需要说明的是：
对于分类任务，正样本为目标类别所对应的样本；
对于检测任务,正样本为样本中事先标注出来的所有位置对应的目标。
S103：对所述本地实时图像对应的检测结果进行二值化处理，将处理结果作为所述本地实时图像的伪标签；
具体的，根据置信度阈值对各正样本的置信度进行二值化处理，将处理之后的检测结果作为本地实时图像的伪标签；
请参见图3，所述S103包括：
S1031：获取各所述本地实时图像的检测结果中各正样本的置信度和置信度阈值；
具体的，智能摄像头将采集的本地实时图像输入当前模型，输出实时图像的检测结果；如：当前模型对本地实时图像中的一个目标判定为“人”，且置信度为0.6；也就是说，该目标为“人”的可信程度为0.6，即置信度为0.6；同时获取置信度阈值，置信度用于表示检测结果的可信度，置信度阈值用于判断检测结果的真假；如，置信度阈值为0.7，若检测结果中置信度为0.6，则表示该检测结果不可行。具体的，可以设置置信度阈值的取样步长，根据取样步长得到一组置信度阈值，对比各置信度阈值对应的mAP值的大小，确定最终的置信度阈值。
S1032：将各所述置信度与所述置信度阈值进行对比，依据对比结果重置各所述置信度，输出处理后的检测结果作为所述本地实时图像的伪标签；
其中，若置信度大于等于所述置信度阈值，则将所述置信度置为1，若置信度小于所述置信度阈值，则将所述置信度置为0。
具体的，根据置信度阈值，对检测结果中的置信度进行二值化处理，如目标对象判定为“人”时的置信度阈值为0.7，若置信度小于0.7，则将本次目标判定为“人”的置信度置为“0”，更新该正样本的检测结果；若置信度大于等于0.7，则将本次目标判定为“人”的置信度置为“1”，更新后的检测结果制作保存为该实时图像的伪标签。
S104：由各所述本地实时图像和各所述伪标签组成所述第二样本集。
在一实施例中，请参见图4，所述S11包括：
S111：获取第一损失函数、第二损失函数和各正样本对应的可靠权重；
具体的，第一损失函数用于在第一阶段训练，计算各样本的损失值，从而完成模型的微调训练，第二损失函数用于第二阶段训练，计算各样本的损失值，完成模型的最终训练；以yolov3损失函数为例，第一损失函数包括；
坐标损失:
Figure BDA0003028286490000061
类别损失：
Figure BDA0003028286490000062
置信度损失:
Figure BDA0003028286490000063
其中，Lcoord，Lcls，Lconf分别表示坐标误差、类别误差和置信度误差,
Figure BDA0003028286490000064
表示智能摄像头获取的应用场景数据中第i网格的第j个候选框是否为数据处理任务的正样本，如果是
Figure BDA0003028286490000065
否则为0。
得到第一损失函数＝Lcoord+Lcls+Lconf。
第二损失函数为：
坐标损失:
Figure BDA0003028286490000071
类别损失：
Figure BDA0003028286490000072
置信度损失：
Figure BDA0003028286490000073
权重通道损失：
包括，第一监督函数：
Figure BDA0003028286490000074
以及，第二监督函数：Lw＝max(0，δ-(wH-wL))
其中，Lcoord，Lcls，Lconf分别表示坐标误差、类别误差和置信度误差，Lw和L′w分别表示第二样本集中目标和第一样本集中目标的可靠权重误差损失,
Figure BDA0003028286490000075
表示智能摄像头获取的应用场景数据中第i网格的第j个候选框是否为正样本，如果是
Figure BDA0003028286490000076
否则为0；wij表示第i网格的第j个候选框的正样本的可靠权重，x和y分别表示选框中心点的横坐标和纵坐标，w和n分别表示选框的宽和高，C表示类别，P表示置信度，S为网络输出层网格的数目，B为固定参考选框，λ为常数,δ为权重差值预设值。
S112：合并所述第一样本集和所述第二样本集，输出第三样本集；
具体的，将预置在智能摄像头中的第一样本集和智能摄像头采集的本地实时图像对应的第二样本集进行合并，得到一个训练样本集，记为第三样本集。
S113：通过第一损失函数，利用所述第三样本集对所述当前模型进行第一阶段训练，输出中间训练模型；
具体的，利用第一损失函数计算各正样本的损失值，然后对当前模型进行微调，使得第三样本集中的各样本实现网络收敛，得到更新后的模型，记为中间训练模型。第一损失函数和第三样本集对检测模型进行第一阶段训练，是基于检测模型对各样本的真实检测结果，由真实检测结果计算得到的损失值进行微调训练，未加任何外部干预，因此第一阶段训练可以很自然完成模型的收敛，保证在后续训练过程中当前模型的稳定性。
S114：在所述中间训练模型的基础上，通过第二损失函数和所述可靠权重利用所述第三样本集进行第二阶段训练，输出所述校验模型。
具体的，在中间训练模型的基础上，由第二损失函数和第三样本集中各正样本对应的可靠权重继续进行第二阶段训练，最终输出校验模型；其中，模型的训练分为多轮训练，因此，在每完成一轮训练后，当前模型完成一次更新；在进行下一轮训练时，更新后的当前模型对第三样本集中各样本输出新的可靠权重；然后由第二损失函数和对应的新的可靠权重再次对这一轮的当前模型进行微调，完成本轮训练后的模型得到更新。在完成既定的多轮训练后，输出校验模型。
需要说明的是：每一轮训练包括多个训练batch；每完成一个训练batch，模型完成一次更新，因此，各训练batch对应的当前模型均不相同，其中，训练batch为：从样本集中选取小批量数据进行训练。也就是说，在第二阶段训练的每轮训练中，每一训练batch中各正样本对应的可靠权重均由不同的模型计算得到，通过多轮训练，降低伪标签中不可靠标签在训练过程中的影响，其中，不可靠标签为明显异于大多数、难以拟合的正样本的伪标签。
在一实施例中，在所述S11中，还包括对第一样本集和/或第二样本集进行数据增强，其中，数据增强至少包括以下之一：图像旋转、马赛克材质参数、色域转换、图像裁剪。
具体的，在训练过程中，利用数据增强技术对同一样本集进行多次训练。在一次训练中，在图像角度旋转范围内，对图像的角度进行随机旋转，和/或，在图像裁剪对应的尺寸范围内，对图像进行随机裁剪，和/或，在色域的调整范围内，对图像的色域进行随机调整，和/或，在图像马赛克材质参数增加范围内，对图像进行马赛克处理，得到数据增强后的第一样本集、第二样本集，再对第一样本集和第二样本集进行训练，输出对应的校验模型。通过数据增强，可以保证训练出的模型对同一目标不同状态下的判定更准确，从而提高智能摄像头在目标场景中的检测准确性和鲁棒性。
在进行数据增强时，通常采用两种及两种以上的图像数据增强方式，当四种方式均采用时，须对处理先后进行排序，优选是先进行图像旋转，然后进行图像裁剪，之后是进行色域转换，最后才是根据马赛克材质参数进行马赛克处理。这样做不仅可以大幅度减少数据处理量，而且还可以最大限度地在数据增强方面减小数据失真。
具体的，在训练过程中，利用数据增强对同一样本集进行多次训练。在一次训练中，在图像角度旋转范围内，对图像的角度进行旋转，优选是将图像旋转至指定的角度，然后在确定了图像需要裁剪的尺寸大小下，对图像进行裁剪，之后在色域的调整范围内，对图像的色域进行调整，之后，在图像马赛克材质参数增加范围内，根据图像马赛克材质参数，对图像进行马赛克处理，得到数据增强后的第一样本集、第二样本集，再对第一样本集和第二样本集进行训练，输出对应的校验模型。通过数据增强，可以保证训练出的模型对同一目标不同状态下的判定更准确，从而提高智能摄像头在目标场景中的检测准确性和鲁棒性。
在一实施例中，请参见图5，所述S12包括：
S121：获取所述当前模型对本地图像的检测对应的第一检测结果；
S122：获取所述校验模型对本地图像的检测对应的第二检测结果；
S123：对比所述第一检测结果和所述第二检测结果，输出目标模型。
具体的，在对当前模型完成一次微调训练后，由目标模型对智能摄像头采集本地实时图像进行检测，得到对应的第二检测结果，将第二检测结果与微调前的模型对应的第一检测结果进行对比，选择效果好的检测结果对应的模型，作为目标模型。也就是说，若第一检测结果优于第二检测结果，则不更新当前模型；若第二检测结果优于第一检测结果，则将当前模型更新为校验模型，在此之后智能摄像头采集的数据由更新后的校验模型进行处理；如：当前模型为“0”号模型，校验模型为“1”号模型，此时将当前模型更新为“1”号模型。在一应用实施例中，当前模型的第一输出结果和校验模型的第二输出结果，可以通过回访用户直接获取检测结果。
在一实施例中，微调训练还包括一个微调阈值；在到达微调阈值后，默认效果已达到最佳，此后若拍摄场景无变化则不再进行训练；其中，该微调阈值为当前模型在经过多次训练后，当前模型对应的输出结果优于每次训练出的校验模型对应的第二输出结果。这样可以减少不必要的训练次数和能耗，也延长了智能摄像头的使用寿命。
在一实施例中，请参见图6，在所述S10之前包括：
S1：获取智能摄像头的芯片算力、任务类型和至少一个应用场景的样本数据；
具体的，芯片算力为智能摄像头内置的芯片对数据的处理能力，任务类型包括分类任务和检测任务。
S2：根据所述芯片算力、所述任务类型和所述样本数据建立基础检测模型；
具体的，根据数据处理参数和任务类型对所述样本数据进行随机训练，得到基础检测模型，其中，针对不同的任务，在网络输出层设置对应的输出节点，由输出节点对应输出任务类型的检测结果。
S3：筛选所述样本数据，输出所述第一样本集；
具体的，样本数据为2m张目标场景的图像，从中随机选取n张图像作为第一样本集，m、n均为正整数。
S4：将所述第一样本集和所述基础检测模型预置入所述智能摄像头。
具体的，在智能摄像头测试或进入市场前，将基础检测模型和对应的第一样本集植入智能摄像头中，然后将智能摄像头布置在实际的应用场景中，最初以基础检测模型对智能摄像头采集的本地实时图像进行处理，在使用过程中，利用第一样本数据和第二样本数据对当前模型进行微调训练，完成模型的更新，提高模型的检测效果。
采用本实施例的采用边缘计算优化智能摄像头检测模型的方法，获取预置在智能摄像头中的第一样本集和智能摄像头采集的本地图像数据对应的第二样本集，利用第一样本集和第二样本集在本地对当前使用的模型进行微调训练，完成当前模型的更新，输出校验模型；对比校验模型和当前模型的本地图像数据的检测效果，输出目标模型；通过在本地利用实际应用场景的本地实时图像结合预置的第一样本集进行训练，提高目标模型与实际应用场景的契合度，提高检测的准确性；同时，采用在设备端进行本地训练可以保护好用户隐私，提高数据的安全性。
实施例2
在实施例1中，通过置信度阈值来筛选伪标签，以减少伪标签中漏标、错标等错误标签。当置信度阈值设置不合理时，将会导致伪标签中存在漏标、错标等错误标签，最终影响微调训练后的目标模型的准确性。因此，本发明实施例2在实施例1的基础上提出了对S1031中的置信度阈值作出进一步的改进，提出了一种智能摄像头自训练置信度阈值选择方法，在一实施例中，请参见图7，所述方法包括：
S20：获取测试样本集和置信度阈值的取样步长；
具体的，从训练样本集A中随机抽取多个样本作为测试样本集，测试集A中的各样本均经过人工校验，添加有人工标签；同时，获取置信度阈值的取样步长，通过取样步长输出一组置信度阈值。
取样步长：为在置信度阈值的取值范围内，设置置信度阈值的取样间隔点，相邻两个置信度阈值对应的间隔距离；如:置信度阈值为0到1，取样步长为0.2；则置信度阈值的取样点为0、0.2、0.4、0.6、0.8和1。
S21：利用所述测试样本集对当前模型进行测试，输出所述测试样本集中的检测结果；
具体的，检测结果可以是针对测试样本集，也可以是测试样本集中的各样本，或者是各样本中的各正样本；检测结果至少包括以下之一：置信度、位置信息和类别信息。
S22：根据所述取样步长对应的各置信度阈值和所述检测结果，输出与各所述置信度阈值一一对应的mAP值；
具体的，测试样本集的检测结果在不同的置信度阈值下，各类别的正样本会得到对应的AP值(average precision，AP)；由所有类别的AP值可以得到各类别AP值的平均精度值(mean average precision，mAP)；也就是说，得到与置信度阈值一一对应的mAP值。
S23：根据各所述mAP值，输出所述当前模型的目标置信度阈值。
具体的，对比各mAP值，将最终选出的mAP值对应的置信度阈值作为目标置信度阈值。
在一实施例中，请参见图8，所述S23包括：
S231：对比各所述mAP值，输出目标mAP值；
具体的，将所有mAP值进行对比，筛选出符合要求的mAP值，作为目标mAP值。
在一实施例中，请参见图9，所述S231包括：
S2311：获取置信度阈值的取样步长对应的一组置信度阈值，记为第一置信度阈值组；
具体的，设置置信度阈值的取样步长，根据置信度阈值的取样步长，输出一组置信度阈值，记为第一置信度阈值组。
S2312：根据所述第一置信度阈值组中各置信度阈值对应的mAP值，输出最大的mAP值对应的置信度阈值作为参考置信度阈值，以及与所述参考置信度阈值相邻的前一置信度阈值和后一置信度阈值；
具体的，对比各置信度阈值对应的mAP值，得到最大的mAP值；将最大的mAP值对应的置信度阈值作为参考置信度阈值，同时获取与参考置信度阈值相邻的前一置信度阈值后一置信度阈值。
S2313：减小取样步长，输出所述前一置信度阈值与所述参考置信度阈值之间的第一置信度阈值区间和所述参考置信度阈值与所述后一置信度阈值之间的第二置信度阈值区间；
具体的，将前一置信度阈值与参考置信度阈值对应的区间记为第一置信度阈值区间，将后一置信度阈值与参考置信度阈值对应的区间记为第二置信度阈值区间。在得到参考置信度阈值后，调整取样步长，根据调整后的取样步长，得到一组新的置信度阈值；取出属于第一置信度阈值区间和属于第二置信度阈值区间的置信度阈值。
S2314：获取所述第一置信度阈值区间和所述第二置信度阈值区间的置信度阈值，得到新的所述第一置信度阈值组；
S2315：重复S2312至S2314，直到输出所述目标mAP值。
具体的，得到第一置信度阈值区间和第二置信度阈值区间的置信度阈值后，将这些置信度阈值组成新的第一置信度阈值组，然后再次对比各置信度阈值对应的mAP值，输出新的参考置信度阈值，多次重复该过程，最终输出的参考置信度阈值作为目标置信度阈值；通过该方法可以保证目标置信度阈值对应的mAP值为最接近当前模型对应的mAP曲线的最大值，使用该目标置信度阈值可以保证检测结果对应的准确率和召回率最合理。
在一实施例中，在所述S2313中，后一取样步长为前一取样步长的1/2。
具体的，取样步长的调节方式为：后一取样步长为前一取样步长的1/2，使得每一轮的第一置信度阈值区间和第二置信度阈值区间中只存在一个新的置信度阈值，且该置信度阈值始终位于第一置信度阈值区间或第二置信度阈值区间对应的中点位置；然后直接将新的置信度阈值对应的mAP值与前一参考置信度阈值对应的mAP值对比，确定新的参考置信度阈值和相邻的置信度阈值，其中，每一轮mAP值对比至多进行两次，便可得到新的参考置信度阈值，减小数据处理量，提高计算效率。请参加图10，设b调整前的取样步长，a为调整后的取样步长，a为b的1/2；当取样步长为b时，对应的置信度阈值的mAP值为“●”点，此时得到参考置信度阈值对应的mAP值为B点，前一置信度阈值对应的mAP值为D点，后一置信度阈值对应的mAP值为F点，然后将取样步长调节为a，得到“○”点和“●”点，在第一置信度阈值区间的置信度阈值对应的mAP值为C点，在第二置信度阈值区间的置信度阈值对应的mAP值为A点，将A点、C点的mAP值与B点的mAP值进行对比，将最大的mAP值对应的置信度阈值作为新的参考置信度阈值；重复该过程，最终得到目标置信度阈值，减少数据处理量，同时提升计算效率。在一实时方式中，若A点的mAP值大于B点mAP值，则不再进行C点和B点的mAP值对比，A点对应的置信度阈值作为新的参考置信度阈值；若A点的mAP值小于B点的mAP值，则进行B点和C点的mAP值对比，若C点的mAP值也小于B点的mAP值，则B点对应的置信度阈值依然为参考置信度阈值，此时，取样步长调整为a/2，重复该过程，最终得到目标置信度阈值。
S232：根据所述目标mAP值，将与所述目标mAP值对应的置信度阈值作为所述目标置信度阈值。
在一实施例中，请参见图11，所述S22包括：
S221：根据各所述置信度阈值和所述测试样本集中各样本的检测结果，输出与各所述置信度阈值一一对应的各类别的准确率和召回率；
具体的，检测结果至少包括以下之一：正样本数量、位置信息、置信度和类别信息；根据置信度阈值来确定当前模型对测试样本集中各类别检测的准确率和召回率；不同的置信度阈值对应不同准确率和召回率。
S222：根据各类别对应的所述准确率和所述召回率，输出与各所述置信度阈值一一对应的mAP值。
在一实施例中，请参见图12，所述S221包括：
S2211：根据所述检测结果由公式
Figure BDA0003028286490000111
输出与各类别对应的所述准确率；
S2212：根据所述检测结果由公式
Figure BDA0003028286490000112
输出与各类别对应的所述召回率；
S2213：根据各类别对应的所述准确率和所述召回率，输出与各所述置信度阈值一一对应的mAP值；
其中，TP为正样本的检测结果中的置信度大于置信度阈值；FP为正样本的检测结果中的置信度小于置信度阈值；FN为对应位置未检到对应的正样本；Precision为准确率，Recall为召回率。
在一实施例中，所述S23包括：
第一步，获取测试样本集的检测结果各正样本的置信度和取样步长对应的各置信度阈值；
第二步，对各正样本的置信度排序，输出置信度序列；
第三步，对置信度序列进行百分比取样，得到多个取样置信度；
第四步，将各取样置信度对应的mAP值和各置信度阈值对应的mAP值进行对比，输出最大的mAP值对应的置信度作为目标置信度阈值。
具体的，测试样本集输入当前模型，当前模型对各样本进行检测，输出检测结果；将检测结果中各正样本的置信度进行排序，并根据百分比取样，得到多个取样点对应的置信度，记为取样置信度；如：检测到10各正样本，得到一个长度为10的置信度序列，按20％进行取样，取出第2、4、6、8、10位置上的置信度，然后将这5个置信度和取样步长对应的多个置信度阈值对应的mAP值进行对比，选择最大的mAP值对应的置信度阈值或取样置信度作为目标置信度阈值。
采用本实施例的智能摄像头自训练置信度阈值选择方法，通过设置取样步长得到多个置信度阈值，由当前模型对测试样本集进行测试，输出检测结果；由检测结果得到与各置信度阈值一一对应的mAP值，对比所有的mAP值，输出最大的mAP值对应的置信度阈值作为目标置信度阈值，可以使得检测结果的准确率和召回率处于最佳。当需要对检测模型进行微调训练时，可以直接在本地采用该方法确定置信度阈值，可以减少伪标签中漏标、错标等错误标签，提高伪标签的质量，提高检测模型训练的效果，该方法无需将本地数据上传服务器，可以保证数据的安全性和用户隐私。
实施例3
在实施例1和实施例2中，设置合理的置信度阈值可以减少伪标签中漏标、错标等错误标签；但是筛选后的伪标签中还是会存在漏标、错标等错误标签，若直接进行对当前模型进行微调训练，更新后的模型依然受错误标签的影响，导致更新后的模型的检测精度不高。因此本发明实施例3从另一角度在本发明实施例1和/或实施例2的基础上进一步针对S11中利用第一样本集和第二样本集对当前模型微调训练的进一步改进，提出了一种智能摄像头检测模型的自训练的方法，在一实施例中，请参见图13，所述方法包括：
S30：获取用于训练智能摄像头的当前模型的训练样本集、第一损失函数、第二损失函数和所述训练样本集中各正样本对应的可靠权重；
具体的，在智能摄像头中内置一个可以在多个应用场景使用的基础检测模型，该基础检测模型由收集的多个应用场景的训练样本组成一个训练集A训练得到；训练样本集包括从训练集A中随机抽取的多个样本(以下简称第一样本集)和智能摄像头安装的实际应用场景中获取的多个样本(以下简称第二样本集)；以及获取训练样本集送入当前模型后由模型网络层对各正样本输出的可靠权重，以及微调训练中第一阶段训练的第一损失函数和第二阶段训练的第二损失函数。
需要说明的是：当前模型可以为基础检测模型，也可以为训练后的模型；也就是说，在第一次根据训练样本集进行训练时，当前模型为该基础检测模型，在第二次根据新的训练样本集进行训练时，若第一次训练出的模型效果优于基础检测模型，那么第二次训练的当前模型为第一次训练得到的校验模型；若第一次训练出的模型效果差于基础检测模型，那么第二次训练的当前模型为依然为基础检测模型，以此类推，在第N次训练时的当前模型可以是第N-1次训练得到的训练校验模型，或者为第N-1次微调训练对应的当前模型。
在一实施例中，请参见图14，对网络输出层增加用于输出可靠权重的权重通道，所述S30包括：
具体的，请参见图15，在目标检测网络中增加一个weights通道，用于输出可靠权重的权重通道；左边为常见的目标检测网络的输出层，bbox通道表示目标位置，confidence通道为目标前景置信度，classes通道为目标属于各类别的概率。右边为增加了weights通道的网络输出。在目标检测网络完成任意一个样本的检测后，weights通道输出经过激活函数得到该样本中各正样本的可靠权重。
需要说明的是：当前模型对于智能摄像头获取的应用场景的数据处理任务包括：检测任务和分类任务；对于不同的任务weights通道均会增加对应的输出节点来输出各正样本的可靠权重。
S301：获取映射函数和训练集中各正样本一一对应的位置信息；
具体的，对智能摄像头获取的样本进行网格化处理，检测到某个位置的目标符合数据处理任务的目标对象时，获取该目标的位置信息；映射函数可以为Sigmoid函数。
S302：根据所述位置信息，输出所述权重通道中与各所述位置信息对应的值，由所述映射函数输出与各值对应的各正样本的可靠权重。
具体的，在检测到符合数据处理任务的目标对象后，目标检测网络的输出层对应的网络通道对该目标输出对应的检测结果；根据检查结果的置信度、位置信息和类别信息制作该位置对应的正样本的伪标签；同时，然后weights通道输出与该位置信息对应的值，该值经过Sigmoid函数的映射关系，输出该位置的正样本的可靠权重。
需要说明的是：针对样本的置信度可以进行进一步置信度处理，如：设置置信度阈值，然后进行二值化处理；将处理后的检测结果作为伪标签；具体实施方式请参见实施例2，此处不再赘述。
在一实施例中，每一轮训练包括多个训练batch，在所述S10中，所述训练样本集包括预置的第一样本集和本地采集的第二样本集，对各所述训练batch中属于所述第二样本集的样本对应的各正样本依据可靠权重进行排序，输出可靠权重序列。
具体的，在第一阶段训练和第二阶段训练过程中，每一轮训练均包括多个训练batch(训练batch为：从样本集中选取小批量数据进行训练)；每个训练batch中的样本包括来自第一样本集和/或第二样本集的样本，如：每个训练batch包括Q个样本，y个样本来自第一样本集，z个样本来自第二样本集，其中，Q＝y+z；Q，y，z均为大于等于0的整数；在每轮训练过程中，weights通道根据第二样本集中各正样本的可靠程度输出对应的可靠权重，可以理解为，将异于大多数、难以拟合的正样本对应的伪标签给予较低的可靠权重，可靠的正样本给予较高的可靠权重；然后对可靠权重进行排序，得到可靠权重序列。
需要说明的是：训练样本集中的第一样本集中的各正样本的标签为人工标签，第二样本集中的标签为伪标签。
在一实施例中，请参见图16，所述S30包括：
S303：获取所述高可靠权重和所述低可靠权重在所述可靠权重序列的数量占比；
S304：根据所述数量占比由公式M＝α*N，输出各所述高可靠权重和各所述低可靠权重；
M为高可靠权重的数量，α为高可靠权重数量占比，N为各batch中可靠权重序列的可靠权重总数量。
具体的，对各训练batch中属于第二样本集的所有正样本对应的可靠权重按降序的方式进行排序；设高可靠权重的占比为α，低可靠权重的占比为1-α，由公式M＝α*N得到高可靠权重的数量。
S31：通过所述第一损失函数利用所述训练样本集对所述当前模型进行第一阶段训练，输出中间训练模型；
具体的，利用第一损失函数计算出训练样本集的原始损失值；然后根据该原始损失值对当前模型进行微调，实现网络收敛，从而保证当前模型的整体性，输出中间训练模型，用于下一阶段训练；伪标签包括正确标签和错误标签。
S32：利用所述第二损失函数和所述可靠权重在所述中间训练模型的基础上，对所述当前模型进行第二阶段训练，输出校验模型；
其中，所述第二阶段训练的各轮训练中，各正样本对应的可靠权重相互独立。
具体的，对当前模型完成第一阶段训练后，得到由所有样本训练出的一个网络收敛后的中间训练模型，然后由第二损失函数和各正样本对应的可靠权重在中间训练模型基础上继续进行第二阶段训练，最终输出校验模型；其中，第二阶段训练的每轮训练均会输出各正样本对应的可靠权重，各正样本的可靠权重结合第二损失函数对当前模型进行调整，实现模型的更新；在第二阶段训练的多轮训练结束后，输出校验模型；也就是说，第二阶段训练为根据第二损失函数和每一轮对应的不同的可靠权重进行继续，通过多轮训练，降低伪标签中不可靠标签在训练过程中的影响，最终输出目标训练模型；其中，不可靠标签为明显异于大多数、难以拟合的正样本对应的伪标签。
需要说明的是：各轮训练中各正样本的可靠权重是独立的；也就是说，当前轮训练时，当前模型对各正样本输出对应的可靠权重参与当前轮模型训练；下一轮训练时，下一轮对应的当前模型对各正样本输出对应的可靠权重参与下一前轮模型训练；任一两轮训练的可靠权重之间没有映射关系。
需要说明的是：每一轮训练包括多个训练batch，每完成一个训练batch；模型完成一次更新；也就是说，在每一个训练batch中，输出各正样本对应的可靠权重对应的模型均不相同；同时，每一个训练batch中的各正样本的可靠权重是相互独立的。
在一实施例中，请参见图17，在各训练batch中，当正样本属于第一样本集时，所述第二损失函数包括权重通道的第一监督函数，所述S32包括：
具体的，第一监督函数用于监督各训练batch，使得weights通道输出的属于第一样本集的各正样本在第二阶段训练结束后可靠权重整体满足可靠权重大于预设值，第一损失函数可以保证人工标签的正样本具有很高的可靠权重，从而使得带有人工标签的正样本在模型微调训练时的损失值最小。
S321：获取当前所述训练batch输出的各正样本的可靠权重；
具体的，当前训练batch的第一样本集的样本送入当前模型后，网络输出层的weights通道对各正样本输出对应的可靠权重。
S322：根据各所述可靠权重和所述第一监督函数
Figure BDA0003028286490000141
通过所述第二损失函数进行当前所述训练batch；
具体的，根据各正样本的可靠权重和第一监督函数，通过第一损失函数去调整当前模型的参数，完成当前训练batch对当前模型的更新。
S323：重复S321至S322，直到完成所述第二阶段训练，输出所述校验模型；
具体的，在第一监督函数的作用下，第二训练阶段通过多轮训练，使得最终的目标训练模型的weights通道输出的第一样本集的正样本的可靠权重整体大于可靠权重的预设值γ；也就是说，最终输出的第一样本集中的正样本的可靠权重绝大部分是大于γ的，极少部分可能小于γ；从而保证第一样本集的正样本整体损失小。
其中，y为一个训练batch中属于第一样本集的正样本总数量，γ为可靠权重的预设值，Wc表示第c个正样本的可靠权重。
在一实施例中，请参见图18，在各训练batch中，当正样本属于第二样本集的样本时，所述第二损失函数包括权重通道的第二监督函数，所述S32包括：
具体的，第二监督函数用于监督各训练batch，使得weights通道输出的属于第二样本集的各正样本在第二阶段训练结束后高可靠权重的第一权重平均值WH与低可靠权重对应的第二权重平均值WL的差值大于δ，强制网络区分高可靠权重和低可靠权重；实现在训练过程中对伪标签中的错误标签的可靠权重逐渐降低；提升模型自训练的准确性。
S324：获取当前所述训练batch输出的所述可靠权重序列；
具体的，当前训练batch的第二样本集的样本送入当前模型后，网络输出层的weights通道对各正样本输出对应的可靠权重，然后对可靠权重进行排序，得到可靠权重序列；检测结果至少包括以下之一：置信度信息、类别信息和位置信息。
S325：根据各所述高可靠权重，由公式
Figure BDA0003028286490000151
计算得到当前所述训练batch中各所述高可靠权重对应的第一权重平均值WH；
S326：根据各所述低可靠权重，由公式
Figure BDA0003028286490000152
计算得到当前所述训练batch中各所述低可靠权重对应的第二权重平均值WL；
S327：根据所述第一权重平均值WH、所述第二权重平均值WL和所述第二监督函数Lw＝max(0，δ-(wH-wL))，通过所述第二损失函数进行当前所述训练batch；
S328：重复S324至S327，直到完成所述第二阶段训练，输出所述校验模型；
其中，M为一个训练batch中高可靠权重的数量，N为一个训练batch中属于第二样本集的正样本总数量，Wa为高可靠权重中第a个可靠权重；Wb为低可靠权重中第b个可靠权重，δ为权重差值预设值。
具体的，在第二监督函数Lw＝max(0，δ-(wH-wL))的作用下，通过第二训练阶段的多轮训练，使得最终的目标训练模型的weights通道输出的高可靠权重的第一权重平均值WH与低可靠权重对应的第二权重平均值WL的差值大于δ；强制网络区分高可靠权重和低可靠权重；降低伪标签中不可靠标签在训练过程中的影响，最终输出目标训练模型。
在一实施例中，在所述S20中，所述第一损失函数至少包括以下之一：坐标损失、类别损失和置信度损失；所述第二损失函数至少包括以下之一：坐标损失、类别损失、置信度损失和权重通道损失。
具体的，以yolov3损失函数为例，第一损失函数包括：
坐标损失:
Figure BDA0003028286490000161
类别损失：
Figure BDA0003028286490000162
置信度损失:
Figure BDA0003028286490000163
其中，Lcoord，Lcls，Lconf分别表示坐标误差、类别误差和置信度误差,
Figure BDA0003028286490000164
表示智能摄像头获取的应用场景数据中第i网格的第j个候选框是否为数据处理任务的正样本，如果是
Figure BDA0003028286490000165
否则为0。
得到第一损失函数＝Lcoord+Lcls+Lconf。
第二损失函数为：
坐标损失:
Figure BDA0003028286490000166
类别损失：
Figure BDA0003028286490000167
置信度损失：
Figure BDA0003028286490000168
权重通道损失：
包括，第一监督函数：
Figure BDA0003028286490000171
以及，第二监督函数：Lw＝max(0，δ-(wH-wL))
得到第二损失函数＝Lcoord+Lcls+Lconf+σLw+θL′w。
其中，Lcoord，Lcls，Lconf分别表示坐标误差、类别误差和置信度误差，Lw和L’w分别表示第二样本集中目标和第一样本集中目标的可靠权重误差损失,
Figure BDA0003028286490000172
表示智能摄像头获取的应用场景数据中第i网格的第j个候选框是否为正样本，如果是
Figure BDA0003028286490000173
否则为0；wij表示第i网格的第j个候选框的正样本的可靠权重，x和y分别表示选框中心点的横坐标和纵坐标，w和n分别表示选框的宽和高，C表示类别，P表示置信度，S为网络输出层网格的数目，B为固定参考选框，λ、σ、θ为常数,δ为权重差值预设值。
采用本实施例的智能摄像头模型自训练的方法，智能摄像头对本地采集的图像数据组成的训练样本集进行检测，在本地直接利用第一损失函数计算各样本的损失值，然后对检测模型进行第一阶段的微调训练，完成模型的收敛，以便模型在本地训练提供可能；在完成第一阶段训练会，通过引入可靠权重和第二损失函数对检测模型进行第二阶段的训练，在可靠权重和第二损失函数的作用下，使得模型在缺少人为干预的情况下可以完成沿预计方向的微调训练；实现在用户端直接完成检测模型的微调训练，无需将本地数据上传服务器，可以保证数据的安全性和用户的隐私。
实施方式二
实施例4
本发明实施例4还提供了一种采用边缘计算优化智能摄像头检测模型的装置，如图19所示，包括：
数据采集模块：用于获取预置的第一样本集和智能摄像头采集的本地图像数据对应的第二样本集；
模型训练模块：用于采用所述第一样本集和所述第二样本集对当前模型进行微调训练，得到校验模型；
模型校验模块：用于对比所述当前模型和所述校验模型，输出目标模型。
采用本实施例的采用边缘计算优化智能摄像头检测模型的装置，获取预置在智能摄像头中的第一样本集和智能摄像头采集的本地图像数据对应的第二样本集，利用第一样本集和第二样本集在本地对当前使用的模型进行微调训练，完成当前模型的更新，输出校验模型；对比校验模型和当前模型的本地图像数据的检测效果，输出目标模型；通过在本地利用实际应用场景的本地实时图像结合预置的第一样本集进行训练，提高目标模型与实际应用场景的契合度，提高检测的准确性；同时，采用在设备端进行本地训练可以保护好用户隐私，提高数据的安全性。
实施例5
在实施例4中，通过置信度阈值来筛选伪标签；以减少伪标签中漏标、错标等错误标签；当置信度阈值设置不合理时，将会导致伪标签中存在漏标、错标等错误标签，最终影响微调训练后的目标模型的准确性；因此，在实施例4的基础上提出了置信度阈值的进一步改进对应的子装置。
请参见图20，包括：
样本数据模块：用于获取测试样本集和置信度阈值的取样步长；
数据检测模块：用于利用所述测试样本集对当前模型进行测试，输出与所述测试样本集中各正样本对应的检测结果；
数据处理模块：用于根据所述取样步长对应的各置信度阈值和所述检测结果，输出与各所述置信度阈值一一对应的mAP值；
目标输出模块：用于根据各所述mAP值，输出所述当前模型的目标置信度阈值。
采用本实施例的智能摄像头样本置信度阈值选择装置，通过设置取样步长得到多个置信度阈值，由当前模型对测试样本集进行测试，输出检测结果；由检测结果得到与各置信度阈值一一对应的mAP值，对比所有的mAP值，输出最大的mAP值对应的置信度阈值作为目标置信度阈值，可以使得检测结果的准确率和召回率处于最佳。当需要对检测模型进行微调训练时，可以直接在本地采用该方法确定置信度阈值，可以减少伪标签中漏标、错标等错误标签，提高伪标签的质量，提高检测模型训练的效果，该方法无需将本地数据上传服务器，可以保证数据的安全性和用户隐私。
实施例6
在实施例4和实施例5中，设置合理的置信度阈值可以减少伪标签中漏标、错标等错误标签；但是筛选后的伪标签中还是会存在漏标、错标等错误标签，若直接进行对当前模型进行微调训练，更新后的模型依然受错误标签的影响，导致更新后的模型的检测精度不高，因此在实施例4和/或实施例5的基础上进一步提出了，对模型的微调训练中利用第一样本集和第二样本集对当前模型微调训练的进一步改进；
请参见图21，包括：
训练数据模块：用于获取用于训练智能摄像头的当前模型的训练样本集、第一损失函数、第二损失函数和所述训练样本集中各正样本对应的可靠权重；
第一训练模块：用于通过所述第一损失函数利用所述训练样本集对所述当前模型进行第一阶段训练，输出中间训练模型；
第二训练模块：用于利用所述第二损失函数和所述可靠权重在所述中间训练模型的基础上，对所述当前模型进行第二阶段训练，输出校验模型；
其中，所述第二阶段训练的各轮训练中，各正样本对应的可靠权重相互独立。
采用本实施例的智能摄像头模型自训练的装置，智能摄像头对本地采集的图像数据组成的训练样本集进行检测，在本地直接利用第一损失函数计算各样本的损失值，然后对检测模型进行第一阶段的微调训练，完成模型的收敛，以便模型在本地训练提供可能；在完成第一阶段训练会，通过引入可靠权重和第二损失函数对检测模型进行第二阶段的训练，在可靠权重和第二损失函数的作用下，使得模型在缺少人为干预的情况下可以完成沿预计方向的微调训练；实现在用户端直接完成检测模型的微调训练，无需将本地数据上传服务器，可以保证数据的安全性和用户的隐私。
实施方式三：
本发明提供了一种电子设备和存储介质，如图22所示，包括至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令。
具体地，上述处理器可以包括中央处理器(CPU)，或者特定集成电路(ApplicationSpecific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路，电子设备至少包括以下之一：智能摄像头、具有智能摄像头的移动设备、具有智能摄像头的穿戴设备。
存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例方式一中任意一种采用边缘计算优化智能摄像头检测模型的方法、样本置信度阈值选择方法、模型自训练的方法。
在一个示例中，电子设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
通信接口，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
综上所述，本发明实施例提供了一种采用边缘计算优化智能摄像头检测模型的方法、样本置信度阈值选择方法、模型自训练的方法、装置、设备及存储介质。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种智能摄像头自训练置信度阈值的优化方法，其特征在于，所述方法包括：
获取测试样本集和置信度阈值的取样步长；
利用所述测试样本集对当前模型进行测试，输出所述测试样本集中的检测结果；
根据所述取样步长对应的各置信度阈值和所述检测结果，输出与各所述置信度阈值一一对应的mAP值；
对比各所述mAP值，输出与对比结果对应的目标mAP值作为所述当前模型的目标置信度阈值；
其中，所述目标mAP值为符合要求的mAP值，所述mAP值为平均精度值。
2.根据权利要求1所述的智能摄像头自训练置信度阈值的优化方法，其特征在于，在所述利用所述测试样本集对当前模型进行测试，输出所述测试样本集中的检测结果之后还包括：
对所述检测结果中各正样本的置信度进行排序，输出置信度序列；
对所述置信度序列进行取样，得到多个取样置信度；
输出各所述取样置信度一一对应的mAP值；
其中，将各取样置信度作为置信度阈值。
3.根据权利要求2所述的智能摄像头自训练置信度阈值的优化方法，其特征在于，所述对比各所述mAP值，输出与对比结果对应的目标mAP值作为所述当前模型的目标置信度阈值包括：
对比各所述取样置信度和各所述置信度阈值对应的mAP值，输出目标mAP值；
根据所述目标mAP值，将与所述目标mAP值对应的置信度阈值作为所述目标置信度阈值；
其中，所述目标mAP值为从各所述mAP值中筛选出的最大的mAP值。
4.根据权利要求3所述的智能摄像头自训练置信度阈值的优化方法，其特征在于，所述对比各所述取样置信度和各所述置信度阈值对应的mAP值，输出目标mAP值包括：
将各所述取样置信度和取样步长对应的置信度阈值记为第一置信度阈值组；
根据所述第一置信度阈值组中各置信度阈值对应的mAP值，输出最大的mAP值对应的参考置信度阈值，以及与所述参考置信度阈值相邻的前一置信度阈值和后一置信度阈值；
减小取样步长，输出所述前一置信度阈值与所述参考置信度阈值之间的第一置信度阈值区间和所述参考置信度阈值与所述后一置信度阈值之间的第二置信度阈值区间；
获取所述第一置信度阈值区间和所述第二置信度阈值区间的置信度阈值，得到新的所述第一置信度阈值组；
重复根据所述第一置信度阈值组中各置信度阈值对应的mAP值，输出最大的mAP值对应的参考置信度阈值，以及与所述参考置信度阈值相邻的前一置信度阈值和后一置信度阈值至获取所述第一置信度阈值区间和所述第二置信度阈值区间的置信度阈值，得到新的所述第一置信度阈值组，直到输出所述目标mAP值。
5.根据权利要求4所述的智能摄像头自训练置信度阈值的优化方法，其特征在于，在所述减小取样步长，输出所述前一置信度阈值与所述参考置信度阈值之间的第一置信度阈值区间和所述参考置信度阈值与所述后一置信度阈值之间的第二置信度阈值区间中，后一取样步长为前一取样步长的1/2。
6.根据权利要求2至5任一项所述的智能摄像头自训练置信度阈值的优化方法，其特征在于，所述根据所述取样步长对应的各置信度阈值和所述检测结果，输出与各所述置信度阈值一一对应的mAP值和/或所述输出各所述取样置信度一一对应的mAP值包括：
根据各所述取样置信度和/或各所述置信度阈值，以及所述测试样本集中各样本的检测结果，输出与各所述取样置信度和/或各所述置信度阈值一一对应的各类别的准确率和召回率；
根据各类别对应的所述准确率和所述召回率，输出与各所述取样置信度和/或各所述置信度阈值一一对应的mAP值。
7.一种采用边缘计算优化智能摄像头检测模型的方法，其特征在于，所述方法包括权利要求1至5任一项所述的智能摄像头自训练置信度阈值选择方法。
8.一种智能摄像头自训练置信度阈值的优化装置，其特征在于，包括：
样本数据模块：用于获取测试样本集和置信度阈值的取样步长；
数据检测模块：用于利用所述测试样本集对当前模型进行测试，输出所述测试样本集中的检测结果；
数据处理模块：用于根据所述取样步长对应的各置信度阈值和所述检测结果，输出与各所述置信度阈值一一对应的mAP值；
目标输出模块：用于对比各所述mAP值，输出与对比结果对应的目标mAP值作为所述当前模型的目标置信度阈值；
其中，所述目标mAP值为符合要求的mAP值，所述mAP值为平均精度值。
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-6中任一项所述的方法。
10.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202110433572.9A 2021-01-27 2021-01-27 智能摄像头自训练置信度阈值的优化方法、装置及设备 Pending CN113065513A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110433572.9A CN113065513A (zh) 2021-01-27 2021-01-27 智能摄像头自训练置信度阈值的优化方法、装置及设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110433572.9A CN113065513A (zh) 2021-01-27 2021-01-27 智能摄像头自训练置信度阈值的优化方法、装置及设备
CN202110109738.1A CN112434681B (zh) 2021-01-27 2021-01-27 智能摄像头自训练置信度阈值选择方法、装置及设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202110109738.1A Division CN112434681B (zh) 2021-01-27 2021-01-27 智能摄像头自训练置信度阈值选择方法、装置及设备

Publications (1)

Publication Number Publication Date
CN113065513A true CN113065513A (zh) 2021-07-02

Family

ID=74697345

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110433572.9A Pending CN113065513A (zh) 2021-01-27 2021-01-27 智能摄像头自训练置信度阈值的优化方法、装置及设备
CN202110109738.1A Active CN112434681B (zh) 2021-01-27 2021-01-27 智能摄像头自训练置信度阈值选择方法、装置及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110109738.1A Active CN112434681B (zh) 2021-01-27 2021-01-27 智能摄像头自训练置信度阈值选择方法、装置及设备

Country Status (1)

Country Link
CN (2) CN113065513A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052063A (zh) * 2021-03-23 2021-06-29 北京百度网讯科技有限公司 置信度阈值选择方法、装置、设备以及存储介质
CN112990035B (zh) * 2021-03-23 2023-10-31 北京百度网讯科技有限公司 一种文本识别的方法、装置、设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180012460A1 (en) * 2016-07-11 2018-01-11 Google Inc. Methods and Systems for Providing Intelligent Alerts for Events
KR101999993B1 (ko) * 2019-04-22 2019-07-15 케이에스아이 주식회사 레이더 및 카메라를 이용한 무인 단속시스템
WO2019233262A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 视频处理方法、电子设备、计算机可读存储介质
CN111783844A (zh) * 2020-06-10 2020-10-16 东莞正扬电子机械有限公司 基于深度学习的目标检测模型训练方法、设备及存储介质
CN112084815A (zh) * 2019-06-13 2020-12-15 成都天府新区光启未来技术研究院 一种基于摄像机焦距变换的目标检测方法、存储介质及处理器

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578468B (zh) * 2012-08-01 2017-06-27 联想(北京)有限公司 一种语音识别中置信度阈值的调整方法及电子设备
TWI587246B (zh) * 2015-11-20 2017-06-11 晶睿通訊股份有限公司 影像物件判別方法及其具有影像物件判別功能的攝影系統
CN108460395B (zh) * 2017-02-17 2023-04-07 北京三星通信技术研究有限公司 目标检测方法和装置以及模糊处理方法和装置
CN109325418A (zh) * 2018-08-23 2019-02-12 华南理工大学 基于改进YOLOv3的道路交通环境下行人识别方法
CN109767467B (zh) * 2019-01-22 2020-11-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN116485638A (zh) * 2019-12-31 2023-07-25 武汉星巡智能科技有限公司 基于深度卷积网络的图像风格迁移方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180012460A1 (en) * 2016-07-11 2018-01-11 Google Inc. Methods and Systems for Providing Intelligent Alerts for Events
WO2019233262A1 (zh) * 2018-06-08 2019-12-12 Oppo广东移动通信有限公司 视频处理方法、电子设备、计算机可读存储介质
KR101999993B1 (ko) * 2019-04-22 2019-07-15 케이에스아이 주식회사 레이더 및 카메라를 이용한 무인 단속시스템
CN112084815A (zh) * 2019-06-13 2020-12-15 成都天府新区光启未来技术研究院 一种基于摄像机焦距变换的目标检测方法、存储介质及处理器
CN111783844A (zh) * 2020-06-10 2020-10-16 东莞正扬电子机械有限公司 基于深度学习的目标检测模型训练方法、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
安浩南;赵明;潘胜达;林长青;: "基于伪模态转换的红外目标融合检测算法", 光子学报, no. 08 *
杨海龙;田莹;王澧冰;: "目标检测模型的优化训练方法研究", 辽宁科技大学学报, no. 02 *

Also Published As

Publication number Publication date
CN112434681B (zh) 2021-05-07
CN112434681A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN111181939B (zh) 一种基于集成学习的网络入侵检测方法及装置
CN112434681B (zh) 智能摄像头自训练置信度阈值选择方法、装置及设备
CN111353413A (zh) 一种输电设备低漏报率缺陷识别方法
CN110969215A (zh) 聚类处理方法和装置、存储介质及电子装置
CN106951828B (zh) 一种基于卫星影像和网络的城市区域功能属性的识别方法
CN113035241B (zh) 多特征融合识别婴儿哭声类别的方法、装置及设备
CN114360030A (zh) 一种基于卷积神经网络的人脸识别方法
CN112434680B (zh) 智能摄像头模型自训练方法、装置、设备及介质
CN110796580A (zh) 智能交通系统管理方法及相关产品
CN113468703A (zh) 一种ads-b报文异常检测器及检测方法
CN115953643A (zh) 基于知识蒸馏的模型训练方法、装置及电子设备
CN110290466B (zh) 楼层判别方法、装置、设备及计算机存储介质
CN112101313B (zh) 一种机房机器人巡检方法及系统
CN112949849B (zh) 采用边缘计算优化智能摄像头检测模型的方法和装置
CN114219051B (zh) 图像分类方法、分类模型的训练方法、装置及电子设备
CN115496954A (zh) 眼底图像分类模型构建方法、设备及介质
CN116091964A (zh) 高位视频场景解析方法以及系统
CN115081519A (zh) 基于强化学习的自动对星方法
CN112001211B (zh) 对象检测方法、装置、设备及计算机可读存储介质
CN113378762A (zh) 坐姿智能监测方法、装置、设备及存储介质
CN113793069A (zh) 深度残差网络的城市内涝积水智能识别方法
CN111860331A (zh) 无人机在安防未知域的人脸识别系统
CN111209860A (zh) 基于深度学习与强化学习的视频考勤系统及方法
CN114095947B (zh) 一种网络覆盖评估方法、装置、电子设备及存储介质
CN114158060B (zh) 一种小区网络优化方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination