CN112132220A - 一种自训练方法、系统、装置、电子设备及存储介质 - Google Patents
一种自训练方法、系统、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112132220A CN112132220A CN202011018277.9A CN202011018277A CN112132220A CN 112132220 A CN112132220 A CN 112132220A CN 202011018277 A CN202011018277 A CN 202011018277A CN 112132220 A CN112132220 A CN 112132220A
- Authority
- CN
- China
- Prior art keywords
- object detection
- data
- detection model
- model
- multimedia data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012549 training Methods 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 627
- 238000012360 testing method Methods 0.000 claims description 196
- 238000013139 quantization Methods 0.000 claims description 37
- 238000002372 labelling Methods 0.000 claims description 35
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013480 data collection Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000011002 quantification Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种自训练方法、系统、装置、电子设备及存储介质,涉及人工智能技术领域,包括:获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息;基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,目标属性为:第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性;利用第一样本数据对第一对象检测模型进行训练,得到第二对象检测模型。应用本申请实施例提供的方案,可以提高对象检测模型进行对象检测的准确度。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种自训练方法、系统、装置、电子设备及存储介质。
背景技术
随着人工智能技术的快速发展,对象检测模型的应用越来越广泛,其中,上述对象检测模型用于针对图像、音频等中的对象进行检测。
现有技术中,在获得对象检测模型时,通常需要搜集大量样本数据,利用所搜集的样本数据对初始模型进行训练,从而得到训练后的对象检测模型。为得到能够兼顾各种应用场景的对象检测模型,在搜集样本数据时,一般会从多个场景中分别搜集包含不同属性的对象的多种样本数据。然而在实际应用场景中,对象检测模型的输入数据主要集中在包含某些属性的对象的数据中。例如,上述对象为车辆时,对象的属性包括货车、卡车、商务车、轿车等,在对车辆检测模型进行训练时,所搜集的样本数据可以是货车图像、卡车图像、商务车图像、轿车图像等,若训练得到的车辆检测模型应用在城市交通道路场景中,则上述车辆检测模型的输入数据主要为商务车图像、轿车图像。
由于训练上述对象检测模型时,所采用的样本数据为包含不同属性的对象的多种数据,对于包含特定属性的对象的数据而言,针对性相对较弱。而实际应用场景中对象检测模型的输入数据一般为包含特定属性的对象的数据,所以,应用上述对象检测模型进行对象检测时,得到的检测结果准确度较低。
发明内容
本申请实施例的目的在于提供一种自训练方法、系统、装置、电子设备及存储介质,以提高对象检测模型进行对象检测的准确度。具体技术方案如下:
第一方面,本申请实施例提供了一种自训练方法,所述方法包括:
获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息,其中,所述第一对象检测模型为:所述数据采集设备当前使用的模型;
基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,所述目标属性为:所述第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性;
利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型。
本申请的一个实施例中,所述方法还包括:
基于测试数据,测试所述第二对象检测模型进行对象检测的准确度,得到测试结果,其中,所述测试数据包括已有测试数据和/或新测试数据,所述已有测试数据为:已使用过的、用于测试所述第一对象检测模型进行对象检测的准确度的数据,所述新测试数据为:未使用过的测试数据;
根据所述测试结果,确定是否将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型。
本申请的一个实施例中,所述新测试数据包括以下数据中的至少一种:
用户通过客户端输入的带有标注信息的数据;
由用户对候选数据进行标注得到的数据,其中,所述候选数据为:从所述数据采集设备采集的多媒体数据中抽取的数据。
本申请的一个实施例中,所述基于测试数据,测试所述第二对象检测模型进行对象检测的准确度,得到测试结果,包括:
将测试数据输入所述第一对象检测模型进行对象检测,得到第一输出结果,并将所述测试数据输入所述第二对象检测模型进行对象检测,得到第二输出结果;
计算所述第一输出结果相对标注信息的第一差异值,并计算所述第二输出结果相对所述标注信息的第二差异值,其中,所述标注信息为:预先对所述测试数据进行标注的信息;
基于所述第一差异值与第二差异值,判断所述第二对象检测模型进行对象检测的准确度是否高于所述第一对象检测模型进行对象检测的准确度,得到判断结果,作为测试结果。
本申请的一个实施例中,所述方法还包括:
在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,按照预设的量化方式对所述第二对象检测模型进行量化;
利用预设的校验数据,校验量化后第二对象检测模型相对量化前第二对象检测模型的一致性;
在检验结果表征量化后第二对象检测模型相对量化前第二对象检测模型一致的情况下,将量化后的第二对象检测模型的格式转化为所述数据采集设备支持的格式,并将所述数据采集设备中的所述第一对象检测模型更新为格式转化后的第二对象检测模型。
本申请的一个实施例中,所述方法还包括:
在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,将同类数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型,其中,所述同类数据采集设备为:使用所述第一对象检测模型的数据采集设备。
本申请的一个实施例中,所述利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型,包括:
利用所述第一样本数据和第二样本数据,对所述第一对象检测模型进行训练,得到第二对象检测模型,其中,所述第二样本数据为:用户通过客户端输入的多媒体数据。
本申请的一个实施例中,通过以下方式获得所述目标属性:
获得候选属性的出现频次,其中,所述候选属性为:所述第一对象检测模型对各多媒体数据进行对象检测的结果中置信度低于预设置信度阈值的对象的属性信息;
确定出现频次达到预设的频次条件的候选属性,作为目标属性。
第二方面,本申请实施例提供了一种自训练系统,所述系统包括自训练服务器和数据采集设备,其中:
所述数据采集设备,用于采集多媒体数据,基于第一对象检测模型检测各个多媒体数据中对象的属性信息,并向所述服务器发送所采集的多媒体数据及各个多媒体数据中对象的属性信息,其中,所述第一对象检测模型为:所述数据采集设备当前使用的模型;
所述服务器,用于接收所述数据采集设备发送的多媒体数据及各个多媒体数据中对象的属性信息,基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型,其中,所述目标属性为:所述第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性。
第三方面,本申请实施例提供了一种自训练装置,所述装置包括:
数据获得模块,用于获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息,其中,所述第一对象检测模型为:所述数据采集设备当前使用的模型;
数据选择模块,用于基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,所述目标属性为:所述第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性;
模型训练模块,用于利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型。
本申请的一个实施例中,所述装置还包括:
准确度测试模块,用于基于测试数据,测试所述第二对象检测模型进行对象检测的准确度,得到测试结果,其中,所述测试数据包括已有测试数据和/或新测试数据,所述已有测试数据为:已使用过的、用于测试所述第一对象检测模型进行对象检测的准确度的数据,所述新测试数据为:未使用过的测试数据;
结果确定模块,用于根据所述测试结果,确定是否将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型。
本申请的一个实施例中,所述新测试数据包括以下数据中的至少一种:
用户通过客户端输入的带有标注信息的数据;
由用户对候选数据进行标注得到的数据,其中,所述候选数据为:从所述数据采集设备采集的多媒体数据中抽取的数据。
本申请的一个实施例中,所述准确度测试模块,具体用于:
将测试数据输入所述第一对象检测模型进行对象检测,得到第一输出结果,并将所述测试数据输入所述第二对象检测模型进行对象检测,得到第二输出结果;
计算所述第一输出结果相对标注信息的第一差异值,并计算所述第二输出结果相对所述标注信息的第二差异值,其中,所述标注信息为:预先对所述测试数据进行标注的信息;
基于所述第一差异值与第二差异值,判断所述第二对象检测模型进行对象检测的准确度是否高于所述第一对象检测模型进行对象检测的准确度,得到判断结果,作为测试结果。
本申请的一个实施例中,所述装置还包括第一模型更新模块,具体用于:
在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,按照预设的量化方式对所述第二对象检测模型进行量化;
利用预设的校验数据,校验量化后第二对象检测模型相对量化前第二对象检测模型的一致性;
在检验结果表征量化后第二对象检测模型相对量化前第二对象检测模型一致的情况下,将量化后的第二对象检测模型的格式转化为所述数据采集设备支持的格式,并将所述数据采集设备中的所述第一对象检测模型更新为格式转化后的第二对象检测模型。
本申请的一个实施例中,所述装置还包括第二模型更新模块,具体用于:
在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,将同类数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型,其中,所述同类数据采集设备为:使用所述第一对象检测模型的数据采集设备。
本申请的一个实施例中,所述模型训练模块,具体用于:
利用所述第一样本数据和第二样本数据,对所述第一对象检测模型进行训练,得到第二对象检测模型,其中,所述第二样本数据为:用户通过客户端输入的多媒体数据。
本申请的一个实施例中,所述装置还包括目标属性确定模块,具体用于通过以下方式获得所述目标属性:
获得候选属性的出现频次,其中,所述候选属性为:所述第一对象检测模型对各多媒体数据进行对象检测的结果中置信度低于预设置信度阈值的对象的属性信息;
确定出现频次达到预设的频次条件的候选属性,作为目标属性。
第四方面,本申请实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法步骤。
第五方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的自训练方法。
本申请实施例有益效果:
应用本申请实施例提供的自训练方案训练对象检测模型时,首先获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息,其中,第一对象检测模型为:数据采集设备当前使用的模型,基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,目标属性为:第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性,利用第一样本数据对第一对象检测模型进行训练,得到第二对象检测模型。这样可以在第一对象检测模型应用的过程中,根据数据采集设备采集的多媒体数据,对第一对象检测模型进行训练。由于第一样本数据内的对象具有目标属性,而目标属性可以理解为第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度较低的多媒体数据中对象所具有的属性,也就说明第一对象检测模型对具有目标属性的多媒体数据进行对象检测的准确度较低,这样利用第一样本数据对第一对象检测模型进行训练,可以提高第一对象检测模型对具有目标属性的多媒体数据进行对象检测的准确度。由此可见,应用本申请实施例提供的方案,可以提高对象检测模型进行对象检测的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种自训练方法的流程示意图;
图2为本申请实施例提供的另一种自训练方法的流程示意图;
图3为本申请实施例提供的一种模型更新判断方法的流程示意图;
图4为本申请实施例提供的一种模型测试方法的流程示意图;
图5为本申请实施例提供的一种自训练开启过程的示意图;
图6为本申请实施例提供的一种查询自训练状态过程的示意图;
图7为本申请实施例提供的第一种自训练系统的结构示意图;
图8为本申请实施例提供的第一种自训练过程的示意图;
图9为本申请实施例提供的第二种自训练系统的结构示意图;
图10为本申请实施例提供的客户端与数据采集设备之间的结构示意图;
图11为本申请实施例提供的第二种自训练过程的示意图;
图12为本申请实施例提供的第三种自训练系统的结构示意图;
图13为本申请实施例提供的一种自训练装置的结构示意图;
图14为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为提高对象检测模型进行对象检测的准确度,本申请实施例提供了一种自训练方法、系统、装置、电子设备及存储介质,下面分别进行详细说明。
参见图1,图1为本申请实施例提供的一种自训练方法的流程示意图。该方法可以应用于电子设备,上述电子设备可以是具有对象检测功能的数据采集设备,数据采集设备中可以部署有对象检测模型,可以直接对所采集的多媒体数据中对象进行检测。上述数据采集设备可以是指采集多媒体数据的设备,具体的,上述数据采集设备可以是用于采集图像的设备,如IPC(IP Camera,网络摄像机)等,或者是带有图像采集功能的手机、平板电脑等;上述数据采集设备也可以是用来采集音频的设备,如拾音器,也可以是带有音频采集功能的手机、平板电脑等。上述数据采集设备还可以是间接获得多媒体数据的存储设备,如NVR(Network Video Recorder,网络硬盘录像机)、DVR(Digital Video Recorder,数字视频录像机)等,摄像机、拾音器等可以将采集的多媒体数据发送至存储设备,存储设备从而获得多媒体数据。上述电子设备还可以是服务器等。
上述自训练方法包括如下步骤101至步骤103。
步骤101,获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息。
其中,第一对象检测模型为:数据采集设备当前使用的模型。
上述多媒体数据可以是图像、视频、音频等。在多媒体数据为视频或图像的情况下,第一对象检测模型可以是用于对视频或图像中对象进行检测的模型,例如,在上述对象为车辆的情况下,第一对象检测模型可以是车辆检测模型、车辆分类模型等;在上述对象为人脸的情况下,第一对象检测模型可以是人脸识别模型;在多媒体数据为音频的情况下,第一对象检测模型可以是用于对音频中对象进行检测的模型,例如,在对象为语音片段的情况下,第一对象检测模型可以是语音识别模型等。
上述对象为第一对象检测模型所要检测的对象,属性信息为描述多媒体数据中对象所具有的属性的信息。例如,在第一检测模型为人脸识别模型的情况下,上述对象即为图像中的人脸,人脸的属性信息可以包括:人脸在图像中的位置、人脸的肤色、人脸是否佩戴饰物,如口罩、帽子、眼镜等;在第一对象检测模型为车辆检测模型的情况下,上述对象即为车辆,车辆的属性信息可以包括:车辆在图像中的位置、车辆的颜色、车辆的大小等。
具体的,数据采集设备可以对多媒体数据进行采集,然后第一对象检测模型对多媒体数据中对象进行检测。第一对象检测模型在对多媒体数据中对象进行检测时,可以得到检测时的过程信息以及检测结果信息,从上述过程信息和检测结果信息中选择用于描述多媒体数据中对象所具有的属性的信息,作为属性信息。
本申请的一个实施例中,可以获得数据采集设备采集的全部多媒体数据,也可以从数据采集设备采集的数据中抽取多媒体数据,具体可以按照预设的时间间隔抽取多媒体数据,也可以随机抽取多媒体数据等,本申请实施例并不对此进行限定。
步骤102,基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据。
其中,目标属性为:第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性。目标属性可以理解为:第一对象检测模型检测准确度较低的多媒体数据中对象所具有的属性,也就是,第一对象检测模型对包含具有目标属性的对象的多媒体数据进行对象检测的准确度较低。例如,假设车辆检测模型对车辆位于图像右上角的图像进行对象检测的准确度较低,则可以将车辆位于图像右上角作为目标属性。上述目标属性可以是用户预先设定的对象的属性。
上述自训练条件可以是:检测结果的准确度低于预设的准确度阈值,也可以是:检测结果的准确度低于准确度阈值的多媒体数据中对象所具有的属性的出现频次达到预设的频次阈值,还可以是:检测结果的准确度低于准确度阈值的多媒体数据中对象所具有的属性的出现频次,占所有多媒体数据中对象所具有的属性的出现频次的比率,达到预设的比率阈值等。
上述检测结果的准确度可以是第一对象检测模型输出的检测结果的置信度,也可以是利用预设的评估算法计算得到的检测结果的准确度,还可以是由用户对检测结果进行评分,根据评分得到的准确度。
具体的,可以预先在第一对象检测模型对多媒体数据中对象进行检测时,统计检测结果的准确度满足上述自训练条件的多媒体数据中对象所具有的属性,根据统计结果确定目标属性。在选择第一样本数据时,由于预先获得了多媒体数据中所包含的对象所具有的属性信息,因此可以从所获得的多媒体数据中,选择包含具有目标属性的对象的数据,作为第一样本数据。
例如,假设所确定的目标属性为黑色肤色的人脸,若所获得的图像中人脸具有的属性信息包括黑色肤色,则可以将该图像作为第一样本数据。
本申请的一个实施例中,属性信息中还可以包括对象评分,上述对象评分用于表征:多媒体数据中所包含的内容为该对象的概率。例如,针对人脸图像,其对象评分表征:该图像中所包含的内容为人脸的概率。这样在选择第一样本数据时,还可以选择对象评分达到预设的评分阈值的多媒体数据,作为第一样本数据。
步骤103,利用第一样本数据对第一对象检测模型进行训练,得到第二对象检测模型。
具体的,由于所选择的第一样本数据中未携带标注信息,因此可以利用第一样本数据对第一对象检测模型进行无监督训练,得到第二对象检测模型。
本申请的一个实施例中,可以利用第一样本数据和第二样本数据,对第一对象检测模型进行训练,得到第二对象检测模型。
其中,第二样本数据为:用户通过客户端输入的多媒体数据。第二样本数据可以是从多媒体数据库中获取的数据,也可以是其他数据采集设备采集的数据等。第二样本数据可以是包含具有目标属性的对象的数据,也可以是包含具有其他属性的对象的数据。
上述客户端可以是手机、电子计算机、平板电脑等,用户通过客户端可以实现与电子设备的数据交互和指令交互。
具体的,用户通过客户端输入的多媒体数据可以是携带标注信息的数据,也可以是未携带标注信息的数据。在第二样本数据是携带标注信息的数据的情况下,可以利用第一样本数据对第一对象检测模型进行无监督训练,并利用第二样本数据对第一对象检测模型进行有监督训练,最终得到第二对象检测模型;在第二样本数据是未携带标注信息的数据的情况下,可以利用第一样本数据与第二样本数据对第一对象检测模型进行无监督训练,得到第二对象检测模型。
由于第二样本数据为用户通过客户端输入的数据,用户在通过客户端输入第二样本数据时,可以选择更有针对性的多媒体数据用于对第一对象检测模型进行训练,从而进一步提高训练后第二对象检测模型的准确度。
本申请的一个实施例中,在电子设备中存储有多个对象检测模型时,需要从所存储的对象检测模型中选择第一对象检测模型,利用第一样本数据对所选择的第一对象检测模型进行训练。在选择第一对象检测模型时,也可以根据第一样本数据中的对象的属性信息进行选择,例如,在第一样本数据的对象的属性信息表示该第一样本数据为车辆图像时,则可以选择车辆检测模型作为第一对象检测模型,在第一样本数据的对象的属性信息表示该第一样本数据为人脸图像时,则可以选择人脸识别模型作为第一对象检测模型。
应用上述实施例提供的自训练方案训练对象检测模型时,首先获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息,其中,第一对象检测模型为:数据采集设备当前使用的模型,基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,目标属性为:第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性,利用第一样本数据对第一对象检测模型进行训练,得到第二对象检测模型。这样可以在第一对象检测模型应用的过程中,根据数据采集设备采集的多媒体数据,对第一对象检测模型进行训练。由于第一样本数据内的对象具有目标属性,而目标属性可以理解为第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度较低的多媒体数据中对象所具有的属性,也就说明第一对象检测模型对具有目标属性的多媒体数据进行对象检测的准确度较低,这样利用第一样本数据对第一对象检测模型进行训练,可以提高第一对象检测模型对具有目标属性的多媒体数据进行对象检测的准确度。由此可见,应用上述实施例提供的方案,可以提高对象检测模型进行对象检测的准确度。
除此之外,上述实施例提供的方案中,从图像采集设备采集的多媒体数据中选择第一样本数据,利用所选择的第一样本数据对第一对象检测模型进行训练,这样无需从各个对媒体数据平台搜集样本数据,可以降低获得样本数据的困难度。所选择的第一样本数据为包含具有目标属性的对象的数据,在选择第一样本数据时不受工作人员主观影响,从而提高所选择的第一样本数据的准确度,进而提高训练得到的对象检测模型的准确度。并且在基于所筛选的第一样本数据进行模型训练时,无需对第一样本数据进行标注,减少对样本数据进行标注的工作量,提高模型训练的效率。
本申请的一个实施例中,在获得目标属性时,可以获得候选属性的出现频次,确定出现频次达到预设的频次条件的候选属性,作为目标属性。
其中,候选属性为:第一对象检测模型对各多媒体数据进行对象检测的结果中置信度低于预设置信度阈值的对象的属性信息。
频次条件可以是出现频次达到预设的次数阈值,例如,次数阈值可以是100次、500次、1000次等。频次条件也可以是各个候选属性出现频次占所有候选属性出现频次总数的比率达到预设的比率阈值。例如,假设对象为车辆,候选属性包括黑色车辆、灰色车辆、绿色车辆,比率阈值为60%,其中,黑色车辆的出现频次为30次,灰色车辆的出现频次为80次,绿色车辆的出现频次为20次,可见,灰色车辆的出现频次占出现频次总数的比率为61%,达到了上述比率阈值,因此可以认为灰色车辆的出现频次达到预设的频次条件,可以将灰色车辆作为目标属性。
具体的,第一对象检测模型在使用过程中,对输入的多媒体数据中对象进行检测时,可以得到检测结果,以及检测结果的置信度。可以记录检测结果的置信度低于置信度阈值的多媒体数据中对象所具有的属性,作为候选属性,当所记录的候选属性的出现频次达到预设的频次条件时,则可以将该候选属性作为目标属性。
参见图2,本申请的一个实施例中,在上述步骤103训练得到第二对象检测模型后,还可以包括如下步骤104。
步骤104,基于测试数据,测试第二对象检测模型进行对象检测的准确度,得到测试结果,根据测试结果,确定是否将数据采集设备中的第一对象检测模型更新为第二对象检测模型。
其中,测试结果表征第二对象检测模型进行对象检测的准确度。测试数据包括已有测试数据和/或新测试数据,已有测试数据为:已使用过的、用于测试第一对象检测模型进行对象检测的准确度的数据。上述已有测试数据可以是预先存储的多媒体数据。已有测试数据中可以携带标注信息,这样便于利用已有测试数据对第二对象检测模型进行测试。
新测试数据为:未使用过的测试数据,也就是之前未对第一对象检测模型的准确度进行测试过的数据。新测试数据可以是预先获得的数据中未使用过的数据,也可以是在得到表征第二对象检测模型进行对象检测的准确度高于第一对象检测模型进行对象检测的准确度的第一测试结果后,获得的数据。
测试第二对象检测模型进行对象检测的准确度,并根据检测出的准确度,确定是否将数据采集设备中的第一对象检测模型更新为第二对象检测模型。
具体的,对于训练得到的第二对象检测模型,可以基于测试数据检测第二对象检测模型进行对象检测的准确度,在准确度较高的情况下,可以将数据采集设备中的第一对象检测模型更新为第二对象检测模型;在准确度较低的情况下,可以不对数据采集设备中的第一对象检测模型进行更新,也可以继续对第二对象检测模型进行训练,直至第二对象检测模型进行对象检测的准确度高于第一对象检测模型进行对象检测的准确度。
本申请的一个实施例中,可以将测试数据输入第一对象检测模型进行对象检测,得到第一输出结果,并将测试数据输入第二对象检测模型进行对象检测,得到第二输出结果,计算第一输出结果相对标注信息的第一差异值,并计算第二输出结果相对标注信息的第二差异值,其中,标注信息为:预先对测试数据进行标注的信息,基于第一差异值与第二差异值,判断第二对象检测模型进行对象检测的准确度是否高于第一对象检测模型进行对象检测的准确度,得到判断结果,作为测试结果。
其中,标注信息为:预先对已有测试数据进行标注的信息。上述第一差异值和第二差异值可以通过计算欧氏距离、余弦相似度、曼哈顿距离等得到。例如,可以计算第一输出结果相对标注信息的余弦相似度,作为第一差异值。
具体的,在第一差异值大于第二差异值的情况下,说明第一对象检测模型对测试数据中对象进行检测得到的第一输出结果与标注信息相差较大,进而说明第一对象检测模型对对象进行检测的准确度较低,因此可以判断第二对象检测模型进行对象检测的准确度高于第一对象检测模型进行对象检测的准确度;在第一差异值小于第二差异值的情况下,说明第一对象检测模型对测试数据中对象进行检测得到的第一输出结果与标注信息相差较小,进而说明第一对象检测模型对对象进行检测的准确度较高,因此可以判断第一对象检测模型进行对象检测的准确度高于第二对象检测模型进行对象检测的准确度。将上述判断结果作为测试结果,进而可以根据测试结果确定是否将数据采集设备中的第一对象检测模型更新为第二对象检测模型。
本申请的一个实施例中,还可以仅将测试数据输入第二对象检测模型,得到第三输出结果,计算第三输出结果相对标注信息的第三差异值,在第三差异值小于预设的差异度阈值的情况下,认为第二对象检测模型进行对象检测的准确度较高,在第三差异值不小于于预设的差异度阈值的情况下,认为第二对象检测模型进行对象检测的准确度较低。其中,上述差异度阈值可以由人工根据经验设定,也可以通过计算第一对象检测模型对测试数据中对象进行检测得到的测试结果相对标注信息的差异值的均值得到,上述均值可以是算数平均值、加权平均值等。
本申请的一个实施例中,上述新测试数据可以是用户通过客户端输入的带有标注信息的数据,具体可以是从多媒体数据库中获取的数据,也可以是其他数据采集设备采集的数据等。在获得上述多媒体数据后,可以由用户对多媒体数据进行标注,将标注后的多媒体数据通过客户端输入电子设备,从而得到新测试数据。
上述新测试数据还可以是由用户对候选数据进行标注得到的数据,其中,候选数据为:从数据采集设备采集的多媒体数据中抽取的数据。具体的,电子设备在上述步骤101获得数据采集设备采集的多媒体数据后,可以从多媒体数据中抽取部分数据发送至客户端,用户通过客户端对上述数据进行标注,客户端再将标注后的数据返回至电子设备,从而得到新测试数据。
其中,在从多媒体数据中抽取候选数据时,可以随机抽取,也可以按照预设的数据采集间隔抽取,例如,在多媒体数据为图像时,可以每间隔60帧抽取一图像,作为候选数据。也可以根据多媒体数据所包含对象的属性信息,抽取满足预设属性的数据,作为候选数据。所抽取的数据可以是用于进行模型训练的数据,也可以是进行模型训练的数据以外的数据。
本申请的一个实施例中,还可以从第一样本数据中抽取部分数据,由用户对所抽取的数据进行标注,将标注后的数据作为上述新测试数据。可以理解为,基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据。将所选择的数据分为两部分,一部分作为样本数据,用于对第一对象检测模型进行训练;另一部分数据在标注后作为测试数据,用于对训练后得到的第二对象检测模型进行测试。
本申请的一个实施例中,还可以根据测试得到的第二对象检测模型的准确度,对第二对象检测模型进行评分,并将评分结果通过客户端向用户进行展示。用户基于评分结果,可以通过客户端发送指令,指示是否将数据采集设备中的第一对象检测模型更新为第二对象检测模型。
本申请的一个实施例中,在确定将数据采集设备中的第一对象检测模型更新为第二对象检测模型的情况下,按照预设的量化方式对第二对象检测模型进行量化,利用预设的校验数据,校验量化后第二对象检测模型相对量化前第二对象检测模型的一致性,在检验结果表征量化后第二对象检测模型相对量化前第二对象检测模型一致的情况下,将量化后的第二对象检测模型的格式转化为数据采集设备支持的格式,并将数据采集设备中的第一对象检测模型更新为格式转化后的第二对象检测模型。
其中,上述量化方式可以是权重量化、激活值量化等。对第二对象检测模型进行量化可以使得第二对象检测模型更加精简,在运行第二对象检测模型时可以节省内存,提高模型运行效率。
针对量化后的第二对象检测模型,可以利用检验数据对量化后第二对象检测模型相对量化前第二对象检测模型的一致性进行检验。具体的,可以将校验数据输入量化后的第二对象检测模型,得到第一校验结果,并将校验数据输入量化前的第二对象检测模型,得到第二校验结果,计算第一校验结果相对第二校验结果的差异值,根据上述差异值判断量化后第二对象检测模型相对量化前第二对象检测模型的一致性。在上述差异值小于预设的差异值阈值的情况下,说明量化后第二对象检测模型对多媒体数据中对象进行检测得到的检测结果,相对量化前第二对象检测模型对多媒体数据中对象进行检测得到的检测结果差异度较小,因此可以认为量化后第二对象检测模型相对量化前第二对象检测模型一致。
在检验结果表征量化后第二对象检测模型相对量化前第二对象检测模型一致的情况下,可以对量化后第二对象检测模型进行格式转化。具体的,不同的数据采集设备支持的模型的格式可能不同,上述格式包括模型中数据的位宽、排列方式、进位制等。例如,不同的数据采集设备部署的处理器可能由不同的厂商生产得到,如英伟达、英特尔、AMD(Advanced Micro Devices,超微半导体)等,不同厂商生产的处理器所支持的模型的格式不同。可以首先确定数据采集设备所支持的模型的格式,然后按照所确定的格式对量化后的第二对象检测模型进行格式转化,这样可以使得格式转化后的第二对象检测模型可以运行在数据采集设备中,因此可以将数据采集设备中的第一对象检测模型更新为格式转化后的第二对象检测模型。
本申请的一个实施例中,在确定将数据采集设备中的第一对象检测模型更新为第二对象检测模型的情况下,将同类数据采集设备中的第一对象检测模型更新为第二对象检测模型。
其中,同类数据采集设备为:使用第一对象检测模型的数据采集设备。例如,假设第一对象检测模型为人脸识别模型,则同类数据采集设备为使用人脸识别模型的数据采集设备。
具体的,由于各个同类数据采集设备中使用的第一对象检测模型相同,在确定将数据采集设备中的第一对象检测模型更新为第二对象检测模型的情况下,可以说明第二对象检测模型进行对象检测的准确度高于第一对象检测模型的准确度,也就是第二对象检测模型的准确度高于各个同类数据采集设备中使用的第一对象检测模型,因此可以将各个同类数据采集设备中的第一对象检测模型更新为第二对象检测模型。
参见图3,本申请的一个实施例中,对于上述步骤104在确定是否对数据采集设备中的第一对象检测模型进行更新时,可以包括如下步骤1041至步骤1043。
步骤1041,基于已有测试数据,测试第二对象检测模型进行对象检测的准确度,得到第一测试结果。
本申请的一个实施例中,可以将已有测试数据输入第一对象检测模型进行对象检测,得到第一输出结果,并将已有测试数据输入第二对象检测模型进行对象检测,得到第二输出结果,计算第一输出结果相对标注信息的第一差异值,并计算第二输出结果相对标注信息的第二差异值,基于第一差异值与第二差异值,判断第二对象检测模型进行对象检测的准确度是否高于第一对象检测模型进行对象检测的准确度,得到判断结果,作为第一测试结果。
具体的,在第一差异值大于第二差异值的情况下,说明第一对象检测模型对已有测试数据中对象进行检测得到的第一输出结果与标注信息相差较大,进而说明第一对象检测模型对对象进行检测的准确度较低;在第一差异值小于第二差异值的情况下,说明第一对象检测模型对已有测试数据中对象进行检测得到的第一输出结果与标注信息相差较小,进而说明第一对象检测模型对对象进行检测的准确度较高。
本申请的一个实施例中,还可以仅将已有测试数据输入第二对象检测模型,得到第三输出结果,计算第三输出结果相对标注信息的第三差异值,在第三差异值小于预设的差异度阈值的情况下,认为第二对象检测模型进行对象检测的准确度较高,在第三差异值不小于于预设的差异度阈值的情况下,认为第二对象检测模型进行对象检测的准确度较低。其中,上述差异度阈值可以由人工根据经验设定,也可以通过计算第一对象检测模型对已有测试数据中对象进行检测得到的测试结果相对标注信息的差异值的均值得到,上述均值可以是算数平均值、加权平均值等。
步骤1042,在第一测试结果表征第二对象检测模型进行对象检测的准确度高于第一对象检测模型进行对象检测的准确度的情况下,基于新测试数据,重新测试第二对象检测模型进行对象检测的准确度,得到第二测试结果。
具体的,在基于已有测试数据得到表征第二对象检测模型进行对象检测的准确度高于第一对象检测模型进行对象检测的准确度的第一测试结果后,可以利用新测试数据再次对第二对象检测模型进行测试,得到第二测试结果。其中测试方式同上述步骤1041类似,在此不做赘述。
步骤1043,根据第二测试结果,确定是否将数据采集设备中的第一对象检测模型更新为第二对象检测模型。
具体的,可以在第二测试结果表征第二对象检测模型进行对象检测的准确度高于第一对象检测模型进行对象检测的准确度的情况下,确定将数据采集设备中的第一对象检测模型更新为第二对象检测模型,否则,不对数据采集设备中的第一对象检测模型进行更新。
还可以将第二测试结果通过展示给用户,由用户确定是否将数据采集设备中的第一对象检测模型更新为第二对象检测模型,在接收到用户通过客户端发送的更新指令的情况下,将数据采集设备中的第一对象检测模型更新为第二对象检测模型。
这样首先基于已有测试数据对第二对象检测模型进行对象检测的准确度进行测试,在第一测试结果表征第二对象检测模型的准确度较高时,进一步基于新测试数据对第二对象检测模型的准确度进行测试,再根据第二测试结果确定是否将数据采集设备中的第一对象检测模型更新为第二对象检测模型,可以使得测试结果的准确度更高。
本申请的一个实施例中,在未获得用户通过客户端发送的新测试数据的情况下,则可以直接根据第一测试结果确定是否将数据采集设备中的第一对象检测模型更新为第二对象检测模型。
参见图4,图4为本申请实施例提供的一种模型测试方法的流程示意图,该方法包括如下步骤401至步骤406。
步骤401,利用已有测试数据对第二对象检测模型进行对象检测的准确度进行测试,得到第一测试结果;
步骤402,基于第一测试结果判断第二对象检测模型进行对象检测的准确度是否高于第一对象检测模型进行对象检测的准确度,若为否,执行步骤403,若为是,执行步骤404;
步骤403,继续对第二对象检测模型进行训练;
步骤404,判断是否获得新测试数据,若为是,执行步骤405,若为否,执行步骤406;
步骤405,利用新测试数据对第二对象检测模型进行对象检测的准确度进行测试,得到第二测试结果;
步骤406,通过客户端对测试结果进行展示。
参见图5,图5为本申请实施例提供的一种自训练开启过程的示意图,客户端可以将GUI(Graphical User Interface,图形用户接口)展示给用户,用户通过操作GUI界面中确定开启自训练,客户端通过GUI获得开启自训练的指令后,再向电子设备发送开启自训练的指令。电子设备中可以包含执行自训练的应用程序,在接收到开启自训练的指令后,首先校验该指令是否正确,若不正确,则生成表征指令发生错误的错误码信息,作为结果信息返回至客户端,若正确,则对自训练功能进行初始化,并判断是否初始化成功。若为否,则生成表征初始化失败的错误码信息,作为结果信息返回至客户端,若为是,则将初始化成功的信息作为结果信息返回至客户端。客户端在向电子设备发送开启自训练的指令后,检测是否收到电子设备返回的结果信息,若为否,则等待接收上述结果信息,若为是,则根据结果信息判断是否成功开启自训练。若为否,则可以提示用户开启自训练失败,并根据返回结果中的错误码信息提示用户,具体可以以弹窗的形式对用户做出提示,若为是,则可以提示用户开启自训练成功。
应用上述实施例提供的方案,用户可以通过客户端自主选择是否开启执行自训练,提高开启自训练的自由度,给用户带来更好的体验。
本申请的一个实施例中,也可以是电子设备在检测到使用的第一对象检测模型对包含具有任一属性的对象的多媒体数据中对象进行检测的准确度较低的情况下,开启自训练,并将上述任一属性作为目标属性,从而提高第一对象检测模型对包含具有任一属性的对象的多媒体数据中对象进行检测的准确度。
参见图6,图6为本申请实施例提供的一种查询自训练状态过程的示意图。用户可以通过操作客户端提供的GUI界面查询自训练状态,客户端在接收到查询自训练状态的指令后,可以向电子设备发送查询自训练状态的指令,电子设备接收上述指令,并查询自训练状态,将查询到的自训练状态作为结果信息,并返回至客户端。客户端检测是否接收到结果信息,若为否,则继续等待接收结果信息,若为是,则根据结果信息判断自训练状态是否发生改变。若为否,则提示用户自训练状态未发生改变,若为是,则根据结果信息更新自训练状态,并判断自训练是否完成,若为是,则提示用户自训练结束,若为否,则返回查询自训练状态。
本申请实施例提供的自训练方法可以应用在自训练系统中,一种情况下,在自训练系统包括客户端、自训练服务器、数据采集设备的情况下,自训练方法可以应用在自训练系统的自训练服务器中,上述数据采集设备可以是具有分析功能的IPC、NVR、DVR,也可以是具有分析功能的服务器等。另一种情况下,在自训练系统包括客户端和数据采集设备的情况下,自训练方法也可以应用在数据采集设备中,下面分别进行详细说明。
参见图7,图7为本申请实施例提供的第一种自训练系统的结构示意图。如图7所示,自训练系统中可以包括客户端、自训练服务器和多个数据采集设备,其中,客户端与自训练服务器之间可以通过网络进行连接,自训练服务器与各个数据采集设备之间也可以通过网络进行连接。
参见图8,图8为本申请实施例提供的第一种自训练过程的示意图。如图8所示:
数据采集设备可以获得多媒体数据,并利用对象检测模型对多媒体数据进行对象检测,得到多媒体数据中对象的属性信息,作为检测结果;
自训练服务器可以从数据采集设备中获得多媒体数据,以及多媒体数据中对象的属性信息,并从多媒体数据中选择包含具有目标属性的对象的数据,作为用于进行模型训练的第一样本数据。自训练服务器还可以根据多媒体数据的属性信息,从存储的多个对象检测模型中选择对应的第一对象检测模型;
其中,自训练服务器在获得多媒体数据和属性信息时,可以从多个同类数据采集设备中获得多媒体数据和属性信息;
客户端也可以获得第二样本数据,并对第二样本数据进行标注,将标注后的第二样本数据发送至自训练服务器;
自训练服务器可以对第一样本数据和第二样本数据进行管理,并利用第一样本数据和第二样本数据,对所选择的第一对象检测模型进行自训练,得到第二对象检测模型。然后利用测试数据对第二对象检测模型的准确度进行评估;
自训练服务器可以从所管理的样本数据中选择未标注的数据发送至客户端,由用户通过客户端对上述数据进行标注,得到新测试数据,并将新测试数据发送至自训练服务器,这样自训练服务器可以利用新测试数据对第二对象检测模型的准确度进行评估;
自训练服务器在评估第二对象检测模型的准确度未满足更新条件的情况下,可以继续从数据采集设备中获得多媒体数据及属性信息来继续对模型进行训练;在评估第二对象检测模型的准确度满足更新条件的情况下,可以对模型进行转化,包括对第二对象检测模型进行量化和格式转化,并校验转化后第二对象检测模型相对转化前第二对象检测模型的一致性,在校验结果不一致的情况下,可以继续从数据采集设备中获得多媒体数据及属性信息来继续对模型进行训练,在校验结果一致的情况下,可以进行模型更新,将数据采集设备中第一对象检测模型更新为第二对象检测模型。
除此之外,自训练服务器还可以对训练得到的第二对象检测模型进行存储,这样便于后续针对第二对象检测模型进行自训练。
参见图9,图9为本申请实施例提供的第二种自训练系统的结构示意图。如图9所示,自训练系统中可以包括客户端和多个数据采集设备,其中,客户端与多个数据采集设备之间可以通过网络进行连接。
参见图10,图10为本申请实施例提供的客户端与数据采集设备之间的结构示意图。如图10所示,客户端与数据采集设备相连接,数据采集设备中包含主控单元和多个计算单元,其中,主控单元可以用于读取数据、调用计算单元等,各个计算单元可以用于模型运行、模型训练等。数据采集设备中还可以包括存储单元,用于对数据采集设备所部署的对象检测模型、所采集得到的多媒体数据、训练后的对象检测模型等进行存储。这样控制单元可以从存储单元中读取样本数据及对象检测模型,利用所读取的样本数据对所读取的对象检测模型进行训练,并将训练后的对象检测模型存储至存储单元。通过客户端可以控制数据采集设备中的主控单元调用指定的计算单元来进行模型训练。
参见图11,图11为本申请实施例提供的第二种自训练过程的示意图,如图11所示:
数据采集设备可以获得多媒体数据,并利用对象检测模型对多媒体数据进行对象检测,得到多媒体数据中对象的属性信息,作为检测结果。从检测结果中获得多媒体数据,以及多媒体数据中对象的属性信息,然后从多媒体数据中选择包含具有目标属性的对象的数据,作为用于进行模型训练的第一样本数据。还可以根据多媒体数据的属性信息,从存储的多个对象检测模型中选择对应的第一对象检测模型;
其中,在获得多媒体数据和属性信息时,可以从多个同类数据采集设备中获得多媒体数据和属性信息;
客户端也可以获得第二样本数据,并对第二样本数据进行标注,将标注后的第二样本数据发送至数据采集设备;
数据采集设备可以对第一样本数据和第二样本数据进行管理,并利用第一样本数据和第二样本数据,对所选择的第一对象检测模型进行自训练,得到第二对象检测模型。然后利用测试数据对第二对象检测模型的准确度进行评估;
数据采集设备可以从所管理的样本数据中选择未标注的数据发送至客户端,由用户通过客户端对上述数据进行标注,得到新测试数据,并将新测试数据发送至数据采集设备,这样数据采集设备可以利用新测试数据对第二对象检测模型的准确度进行评估;
数据采集设备在评估第二对象检测模型的准确度未满足更新条件的情况下,可以继续获得多媒体数据及属性信息来继续对模型进行训练;在评估第二对象检测模型的准确度满足更新条件的情况下,可以对模型进行转化,包括对第二对象检测模型进行量化和格式转化,并校验转化后第二对象检测模型相对转化前第二对象检测模型的一致性,在校验结果不一致的情况下,可以继续获得多媒体数据及属性信息来继续对模型进行训练,在校验结果一致的情况下,可以进行模型更新,将自身的第一对象检测模型更新为第二对象检测模型。
参见图12,图12为本申请实施例提供的第三种自训练系统的结构示意图,所述系统包括自训练服务器1201和数据采集设备1202,其中:
所述数据采集设备1202,用于采集多媒体数据,基于第一对象检测模型检测各个多媒体数据中对象的属性信息,并向所述自训练服务器1201发送所采集的多媒体数据及各个多媒体数据中对象的属性信息,其中,所述第一对象检测模型为:所述数据采集设备1202当前使用的模型;
所述自训练服务器1201,用于接收所述数据采集设备1202发送的多媒体数据及各个多媒体数据中对象的属性信息,基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型,其中,所述目标属性为:所述第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性。
本申请的一个实施例中,所述自训练服务器1201还用于:
基于测试数据,测试所述第二对象检测模型进行对象检测的准确度,得到测试结果,其中,所述测试数据包括已有测试数据和/或新测试数据,所述已有测试数据为:已使用过的、用于测试所述第一对象检测模型进行对象检测的准确度的数据,所述新测试数据为:未使用过的测试数据;
根据所述测试结果,确定是否将所述数据采集设备1202中的所述第一对象检测模型更新为所述第二对象检测模型。
本申请的一个实施例中,所述新测试数据包括以下数据中的至少一种:
用户通过客户端输入的带有标注信息的数据;
由用户对候选数据进行标注得到的数据,其中,所述候选数据为:从所述数据采集设备1202采集的多媒体数据中抽取的数据。
本申请的一个实施例中,所述自训练服务器1201,具体用于:
将测试数据输入所述第一对象检测模型进行对象检测,得到第一输出结果,并将所述测试数据输入所述第二对象检测模型进行对象检测,得到第二输出结果;
计算所述第一输出结果相对标注信息的第一差异值,并计算所述第二输出结果相对所述标注信息的第二差异值,其中,所述标注信息为:预先对所述测试数据进行标注的信息;
基于所述第一差异值与第二差异值,判断所述第二对象检测模型进行对象检测的准确度是否高于所述第一对象检测模型进行对象检测的准确度,得到判断结果,作为测试结果。
本申请的一个实施例中,所述自训练服务器1201还用于:
在确定将所述数据采集设备1202中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,按照预设的量化方式对所述第二对象检测模型进行量化;
利用预设的校验数据,校验量化后第二对象检测模型相对量化前第二对象检测模型的一致性;
在检验结果表征量化后第二对象检测模型相对量化前第二对象检测模型一致的情况下,将量化后的第二对象检测模型的格式转化为所述数据采集设备1202支持的格式,并将所述数据采集设备1202中的所述第一对象检测模型更新为格式转化后的第二对象检测模型。
本申请的一个实施例中,所述自训练服务器1201还用于:
在确定将所述数据采集设备1202中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,将同类数据采集设备1202中的所述第一对象检测模型更新为所述第二对象检测模型,其中,所述同类数据采集设备1202为:使用所述第一对象检测模型的数据采集设备1202。
本申请的一个实施例中,所述自训练服务器1201,具体用于:
利用所述第一样本数据和第二样本数据,对所述第一对象检测模型进行训练,得到第二对象检测模型,其中,所述第二样本数据为:用户通过客户端输入的多媒体数据。
本申请的一个实施例中,所述自训练服务器1201用于通过以下方式获得所述目标属性:
获得候选属性的出现频次,其中,所述候选属性为:所述第一对象检测模型对各多媒体数据进行对象检测的结果中置信度低于预设置信度阈值的对象的属性信息;
确定出现频次达到预设的频次条件的候选属性,作为目标属性。
参见图13,图13为本申请实施例提供的一种自训练装置的结构示意图,所述装置包括:
数据获得模块1301,用于获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息,其中,所述第一对象检测模型为:所述数据采集设备当前使用的模型;
数据选择模块1302,用于基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,所述目标属性为:所述第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性;
模型训练模块1303,用于利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型。
本申请的一个实施例中,所述装置还包括:
准确度测试模块,用于基于测试数据,测试所述第二对象检测模型进行对象检测的准确度,得到测试结果,其中,所述测试数据包括已有测试数据和/或新测试数据,所述已有测试数据为:已使用过的、用于测试所述第一对象检测模型进行对象检测的准确度的数据,所述新测试数据为:未使用过的测试数据;
结果确定模块,用于根据所述测试结果,确定是否将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型。
本申请的一个实施例中,所述新测试数据包括以下数据中的至少一种:
用户通过客户端输入的带有标注信息的数据;
由用户对候选数据进行标注得到的数据,其中,所述候选数据为:从所述数据采集设备采集的多媒体数据中抽取的数据。
本申请的一个实施例中,所述准确度测试模块,具体用于:
将测试数据输入所述第一对象检测模型进行对象检测,得到第一输出结果,并将所述测试数据输入所述第二对象检测模型进行对象检测,得到第二输出结果;
计算所述第一输出结果相对标注信息的第一差异值,并计算所述第二输出结果相对所述标注信息的第二差异值,其中,所述标注信息为:预先对所述测试数据进行标注的信息;
基于所述第一差异值与第二差异值,判断所述第二对象检测模型进行对象检测的准确度是否高于所述第一对象检测模型进行对象检测的准确度,得到判断结果,作为测试结果。
本申请的一个实施例中,所述装置还包括第一模型更新模块,具体用于:
在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,按照预设的量化方式对所述第二对象检测模型进行量化;
利用预设的校验数据,校验量化后第二对象检测模型相对量化前第二对象检测模型的一致性;
在检验结果表征量化后第二对象检测模型相对量化前第二对象检测模型一致的情况下,将量化后的第二对象检测模型的格式转化为所述数据采集设备支持的格式,并将所述数据采集设备中的所述第一对象检测模型更新为格式转化后的第二对象检测模型。
本申请的一个实施例中,所述装置还包括第二模型更新模块,具体用于:
在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,将同类数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型,其中,所述同类数据采集设备为:使用所述第一对象检测模型的数据采集设备。
本申请的一个实施例中,所述模型训练模块1303,具体用于:
利用所述第一样本数据和第二样本数据,对所述第一对象检测模型进行训练,得到第二对象检测模型,其中,所述第二样本数据为:用户通过客户端输入的多媒体数据。
本申请的一个实施例中,所述装置还包括目标属性确定模块,具体用于通过以下方式获得所述目标属性:
获得候选属性的出现频次,其中,所述候选属性为:所述第一对象检测模型对各多媒体数据进行对象检测的结果中置信度低于预设置信度阈值的对象的属性信息;
确定出现频次达到预设的频次条件的候选属性,作为目标属性。
应用上述实施例提供的自训练方案训练对象检测模型时,首先获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息,其中,第一对象检测模型为:数据采集设备当前使用的模型,基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,目标属性为:第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性,利用第一样本数据对第一对象检测模型进行训练,得到第二对象检测模型。这样可以在第一对象检测模型应用的过程中,根据数据采集设备采集的多媒体数据,对第一对象检测模型进行训练。由于第一样本数据内的对象具有目标属性,而目标属性可以理解为第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度较低的多媒体数据中对象所具有的属性,也就说明第一对象检测模型对具有目标属性的多媒体数据进行对象检测的准确度较低,这样利用第一样本数据对第一对象检测模型进行训练,可以提高第一对象检测模型对具有目标属性的多媒体数据进行对象检测的准确度。由此可见,应用上述实施例提供的方案,可以提高对象检测模型进行对象检测的准确度。
本申请实施例还提供了一种电子设备,如图14所示,包括处理器1401、通信接口1402、存储器1403和通信总线1404,其中,处理器1401,通信接口1402,存储器1403通过通信总线1404完成相互间的通信,
存储器1403,用于存放计算机程序;
处理器1401,用于执行存储器1403上所存放的程序时,实现上述自训练方法的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一自训练方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一自训练方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
应用上述实施例提供的自训练方案训练对象检测模型时,首先获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息,其中,第一对象检测模型为:数据采集设备当前使用的模型,基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,目标属性为:第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性,利用第一样本数据对第一对象检测模型进行训练,得到第二对象检测模型。这样可以在第一对象检测模型应用的过程中,根据数据采集设备采集的多媒体数据,对第一对象检测模型进行训练。由于第一样本数据内的对象具有目标属性,而目标属性可以理解为第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度较低的多媒体数据中对象所具有的属性,也就说明第一对象检测模型对具有目标属性的多媒体数据进行对象检测的准确度较低,这样利用第一样本数据对第一对象检测模型进行训练,可以提高第一对象检测模型对具有目标属性的多媒体数据进行对象检测的准确度。由此可见,应用上述实施例提供的方案,可以提高对象检测模型进行对象检测的准确度。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、系统实施例、电子设备实施例、计算机可读存储介质实施例、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (13)
1.一种自训练方法,其特征在于,所述方法包括:
获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息,其中,所述第一对象检测模型为:所述数据采集设备当前使用的模型;
基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,所述目标属性为:所述第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性;
利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于测试数据,测试所述第二对象检测模型进行对象检测的准确度,得到测试结果,其中,所述测试数据包括已有测试数据和/或新测试数据,所述已有测试数据为:已使用过的、用于测试所述第一对象检测模型进行对象检测的准确度的数据,所述新测试数据为:未使用过的测试数据;
根据所述测试结果,确定是否将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型。
3.根据权利要求2所述的方法,其特征在于,所述新测试数据包括以下数据中的至少一种:
用户通过客户端输入的带有标注信息的数据;
由用户对候选数据进行标注得到的数据,其中,所述候选数据为:从所述数据采集设备采集的多媒体数据中抽取的数据。
4.根据权利要求2所述的方法,其特征在于,所述基于测试数据,测试所述第二对象检测模型进行对象检测的准确度,得到测试结果,包括:
将测试数据输入所述第一对象检测模型进行对象检测,得到第一输出结果,并将所述测试数据输入所述第二对象检测模型进行对象检测,得到第二输出结果;
计算所述第一输出结果相对标注信息的第一差异值,并计算所述第二输出结果相对所述标注信息的第二差异值,其中,所述标注信息为:预先对所述测试数据进行标注的信息;
基于所述第一差异值与第二差异值,判断所述第二对象检测模型进行对象检测的准确度是否高于所述第一对象检测模型进行对象检测的准确度,得到判断结果,作为测试结果。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,按照预设的量化方式对所述第二对象检测模型进行量化;
利用预设的校验数据,校验量化后第二对象检测模型相对量化前第二对象检测模型的一致性;
在检验结果表征量化后第二对象检测模型相对量化前第二对象检测模型一致的情况下,将量化后的第二对象检测模型的格式转化为所述数据采集设备支持的格式,并将所述数据采集设备中的所述第一对象检测模型更新为格式转化后的第二对象检测模型。
6.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,将同类数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型,其中,所述同类数据采集设备为:使用所述第一对象检测模型的数据采集设备。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型,包括:
利用所述第一样本数据和第二样本数据,对所述第一对象检测模型进行训练,得到第二对象检测模型,其中,所述第二样本数据为:用户通过客户端输入的多媒体数据。
8.根据权利要求1-6中任一项所述的方法,其特征在于,通过以下方式获得所述目标属性:
获得候选属性的出现频次,其中,所述候选属性为:所述第一对象检测模型对各多媒体数据进行对象检测的结果中置信度低于预设置信度阈值的对象的属性信息;
确定出现频次达到预设的频次条件的候选属性,作为目标属性。
9.一种自训练系统,其特征在于,所述系统包括自训练服务器和数据采集设备,其中:
所述数据采集设备,用于采集多媒体数据,基于第一对象检测模型检测各个多媒体数据中对象的属性信息,并向所述服务器发送所采集的多媒体数据及各个多媒体数据中对象的属性信息,其中,所述第一对象检测模型为:所述数据采集设备当前使用的模型;
所述服务器,用于接收所述数据采集设备发送的多媒体数据及各个多媒体数据中对象的属性信息,基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型,其中,所述目标属性为:所述第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性。
10.一种自训练装置,其特征在于,所述装置包括:
数据获得模块,用于获得数据采集设备采集的多媒体数据,并获得第一对象检测模型对各个多媒体数据中对象进行检测得到的属性信息,其中,所述第一对象检测模型为:所述数据采集设备当前使用的模型;
数据选择模块,用于基于所获得的每一多媒体数据中对象的属性信息,从各个多媒体数据中选择包含具有目标属性的对象的数据,作为第一样本数据,其中,所述目标属性为:所述第一对象检测模型对多媒体数据中对象进行检测时,检测结果的准确度满足预设的自训练条件的多媒体数据中对象所具有的属性;
模型训练模块,用于利用所述第一样本数据对所述第一对象检测模型进行训练,得到第二对象检测模型。
11.根据权利要求10所述的装置,其特征在于,所述装置还包括:
准确度测试模块,用于基于测试数据,测试所述第二对象检测模型进行对象检测的准确度,得到测试结果,其中,所述测试数据包括已有测试数据和/或新测试数据,所述已有测试数据为:已使用过的、用于测试所述第一对象检测模型进行对象检测的准确度的数据,所述新测试数据为:未使用过的测试数据;
结果确定模块,用于根据所述测试结果,确定是否将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型;或
所述新测试数据包括以下数据中的至少一种:户通过客户端输入的带有标注信息的数据;由用户对候选数据进行标注得到的数据,其中,所述候选数据为:从所述数据采集设备采集的多媒体数据中抽取的数据;或
所述准确度测试模块,具体用于:将测试数据输入所述第一对象检测模型进行对象检测,得到第一输出结果,并将所述测试数据输入所述第二对象检测模型进行对象检测,得到第二输出结果;计算所述第一输出结果相对标注信息的第一差异值,并计算所述第二输出结果相对所述标注信息的第二差异值,其中,所述标注信息为:预先对所述测试数据进行标注的信息;基于所述第一差异值与第二差异值,判断所述第二对象检测模型进行对象检测的准确度是否高于所述第一对象检测模型进行对象检测的准确度,得到判断结果,作为测试结果;或
所述装置还包括第一模型更新模块,具体用于:在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,按照预设的量化方式对所述第二对象检测模型进行量化;利用预设的校验数据,校验量化后第二对象检测模型相对量化前第二对象检测模型的一致性;在检验结果表征量化后第二对象检测模型相对量化前第二对象检测模型一致的情况下,将量化后的第二对象检测模型的格式转化为所述数据采集设备支持的格式,并将所述数据采集设备中的所述第一对象检测模型更新为格式转化后的第二对象检测模型;或
所述装置还包括第二模型更新模块,具体用于:在确定将所述数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型的情况下,将同类数据采集设备中的所述第一对象检测模型更新为所述第二对象检测模型,其中,所述同类数据采集设备为:使用所述第一对象检测模型的数据采集设备;或
所述模型训练模块,具体用于:利用所述第一样本数据和第二样本数据,对所述第一对象检测模型进行训练,得到第二对象检测模型,其中,所述第二样本数据为:用户通过客户端输入的多媒体数据;或
所述装置还包括目标属性确定模块,具体用于通过以下方式获得所述目标属性:获得候选属性的出现频次,其中,所述候选属性为:所述第一对象检测模型对各多媒体数据进行对象检测的结果中置信度低于预设置信度阈值的对象的属性信息;确定出现频次达到预设的频次条件的候选属性,作为目标属性。
12.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一所述的方法步骤。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011018277.9A CN112132220A (zh) | 2020-09-24 | 2020-09-24 | 一种自训练方法、系统、装置、电子设备及存储介质 |
CN202311767566.2A CN117786485A (zh) | 2020-09-24 | 2020-09-24 | 一种自训练方法、系统、装置、电子设备及存储介质 |
EP21871339.4A EP4220479A4 (en) | 2020-09-24 | 2021-09-14 | METHOD, SYSTEM, APPARATUS, ELECTRONIC DEVICE AND RECORDING MEDIUM FOR SELF-TRAINING |
PCT/CN2021/118262 WO2022062968A1 (zh) | 2020-09-24 | 2021-09-14 | 一种自训练方法、系统、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011018277.9A CN112132220A (zh) | 2020-09-24 | 2020-09-24 | 一种自训练方法、系统、装置、电子设备及存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311767566.2A Division CN117786485A (zh) | 2020-09-24 | 2020-09-24 | 一种自训练方法、系统、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112132220A true CN112132220A (zh) | 2020-12-25 |
Family
ID=73841111
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011018277.9A Withdrawn CN112132220A (zh) | 2020-09-24 | 2020-09-24 | 一种自训练方法、系统、装置、电子设备及存储介质 |
CN202311767566.2A Pending CN117786485A (zh) | 2020-09-24 | 2020-09-24 | 一种自训练方法、系统、装置、电子设备及存储介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311767566.2A Pending CN117786485A (zh) | 2020-09-24 | 2020-09-24 | 一种自训练方法、系统、装置、电子设备及存储介质 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4220479A4 (zh) |
CN (2) | CN112132220A (zh) |
WO (1) | WO2022062968A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022062968A1 (zh) * | 2020-09-24 | 2022-03-31 | 杭州海康威视数字技术股份有限公司 | 一种自训练方法、系统、装置、电子设备及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114880995B (zh) * | 2022-06-30 | 2022-10-04 | 浙江大华技术股份有限公司 | 算法方案部署方法及相关装置、设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050207622A1 (en) * | 2004-03-16 | 2005-09-22 | Haupt Gordon T | Interactive system for recognition analysis of multiple streams of video |
CN108614858A (zh) * | 2018-03-23 | 2018-10-02 | 北京达佳互联信息技术有限公司 | 图像分类模型优化方法、装置及终端 |
CN110046586A (zh) * | 2019-04-19 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、设备及存储介质 |
CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
CN110598620A (zh) * | 2019-09-06 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 模型训练方法和装置、目标检测方法和装置 |
CN111210024A (zh) * | 2020-01-14 | 2020-05-29 | 深圳供电局有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
US20200193204A1 (en) * | 2018-12-16 | 2020-06-18 | International Business Machines Corporation | Selecting object detections or recognitions using correctness mappings |
CN111310835A (zh) * | 2018-05-24 | 2020-06-19 | 北京嘀嘀无限科技发展有限公司 | 目标对象的检测方法及装置 |
CN111538852A (zh) * | 2020-04-23 | 2020-08-14 | 北京达佳互联信息技术有限公司 | 多媒体资源处理方法、装置、存储介质及设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107330522B (zh) * | 2017-07-04 | 2021-06-08 | 北京百度网讯科技有限公司 | 用于更新深度学习模型的方法、装置及系统 |
CN112132220A (zh) * | 2020-09-24 | 2020-12-25 | 杭州海康威视数字技术股份有限公司 | 一种自训练方法、系统、装置、电子设备及存储介质 |
-
2020
- 2020-09-24 CN CN202011018277.9A patent/CN112132220A/zh not_active Withdrawn
- 2020-09-24 CN CN202311767566.2A patent/CN117786485A/zh active Pending
-
2021
- 2021-09-14 WO PCT/CN2021/118262 patent/WO2022062968A1/zh unknown
- 2021-09-14 EP EP21871339.4A patent/EP4220479A4/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050207622A1 (en) * | 2004-03-16 | 2005-09-22 | Haupt Gordon T | Interactive system for recognition analysis of multiple streams of video |
CN108614858A (zh) * | 2018-03-23 | 2018-10-02 | 北京达佳互联信息技术有限公司 | 图像分类模型优化方法、装置及终端 |
CN111310835A (zh) * | 2018-05-24 | 2020-06-19 | 北京嘀嘀无限科技发展有限公司 | 目标对象的检测方法及装置 |
US20200193204A1 (en) * | 2018-12-16 | 2020-06-18 | International Business Machines Corporation | Selecting object detections or recognitions using correctness mappings |
CN110046586A (zh) * | 2019-04-19 | 2019-07-23 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、设备及存储介质 |
CN110378420A (zh) * | 2019-07-19 | 2019-10-25 | Oppo广东移动通信有限公司 | 一种图像检测方法、装置及计算机可读存储介质 |
CN110598620A (zh) * | 2019-09-06 | 2019-12-20 | 腾讯科技(深圳)有限公司 | 模型训练方法和装置、目标检测方法和装置 |
CN111210024A (zh) * | 2020-01-14 | 2020-05-29 | 深圳供电局有限公司 | 模型训练方法、装置、计算机设备和存储介质 |
CN111538852A (zh) * | 2020-04-23 | 2020-08-14 | 北京达佳互联信息技术有限公司 | 多媒体资源处理方法、装置、存储介质及设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022062968A1 (zh) * | 2020-09-24 | 2022-03-31 | 杭州海康威视数字技术股份有限公司 | 一种自训练方法、系统、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP4220479A4 (en) | 2024-03-27 |
CN117786485A (zh) | 2024-03-29 |
WO2022062968A1 (zh) | 2022-03-31 |
EP4220479A1 (en) | 2023-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109389971B (zh) | 基于语音识别的保险录音质检方法、装置、设备和介质 | |
CN110334241B (zh) | 客服录音的质检方法、装置、设备及计算机可读存储介质 | |
US20160098636A1 (en) | Data processing apparatus, data processing method, and recording medium that stores computer program | |
CN111461243B (zh) | 分类方法、装置、电子设备及计算机可读存储介质 | |
CN111652087B (zh) | 验车方法、装置、电子设备和存储介质 | |
CN110363220B (zh) | 行为类别检测方法、装置、电子设备和计算机可读介质 | |
US11501102B2 (en) | Automated sound matching within an audio recording | |
WO2021174812A1 (zh) | 用于画像的数据的清洗方法、装置、介质及电子设备 | |
CN110211121B (zh) | 用于推送模型的方法和装置 | |
WO2020029608A1 (zh) | 用于检测电极片毛刺的方法和装置 | |
CN112613569B (zh) | 图像识别方法、图像分类模型的训练方法及装置 | |
WO2022062968A1 (zh) | 一种自训练方法、系统、装置、电子设备及存储介质 | |
CN112765003B (zh) | 一种基于app行为日志的风险预测方法 | |
CN111445928A (zh) | 语音质检方法、装置、设备及存储介质 | |
CN112183289A (zh) | 一种花屏检测方法、装置、设备及介质 | |
CN113763348A (zh) | 图像质量确定方法、装置、电子设备及存储介质 | |
WO2023011470A1 (zh) | 一种机器学习系统及模型训练方法 | |
CN117409419A (zh) | 图像检测方法、设备及存储介质 | |
US10755074B2 (en) | Latent fingerprint pattern estimation | |
CN113705689A (zh) | 训练数据获取方法及异常行为识别网络训练方法 | |
CN114463656A (zh) | 检测模型训练方法、装置、设备及存储介质 | |
CN111784053A (zh) | 交易风险检测方法、设备及可读存储介质 | |
CN110826616A (zh) | 信息处理方法及装置、电子设备、存储介质 | |
CN111798237B (zh) | 基于应用日志的异常交易诊断方法及系统 | |
CN111488927B (zh) | 分类阈值确定方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20201225 |
|
WW01 | Invention patent application withdrawn after publication |