CN112183729A - 一种神经网络模型训练方法、装置及计算机可读存储介质 - Google Patents
一种神经网络模型训练方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112183729A CN112183729A CN202011063849.5A CN202011063849A CN112183729A CN 112183729 A CN112183729 A CN 112183729A CN 202011063849 A CN202011063849 A CN 202011063849A CN 112183729 A CN112183729 A CN 112183729A
- Authority
- CN
- China
- Prior art keywords
- sample
- positive
- sample set
- loss function
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003062 neural network model Methods 0.000 title claims abstract description 218
- 238000012549 training Methods 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000009792 diffusion process Methods 0.000 claims abstract description 58
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 37
- 238000002372 labelling Methods 0.000 abstract description 18
- 239000000523 sample Substances 0.000 description 779
- 230000006870 function Effects 0.000 description 174
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000013074 reference sample Substances 0.000 description 3
- 241000208967 Polygala cruciata Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种神经网络模型训练方法、装置、设备及介质，获取标注样本集；对标注样本集中的正样本进行扩散，得到扩散样本集；获取预测样本集；在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本；在扩散样本集中，确定与第一正样本的样本位置相同的第二正样本，确定各个第二正样本对应的第二子样本集，第二子样本集中包含对应的第二正样本；基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值；基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，以基于训练好的神经网络模型对目标样本进行正负样本检测识别效率高。
Description
技术领域
本申请涉及神经网络技术领域，更具体地说，涉及一种神经网络模型训练方法、装置及计算机可读存储介质。
背景技术
当前，对于包含正负样本的样本集，正样本也即样本集中满足预设要求的样本，负样本也即样本集中不满足预设要求的样本，如果要在样本集中识别出正样本，便需要对样本集进行检测，比如通过神经网络模型对样本集进行检测。然而，在对样本集进行检测的过程中，申请人发现现有技术中至少存在如下问题：
一方面，对神经网络模型进行训练时应用的训练样本集需要人工标注正负样本，然而，人工标注存在误差，影响神经网络模型的识别效率；另一方面，由于样本集自身正负样本的稀疏性，导致样本不均衡，影响神经网络模块的识别效率。
综上所述，如何提高样本检测的效率是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种神经网络模型训练方法，其能在一定程度上解决如何提高样本检测的效率的技术问题。本申请还提供了一种神经网络模型训练装置、设备及计算机可读存储介质。
为了实现上述目的，第一方面，本申请公开了一种神经网络模型训练方法，包括：
获取标注样本集，所述标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集；
对所述标注样本集中的正样本进行扩散，得到扩散样本集；
获取神经网络模型对所述初始样本集进行正负样本预测后得到的预测样本集；
在所述预测样本集中，确定各个第一正样本对应的第一子样本集，所述第一子样本集中包含对应的所述第一正样本；
在所述扩散样本集中，将与所述第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，所述第二子样本集中包含对应的所述第二正样本；
基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，计算所述神经网络模型的目标损失函数值；
基于所述目标损失函数值对所述神经网络模型进行训练，得到训练好的神经网络模型。
可选的，所述对所述标注样本集中的正样本进行扩散，得到扩散样本集，包括：
获取截断窗口值；
按照所述截断窗口值及指数衰减的衰减规则，对所述标注样本集中正样本周围的样本进行赋值，得到所述扩散样本集。
可选的，所述在所述预测样本集中，确定各个第一正样本对应的第一子样本集，包括：
确定各个所述第一正样本对应的第一截断值；
在所述预测样本集中，对于每个所述第一正样本，以所述第一正样本的样本位置为中心，以所述第一正样本对应的所述第一截断值为截断半径进行切片，得到所述第一正样本对应的所述第一子样本集。
可选的，所述确定各个第二正样本对应的第二子样本集，包括：
确定各个所述第二正样本对应的第二截断值；
对于每个所述第二正样本，将对应的所述第一截断值与所述第二截断值的和值作为第三截断值，将对应的所述第一截断值与所述第二截断值的差值作为第四截断值；从所述第四截断值到所述第三截断值遍历取值，得到所述第二正样本对应的一组截断值；
在所述扩散样本集中，对于每个所述第二正样本，以所述第二正样本的样本位置为中心，以所述第二正样本对应的所述一组截断值中的每个截断值为截断半径进行切片，得到所述第二正样本对应的一组所述第二子样本集；
其中，所述第二正样本对应的所述第一截断值包括：样本位置与所述第二正样本的样本位置相同的所述第一正样本对应的所述第一截断值。
可选的，所述基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，计算所述神经网络模型的目标损失函数值，包括：
基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型的所述目标损失函数值。
可选的，所述基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型的所述目标损失函数值，包括：
基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型的正样本损失函数值；
基于所述第一子样本集及所述第二子样本集之外的正负样本信息，通过预设损失函数计算所述神经网络模型的负样本损失函数值；
基于所述正样本损失函数值、所述负样本损失函数值、所述负样本损失函数值的权重，计算所述目标损失函数值。
可选的，所述基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型的正样本损失函数值，包括：
对于每个所述第一正样本，确定出正样本位置与所述第一正样本的样本位置相同的一组所述第二子样本集；每次在所述第二子样本集中选取一个所述第二子样本集，基于所述第一正样本对应的所述第一子样本集及选取的所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型在所述第一正样本处的一组损失函数值；将所述一组损失函数值中的最小值作为所述神经网络模型在所述第一正样本处的损失函数值；
将所述神经网络模型在各个所述第一正样本处的损失函数值的平均值作为所述正样本损失函数值。
可选的，所述基于所述正样本损失函数值、所述负样本损失函数值、所述负样本损失函数值的权重，计算所述目标损失函数值之前，还包括：
基于所述扩散样本集中正负样本各自的数量确定所述负样本损失函数值的权重。
第二方面，本申请公开了一种神经网络模型训练装置，包括：
标注样本集获取模块，用于获取标注样本集，所述标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集；
扩散样本集获取模块，用于对所述标注样本集中的正样本进行扩散，得到扩散样本集；
预测样本集获取模块，用于获取神经网络模型对所述初始样本集进行正负样本预测后得到的预测样本集；
第一子样本集确定模块，用于在所述预测样本集中，确定各个第一正样本对应的第一子样本集，所述第一子样本集中包含对应的所述第一正样本；
第二子样本集确定模块，用于在所述扩散样本集中，将与所述第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，所述第二子样本集中包含对应的所述第二正样本；
损失函数值计算模块，用于基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，计算所述神经网络模型的目标损失函数值；
模型训练模块，用于基于所述目标损失函数值对所述神经网络模型进行训练，得到训练好的神经网络模型。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现前述任一所述神经网络模型训练方法的步骤。
第四方面，本申请公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现前述任一所述神经网络模型训练方法的步骤。
本申请中，在获取标注样本集之后，需要对标注样本集中的正样本进行扩散，得到扩散样本集，一方面可以增大标注样本集中的正样本的数量，降低标注样本集的样本稀疏性，另一方面可以将真正的正样本标记出来，避免因标注误差带来的正样本标注错位，为后续的神经网络模型提供准确的样本集；之后，获取预测样本集，在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本，在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，第二子样本集中包含对应的第二正样本，并基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值，实现了以子样本集为单位来计算目标损失函数值，与现有的以单个样本为单位来计算目标损失函数值相比，可以增大计算目标损失函数值时的参考样本量，便于排除因个别样本标注错误导致的目标损失函数值较大，便于神经网络模型的收敛；最后，基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，这样基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果的话，可以加快神经网络模型的训练效率，进而加快神经网络模型对目标样本的识别效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的神经网络模型训练方案所适用的系统框架示意图；
图2为本申请提供的一种神经网络模型训练方法流程图；
图3为本申请提供的一种具体的样神经网络模型训练方法流程图；
图4为本申请提供的一种具体的神经网络模型训练方法流程图；
图5为本申请提供的一种具体的神经网络模型训练方法流程图；
图6为标注样本集与预测样本集的对应关系图；
图7为扩散样本集与预测样本集的对应关系图；
图8为本申请提供的一种神经网络模型训练装置结构示意图；
图9为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
当前，对于包含正负样本的样本集，正样本也即样本集中满足预设要求的样本，负样本也即样本集中不满足预设要求的样本，如果要在样本集中识别出正样本，便需要对样本集进行检测，比如通过神经网络模型对样本集进行检测。然而，在对样本集进行检测的过程中，一方面，对神经网络模型进行训练时应用的训练样本集需要人工标注正负样本，然而，人工标注存在误差，影响神经网络模型的识别效率；另一方面，由于样本集自身正负样本的稀疏性，导致样本不均衡，影响神经网络模块的识别效率；最终使得样本检测准确性较低。为了克服上述技术问题，本申请提供了一种神经网络模型训练方法，能够提高样本检测的准确性。
本申请的神经网络模型训练方案中，采用的系统框架具体可以参见图1所示，具体可以包括：后台服务器01和与后台服务器01建立通信连接的若干数量的用户端02。
本申请中，后台服务器01用于执行神经网络模型训练方法步骤，包括获取标注样本集，标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集；对标注样本集中的正样本进行扩散，得到扩散样本集；获取神经网络模型对初始样本集进行正负样本预测后得到的预测样本集；在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本；在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，第二子样本集中包含对应的第二正样本；基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值；基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，以基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果。
进一步的，后台服务器01中还可以设有初始样本集数据库、标注样本集数据库、扩散样本集数据库以及预测样本集数据库。其中，初始样本集数据库用于保存各种初始样本集；标注样本集数据库用于保存初始样本集经标注后得到的标注样本集；扩散样本集数据库中具体可以用于保存标注样本集经扩散后得到的扩散样本集；预测样本集数据库则可以用来保存神经网络模型对初始样本集进行正负样本预测后得到的预测样本集。这样，只需在对应的数据库中进行数据读取便可以获取到所需的样本集。
可以理解的是，不同的神经网络模型对初始样本集的正负样本预测结果不同，也即预测样本集的样本分布情况会受到神经网络模型的影响，所以在经过本申请的方案对目标样本检测完毕后，可以保留相应的初始样本集、标注样本集及扩散样本集，而清除预测样本集，这样一来，当后台服务器01接收到用户端02针对某一神经网络模型的样本检测请求后，则可以先从上述初始样本集数据库中查找所需的初始样本集，并将初始样本集发送至神经网络模型进行预测，得到相应的预测样本集，之后，直接从扩散样本集中读取所需的扩散样本集，无需再次执行对标注样本集的扩散过程，从而有利于节省大量时间。
当然，本申请也可以将上述预测样本集数据库设置在第三方的业务服务器中，通过上述业务服务器可以专门收集业务端上传的预测样本数据集。如此一来，当后台服务器01需要使用预测样本集时，可以通过向上述业务服务器发起相应的预测样本集集调用请求的方式来获取相应的预测样本集。
本申请中，后台服务器01可以对一个或多个用户端02的样本检测请求进行响应，可以理解的是，本申请不同的用户端02所发起的样本检测请求，可以是针对同一个目标样本的不同神经网络模型发起的样本检测请求。当后台服务器01接收到用户端02发起的一个特定样本检测请求，则可以先确定出与该特定样本检测请求对应的目标样本以及相应的神经网络模型，然后利用相应的扩散样本集、初始样本集来完成对目标样本的检测。
图2为本申请实施例提供的一种神经网络模型训练方法流程图。参见图2所示，该神经网络模型训练方法包括：
步骤S11：获取标注样本集，标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集。
本实施例中，初始样本集指的是原始采集的样本集，初始样本集中的样本并未有正负样本之分，所以在获取初始样本集之后，需要按照预设要求来对初始样本集中的样本进行标注，得到标注样本集。在此过程中，可以将满足预设要求的样本标注为正样本，不满足预设要求的样本标注为负样本等。
可以理解的是，预设要求需与初始样本集相匹配，假设初始样本集为一段音频，预设要求则可以为音频中音乐事件的起点，比如发音的起点、打击乐器的起点等，此时样本检测便为对音视频的onset(起点)检测；而在初始样本集为一幅图像时，预设要求则可以为图像中的特定对象，此时样本检测便为对图像中的特定对象进行检测等。
步骤S12：对标注样本集中的正样本进行扩散，得到扩散样本集。
本实施例中，受限于初始样本集的标注方式及初始样本集中正负样本的稀疏性，如果直接应用标注样本集对神经网络模型进行训练的话，一方面，当标注样本集中将真正的正样本标注为负样本，而神经网络模型将初始样本集中真正的正样本识别出来的话，此时进行损失函数值计算的话，会得到较大的损失函数值，会使得神经网络模型在该真正的正样本处产生较大的损失，同理，神经网络模型在假的正样本处也会产生较大的损失，最终误导神经网络模型的收敛方向，降低神经网络模型的训练效率，继而降低神经网络模型的识别效率；另一方面，当标注样本集中正负样本较为稀疏时，比如正样本较为稀疏，此时，神经网络模型即使将所有的样本预测为负样本，也会计算得到一个较小的损失函数值，从而误导神经网络模型的收敛方向，最终导致神经网络模型的识别效率较低。
因此，为了提高神经网络模型的识别效率，在获取标注样本集之后，需要对标注样本集中的正样本进行扩散，得到扩散样本集。因为是对标注样本集中的正样本进行的扩散，所以可以增加扩散样本集中正样本的比例，使得神经网络模型向提高正样本预测成功率的方向收敛；此外，可以将原本因标注误差而被标注为负样本的真正正样本，再次标记为正样本，或者提高真正正样本被标注为正样本的概率，降低神经网络模型在该真正正样本处的损失，加快神经网络模型的收敛效率，进而提高样本检测效率。
步骤S13：获取神经网络模型对初始样本集进行正负样本预测后得到的预测样本集。
本实施例中，因为需要获知神经网络模型对样本集的识别情况，进而根据神经网络模型对样本集的识别情况对神经网络模型进行训练，所以需要获取神经网络模型对初始样本集进行正负样本预测后得到的预测样本集，根据预测样本集中正负样本的预测结果来获知神经网络模型对样本集的识别情况。
步骤S14：在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本。
本实施例中，如果直接将预测样本集与扩散样本集中的各个样本，以单个样本为单位进行比较，并计算神经网络模型的损失函数值的话，如果神经网络模型预测的正样本准确，而扩散样本集中的样本不准确，依然会使得神经网络模型得到一个较大的损失函数值，影响神经网络模型的收敛效率，为了避免此情况，需要在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本，以便后续以子样本集为单位来计算损失函数值，这样，可以增大计算损失函数值时的变量数量，均衡单个预测失败的样本对最终损失函数值的影响。
步骤S15：在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，第二子样本集中包含对应的第二正样本。
本实施例中，因为需要以子样本集为单位计算损失函数值，而计算损失函数值时依据的扩散样本集中的正样本的样本位置需要与预测样本集中正样本的样本位置相同，所以需要在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，且第二子样本集中包含对应的第二正样本。
应当指出，第一子样本集及第二子样本集中各自包含的样本数量可以根据实际需要确定，本申请在此不做具体限定。
步骤S16：基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值。
步骤S17：基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果。
本实施例中，在确定出第一子样本集及第二子样本集之后，便可以基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值；并基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果。
本申请中，在获取标注样本集之后，需要对标注样本集中的正样本进行扩散，得到扩散样本集，一方面可以增大标注样本集中的正样本的数量，降低标注样本集的样本稀疏性，另一方面可以将真正的正样本标记出来，避免因标注误差带来的正样本标注错位，为后续的神经网络模型提供准确的样本集；之后，获取预测样本集，在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本，在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，第二子样本集中包含对应的第二正样本，并基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值，实现了以子样本集为单位来计算目标损失函数值，与现有的以单个样本为单位来计算目标损失函数值相比，可以增大计算目标损失函数值时的参考样本量，便于排除因个别样本标注错误导致的目标损失函数值较大，便于神经网络模型的收敛；最后，基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，并基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果的话，可以加快神经网络模型的训练效率，进而加快神经网络模型对目标样本的识别效率。
图3为本申请实施例提供的一种具体的神经网络模型训练方法流程图。参见图3所示，该神经网络模型训练方法包括：
步骤S21：获取标注样本集，标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集。
步骤S22：获取截断窗口值；按照截断窗口值及指数衰减的衰减规则，对标注样本集中正样本周围的样本进行赋值，得到扩散样本集。
本实施例中，在对标注样本集中的正样本进行扩散的过程中，如果直接将负样本更改为正样本的话，虽然可以扩大正样本的比例，但会增大扩散样本集中的样本标注误差，影响神经网络模型对样本的检测准确性，为了在保证神经网络模型检测准确性的前提下扩大正样本的比例，可以获取截断窗口值；按照截断窗口值及指数衰减的衰减规则，对标注样本集中正样本周围的样本进行赋值，得到扩散样本集。
为了便于理解，假设标注样本集中的正样本被标注为1，负样本被标注为0，假设标注样本集中连续七个样本的标注信息为【0，0，0，1，0，0，0】，并假设截断窗口值为2，则扩散样本集中该七个连续样本的标注信息可以为【0，0.25，0.5，1，0.5，0.25，0】，可以发现，扩散样本集中样本为正样本的概率会上升，但又不会真正将负样本标注为正样本，即实现了对正样本的扩散，又可以保证神经网络模型的检测准确性。可见，本实施例中，通过截断窗口值及指数衰减的衰减规则，既可以对标注样本集中的正样本进行扩散，又可以保证神经网络模型的检测准确性。
步骤S23：获取神经网络模型对初始样本集进行正负样本预测后得到的预测样本集。
步骤S24：在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本。
步骤S25：在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，第二子样本集中包含对应的第二正样本。
步骤S26：基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值。
步骤S27：基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果。
图4为本申请实施例提供的一种具体的神经网络模型训练方法流程图。参见图4所示，该神经网络模型训练方法包括：
步骤S301：获取标注样本集，标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集。
步骤S302：对标注样本集中的正样本进行扩散，得到扩散样本集。
步骤S303：获取神经网络模型对初始样本集进行正负样本预测后得到的预测样本集。
步骤S304：确定各个第一正样本对应的第一截断值。
步骤S305：在预测样本集中，对于每个第一正样本，以第一正样本的样本位置为中心，以第一正样本对应的第一截断值为截断半径进行切片，得到第一正样本对应的第一子样本集。
本实施例中，如果标注样本集中存在标注误差，那么标注错误的样本与真实样本间的距离不会过远，比如因为标注延迟，标注错误的样本会在真实样本之后，所以为了尽可能将扩散样本集中的真实样本纳入损失函数值的计算变量中，可以将正样本及正样本周边的样本作为相应的子样本集，也即在预测样本集中，确定各个第一正样本对应的第一子样本集的过程中，可以确定各个第一正样本对应的第一截断值；在预测样本集中，对于每个第一正样本，以第一正样本的样本位置为中心，以第一正样本对应的第一截断值为截断半径进行切片，得到第一正样本对应的第一子样本集。
应当指出，实际应用中，为了提高第一子样本集的获取效率，可以借助公式来确定第一子样本集，比如第一子样本集的确定公式可以如下：
δ＝yp[idx-k,idx+k]；
其中，δ表示第一子样本集；yp表示预测样本集；idx表示第一正样本的样本位置；k表示对应的第一截断值；[]表示切片。
步骤S306：在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本。
步骤S307：确定各个第二正样本对应的第二截断值。
步骤S308：对于每个第二正样本，将对应的第一截断值与第二截断值的和值作为第三截断值，将对应的第一截断值与第二截断值的差值作为第四截断值；从第四截断值到第三截断值遍历取值，得到第二正样本对应的一组截断值。
步骤S309：在扩散样本集中，对于每个第二正样本，以第二正样本的样本位置为中心，以第二正样本对应的一组截断值中的每个截断值为截断半径进行切片，得到第二正样本对应的一组第二子样本集；其中，第二正样本对应的第一截断值包括：样本位置与第二正样本的样本位置相同的第一正样本对应的第一截断值。
本实施例中，相应的，在确定各个第二正样本对应的第二子样本集的过程中，可以确定各个第二正样本对应的第二截断值；对于每个第二正样本，将对应的第一截断值与第二截断值的和值作为第三截断值，将对应的第一截断值与第二截断值的差值作为第四截断值；从第四截断值到第三截断值遍历取值，得到第二正样本对应的一组截断值；在扩散样本集中，对于每个第二正样本，以第二正样本的样本位置为中心，以第二正样本对应的一组截断值中的每个截断值为截断半径进行切片，得到第二正样本对应的一组第二子样本集；其中，第二正样本对应的第一截断值包括：样本位置与第二正样本的样本位置相同的第一正样本对应的第一截断值。
应当指出，实际应用中，为了提高第二子样本集的获取效率，可以借助公式来确定第二子样本集，比如第二子样本集的确定公式可以如下：
η＝yt[idx-k-i,idx+k+i]；
其中，η表示第二子样本集；yt表示扩散样本集；idx表示第二正样本的样本位置；k表示第一截断值；-m≤i≤m，且i为遍历取值，m表示第二截断值；[]表示切片。
可见，本申请中，将预测样本集及扩散样本集中正样本及正样本周边的样本作为子样本集，使得子样本集中较大概率包含预测样本集及扩散样本集中真正的正样本，可以扩大计算损失函数值时的参数量，且可以将标注误差所影响的正负样本纳入损失函数值的计算过程中，增强损失函数值反映神经网络模型预测准确与否的能力，进而增强神经网络模型的收敛效率，增加神经网络模型的识别效率。
步骤S310：基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值。
步骤S311：基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果。
图5为本申请实施例提供的一种具体的神经网络模型训练方法流程图。参见图5所示，该神经网络模型训练方法包括：
步骤S41：获取标注样本集，标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集。
步骤S42：对标注样本集中的正样本进行扩散，得到扩散样本集。
步骤S43：获取神经网络模型对初始样本集进行正负样本预测后得到的预测样本集。
步骤S44：在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本。
步骤S45：在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，第二子样本集中包含对应的第二正样本。
步骤S46：基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，通过logloss损失函数计算神经网络模型的正样本损失函数值。
本实施例中，在基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值的过程中，为了提高损失函数值的计算效率，可以基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，通过logloss损失函数计算神经网络模型的目标损失函数值。
且进一步的，为了综合考虑神经网络模型对初始样本集的预测准确性，可以计算神经网络模型对正样本的预测损失函数值，计算神经网络模型对负样本的预测损失函数值，综合神经网络模型对正样本的预测损失函数值及对负样本的预测损失函数值来确定神经网络模型的目标损失函数值。
可以理解的是，因为预测样本集中有多个预测得到的正样本，那么神经网络模型在每个正样本处可以计算得到一个损失函数值，而平均值可以较为准确的反应数据的特性，所以可以将神经网络模型在每个正样本处计算得到的损失函数值的平均值作为正样本损失函数值，也即，在基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，通过logloss(对数损失)损失函数计算神经网络模型的正样本损失函数值的过程中，可以：对于每个第一正样本，确定出正样本位置与第一正样本的样本位置相同的一组第二子样本集；每次在第二子样本集中选取一个第二子样本集，基于第一正样本对应的第一子样本集及选取的第二子样本集各自的正负样本信息，通过logloss损失函数计算神经网络模型在第一正样本处的一组损失函数值；将一组损失函数值中的最小值作为神经网络模型在第一正样本处的损失函数值；将神经网络模型在各个第一正样本处的损失函数值的平均值作为正样本损失函数值。
应当指出，实际应用中，为了提高正样本损失函数值的计算效率，可以借助公式来计算正样本损失函数值，比如正样本损失函数值的计算公式可以如下：
其中，Lp(yp,yt)表示所述正样本损失函数值；P表示所述预测样本集中正样本的数量；lidx(yp,yt)表示lidx,k(yp,yt)中的最小值；lidx,k(yp,yt)表示所述神经网络模型在样本位置为idx处的损失函数值。
步骤S47：基于第一子样本集及第二子样本集之外的正负样本信息，通过预设损失函数计算神经网络模型的负样本损失函数值。
本实施例中，计算负样本损失函数值时所依据的预设损失函数的类型可以根据实际需要确定，比如预设损失函数值的类型可以为logloss函数、MSE(均方误差)损失函数等。
步骤S48：基于正样本损失函数值、负样本损失函数值、负样本损失函数值的权重，计算目标损失函数值。
本实施例中，在计算目标损失函数值时，可以先计算负样本损失函数值与负样本损失函数值的权重的乘积值，再将该乘积值与正样本损失函数值相加，得到目标损失函数值。
可以理解的是，负样本损失函数值的权重可以用来平衡正负样本的数量差异，因此可以基于扩散样本集中正负样本各自的数量确定负样本损失函数值的权重。且具体应用场景中，负样本损失函数值的权重可以为一固定权重值，也可以为与初始样本集自身相对应的权重值等。
应当指出，实际应用中，为了提高目标损失函数值的计算效率，可以借助公式来计算目标损失函数值，比如目标损失函数值的计算公式可以如下：
L(yp,yt)＝Lp(yp,yt)+αLq(yp,yt)；
其中，L(yp,yt)表示所述目标损失函数值；α表示所述负样本损失函数值的权重；Lq(yp,yt)表示所述负样本损失函数值。
步骤S49：基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果。
可见，本实施例中，可以通过神经网络模型的正样本损失函数值、负样本损失函数值及负样本损失函数值的权重，确定出可以反映神经网络模型对初始样本集的整体预测准确性的目标损失函数值，之后再基于目标损失函数值对神经网络模型进行训练的话，能够在提高样本检测效率的前提下，进一步管控神经网络模型对样本的整体检测准确性。
为了便于理解本申请提供的神经网络模型训练方法，现结合音乐中的鼓点检测为例，对本申请提供的神经网络模型训练方法进行描述。鼓点检测也即输出给定音频中鼓点响起的精确时间点序列，此时，样本的类型为音频，该过程可以包括以下步骤：
获取标注样本集，标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集，初始样本集的类型为音频，且正样本为初始样本集中鼓点响起的时间点，负样本为非鼓点响起的时间点；
获取截断窗口值；
按照截断窗口值及指数衰减的衰减规则，对标注样本集中正样本周围的样本进行赋值，得到扩散样本集；
获取神经网络模型对初始样本集进行正负样本预测后得到的预测样本集；
在预测样本集中，确定各个第一正样本对应的第一截断值，对于每个第一正样本，以第一正样本的样本位置为中心，以第一正样本对应的第一截断值为截断半径进行切片，得到第一正样本对应的第一子样本集；第一正样本也即预测样本集中神经网络模型预测出来的鼓点响起的时间点；
在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二截断值；第二正样本也即扩散样本集中鼓点响起的时间点；
对于每个第二正样本，将对应的第一截断值与第二截断值的和值作为第三截断值，将对应的第一截断值与第二截断值的差值作为第四截断值；从第四截断值到第三截断值遍历取值，得到第二正样本对应的一组截断值；
在扩散样本集中，对于每个第二正样本，以第二正样本的样本位置为中心，以第二正样本对应的一组截断值中的每个截断值为截断半径进行切片，得到第二正样本对应的一组第二子样本集；其中，第二正样本对应的第一截断值包括：样本位置与第二正样本的样本位置相同的第一正样本对应的第一截断值，第二子样本集中包含对应的第二正样本；
通过目标损失函数值的计算公式，基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值；
基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果；
目标损失函数值的计算公式为：
L(yp,yt)＝Lp(yp,yt)+αLq(yp,yt)；
其中，L(yp,yt)表示目标损失函数值；α表示负样本损失函数值的权重；Lq(yp,yt)表示负样本损失函数值；Lp(yp,yt)表示正样本损失函数值；P表示预测样本集中正样本的数量；lidx(yp,yt)表示lidx,k(yp,yt)中的最小值；lidx,k(yp,yt)表示神经网络模型在样本位置为idx处的损失函数值。
为了便于理解本申请提供的神经网络模型训练方法的效果，假设标注样本集如图6所示，其中，图中的黑色块表示鼓点响起的时间点，图中的白色块表示非鼓点响起的时间点，图中的曲线表示预测样本集中样本为正负样本的预测值，且曲线的峰值表示鼓点响起的时间点，则标注样本集中正样本较稀疏且存在标注误差的情况下，因为曲线的峰值与图像的黑色块并不对齐，所以神经网络模型在峰值处的实际损失函数值较大，而此时应该认定神经网络模型预测正确，也即神经网络模型在峰值处的理论损失函数值应较小，最终会使得神经网络模型的收敛较慢；而采用本申请的方法后，得到的扩散样本集可以如图7所示，其中，图中的黑色表示标注样本集中标注的鼓点响起的时间点，灰色表示扩散得到的鼓点响起的时间点，此时，即使有标注误差，曲线的峰值对应的也是灰度块，而不是白色块，计算得到的神经网络模型在峰值处的实际损失函数值比图6对应的实际损失函数值小，与理论损失函数值更接近，更能指明神经网络模型的收敛方向，加快神经网络模型的收敛速度，最终加快神经网络模型的样本识别效率。
参见图8所示，本申请实施例还相应公开的一种神经网络模型训练装置，包括：
标注样本集获取模块11，用于获取标注样本集，标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集；
扩散样本集获取模块12，用于对标注样本集中的正样本进行扩散，得到扩散样本集；
预测样本集获取模块13，用于获取神经网络模型对初始样本集进行正负样本预测后得到的预测样本集；
第一子样本集确定模块14，用于在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本；
第二子样本集确定模块15，用于在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，第二子样本集中包含对应的第二正样本；
损失函数值计算模块16，用于基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值；
模型训练模块17，用于基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果。
可见，本申请实施例在获取标注样本集之后，需要对标注样本集中的正样本进行扩散，得到扩散样本集，一方面可以增大标注样本集中的正样本的数量，降低标注样本集的样本稀疏性，另一方面可以将真正的正样本标记出来，避免因标注误差带来的正样本标注错位，为后续的神经网络模型提供准确的样本集；之后，获取预测样本集，在预测样本集中，确定各个第一正样本对应的第一子样本集，第一子样本集中包含对应的第一正样本，在扩散样本集中，将与第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，第二子样本集中包含对应的第二正样本，并基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，计算神经网络模型的目标损失函数值，实现了以子样本集为单位来计算目标损失函数值，与现有的以单个样本为单位来计算目标损失函数值相比，可以增大计算目标损失函数值时的参考样本量，便于排除因个别样本标注错误导致的目标损失函数值较大，便于神经网络模型的收敛；最后，基于目标损失函数值对神经网络模型进行训练，得到训练好的神经网络模型，并基于训练好的神经网络模型对目标样本进行正负样本检测，得到检测结果的话，可以加快神经网络模型的训练效率，进而加快神经网络模型对目标样本的识别效率。
在一些具体实施例中，扩散样本集获取模块12，具体包括：
截断窗口值获取单元，用于获取截断窗口值；
扩散样本集获取单元，用于按照截断窗口值及指数衰减的衰减规则，对标注样本集中正样本周围的样本进行赋值，得到扩散样本集。
在一些具体实施例中，第一子样本集确定模块14，具体包括：
第一截断值确定单元，用于确定各个第一正样本对应的第一截断值；
第一子样本集确定单元，用于在预测样本集中，对于每个第一正样本，以第一正样本的样本位置为中心，以第一正样本对应的第一截断值为截断半径进行切片，得到第一正样本对应的第一子样本集。
在一些具体实施例中，第二子样本集确定模块15，具体包括：
第二截断值确定单元，用于确定各个第二正样本对应的第二截断值；
一组截断值获取单元，用于对于每个第二正样本，将对应的第一截断值与第二截断值的和值作为第三截断值，将对应的第一截断值与第二截断值的差值作为第四截断值；从第四截断值到第三截断值遍历取值，得到第二正样本对应的一组截断值；
第二子样本集确定单元，用于在扩散样本集中，对于每个第二正样本，以第二正样本的样本位置为中心，以第二正样本对应的一组截断值中的每个截断值为截断半径进行切片，得到第二正样本对应的一组第二子样本集；
其中，第二正样本对应的第一截断值包括：样本位置与第二正样本的样本位置相同的第一正样本对应的第一截断值。
在一些具体实施例中，损失函数值计算模块16，具体包括：
损失函数值计算子模块，用于基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，通过logloss损失函数计算神经网络模型的目标损失函数值。
在一些具体实施例中，损失函数值计算子模块，具体包括：
正样本损失函数值计算单元，用于基于正样本位置相同的第一子样本集及第二子样本集各自的正负样本信息，通过logloss损失函数计算神经网络模型的正样本损失函数值；
负样本损失函数值计算单元，用于基于第一子样本集及第二子样本集之外的正负样本信息，通过预设损失函数计算神经网络模型的负样本损失函数值；
目标损失函数值计算单元，用于基于正样本损失函数值、负样本损失函数值、负样本损失函数值的权重，计算目标损失函数值。
在一些具体实施例中，正样本损失函数值计算单元具体用于：
对于每个第一正样本，确定出正样本位置与第一正样本的样本位置相同的一组第二子样本集；每次在第二子样本集中选取一个第二子样本集，基于第一正样本对应的第一子样本集及选取的第二子样本集各自的正负样本信息，通过logloss损失函数计算神经网络模型在第一正样本处的一组损失函数值；将一组损失函数值中的最小值作为神经网络模型在第一正样本处的损失函数值；
将神经网络模型在各个第一正样本处的损失函数值的平均值作为正样本损失函数值。
在一些具体实施例中，神经网络模型训练装置还包括：
权值确定模块，用于目标损失函数值计算单元基于正样本损失函数值、负样本损失函数值、负样本损失函数值的权重，计算目标损失函数值之前，基于扩散样本集中正负样本各自的数量确定负样本损失函数值的权重。
进一步的，本申请实施例还提供了一种电子设备。图9是根据一示例性实施例示出的电子设备20结构图，图中的内容不能被认为是对本申请的使用范围的任何限制。
图9为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的神经网络模型训练方法中的相关步骤。另外，本实施例中的电子设备20具体可以为服务器。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及视频数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量视频数据223的运算与处理，其可以是WindowsServer、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的神经网络模型训练方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的各种样本集。
进一步的，本申请实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的神经网络模型训练方法步骤。
本申请实施例提供的神经网络模型训练装置、电子设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的神经网络模型训练方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种神经网络模型训练方法，其特征在于，包括：
获取标注样本集，所述标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集；
对所述标注样本集中的正样本进行扩散，得到扩散样本集；
获取神经网络模型对所述初始样本集进行正负样本预测后得到的预测样本集；
在所述预测样本集中，确定各个第一正样本对应的第一子样本集，所述第一子样本集中包含对应的所述第一正样本；
在所述扩散样本集中，将与所述第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，所述第二子样本集中包含对应的所述第二正样本；
基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，计算所述神经网络模型的目标损失函数值；
基于所述目标损失函数值对所述神经网络模型进行训练，得到训练好的神经网络模型。
2.根据权利要求1所述的方法，其特征在于，所述对所述标注样本集中的正样本进行扩散，得到扩散样本集，包括：
获取截断窗口值；
按照所述截断窗口值及指数衰减的衰减规则，对所述标注样本集中正样本周围的样本进行赋值，得到所述扩散样本集。
3.根据权利要求1所述的方法，其特征在于，所述在所述预测样本集中，确定各个第一正样本对应的第一子样本集，包括：
确定各个所述第一正样本对应的第一截断值；
在所述预测样本集中，对于每个所述第一正样本，以所述第一正样本的样本位置为中心，以所述第一正样本对应的所述第一截断值为截断半径进行切片，得到所述第一正样本对应的所述第一子样本集。
4.根据权利要求3所述的方法，其特征在于，所述确定各个第二正样本对应的第二子样本集，包括：
确定各个所述第二正样本对应的第二截断值；
对于每个所述第二正样本，将对应的所述第一截断值与所述第二截断值的和值作为第三截断值，将对应的所述第一截断值与所述第二截断值的差值作为第四截断值；从所述第四截断值到所述第三截断值遍历取值，得到所述第二正样本对应的一组截断值；
在所述扩散样本集中，对于每个所述第二正样本，以所述第二正样本的样本位置为中心，以所述第二正样本对应的所述一组截断值中的每个截断值为截断半径进行切片，得到所述第二正样本对应的一组所述第二子样本集；
其中，所述第二正样本对应的所述第一截断值包括：样本位置与所述第二正样本的样本位置相同的所述第一正样本对应的所述第一截断值。
5.根据权利要求4所述的方法，其特征在于，所述基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，计算所述神经网络模型的目标损失函数值，包括：
基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型的所述目标损失函数值。
6.根据权利要求5所述的方法，其特征在于，所述基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型的所述目标损失函数值，包括：
基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型的正样本损失函数值；
基于所述第一子样本集及所述第二子样本集之外的正负样本信息，通过预设损失函数计算所述神经网络模型的负样本损失函数值；
基于所述正样本损失函数值、所述负样本损失函数值、所述负样本损失函数值的权重，计算所述目标损失函数值。
7.根据权利要求6所述的方法，其特征在于，所述基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型的正样本损失函数值，包括：
对于每个所述第一正样本，确定出正样本位置与所述第一正样本的样本位置相同的一组所述第二子样本集；每次在所述第二子样本集中选取一个所述第二子样本集，基于所述第一正样本对应的所述第一子样本集及选取的所述第二子样本集各自的正负样本信息，通过logloss损失函数计算所述神经网络模型在所述第一正样本处的一组损失函数值；将所述一组损失函数值中的最小值作为所述神经网络模型在所述第一正样本处的损失函数值；
将所述神经网络模型在各个所述第一正样本处的损失函数值的平均值作为所述正样本损失函数值。
8.根据权利要求6所述的方法，其特征在于，所述基于所述正样本损失函数值、所述负样本损失函数值、所述负样本损失函数值的权重，计算所述目标损失函数值之前，还包括：
基于所述扩散样本集中正负样本各自的数量确定所述负样本损失函数值的权重。
9.一种神经网络模型训练装置，其特征在于，包括：
标注样本集获取模块，用于获取标注样本集，所述标注样本集包括对初始样本集中的正负样本进行标注后得到的样本集；
扩散样本集获取模块，用于对所述标注样本集中的正样本进行扩散，得到扩散样本集；
预测样本集获取模块，用于获取神经网络模型对所述初始样本集进行正负样本预测后得到的预测样本集；
第一子样本集确定模块，用于在所述预测样本集中，确定各个第一正样本对应的第一子样本集，所述第一子样本集中包含对应的所述第一正样本；
第二子样本集确定模块，用于在所述扩散样本集中，将与所述第一正样本的样本位置相同的样本确定为第二正样本，确定各个第二正样本对应的第二子样本集，所述第二子样本集中包含对应的所述第二正样本；
损失函数值计算模块，用于基于正样本位置相同的所述第一子样本集及所述第二子样本集各自的正负样本信息，计算所述神经网络模型的目标损失函数值；
模型训练模块，用于基于所述目标损失函数值对所述神经网络模型进行训练，得到训练好的神经网络模型。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述神经网络模型训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011063849.5A CN112183729A (zh) | 2020-09-30 | 2020-09-30 | 一种神经网络模型训练方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011063849.5A CN112183729A (zh) | 2020-09-30 | 2020-09-30 | 一种神经网络模型训练方法、装置及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112183729A true CN112183729A (zh) | 2021-01-05 |
Family
ID=73948434
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011063849.5A Pending CN112183729A (zh) | 2020-09-30 | 2020-09-30 | 一种神经网络模型训练方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112183729A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784888A (zh) * | 2021-01-12 | 2021-05-11 | 中国银联股份有限公司 | 用户识别方法、装置、设备及存储介质 |
| CN113705589A (zh) * | 2021-10-29 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置及设备 |
| CN114022800A (zh) * | 2021-09-27 | 2022-02-08 | 百果园技术(新加坡)有限公司 | 模型训练方法、违规直播识别方法、装置、设备及存储介质 |
| CN114090401A (zh) * | 2021-11-01 | 2022-02-25 | 支付宝(杭州)信息技术有限公司 | 处理用户行为序列的方法及装置 |
| CN115481285A (zh) * | 2022-09-16 | 2022-12-16 | 北京百度网讯科技有限公司 | 跨模态的视频文本匹配方法、装置、电子设备及存储介质 |
| US11830239B1 (en) | 2022-07-13 | 2023-11-28 | Robert Bosch Gmbh | Systems and methods for automatic extraction and alignment of labels derived from camera feed for moving sound sources recorded with a microphone array |
| WO2024013085A1 (en) * | 2022-07-13 | 2024-01-18 | Robert Bosch Gmbh | Systems and methods for false positive mitigation in impulsive sound detectors |
| US12020156B2 (en) | 2022-07-13 | 2024-06-25 | Robert Bosch Gmbh | Systems and methods for automatic alignment between audio recordings and labels extracted from a multitude of asynchronous sensors in urban settings |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060158692A1 (en) * | 2005-01-18 | 2006-07-20 | Lexmark International, Inc. | system and method for dynamically shifting error diffusion data |
| CN108921123A (zh) * | 2018-07-17 | 2018-11-30 | 重庆科技学院 | 一种基于双重数据增强的人脸识别方法 |
| CN109428601A (zh) * | 2017-08-25 | 2019-03-05 | 联发科技股份有限公司 | 改善信号处理的系统 |
| EP3467712A1 (en) * | 2017-10-06 | 2019-04-10 | Be More Digital Limited | Methods and systems for processing image data |
| CN109635634A (zh) * | 2018-10-29 | 2019-04-16 | 西北大学 | 一种基于随机线性插值的行人再识别数据增强方法 |
| CN111028224A (zh) * | 2019-12-12 | 2020-04-17 | 广西医准智能科技有限公司 | 数据标注、模型训练和图像处理方法、装置及存储介质 |
| CN111523596A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 目标识别模型训练方法、装置、设备以及存储介质 |
-
2020
- 2020-09-30 CN CN202011063849.5A patent/CN112183729A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060158692A1 (en) * | 2005-01-18 | 2006-07-20 | Lexmark International, Inc. | system and method for dynamically shifting error diffusion data |
| CN109428601A (zh) * | 2017-08-25 | 2019-03-05 | 联发科技股份有限公司 | 改善信号处理的系统 |
| EP3467712A1 (en) * | 2017-10-06 | 2019-04-10 | Be More Digital Limited | Methods and systems for processing image data |
| CN108921123A (zh) * | 2018-07-17 | 2018-11-30 | 重庆科技学院 | 一种基于双重数据增强的人脸识别方法 |
| CN109635634A (zh) * | 2018-10-29 | 2019-04-16 | 西北大学 | 一种基于随机线性插值的行人再识别数据增强方法 |
| CN111028224A (zh) * | 2019-12-12 | 2020-04-17 | 广西医准智能科技有限公司 | 数据标注、模型训练和图像处理方法、装置及存储介质 |
| CN111523596A (zh) * | 2020-04-23 | 2020-08-11 | 北京百度网讯科技有限公司 | 目标识别模型训练方法、装置、设备以及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| ALHUSSEIN FAWZI等: "Adaptive data augmentation for image classification", 《2016 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》, 19 August 2016 (2016-08-19), pages 3688 - 3692 * |
| 罗廷金: "基于稀疏优化的学习方法及应用研究", 《万方数据库》, 22 April 2020 (2020-04-22), pages 36 - 160 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112784888A (zh) * | 2021-01-12 | 2021-05-11 | 中国银联股份有限公司 | 用户识别方法、装置、设备及存储介质 |
| CN114022800A (zh) * | 2021-09-27 | 2022-02-08 | 百果园技术(新加坡)有限公司 | 模型训练方法、违规直播识别方法、装置、设备及存储介质 |
| CN113705589A (zh) * | 2021-10-29 | 2021-11-26 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置及设备 |
| CN114090401A (zh) * | 2021-11-01 | 2022-02-25 | 支付宝(杭州)信息技术有限公司 | 处理用户行为序列的方法及装置 |
| CN114090401B (zh) * | 2021-11-01 | 2024-09-10 | 支付宝(杭州)信息技术有限公司 | 处理用户行为序列的方法及装置 |
| US11830239B1 (en) | 2022-07-13 | 2023-11-28 | Robert Bosch Gmbh | Systems and methods for automatic extraction and alignment of labels derived from camera feed for moving sound sources recorded with a microphone array |
| WO2024013085A1 (en) * | 2022-07-13 | 2024-01-18 | Robert Bosch Gmbh | Systems and methods for false positive mitigation in impulsive sound detectors |
| US12020156B2 (en) | 2022-07-13 | 2024-06-25 | Robert Bosch Gmbh | Systems and methods for automatic alignment between audio recordings and labels extracted from a multitude of asynchronous sensors in urban settings |
| CN115481285A (zh) * | 2022-09-16 | 2022-12-16 | 北京百度网讯科技有限公司 | 跨模态的视频文本匹配方法、装置、电子设备及存储介质 |
| CN115481285B (zh) * | 2022-09-16 | 2023-06-23 | 北京百度网讯科技有限公司 | 跨模态的视频文本匹配方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112183729A (zh) | 一种神经网络模型训练方法、装置及计算机可读存储介质 | |
| CN112966712B (zh) | 语言模型训练方法、装置、电子设备和计算机可读介质 | |
| CN109961792B (zh) | 用于识别语音的方法和装置 | |
| CN110062248B (zh) | 推荐直播间的方法和装置 | |
| WO2021062990A1 (zh) | 视频分割方法、装置、设备及介质 | |
| CN108228463B (zh) | 用于检测首屏时间的方法和装置 | |
| CN111526119B (zh) | 异常流量检测方法、装置、电子设备和计算机可读介质 | |
| US11501655B2 (en) | Automated skill tagging, knowledge graph, and customized assessment and exercise generation | |
| CN110851583A (zh) | 一种小说推荐方法及设备 | |
| US11750898B2 (en) | Method for generating target video, apparatus, server, and medium | |
| CN111427990A (zh) | 一种智慧校园教学辅助的智能考试控制系统及方法 | |
| CN114064445A (zh) | 一种测试方法、装置、设备及计算机可读存储介质 | |
| CN110996128A (zh) | 在线教学视频推送管理系统 | |
| CN116433320A (zh) | 一种用户行为分析方法和装置 | |
| CN113824797B (zh) | 一种授课资源自适应同步方法及装置 | |
| CN110990528A (zh) | 一种问答方法、装置及电子设备 | |
| CN116801383B (zh) | 一种无线接入点的定位方法、装置、设备及存储介质 | |
| CN113643013B (zh) | 模型的建立方法、业务处理方法、装置、电子设备和介质 | |
| CN112468376B (zh) | 一种基于大数据的网络线路切换方法和装置 | |
| CN113254487B (zh) | 信息推送方法和装置 | |
| CN115988100B (zh) | 基于多协议自适应的设备智能感知物联网网关管理方法 | |
| CN117726480B (zh) | 基于数字化虚拟评标室的电力设备获取方法 | |
| CN113836915B (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| CN110856253B (zh) | 定位方法、装置、服务器及存储介质 | |
| US10902003B2 (en) | Generating context aware consumable instructions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |