CN115937626A - 基于实例分割的半虚拟数据集自动生成方法 - Google Patents

Abstract

本发明提出了一种基于实例分割的半虚拟数据集自动生成方法，利用数字孪生体的虚拟对象作为实例分割MaskR‑CNN算法的数据集进行模型训练；将模型应用到虚拟对象获取mask图片和目标位置和类别信息；利用目标位置和类别信息自动生成半虚拟数据集标注文件；根据mask图片得到数字孪生体物理对象背景图和虚拟对象目标图；将背景图和目标图相加生成半虚拟图片数据集。利用数字孪生体虚拟对象作为训练模型的数据集，将模型应用到数字孪生体中获取半虚拟数据集。本发明减少标注数据集的人力成本，避免虚实混合数据集训练模型产生过拟合的现象，解决了深度学习训练数据集不足的问题，增加了有监督的深度学习在计算机视觉方向检测的普适性和准确性。

Description

基于实例分割的半虚拟数据集自动生成方法

技术领域

本发明涉及视频监控智能化技术领域，特别是数字孪生环境下下利用实例分割算法制作半虚拟数据集的方法。

背景技术

深度学习可以根据数据集是否具有标签划分为监督学习、无监督学习、半监督学习以及强化学习四种方式。而对于有监督学习的应用主要分为三个方面：分类、标注和回归。基于有监督的深度学习在计算机视觉上也得到了广泛的应用，例如自动驾驶、人脸识别、生产安全监控等，但是这些应用依赖真实数据集的数量和质量。例如在对于有监督的深度学习方法中，需要大量的带有标注的数据来对网络进行训练，网络越复杂，参数越多，意味着对训练网络的数据集的需求量也越大。但是，基于真实数据集的深度学习存在许多问题，例如：数据集少、数据集制作昂贵、数据集的获取存在安全隐患等。虽然网络中存在一些已经标注好且图片数量达到数十万张的数据集。例如PASCALVOC数据集、Microsoft COCO数据集、ImageNet数据集等，但是缺少针对特殊应用场景的海量数据集，例如带电作业、高空作业、地下作业等危险生产情况，需要根据特定应用场景进行真实数据集的人工收集和标注。

数字孪生技术强调通过物联网、大数据、人工智能等新一代信息技术赋予计算机映射现实的能力。数字孪生体是包括实际物理对象，以及与物理对象等价的数字化对象，也就是虚拟对象。数字孪生体的虚拟对象具有高逼真度、采集方便、可任意配置等特点。借助数字孪生体的这些特点，针对上述问题，本发明提出了一种基于实例分割的半虚拟数据集自动生成方法。利用数字孪生体作为实例分割MaskR-CNN算法的数据集，并对其进行模型训练；利用训练好的实例分割模型检测虚拟对象并产生mask图片以及目标的位置坐标和类别信息；利用目标位置坐标和类别的信息自动生成半虚拟数据集标注XML文件；根据产生的mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片；将截取到的物理对象背景和虚拟对象目标相加生成半虚拟图片数据集。本发明可以有效地减少人工标注数据集时的人力消耗，并且可以避免仅仅利用虚拟和真实数据集训练模型时产生过拟合现象。同时，本发明可以有效地解决有监督的深度学习算法在计算机视觉应用时，带标注数据集不足的问题，进而增加了有监督的深度学习在计算机视觉方向检测的普适性和准确性。

发明内容

针对有监督的深度学习需要的真实数据集存在数量少、制作昂贵、获取存在安全隐患的问题，以及虚拟和真实数据集训练模型时容易产生过拟合现象，以及在网络中不存在特定应用场景的通用数据集的不足。本发明提出了一种基于实例分割的半虚拟数据集自动生成方法。将实例分割技术与数字孪生体结合制作半虚拟数据集，解决了数据集质量和数量的问题，减少了人力标注数据集的问题，为以后有监督的深度学习提供足够多的标注数据集，同时很有效的解决了利用虚实混合数据集训练模型容易产生过拟合现象。

为了达到上述目的，本发明的技术方案是这样实现的：一种基于实例分割的半虚拟数据集自动生成方法，其步骤如下：

S1，通过数字孪生体作为实例分割图片数据集的来源，并对实例分割数据集进行标注，形成实例分割数据集；

S2，使用实例分割虚拟数据集对Mask R-CNN网络，进行训练并将迭代训练的模型进行实例分割算法的评估；

S3，利用训练好的实例分割模型检测虚拟对象产生mask图片以及目标的位置坐标和类别信息；

S4，利用目标的位置坐标和类别信息自动生成半虚拟数据集标注XML文件，根据S3获取到的目标坐标和类别信息，通过代码自动生成半虚拟数据集图像对应的标注文件。标注文件内容包括图片中目标物体的位置和类别信息。

S5，根据mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片，并将两者相互叠加生成半虚拟图片数据集。

进一步地，步骤S1具体为：

S1.1，获取实例分割数据集图像；根据数字孪生体的虚拟场景和数字孪生体的虚拟摄像头获取到数字孪生体视频流，将获取到的数字孪生虚拟对象的仿真动画视频，进行视频取帧，将视频制作成一帧一帧格式统一、像素大小相同的图片；

S1.2，对视频取帧产生的图片进行预处理，删除不符合要求的数据集图片；在收集到的数字孪生体数据集放入网络前，根据图像质量评价算法对数据集质量进行评价，删除不符合要求的图片；其中，图像质量评估算法使用客观无参考图像质量评价中的QAC(quality-aware clustering)进行图像质量评估。首先对输入的待评价图像y进行子块分解，将其划分为N个重叠的子块y_i，并使用高通滤波器h_σ提取子块的特征向量，记为f_i ^y，其中i＝1，2，...，N；并寻找到与特征向量f_i ^y最相近的图心m_1,ki，求出特征向量和图心的距离δ_l，i＝||f_i ^y-m_1，ki||²；根据求出的距离δ_l，i使用公式(1)所示的加权平均的方式确定y_i最终的质量得分；其中，λ表示控制权重exp(-δ_l，i/λ)衰减率的参数；

在获得每个子块的质量得分z_i后，就得到待评价图像y的最终质量得分z，如公式(2)所示：

根据得到的最终质量得分z和预设的质量得分阈值比较，当大于得分阈值时，保留数据集，反之删除数据集。

S1.3，利用Labelme软件对收集到的实例分割虚拟数据图片进行标注，将图片中需要检测的目标进行轮廓标注；每标注一张图片会自动生成图片对应的同名json文件，json文件内容包括图片中目标物体的类别和该目标对应的轮廓坐标点信息。

进一步地，步骤S2具体为：

S2.1，将标注好的实例分割数据集json文件转化为实例分割网络可训练的源图片、实例分割掩模图片、标签中的各个类别的名称、源图片与实例分割掩模图片融合的图片；

S2.2，将实例分割数据集图片和标签文件放入到实例分割网络中进行网络训练，将batch size数量的样本放入到实例分割网络中进行预测，并计算预测结果损失，损失总共有五个损失函数，分别是RPN网络的两个损失，最终分类回归的两个损失，以及mask分支的损失函数，根据得到的五个损失计算平均损失，并进行一次参数更新，生成参数更新的实例分割网络，最后，利用上述训练步骤进行多次迭代训练；

S2.3，将迭代训练的模型进行实例分割算法的评估，根据训练好的网络模型和测试集计算模型的MIoU(Mean Intersection over Union，均交并比)和MPA(Mean PixelAccuracy，均像素精度)

进一步地，步骤S3具体为：

S3.1，将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测，根据仿真动画视频流得到的帧画面放入到特征提取网络中获得特征图，并根据特征图获得ROI区域，将获取到的ROI区域送入RPN网络中进行分类和回归，最后将经过RPN网络处理的ROI区域进行多类别分类和候选框回归，并生成Mask图片，每检测一帧视频流画面，产生一张带有目标信息的Mask图片；

S3.2，根据实例分割检测结果获取到检测目标的位置和类别信息，在将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测时，会检测出目标的坐标和类别信息，为下一步的目标检测的数据集标注文件提供信息。

进一步地，步骤S5具体为：

S5.1，通过可二次开发的摄像头获取到一帧数字孪生体物理对象场景画面，作为半虚拟数据集的背景图；

S5.2，将得到的虚拟目标Mask图片分别对数字孪生体物理对象背景图和数字孪生体虚拟对象视频流图片进行处理，得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片，并将两者相互叠加生成半虚拟图片数据集。

S5.3，对半虚拟图片数据集进行预处理，对不符合要求的数据集图片进行删除。

本发明的有益效果：将实例分割技术与数字孪生体结合制作半虚拟数据集，解决了数据集质量和数量的问题，减少了人力标注数据集的问题，为以后有监督的深度学习提供足够多的标注数据集，可以避免仅仅利用虚拟和真实数据集训练模型时产生过拟合现象，进而增加了有监督的深度学习在计算机视觉方向检测的普适性和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的总体流程图；

图2为数据集标注文件生成流程图；

图3为半虚拟数据集图片；

图4为本发明的系统结构图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于实例分割的半虚拟数据集自动生成方法，如图1所示。将数字孪生体和实例分割算法相结合，实现半虚拟数据集的制作，其步骤如下：

S1，通过数字孪生体作为实例分割图片数据集的来源，并对实例分割数据集进行标注，形成实例分割数据集；

S1.1，获取实例分割数据集图像；根据数字孪生体的虚拟场景和数字孪生体的虚拟摄像头获取到数字孪生体视频流，将获取到的数字孪生虚拟对象的仿真动画视频，进行视频取帧，将视频制作成一帧一帧格式统一、像素大小相同的图片；

S1.2，对视频取帧产生的图片进行预处理，删除不符合要求的数据集图片；在进行数据集获取的过程中，图片存在逆光、曝光等情况，导致数据集的质量下降，进而导致在训练实例分割网络过程结束后模型的检测效果降低，所以对数据集进行质量评估十分必要。在收集到的数字孪生体数据集放入网络前，根据图像质量评价算法对数据集质量进行评价，删除不符合要求的图片；其中，图像质量评估算法使用客观无参考图像质量评价中的QAC(quality-aware clustering)进行图像质量评估。在不参考原始图像的基础上，QAC算法可以有效解决无参考图像质量评价中对于主观评分图像数据训练的依赖问题。首先对输入的待评价图像y进行子块分解，将其划分为N个重叠的子块y_i，并使用高通滤波器h_σ提取子块的特征向量，记为f_i ^y，其中i＝1，2，...，N；并寻找到与特征向量f_i ^y最相近的图心m_1,ki，求出特征向量和图心的距离δ_l，i＝||f_i ^y-m_1，ki||²；根据求出的距离δ_l，i使用公式(1)所示的加权平均的方式确定y_i最终的质量得分；其中，λ表示控制权重exp(-δ_l，i/λ)衰减率的参数；

在获得每个子块的质量得分z_i后，就得到待评价图像y的最终质量得分z，如公式(2)所示：

根据得到的最终质量得分z和预设的质量得分阈值比较，当大于得分阈值时，保留数据集，反之删除数据集。

S1.3，利用Labelme软件对收集到的实例分割虚拟数据图片进行标注，将图片中需要检测的目标进行轮廓标注；每标注一张图片会自动生成图片对应的同名json文件，json文件内容包括图片中目标物体的类别和该目标对应的轮廓坐标点信息。

S2，使用实例分割虚拟数据集对MaskR-CNN网络，进行训练并将迭代训练的模型进行实例分割算法的评估；

S2.1，将标注好的实例分割数据集json文件转化为实例分割网络可训练的源图片、实例分割掩模图片、标签中的各个类别的名称、源图片与实例分割掩模图片融合的图片；

S2.2，将实例分割数据集图片和标签文件放入到实例分割网络中进行网络训练，将batch size数量的样本放入到实例分割网络中进行预测，并计算预测结果损失，损失总共有五个损失函数，分别是RPN网络的两个损失，最终分类回归的两个损失，以及mask分支的损失函数，根据得到的五个损失计算平均损失，并进行一次参数更新，生成参数更新的实例分割网络，最后，利用上述训练步骤进行多次迭代训练；

S2.3，将迭代训练的模型进行实例分割算法的评估，根据训练好的网络模型和测试集计算模型的MIoU(Mean Intersection over Union，均交并比)和MPA(Mean PixelAccuracy，均像素精度)。MIoU为语义分割的标准度量，用来计算所有类别真实值和预测值的交集和并集之比的平均值，即预测区域和实际区域交集除以预测区域和实际区域并集的平均值，MPA需要先计算每个类内被正确分类像素数的比例，然后计算出所有类的平均。根据计算的MIoU和MPA的值来评估训练过后的实例分割网络。

S3，利用训练好的实例分割模型检测虚拟对象产生mask图片以及目标的位置坐标和类别信息；

S3.1，将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测，根据仿真动画视频流得到的帧画面放入到特征提取网络中获得特征图，并根据特征图获得ROI区域，将获取到的ROI区域送入RPN网络中进行分类和回归，最后将经过RPN网络处理的ROI区域进行多类别分类和候选框回归，并生成Mask图片，每检测一帧视频流画面，产生一张带有目标信息的Mask图片；

S3.2，根据实例分割检测结果获取到检测目标的位置和类别信息，在将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测时，会检测出目标的坐标和类别信息，为下一步的目标检测的数据集标注文件提供信息。

S4，利用目标的位置坐标和类别的信息自动生成半虚拟数据集标注XML文件，根据S3获取到的目标坐标和类别信息，通过代码自动生成半虚拟数据集图像对应的标注文件。标注文件内容包括图片中目标物体的位置信息和类别。目标检测数据集标注文件生成流程图，如图2所示。

S5，根据mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片，并将两者相互叠加生成半虚拟图片数据集；

S5.1，通过可二次开发的摄像头获取到一帧数字孪生体物理对象场景画面，作为半虚拟数据集的背景图；

S5.2，将得到的虚拟目标Mask图片分别对数字孪生体物理对象背景图和数字孪生体虚拟对象视频流图片进行处理，得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片，并将两者相互叠加生成半虚拟图片数据集。半虚拟数据集图片，如图3所示。由于物理对象和虚拟对象是1：1还原的，所以在进行相互叠加的时间，虚拟目标在虚拟对象的空间位置和物理对象的空间位置是对应的，实现虚拟对象目标模型在物理对象上的空间映射；

S5.3，对半虚拟图片数据集进行预处理，对不符合要求的数据集图片进行删除。

图4所示的一种基于实例分割的半虚拟数据集自动生成方法的系统结构图，主要包括物理对象、虚拟对象和实例分割半虚拟数据集生成。根据数字孪生体物理对象的真实环境建立1：1的虚拟对象场景，利用Mask R-CNN实例分割网络检测数字孪生体虚拟对象并产生mask图片和目标坐标和类别信息，根据目标坐标和类别信息利用代码自动生成目标检测半虚拟数据集标注文件，根据产生的mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片，最后将两者相互叠加生成目标检测的半虚拟图片数据集。

随着科技的快速发展，基于有监督深度学习的计算机视觉备受人们的关注，本发明的思想主要是解决有监督学习的计算机视觉在数据集收集、制作和数量方面的问题。在数字孪生体的基础上，利用Mask R-CNN实例分割算法制作半虚拟数据集，解决了深度学习数据集数量少、人力消耗成本大和利用虚拟和真实数据集训练模型时容易产生过拟合现象的缺点。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于实例分割的半虚拟数据集自动生成方法，其特征在于，包括如下步骤：

S1，通过数字孪生体作为实例分割图片数据集的来源，并对实例分割数据集进行标注，形成实例分割数据集；

S2，使用实例分割虚拟数据集对Mask R-CNN网络，进行训练并将迭代训练的模型进行实例分割算法的评估；

S3，利用训练好的实例分割模型检测虚拟对象产生mask图片以及目标的位置坐标和类别信息；

S4，利用目标的位置坐标和类别信息自动生成半虚拟数据集标注XML文件，根据S3获取到的目标坐标和类别信息，通过代码自动生成半虚拟数据集图像对应的标注文件；标注文件内容包括图片中目标物体的位置和类别信息；

S5，根据mask图片得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片，并将两者相互叠加生成半虚拟图片数据集。

2.如权利要求1所述的一种基于实例分割的半虚拟数据集自动生成方法，其特征在于，步骤S1具体为：

S1.1，获取实例分割数据集图像；根据数字孪生体的虚拟场景和数字孪生体的虚拟摄像头获取到数字孪生体视频流，将获取到的数字孪生虚拟对象的仿真动画视频，进行视频取帧，将视频制作成一帧一帧格式统一、像素大小相同的图片；

S1.2，对视频取帧产生的图片进行预处理，删除不符合要求的数据集图片；在收集到的数字孪生体数据集放入网络前，根据图像质量评价算法对数据集质量进行评价，删除不符合要求的图片；其中，图像质量评估算法使用客观无参考图像质量评价中的QAC进行图像质量评估；首先对输入的待评价图像y进行子块分解，将其划分为N个重叠的子块y_i，并使用高通滤波器h_σ提取子块的特征向量，记为f_i ^y，其中i＝1，2，...，N；并寻找到与特征向量f_i ^y最相近的图心m_1,ki，求出特征向量和图心的距离δ_l，i＝||f_i ^y-m_1，ki||²；根据求出的距离δ_l，i使用公式(1)所示的加权平均的方式确定y_i最终的质量得分；其中，λ表示控制权重exp(-δ_l，i/λ)衰减率的参数；

在获得每个子块的质量得分z_i后，就得到待评价图像y的最终质量得分z，如公式(2)所示：

根据得到的最终质量得分z和预设的质量得分阈值比较，当大于得分阈值时，保留数据集，反之删除数据集；

S1.3，利用Labelme软件对收集到的实例分割虚拟数据图片进行标注，将图片中需要检测的目标进行轮廓标注；每标注一张图片会自动生成图片对应的同名json文件，json文件内容包括图片中目标物体的类别和该目标对应的轮廓坐标点信息。

3.如权利要求1所述的一种基于实例分割的半虚拟数据集自动生成方法，其特征在于，步骤S1具体为：

S2.1，将标注好的实例分割数据集json文件转化为实例分割网络可训练的源图片、实例分割掩模图片、标签中的各个类别的名称、源图片与实例分割掩模图片融合的图片；

S2.2，将实例分割数据集图片和标签文件放入到实例分割网络中进行网络训练，将batch size数量的样本放入到实例分割网络中进行预测，并计算预测结果损失，损失总共有五个损失函数，分别是RPN网络的两个损失，最终分类回归的两个损失，以及mask分支的损失函数，根据得到的五个损失计算平均损失，并进行一次参数更新，生成参数更新的实例分割网络，最后，利用上述训练步骤进行多次迭代训练；

S2.3，将迭代训练的模型进行实例分割算法的评估，根据训练好的网络模型和测试集计算模型的MIoU和MPA。

4.如权利要求1所述的一种基于实例分割的半虚拟数据集自动生成方法，其特征在于，步骤S3具体为：

S3.1，将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测，根据仿真动画视频流得到的帧画面放入到特征提取网络中获得特征图，并根据特征图获得ROI区域，将获取到的ROI区域送入RPN网络中进行分类和回归，最后将经过RPN网络处理的ROI区域进行多类别分类和候选框回归，并生成Mask图片，每检测一帧视频流画面，产生一张带有目标信息的Mask图片；

S3.2，根据实例分割检测结果获取到检测目标的位置和类别信息，在将数字孪生体虚拟对象仿真动画视频流放入训练好的实例分割模型进行检测时，会检测出目标的坐标和类别信息，为下一步的目标检测的数据集标注文件提供信息。

5.如权利要求1所述的一种基于实例分割的半虚拟数据集自动生成方法，其特征在于，步骤S5具体为：

S5.1，通过可二次开发的摄像头获取到一帧数字孪生体物理对象场景画面，作为半虚拟数据集的背景图；

S5.2，将得到的虚拟目标Mask图片分别对数字孪生体物理对象背景图和数字孪生体虚拟对象视频流图片进行处理，得到数字孪生体物理对象除目标外的背景图和数字孪生体虚拟对象的目标图片，并将两者相互叠加生成半虚拟图片数据集；

S5.3，对半虚拟图片数据集进行预处理，对不符合要求的数据集图片进行删除。

Images