CN113657389A - 一种软件定义卫星语义分割方法、装置和介质 - Google Patents

Abstract

本申请实施例提供一种软件定义卫星语义分割方法、装置和介质，该方法包括：获取源域训练数据图像集和目标域图像集，其中，源域训练数据图像集包括：通过第一途径获取的真实图像，目标域图像集包括：通过第二途径获取的真实图像；根据源域训练数据图像集对待训练语义分割模型进行训练，获得初级语义分割模型；根据生成数据集图像对初级语义分割模型进行再训练，获得最终语义分割模型，其中，生成数据集图像是通过目标生成器生成的，目标生成器是根据源域训练数据图像集、目标域图像集和生成对抗自适应网络训练得到的，能够提高语义分割模型的分割效果。

Description

一种软件定义卫星语义分割方法、装置和介质

技术领域

本申请实施例涉及语义分割领域，具体涉及一种软件定义卫星语义分割方法、装置和介质。

背景技术

相关技术中，语义分割模型多采用有监督的预训练方法，即把一个数据集分成训练数据集和测试数据集，对训练数据集进行手工标注，然后在标注好的训练数据集对语义分割模型进行训练，最后在测试数据集上进行分割测试。由于训练好的语义分割模型学习到的特征与测试数据集相关性大，因此分割效果好，但这种语义分割模型在应用过程中，对与训练数据集特征不相近的图像进行分割时，分割效果不佳。

因此，如何提高语义分割模型的分割效果成为亟待解决的问题。

发明内容

本申请实施例提供一种软件定义卫星语义分割方法、装置和介质，通过本申请的一些实施例至少由于采用了不同来源的源域训练数据图像集与目标域图像集对语义分割模型进行训练，从而能够提高语义分割模型的分割效果。

第一方面，本申请的一些实施例提供一种软件定义卫星语义分割方法，所述训练方法包括：获取源域训练数据图像集和目标域图像集，其中，所述源域训练数据图像集包括：通过第一途径获取的真实图像，所述目标域图像集包括：通过第二途径获取的真实图像；根据所述源域训练数据图像集对待训练语义分割模型进行训练，获得初级语义分割模型；根据生成数据集图像对所述初级语义分割模型进行再训练，获得最终语义分割模型，其中，所述生成数据集图像是通过目标生成器生成的，所述目标生成器是根据所述源域训练数据图像集、所述目标域图像集和生成对抗自适应网络训练得到的。

因此，本申请实施例由于目标域图像集是通过不同于源域图像集的获取方式得到的，因此本申请的一些实施例通过目标生成器生成的与目标域图像集特征相似的生成数据集图像，也与源域训练数据图像集相似，因此基于这些数据对初始语义分割模型进行再训练的方法，从而能够提高语义分割模型的分割效果。

结合第一方面，在一种实施方式中，所述目标生成器是通过如下方法训练得到的：将第i源域训练数据图像输入到第一生成器中，得到第i生成图像，其中，i为大于或等于1的整数；将所述第i生成图像和所述目标域图像集输入到第一鉴别器中，获得第i目标域鉴别结果；重复上述步骤，直至所述第i目标域鉴别结果满足第一预设条件，获得所述目标生成器。

因此，本申请实施例通过使用真实的目标域图像集评估生成器生成的第i生成图像，能够使第i生成图像的特征与真实的目标域图像集相近，之后再由目标生成器生成的图像来对初级语义分割模型进行再训练，提升语义分割模型的训练效果且能够缩小源域训练数据图像集和目标域图像集之间的差异。

结合第一方面，在一种实施方式中，所述源域训练数据图像集包括通过第二生成器生成的图像，所述第二生成器是通过如下方法训练得到的：将所述第i生成图像输入到第二生成器中，生成第i重构源域图像；根据损失函数将所述第i重构源域图像和所述第i源域训练数据图像之间的差异最小化，并且将所述第i重构源域图像和所述第i源域训练数据图像输入到第二鉴别器中，获得第i源域鉴别结果；重复上述步骤，直至所述第i源域鉴别结果满足第二预设条件，获得所述第二生成器。

因此，本申请实施例通过使用第i源域训练数据图像对第i重构源域图像进行鉴别，能够获得第二生成器，本申请在模型训练的过程中加入了生成对抗自适应网络，在训练时通过生成对抗自适应网络提高模型在实际数据上的泛化性，进而提高在星上在轨语义分割时的模型性能且解决了源域训练数据图像集缺乏的技术问题。

结合第一方面，在一种实施方式中，所述待训练语义分割模型和所述最终语义分割模型，包括：分割模块、边缘相关特征提取模块、边缘预测模块和融合模块；分割模块，被配置为提取所述源域训练数据图像集的各层特征，并且获得像素点分类；边缘相关特征提取模块，被配置为根据所述各层特征获取边缘相关特征；边缘预测模块，被配置为根据所述源域训练数据图像集获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征；以及融合模块，被配置为将所述目标边缘特征和所述像素点分类进行融合，获得图像分割结果。

因此，在本申请实施例中，一方面，通过在语义分割模型中设置边缘预测模块，能够帮助监督分割的边缘特征学习，从而能够提升分割结果和边缘预测效果；另一方面，通过设置边缘相关特征提取模块，能够将分割模块提取的特征共享到边缘预测模块中，降低了运算时间和GPU占用率。

第二方面，本申请的一些实施例提供一种软件定义卫星语义分割方法，所述应用方法包括：获取待分割图像；将所述待分割图像输入到如第一方面及其实施方式中任一项所述的训练方法得到的最终语义分割模型中，获得图像分割结果。

因此，本申请实施例通过使用最终语义分割模型在星上对待分割图像进行识别，能够对任何获取途径的待分割图像进行识别，由于本申请实施例训练得到的最终语义分割模型的分割效果更好，因此采用最终语义分割模型得到的实际分割结果也更理想。

结合第二方面，在一种实施方式中，所述最终语义分割模型包括：分割模块、边缘相关特征提取模块、边缘预测模块以及融合模块，将所述待分割图像输入到如第一方面及其实施方式中任一项所述的训练方法得到的最终语义分割模型中，获得图像分割结果，包括：将所述待分割图像输入所述分割模块提取所述待分割图像的各层特征，并且获得像素点分类；根据所述各层特征和所述边缘相关特征提取模块，获取边缘相关特征；根据所述待分割图像和所述边缘预测模块，获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征；根据所述目标边缘特征、所述像素点分类和所述融合模块，获得所述图像分割结果。

因此，本申请实施例通过设置边缘预测模块，能够帮助监督分割的边缘特征学习，对边缘相关特征进行修正，从而能够提升分割结果和边缘预测效果；在语义分割模型中，通过设置边缘相关特征提取模块，能够将分割模块提取的特征共享到边缘预测模块中，降低了运算时间和GPU占用率。

结合第二方面，在一种实施方式中，所述分割模块、所述边缘相关特征提取模块、所述边缘预测模块和所述融合模块依次进行运算；或者，所述边缘预测模块、所述分割模块、所述边缘相关特征提取模块和所述融合模块依次进行运算。

因此，本申请实施例的最终语义分割模型在星上进行运行的过程中，各模块可以交替运行，不必所有模块共同运行，避免了并行计算，降低了GPU占用率，加快运行速度的同时节省星上的存储空间。

第三方面，一种软件定义卫星语义分割装置，所述训练装置包括：图像集获取模块，被配置为获取源域训练数据图像集和目标域图像集，其中，所述源域训练数据图像集包括：通过第一途径获取的真实图像，所述目标域图像集包括：通过第二途径获取的真实图像；初级模型训练模块，被配置为根据所述源域训练数据图像集对待训练语义分割模型进行训练，获得初级语义分割模型；再训练模块，被配置为根据生成数据集图像对所述初级语义分割模型进行再训练，获得最终语义分割模型，其中，所述生成数据集图像是通过目标生成器生成的，所述目标生成器是根据所述源域训练数据图像集、所述目标域图像集和生成对抗自适应网络训练得到的。

结合第三方面，在一种实施方式中，所述目标生成器是通过如下方法训练得到：将第i源域训练数据图像输入到第一生成器中，得到第i生成图像，其中i大于或等于1的整数；将所述第i生成图像和所述目标域图像集输入到第一鉴别器中，获得第i目标域鉴别结果；重复上述步骤，直至所述第i目标域鉴别结果满足第一预设条件，获得所述目标生成器。

结合第三方面，在一种实施方式中，所述源域训练数据图像集包括通过第二生成器生成的图像，所述第二生成器是通过如下方法训练得到的：将所述第i生成图像输入到第二生成器中，生成第i重构源域图像；根据损失函数将所述第i重构源域图像和所述第i源域训练数据图像之间的差异最小化，并且将所述第i重构源域图像和所述第i源域训练数据图像输入到第二鉴别器中，获得第i源域鉴别结果；重复上述步骤，直至所述第i源域鉴别结果满足第二预设条件，获得所述第二生成器。

结合第三方面，在一种实施方式中，所述待训练语义分割模型和所述最终语义分割模型，包括：分割模块、边缘相关特征提取模块、边缘预测模块和融合模块；分割模块，被配置为提取所述源域训练数据图像集的各层特征，并且获得像素点分类；边缘相关特征提取模块，被配置为根据所述各层特征获取边缘相关特征；边缘预测模块，被配置为根据所述源域训练数据图像集获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征；以及融合模块，被配置为将所述目标边缘特征和所述像素点分类进行融合，获得图像分割结果。

第四方面，一种软件定义卫星语义分割装置，所述应用装置包括：输入模块，被配置为获取待分割图像；分割模块，被配置为将所述待分割图像输入到如第一方面及其实施方式中任一项所述的训练方法得到的最终语义分割模型中，获得图像分割结果。

结合第四方面，在一种实施方式中，所述最终语义分割模型包括：分割模块、边缘相关特征提取模块、边缘预测模块以及融合模块，所述分割模块还被配置为：将所述待分割图像输入所述分割模块提取所述待分割图像的各层特征，并且获得像素点分类；根据所述各层特征和所述边缘相关特征提取模块，获取边缘相关特征；根据所述待分割图像和所述边缘预测模块，获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征；根据所述目标边缘特征、所述像素点分类和所述融合模块，获得所述图像分割结果。

结合第四方面，在一种实施方式中，所述分割模块、所述边缘相关特征提取模块、所述边缘预测模块和所述融合模块依次进行运算；所述边缘预测模块、所述分割模块、所述边缘相关特征提取模块和所述融合模块依次进行运算。

第五方面，一种分割模型，所述分割模型包括：分割模块，被配置为提取输入图像的各层特征，并且获得像素点分类；边缘相关特征提取模块，被配置为根据所述各层特征获取边缘相关特征；以及边缘预测模块，被配置为根据所述输入图像获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征；融合模块，被配置为将所述目标边缘特征和所述像素点分类进行融合，获得所述图像分割结果。

结合第五方面，在一种实施方式中，所述边缘预测模块包括：边缘预测算子和浅层卷积层；所述边缘预测算子，被配置为根据所述输入图像，获得所述图像梯度；所述浅层卷积层，被配置为根据所述图像梯度和所述边缘相关特征，获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征。

结合第五方面，在一种实施方式中，所述边缘相关特征提取模块是基于门控卷积层和残差瓶颈模块实现的。

因此，在边缘相关特征提取模块的门控卷积GCL过滤过程中，采用残差瓶颈模块RBB取代传统的残差模块RB来达到降低计算量和参数量的目的。

结合第五方面，在一种实施方式中，所述分割模块是基于轻量级网络实现的。

因此，分割模块，采用轻量级语义分割网络作为主干网络，能降低模型对计算消耗、内存消耗等的要求，更适合在轨语义分割。

第六方面，一种电子设备，包括：处理器、存储器和总线；所述处理器通过所述总线与所述存储器相连，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，用于实现如第一方面、第二方面和第五方面任一项所述方法。

第七方面，一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被执行时实现如第一方面、第二方面和第五方面任一项所述方法。

附图说明

图1为本申请实施例示出的一种语义分割系统；

图2为本申请实施例示出的一种语义分割模型；

图3为本申请实施例示出的一种语义分割模型的内部结构图；

图4为本申请实施例示出的一种语义分割模型的训练流程图；

图5为本申请实施例示出的一种训练目标生成器的流程图；

图6为本申请实施例示出的一种图像语义分割流程图；

图7为本申请实施例示出的一种语义分割模型的训练装置；

图8为本申请实施例示出的一种图像语义分割的装置；

图9为本申请实施例示出的一种电子设备。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对附图中提供的本申请的实施例的详情描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护范围。

下面结合附图详细描述本申请实施例中的方法步骤。

本申请实施例可以应用于多种对输入图片进行语义分割的场景，例如，这些场景包括卫星在获取遥感图像(即待分割图像)之后，对遥感图像进行图像语义分割的场景。以卫星对遥感图像为例示例性的阐述相关技术的语义分割方法存在的问题。

现有方案的预训练只有使用与真实的目标域图像集差异小的源域训练数据图像集训练才能得到好的效果，然而现实情况下，对卫星获得的遥感图像进行手工像素级标注非常昂贵和耗时，况且找到与真实的目标域图像集非常相似的公开源域训练数据图像集又很难，因此，导致在使用训练完成的语义分割模型，对真实的目标域图像集进行分割的效果较差。另外，现有的语义分割模型中采用基于ResNet-50、ResNet-101和WideResNet的DeepLabv3+作为主干分割网络，网络复杂度很高，不适合在智能卫星上部署和运行，以及使用多路门控卷积和残差模块导致计算量增大，不适合在卫星上运行。

至少为了解决上述问题，本申请实施例设计了一个面向于卫星的语义分割系统，包括在地面电子设备上执行的训练流程以及在卫星上的部署的语义分割流程。在地面上对待训练语义分割模型进行预训练后，使用生成数据集图像进行再训练得到最终语义分割模型，再将最终语义分割模型部署到星上实现在轨语义分割，可以节省在轨语义分割时模型的计算和内存消耗，在地面完成对语义分割模型的预训练，提高模型的泛化性。因此，本申请一些实施例提供一种使用生成数据集图像对初级语义分割模型进行再训练和使用轻量级网络的方法，能够提高语义分割模型的分割效果，解决了由于源域训练数据图像集与目标域图像集由于来源不同而产生的模型分割效果不好的问题。可以理解的是，本申请实施例的应用场景不限于此。

下文将详细描述一种语义分割系统。

如图1所示，地面电子设备将获取得到的源域训练数据图像集110输入到待训练语义分割模型进行训练，得到初级语义分割模型140，同时，还将源域训练数据图像集输入到生成对抗自适应网络120中，并且输出生成数据集图像，其中，生成数据集图像与真实的源域图像集的特征相似，此时，再使用生成数据集图像对初级语义分割模型140进行再训练，获得最终语义分割模型150。将训练完成的最终语义分割模型150部署到卫星170上，在星上进行语义分割的过程中，卫星170获取待分割图像(例如：遥感图像)，使用最终语义分割模型150对待分割图像进行处理，输出图像分割结果180。

作为另一种实施例，地面电子设备可以将训练完成的初级语义分割模型和训练完成的目标生成器，上传和部署到卫星上，在星上使用目标生成器获得的生成数据集对初级语义分割模型进行微调，获得最终语义分割模型，再将星上获取的待分割图像输入到最终语义分割模型中进行分割。

需要说明的是，由于在训练过程中，训练最终语义分割模型的计算量较大，因此，地面电子设备可以是一个服务器组，包括至少两个服务器本申请实施例不限于此。

在本申请实施例的一些实施例中，示例性的阐述上述初级语义分割模型和最终语义分割模型的网络结构。

在本申请的一些实施方式中，一种分割模型，包括：分割模块，被配置为提取输入图像的各层特征，并且获得像素点分类；边缘相关特征提取模块，被配置为根据各层特征获取边缘相关特征；以及边缘预测模块，被配置为根据输入图像获得边缘预测结果；根据边缘预测结果对边缘相关特征进行修正，获得目标边缘特征；融合模块，被配置为将目标边缘特征和像素点分类进行融合，获得图像分割结果。

在本申请的一些实施方式中，上述分割模型中的边缘预测模块包括：边缘预测算子和浅层卷积层；边缘预测算子，被配置为根据输入图像，获得图像梯度；浅层卷积层，被配置为根据图像梯度和边缘相关特征，获得边缘预测结果；根据边缘预测结果对边缘相关特征进行修正，获得目标边缘特征。

需要说明的是，在训练阶段，输入图像包括源域训练数据图像集或者生成数据集图像；在应用阶段，输入图像包括待分割图像。

作为本申请实施例中，上述分割模型的一种具体实施例，如图2所示，一种分割模型包括：分割模块402，被配置为提取输入图像401的各层特征，输出像素点分类403，将各层特征输入到边缘相关特征提取模块404中；边缘相关特征提取模块404被配置为根据各层获取边缘相关特征，将边缘相关特征输入到浅层卷积层406中；边缘预测算子405被配置为计算输入图像401的图像梯度，并且输入到浅层卷积层406中；浅层卷积层406被配置为根据图像梯度和边缘相关特征，获得边缘预测结果；根据边缘预测结果对边缘相关特征进行修正，获得目标边缘特征407；融合模块408被配置为将像素点分类403和目标边缘特征407进行融合，获得图像分割结果409。

在本申请的一种实施方式中，边缘相关特征提取模块是基于门控卷积层和残差瓶颈模块实现的，能够实现从分割模块的不同特征层提取和过滤出与边缘信息相关的特征图；考虑卫星在轨有限的计算资源，分割模块是基于轻量级网络实现的(例如：DDRNet)；在边缘预测模块，用二值边缘预测算子Sobel或其他算子均可，获得的图像梯度与边缘相关特征提取模块过滤出的特征图作为输出，设计一个浅层的卷积层来学习并输出边缘预测结果，通过二值边缘来修正边缘相关特征，获得目标边缘特征。

下面以图3为例，示例性阐述具体的语义分割模型的网络结构。

在本申请的一些实施例中，如图3所示，分割模块402中第一残差模块501(表征为图3的RB1/4)、第二残差模块502(表征为图3的RB1/8)、第三残差模块503(表征为图3的RB1/8)、第四残差模块504(表征为图3的RB1/8)和第八残差模块508(表征为图3的RB1/8)依次连接。

第五残差模块505(表征为图3的RB1/16)分别与第六残差模块506(表征为图3的RB1/32)和第四残差模块504(表征为图3的RB1/8)连接；第三残差模块503(表征为图3的RB1/8)分别与第四残差模块504(表征为图3的RB1/8)和第六残差模块506(表征为图3的RB1/32)连接；第六残差模块506(表征为图3的RB1/32)分别与第七残差模块507(表征为图3的RB1/64)和第八残差模块508(表征为图3的RB1/8)连接；第四残差模块504(表征为图3的RB1/8)分别与第七残差模块507(表征为图3的RB1/64)和第八残差模块508(表征为图3的RB1/8)连接。

第七残差模块507将计算结果输入到聚合模块509(表征为图3中的DAPPM)，聚合模块509与第八残差模块508输出的计算结果输入到求和模块510(表征为图3中的Sum)中进行求和，再将求和结果输入到头部模块511(表征为图3中的SegHead)中进行计算，最终获得像素点分类403。

需要说明的是，RB为Residual basic block基本的残差模块，RB1/4表示若最初输入图像分辨率为112×112(表示为1)，该层输入分辨率为最初输入图像的1/4即28×28；聚合模块(Deep Aggregation PyramidPooling Module，DAPPM)是深度直线回归网络(DeepDirect Regression Net，DDRNet)中提出的一个聚合模块；头部(Segmentation head，SegHead)，由一个3×3卷积层组成，然后是一个1×1卷积层，可以通过改变3×3卷积层的输出尺寸来调节分割头的计算负荷，本申请实施例不限于此。

在本申请的一些实施例中，如图3所示，边缘相关特征提取模块404中第一卷积层521(表征为图3中的conv 1×1)与第一残差瓶颈模块522(表征为图3中的RBB)连接，并且第一卷积层521还接收来自第一残差模块的特征，第一残差瓶颈模块522与第一门控卷积层524(表征为图3中的GCL)连接，第二卷积层523与第一门控卷积层524连接，第二卷积层523接收第三残差模块503输入的特征，第一门控卷积层524与第二残差瓶颈模块525连接，第三卷积层526与第二门控卷积层527连接，第二门控卷积层527与第四卷积层528连接，第四卷积层528将特征输入到浅层卷积层406中，输出目标边缘特征407，将像素点分类403和目标边缘特征407输入到ASPP融合模块408中输出图像分割结果409。

需要说明的是，边缘相关特征提取模块中包括：残差瓶颈模块(Residualbottleneck block，RBB)和门控卷积层(gated convlutional layer，GCL)；Conv 1×1为1×1卷积；融合模块可以是空洞空间金字塔池化模块(Atrous spatial pyramid pooling，ASPP)：对给定的输入以不同采样率的空洞卷积并行采样，相当于以多个比例捕捉图像的上下文，本申请实施例不限于此。

因此，本申请中设计了一个卫星在轨语义分割的整体架构，使训练得到的模型适应卫星在轨语义分割的应用环境；基于多任务学习的思想，设计了分割模块和边缘预测模块的共同学习架构，分割任务部分摒弃传统的大网络结构，采用了轻量级的DDRNet，并设计了一个边缘相关特征提取模块来将边缘相关特征直接传输到边缘预测模块中，使得边缘预测模块不需要再进行边缘相关特征的计算，实现了共享表达。

下文将描述本申请的实施例提供的由地面电子设备执行的训练语义分割网络模型的实施方式。

如图4所示，本申请的一些实施例提供一种语义分割模型的训练方法，该方法包括：S210，获取源域训练数据图像集和目标域图像集；S220，根据源域训练数据图像集对待训练语义分割模型进行训练，获得初级语义分割模型；S230，根据生成数据集图像对初级语义分割模型进行再训练，获得最终语义分割模型。

下面示例性阐述上述各步骤的实现过程。

在一种实施方式中，S210涉及的源域训练数据图像集包括：通过第一途径获取的真实图像，目标域图像集包括：通过第二途径获取的真实图像。

将带有标注的训练数据集称为源域训练数据图像集，测试数据集称为目标域图像集，为了解决由于源域训练数据图像集和目标域图像集的获取方式相同，而导致的训练效果不佳的问题，本申请实施例中通过第一途径获取源域训练数据图像集，通过第二途径获取目标域图像集。

第一途径和第二途径之间的差异可以是：时间不同、地点不同、主体不同，例如：通过第一途径获取图像可以是：第一卫星在下午2点获取的A山区域的遥感图像；通过第二途径获取图像可以是：第二卫星在下午6点获取B森林区域的遥感图像。

需要说明的是，源域训练数据图像集和目标域图像集可以是卫星遥感图像，可以是人像，也可以是风景图像，本申请实施例不限于此。

将带有标注的源域训练数据图像集输入到待训练语义分割模型进行训练，在本申请的一些实施例中，S220涉及的待训练语义分割模型包括：分割模块、边缘相关特征提取模块、边缘预测模块和融合模块。

分割模块，被配置为提取源域训练数据图像集的各层特征，并且获得像素点分类；边缘相关特征提取模块，被配置为根据各层特征获取边缘相关特征；边缘预测模块，被配置为根据源域训练数据图像集获得边缘预测结果；根据边缘预测结果对边缘相关特征进行修正，获得目标边缘特征。融合模块，被配置为将目标边缘特征和像素点分类进行融合，获得图像分割结果；确认图像分割结果满足终止条件，获得图像分割结果。

以1次循环的过程为例详细描述上述训练过程：将源域训练数据图像输入到分割模块中，分割模块在提取每张图像的各层特征后，获取每张源域训练数据图像的各像素点分类，通过像素点分类可以获得初步的分割结果，并将各像素点分类输入到融合模块中，其中像素点分类可以是：图像中包括的像素点属于的类别，例如：像素点的类别可以是人、建筑物、车、树等。

分割模块在提取每张源域训练数据图像的各层特征后，将各层特征输入到边缘相关特征提取模块中，边缘相关特征提取模块从各层特征中过滤出与边缘相关的特征，并且将计算得到的边缘相关特征输入到边缘预测模块中的卷积层中。

边缘预测模块中的二值边缘预测算子根据输入的源域训练数据图像集，计算图像梯度，用于监督边缘特征的学习，将图像梯度输入到卷积层中，卷积层通过图像梯度和边缘相关特征计算得到边缘预测结果，再根据边缘预测结果对边缘相关特征进行修正，获得目标边缘特征，并将目标边缘特征输入到融合模块中。

融合模块，将目标边缘特征和像素点分类进行融合，获得图像分割结果，在图像分割结果满足终止条件(可以是满足循环次数，也可以是第1图像分割结果满足设置精度)时，获得初级语义分割模型。

在图像分割结果不满足终止条件是，重复执行上述步骤，直至满足终止条件，获得初级语义分割模型。

需要说明的是，终止条件可以是满足循环次数，也可以是图像分割结果满足设置的要求，循环次数可以是1000次、2000次，设置的要求可以是像素点分类平均准确率达到95％，也可以是平均交并比达到80％。本申请实施例不限于此。

因此，在本申请实施例中，通过在语义分割模型中设置边缘预测模块，能够帮助监督分割的边缘特征学习，从而能够提升分割结果和边缘预测效果；通过设置边缘相关特征提取模块，能够将分割模块提取的特征共享到边缘预测模块中，降低了运算时间和GPU占用率。

下文示例性阐述S230的实施方式。

在一种实施方式中，S230涉及的生成数据集图像是通过目标生成器生成的，目标生成器是根据源域训练数据图像集、目标域图像集和生成对抗自适应网络训练得到的。

为了解决与源域图像差别较大的目标域图像缺乏的问题，在训练的过程中加入一个生成对抗自适应网络，先通过未标注的目标域图像集和标注良好的源域训练数据图像集训练一个生成对抗域自适应网络，获得目标生成器，通过目标生成器用源域训练数据图像集生成一个与目标域图像集分布相近的生成数据集图像，用生成数据集图像对预训练好的初级语义分割模型进行再训练，能够获得的最终语义分割模型更好地适应于真实的目标域图像集。

在本申请的一些实施例中，如图5所示，目标生成器是通过如下方法训练得到：将第i源域训练数据图像301输入到第一生成器302中，得到第i生成图像303，其中i大于或等于1的整数；将第i生成图像303和目标域图像集304输入到第一鉴别器305中，获得第i目标域鉴别结果306；重复上述步骤，直至第i目标域鉴别结果306满足第一预设条件，获得目标生成器。

作为一种实施例，以一次循环为例详细描述目标生成器的训练过程，当i＝1时，将第1源域训练数据图像输入到生成对抗自适应网络的第一生成器中，生成第1生成图像，第1生成图像的特征与第1源域训练数据图像所对应的目标域图像相似，将真实的目标域图像集和第1生成图像同时输入到第一鉴别器中，经过第一鉴别器使用真实的目标域图像集对第1生成图像进行鉴别，获得第1目标域鉴别结果，重复上述步骤，直到循环次数i达到训练阈值(即满足第一预设条件)，终止循环，获得目标生成器。

需要说明的是，第一预设条件可以是循环次数达到训练阈值，训练阈值可以是1000次、2000次等，第一预设条件也可以是第i目标域鉴别结果表示的第i生成图像与真实的目标域图像集之间相似程度达到大于95％、96％等，本申请实施例不限于此。

因此，本申请实施例通过使用真实的目标域图像集对第i生成图像进行鉴别，能够使第i生成图像的特征与真实的目标域图像集相近，从而训练获得目标生成器，在应用的过程中通过将源域训练数据图像输入到目标生成器中，能够直接获得与目标域图像特征相近的生成数据集图像，从而能够减少源域图像和目标域图像缺乏的技术问题，提升语义分割模型的训练效果。

在本申请的一种实施方式中，如图5所示，将第i源域训练数据图像301输入到第一生成器302中，得到第i生成图像303，其中i大于或等于1的整数；将第i生成图像303和目标域图像集304输入到第一鉴别器305中，获得第i目标域鉴别结果306。同时，将第i生成图像303输入到第二生成器307中，生成第i重构源域图像308；根据损失函数将第i重构源域图像308和第i源域训练数据图像301之间的差异最小化，并且将第i重构源域图像308和第i源域训练数据图像301输入到第二鉴别器309中，获得第i源域鉴别结果310；重复上述步骤，直至第i目标域鉴别结果306满足第一预设条件且第i源域鉴别结果310满足第二预设条件。

作为一种实施例，以1次循环为例详细描述另一种目标生成器的训练过程，当i＝1时，将第1源域训练数据图像输入到生成对抗自适应网络的第一生成器中，生成第1生成图像，第1生成图像的特征与第1源域训练数据图像所对应的目标域图像相似，将真实的目标域图像集和第1生成图像同时输入到第一鉴别器中，同时将第1生成图像输入到第二生成器中，经过第一鉴别器使用真实的目标域图像集对第1生成图像进行鉴别，获得第1目标域鉴别结果。第二生成器生成第1重构源域图像，使用损失函数使得第1源域训练数据图像集和第1重构源域图像之间的差异最小，并且将第1重构源域图像和第1源域训练数据图像集同时输入到第二鉴别器中，经过第二鉴别器使用真实的第1源域训练数据图像集对第1重构源域图像进行鉴别，获得第1源域鉴别结果，重复上述步骤，直到循环次数i达到训练阈值，终止循环，获得目标生成器(即训练完成的第一生成器)。

需要说明的是，第一预设条件可以是第i生成图像和目标域图像集之间的相似度阈值，第二预设条件可以是第i重构源域图像和第i源域训练数据图像之间的相似度阈值。相似度阈值可以是大于95％、96％等。第一预设条件和第二预设条件还可以是循环次数达到预设次数，可以是1000次、2000次等。本申请实施例不限于此。

需要说明的是，第i源域鉴别结果可以包括源域图像的真假标签，和第i重构源域图像与第i源域训练数据图像之间的相似度值；第i目标域鉴别结果可以包括目标域图像的真假标签，和第i生成图像与目标域图像集之间的相似度值。

因此，本申请实施例通过使用第i源域训练数据图像对第i重构源域图像进行鉴别，能够获得第二生成器，从而使目标生成器的训练效果更好；针对源域训练数据图像集和目标域图像集之间的差异，为了提高预训练的模型在实际数据上的分割性能，本申请提出的预训练策略中加入了生成对抗自适应网络，在预训练时通过生成对抗自适应网络提高模型在实际数据上的泛化性，进而提高在星上在轨语义分割时的模型性能。

通过上述方法获得的生成数据集图像，再次输入到初级语义分割模型中进行再训练，获得最终语义分割模型。

因此，本申请实施例由于目标域图像集是通过不同于源域图像集的获取方式得到的，因此本申请的一些实施例通过目标生成器生成的与目标域图像集特征相似的生成数据集图像也与源域训练数据图像集相似，因此基于这些数据对初始语义分割模型进行再训练的方法，从而能够提高语义分割模型的分割效果。

上文描述了地面电子设备执行的语义分割模型的训练方法，下文将描述一种由卫星执行的图像语义分割方法的具体实施例。

如图6所示，本申请中提供一种图像语义分割方法，包括：S610，获取待分割图像；S620，将待分割图像输入到采用图2方法训练得到的最终语义分割模型中进行语义分割，获得图像分割结果。

可以理解的是，本申请的一些实施例通过执行上述S210、S220和S230中的方法获取得到了最终语义分割模型，将最终语义分割模型上注到卫星后进行部署，在应用过程中，卫星获取遥感图像(即待分割图像)，将遥感图像输入到最终语义分割模型中进行识别，获得图像分割结果。

因此，本申请实施例中的分割模型应用方法，能够实现对任意获取途径的待分割图像进行处理，且使用最终语义分割模型得到的分割结果，相对于现有的语义分割模型的分割结果较好。

在本申请的一种实施方式中，最终语义分割模型包括：分割模块、边缘相关特征提取模块、边缘预测模块以及融合模块。将待分割图像输入分割模块提取待分割图像的各层特征，并且获得像素点分类；根据各层特征和边缘相关特征提取模块，获取边缘相关特征；根据待分割图像和边缘预测模块，获得边缘预测结果；根据边缘预测结果对边缘相关特征进行修正，获得目标边缘特征；根据目标边缘特征、像素点分类和融合模块，获得图像分割结果。

作为本申请的一种实施例，将待分割图像输入到分割模块中，分割模块在提取每张图像的各层特征后，获取每张待分割图像的像素点分类，通过像素点分类可以获得初步的分割结果，并将像素点分类输入到融合模块中，其中像素点分类，可以包括：图像中各个物体的边缘像素点，非边缘像素点以及各个像素点的分类结果(例如，像素点A、像素点B等多个像素点对应卫星空间中的一个被拍摄物体)。

分割模块在提取每张待分割图像的各层特征后，将各层特征输入到边缘相关特征提取模块中，边缘相关特征提取模块从各层特征中过滤出与边缘相关的特征，并且将计算得到的边缘相关特征输入到边缘预测模块中的卷积层中。

在本申请的一些实施例中，边缘预测模块采用二值边缘预测算子进行边缘预测。例如，边缘预测模块采用二值边缘预测算子计算输入的待分割图像的梯度(以基于梯度信息监督边缘特征的学习)；将图像梯度输入到卷积层中，卷积层通过图像梯度和边缘相关特征计算得到边缘预测结果；再根据边缘预测结果对边缘相关特征进行修正，获得目标边缘特征，并将目标边缘特征输入到融合模块中，融合模块将目标边缘特征和像素点分类进行融合，获得图像分割结果。

因此，本申请实施例通过设置边缘预测模块，能够帮助监督分割的边缘特征学习，对边缘相关特征进行修正，从而能够提升分割结果和边缘预测效果；通过在语义分割模型中；通过设置边缘相关特征提取模块，能够将分割模块提取的特征共享到边缘预测模块中，降低了运算时间和GPU占用率。

在一种实施方式中，分割模块、边缘相关特征提取模块、边缘预测模块和融合模块依次进行运算；或者，边缘预测模块、分割模块、边缘相关特征提取模块和融合模块依次进行运算。

也就是说，在整个网络的多任务架构中分割模块、边缘相关特征提取模块和边缘预测模块可分阶段运行完成各模块的功能，可以先进行边缘预测，得到图像梯度后等待其他模块的计算，然后分割模块进行提取各层特征，在计算边缘相关特征时，分割模块可以暂停，以此交互的进行，避免并行计算，降低GPU占用率。

因此，为了防止多任务的并行运行带来的对GPU内存要求的提高，将分割模块、边缘相关特征提取模块、边缘预测模块和融合模块分阶段进行分割特征的提取、过滤等，一定程度上通过增加计算时长来降低对GPU内存的要求。

作为本申请的一种实施例，可以是分割模块、边缘相关特征提取模块、边缘预测模块和融合模块依次进行运算，也可以是边缘预测模块、分割模块、边缘相关特征提取模块和融合模块依次进行运算，也可以是先分割模块和边缘预测模块中的边缘预测算子同时进行运算后，边缘相关特征提取模块再进行计算后，将边缘相关特征输入到边缘预测模块的卷积层进行计算，最后融合模块再进行融合。

因此，本申请实施例通过设计了分阶段的学习，在实现学习到两任务共同特征的基础上，降低了并行学习所需的GPU占用率，降低了对GPU的要求。

上文描述了地面电子设备执行的分割模型的应用方法，下文将描述一种语义分割模型的训练装置。

如图7所示，本申请的一种软件定义卫星语义分割装置700，包括：图像集获取模块710、初级模型训练模块720和再训练模块730。

本申请的一种软件定义卫星语义分割装置700，包括：图像集获取模块，710被配置为获取源域训练数据图像集和目标域图像集，其中，所述源域训练数据图像集包括：通过第一途径获取的真实图像，所述目标域图像集包括：通过第二途径获取的真实图像；初级模型训练模块720，被配置为根据所述源域训练数据图像集对待训练语义分割模型进行训练，获得初级语义分割模型；再训练模块730，被配置为根据生成数据集图像对所述初级语义分割模型进行再训练，获得最终语义分割模型，其中，所述生成数据集图像是通过目标生成器生成的，所述目标生成器是根据所述源域训练数据图像集、所述目标域图像集和生成对抗自适应网络训练得到的。

本申请的一种实施方式中，所述目标生成器是通过如下方法训练得到：将第i源域训练数据图像输入到第一生成器中，得到第i生成图像，其中i大于或等于1的整数；将所述第i生成图像和所述目标域图像集输入到第一鉴别器中，获得第i目标域鉴别结果；重复上述步骤，直至所述第i目标域鉴别结果满足第一预设条件，获得所述目标生成器。

本申请的一种实施方式中，所述源域训练数据图像集包括通过第二生成器生成的图像，所述第二生成器是通过如下方法训练得到的：将所述第i生成图像输入到第二生成器中，生成第i重构源域图像；根据损失函数将所述第i重构源域图像和所述第i源域训练数据图像之间的差异最小化，并且将所述第i重构源域图像和所述第i源域训练数据图像输入到第二鉴别器中，获得第i源域鉴别结果；重复上述步骤，直至所述第i源域鉴别结果满足第二预设条件，获得所述第二生成器。

本申请的一种实施方式中，所述待训练语义分割模型和所述最终语义分割模型，包括：分割模块、边缘相关特征提取模块、边缘预测模块和融合模块；分割模块，被配置为提取所述源域训练数据图像集的各层特征，并且获得像素点分类；边缘相关特征提取模块，被配置为根据所述各层特征获取边缘相关特征；边缘预测模块，被配置为根据所述源域训练数据图像集获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征；以及融合模块，被配置为将所述目标边缘特征和所述像素点分类进行融合，获得图像分割结果；确认所述图像分割结果满足终止条件，获得图像分割结果。

本申请实施例中，图7所示模块能够实现图1、图2和图3方法实施例中所对应的各个过程。图7中的各个模块的操作和/或功能，分别为了实现图1、图2和图3中的方法实施例中的相应流程。具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详细描述。

下文将描述一种软件定义卫星语义分割装置。

如图8所示，一种软件定义卫星语义分割装置800，包括：待分割图像获取模块810和分割模块820。

本申请实施例中的一种软件定义卫星语义分割装置800，包括：待分割图像获取模块810，被配置为获取待分割图像；分割模块820，被配置为将待分割图像输入到如第一方面及其实施方式中任一项的训练方法得到的最终语义分割模型中，获得图像分割结果。

在本申请的一种实施方式中，最终语义分割模型包括：分割模块、边缘相关特征提取模块、边缘预测模块以及融合模块，分割模块还被配置为：将待分割图像输入分割模块提取待分割图像的各层特征，并且获得像素点分类；根据各层特征和边缘相关特征提取模块，获取边缘相关特征；根据待分割图像和边缘预测模块，获得边缘预测结果；根据边缘预测结果对边缘相关特征进行修正，获得目标边缘特征；根据目标边缘特征、像素点分类和融合模块，获得图像分割结果。

在本申请的一种实施方式中，分割模块、边缘相关特征提取模块、边缘预测模块和融合模块依次进行运算；边缘预测模块、分割模块、边缘相关特征提取模块和融合模块依次进行运算。

在本申请实施例中，图8所示模块能够实现图1和图6方法实施例中对应的各个过程。图8中的各个模块的操作和/或功能，分别为了实现图1、图6中的方法实施例中的相应流程。具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详细描述。

如图9所示，本申请实施例提供一种电子设备900，包括：处理器910、存储器920和总线930，处理器通过总线与存储器相连，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，用于实现如上述所有实施例中任一项的方法，具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详细描述。

其中，总线用于实现这些组件直接的连接通信。其中，本申请实施例中处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。存储器中存储有计算机可读取指令，当计算机可读取指令由处理器执行时，可以执行上述实施例中的方法。

可以理解，图9所示的结构仅为示意，还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。图9中所示的各组件可以采用硬件、软件或其组合实现。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被执行时实现上述所有实施方式中任一的方法，具体可参见上述方法实施例中的描述，为避免重复，此处适当省略详细描述。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (15)

1.一种软件定义卫星语义分割方法，其特征在于，所述训练方法包括：

获取源域训练数据图像集和目标域图像集，其中，所述源域训练数据图像集包括：通过第一途径获取的真实图像，所述目标域图像集包括：通过第二途径获取的真实图像；

根据所述源域训练数据图像集对待训练语义分割模型进行训练，获得初级语义分割模型；

根据生成数据集图像对所述初级语义分割模型进行再训练，获得最终语义分割模型，其中，所述生成数据集图像是通过目标生成器生成的，所述目标生成器是根据所述源域训练数据图像集、所述目标域图像集和生成对抗自适应网络训练得到的。

2.根据权利要求1所述的方法，其特征在于，所述目标生成器是通过如下方法训练得到的：

将第i源域训练数据图像输入到第一生成器中，得到第i生成图像，其中，i为大于或等于1的整数；

将所述第i生成图像和所述目标域图像集输入到第一鉴别器中，获得第i目标域鉴别结果；

重复上述步骤，直至所述第i目标域鉴别结果满足第一预设条件，获得所述目标生成器。

3.根据权利要求2所述的方法，其特征在于，所述源域训练数据图像集包括通过第二生成器生成的图像，所述第二生成器是通过如下方法训练得到的：

将所述第i生成图像输入到第二生成器中，生成第i重构源域图像；

根据损失函数将所述第i重构源域图像和所述第i源域训练数据图像之间的差异最小化，并且将所述第i重构源域图像和所述第i源域训练数据图像输入到第二鉴别器中，获得第i源域鉴别结果；

重复上述步骤，直至所述第i源域鉴别结果满足第二预设条件，获得所述第二生成器。

4.根据权利要求1所述的方法，其特征在于，所述待训练语义分割模型和所述最终语义分割模型，包括：分割模块、边缘相关特征提取模块、边缘预测模块和融合模块；

分割模块，被配置为提取所述源域训练数据图像集的各层特征，并且获得像素点分类；

边缘相关特征提取模块，被配置为根据所述各层特征获取边缘相关特征；

边缘预测模块，被配置为根据所述源域训练数据图像集获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征；以及

融合模块，被配置为将所述目标边缘特征和所述像素点分类进行融合，获得图像分割结果。

5.一种软件定义卫星语义分割方法，其特征在于，所述图像语义分割方法包括：

获取待分割图像；

将所述待分割图像输入到如权利要求1-4任一项所述的训练方法得到的最终语义分割模型中，获得图像分割结果。

6.根据权利要求5所述的图像语义分割方法，其特征在于，所述最终语义分割模型包括：分割模块、边缘相关特征提取模块、边缘预测模块以及融合模块，

所述将所述待分割图像输入到如权利要求1-4任一项所述的训练方法得到的最终语义分割模型中，获得图像分割结果，包括：

将所述待分割图像输入所述分割模块提取所述待分割图像的各层特征，并且获得像素点分类；

根据所述各层特征和所述边缘相关特征提取模块，获取边缘相关特征；

根据所述待分割图像和所述边缘预测模块，获得边缘预测结果；

根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征；

根据所述目标边缘特征、所述像素点分类和所述融合模块，获得所述图像分割结果。

7.根据权利要求6所述的图像语义分割方法，其特征在于，所述分割模块、所述边缘相关特征提取模块、所述边缘预测模块和所述融合模块依次进行运算；或者，

所述边缘预测模块、所述分割模块、所述边缘相关特征提取模块和所述融合模块依次进行运算。

8.一种软件定义卫星语义分割装置，其特征在于，所述训练装置包括：

图像集获取模块，被配置为获取源域训练数据图像集和目标域图像集，其中，所述源域训练数据图像集包括：通过第一途径获取的真实图像，所述目标域图像集包括：通过第二途径获取的真实图像；

初级模型训练模块，被配置为根据所述源域训练数据图像集对待训练语义分割模型进行训练，获得初级语义分割模型；

再训练模块，被配置为根据生成数据集图像对所述初级语义分割模型进行再训练，获得最终语义分割模型，其中，所述生成数据集图像是通过目标生成器生成的，所述目标生成器是根据所述源域训练数据图像集、所述目标域图像集和生成对抗自适应网络训练得到的。

9.一种软件定义卫星语义分割装置，其特征在于，所述图像语义分割装置包括：

输入模块，被配置为获取待分割图像；

分割模块，被配置为将所述待分割图像输入到如权利要求1-4任一项所述的训练方法得到的最终语义分割模型中，获得图像分割结果。

10.一种软件定义卫星语义分割方法，其特征在于，应用于语义分割模型，所述语义分割模型包括：

分割模块，被配置为提取输入图像的各层特征，并且获得像素点分类；

边缘相关特征提取模块，被配置为根据所述各层特征获取边缘相关特征；以及

边缘预测模块，被配置为根据所述输入图像获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征；

融合模块，被配置为将所述目标边缘特征和所述像素点分类进行融合，获得图像分割结果。

11.根据权利要求10所述的语义分割模型，其特征在于，所述边缘预测模块包括：边缘预测算子和浅层卷积层；

所述边缘预测算子，被配置为根据所述输入图像，获得图像梯度；

所述浅层卷积层，被配置为根据所述图像梯度和所述边缘相关特征，获得边缘预测结果；根据所述边缘预测结果对所述边缘相关特征进行修正，获得目标边缘特征。

12.根据权利要求10-11任一项所述的语义分割模型，其特征在于，所述边缘相关特征提取模块是基于门控卷积层和残差瓶颈模块实现的。

13.根据权利要求10-11任一项所述的语义分割模型，其特征在于，所述分割模块是基于轻量级网络实现的。

14.一种电子设备，其特征在于，包括：处理器、存储器和总线；

所述处理器通过所述总线与所述存储器相连，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，用于实现如权利要求1-7任一项所述方法。

15.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被执行时实现如权利要求1-7任一项所述方法。

Images