CN115205707A - 样本图像生成方法、存储介质以及电子设备 - Google Patents

样本图像生成方法、存储介质以及电子设备 Download PDF

Info

Publication number
CN115205707A
CN115205707A CN202211106793.6A CN202211106793A CN115205707A CN 115205707 A CN115205707 A CN 115205707A CN 202211106793 A CN202211106793 A CN 202211106793A CN 115205707 A CN115205707 A CN 115205707A
Authority
CN
China
Prior art keywords
image
parameter
remote sensing
rendering
rendering parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211106793.6A
Other languages
English (en)
Other versions
CN115205707B (zh
Inventor
陈威华
王帆
孙修宇
李�昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN202211106793.6A priority Critical patent/CN115205707B/zh
Publication of CN115205707A publication Critical patent/CN115205707A/zh
Application granted granted Critical
Publication of CN115205707B publication Critical patent/CN115205707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/176Urban or other man-made structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种样本图像生成方法、存储介质以及电子设备。其中,该方法包括:监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。本申请解决了相关技术中由于样本图像获取困难,导致模型训练难度较大的技术问题。

Description

样本图像生成方法、存储介质以及电子设备
技术领域
本申请涉及数据处理领域,具体而言,涉及一种样本图像生成方法、存储介质以及电子设备。
背景技术
在实际应用中,为了使遥感分割模型在遥感场景达到满意的效果,往往需要大量的训练数据来对遥感模型进行训练,然而遥感场景的数据往往获取不易。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种样本图像生成方法、存储介质以及电子设备,以至少解决相关技术中由于样本图像获取困难,导致模型训练难度较大的技术问题。
根据本申请实施例的一个方面,提供了一种样本图像生成方法,包括:监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
根据本申请实施例的另一方面,还提供了一种样本图像生成方法,包括:监测真实建筑物区域得到建筑物图像;确定建筑物图像对应的第一参数分布,其中,第一参数分布用于表征建筑物图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实建筑物区域对应的建筑物模型映射至二维平面以生成建筑物图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将建筑物模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
根据本申请实施例的另一方面,还提供了一种样本图像生成方法,包括:监测真实交通工具区域得到交通工具图像;确定交通工具图像对应的第一参数分布,其中,第一参数分布用于表征交通工具图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实交通工具区域对应的交通工具模型映射至二维平面以生成交通工具图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将交通工具模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
根据本申请实施例的另一方面,还提供了一种样本图像生成方法,包括:响应作用于操作界面上的输入指令,在操作界面上显示遥感图像,其中,遥感图像通过监测真实场景区域得到;响应作用于操作界面上的参数统计指令,在操作界面上显示遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;响应作用于操作界面上的图像生成指令,在操作界面上显示模拟场景图像,其中,模拟场景图像是利用第二渲染参数将遥感模型映射至二维平面所生成的,第二渲染参数通过采样结果模拟得到,采样结果通过对第一参数分布进行采样得到,模拟得到的第二渲染参数用于代替第一渲染参数,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
根据本申请实施例的另一方面,还提供了一种样本图像生成方法,包括:云服务器接收客户端上传的遥感图像,其中,遥感图像通过监测真实场景区域得到;云服务器确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;云服务器对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;云服务器利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练;云服务器输出模拟场景图像至客户端。
根据本申请实施例的另一方面,还提供了一种样本图像生成方法,包括:监测真实场景区域得到监测图像;确定监测图像对应的第一参数分布,其中,第一参数分布用于表征监测图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的监测模型映射至二维平面以生成监测图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将监测模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对重识别模型进行训练。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述实施例中任意一项的样本图像生成方法。
根据本申请实施例的一种电子设备,包括:处理器;存储器,与处理器相连接,用于为处理器执行上述实施例中任意一项的样本图像生成方法的指令。
在本申请实施例中,首先监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练,实现了根据真实场景生成用于进行训练的模拟场景图像的目的。容易注意到的是,可以获取真实场景区域的遥感图像对应的第一渲染参数,并根据该第一渲染参数得到遥感图像对应的第一参数分布,通过第一参数分布指导生成模拟场景图像,可以避开真实场景区域中的隐私问题,并且通过第一参数分布来指导生成模拟数据,代替真实场景区域的数据进行算法训练,可以达到比肩真实场景区域中真实数据的效果,完美避开了数据隐私的问题,进而解决了相关技术中由于样本图像获取困难,导致模型训练难度较大的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种样本图像生成方法的虚拟现实设备的硬件环境的示意图;
图2是根据本申请实施例的一种样本图像生成方法的计算环境的结构框图;
图3是根据本申请实施例1的一种样本图像生成方法的流程图;
图4是根据本申请实施例的一种模型训练的结构框图;
图5是根据本申请实施例的一种样本图像生成方法的流程图;
图6是根据本申请实施例2的一种样本图像生成方法的流程图;
图7是根据本申请实施例3的一种样本图像生成方法的流程图;
图8是根据本申请实施例4的一种样本图像生成方法的流程图;
图9是根据本申请实施例5的一种样本图像生成方法的流程图;
图10是根据本申请实施例6的一种样本图像生成方法的流程图;
图11是根据本申请实施例7的一种样本图像生成方法的流程图;
图12是根据本申请实施例8的一种样本图像生成装置的示意图;
图13是根据本申请实施例9的一种样本图像生成装置的示意图;
图14是根据本申请实施例10的一种样本图像生成装置的示意图;
图15是根据本申请实施例11的一种样本图像生成装置的示意图;
图16是根据本申请实施例12的一种样本图像生成装置的示意图;
图17是根据本申请实施例13的一种样本图像生成装置的示意图;
图18是根据本申请实施例14的一种样本图像生成装置的示意图;
图19是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
模拟数据:通过3D渲染引擎生成的人造数据,用来模拟真实场景,辅助算法训练。
目标域(Target Domain):最终的应用场景,即功能场景。
3D语料库(3D data materials):用于生成模拟数据的3D语料库。
参数化渲染(Parameterized Rendering):用于根据目标域统计的信息,即参数,来控制渲染引擎生成的目标域分布相似的模拟图片。
参数估计模型(Estimation Model):用于采集目标域统计信息的模型。
开源的3D渲染工具:可以是一种开源的跨平台全能三维动画制作软件(Blender)、渲染引擎(Rockstar Advanced Game Engine,简称为RAGE)。
目前,遥感场景的数据往往获取不易,而且存在隐私问题,为了解决场景数据隐私问题,一般尝试使用人造合成数据(即模拟数据)代替真实场景数据来训练模型,但是这类方法通常是生成一批固定模拟数据,难以根据特定场景生成相似的模拟数据,这就导致模拟数据和实际场景存在一定的差异,导致其训练的模型在特定场景效果较差。
针对上述问题,本申请提供了一种样本图像生成方法,可以通过观察目标场景数据的统计信息,用来指导生成模拟数据,代替真实目标场景数据,进行算法的训练,达到在目标场景比肩真实数据的效果,完美避开了数据隐私的问题,从而提高训练的模型在特定场景的效果。
实施例1
根据本申请实施例,还提供了一种样本图像生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1是根据本申请实施的一种用于实现样本图像生成方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a,102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的办公软件启动方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的办公软件启动方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
此处需要说明的是,在一些可选实施例中,上述图1所示的计算机设备(或移动设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是,图1仅为特定具体实例的一个实例,并且旨在示出可存在于上述计算机设备(或移动设备)中的部件的类型。
图2是根据本申请实施例的一种样本图像生成方法的计算环境的结构框图,如图2所示,计算环境201包括运行在分布式网络上的多个(图中采用210-1,210-2,…,来示出)计算节点(如服务器)。每个计算节点都包含本地处理和内存资源,终端用户202可以在计算环境201中远程运行应用程序或存储数据。应用程序可以作为计算环境301中的多个服务220-1,220-2,220-3和220-4进行提供,分别代表服务“A”,“D”,“E”和“H”。
终端用户202可以通过客户端上的web浏览器或其他软件应用程序提供和访问服务,在一些实施例中,可以将终端用户202的供应和/或请求提供给入口网关230。入口网关230可以包括一个相应的代理来处理针对服务220(计算环境201中提供的一个或多个服务)的供应和/或请求。
服务220是根据计算环境201支持的各种虚拟化技术来提供或部署的。在一些实施例中,可以根据基于虚拟机(VM)的虚拟化、基于容器的虚拟化和/或类似的方式提供服务220。基于虚拟机的虚拟化可以是通过初始化虚拟机来模拟真实的计算机,在不直接接触任何实际硬件资源的情况下执行程序和应用程序。在虚拟机虚拟化机器的同时,根据基于容器的虚拟化,可以启动容器来虚拟化整个操作系统(OS),以便多个工作负载可以在单个操作系统实例上运行。
在基于容器虚拟化的一个实施例中,服务220的若干容器可以被组装成一个POD(例如,Kubernetes POD)。举例来说,如图2所示,服务220-2可以配备一个或多个POD 240-1,240-2,…,240-N(统称为POD 240)。每个POD 240可以包括代理245和一个或多个容器242-1,242-2,…,242-M(统称为容器242)。POD 240中一个或多个容器242处理与服务的一个或多个相应功能相关的请求,代理245通常控制与服务相关的网络功能,如路由、负载均衡等。其他服务220也可以陪陪类似于POD 240的POD。
在操作过程中,执行来自终端用户202的用户请求可能需要调用计算环境201中的一个或多个服务220,执行一个服务220的一个或多个功能坑你需要调用另一个服务220的一个或多个功能。如图2所示,服务“A”220-1从入口网关230接收终端用户202的用户请求,服务“A”220-1可以调用服务“D”220-2,服务“D”220-2可以请求服务“E”220-3执行一个或多个功能。
上述的计算环境可以是云计算环境,资源的分配由云服务提供上管理,允许功能的开发无需考虑实现、调整或扩展服务器。该计算环境允许开发人员在不构建或维护复杂基础设施的情况下执行响应事件的代码。服务可以被分割完成一组可以自动独立伸缩的功能,而不是扩展单个硬件设备来处理潜在的负载。
在上述运行环境下,本申请提供了如图3所示的样本图像生成方法。需要说明的是,该实施例的样本图像生成方法可以由图1所示实施例的移动终端执行。图3是根据本申请实施例1的样本图像生成方法的流程图。如图3所示,该方法可以包括如下步骤:
步骤S302,监测真实场景区域得到遥感图像。
上述的真实场景区域可以是真实环境中的场景区域。其中,真实场景区域可以是真实建筑物区域、真实交通工具区域、真实农林区域等。
在一种可选的实施例中,可以通过无人机、雷达或卫星监测真实场景区域得到的遥感图像,还可以从网络图库中获取到真实场景区域得到遥感图像。
在另一种可选的实施例中,可以根据需要训练的遥感分割模型确定需要进行监测的真实场景区域,其中,真实场景区域可以与遥感分割模型所要应用的区域类型相同,例如,遥感分割模型需要对农林区域的遥感图像进行处理,那么可以监测农林类型的真实场景区域的遥感图像,若遥感分割模型需要对建筑物区域的遥感图像进行处理,那么可以监测建筑物类型的真实场景区域的遥感图像。
在又一种可选的实施例中,真实场景区域的遥感图像可以是任意的真实场景区域的遥感图像,可以不限定真实场景区域的类型,只要是真实的场景区域即可。
步骤S304,确定遥感图像对应的第一参数分布。
其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像。
上述的真实场景区域对应的遥感模型可以为三维模型。
上述的真实场景区域对应的遥感模型可以是三维模型,可以将三维的遥感模型映射到二维平面上生成遥感图像,其中,三维的遥感模型可以是通过三维空间像素进行表示,二维平面上的遥感图像是通过二维像素进行表示。
在一种可选的实施例中,可以使用数据渲染引擎生成一批通用的模拟数据D1,可选的,可以通过重识别算法或遥感自学习算法生成一批通用的模拟数据D1,并记录对应的渲染参数P1,可以通过模拟数据D1和渲染参数P1训练得到参数估计模型,可以将真实场景区域对应的遥感模型输入到参数估计模型中,得到上述的第一渲染参数。
上述的第一参数分布可以用于表征遥感图像对应的第一渲染参数的高斯分布情况。
在另一种可选的实施例中,针对遥感图像的每个第一渲染参数,可以计算每个第一渲染参数的均值方差,在得到均值方差之后,可以把第一渲染参数的分布定义为一个满足该均值方差的高斯分布。
上述所提到的遥感自学习使用的引擎是基于俯视图场景的渲染引擎,可以把指定的地表模型和渲染参数输入进去,生成不同的地表图像。
步骤S306,对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数。
其中,模拟得到的第二渲染参数用于代替第一渲染参数。
上述的第一渲染参数可以是真实的渲染,其中,真实的渲染参数中可能会包含有用户的隐私,例如面部图像等,因此,需要对第一渲染参数进行调整,可以通过第一参数分布描述第一渲染参数的分布情况,但是不涉取第一渲染参数中的隐私信息,通过对第一参数分布进行采样,得到采样结果,可以模拟一些虚拟的第二渲染参数,其中,由于第二渲染参数是模拟生成的,未涉及隐私信息,因此,可以通过第二渲染参数代替第一渲染参数,将遥感模型映射至二维平面,使得生成的模拟场景图像中不包含用户的隐私信息。
上述的第二渲染参数和第一渲染参数的差别在于其分布相似,但是其中包含的数据相差较大。第一渲染参数中可以包含用户的面部信息,但是在第二渲染参数中可以不包含用户的面部信息,有效的避免了用户的隐私问题。
在一种可选的实施例中,在每次渲染时,可以对每个第一渲染参数从第一参数分布中随机采样一个点,用该点对应的取值作为第一渲染参数具体的取值,也即,随机采样的一个点可以为上述的第二渲染参数,可以通过第二渲染参数替代第一渲染参数。
步骤S308,利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像。
其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
在一种可选的实施例中,可以使用渲染工具利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,可以使用模拟场景图像进行正常的监督模型训练,可选的,可以通过构建遥感自学习任务来训练得到上述的遥感分割模型。
在另一种可选的实施例中,可以利用训练好的遥感分割模型提取遥感图像的特征,计算不同遥感图像的特征之间的相似度,判断两个遥感图像中包含的物体是否属于同一个类别,例如,两个遥感图像的物体之间的相似度大于0.5,则说明两个遥感图像中包含的物体属于同一个类别,两个遥感图像的物体之间的相似度小于或等于0.5,则说明两个遥感图像中包含的物体不属于同一个类别。
在另一种可选的实施例中,可以将遥感图像切成多个图像送入到遥感分割模型中,遥感分割模型会输出多个图像中每个像素点所属的类别,从而实现遥感图像的分类任务。
上述的模拟场景图像的标注信息与模拟场景图像对应的遥感图像的标注信息相同,将模拟场景图像作为样本图像,根据标注信息和样本图像对遥感分割模型进行训练。
需要说明的是,由于上述的模拟场景图像是基于真实场景区域对应的遥感图像生成的,由于真实场景区域对应的遥感图像自身携带有标注信息,因此,根据该遥感图像生成的模拟场景图像可以携带有遥感图像的标注信息,这样就能够减少对模拟场景图像进行标注的步骤,节省了样本图像生成的成本,提高了样本图像生成的效率,从而可以提高遥感分割模型的训练效率。
在真实建筑物区域的场景中,可以监测真实建筑物区域的遥感图像,确定出遥感图像对应的第一参数分布,其中,第一参数分布用于表征建筑物遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实建筑物区域对应的遥感模型映射至二维平面以生成建筑物区域对应的遥感图像,由于第一参数分布中体现了建筑物的遥感图像的分布情况,因此,可以通过对第一参数分布进行采样,以便保证能够拿到建筑物遥感图像中记载的主要信息的同时,避开建筑物遥感图像中对整体没有较大影响的隐私部分,通过对采样结果进行模拟,可以得到第二渲染参数,通过第二渲染参数代替原有的第一渲染参数,能够达到避开隐私部分的效果,可以使用第二渲染参数将遥感模型映射至二维平面,生成大量的模拟场景图像,从而达到通过观察真实建筑物区域的统计信息,用来指导生成建筑物区域的模拟场景图像,代替真实场景区域得到遥感图像进行算法的训练,达到了在建筑物区域中比肩真实建筑物区域的遥感图像的效果,完美避开了数据隐私的问题。
在真实交通工具区域的场景中,可以监测真实交通工具区域的遥感图像,确定出遥感图像对应的第一参数分布,其中,第一参数分布用于表征交通工具遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实交通工具区域对应的遥感模型映射至二维平面以生成交通工具区域对应的遥感图像,由于第一参数分布中体现了交通工具的遥感图像的分布情况,因此,可以通过对第一参数分布进行采样,以便保证能够拿到交通工具遥感图像中记载的主要信息的同时,避开交通工具遥感图像中对整体没有较大影响的隐私部分,通过对采样结果进行模拟,可以得到第二渲染参数,通过第二渲染参数代替原有的第一渲染参数,能够达到避开隐私部分的效果,可以使用第二渲染参数将遥感模型映射至二维平面,生成大量的模拟场景图像,从而达到通过观察真实交通工具区域的统计信息,用来指导生成交通工具区域的模拟场景图像,代替真实场景区域得到遥感图像进行算法的训练,达到了在交通工具区域中比肩真实交通工具区域的遥感图像的效果,完美避开了数据隐私的问题。
本申请的上述方式可以根据不同的场景自动生成相似的模拟场景图像,保证了模拟场景图像和真实场景图像之间的相似性,从而使用模拟场景图像训练得到的遥感分割模型可以取得一个更好的效果。以遥感场景为例,当在对地物进行分类时,很难从现场拿到足够多的数据用于对遥感分割模型进行训练,特别是目前隐私问题广泛关注的情况下,而且对这些数据的标注也会花费很高的成本,在这种情况下,由于训练数据不足,会导致遥感分割模型的分类效果很差,即使找到其他非当前场景已有标注的训练数据,由于这些数据与实际的场景存在差异,因此对提高当前场景的效果帮助也有限。然而采用本申请的上述方式,可以采用少量的真实场景区域的遥感图像,就可以统计出真实场景区域的数据特点,从而针对性的生成很多和真实场景区域类似的模拟场景图像,这些数据不仅不存在隐私问题,而且还自带标注信息,可以大量的生成。并且,由于模拟场景图像和真实场景区域相似性较大,因此,可以有效提高遥感分割模型的处理精确度,从而实现更准确的识别效果。
在另一种可选的实施例中,模拟场景图像还可以作为样本图像用于对重识别模型进行训练。
通过上述步骤,首先监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练,实现了根据真实场景生成用于进行训练的模拟场景图像的目的。容易注意到的是,可以获取真实场景区域的遥感图像对应的第一渲染参数,并根据该第一渲染参数得到遥感图像对应的第一参数分布,通过第一参数分布指导生成模拟场景图像,可以避开真实场景区域中的隐私问题,并且通过第一参数分布来指导生成模拟数据,代替真实场景区域的数据进行算法训练,可以达到比肩真实场景区域中真实数据的效果,完美避开了数据隐私的问题,进而解决了相关技术中由于样本图像获取困难,导致模型训练难度较大的技术问题。
本申请上述实施例中,确定遥感图像对应的第一参数分布,包括:利用参数估计模型对遥感图像进行处理,得到第一渲染参数;对第一渲染参数进行统计,得到第一参数分布。
在一种可选的实施例中,利用参数估计模型对遥感图像进行处理,可以预测得到遥感模型在映射到二维平面时所采用的第一渲染参数,可以对第一渲染参数进行均值方差,并获取该均值方差的高斯分布,可以将该高斯分布作为第一渲染参数在场景区域中的统计结果。
上述的均值可以为
Figure 957211DEST_PATH_IMAGE001
上述的方差可以为
Figure 608772DEST_PATH_IMAGE002
其中,
Figure 247564DEST_PATH_IMAGE003
Figure 111614DEST_PATH_IMAGE004
为参数i统计后的均值和方差,i=1...6,即上述的第一渲染参数。n表示总的采样图像的数量,
Figure 660407DEST_PATH_IMAGE005
表示第j张图像的第i个参数的具体取值。
通过引入一个参数估计模型,可以有效的统计遥感图像中真实场景区域的信息,从而更好的控制参数化的渲染过程。
本申请上述实施例中,该方法还包括:利用预设渲染参数将遥感模型映射至二维平面,生成预设模拟场景图像;利用预设渲染参数和预设模拟场景图像对初始估计模型进行训练,得到参数估计模型。
在一种可选的实施例中,可以使用现有的数据渲染引擎生成一批通用的预设模拟场景图像,并记录对应的预设渲染参数;可选的,可以利用预设渲染参数将遥感模型映射至二维平面,实现对遥感模型的渲染操作,得到预设模拟场景图像。可以采用重识别算法或遥感自学习算法将遥感模型映射至二维平面。
针对于遥感自学习算法,采用的渲染工具可以为RAGE,预设渲染参数可以包括但不限于摄像机视角、光照、分辨率、背景、色差,可以通过RAGE利用这些渲染参数生成一批各种场景的预设模拟场景图像。
可以使用上述的预设渲染参数和预设模拟场景图像,采用深度学习的方法来训练初始估计模型,在训练过程中可以采用残差网络(ResNet50)作为主干网络(backbone),初始估计模型的输入可以为预设模拟场景图像,输出可以为初始估计模型预测的该预设模拟场景图像可能会使用的预测渲染参数,可以采用回归损失函数计算预设渲染参数和预测渲染参数之间的误差,作为梯度进行反转对初始估计模型进行训练,得到参数估计模型。
本申请上述实施例中,利用预设渲染参数和预设模拟场景图像对初始估计模型进行训练,得到参数估计模型,包括:将预设模拟场景图像输至初始估计模型,得到预设模拟场景图像对应的预测渲染参数;基于预设渲染参数和预测渲染参数,生成初始估计模型的第一损失函数;基于第一损失函数对初始估计模型的第一网络参数进行调整,得到参数估计模型。
上述的第一损失函数可以为二次回归损失(L2回归loss)。
在一种可选的实施例中,可以将预设模拟场景图像输至初始估计模型中,通过初始估计模型得到预设模拟场景图像在由遥感模型映射至二维平面时可能使用到的预测渲染参数,可以采用L2回归loss计算预设渲染参数和预测渲染参数之间的误差,并将该误差作为梯度反转对初始估计模型的第一网络参数进行调整,得到参数估计模型。
本申请上述实施例中,监测真实场景区域得到遥感图像,包括:通过遥感设备对真实场景区域进行拍摄,得到遥感图像集合;按照预设比例对遥感图像集合进行采样,得到遥感图像。
上述的遥感设备可以为无人机、红外线拍摄设备等可以获取遥感图像的电子设备。
上述的真实场景区域可以为待进行处理的遥感图像的图像采集区域,例如,需要对A场景区域的遥感图像进行处理,那么可以通过监测A场景区域的遥感图像生成模拟场景图像。
上述的预设比例可以根据需求自行设置,上述的预设比例还可以设置为1%,但不限于此。
上述的采样方式可以为均匀随机采样,上述的采样方式还可以为随机采样。
在一种可选的实施例中,可以通过遥感设备对真实场景区域进行拍摄,得到遥感图像集合,可以采用均匀随机采样,其中,采样总量可以占用遥感图像集合中包含的遥感图像总量的1%,但不限于此,得到上述的遥感图像。
上述的真实场景区域还可以为与待进行处理的遥感图像属于同一类型的图像采集区域,例如,需要对A场景区域的遥感图像进行处理,那么可以通过监测B场景区域的遥感图像生成模拟场景图像,其中,A场景区域和B场景区域都属于建筑区域类型。
本申请上述实施例中,该方法还包括:确定样本图像中包含的样本对象的预设分类结果;利用样本图像和预设分类结果对遥感分割模型进行训练。
上述的样本对象可以为样本图像中包含的人体、物体或者场景,其中,预设分类结果可以是预先设置的样本对象的类别。若样本图像为建筑物遥感图像,则预设分类结果可以为建筑物的类型;若样本图像为地形遥感图像,则预设分类结果为地貌的类型。
上述的样本对象还可以为样本图像中包含的像素点,其中,预设分类结果可以为像素点的类型。若样本图像为建筑物遥感图像,则预设分类结果可以为像素点表示的建筑物的类别;若样本图像为地形遥感图像,则预设分类结果为像素点表示的地貌的类别。
在一种可选的实施例中,可以利用遥感分割模型对样本图像进行分类,得到预测分类结果,可以根据预设分类结果和预测分类结果之间的误差对遥感分割模型进行训练。
本申请上述实施例中,利用样本图像和预设分类结果对遥感分割模型进行训练,包括:将样本图像输入至遥感分割模型,得到样本对象的预测分类结果;基于预设分类结果和预测分类结果,生成遥感分割模型的第二损失函数;基于第二损失函数对遥感分割模型的第二网络参数进行调整。
上述的第二损失函数可以为交叉熵损失函数,但不限于此。
在一种可选的实施例中,可以采用ResNet50作为backbone,用样本图像作为输入,输出为该图片的预测分类结果,采用交叉熵损失函数来计算预设分类结果和预测分类结果之间的误差,作为梯度进行反传,对遥感分割模型的第二网络参数进行调整。
在另一种可选的实施例中,可以采用特征金字塔(Feature pyramid networks,简称为FPN)作为backbone,用样本图像作为输入,输出为该图片每个像素点的预设分类结果,对每个像素点采用交叉熵损失函数,来计算预设分类结果和预测分类结果之间的误差,作为梯度进行反传,对遥感分割模型的第二网络参数进行调整。
本申请上述实施例中,在确定遥感图像对应的第一参数分布之后,该方法还包括:在交互界面上显示第一参数分布;响应作用于交互界面上的第一操作指令,获取第一操作指令对应的第二参数分布;对第二参数分布进行采样,得到采样结果。
上述的交互界面可以为能够进行点选或触屏的交互界面。
上述的第一操作指令可以是第一参数分布的修改指令。
在一种可选的实施例中,在获取到第一参数分布之后,可以在交互界面的显示框中显示第一参数分布,用户在查看第一参数分布有误的情况下,可以通过点击交互界面中的“修改”按钮,对第一参数分布进行修改,得到第二参数分布,在修改完成之后,可以生成第一操作指令,根据第一操作指令将第一参数分布替换为第二参数分布,并对第二参数分布进行采样,得到采样结果。通过在交互界面上显示第一参数分布,可以在第一参数分布误差较大的情况下,对第一参数分布进行调整得到第二参数分布,以便提高参数分布的准确性。
本申请上述实施例中,在基于采样结果模拟得到第二渲染参数之后,该方法还包括:在交互界面上显示第二渲染参数;响应作用于交互界面上的第二操作指令,获取第二操作指令对应的第三渲染参数;利用第三渲染参数将遥感模型映射至二维平面,生成模拟场景图像。
上述的第二操作指令可以是第二参数分布的修改指令。
在一种可选的实施例中,在获取到第二渲染参数之后,可以在交互界面的显示框中显示第二渲染参数,用户在查看第二渲染参数有误的情况下,可以通过点击交互界面中的“修改”按钮,对第二渲染参数进行修改,得到第三渲染参数,在修改完成之后,可以生成第二操作指令,可以根据第二操作指令将第二渲染参数替换为第三渲染参数,并利用第三渲染参数将遥感模型映射至二维平面,生成模拟场景图像。通过在交互界面上显示第二渲染参数,可以在第二渲染参数误差较大的情况下,对第二渲染参数进行调整得到第三渲染参数,以便提高渲染参数的准确性。
本申请上述实施例中,在利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像之后,该方法还包括:在交互界面上显示模拟场景图像;响应作用于交互界面上的第三操作指令,获取第三操作指令对应的第一模拟场景图像,其中,第一模拟场景图像用于对遥感分割模型进行训练。
上述的第三操作指令可以为模拟场景图像的修改指令。
在一种可选的实施例中,在获取到模拟场景图像之后,可以在交互界面的显示框中显示模拟场景图像,用户在查看模拟场景图像有误的情况下,可以通过点击交互界面中的“修改”按钮,对模拟场景图像进行修改,得到第一模拟场景图像,在修改完成之后,可以生成第三操作指令,可以根据第三操作指令将模拟场景图像替换为第一模拟场景图像。通过在交互界面上显示模拟场景图像,可以在模拟场景图像误差较大的情况下,对模拟场景图像进行调整得到第一模拟场景图像,以便提高模拟场景图像的准确性。
本申请上述实施例中,在交互界面上显示所述模拟场景图像之后,该方法还包括:响应作用于所述交互界面上的确认指令,重新对所述第一参数分布进行采样,并基于新采样结果模拟得到第三渲染参数;利用所述第三渲染参数将所述遥感模型映射至二维平面,生成第二模拟场景图像,其中,所述第二模拟场景图像用于对所述遥感分割模型进行训练。
在一种可选的实施例中,可以在交互界面上显示模拟场景图像之后,用户可以查看模拟场景图像是否误差较大,若是模拟场景图像生成误差较大,则用户可以选择重新对第一参数分布进行采样,可以通过生成确认指令重新对第一参数分布进行采样,并根据新采样结果模拟得到第三渲染参数,可以根据第三渲染参数将遥感模型映射至二维平面,以便得到更准确的第二模拟场景图像,可以通过第二模拟场景图像对遥感分割模型进行训练,得到准确度更高的遥感分割模型。
图4是根据本申请实施例的一种模型训练的结构框图,如图4上半部分所示,可以先将真实场景区域对应的遥感模型(3D Data Materials)通过参数化呈现(ParameterizedRendering),可以根据区域的环境信息(Environmental Information)通过手动设置第一参数分布,或通过参数估计模型对遥感模型对应的遥感图像进行处理,得到第一参数分布,可以通过对第一参数分布进行采样,得到第二渲染参数,并利用第二渲染参数将遥感模型映射到二维平面,生成模拟场景图像,可以对模拟场景图像中的对象进行标注,得到第一标注信息,其中,第一标注信息中可以包含有每个对象的类别,可以根据模拟场景图像和第一标注信息对遥感分割模型进行训练,得到训练好的遥感分割模型,可以通过遥感分割模型对目标测试集的遥感图像进行评估(Evaluate)。还可以根据模拟场景图像和第一标注信息对重识别模型进行训练,得到训练好的重识别模型,可以通过重识别模型对目标测试集的图像进行评估。
如图4下半部分所示,可以先将真实场景区域对应的遥感模型通过参数化呈现,可以根据区域的环境情况通过手动设置第一参数分布,可以对第一参数分布进行采样,得到第二渲染参数,并利用第二渲染参数将遥感模型映射到二维平面,生成模拟场景图像,可以对模拟场景图像中的每个像素点进行标注,得到第二标注信息,其中,标注信息可以包含每个像素的参数,参数可以为像素的凸轮抑值(Cam Depression)、伽马值(Gamma Value)等。可以根据模拟场景图像和第二标注信息对参数估计模型(Estimation Model)进行训练,得到训练好的参数估计模型,可以通过参数估计模型对遥感图像进行推理(Inference),得到第一渲染参数。
图5是根据本申请实施例的一种样本图像生成方法的流程图,如图5所示,该方法包括如下步骤:
步骤S502,使用数据渲染引擎生成一批通用的模拟数据,并记录对应的渲染参数;
步骤S504,利用渲染参数和模拟数据,采用深度学习的方式训练参数估计模型;
在训练时,可以采用ResNet50作为backbone,输入为模拟图像D1,输出为模型预测的该图片可能使用的渲染参数P1’。采用L2回归loss,计算真实渲染参数P1和预测的渲染参数P1’之间的误差,作为梯度进行反传,训练参数估计模型M1。
步骤S506,从目标场景区域随机采样遥感图像;
可选的,可以采用均匀随机采样的方式进行采样,采样总量可以占总遥感图像的1%。
步骤S508,利用参数估计模型估计遥感图像的第一分布参数;
其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像。
步骤S510,对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数;
步骤S512,采用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像;
步骤S514,将模拟场景图像作为样本图像用于对遥感分割模型进行训练。
上述步骤中的训练过程中,不需要对数据进行任何标注,只需要采用少量的遥感图像即可,该方法完全适用于遥感自学习的产品中,总的来说,利用目标场景区域中少量的遥感图像,可以得到目标场景区域的统计信息,利用统计信息,渲染得到符合目标场景区域的参数分布,并对参数分布进行采样,得到第二渲染参数,利用第二渲染参数将遥感模型映射到二维平面中,生成模拟场景图像,由于采用的遥感图像本身包含标注信息,因此,得到的模拟场景图片自然就带有标注信息,不需要再次进行标注,利用包含有标注信息的模拟场景图像对遥感分割模型进行训练,可以使训练好的遥感分割模型更好的适用于目标场景区域中。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例的方法。
实施例2
根据本申请实施例,还提供了一种样本图像生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图6是根据本申请实施例2的一种样本图像生成方法的流程图,如图6所示,该方法可以包括如下步骤:
步骤S602,监测真实建筑物区域得到建筑物图像。
步骤S604,确定建筑物图像对应的第一参数分布。
其中,第一参数分布用于表征建筑物图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实建筑物区域对应的建筑物模型映射至二维平面以生成建筑物图像。
步骤S606,对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数。
其中,模拟得到的第二渲染参数用于代替第一渲染参数。
步骤S608,利用第二渲染参数将建筑物模型映射至二维平面,生成模拟场景图像。
其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
本申请上述实施例中,确定所述建筑物图像对应的第一参数分布,包括:利用参数估计模型对所述建筑物图像进行处理,得到所述第一渲染参数;对所述第一渲染参数进行统计,得到所述第一参数分布。
本申请上述实施例中,该方法还包括:利用预设渲染参数将所述建筑物模型映射至二维平面,生成预设模拟场景图像;利用所述预设渲染参数和所述预设模拟场景图像对初始估计模型进行训练,得到所述参数估计模型。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例3
根据本申请实施例,还提供了一种样本图像生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图7是根据本申请实施例3的一种样本图像生成方法的流程图,如图7所示,该方法可以包括如下步骤:
步骤S702,监测真实交通工具区域得到交通工具图像。
步骤S704,确定交通工具图像对应的第一参数分布。
其中,第一参数分布用于表征交通工具图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实交通工具区域对应的交通工具模型映射至二维平面以生成交通工具图像。
步骤S706,对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数。
其中,模拟得到的第二渲染参数用于代替第一渲染参数。
步骤S708,利用第二渲染参数将交通工具模型映射至二维平面,生成模拟场景图像。
其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例4
根据本申请实施例,还提供了一种样本图像生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图8是根据本申请实施例4的一种样本图像生成方法的流程图,如图8所示,该方法可以包括如下步骤:
步骤S802,响应作用于操作界面上的输入指令,在操作界面上显示遥感图像。
其中,遥感图像通过监测真实场景区域得到。
步骤S804,响应作用于操作界面上的参数统计指令,在操作界面上显示遥感图像对应的第一参数分布。
其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像。
步骤S806,响应作用于操作界面上的图像生成指令,在操作界面上显示模拟场景图像。
其中,模拟场景图像是利用第二渲染参数将遥感模型映射至二维平面所生成的,第二渲染参数通过采样结果模拟得到,采样结果通过对第一参数分布进行采样得到,模拟得到的第二渲染参数用于代替第一渲染参数,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例5
根据本申请实施例,还提供了一种样本图像生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图9是根据本申请实施例5的一种样本图像生成方法的流程图,如图9所示,该方法可以包括如下步骤:
步骤S902,云服务器接收客户端上传的遥感图像。
其中,遥感图像通过监测真实场景区域得到。
步骤S904,云服务器确定遥感图像对应的第一参数分布。
其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像。
步骤S906,云服务器对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数。
其中,模拟得到的第二渲染参数用于代替第一渲染参数。
步骤S908,云服务器利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像。
其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
步骤S910,云服务器输出模拟场景图像至客户端。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例6
根据本申请实施例,还提供了一种样本图像生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图10是根据本申请实施例6的一种样本图像生成方法的流程图,如图10所示,该方法可以包括如下步骤:
步骤S1002,监测真实场景区域得到监测图像。
步骤S1004,确定监测图像对应的第一参数分布。
其中,第一参数分布用于表征监测图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的监测模型映射至二维平面以生成监测图像。
上述的真实场景区域对应的监测模型可以为三维模型。
在一种可选的实施例中,可以使用数据渲染引擎生成一批通用的模拟数据D1,可选的,可以通过重识别算法生成一批通用的模拟数据D1,并记录对应的渲染参数P1,可以通过模拟数据D1和渲染参数P1训练得到参数估计模型,可以将真实场景区域对应的监测模型输入到参数估计模型中,得到上述的第一渲染参数。
上述的第一参数分布可以用于表征监测图像对应的第一渲染参数的高斯分布情况。
在另一种可选的实施例中,针对监测图像的每个第一渲染参数,可以计算每个第一渲染参数的均值方差,在得到均值方差之后,可以把第一渲染参数的分布定义为一个满足该均值方差的高斯分布。
上述所提到的重识别算法使用的渲染引擎可以是一个物体渲染引擎,其可以将三维结构模型放到物体渲染引擎后,就能够根据指定参数自动渲染出对应的物体(例如人、车等)即使不包含人体的场景,只需要识别的物体有对应的三维结构模型,都可以使用该物体渲染引擎。
步骤S1006,对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数。
其中,模拟得到的第二渲染参数用于代替第一渲染参数。
步骤S1008,利用第二渲染参数将监测模型映射至二维平面,生成模拟场景图像。
其中,模拟场景图像作为样本图像用于对重识别模型进行训练。
在一种可选的实施例中,可以使用渲染工具利用第二渲染参数将监测模型映射至二维平面,生成模拟场景图像,可以使用模拟场景图像进行正常的监督模型训练,可选的,可以通过构建重识别任务来训练得到上述的重识别模型。
在一种可选的实施例中,可以针对重识别任务,将2954个基础人体结构每个机构都对应一个人,因此,对于第二渲染参数,可以根据其使用的基础人体结构将其分为2954类,将这些类别信息作为这批模拟场景图像的标注信息,以便根据模拟场景图像和标注信息对重识别模型进行训练。
在另一种可选的实施例中,可以利用训练好的重识别模型提取监测图像的特征,计算不同监测图像的特征之间的相似度,判断两个监测图像中包含的物体是否属于同一个类别,例如,两个监测图像的物体之间的相似度大于0.5,则说明两个监测图像中包含的物体属于同一个类别,两个监测图像的物体之间的相似度小于或等于0.5,则说明两个监测图像中包含的物体不属于同一个类别。
上述的模拟场景图像的标注信息与模拟场景图像对应的监测图像的标注信息相同,将模拟场景图像作为样本图像,根据标注信息和样本图像对监测分割模型进行训练。
需要说明的是,由于上述的模拟场景图像是基于真实场景区域对应的监测图像生成的,由于真实场景区域对应的监测图像自身携带有标注信息,因此,根据该监测图像生成的模拟场景图像可以携带有监测图像的标注信息,这样就能够减少对模拟场景图像进行标注的步骤,节省了样本图像生成的成本,提高了样本图像生成的效率,从而可以提高重识别模型的训练效率。
本申请上述实施例中,确定监测图像对应的第一参数分布,包括:利用参数估计模型对第一监测图像进行处理,得到第一渲染参数;对第一渲染参数进行统计,得到第一参数分布。
在一种可选的实施例中,利用参数估计模型对第一监测图像进行处理,可以预测得到监测模型在映射到二维平面时所采用的第一渲染参数,可以对第一渲染参数进行均值方差,并获取该均值方差的高斯分布,可以将该高斯分布作为第一渲染参数在场景区域中的统计结果。
上述的均值可以为
Figure 341925DEST_PATH_IMAGE001
上述的方差可以为
Figure 343379DEST_PATH_IMAGE002
其中,
Figure 542279DEST_PATH_IMAGE003
Figure 945578DEST_PATH_IMAGE004
为参数i统计后的均值和方差,i=1...6,即上述的第一渲染参数。n表示总的采样图像的数量,
Figure 532417DEST_PATH_IMAGE005
表示第j张图像的第i个参数的具体取值。
通过引入一个参数估计模型,可以有效的统计监测图像中真实场景区域的信息,从而更好的控制参数化的渲染过程。
本申请上述实施例中,该方法还包括:利用预设渲染参数将监测模型映射至二维平面,生成预设模拟场景图像;利用预设渲染参数和预设模拟场景图像对初始估计模型进行训练,得到参数估计模型。
在一种可选的实施例中,可以使用现有的数据渲染引擎生成一批通用的预设模拟场景图像,并记录对应的预设渲染参数;可选的,可以利用预设渲染参数将监测模型映射至二维平面,实现对监测模型的渲染操作,得到预设模拟场景图像。可以采用重识别算法或监测自学习算法将监测模型映射至二维平面。
针对于重识别算法,采用的渲染工具可以为Blender,可以使用Blender读取开源社区(Make Human Community)提供的2954个基本3D人体结构模型,其中,人体姿态来自于公开数据集,获取的方式符合相关规定,然后在这些模型上利用下面这些预设渲染参数进行渲染操作,得到2D的预设模拟场景图像,其中,预设渲染参数可以包括但不限于人体姿态、摄像机视角、光照、分辨率、背景、色差,另外,具体的参数设置和范围可以根据标准表格进行设置。
可以使用上述的预设渲染参数和预设模拟场景图像,采用深度学习的方法来训练初始估计模型,在训练过程中可以采用残差网络(ResNet50)作为主干网络(backbone),初始估计模型的输入可以为预设模拟场景图像,输出可以为初始估计模型预测的该预设模拟场景图像可能会使用的预测渲染参数,可以采用回归损失函数计算预设渲染参数和预测渲染参数之间的误差,作为梯度进行反转对初始估计模型进行训练,得到参数估计模型。
本申请上述实施例中,利用预设渲染参数和预设模拟场景图像对初始估计模型进行训练,得到参数估计模型,包括:将预设模拟场景图像输至初始估计模型,得到预设模拟场景图像对应的预测渲染参数;基于预设渲染参数和预测渲染参数,生成初始估计模型的第一损失函数;基于第一损失函数对初始估计模型的第一网络参数进行调整,得到参数估计模型。
上述的第一损失函数可以为二次回归损失(L2回归loss)。
在一种可选的实施例中,可以将预设模拟场景图像输至初始估计模型中,通过初始估计模型得到预设模拟场景图像在由监测模型映射至二维平面时可能使用到的预测渲染参数,可以采用L2回归loss计算预设渲染参数和预测渲染参数之间的误差,并将该误差作为梯度反转对初始估计模型的第一网络参数进行调整,得到参数估计模型。
本申请上述实施例中,监测真实场景区域得到监测图像,包括:通过监测设备对真实场景区域进行拍摄,得到监测图像集合;按照预设比例对监测图像集合进行采样,得到监测图像。
上述的监测设备可以为无人机、红外线拍摄设备等可以获取监测图像的电子设备。
上述的真实场景区域可以为待进行处理的监测图像的图像采集区域,例如,需要对A场景区域的监测图像进行处理,那么可以通过监测A场景区域的监测图像生成模拟场景图像。
上述的预设比例可以根据需求自行设置,上述的预设比例还可以设置为1%,但不限于此。
上述的采样方式可以为均匀随机采样,上述的采样方式还可以为随机采样。
在一种可选的实施例中,可以通过监测设备对真实场景区域进行拍摄,得到监测图像集合,可以采用均匀随机采样,其中,采样总量可以占用监测图像集合中包含的监测图像总量的1%,但不限于此,得到上述的监测图像。
上述的真实场景区域还可以为与待进行处理的监测图像属于同一类型的图像采集区域,例如,需要对A场景区域的监测图像进行处理,那么可以通过监测B场景区域的监测图像生成模拟场景图像,其中,A场景区域和B场景区域都属于建筑区域类型。
本申请上述实施例中,该方法还包括:确定样本图像中包含的样本对象的预设分类结果;利用样本图像和预设分类结果对重识别模型进行训练。
上述的样本对象可以为样本图像中包含的人体、物体等,其中,预设分类结果可以是预先设置的样本对象的类别。
上述的样本对象还可以为样本图像中包含的像素点,其中,预设分类结果可以为像素点的类型。
在一种可选的实施例中,可以利用重识别模型对样本图像进行分类,得到预测分类结果,可以根据预设分类结果和预测分类结果之间的误差对重识别模型进行训练。
本申请上述实施例中,利用样本图像和预设分类结果对重识别模型进行训练,包括:将样本图像输入至重识别模型,得到样本对象的预测分类结果;基于预设分类结果和预测分类结果,生成重识别模型的第二损失函数;基于第二损失函数对重识别模型的第二网络参数进行调整。
上述的第二损失函数可以为交叉熵损失函数,但不限于此。
在一种可选的实施例中,可以采用ResNet50作为backbone,用样本图像作为输入,输出为该图片的预测分类结果,采用交叉熵损失函数来计算预设分类结果和预测分类结果之间的误差,作为梯度进行反传,对重识别模型的第二网络参数进行调整。
本申请上述实施例中,在确定监测图像对应的第一参数分布之后,该方法还包括:在交互界面上显示第一参数分布;响应作用于交互界面上的第一操作指令,获取第一操作指令对应的第二参数分布;对第二参数分布进行采样,得到采样结果。
本申请上述实施例中,其特征在于,在基于采样结果模拟得到第二渲染参数之后,该方法还包括:在交互界面上显示第二渲染参数;响应作用于交互界面上的第二操作指令,获取第二操作指令对应的第三渲染参数;利用第三渲染参数将监测模型映射至二维平面,生成模拟场景图像。
本申请上述实施例中,在利用第二渲染参数将监测模型映射至二维平面,生成模拟场景图像之后,该方法还包括:在交互界面上显示模拟场景图像;响应作用于交互界面上的第三操作指令,获取第三操作指令对应的第一模拟场景图像,其中,第一模拟场景图像用于对重识别模型进行训练。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例7
根据本申请实施例,还提供了一种可以应用于虚拟现实VR设备、增强现实AR设备等虚拟现实场景下的样本图像生成方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图11是根据本申请实施例7的一种样本图像生成方法的流程图。如图11所示,该方法可以包括如下步骤:
步骤S1102,在虚拟现实VR设备或增强现实AR设备的呈现画面上展示监测真实场景区域得到遥感图像。
步骤S1104,确定遥感图像对应的第一参数分布。
其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像。
步骤S1106,对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数。
其中,模拟得到的第二渲染参数用于代替第一渲染参数。
步骤S1108,利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像。
步骤S1110,驱动VR设备或AR设备在呈现画面展示模拟场景图像。
其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
可选地,在本实施例中,上述样本图像生成方法可以应用于由服务器、虚拟现实设备所构成的硬件环境中。在虚拟现实VR设备或增强现实AR设备的呈现画面上展示模拟场景图像,服务器可以为媒体文件运营商对应的服务器,上述网络包括但不限于:广域网、城域网或局域网,上述虚拟现实设备并不限定于:虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等。
可选地,虚拟现实设备包括:存储器、处理器和传输装置。存储器用于存储应用程序,该应用程序可以用于执行:监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
需要说明的是,该实施例的上述应用在VR设备或AR设备中的样本图像生成方法可以包括图11所示实施例的方法,以实现驱动VR设备或AR设备展示模拟场景图像的目的。
可选地,该实施例的处理器可以通过传输装置调用上述存储器存储的应用程序以执行上述步骤。传输装置可以通过网络接收服务器发送的媒体文件,也可以用于上述处理器与存储器之间的数据传输。
可选地,在虚拟现实设备中,带有眼球追踪的头戴式显示器,该HMD头显中的屏幕,用于显示展示的视频画面,HMD中的眼球追踪模块,用于获取用户眼球的实时运动轨迹,跟踪系统,用于追踪用户在真实三维空间的位置信息与运动信息,计算处理单元,用于从跟踪系统中获取用户的实时位置与运动信息,并计算出用户头部在虚拟三维空间中的三维坐标,以及用户在虚拟三维空间中的视野朝向等。
在本申请实施例中,虚拟现实设备可以与终端相连接,终端与服务器通过网络进行连接,上述虚拟现实设备并不限定于:虚拟现实头盔、虚拟现实眼镜、虚拟现实一体机等,上述终端并不限定于PC、手机、平板电脑等,服务器可以为媒体文件运营商对应的服务器,上述网络包括但不限于:广域网、城域网或局域网。
实施例8
根据本申请实施例,还提供了一种用于实施上述样本图像生成方法的样本图像生成装置,图12是根据本申请实施例8的一种样本图像生成装置的示意图,如图12所示,该装置包括:监测模块1202、确定模块1204、采样模块1206、映射模块1208。
其中,监测模块用于监测真实场景区域得到遥感图像;确定模块用于确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;采样模块用于对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;映射模块用于利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
此处需要说明的是,上述监测模块1202、确定模块1204、采样模块1206、映射模块1208对应于实施例1中的步骤S302至步骤S308,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端中。
本申请上述实施例中,确定模块,包括:处理单元、统计单元。
其中,处理单元用于利用参数估计模型对遥感图像进行处理,得到第一渲染参数;统计单元用于对第一渲染参数进行统计,得到第一参数分布。
本申请上述实施例中,该装置还包括:生成模块、训练模块。
其中,生成模块用于利用预设渲染参数将遥感模型映射至二维平面,生成预设模拟场景图像;训练模块用于利用预设渲染参数和预设模拟场景图像对初始估计模型进行训练,得到参数估计模型。
本申请上述实施例中,训练模块,包括:输出单元、第一生成单元、第一调整单元。
其中,输出单元用于将预设模拟场景图像输至初始估计模型,得到预设模拟场景图像对应的预测渲染参数;第一生成单元用于基于预设渲染参数和预测渲染参数,生成初始估计模型的第一损失函数;第一调整单元用于基于第一损失函数对初始估计模型的第一网络参数进行调整,得到参数估计模型。
本申请上述实施例中,监测模块,包括:拍摄单元、采样单元。
其中,拍摄单元用于通过遥感设备对真实场景区域进行拍摄,得到遥感图像集合;采样单元用于按照预设比例对遥感图像集合进行采样,得到遥感图像。
本申请上述实施例中,该装置还包括:训练模块。
其中,确定模块用于确定样本图像中包含的样本对象的预设分类结果;训练模块用于利用样本图像和预设分类结果对遥感分割模型进行训练。
本申请上述实施例中,训练模块包括:输入单元、第二生成单元、第二调整单元。
其中,输入单元用于将样本图像输入至遥感分割模型,得到样本对象的预测分类结果;第二生成单元用于基于预设分类结果和预测分类结果,生成遥感分割模型的第二损失函数;第二调整单元用于基于第二损失函数对遥感分割模型的第二网络参数进行调整。
本申请上述实施例中,该装置还包括:显示模块。
其中,显示模块用于在交互界面上显示第一参数分布;获取模块用于响应作用于交互界面上的第一操作指令,获取第一操作指令对应的第二参数分布;采样模块用于对第二参数分布进行采样,得到采样结果。
本申请上述实施例中,显示模块还用于在交互界面上显示第二渲染参数;获取模块还用于响应作用于交互界面上的第二操作指令,获取第二操作指令对应的第三渲染参数;映射模块还用于利用第三渲染参数将遥感模型映射至二维平面,生成模拟场景图像。
本申请上述实施例中,显示模块还用于在交互界面上显示模拟场景图像;获取模块还用于响应作用于交互界面上的第三操作指令,获取第三操作指令对应的第一模拟场景图像,其中,第一模拟场景图像用于对遥感分割模型进行训练。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例9
根据本申请实施例,还提供了一种用于实施上述样本图像生成方法的样本图像生成装置,图13是根据本申请实施例9的一种样本图像生成装置的示意图,如图13所示,该装置包括:监测模块1302、确定模块1304、采样模块1306、映射模块1308。
其中,监测模块用于监测真实建筑物区域得到建筑物图像;确定模块用于确定建筑物图像对应的第一参数分布,其中,第一参数分布用于表征建筑物图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实建筑物区域对应的建筑物模型映射至二维平面以生成建筑物图像;采样模块用于对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;映射模块用于利用第二渲染参数将建筑物模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
此处需要说明的是,上述监测模块1302、确定模块1304、采样模块1306、映射模块1308对应于实施例2中的步骤S602至步骤S608,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端中。
本申请上述实施例,确定模块,包括:处理单元、统计单元。
其中,处理单元用于利用参数估计模型对所述建筑物图像进行处理,得到所述第一渲染参数;统计单元用于对所述第一渲染参数进行统计,得到所述第一参数分布。
本申请上述实施例,该装置还包括:训练模块。
其中,映射模块还用于利用预设渲染参数将所述建筑物模型映射至二维平面,生成预设模拟场景图像;训练模块用于利用所述预设渲染参数和所述预设模拟场景图像对初始估计模型进行训练,得到所述参数估计模型。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例10
根据本申请实施例,还提供了一种用于实施上述样本图像生成方法的样本图像生成装置,图14是根据本申请实施例10的一种样本图像生成装置的示意图,如图14所示,该装置包括:监测模块1402、确定模块1404、采样模块1406、映射模块1408。
其中,监测模块用于监测真实交通工具区域得到交通工具图像;确定模块用于确定交通工具图像对应的第一参数分布,其中,第一参数分布用于表征交通工具图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实交通工具区域对应的交通工具模型映射至二维平面以生成交通工具图像;采样模块用于对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;映射模块用于利用第二渲染参数将交通工具模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
此处需要说明的是,上述监测模块1402、确定模块1404、采样模块1406、映射模块1408对应于实施例3中的步骤S702至步骤S708,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端中。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例11
根据本申请实施例,还提供了一种用于实施上述样本图像生成方法的样本图像生成装置,图15是根据本申请实施例11的一种样本图像生成装置的示意图,如图15所示,该装置包括:第一显示模块1502、第二显示模块1504、第三显示模块1506。
其中,第一显示模块用于响应作用于操作界面上的输入指令,在操作界面上显示遥感图像,其中,遥感图像通过监测真实场景区域得到;第二显示模块用于响应作用于操作界面上的参数统计指令,在操作界面上显示遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;第三显示模块用于响应作用于操作界面上的图像生成指令,在操作界面上显示模拟场景图像,其中,模拟场景图像是利用第二渲染参数将遥感模型映射至二维平面所生成的,第二渲染参数通过采样结果模拟得到,采样结果通过对第一参数分布进行采样得到,模拟得到的第二渲染参数用于代替第一渲染参数,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
此处需要说明的是,上述第一显示模块1502、第二显示模块1504、第三显示模块1506对应于实施例4中的步骤S802至步骤S808,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端中。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例12
根据本申请实施例,还提供了一种用于实施上述样本图像生成方法的样本图像生成装置,图16是根据本申请实施例12的一种样本图像生成装置的示意图,如图16所示,该装置包括:接收模块1602、确定模块1604、采样模块1606、映射模块1608、输出模块1610。
其中,接收模块用于通过云服务器接收客户端上传的遥感图像,其中,遥感图像通过监测真实场景区域得到;确定模块用于通过云服务器确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;采样模块用于通过云服务器对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;映射模块用于通过云服务器利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练;输出模块用于通过云服务器输出模拟场景图像至客户端。
此处需要说明的是,上述接收模块1602、确定模块1604、采样模块1606、映射模块1608、输出模块1610对应于实施例5中的步骤S902至步骤S910,五个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端中。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例13
根据本申请实施例,还提供了一种用于实施上述样本图像生成方法的样本图像生成装置,图17是根据本申请实施例13的一种样本图像生成装置的示意图,如图17所示,该装置1700包括:监测模块1702、确定模块1704、采样模块1706、映射模块1708。
其中,监测模块用于监测真实场景区域得到监测图像;确定模块用于确定监测图像对应的第一参数分布,其中,第一参数分布用于表征监测图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的监测模型映射至二维平面以生成监测图像;采样模块用于对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;映射模块用于利用第二渲染参数将监测模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对重识别模型进行训练。
此处需要说明的是,上述监测模块1702、确定模块1704、采样模块1706、映射模块1708对应于实施例6中的步骤S1002至步骤S1008,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端中。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例14
根据本申请实施例,还提供了一种用于实施上述样本图像生成方法的样本图像生成装置,图18是根据本申请实施例14的一种样本图像生成装置的示意图,如图18所示,该装置1800包括:展示模块1802、确定模块1804、采样模块1806、映射模块1808、驱动模块1810。
其中,展示模块用于在虚拟现实VR设备或增强现实AR设备的呈现画面上展示监测真实场景区域得到遥感图像;确定模块用于确定遥感图像对应的第一参数分布;其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;采样模块用于对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;映射模块用于利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像;驱动模块用于驱动VR设备或AR设备在呈现画面展示模拟场景图像。
此处需要说明的是,上述展示模块1802、确定模块1804、采样模块1806、映射模块1808、驱动模块1810对应于实施例7中的步骤S1102至步骤S1108,五个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端中。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例15
本申请的实施例可以提供一种电子设备,该电子设备可以是电子设备群中的任意一个电子设备。可选地,在本实施例中,上述电子设备也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述电子设备可以执行样本图像生成方法中以下步骤的程序代码:监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
可选地,图19是根据本申请实施例的一种计算机终端的结构框图。如图19所示,该计算机终端A可以包括:一个或多个(图中仅示出一个)处理器、存储器。
其中,存储器可用于存储软件程序以及模块,如本申请实施例中的样本图像生成方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的样本图像生成方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
可选的,上述处理器还可以执行如下步骤的程序代码:利用参数估计模型对遥感图像进行处理,得到第一渲染参数;对第一渲染参数进行统计,得到第一参数分布。
可选的,上述处理器还可以执行如下步骤的程序代码:利用预设渲染参数将遥感模型映射至二维平面,生成预设模拟场景图像;利用预设渲染参数和预设模拟场景图像对初始估计模型进行训练,得到参数估计模型。
可选的,上述处理器还可以执行如下步骤的程序代码:将预设模拟场景图像输至初始估计模型,得到预设模拟场景图像对应的预测渲染参数;基于预设渲染参数和预测渲染参数,生成初始估计模型的第一损失函数;基于第一损失函数对初始估计模型的第一网络参数进行调整,得到参数估计模型。
可选的,上述处理器还可以执行如下步骤的程序代码:通过遥感设备对真实场景区域进行拍摄,得到遥感图像集合;按照预设比例对遥感图像集合进行采样,得到遥感图像。
可选的,上述处理器还可以执行如下步骤的程序代码:确定样本图像中包含的样本对象的预设分类结果;利用样本图像和预设分类结果对遥感分割模型进行训练。
可选的,上述处理器还可以执行如下步骤的程序代码:将样本图像输入至遥感分割模型,得到样本对象的预测分类结果;基于预设分类结果和预测分类结果,生成遥感分割模型的第二损失函数;基于第二损失函数对遥感分割模型的第二网络参数进行调整。
可选的,上述处理器还可以执行如下步骤的程序代码:在交互界面上显示第一参数分布;响应作用于交互界面上的第一操作指令,获取第一操作指令对应的第二参数分布;对第二参数分布进行采样,得到采样结果。
可选的,上述处理器还可以执行如下步骤的程序代码:在交互界面上显示第二渲染参数;响应作用于交互界面上的第二操作指令,获取第二操作指令对应的第三渲染参数;利用第三渲染参数将遥感模型映射至二维平面,生成模拟场景图像。
可选的,上述处理器还可以执行如下步骤的程序代码:在交互界面上显示模拟场景图像;响应作用于交互界面上的第三操作指令,获取第三操作指令对应的第一模拟场景图像,其中,第一模拟场景图像用于对遥感分割模型进行训练。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:监测真实建筑物区域得到建筑物图像;
确定建筑物图像对应的第一参数分布,其中,第一参数分布用于表征建筑物图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实建筑物区域对应的建筑物模型映射至二维平面以生成建筑物图像;
对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;
利用第二渲染参数将建筑物模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:监测真实交通工具区域得到交通工具图像;确定交通工具图像对应的第一参数分布,其中,第一参数分布用于表征交通工具图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实交通工具区域对应的交通工具模型映射至二维平面以生成交通工具图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将交通工具模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:响应作用于操作界面上的输入指令,在操作界面上显示遥感图像,其中,遥感图像通过监测真实场景区域得到;响应作用于操作界面上的参数统计指令,在操作界面上显示遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;响应作用于操作界面上的图像生成指令,在操作界面上显示模拟场景图像,其中,模拟场景图像是利用第二渲染参数将遥感模型映射至二维平面所生成的,第二渲染参数通过采样结果模拟得到,采样结果通过对第一参数分布进行采样得到,模拟得到的第二渲染参数用于代替第一渲染参数,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:云服务器接收客户端上传的遥感图像,其中,遥感图像通过监测真实场景区域得到;云服务器确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;云服务器对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;云服务器利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练;云服务器输出模拟场景图像至客户端。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:监测真实场景区域得到监测图像;确定监测图像对应的第一参数分布,其中,第一参数分布用于表征监测图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的监测模型映射至二维平面以生成监测图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将监测模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对重识别模型进行训练。
采用本申请实施例,首先监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练,实现了根据真实场景生成用于进行训练的模拟场景图像的目的。容易注意到的是,可以获取真实场景区域的遥感图像对应的第一渲染参数,并根据该第一渲染参数得到遥感图像对应的第一参数分布,通过第一参数分布指导生成模拟场景图像,可以避开真实场景区域中的隐私问题,并且通过第一参数分布来指导生成模拟数据,代替真实场景区域的数据进行算法训练,可以达到比肩真实场景区域中真实数据的效果,完美避开了数据隐私的问题,进而解决了相关技术中由于样本图像获取困难,导致模型训练难度较大的技术问题。
本领域普通技术人员可以理解,图19所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图19其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图19中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图19所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例16
本申请的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述计算机可读存储介质可以用于保存上述实施例1所提供的样本图像生成方法所执行的程序代码。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机终端网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:利用参数估计模型对遥感图像进行处理,得到第一渲染参数;对第一渲染参数进行统计,得到第一参数分布。
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:利用预设渲染参数将遥感模型映射至二维平面,生成预设模拟场景图像;利用预设渲染参数和预设模拟场景图像对初始估计模型进行训练,得到参数估计模型。
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:将预设模拟场景图像输至初始估计模型,得到预设模拟场景图像对应的预测渲染参数;基于预设渲染参数和预测渲染参数,生成初始估计模型的第一损失函数;基于第一损失函数对初始估计模型的第一网络参数进行调整,得到参数估计模型。
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:通过遥感设备对真实场景区域进行拍摄,得到遥感图像集合;按照预设比例对遥感图像集合进行采样,得到遥感图像。
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:确定样本图像中包含的样本对象的预设分类结果;利用样本图像和预设分类结果对遥感分割模型进行训练。
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:将样本图像输入至遥感分割模型,得到样本对象的预测分类结果;基于预设分类结果和预测分类结果,生成遥感分割模型的第二损失函数;基于第二损失函数对遥感分割模型的第二网络参数进行调整。
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在交互界面上显示第一参数分布;响应作用于交互界面上的第一操作指令,获取第一操作指令对应的第二参数分布;对第二参数分布进行采样,得到采样结果。
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在交互界面上显示第二渲染参数;响应作用于交互界面上的第二操作指令,获取第二操作指令对应的第三渲染参数;利用第三渲染参数将遥感模型映射至二维平面,生成模拟场景图像。
可选地,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在交互界面上显示模拟场景图像;响应作用于交互界面上的第三操作指令,获取第三操作指令对应的第一模拟场景图像,其中,第一模拟场景图像用于对遥感分割模型进行训练。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:监测真实建筑物区域得到建筑物图像;确定建筑物图像对应的第一参数分布,其中,第一参数分布用于表征建筑物图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实建筑物区域对应的建筑物模型映射至二维平面以生成建筑物图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将建筑物模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:监测真实交通工具区域得到交通工具图像;确定交通工具图像对应的第一参数分布,其中,第一参数分布用于表征交通工具图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实交通工具区域对应的交通工具模型映射至二维平面以生成交通工具图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将交通工具模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:响应作用于操作界面上的输入指令,在操作界面上显示遥感图像,其中,遥感图像通过监测真实场景区域得到;响应作用于操作界面上的参数统计指令,在操作界面上显示遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;响应作用于操作界面上的图像生成指令,在操作界面上显示模拟场景图像,其中,模拟场景图像是利用第二渲染参数将遥感模型映射至二维平面所生成的,第二渲染参数通过采样结果模拟得到,采样结果通过对第一参数分布进行采样得到,模拟得到的第二渲染参数用于代替第一渲染参数,模拟场景图像作为样本图像用于对遥感分割模型进行训练。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:云服务器接收客户端上传的遥感图像,其中,遥感图像通过监测真实场景区域得到;云服务器确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;云服务器对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;云服务器利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练;云服务器输出模拟场景图像至客户端。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:监测真实场景区域得到监测图像;确定监测图像对应的第一参数分布,其中,第一参数分布用于表征监测图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的监测模型映射至二维平面以生成监测图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将监测模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对重识别模型进行训练。
采用本申请实施例,首先监测真实场景区域得到遥感图像;确定遥感图像对应的第一参数分布,其中,第一参数分布用于表征遥感图像对应的第一渲染参数的分布情况,第一渲染参数用于将真实场景区域对应的遥感模型映射至二维平面以生成遥感图像;对第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的第二渲染参数用于代替第一渲染参数;利用第二渲染参数将遥感模型映射至二维平面,生成模拟场景图像,其中,模拟场景图像作为样本图像用于对遥感分割模型进行训练,实现了根据真实场景生成用于进行训练的模拟场景图像的目的。容易注意到的是,可以获取真实场景区域的遥感图像对应的第一渲染参数,并根据该第一渲染参数得到遥感图像对应的第一参数分布,通过第一参数分布指导生成模拟场景图像,可以避开真实场景区域中的隐私问题,并且通过第一参数分布来指导生成模拟数据,代替真实场景区域的数据进行算法训练,可以达到比肩真实场景区域中真实数据的效果,完美避开了数据隐私的问题,进而解决了相关技术中由于样本图像获取困难,导致模型训练难度较大的技术问题。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种样本图像生成方法,其特征在于,包括:
监测真实场景区域得到遥感图像;
确定所述遥感图像对应的第一参数分布,其中,所述第一参数分布用于表征所述遥感图像对应的第一渲染参数的分布情况,所述第一渲染参数用于将所述真实场景区域对应的遥感模型映射至二维平面以生成所述遥感图像;
对所述第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的所述第二渲染参数用于代替所述第一渲染参数;
利用所述第二渲染参数将所述遥感模型映射至二维平面,生成模拟场景图像,其中,所述模拟场景图像作为样本图像用于对遥感分割模型进行训练。
2.根据权利要求1所述的方法,其特征在于,确定所述遥感图像对应的第一参数分布,包括:
利用参数估计模型对所述遥感图像进行处理,得到所述第一渲染参数;
对所述第一渲染参数进行统计,得到所述第一参数分布。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
利用预设渲染参数将所述遥感模型映射至二维平面,生成预设模拟场景图像;
利用所述预设渲染参数和所述预设模拟场景图像对初始估计模型进行训练,得到所述参数估计模型。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定所述样本图像中包含的样本对象的预设分类结果;
利用所述样本图像和所述预设分类结果对所述遥感分割模型进行训练。
5.根据权利要求1所述的方法,其特征在于,在确定所述遥感图像对应的第一参数分布之后,所述方法还包括:
在交互界面上显示所述第一参数分布;
响应作用于所述交互界面上的第一操作指令,获取所述第一操作指令对应的第二参数分布;
对所述第二参数分布进行采样,得到所述采样结果。
6.根据权利要求1所述的方法,其特征在于,在基于采样结果模拟得到第二渲染参数之后,所述方法还包括:
在交互界面上显示所述第二渲染参数;
响应作用于所述交互界面上的第二操作指令,获取所述第二操作指令对应的第三渲染参数;
利用所述第三渲染参数将所述遥感模型映射至二维平面,生成所述模拟场景图像。
7.根据权利要求1所述的方法,其特征在于,在利用所述第二渲染参数将所述遥感模型映射至二维平面,生成模拟场景图像之后,所述方法还包括:
在交互界面上显示所述模拟场景图像;
响应作用于所述交互界面上的第三操作指令,获取所述第三操作指令对应的第一模拟场景图像,其中,所述第一模拟场景图像用于对所述遥感分割模型进行训练。
8.根据权利要求7所述的方法,其特征在于,在交互界面上显示所述模拟场景图像之后,所述方法还包括:
响应作用于所述交互界面上的确认指令,重新对所述第一参数分布进行采样,并基于新采样结果模拟得到第三渲染参数;
利用所述第三渲染参数将所述遥感模型映射至二维平面,生成第二模拟场景图像,其中,所述第二模拟场景图像用于对所述遥感分割模型进行训练。
9.一种样本图像生成方法,其特征在于,包括:
监测真实建筑物区域得到建筑物图像;
确定所述建筑物图像对应的第一参数分布,其中,所述第一参数分布用于表征所述建筑物图像对应的第一渲染参数的分布情况,所述第一渲染参数用于将所述真实建筑物区域对应的建筑物模型映射至二维平面以生成所述建筑物图像;
对所述第一参数分布进行采样,并基于采样结果模拟得到第二渲染参数,其中,模拟得到的所述第二渲染参数用于代替所述第一渲染参数;
利用所述第二渲染参数将所述建筑物模型映射至二维平面,生成模拟场景图像,其中,所述模拟场景图像作为样本图像用于对遥感分割模型进行训练。
10.根据权利要求9所述的方法,其特征在于,确定所述建筑物图像对应的第一参数分布,包括:
利用参数估计模型对所述建筑物图像进行处理,得到所述第一渲染参数;
对所述第一渲染参数进行统计,得到所述第一参数分布。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
利用预设渲染参数将所述建筑物模型映射至二维平面,生成预设模拟场景图像;
利用所述预设渲染参数和所述预设模拟场景图像对初始估计模型进行训练,得到所述参数估计模型。
12.一种样本图像生成方法,其特征在于,包括:
响应作用于操作界面上的输入指令,在所述操作界面上显示遥感图像,其中,所述遥感图像通过监测真实场景区域得到;
响应作用于所述操作界面上的参数统计指令,在所述操作界面上显示所述遥感图像对应的第一参数分布,其中,所述第一参数分布用于表征所述遥感图像对应的第一渲染参数的分布情况,所述第一渲染参数用于将所述真实场景区域对应的遥感模型映射至二维平面以生成所述遥感图像;
响应作用于所述操作界面上的图像生成指令,在所述操作界面上显示模拟场景图像,其中,所述模拟场景图像是利用第二渲染参数将所述遥感模型映射至二维平面所生成的,所述第二渲染参数通过采样结果模拟得到,所述采样结果通过对所述第一参数分布进行采样得到,模拟得到的所述第二渲染参数用于代替所述第一渲染参数,所述模拟场景图像作为样本图像用于对遥感分割模型进行训练。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的样本图像生成方法。
14.一种电子设备,其特征在于,包括:
处理器;
存储器,与所述处理器相连接,用于为所述处理器提供处理如权利要求1至12中任意一项所述的样本图像生成方法的指令。
CN202211106793.6A 2022-09-13 2022-09-13 样本图像生成方法、存储介质以及电子设备 Active CN115205707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211106793.6A CN115205707B (zh) 2022-09-13 2022-09-13 样本图像生成方法、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211106793.6A CN115205707B (zh) 2022-09-13 2022-09-13 样本图像生成方法、存储介质以及电子设备

Publications (2)

Publication Number Publication Date
CN115205707A true CN115205707A (zh) 2022-10-18
CN115205707B CN115205707B (zh) 2022-12-23

Family

ID=83572062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211106793.6A Active CN115205707B (zh) 2022-09-13 2022-09-13 样本图像生成方法、存储介质以及电子设备

Country Status (1)

Country Link
CN (1) CN115205707B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190051051A1 (en) * 2016-04-14 2019-02-14 The Research Foundation For The State University Of New York System and Method for Generating a Progressive Representation Associated with Surjectively Mapped Virtual and Physical Reality Image Data
CN109429062A (zh) * 2017-08-22 2019-03-05 阿里巴巴集团控股有限公司 金字塔模型的处理方法和装置、图像编码方法和装置
CN110176054A (zh) * 2018-02-14 2019-08-27 辉达公司 用于训练神经网络模型的合成图像的生成
CN110648274A (zh) * 2019-09-23 2020-01-03 阿里巴巴集团控股有限公司 鱼眼图像的生成方法及装置
CN111915713A (zh) * 2019-05-08 2020-11-10 阿里巴巴集团控股有限公司 一种三维动态场景的创建方法、计算机设备、存储介质
US20210019928A1 (en) * 2019-07-15 2021-01-21 Disney Enterprises, Inc. Techniques for feature-based neural rendering
CN112465938A (zh) * 2019-09-09 2021-03-09 三星电子株式会社 三维3d渲染方法和装置
CN112529022A (zh) * 2019-08-28 2021-03-19 杭州海康威视数字技术股份有限公司 一种训练样本的生成方法及装置
CN112819947A (zh) * 2021-02-03 2021-05-18 Oppo广东移动通信有限公司 三维人脸的重建方法、装置、电子设备以及存储介质
CN113240784A (zh) * 2021-05-25 2021-08-10 北京达佳互联信息技术有限公司 图像处理方法、装置、终端及存储介质
CN113256778A (zh) * 2021-07-05 2021-08-13 爱保科技有限公司 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN113822977A (zh) * 2021-06-28 2021-12-21 腾讯科技(深圳)有限公司 图像渲染方法、装置、设备以及存储介质
CN113870097A (zh) * 2021-09-01 2021-12-31 阿里巴巴(中国)有限公司 一种家具图像的打标方法、模型训练方法及设备
CN114387377A (zh) * 2020-10-21 2022-04-22 三星电子株式会社 经由渲染损失的3d纹理处理
CN114445546A (zh) * 2022-02-08 2022-05-06 百果园技术(新加坡)有限公司 渲染模型训练方法、渲染方法、装置、设备及存储介质
CN115018975A (zh) * 2022-05-20 2022-09-06 北京火山引擎科技有限公司 数据集生成方法、装置、电子设备及存储介质

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190051051A1 (en) * 2016-04-14 2019-02-14 The Research Foundation For The State University Of New York System and Method for Generating a Progressive Representation Associated with Surjectively Mapped Virtual and Physical Reality Image Data
CN109429062A (zh) * 2017-08-22 2019-03-05 阿里巴巴集团控股有限公司 金字塔模型的处理方法和装置、图像编码方法和装置
CN110176054A (zh) * 2018-02-14 2019-08-27 辉达公司 用于训练神经网络模型的合成图像的生成
CN111915713A (zh) * 2019-05-08 2020-11-10 阿里巴巴集团控股有限公司 一种三维动态场景的创建方法、计算机设备、存储介质
US20210019928A1 (en) * 2019-07-15 2021-01-21 Disney Enterprises, Inc. Techniques for feature-based neural rendering
CN112529022A (zh) * 2019-08-28 2021-03-19 杭州海康威视数字技术股份有限公司 一种训练样本的生成方法及装置
CN112465938A (zh) * 2019-09-09 2021-03-09 三星电子株式会社 三维3d渲染方法和装置
CN110648274A (zh) * 2019-09-23 2020-01-03 阿里巴巴集团控股有限公司 鱼眼图像的生成方法及装置
CN114387377A (zh) * 2020-10-21 2022-04-22 三星电子株式会社 经由渲染损失的3d纹理处理
CN112819947A (zh) * 2021-02-03 2021-05-18 Oppo广东移动通信有限公司 三维人脸的重建方法、装置、电子设备以及存储介质
CN113240784A (zh) * 2021-05-25 2021-08-10 北京达佳互联信息技术有限公司 图像处理方法、装置、终端及存储介质
CN113822977A (zh) * 2021-06-28 2021-12-21 腾讯科技(深圳)有限公司 图像渲染方法、装置、设备以及存储介质
CN113256778A (zh) * 2021-07-05 2021-08-13 爱保科技有限公司 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN113870097A (zh) * 2021-09-01 2021-12-31 阿里巴巴(中国)有限公司 一种家具图像的打标方法、模型训练方法及设备
CN114445546A (zh) * 2022-02-08 2022-05-06 百果园技术(新加坡)有限公司 渲染模型训练方法、渲染方法、装置、设备及存储介质
CN115018975A (zh) * 2022-05-20 2022-09-06 北京火山引擎科技有限公司 数据集生成方法、装置、电子设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI-FENG OU等: "GAN-Based Inter-Class Sample Generation for Contrastive Learning of Vein Image Representations", 《IEEE TRANSACTIONS ON BIOMETRICS, BEHAVIOR, AND IDENTITY SCIENCE》 *
于昊等: "一种基于建模的图像渲染算法的并行实现", 《通信技术》 *
夏彦: "基于单张图片的三维点云重建技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN115205707B (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
US11256958B1 (en) Training with simulated images
CN111445486B (zh) 图像处理方法、装置、设备及计算机可读存储介质
KR20150118522A (ko) 현실을 증강하는 방법, 클라이언트 장치 및 서버
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN112561786A (zh) 基于图像卡通化的在线直播方法、装置和电子设备
CN111508033A (zh) 相机参数确定方法、图像处理方法、存储介质及电子装置
CN112330709A (zh) 一种前景图像提取方法、装置、可读存储介质及终端设备
CN117237755A (zh) 目标检测模型训练方法及装置、图像检测方法及装置
KR20220168573A (ko) 머신 러닝 컴퓨터 비전 모델을 트레이닝시키기 위한 합성 트레이닝 데이터 세트를 생성하기 위한 컴퓨터 구현 방법 및 시스템
CN114926754A (zh) 图像检测方法、存储介质及处理器
CN112686979B (zh) 仿真行人动画生成方法、装置和电子设备
CN114782769A (zh) 训练样本的生成方法、装置、系统及目标对象的检测方法
CN111744197B (zh) 一种数据处理方法、装置、设备及可读存储介质
CN115205707B (zh) 样本图像生成方法、存储介质以及电子设备
CN113496235A (zh) 图像处理方法、装置及系统、存储介质、计算设备
CN112288881A (zh) 一种图像展示方法、装置、计算机设备和存储介质
CN110163794B (zh) 图像的转换方法、装置、存储介质和电子装置
CN113568735B (zh) 数据处理方法及系统
CN114898122A (zh) 图像处理方法、存储介质以及计算机终端
CN112634439B (zh) 一种3d信息展示方法及装置
CN110969701B (zh) 对房屋进行建模的方法、装置以及存储介质
CN113946221A (zh) 眼部驱动控制方法和装置、存储介质及电子设备
CN113268626A (zh) 数据处理方法、装置、电子设备及存储介质
CN113470067A (zh) 数据处理方法、装置、存储介质和处理器
CN113592875B (zh) 数据处理方法、图像处理方法、存储介质及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant