CN110490960A - 一种合成图像生成方法及装置 - Google Patents

一种合成图像生成方法及装置 Download PDF

Info

Publication number
CN110490960A
CN110490960A CN201910626114.XA CN201910626114A CN110490960A CN 110490960 A CN110490960 A CN 110490960A CN 201910626114 A CN201910626114 A CN 201910626114A CN 110490960 A CN110490960 A CN 110490960A
Authority
CN
China
Prior art keywords
image
rendering
simulating scenes
markup information
composograph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910626114.XA
Other languages
English (en)
Other versions
CN110490960B (zh
Inventor
邹成
郁树达
郭林杰
李思琪
马岳文
赵雄心
周大江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910626114.XA priority Critical patent/CN110490960B/zh
Publication of CN110490960A publication Critical patent/CN110490960A/zh
Application granted granted Critical
Publication of CN110490960B publication Critical patent/CN110490960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Abstract

本说明书一个或多个实施例提供了一种合成图像生成方法及装置，该方法包括：基于目标场景的仿真场景，生成渲染图像；确定该渲染图像的标注信息；获取目标场景的实拍图像；根据该实拍图像，对生成的渲染图像进行风格重塑，得到合成图像，以及将确定出的标注信息确定为合成图像的标注信息。利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。

Description

一种合成图像生成方法及装置
技术领域
本说明书一个或多个涉及人工智能技术领域，尤其涉及一种合成图像生成方法及装置。
背景技术
目前，随着机器学习和人工智能的迅猛发展，机器学习技术已被广泛地应用到各种领域，解决了多数传统算法无法解决的难题，例如，在图像识别、语音识别、自然语言处理等领域，机器学习技术均发挥了举足轻重的作用。
然而，对于机器学习(特别是深度学习)而言，由于其具有不可解释性，使得机器学习模型(特别是深度学习模型)的准确率和召回率依赖于训练样本的数量和质量，因此，需要获取大量带标注信息的样本数据，才能够基于这些样本数据训练出准确度高的神经网络识别模型。
当前，带标注信息的样本数据主要通过采集大量的现场实拍图像，再由人工手动对现场实拍图像进行信息标注，这样一方面获取大量的现场实拍图像难度比较大，另一方面，还存在标注效率低、人工成本高、人为因素影响大、准确度低的问题，导致难以在短时间内产生训练模型所需的大量标注数据。
因此，需要提供一种真实度高、准确度高、人工成本低的带标注信息的样本合成图像生成方法。
发明内容
本说明书一个或多个实施例的目的是提供一种合成图像生成方法及装置，利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
为解决上述技术问题，本说明书一个或多个实施例是这样实现的：
本说明书一个或多个实施例提供了一种合成图像生成方法，包括：
基于目标场景的仿真场景，生成渲染图像；
确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
获取所述目标场景的实拍图像；
根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
本说明书一个或多个实施例提供了一种合成图像生成装置，包括：
渲染图像生成模块，用于基于目标场景的仿真场景，生成渲染图像；
标注信息确定模块，用于确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
实拍图像获取模块，用于获取所述目标场景的实拍图像；
合成图像生成模块，用于根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
本说明书一个或多个实施例提供了一种合成图像生成设备，包括：处理器；
以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
基于目标场景的仿真场景，生成渲染图像；
确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
获取所述目标场景的实拍图像；
根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
基于目标场景的仿真场景，生成渲染图像；
确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
获取所述目标场景的实拍图像；
根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
本说明书一个或多个实施例中的合成图像生成方法及装置，基于目标场景的仿真场景，生成渲染图像；确定该渲染图像的标注信息；获取目标场景的实拍图像；根据该实拍图像，对生成的渲染图像进行风格重塑，得到合成图像，以及将确定出的标注信息确定为合成图像的标注信息。利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书一个或多个实施例提供的合成图像生成方法的第一种流程示意图；
图2为本说明书一个或多个实施例提供的合成图像生成方法的第二种流程示意图；
图3为本说明书一个或多个实施例提供的合成图像生成方法的第三种流程示意图；
图4为本说明书一个或多个实施例提供的合成图像生成方法的实现原理示意图；
图5为本说明书一个或多个实施例提供的合成图像生成方法的第四种流程示意图；
图6为本说明书一个或多个实施例提供的合成图像生成装置的第一种模块组成示意图；
图7为本说明书一个或多个实施例提供的合成图像生成装置的第二种模块组成示意图；
图8为本说明书一个或多个实施例提供的合成图像生成设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一个或多个一部分实施例，而不是全部的实施例。基于本说明书一个或多个中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书一个或多个保护的范围。
本说明书一个或多个实施例提供了一种合成图像生成方法及装置，利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
图1为本说明书一个或多个实施例提供的合成图像生成方法的第一种流程示意图，图1中的方法用于生成模型训练样本的服务器执行，如图1所示，该方法至少包括以下步骤：
S101，基于目标场景的仿真场景，生成渲染图像，其中，通过对真实场景进行三维建模，得到相应的仿真场景，再利用三维渲染技术对该仿真场景进行渲染，得到渲染图像；
具体的，上述目标场景可以是现场环境相对可控的实际应用场景，例如，无人售卖柜、无人商超收银台等等，通过三维建模得到目标场景的三维模拟场景，例如，通过三维建模得到无人售卖柜的三维模拟场景，该三维模拟场景包括：售卖柜本体的三维几何模型、售卖柜本体内放置的出售商品的三维几何模型、该售卖柜本体所在的虚拟环境模型，该售卖柜本体内放置的出售商品的三维几何模型的分布信息符合预设商品摆放规则；再利用三维渲染技术对该三维模拟场景进行渲染，得到渲染图像；
S102，确定生成的渲染图像的标注信息，其中，该标注信息用于表征仿真场景包含的仿真对象模型在渲染图像中的分布信息；
具体的，由于构建仿真场景时对仿真对象模型进行布设所用的对象分布规则是已知的，因此，可以基于该对象分布规则对渲染图像进行像素级标注，确定每个像素点所属对象标识，即标记每个像素点属于哪个仿真对象模型；
例如，仍以无人售卖柜为例，上述仿真对象模型可以是出售商品的三维几何模型，多种出售商品的三维几何模型按照预设商品摆放规则分布在售卖柜本体中，由于售卖柜本体几何模型内放置的出售商品几何模型的商品摆放规则是已知的，基于该商品摆放规则能够确定渲染图像中每个像素点所属商品标识；
S103，获取目标场景的实拍图像，其中，该实拍图像可以是对目标场景进行现场拍摄得到的真实图像，由于需要借助实拍图像的图像风格对渲染图像进行风格重塑，因此，需要获取少量对现场场景实际拍摄得到的真实图像；
S104，根据获取到的实拍图像，对生成的渲染图像进行风格重塑，得到合成图像，以及将确定出的标注信息确定为该合成图像的标注信息；
具体的，为了提高最终作为样本数据的合成图像的真实度，可利用风格迁移技术基于实拍图像的图像风格对渲染图像进行风格重塑，得到与实拍图像的图像风格相同或相似的合成图像，并且由于仅是对渲染图像进行图像风格重塑，因此，合成图像与渲染图像中对象分布信息相同，渲染图像的标注信息即为合成图像的标注信息，该标注信息用于表征仿真场景包含的仿真对象模型在合成图像中的分布信息，从而实现快速生成大量带标注信息的合成图像。
在具体实施时，针对无人售卖柜的实际应用场景，将生成的模拟出售商品摆放的合成图像以及对应的标注信息作为模型训练样本；针对无人商超收银台的实际应用场景，将生成的模拟结算商品摆放的合成图像以及对应的标注信息作为模型训练样本。
本说明书一个或多个实施例中，利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
其中，考虑到同一目标对象可能在目标场景中重复出现的，并且通过对目标对象的位置进行调整可以得到多个包含不同对象分布信息的仿真场景，因此，可以预先针对各目标对象建立三维对象模型；以及为了提高渲染图像的真实度，还需要预先针对现场环境建立虚拟环境模型，基于该三维对象模型和虚拟环境模型构建不同的仿真场景，再对每个仿真场景进行三维渲染，得到相应的渲染图像，基于此，针对仿真场景构建过程，如图2所示，在S101基于目标场景的仿真场景，生成渲染图像之前，还包括：
S105，获取目标对象的仿真对象模型和目标场景的仿真环境模型，其中，不仅对目标场景中涉及的目标对象进行三维建模，还对目标场景的现场环境进行三维建模，该仿真环境模型是通过模拟真实光照在空间中的传播方式进行三维建模得到的；
具体的，上述仿真对象模型和仿真环境模型可以是利用三维扫描仪多角度融合得到的，也可以是建模师进行数学建模得到的，还可以是通过指定路径下载得到的；
在具体实施时，针对实际应用场景，上述仿真对象模型的建模过程为：
针对无人售卖装置中每种出售商品，建立出售商品的三维物体模型；或者，
针对商超自动收银装置中每种结算商品，建立结算商品的三维物体模型。
例如，仍以无人售卖柜为例，考虑到同一商品在无人售卖柜中可以是重复出现的，因此，可以预先对各种出售商品进行三维建模，得到三维几何模型，以及对无人售卖柜所处现场环境进行三维建模，得到虚拟环境模型；
在具体实施时，不仅需要对实际物体进行建模，还需要对实际应用场景的背景环境进行建模，上述仿真环境模型的建模过程为：
利用高动态光照渲染方式，对目标场景的现场环境的环境参数进行采集，得到该现场环境的实际环境参数，其中，该实际环境参数可以包括：光照强度、光源位置、形状和方向、色域中至少一种；
基于现场采集的实际环境参数，建立目标对象所处的现场环境的虚拟环境模型，其中，该虚拟环境模型用于模拟现场环境的真实光照效果；
S106，基于获取到的仿真对象模型和仿真环境模型，构建目标场景的仿真场景。
其中，可以利用预设三维渲染引擎基于仿真对象模型和仿真环境模型，构建目标场景的仿真场景；具体的，将获取到的仿真对象模型和仿真环境模型均作为三维渲染引擎的输入信息，利用预设三维渲染引擎基于输入的仿真对象模型和仿真环境模型，按照一定对象分布规则在仿真环境模型中对仿真对象模型进行布设，构建目标场景的仿真场景。
具体的，为了获取大量所需的样本数据，可以通过动态生成对象分布规则，基于该对象分布规则对仿真场景中包含的仿真对象模型进行调整，不同对象分布规则对应的仿真场景中仿真对象模型的分布信息不同，这样能够构建出多个仿真场景，仿真场景中仿真对象模型的分布信息符合某一对象分布规则，基于此，上述S106基于获取到的仿真对象模型和仿真环境模型，构建目标场景的仿真场景，具体包括：
按照预设的对象分布规则，将获取到的仿真对象模型设置于仿真环境模型中，得到目标场景的仿真场景。
具体的，由于需要得到大量带标注信息的合成图像作为模型训练样本，可以在三维渲染引擎中设置分布规则生成引擎，利用规则生成引擎自动根据实际对象摆放需求生成多个对象分布规则，对应的，利用三维渲染引擎构建仿真场景的具体过程为：
针对每个对象分布规则，按照该对象分布规则将多个仿真对象模型布设于仿真环境模型中，得到对应的仿真场景；
在具体实施时，仍以无人售卖柜为例，不同仿真场景中多个三维几何模型的摆放分布信息不同，例如，在一个仿真场景中，售卖柜中第一排摆放某一款矿泉水的三维几何模型，在另一个仿真场景中，售卖柜中第一排摆放某一款碳酸饮料的三维几何模型等等。
另外，在将仿真对象模型设置于仿真环境模型中时，还可以对仿真对象模型的遮挡程度和倾斜角度进行设置，提高仿真场景中仿真对象模型分布的随机性，进而保证最终生成的合成图像的多样性。
其中，由于构建仿真场景时对仿真对象模型进行布设所用的对象分布规则是已知的，因此，可以基于该对象分布规则对渲染图像进行像素级标注，基于此，针对渲染图像的标注信息的确定过程，上述S102确定生成的渲染图像的标注信息，具体包括：
步骤一，确定生成的渲染图像包含的仿真对象模型对应的对象分布规则，其中，该对象分布规则即为构建渲染图像对应的仿真场景所用的对象分布规则；
步骤二，根据确定出的对象分布规则，对渲染图像进行像素级信息标注，得到该渲染图像的标注信息。
具体的，在构建得到多个包含不同对象分布信息的仿真场景后，针对每个仿真场景，利用三维渲染引擎对该仿真场景进行渲染处理，得到相应的渲染图像，以及根据该仿真场景对应的对象分布规则，确定该渲染图像的标注信息，其中，将仿真对象模型和仿真环境模型均作为三维渲染引擎的输入信息，三维渲染引擎的输出信息为渲染图像和各渲染图像对应的标注信息。
其中，针对渲染图像生成的过程，上述S101基于目标场景的仿真场景，生成渲染图像，具体包括：
步骤一，确定目标场景的仿真场景的渲染参数，其中，该渲染参数包括：仿真场景包含的仿真对象模型的对象参数和/或仿真对象模型所在的仿真环境模型的环境参数，其中，该对象参数可以包括：物体的纹理、材质、色温、光反射率、颜色等，该环境参数包括：光源的位置、形状、方向、光照强度、现场噪声等；
步骤二，基于确定出的渲染参数对仿真场景进行渲染处理，得到渲染后的仿真场景；
步骤三，利用虚拟摄像装置对渲染后的仿真场景进行成像，得到渲染图像，其中，该虚拟摄像装置可以是设置在三维渲染引擎中的，利用该虚拟摄像装置模拟真实成像过程；
具体的，在对仿真场景进行三维渲染的过程中，引入多维度渲染影响因素，其中，各渲染影响因素的赋值均是基于目标对象的实际参数和现场环境的实际参数确定的，这样能够提高渲染图像的真实性，从而保证自动生成作为模型训练样本的合成图像的真实性；
其中，按照三维渲染技术的类型分类，可以采用实时三维渲染技术基于目标场景的仿真场景，生成渲染图像，还可以利用离线三维渲染技术基于目标场景的仿真场景，生成渲染图像；
其中，相较于实时三维渲染技术，离线三维渲染技术考虑的影响因素比较多，不仅将物体外形、尺寸大小等基础参数作为建模和渲染过程考虑因素，还将物体材质、纹理、色温、光反射率等辅助参数作为建模和渲染过程考虑因素，因此，采用离线三维渲染技术得到的渲染图像真实度高于实时三维渲染技术得到的渲染图像；
其中，实时三维渲染技术具有渲染速度快、成本低的特点，而离线三维渲染技术具有图像真实度高的特点，图像渲染时所用的渲染技术的类型可以根据实际需求进行渲染，由于引入风格迁移技术对渲染图像进行风格重塑，因此，在选用实时三维渲染技术的情况下，不仅提高了渲染速度、降低了渲染成本，还能够保证最终得到的合成数据的真实性。
进一步的，为了提高最终得到的样本数据的多样性，进而提高基于该样本数据训练得到的识别模型的准确度，在三维渲染得到渲染图像的过程中，还可以采用数据增广的方式，对与目标场景相关的渲染参数进行微调，这样针对同一仿真场景，可以得到多张渲染图像，基于此，上述步骤一，确定目标场景的仿真场景的渲染参数，具体包括：
按照预设数据增广方式，对图像渲染参数进行调整，得到目标场景的仿真场景的渲染参数；
具体的，针对基于某一对象分布规则得到的仿真场景，首次对该仿真场景进行渲染所用的渲染参数可以是基于真实参数得到的初始渲染参数，得到该仿真场景的第一个渲染图像后，在该初始渲染参数的基础，通过对渲染参数进行调整，基于调整后的渲染参数对仿真场景进行渲染处理，得到相应的渲染图像，这样针对同一仿真场景，生成相应的渲染图像集合，该渲染图像集合包括：多个对象分布信息相同且渲染效果不同的渲染图像，从而在同一仿真场景下能够获得更加多样化的渲染图像，提高了渲染图像的多样性；
例如，以对仿真对象模型的光反射率进行增广调整为例，如果该仿真对象模型对应的真实对象的光反射率为x，预设参数增广方式是光反射率的增减间隔为1且增减上限为3，则针对每个仿真场景，渲染得到的多个渲染图像所用的渲染参数中的光反射率分别为x、x-1、x-2、x-3、x+1、x+2、x+3；
需要说明的是，还可以对渲染参数中的多个影响因素同时调整，例如，对对象仿真模型的材质、纹理、光反光度、以及环境仿真模型的光照强度、方向等多个影响因素同时调整。
本说明书一个或多个实施例中，在对仿真场景进行三维渲染的过程中，不仅引入多维度渲染影响因素，同时还通过数据增广方式对渲染参数进行调整，针对同一仿真场景生成多个不同渲染效果的渲染图像，确保渲染图像的真实性和多样性，从而保证自动生成作为模型训练样本的合成图像的真实性和多样性。
进一步的，由于针对同一仿真场景得到的多张渲染图像包含的对象分布信息相同，这样只需在首次针对该仿真场景生成渲染图像时确定标注信息，后续通过对该仿真场景的渲染参数进行调整得到的渲染图像，无需重复确定标注信息，直接将针对该仿真场景已确定出的标注信息确定为该渲染图像的标注信息，因此，上述确定生成的渲染图像的标注信息，具体包括：
判断是否存在针对待标注渲染图像对应的仿真场景在先得到的渲染图像确定的标注信息；
若是，则将在先得到的渲染图像的标注信息确定为该待标注渲染图像的标注信息；
若否，则确定生成的渲染图像包含的仿真对象模型对应的对象分布规则；以及根据确定出的对象分布规则，对渲染图像进行像素级信息标注，得到该渲染图像的标注信息。
进一步的，不仅对目标场景下的物体对象和现场环境进行建模，还基于现场场景的真实拍摄条件，对虚拟摄像装置的拍摄参数进行设置，从而进一步保证生成的渲染图像的真实性，基于此，在上述步骤三，利用虚拟摄像装置对渲染后的仿真场景进行成像，得到渲染图像之前，还包括：
确定目标场景的实际拍摄参数，其中，该实际拍摄参数包括：真实摄像装置的内参参数和/或外参参数，该内参参数可以是畸变、景深、视场角等，该外参参数可以是拍摄位置、拍摄角度等；
基于确定出的实际拍摄参数设置虚拟摄像装置的虚拟拍摄参数，其中，该虚拟摄像装置可以是设置在三维渲染引擎中的，将确定出的实际拍摄参数作为三维渲染引擎的输入信息；
具体的，利用三维渲染引擎基于真实摄像装置的外参参数对虚拟摄像装置进行外参模拟，以及基于真实摄像装置的内参参数对虚拟摄像装置进行内参模拟。
其中，为了进一步提高最终得到的样本数据的多样性，进而提高基于该样本数据训练得到的识别模型的准确度，在三维渲染得到渲染图像的过程中，还可以采用数据增广的方式，对虚拟摄像装置的拍摄参数进行微调，这样针对同一仿真场景，可以得到多张渲染图像，基于此，上述步骤三，利用虚拟摄像装置对渲染后的仿真场景进行成像，得到渲染图像，具体包括：
对虚拟拍摄参数进行调整，得到参数调整后的虚拟摄像装置，具体的，利用三维渲染引擎按照预设数据增广方式，对虚拟拍摄参数进行调整，得到调整后的虚拟摄像装置；
利用调整后的虚拟摄像装置对渲染后的仿真场景进行成像，得到渲染图像；
具体的，可以在对仿真对象模型和仿真环境模型的参数增广调整的基础上，增加对虚拟拍摄参数的增广调整，调整设置于三维渲染引擎中的虚拟相机的成像参数，进一步提高生成的渲染图像的多样性。
例如，以对虚拟拍摄装置的视场角进行增广调整为例，如果真实拍摄装置的视场角为y，预设参数增广方式是视场角的增减间隔为1且增减上限为5，则针对每个仿真场景，渲染得到的多个渲染图像所用的成像参数中的视场角分别为y、y-1、y-2、y-3、y-4、y-5、y+1、y+2、y+3、y+4、y+5；
需要说明的是，还可以对成像参数中的多个影响因素同时调整，例如，对虚拟摄像装置的畸变、景深、视场角、拍摄位置、拍摄角度等多个影响因素同时调整。
其中，为了进一步提高最终得到的合成图像的真实度，减少合成图像与实拍图像之间的图像风格域差，保证合成图像与实拍图像的图像风格尽可能接近，基于此，针对图像风格迁移的过程，如图3所示，上述S104根据获取到的实拍图像，对生成的渲染图像进行风格重塑，得到合成图像，以及将确定出的标注信息确定为该合成图像的标注信息，具体包括：
S1041，利用预先训练好的对抗网络模型，将获取到的实拍图像的图像风格迁移至生成的渲染图像，生成合成图像，以及将确定出的标注信息确定为该合成图像的标注信息，其中，该合成图像具有实拍图像的图像风格；
具体的，将获取到的实拍图像、生成的各渲染图像和该渲染图像对应的标注信息输入至预先训练好的对抗网络模型，通过利用预先训练好的对抗网络模型基于实拍图像对渲染图像进行图像风格迁移，得到合成图像，该对抗网络模型是基于样本图像通过初始对抗网络模型中的生成器与判别器间动态竞争，对生成器和判别器不断优化得到的，这样能够减少合成图像与实拍图像之间的图像风格域差，保证合成图像与实拍图像的图像风格尽可能接近。
其中，针对对抗网络模型训练过程，上述对抗网络模型是通过如下方式训练得到的：
利用预设对抗网络模型中的生成器并基于实拍样本图像，对渲染样本图像进行图像风格迁移，得到风格迁移图像；
利用预设对抗网络模型中的判别器并基于上述风格迁移图像和实拍样本图像，进行风格相似度判别，生成相应的判别结果；
根据上述判别结果对判别器和生成器进行迭代优化，得到训练好的对抗网络模型，其中，该判别器的优化目标为能够区分风格迁移图像和实拍样本图像，该生成器的优化目标为生成判别器不能与实拍样本进行区分的风格迁移图像；
其中，上述实拍样本图像是对目标场景实际拍摄得到的真实图像，该实拍样本图像可以与上述S104中生成合成图像过程所用的实拍图像相同或不同，上述渲染样本图像是对目标场景的仿真场景进行图像渲染得到的渲染图像，具体图像渲染过程与上述S101中生成渲染图像的过程相同，该渲染样本图像可以与上述S104中生成合成图像过程所用的渲染图像相同或不同，针对两者相同的情况，即为上述S101中生成的渲染图像可以在训练对抗网络模型阶段与生成合成图像阶段进行复用，即上述S101中生成的渲染图像即可以用于作为渲染样本图像训练得到对抗网络模型，又可以用于图像风格重塑得到合成图像；需要说明的是，在生成合成图像之前，需要先基于实拍样本图像和渲染样本图像训练得到对抗网络模型；
具体的，在每次基于判别结果对生成器和判别器进行优化后，判断预设对抗网络模型中的判别器是否达到相应的优化目标和预设对抗网络模型中的生成器是否达到相应的优化目标，若否，则继续利用优化后的生成器并基于实拍样本图像，对渲染样本图像进行图像风格迁移，得到风格迁移图像；以及利用优化后的判别器，对风格迁移图像和实拍样本图像进行风格相似度判别，生成相应的判别结果，根据生成的判别结果对判别器和生成器进行下一次优化，直到判别器达到相应的优化目标且生成器也达到相应的优化目标；
具体的，在风格迁移过程中，选用的深度神经网络为对抗性神经网络，对抗性神经网络同时训练生成器和判别器，该生成器尽量使得风格迁移后的图像真实度更高，判别器尽量能分辨出实拍样本图像和风格迁移图像，这样在训练得到用于风格迁移的对抗网络模型过程中生成器和判别器互相竞争，达到互相促进的效果，当生成器和判别器的表现动态平衡时认为模型训练完成，将包含迭代优化后的生成器和判别器的预设对抗网络模型确定为训练好的对抗网络模型；
其中，在基于实拍样本图像和渲染样本图像进行对抗网络模型训练时，预设对抗网络模型中的生成器与判别器间动态竞争，生成器得到的风格迁移图像输入至判别器，基于判别器得到的判别结果对生成器和判别器进行不断优化，进而通过判别器的识别能力迫使生成器所生成的迁移图像更逼近于实拍图像。
在一个具体实施例中，以无人售卖柜为例，如图4所示，给出了一种合成图像生成方法的具体实现原理示意图，具体为：
(1)对每种待出售商品和售卖柜本体进行建模，得到相应的三维几何模型，以及对无人售卖柜所在现场环境进行建模，得到仿真环境模型，将各种待出售商品的三维几何模型、售卖柜本体的三维几何模型和现场环境的仿真环境模型作为三维渲染引擎的输入信息；
(2)利用三维渲染引擎并基于预设的对象分布规则，将待出售商品的三维几何模型设置于仿真环境模型下的无人售卖柜中，得到多个无人售卖柜的仿真场景，例如，仿真场景1、….仿真场景n；
(3)针对每个仿真场景，利用三维渲染引擎按照预设数据增广方式，对商品参数、环境参数、拍摄参数中至少一项进行调整，并基于调整后的参数对仿真场景进行渲染，得到多个渲染图像，例如，针对仿真场景1，生成m个渲染图像，生成这m个渲染图像所用的商品参数、环境参数、拍摄参数中至少一项不同，这m个渲染图像对应的标注信息相同；
(4)针对每个仿真场景，利用三维渲染引擎确定构建该仿真场景所用的对象分布规则，并根据该对象分布规则，对针对该仿真场景生成的多个渲染图像进行像素级信息标注，得到各渲染图像的标注信息；
(5)将获取到的实拍图像、生成的各渲染图像和该渲染图像对应的标注信息输入至预先训练好的对抗网络模型；
(6)利用预先训练好的对抗网络模型，将获取到的实拍图像的图像风格迁移至生成的渲染图像，得到合成图像，以及将确定出的标注信息确定为该合成图像的标注信息。
进一步的，在得到大量带标注信息的合成图像后，即可将该合成图像作为样本数据进行模型训练，基于此，如图5所示，在S104根据获取到的实拍图像，对生成的渲染图像进行风格重塑，得到合成图像，以及将确定出的标注信息确定为该合成图像的标注信息之后，还包括：
S107，将确定出的合成图像和对应的标注信息输入至基于有监督学习模式的深度神经网络模型；
S108，利用深度学习方法并基于上述合成图像和对应的标注信息，对深度神经网络模型进行训练，得到图像识别模型；
具体的，针对无人售卖柜的应用场景而言，将得到的大量带标注信息的合成图像作为样本数据，对深度神经网络模型进行训练，得到商品检测模型。
进一步的，在得到图像识别模型后，即可利用该图像识别模型对待识别图像进行识别，确定待识别图像所包含的多个目标对象的属性信息；
例如，仍以无人售卖柜为例，可以实时采集无人售卖柜中待售商品图像，利用基于带标注信息的合成图像训练得到的图像识别模型，对该待售商品图像进行识别，确定无人售卖柜中待售商品的类别，进而可以确定出已售商品的类别，对商品的上新准确度和效率具有有效指导作用。
本说明书一个或多个实施例中的合成图像生成方法，基于目标场景的仿真场景，生成渲染图像；确定该渲染图像的标注信息；获取目标场景的实拍图像；根据该实拍图像，对生成的渲染图像进行风格重塑，得到合成图像，以及将确定出的标注信息确定为合成图像的标注信息。利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
对应上述图1至图5描述的合成图像生成方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种合成图像生成装置，图6为本说明书一个或多个实施例提供的合成图像生成装置的第一种模块组成示意图，该装置用于执行图1至图5描述的合成图像生成方法，如图6所示，该装置包括：
渲染图像生成模块601，用于基于目标场景的仿真场景，生成渲染图像；
标注信息确定模块602，用于确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
实拍图像获取模块603，用于获取所述目标场景的实拍图像；
合成图像生成模块604，用于根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
本说明书一个或多个实施例中，利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
可选地，如图7所示，所述装置还包括：
仿真模型获取模块605，用于获取目标对象的仿真对象模型和目标场景的仿真环境模型；
仿真场景构建模块606，用于基于所述仿真对象模型和所述仿真环境模型，构建所述目标场景的仿真场景。
可选地，所述仿真场景构建模块606，具体用于：
按照预设的对象分布规则，将所述仿真对象模型设置于所述仿真环境模型中，得到所述目标场景的仿真场景。
可选地，所述标注信息确定模块602，具体用于：
确定所述渲染图像包含的仿真对象模型对应的对象分布规则；
根据所述对象分布规则，对所述渲染图像进行像素级信息标注，得到所述渲染图像的标注信息。
可选地，所述渲染图像生成模块601，具体用于：
确定目标场景的仿真场景的渲染参数；
基于所述渲染参数对所述仿真场景进行渲染处理，得到渲染后的仿真场景；
利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像。
可选地，所述渲染图像生成模块601，进一步具体用于：
按照预设数据增广方式，对图像渲染参数进行调整，得到目标场景的仿真场景的渲染参数；
其中，所述渲染参数包括：所述仿真场景包含的仿真对象模型的对象参数和/或所述仿真对象模型所在的仿真环境模型的环境参数。
可选地，所述渲染图像生成模块601，还具体用于：
确定所述目标场景的实际拍摄参数，其中，所述实际拍摄参数包括：真实摄像装置的内参参数和/或外参参数；
基于所述实际拍摄参数设置虚拟摄像装置的虚拟拍摄参数。
可选地，所述渲染图像生成模块601，还进一步具体用于：
对虚拟拍摄参数进行调整，得到参数调整后的虚拟摄像装置；
利用所述参数调整后的虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像。
可选地，所述合成图像生成模块604，具体用于：
利用预先训练好的对抗网络模型，将所述实拍图像的图像风格迁移至所述渲染图像，生成合成图像。
可选地，所述装置还包括：对抗网络训练模块，用于：
利用预设对抗网络模型中的生成器并基于实拍样本图像，对渲染样本图像进行图像风格迁移，得到风格迁移图像；
利用所述预设对抗网络模型中的判别器并基于所述风格迁移图像和所述实拍样本图像，进行风格相似度判别，生成相应的判别结果；
根据所述判别结果对所述判别器和所述生成器进行迭代优化，得到训练好的对抗网络模型，其中，所述判别器的优化目标为能够区分所述风格迁移图像和所述实拍样本图像，所述生成器的优化目标为生成所述判别器不能与所述实拍样本进行区分的风格迁移图像。
可选地，所述装置还包括：识别模型训练模块607，用于：
将所述合成图像和所述标注信息输入至基于有监督学习模式的深度神经网络模型；
利用深度学习装置并基于所述合成图像和所述标注信息，对所述深度神经网络模型进行训练，得到图像识别模型。
本说明书一个或多个实施例中的合成图像生成装置，基于目标场景的仿真场景，生成渲染图像；确定该渲染图像的标注信息；获取目标场景的实拍图像；根据该实拍图像，对生成的渲染图像进行风格重塑，得到合成图像，以及将确定出的标注信息确定为合成图像的标注信息。利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
需要说明的是，本说明书中关于合成图像生成装置的实施例与本说明书中关于合成图像生成方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的合成图像生成方法的实施，重复之处不再赘述。
进一步地，对应上述图1至图5所示的方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种合成图像生成设备，该设备用于执行上述的合成图像生成方法，如图8所示。
合成图像生成设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对合成图像生成设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在合成图像生成设备上执行存储器802中的一系列计算机可执行指令。合成图像生成设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806等。
在一个具体的实施例中，合成图像生成设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对合成图像生成设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
基于目标场景的仿真场景，生成渲染图像；
确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
获取所述目标场景的实拍图像；
根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
本说明书一个或多个实施例中，利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
可选地，计算机可执行指令在被执行时，在基于目标场景的仿真场景，生成渲染图像之前，还包括：
获取目标对象的仿真对象模型和目标场景的仿真环境模型；
基于所述仿真对象模型和所述仿真环境模型，构建所述目标场景的仿真场景。
可选地，计算机可执行指令在被执行时，所述基于所述仿真对象模型和所述仿真环境模型，构建所述目标场景的仿真场景，包括：
按照预设的对象分布规则，将所述仿真对象模型设置于所述仿真环境模型中，得到所述目标场景的仿真场景。
可选地，计算机可执行指令在被执行时，所述确定所述渲染图像的标注信息，包括：
确定所述渲染图像包含的仿真对象模型对应的对象分布规则；
根据所述对象分布规则，对所述渲染图像进行像素级信息标注，得到所述渲染图像的标注信息。
可选地，计算机可执行指令在被执行时，所述基于目标场景的仿真场景，生成渲染图像，包括：
确定目标场景的仿真场景的渲染参数；
基于所述渲染参数对所述仿真场景进行渲染处理，得到渲染后的仿真场景；
利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像。
可选地，计算机可执行指令在被执行时，所述确定目标场景的仿真场景的渲染参数，包括：
按照预设数据增广方式，对图像渲染参数进行调整，得到目标场景的仿真场景的渲染参数；
其中，所述渲染参数包括：所述仿真场景包含的仿真对象模型的对象参数和/或所述仿真对象模型所在的仿真环境模型的环境参数。
可选地，计算机可执行指令在被执行时，在利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像之前，还包括：
确定所述目标场景的实际拍摄参数，其中，所述实际拍摄参数包括：真实摄像装置的内参参数和/或外参参数；
基于所述实际拍摄参数设置虚拟摄像装置的虚拟拍摄参数。
可选地，计算机可执行指令在被执行时，所述利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像，包括：
对虚拟拍摄参数进行调整，得到参数调整后的虚拟摄像装置；
利用所述参数调整后的虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像。
可选地，计算机可执行指令在被执行时，所述根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，包括：
利用预先训练好的对抗网络模型，将所述实拍图像的图像风格迁移至所述渲染图像，生成合成图像。
可选地，计算机可执行指令在被执行时，所述对抗网络模型是通过如下方式训练得到的：
利用预设对抗网络模型中的生成器并基于实拍样本图像，对渲染样本图像进行图像风格迁移，得到风格迁移图像；
利用所述预设对抗网络模型中的判别器并基于所述风格迁移图像和所述实拍样本图像，进行风格相似度判别，生成相应的判别结果；
根据所述判别结果对所述判别器和所述生成器进行迭代优化，得到训练好的对抗网络模型，其中，所述判别器的优化目标为能够区分所述风格迁移图像和所述实拍样本图像，所述生成器的优化目标为生成所述判别器不能与所述实拍样本进行区分的风格迁移图像。
可选地，计算机可执行指令在被执行时，在将所述渲染图像的所述标注信息确定为所述合成图像的标注信息之后，还包括：
将所述合成图像和所述标注信息输入至基于有监督学习模式的深度神经网络模型；
利用深度学习方法并基于所述合成图像和所述标注信息，对所述深度神经网络模型进行训练，得到图像识别模型。
本说明书一个或多个实施例中的合成图像生成设备，基于目标场景的仿真场景，生成渲染图像；确定该渲染图像的标注信息；获取目标场景的实拍图像；根据该实拍图像，对生成的渲染图像进行风格重塑，得到合成图像，以及将确定出的标注信息确定为合成图像的标注信息。利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
需要说明的是，本说明书中关于合成图像生成设备的实施例与本说明书中关于合成图像生成方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的合成图像生成方法的实施，重复之处不再赘述。
进一步地，对应上述图1至图5所示的方法，基于相同的技术构思，本说明书一个或多个实施例还提供了一种存储介质，用于存储计算机可执行指令，一种具体的实施例中，该存储介质可以为U盘、光盘、硬盘等，该存储介质存储的计算机可执行指令在被处理器执行时，能实现以下流程：
基于目标场景的仿真场景，生成渲染图像；
确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
获取所述目标场景的实拍图像；
根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
本说明书一个或多个实施例中，利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，在基于目标场景的仿真场景，生成渲染图像之前，还包括：
获取目标对象的仿真对象模型和目标场景的仿真环境模型；
基于所述仿真对象模型和所述仿真环境模型，构建所述目标场景的仿真场景。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述基于所述仿真对象模型和所述仿真环境模型，构建所述目标场景的仿真场景，包括：
按照预设的对象分布规则，将所述仿真对象模型设置于所述仿真环境模型中，得到所述目标场景的仿真场景。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述确定所述渲染图像的标注信息，包括：
确定所述渲染图像包含的仿真对象模型对应的对象分布规则；
根据所述对象分布规则，对所述渲染图像进行像素级信息标注，得到所述渲染图像的标注信息。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述基于目标场景的仿真场景，生成渲染图像，包括：
确定目标场景的仿真场景的渲染参数；
基于所述渲染参数对所述仿真场景进行渲染处理，得到渲染后的仿真场景；
利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述确定目标场景的仿真场景的渲染参数，包括：
按照预设数据增广方式，对图像渲染参数进行调整，得到目标场景的仿真场景的渲染参数；
其中，所述渲染参数包括：所述仿真场景包含的仿真对象模型的对象参数和/或所述仿真对象模型所在的仿真环境模型的环境参数。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，在利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像之前，还包括：
确定所述目标场景的实际拍摄参数，其中，所述实际拍摄参数包括：真实摄像装置的内参参数和/或外参参数；
基于所述实际拍摄参数设置虚拟摄像装置的虚拟拍摄参数。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像，包括：
对虚拟拍摄参数进行调整，得到参数调整后的虚拟摄像装置；
利用所述参数调整后的虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，包括：
利用预先训练好的对抗网络模型，将所述实拍图像的图像风格迁移至所述渲染图像，生成合成图像。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，所述对抗网络模型是通过如下方式训练得到的：
利用预设对抗网络模型中的生成器并基于实拍样本图像，对渲染样本图像进行图像风格迁移，得到风格迁移图像；
利用所述预设对抗网络模型中的判别器并基于所述风格迁移图像和所述实拍样本图像，进行风格相似度判别，生成相应的判别结果；
根据所述判别结果对所述判别器和所述生成器进行迭代优化，得到训练好的对抗网络模型，其中，所述判别器的优化目标为能够区分所述风格迁移图像和所述实拍样本图像，所述生成器的优化目标为生成所述判别器不能与所述实拍样本进行区分的风格迁移图像。
可选地，该存储介质存储的计算机可执行指令在被处理器执行时，在将所述渲染图像的所述标注信息确定为所述合成图像的标注信息之后，还包括：
将所述合成图像和所述标注信息输入至基于有监督学习模式的深度神经网络模型；
利用深度学习方法并基于所述合成图像和所述标注信息，对所述深度神经网络模型进行训练，得到图像识别模型。
本说明书一个或多个实施例中的存储介质存储的计算机可执行指令在被处理器执行时，基于目标场景的仿真场景，生成渲染图像；确定该渲染图像的标注信息；获取目标场景的实拍图像；根据该实拍图像，对生成的渲染图像进行风格重塑，得到合成图像，以及将确定出的标注信息确定为合成图像的标注信息。利用三维渲染技术渲染得到多个初始标注图像，再利用图像风格迁移技术并基于实拍图像对该初始标注图像进行图像风格迁移，得到多个具有真实图像风格的目标标注图像，这样无需现场拍摄大量实拍图像，也无需手动对实拍图像进行标注，即可实现快速生成图像真实感高且标注准确度高的合成图像，为模型训练提供大量可用的带标注信息的样本数据。
需要说明的是，本说明书中关于存储介质的实施例与本说明书中关于合成图像生成方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应的合成图像生成方法的实施，重复之处不再赘述。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device，PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HD Cal、JHDL(Java Hardware Description Language)、Lava、Lola、My HDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书一个或多个的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个是参照根据本说明书一个或多个实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书一个或多个的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书一个或多个的实施例而已，并不用于限制本说明书一个或多个。对于本领域技术人员来说，本说明书一个或多个可以有各种更改和变化。凡在本说明书一个或多个的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个的权利要求范围之内。

Claims (20)

1.一种合成图像生成方法，包括：
基于目标场景的仿真场景，生成渲染图像；
确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
获取所述目标场景的实拍图像；
根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
2.根据权利要求1所述的方法，其中，在基于目标场景的仿真场景，生成渲染图像之前，还包括：
获取目标对象的仿真对象模型和目标场景的仿真环境模型；
基于所述仿真对象模型和所述仿真环境模型，构建所述目标场景的仿真场景。
3.根据权利要求2所述的方法，其中，所述基于所述仿真对象模型和所述仿真环境模型，构建所述目标场景的仿真场景，包括：
按照预设的对象分布规则，将所述仿真对象模型设置于所述仿真环境模型中，得到所述目标场景的仿真场景。
4.根据权利要求1所述的方法，其中，所述确定所述渲染图像的标注信息，包括：
确定所述渲染图像包含的仿真对象模型对应的对象分布规则；
根据所述对象分布规则，对所述渲染图像进行像素级信息标注，得到所述渲染图像的标注信息。
5.根据权利要求1所述的方法，其中，所述基于目标场景的仿真场景，生成渲染图像，包括：
确定目标场景的仿真场景的渲染参数；
基于所述渲染参数对所述仿真场景进行渲染处理，得到渲染后的仿真场景；
利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像。
6.根据权利要求5所述的方法，其中，所述确定目标场景的仿真场景的渲染参数，包括：
按照预设数据增广方式，对图像渲染参数进行调整，得到目标场景的仿真场景的渲染参数；
其中，所述渲染参数包括：所述仿真场景包含的仿真对象模型的对象参数和/或所述仿真对象模型所在的仿真环境模型的环境参数。
7.根据权利要求5所述的方法，其中，在利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像之前，还包括：
确定所述目标场景的实际拍摄参数，其中，所述实际拍摄参数包括：真实摄像装置的内参参数和/或外参参数；
基于所述实际拍摄参数设置虚拟摄像装置的虚拟拍摄参数。
8.根据权利要求5所述的方法，其中，所述利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像，包括：
对虚拟拍摄参数进行调整，得到参数调整后的虚拟摄像装置；
利用所述参数调整后的虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像。
9.根据权利要求1所述的方法，其中，所述根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，包括：
利用预先训练好的对抗网络模型，将所述实拍图像的图像风格迁移至所述渲染图像，生成合成图像。
10.根据权利要求9所述的方法，其中，所述对抗网络模型是通过如下方式训练得到的：
利用预设对抗网络模型中的生成器并基于实拍样本图像，对渲染样本图像进行图像风格迁移，得到风格迁移图像；
利用所述预设对抗网络模型中的判别器并基于所述风格迁移图像和所述实拍样本图像，进行风格相似度判别，生成相应的判别结果；
根据所述判别结果对所述判别器和所述生成器进行迭代优化，得到训练好的对抗网络模型，其中，所述判别器的优化目标为能够区分所述风格迁移图像和所述实拍样本图像，所述生成器的优化目标为生成所述判别器不能与所述实拍样本进行区分的风格迁移图像。
11.根据权利要求1至10任一项所述的方法，其中，在将所述渲染图像的所述标注信息确定为所述合成图像的标注信息之后，还包括：
将所述合成图像和所述标注信息输入至基于有监督学习模式的深度神经网络模型；
利用深度学习方法并基于所述合成图像和所述标注信息，对所述深度神经网络模型进行训练，得到图像识别模型。
12.一种合成图像生成装置，包括：
渲染图像生成模块，用于基于目标场景的仿真场景，生成渲染图像；
标注信息确定模块，用于确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
实拍图像获取模块，用于获取所述目标场景的实拍图像；
合成图像生成模块，用于根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
13.根据权利要求12所述的装置，其中，所述装置还包括：
仿真模型获取模块，用于获取目标对象的仿真对象模型和目标场景的仿真环境模型；
仿真场景构建模块，用于基于所述仿真对象模型和所述仿真环境模型，构建所述目标场景的仿真场景。
14.根据权利要求12所述的装置，其中，所述标注信息确定模块，具体用于：
确定所述渲染图像包含的仿真对象模型对应的对象分布规则；
根据所述对象分布规则，对所述渲染图像进行像素级信息标注，得到所述渲染图像的标注信息。
15.根据权利要求12所述的装置，其中，所述渲染图像生成模块，具体用于：
确定目标场景的仿真场景的渲染参数；
基于所述渲染参数对所述仿真场景进行渲染处理，得到渲染后的仿真场景；
利用虚拟摄像装置对所述渲染后的仿真场景进行成像，得到渲染图像。
16.根据权利要求15所述的装置，其中，所述渲染图像生成模块，进一步具体用于：
按照预设数据增广方式，对图像渲染参数进行调整，得到目标场景的仿真场景的渲染参数；
其中，所述渲染参数包括：所述仿真场景包含的仿真对象模型的对象参数和/或所述仿真对象模型所在的仿真环境模型的环境参数。
17.根据权利要求12所述的装置，其中，所述合成图像生成模块，具体用于：
利用预先训练好的对抗网络模型，将所述实拍图像的图像风格迁移至所述渲染图像，生成合成图像。
18.根据权利要求17所述的装置，其中，所述装置还包括：对抗网络训练模块，用于：
利用预设对抗网络模型中的生成器并基于实拍样本图像，对渲染样本图像进行图像风格迁移，得到风格迁移图像；
利用所述预设对抗网络模型中的判别器并基于所述风格迁移图像和所述实拍样本图像，进行风格相似度判别，生成相应的判别结果；
根据所述判别结果对所述判别器和所述生成器进行迭代优化，得到训练好的对抗网络模型，其中，所述判别器的优化目标为能够区分所述风格迁移图像和所述实拍样本图像，所述生成器的优化目标为生成所述判别器不能与所述实拍样本进行区分的风格迁移图像。
19.一种合成图像生成设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
基于目标场景的仿真场景，生成渲染图像；
确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
获取所述目标场景的实拍图像；
根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
20.一种存储介质，用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
基于目标场景的仿真场景，生成渲染图像；
确定所述渲染图像的标注信息，其中，所述标注信息用于表征所述仿真场景包含的仿真对象模型在所述渲染图像中的分布信息；
获取所述目标场景的实拍图像；
根据所述实拍图像，对所述渲染图像进行风格重塑，得到合成图像，以及将所述渲染图像的所述标注信息确定为所述合成图像的标注信息。
CN201910626114.XA 2019-07-11 2019-07-11 一种合成图像生成方法及装置 Active CN110490960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910626114.XA CN110490960B (zh) 2019-07-11 2019-07-11 一种合成图像生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910626114.XA CN110490960B (zh) 2019-07-11 2019-07-11 一种合成图像生成方法及装置

Publications (2)

Publication Number Publication Date
CN110490960A true CN110490960A (zh) 2019-11-22
CN110490960B CN110490960B (zh) 2023-04-07

Family

ID=68547016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910626114.XA Active CN110490960B (zh) 2019-07-11 2019-07-11 一种合成图像生成方法及装置

Country Status (1)

Country Link
CN (1) CN110490960B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145136A (zh) * 2020-01-02 2020-05-12 国网安徽省电力有限公司检修分公司 用于变电站表计图像数据集的合成方法、系统及存储介质
CN111325984A (zh) * 2020-03-18 2020-06-23 北京百度网讯科技有限公司 样本数据的获取方法、装置和电子设备
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN111783525A (zh) * 2020-05-20 2020-10-16 中国人民解放军93114部队 基于风格迁移的航空摄影图像目标样本生成方法
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111862339A (zh) * 2020-06-30 2020-10-30 北京市商汤科技开发有限公司 虚拟标签展示方法、装置、设备及计算机可读存储介质
CN111951206A (zh) * 2020-08-19 2020-11-17 Oppo（重庆）智能科技有限公司 图像合成方法、图像合成装置及终端设备
CN111986263A (zh) * 2020-06-28 2020-11-24 百度在线网络技术（北京）有限公司 图像处理方法、装置、电子设备及存储介质
CN112232293A (zh) * 2020-11-09 2021-01-15 腾讯科技（深圳）有限公司 图像处理模型训练、图像处理方法及相关设备
CN112256589A (zh) * 2020-11-11 2021-01-22 腾讯科技（深圳）有限公司 一种仿真模型的训练方法、点云数据的生成方法及装置
CN112488944A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 样本生成和模型训练方法、装置、设备和计算机可读介质
CN112651881A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 图像合成方法、装置、设备、存储介质以及程序产品
CN112734657A (zh) * 2020-12-28 2021-04-30 杨文龙 基于人工智能和三维模型的云合影方法、装置及存储介质
CN112926614A (zh) * 2019-12-06 2021-06-08 顺丰科技有限公司 箱体标注图像扩充方法、装置及计算机可读存储介质
CN112991158A (zh) * 2021-03-31 2021-06-18 商汤集团有限公司 一种图像生成方法、装置、设备及存储介质
CN113192175A (zh) * 2021-04-14 2021-07-30 武汉联影智融医疗科技有限公司 模型训练方法、装置、计算机设备和可读存储介质
CN113256778A (zh) * 2021-07-05 2021-08-13 爱保科技有限公司 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN113992850A (zh) * 2021-10-20 2022-01-28 上海闻泰电子科技有限公司 基于isp的图像处理方法及装置、存储介质和摄像设备
CN114120062A (zh) * 2021-11-26 2022-03-01 北京百度网讯科技有限公司 样本生成方法及装置
WO2022089143A1 (zh) * 2020-10-28 2022-05-05 达闼机器人有限公司 模拟图像生成的方法、电子设备及存储介质
CN114627134A (zh) * 2022-05-18 2022-06-14 深圳元象信息科技有限公司 场景图像生成方法
CN114842342A (zh) * 2022-05-16 2022-08-02 网思科技股份有限公司 一种基于人工智能的杂乱场景检测方法、装置及相关设备
WO2022160773A1 (zh) * 2021-01-28 2022-08-04 武汉大学 基于虚拟样本的行人重识别方法
CN117036571A (zh) * 2023-09-28 2023-11-10 光轮智能(北京)科技有限公司 图像数据生成、视觉算法模型训练、评测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
US20170169620A1 (en) * 2015-12-15 2017-06-15 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
CN107689073A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 图像集的生成方法、装置及图像识别模型训练方法、系统
CN109166170A (zh) * 2018-08-21 2019-01-08 百度在线网络技术（北京）有限公司 用于渲染增强现实场景的方法和装置
WO2019032481A1 (en) * 2017-08-08 2019-02-14 Siemens Aktiengesellschaft GENERATING SYNTHESIS DEPTH IMAGES FROM CAD DATA USING GENERATIVE CONTRASICITY NEURAL NETWORKS FOR ENHANCED ENHANCEMENT
CN109615649A (zh) * 2018-10-31 2019-04-12 阿里巴巴集团控股有限公司 一种图像标注方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825544A (zh) * 2015-11-25 2016-08-03 维沃移动通信有限公司 一种图像处理方法及移动终端
US20170169620A1 (en) * 2015-12-15 2017-06-15 Intel Corporation Generation of synthetic 3-dimensional object images for recognition systems
CN107689073A (zh) * 2016-08-05 2018-02-13 阿里巴巴集团控股有限公司 图像集的生成方法、装置及图像识别模型训练方法、系统
WO2019032481A1 (en) * 2017-08-08 2019-02-14 Siemens Aktiengesellschaft GENERATING SYNTHESIS DEPTH IMAGES FROM CAD DATA USING GENERATIVE CONTRASICITY NEURAL NETWORKS FOR ENHANCED ENHANCEMENT
CN109166170A (zh) * 2018-08-21 2019-01-08 百度在线网络技术（北京）有限公司 用于渲染增强现实场景的方法和装置
CN109615649A (zh) * 2018-10-31 2019-04-12 阿里巴巴集团控股有限公司 一种图像标注方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王坤峰等: "平行图像:图像生成的一个新型理论框架", 《模式识别与人工智能》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926614A (zh) * 2019-12-06 2021-06-08 顺丰科技有限公司 箱体标注图像扩充方法、装置及计算机可读存储介质
CN111145136A (zh) * 2020-01-02 2020-05-12 国网安徽省电力有限公司检修分公司 用于变电站表计图像数据集的合成方法、系统及存储介质
CN111145136B (zh) * 2020-01-02 2023-08-18 国网安徽省电力有限公司超高压分公司 用于变电站表计图像数据集的合成方法、系统及存储介质
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN111325984A (zh) * 2020-03-18 2020-06-23 北京百度网讯科技有限公司 样本数据的获取方法、装置和电子设备
CN111783525A (zh) * 2020-05-20 2020-10-16 中国人民解放军93114部队 基于风格迁移的航空摄影图像目标样本生成方法
CN111783525B (zh) * 2020-05-20 2022-10-18 中国人民解放军93114部队 基于风格迁移的航空摄影图像目标样本生成方法
CN111986263A (zh) * 2020-06-28 2020-11-24 百度在线网络技术（北京）有限公司 图像处理方法、装置、电子设备及存储介质
CN111986263B (zh) * 2020-06-28 2023-09-12 百度在线网络技术（北京）有限公司 图像处理方法、装置、电子设备及存储介质
CN111862339A (zh) * 2020-06-30 2020-10-30 北京市商汤科技开发有限公司 虚拟标签展示方法、装置、设备及计算机可读存储介质
CN111784565B (zh) * 2020-07-01 2021-10-29 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111951206A (zh) * 2020-08-19 2020-11-17 Oppo（重庆）智能科技有限公司 图像合成方法、图像合成装置及终端设备
WO2022089143A1 (zh) * 2020-10-28 2022-05-05 达闼机器人有限公司 模拟图像生成的方法、电子设备及存储介质
CN112232293A (zh) * 2020-11-09 2021-01-15 腾讯科技（深圳）有限公司 图像处理模型训练、图像处理方法及相关设备
CN112256589A (zh) * 2020-11-11 2021-01-22 腾讯科技（深圳）有限公司 一种仿真模型的训练方法、点云数据的生成方法及装置
CN112256589B (zh) * 2020-11-11 2022-02-01 腾讯科技（深圳）有限公司 一种仿真模型的训练方法、点云数据的生成方法及装置
CN112488944A (zh) * 2020-12-02 2021-03-12 北京字跳网络技术有限公司 样本生成和模型训练方法、装置、设备和计算机可读介质
CN112734657A (zh) * 2020-12-28 2021-04-30 杨文龙 基于人工智能和三维模型的云合影方法、装置及存储介质
CN112734657B (zh) * 2020-12-28 2023-04-07 杨文龙 基于人工智能和三维模型的云合影方法、装置及存储介质
CN112651881A (zh) * 2020-12-30 2021-04-13 北京百度网讯科技有限公司 图像合成方法、装置、设备、存储介质以及程序产品
CN112651881B (zh) * 2020-12-30 2023-08-01 北京百度网讯科技有限公司 图像合成方法、装置、设备、存储介质以及程序产品
WO2022160773A1 (zh) * 2021-01-28 2022-08-04 武汉大学 基于虚拟样本的行人重识别方法
US11837007B2 (en) 2021-01-28 2023-12-05 Wuhan University Pedestrian re-identification method based on virtual samples
CN112991158A (zh) * 2021-03-31 2021-06-18 商汤集团有限公司 一种图像生成方法、装置、设备及存储介质
CN113192175A (zh) * 2021-04-14 2021-07-30 武汉联影智融医疗科技有限公司 模型训练方法、装置、计算机设备和可读存储介质
CN113256778A (zh) * 2021-07-05 2021-08-13 爱保科技有限公司 生成车辆外观部件识别样本的方法、装置、介质及服务器
CN113992850A (zh) * 2021-10-20 2022-01-28 上海闻泰电子科技有限公司 基于isp的图像处理方法及装置、存储介质和摄像设备
CN113992850B (zh) * 2021-10-20 2023-06-20 上海闻泰电子科技有限公司 基于isp的图像处理方法及装置、存储介质和摄像设备
CN114120062A (zh) * 2021-11-26 2022-03-01 北京百度网讯科技有限公司 样本生成方法及装置
CN114842342A (zh) * 2022-05-16 2022-08-02 网思科技股份有限公司 一种基于人工智能的杂乱场景检测方法、装置及相关设备
CN114842342B (zh) * 2022-05-16 2023-01-24 网思科技集团有限公司 一种基于人工智能的杂乱场景检测方法、装置及相关设备
CN114627134A (zh) * 2022-05-18 2022-06-14 深圳元象信息科技有限公司 场景图像生成方法
CN117036571A (zh) * 2023-09-28 2023-11-10 光轮智能(北京)科技有限公司 图像数据生成、视觉算法模型训练、评测方法及装置
CN117036571B (zh) * 2023-09-28 2024-01-26 光轮智能(北京)科技有限公司 图像数据生成、视觉算法模型训练、评测方法及装置

Also Published As

Publication number Publication date
CN110490960B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN110490960A (zh) 一种合成图像生成方法及装置
CN110428388A (zh) 一种图像数据生成方法及装置
Zhang et al. Plenopatch: Patch-based plenoptic image manipulation
Wither et al. Structure from silhouettes: a new paradigm for fast sketch‐based design of trees
CN106255990B (zh) 用于相机阵列的图像重对焦
CN106030661A (zh) 视野独立的3d场景纹理化背景
Jordao et al. Crowd sculpting: A space‐time sculpting method for populating virtual environments
CN109389038A (zh) 一种信息的检测方法、装置及设备
CN110168614A (zh) 用于生成混合现实中的动态虚拟内容的设备和方法
CN109472828A (zh) 一种定位方法、装置、电子设备及计算机可读存储介质
CN107113373A (zh) 通过基于深度计算摄影的曝光计算
CN108810406A (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
McGraw Fast Bokeh effects using low-rank linear filters
CN110533643A (zh) 证件鉴定方法及装置
CN110400372A (zh) 一种图像处理的方法及装置、电子设备、存储介质
CN109993822A (zh) 一种水墨风格渲染方法和装置
CN105488840B (zh) 一种信息处理方法及电子设备
Traumann et al. Accurate 3D measurement using optical depth information
CN108140251A (zh) 视频循环生成
Tang et al. Estimating spatially-varying lighting in urban scenes with disentangled representation
CN110516545A (zh) 模型训练、图像处理方法和设备、图像处理器及介质
Mirbauer et al. SkyGAN: Towards Realistic Cloud Imagery for Image Based Lighting.
Grau et al. A variational deep synthesis approach for perception validation
CN109816744B (zh) 一种基于神经网络的二维特效图片生成方法和装置
Rematas Watching sports in augmented reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200923

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman, British Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant