CN116630139A - 数据生成的方法、装置、设备和存储介质 - Google Patents
数据生成的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116630139A CN116630139A CN202210128358.7A CN202210128358A CN116630139A CN 116630139 A CN116630139 A CN 116630139A CN 202210128358 A CN202210128358 A CN 202210128358A CN 116630139 A CN116630139 A CN 116630139A
- Authority
- CN
- China
- Prior art keywords
- image
- style migration
- sub
- target
- migrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000013508 migration Methods 0.000 claims abstract description 337
- 230000005012 migration Effects 0.000 claims abstract description 337
- 238000001514 detection method Methods 0.000 claims description 91
- 238000012937 correction Methods 0.000 claims description 35
- 230000003993 interaction Effects 0.000 claims description 23
- 238000007499 fusion processing Methods 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 15
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 238000012549 training Methods 0.000 description 39
- 230000004044 response Effects 0.000 description 21
- 238000012360 testing method Methods 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000004549 pulsed laser deposition Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种数据生成的方法、装置、设备和存储介质,属于人工智能技术领域。该方法包括:获取第一图像的子图像,子图像包括第一图像中截取的待迁移目标,确定该子图像中待迁移目标的轮廓信息,基于轮廓信息和参考风格,对第一图像中待迁移目标进行风格迁移,获得第二图像,第二图像与第一图像的背景区域相同,该背景区域为第一图像中除待迁移目标之外的区域。采用本申请的方案,对图像中待迁移目标进行风格迁移处理,不会使得图像的背景信息受到破坏,进而使得数据的质量比较好。
Description
技术领域
本申请涉及人工智能(artificial intelligence,AI)技术领域,特别涉及一种数据生成的方法、装置、设备和存储介质。
背景技术
在人工智能领域,模型经常会出现算法泛化问题,算法泛化问题指:由于训练数据和测试数据分布的差异性,使得使用训练数据训练得到的模型在训练数据的场景中性能较好,但是该模型在测试数据的场景中性能较差。例如,模型是基于白天拍摄的图像训练的,对于白天拍摄的图像的检测性能比较好,但是模型对于晚上拍摄的图像的检测性能比较差。为了使得模型能适配的更多的场景,通常需要采集该场景的数据。
目前有一些图像变换的技术获得训练数据。比如我们已有A场景的图像,检测模型是基于A场景的图像训练获得,想要使得检测模型也适用于B场景的图像检测,可以使用算法模型将A场景的图像转换到B场景的风格上,且内容未发生变化。例如,当前有白天场景下的红绿蓝(red green blue,RGB)图像,给定一张晚上场景的风格图像,可以将白天场景下的RGB图像转换为晚上场景的图像,但是图像内容未发生变化,这样,就获得B场景的图像。用算法生成的B场景的图像对模型进行训练,即可使得该模型适用于B场景的图像检测。
在目前的技术中,对图像整体进行风格迁移,使得图像的背景信息受到破坏,进而使得数据不真实,导致数据的质量比较差。
发明内容
本申请提供了一种数据生成的方法、装置、设备和存储介质,能够使得风格迁移后的数据质量比较好。
第一方面,本申请提供了一种数据生成的方法,该方法包括:获取第一图像的子图像,该子图像包括该第一图像中截取的待迁移目标;确定该子图像中该待迁移目标的轮廓信息;基于该轮廓信息和参考风格,对该第一图像中该待迁移目标进行风格迁移,获得第二图像,该第二图像与该第一图像的背景区域相同,该背景区域为该第一图像中除该待迁移目标之外的区域。
本申请所示的方案,获取第一图像的子图像,然后确定该子图像中待迁移目标的轮廓信息,使用该轮廓信息和参考风格,对第一图像中的待迁移目标进行风格迁移,使得风格迁移获得的图像中仅是对待迁移目标进行迁移,而不会使得背景区域破坏,所以能够使得风格迁移后的图像的质量比较好。而且,由于子图像包括的目标比较少,所以在子图像中确定待迁移目标的轮廓信息,能够使得确定的轮廓信息更准确。
在一种可能的实现方式中,该参考风格指示该待迁移目标进行风格迁移后的表观信息,该表观信息包括颜色、纹理、亮度或光照中的一种或多种。
在一种可能的实现方式中,该获取第一图像的子图像,包括:向终端发送无标注的样本图像,该样本图像包括和该待迁移目标同类的目标;接收该终端发送的用户为该样本图像中目标添加的标注信息;基于该样本图像和该标注信息,确定该第一图像中该待迁移目标的选取框的位置信息;基于该选取框的位置信息,从该第一图像中截取获得该子图像。
本申请所示的方案,用户可以交互式为样本图像添加标注信息,使用样本图像和该标注信息,确定第一图像中待迁移目标的选取框的位置信息,使用该选取框的位置信息,截取出第一图像的子图像。这样,使用用户标注的样本图像,就能获得第一图像中待迁移目标的选取框的位置信息。
在一种可能的实现方式中,该确定该子图像中该待迁移目标的轮廓信息,包括:对该子图像进行显著性目标检测,获得该子图像中该待迁移目标的轮廓信息。
本申请所示的方案,对子图像进行显著性目标检测,获得该子图像中待迁移目标的轮廓信息。这样,由于显著性目标检测技术旨于检测到图像中占据主体地位的显著目标,与目标类别不绑定,因此可以通用至任意目标的检测,所以采用本申请的方案,能够对任意图像中的目标进行风格迁移,通用性比较好。
在一种可能的实现方式中,该基于该轮廓信息和参考风格,对该第一图像中该待迁移目标进行风格迁移,获得第二图像,包括:基于该轮廓信息和该参考风格,对该子图像中该待迁移目标进行风格迁移,获得该子图像对应的局部风格迁移图像;将该局部风格迁移图像与该第一图像贴合,获得第二图像。
本申请所示的方案,对子图像中待迁移目标进行风格迁移,获得子图像对应的局部风格迁移图像,然后将局部风格图像与第一图像贴合,获得风格迁移后的图像。这样,能够提供一种风格迁移的方法。
在一种可能的实现方式中,该基于该轮廓信息和该参考风格,对该子图像中该待迁移目标进行风格迁移,获得该子图像对应的局部风格迁移图像,包括:基于该参考风格,对该子图像进行风格迁移,获得该子图像对应的风格迁移图像;基于该轮廓信息,对该子图像对应的风格迁移图像和该子图像进行融合处理,获得该子图像对应的局部风格迁移图像,其中,该局部风格迁移图像中该轮廓信息指示的区域发生了风格迁移。
本申请所示的方案,对子图像整体进行风格迁移,获得子图像对应的风格迁移图像,使用轮廓信息,将该风格迁移图像和该子图像进行融合处理,获得该子图像对应的局部风格迁移图像,该局部风格迁移图像中该轮廓信息指示的区域发生了风格迁移。这样,能够通过融合处理,获得仅对待迁移目标进行风格迁移的局部风格迁移图像。
在一种可能的实现方式中,该方法还包括:向终端发送该局部风格迁移图像;获取该终端发送的用户对该局部风格迁移图像中的发生风格迁移的区域进行修正的像素修正信息,该像素修正信息包括漏检的像素和误检的像素中的至少一种;基于该像素修正信息,对该局部风格迁移图像进行修正,获得更新后的局部风格迁移图像;将更新后的局部风格迁移图像与该第一图像贴合,获得更新后的第二图像。
本申请所示的方案,向终端发送局部风格迁移图像,使得用户对局部风格迁移图像进行修正,进而使得风格迁移后的图像的质量更好。
在一种可能的实现方式中,该基于该像素修正信息,对该局部风格迁移图像进行修正,获得更新后的局部风格迁移图像,包括:基于该像素修正信息,更新该待迁移目标的轮廓信息,获得更新后的轮廓信息;基于该更新后的轮廓信息,对该子图像对应的风格迁移图像和该子图像进行融合处理,获得更新后的局部风格迁移图像。
本申请所示的方案,在对局部风格迁移图像进行修正时,先获得待迁移目标更新后的轮廓信息,然后再使用更新后的轮廓信息,更新子图像对应的局部风格迁移图像。这样,由于轮廓信息更新,所以能够使得更新后的局部风格迁移图像质量更好。
在一种可能的实现方式中,该向终端发送该局部风格迁移图像,包括:获取该局部风格迁移图像的置信度,该置信度是基于该待迁移目标的轮廓信息的置信度和该子图像对应的风格迁移图像的置信度中至少一种获得;确定该局部风格迁移图像的置信度低于第二阈值,向该终端发送该局部风格迁移图像。
本申请所示的方案,局部风格迁移图像对应有置信度,置信度表示局部风格迁移图像的质量。在置信度比较低时,向终端发送局部风格迁移图像,供用户进行修正,使得用户可以选择性进行修正,可以节约人力资源。
在一种可能的实现方式中,该向终端发送该局部风格迁移图像,包括:向该终端发送该第二图像;当接收到该终端发送的该第二图像中该待迁移目标的选取指令时,向该终端发送该局部风格迁移图像。
本申请所示的方案中,先向终端发送第二图像,用户可以在第二图像中选取待迁移目标,检测到该待迁移目标的选取指令后,向终端发送待迁移目标的局部风格迁移图像。这样,用户可以在风格迁移后的图像中,选择性的对待迁移目标的局部风格迁移图像进行修正。
在一种可能的实现方式中,该获取第一图像的子图像之前,还包括:向终端发送风格迁移选择界面,该风格迁移界面包括展示局部风格迁移选项和全局风格迁移选项;接收终端发送的用户对该局部风格迁移选项的选择指令。
本申请所示的方案中,为用户展示局部风格迁移选项和全局风格迁移选项,用户选择对全图进行风格迁移,或者选择对局部区域进行风格迁移,使得用户可以选择至少一种进行风格迁移。
在一种可能的实现方式中,该方法还包括:基于该第二图像,对目标AI模型进行更新,获得更新后的AI模型;其中,目标AI模型用于对第一图像中的待迁移目标进行检测或识别,更新后的AI模型用于对第二图像中风格迁移后的待迁移目标进行检测或识别。
本申请所示的方案,使用风格迁移后的图像对AI模型进行更新,使得更新后的AI模型能够对风格迁移后的目标进行检测或识别。
第二方面,本申请提供了一种数据生成的装置,该装置具有实现上述第一方面或第一方面任一种可选方式的功能。该装置包括至少一个模块,至少一个模块用于实现上述第一方面或第一方面任一种可选方式所提供的数据生成的方法。
第三方面,本申请提供了一种计算机设备,该计算机设备包括存储器和与所述存储器连接的处理器;所述存储器用于存储计算机指令;所述处理器用于执行所述计算机指令,以使计算机设备实现上述第一方面或第一方面任一种可选方式所提供的数据生成的方法。
第四方面,本申请提供了一种计算机可读存储介质,该存储介质中存储有至少一条计算机指令,该计算机指令由处理器读取以使计算机设备执行上述第一方面所提供的数据生成的方法。
第五方面,本申请提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或第一方面任一种可选方式所提供的数据生成的方法。
附图说明
图1是本申请一个示例性实施例提供的AI平台的应用场景示意图;
图2是本申请一个示例性实施例提供的AI平台的应用场景示意图;
图3是本申请一个示例性实施例提供的数据生成的逻辑架构图;
图4是本申请一个示例性实施例提供的计算机设备的结构示意图;
图5是本申请一个示例性实施例提供的数据生成的逻辑架构图;
图6是本申请一个示例性实施例提供的数据生成的方法流程示意图;
图7是本申请一个示例性实施例提供的图像风格迁移的逻辑示意图;
图8是本申请一个示例性实施例提供的确定选取框的位置信息的逻辑示意图;
图9是本申请一个示例性实施例提供的截取选取框的逻辑示意图;
图10是本申请一个示例性实施例提供的图像风格迁移的逻辑示意图;
图11是本申请一个示例性实施例提供的图像风格迁移的逻辑示意图;
图12是本申请一个示例性实施例提供的更新局部风格迁移图像的逻辑示意图;
图13是本申请一个示例性实施例提供的更新AI模型的逻辑示意图;
图14是本申请一个示例性实施例提供的数据生成的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
下面对本申请实施例涉及的一些术语概念做解释说明。
图像的风格迁移,是一个图像变换的处理,输入待迁移图像和参考风格,能够输出风格迁移后的图像,风格迁移后的图像与待迁移图像的内容相同,并且,风格迁移后的图像与参考风格图像的风格相似。参考风格为待迁移图像进行风格迁移后的风格,该参考风格可以指示待迁移目标进行风格迁移后的表观信息,表观信息包括颜色、纹理、亮度或光照等其他表观信息,本申请对此不作限制。
显著性目标检测,用于识别图像或者视频中最明显的目标。显著性目标检测与目标检测的区别在于:目标检测的结果是识别到包括目标的检测框,并且模型通常与目标类别绑定;显著性目标检测的结果是目标的精细化轮廓,并且显著性目标检测通常检测到的是图像或视频中最明显最显著的物体,因此算法模型与物体的类别无关。
AI模型,是一类用机器学习思想解决实际问题的数学算法模型,AI模型中包括大量的参数和计算公式(或计算规则),AI模型中的参数是可以通过训练数据集对AI模型进行训练获得的数值。例如,AI模型的参数是AI模型中的计算公式或计算因子的权重。AI模型还包含一些超参数(hyper-parameter),超参数可用于指导AI模型的构建或者AI模型的训练,超参数有多种。例如,AI模型训练的迭代(iteration)次数、学习率(leaning rate)、批尺寸(batch size)、AI模型的层数、每层神经元的个数。超参数可以是通过训练数据集对AI模型进行训练获得的参数,也可以是预先设定的参数,预先设定的参数指不会通过训练数据集对AI模型训练而更新。
下面描述背景。
在AI领域,模型经常会出现算法泛化问题,算法泛化问题指:由于训练数据和测试数据分布的差异性,使得使用训练数据训练得到的模型在训练数据的场景中性能较好,但是该模型在测试数据的场景中性能较差。例如,模型是基于白天拍摄的图像训练的,对于白天拍摄的图像的检测性能比较好,但是模型对于晚上拍摄的图像的检测性能比较差。为了使得模型能适配的更多的场景,通常需要采集该场景的数据。
目前有一些图像变换的技术获得训练数据。比如我们已有A场景的图像,检测模型是基于A场景的图像训练获得,想要使得检测模型也适用于B场景的图像检测,可以使用算法模型将A场景的图像转换到B场景的风格上,且内容未发生变化。这样,就获得B场景的图像。用算法生成的B场景的图像对模型进行训练,即可使得该模型适用于B场景的图像检测。
然而,目前的技术中对图像整体进行风格迁移,会使得图像的背景信息受到破坏,无法进行一些精细化局部区域的风格迁移。比如检测模型是由白色安全帽的图像训练获得,现在需要适应红色安全帽的图像的检测场景,需要获得红色安全帽的数据。若使用目标技术对图像整体进行变换,不仅安全帽目标会进行变换,背景信息也会收到破坏,进而使得数据不真实,导致数据的质量比较差。
本申请中,从图像中截取包括待迁移目标的子图像,在子图像中,获得待迁移目标的轮廓信息,使用轮廓信息和参考风格,对第一图像中待迁移目标进行风格迁移,获得迁移后的第二图像。这样,仅对待迁移目标进行风格迁移,而未对背景区域进行风格迁移,所以获得的第二图像比较真实,数据质量比较好。
下面描述本申请实施例的执行主体以及应用场景。
执行主体:
本申请实施例中,数据生成的方法的执行主体可以是数据生成的装置。示例性的,数据生成的装置可以是AI平台,AI平台是一种为AI开发者和用户提供便捷的AI开发环境以及便利的开发工具的平台。
图1为本申请实施例提供的一种AI平台100的应用场景示意图,如图1所示,在一种实现中,AI平台100可全部部署在云环境中。云环境是云计算模式下利用基础资源向用户提供云服务的实体。云环境包括云数据中心和云服务平台,云数据中心包括云服务提供商拥有的大量基础资源(包括计算资源、存储资源和网络资源),云数据中心包括的计算资源可以是大量的计算机设备,如服务器等。AI平台可以独立地部署在云数据中心中的服务器或虚拟机上,AI平台100也可以分布式地部署在云数据中心中的多台服务器上、或者分布式地部署在云数据中心中的多台虚拟机上、再或者分布式地部署在云数据中心中的服务器和虚拟机上。如图1所示,AI平台100由云服务提供商在云服务平台抽象成一种AI云服务提供给用户,用户在云服务平台使用云服务时,云环境利用部署在云数据中心的AI平台100向用户提供AI平台云服务。在使用AI平台云服务时,用户可以通过应用程序接口(applicationprogram interface,API)或者图形用户界面(graphical user interface,GUI)上传第一图像、参考风格和待迁移目标的信息至云环境,云环境中的AI平台100接收用户上传的内容,对第一图像中待迁移目标进行风格迁移,获得第二图像。
本申请提供的AI平台100的部署较为灵活,如图2所示,在另一种实现中,本申请提供的AI平台100还可以分布式地部署在不同的环境中。本申请提供的AI平台100可以在逻辑上分成多个部分,每个部分具有不同的功能。例如,在一种实施例中AI平台100包括用户交互模块101、确定模块102和风格迁移模块103。AI平台100中的各部分可以分别部署在终端计算设备、边缘环境和云环境中的任意两个或三个环境中。终端计算设备包括:终端服务器、智能手机、笔记本电脑、平板电脑或个人台式电脑等。边缘环境为包括距离终端计算设备较近的边缘计算设备集合的环境,边缘计算设备包括:边缘服务器、拥有计算能力的边缘小站等。部署在不同环境或设备的AI平台100的各个部分协同实现数据生成的方法。例如,在一种场景中,终端计算设备中部署AI平台100中的用户交互模块101,边缘环境的边缘计算设备中部署AI平台100中的确定模块102和风格迁移模块103。应理解,本申请不对AI平台100的哪些部分具体部署在什么环境进行限制性的划分,实际应用时可根据终端计算设备的计算能力、边缘环境和云环境的资源占有情况或具体应用需求进行适应性的部署。
示例性的,在AI平台100包括用户交互模块101、确定模块102和风格迁移模块103时,数据生成的方法流程的逻辑框图参见图3,如图3所示,用户交互模块101用于AI平台100与用户进行交互,例如,用户可以通过用户交互模块101输入第一图像和参考风格等。确定模块102用于确定子图像中待迁移目标的轮廓信息等。风格迁移模块103用于对第一图像中待迁移目标进行风格迁移,获得第二图像。可选的,参考风格指示待迁移目标进行风格迁移后的表观信息,表观信息包括颜色、纹理、亮度或光照中的一种或多种。
可选的,用户交互模块101还用于用户修正风格迁移结果,还用于用户为样本图像添加标注信息等。
可选的,风格迁移模块103还用于基于用户对风格迁移结果的像素修正信息,更新风格迁移结果。风格迁移模块103还用于基于目标数据集和风格迁移后的图像更新目标AI模型,获得更新后的AI模型,目标数据集包括第一图像,目标AI模型是基于目标数据集训练获得,能够对目标数据集中图像包括的目标进行检测或者识别,更新后的AI模型能够对风格迁移后的图像以及目标数据集包括的目标进行检测或者识别。
示例性的,AI平台100也可以单独部署在任意环境中的一个计算机设备上(如单独部署在边缘环境的一个边缘服务器上)。图4为部署有AI平台100的计算机设备400的硬件结构示意图,如图4所示,计算机设备400可选地由一般性的总线体系结构来实现。计算机设备400包括至少一个处理器401、通信总线402、存储器403以及至少一个网络接口404。
处理器401例如是通用中央处理器(central processing unit,CPU)、网络处理器(network processer,NP)、图形处理器(graphics processing unit,GPU)、神经网络处理器(neural-network processing units,NPU)、数据处理单元(data processing unit,DPU)、微处理器或者一个或多个用于实现本申请方案的集成电路。例如,处理器401包括专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。PLD例如是复杂可编程逻辑器件(complexprogrammable logic device,CPLD)、现场可编程逻辑门阵列(field-programmable gatearray,FPGA)、通用阵列逻辑(generic array logic,GAL)或其任意组合。
通信总线402用于在上述组件之间传送信息。通信总线402可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器403例如是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其它类型的静态存储设备,又如是随机存取存储器(random access memory,RAM)或者可存储信息和指令的其它类型的动态存储设备,又如是电可擦可编程只读存储器(electrically erasable programmable read-only Memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其它光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其它磁存储设备,或者是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质,但不限于此。存储器403例如是独立存在,并通过通信总线402与处理器401相连接。存储器403也可以和处理器401集成在一起。
网络接口404使用任何收发器一类的装置,用于与其它设备或通信网络通信。网络接口404包括有线网络接口,还可以包括无线网络接口。其中,有线网络接口例如可以为以太网接口。以太网接口可以是光接口,电接口或其组合。无线网络接口可以为无线局域网(wireless local area networks,WLAN)接口,蜂窝网络的网络接口或其组合等。
在具体实现中,作为一种示例,处理器401可以包括一个或多个CPU。
在具体实现中,作为一种示例,计算机设备400可以包括多个处理器。这些处理器中的每一个可以是一个单核处理器(single-CPU),也可以是一个多核处理器(multi-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(如计算机程序指令)的处理核。
在具体实现中,作为一种示例,计算机设备400还可以包括输出设备和输入设备。输出设备和处理器401通信,可以以多种方式来显示信息。例如,输出设备可以是液晶显示器(liquid crystal display,LCD)、发光二级管(light emitting diode,LED)显示设备、阴极射线管(cathode ray tube,CRT)显示设备或投影仪(projector)等。输入设备和处理器401通信,以多种方式接收用户的输入。例如,输入设备可以是鼠标、键盘、触摸屏设备或传感设备等。
在一些实施例中,存储器403用于存储执行本申请中数据生成的程序代码4031,处理器401执行存储器403中存储的程序代码4031。也即是,计算机设备400可以通过处理器401以及存储器403中的程序代码4031,来实现方法实施例提供的数据生成的方法。
应用场景:
结合图3所示的AI平台100,简述本申请实施例示例性的应用场景,参见图5。当前存在目标数据集,以及基于目标数据集训练获得的目标AI模型,用户想要使得目标AI模型也能对另一场景的图像进行检测或者识别。如图5所示,用户通过用户交互模块101向AI平台100上传目标数据集、目标AI模型和参考风格,并且指定目标数据集中要进行风格迁移的目标,称为是待迁移目标,目标数据集包括后文提到的第一图像。用户通过用户交互模块101为目标数据集中少量的图像添加标注信息,被添加标注信息的图像后文中称为是样本图像,AI平台100中的确定模块102基于标注信息,从目标数据集包括的未标注图像中截取子图像,确定子图像中待迁移目标的轮廓信息。AI平台中的风格迁移模块103对目标数据集的全部或者部分图像中待迁移目标进行风格迁移,获得风格迁移后的图像。用户通过用户交互模块101对风格迁移后的图像进行修正。
AI平台中的风格迁移模块103使用目标数据集和风格迁移后的图像,更新目标AI模型,获得更新后的AI模型。
此处仅是一种可能的应用场景,本申请实施例不进行限定。
下面结合图6描述数据生成的方法的具体流程,参见步骤601至步骤603,以该方法由AI平台执行为例进行说明,并且具体以对目标数据集中第一图像进行风格迁移为例进行说明。
步骤601,获取第一图像的子图像,该子图像包括第一图像中截取的待迁移目标。
其中,第一图像是要进行风格迁移的图像。待迁移目标可以是指定的任意目标,如安全帽、汽车、自行车等。本申请实施不对待迁移目标做具体限定。
在本实施例中,当前存在第一图像和参考风格,第一图像中待迁移目标的风格与参考风格不相同,期望将第一图像中待迁移目标的风格变换为参考风格。例如,第一图像包括安全帽,待迁移目标为安全帽,第一图像中安全帽的颜色为红色,参考风格包括的颜色为白色,要将第一图像中安全帽的颜色变换为白色,获得包括白色安全帽的图像。AI平台在第一图像中,截取获得第一图像的子图像,该子图像包括待迁移目标的图像。
可选的,该子图像中不包括除待迁移目标之外的目标。例如,该子图像中包括安全帽,而不包括除安全帽之外的其它目标。这样,在识别待迁移目标的轮廓信息时,可以更准确识别到该轮廓信息。
需要说明的是,在第一图像中包括多个待迁移目标的情况下,针对每个待迁移目标,分别截取子图像。例如,第一图像中包括2个待迁移目标,在第一图像中截取获得2个子图像。
示例性的,在步骤601之前,用户选择对图像进行局部风格迁移,处理为:向终端发送风格迁移选择界面,风格迁移选择界面包括局部风格迁移选项和全局风格迁移选项;接收终端发送的用户对该局部风格迁移选项的选择指令。
在本实施例中,AI平台向终端发送风格迁移选择界面,风格迁移选择界面包括局部风格迁移选项和全局风格迁移选项,局部风格迁移选项指示对图像的部分区域进行风格迁移,全局风格迁移选项指示对图像整体进行风格迁移。终端显示风格迁移选择界面,用户选择局部风格迁移选项。终端向AI平台发送局部风格迁移选项的选择指令,AI平台接收局部风格迁移选项的选择指令,执行步骤601。
另外,若用户选取全局风格迁移选项后,AI平台接收到全局风格迁移选项的选择指令,将第一图像和参考风格输入至风格迁移模型,风格迁移模型会基于参考风格对第一图像的风格进行转换,输出第一图像进行风格迁移后的结果。风格迁移模型可以是任意一种模型,本申请实施例对风格迁移模型不进行限定。例如,风格迁移模型可以为基于神经架构搜索的超快速真实感风格传递(Ultrafast Photorealistic Style Transfer viaNeural Architecture Search)文章中的图片网(photoNet)自动编码器等。
可选的,参考风格指示待迁移目标进行风格迁移后的表观信息,表观信息包括颜色、纹理、亮度或光照中的一种或多种。此处仅是对表观信息的举例,本申请实施例不对表观信息的具体内容进行限定。
其中,用户输入的参考风格可以是通过参考风格图像体现,参考风格图像的数目可以是一张,也可以是多张,参考风格图像也可以称为是风格样例图像。用户输入的参考风格也可以是文本信息等,例如,参考风格为红色。
步骤602,确定该子图像中该待迁移目标的轮廓信息。
在本实施例中,AI平台获取到子图像后,使用通用目标检测算法,确定子图像中待迁移目标的轮廓信息。此处通用目标检测算法指能检测图像中任何目标的算法。
步骤603,基于该轮廓信息和参考风格,对该第一图像中该待迁移目标进行风格迁移,获得第二图像,该第二图像与该第一图像的背景区域相同,该背景区域为该第一图像中除该待迁移目标之外的区域。
在本实施例中,对第一图像中待迁移目标进行风格迁移后获得第二图像,第二图像中包括待迁移目标迁移后的结果,但是背景区域没有改变。例如,第一图像中安全帽的颜色为红色,第二图像中安全帽的颜色为白色,背景区域未发生变化。
基于图6所示的流程,从图像中截取包括待迁移目标的子图像,在子图像中,获得待迁移目标的轮廓信息,使用轮廓信息和参考风格,对第一图像中待迁移目标进行风格迁移,获得迁移后的第二图像。例如,参见图7,第一图像包括戴红色安全帽和黄色安全帽的两个人,截取出包括黄色安全帽的子图像和包括红色安全帽的子图像,分别从子图像中,提取到轮廓信息,参考风格图像为包括白色安全帽的图像,然后使用包括白色安全帽的图像和该轮廓信息,对第一图像中的红色安全帽和黄色安全帽进行风格迁移,得到第二图像,第二图像包括戴白色安全帽和白色安全帽的两个人。这样,仅对待迁移目标进行风格迁移,而未对背景区域进行风格迁移,所以获得的第二图像比较真实,数据质量比较好。在图7中仅示出安全帽,未示出人以及背景信息。
下面对图6所示的流程进行说明。
针对步骤601中,有多种方式能够获取第一图像的子图像,如下提供三种可行的方式。
方式一,在第一图像中已经存在待迁移目标的标注信息的情况下,该标注信息包括待迁移目标的选取框的位置信息。AI平台使用该位置信息,在第一图像中截取获得第一图像的子图像。这样,无需用户参与就能获得子图像。
方式二,在存在待迁移目标的检测模型的情况下,AI平台获取该检测模型,将第一图像输入该检测模型,获得第一图像中待迁移目标的选取框的位置信息。AI平台使用该位置信息,在第一图像中截取获得第一图像的子图像。这样,可以使用检测模型直接进行检测,也无需用户参与就能获得子图像。
方式三,用户标注少量包括待迁移目标的样本图像,基于用户标注的样本图像,获得第一图像中该待迁移目标的选取框的位置信息。示例性的,处理过程为;向终端发送无标注的样本图像,该样本图像包括和该待迁移目标同类的目标;接收该终端发送的用户为该样本图像中目标添加的标注信息;基于该样本图像和该标注信息,确定该第一图像中该待迁移目标的选取框的位置信息;基于该选取框的位置信息,从该第一图像中截取获得该子图像。
其中,样本图像可以属于图5所示的目标数据集。
在本实施例中,用户向AI平台上传目标数据集,想对该目标数据集中各图像的待迁移目标进行风格迁移,每个图像中包括的待迁移目标相同,该目标数据集中的各图像无待迁移目标的标注信息,第一图像属于该目标数据集。AI平台向终端发送该目标数据集中的少部分图像,该少部分图像被称为是样本图像,样本图像的数目小于第一阈值,第一阈值可以被设置为50等。用户可以使用用户交互模块101,对少量样本图像进行标注,AI平台获得少量样本图像的标注信息,标注信息包括待迁移目标的选取框的位置信息。
参见图8,提供了两种获得待迁移目标的选取框的位置信息的方式,如图8所示,在一种实现中,AI平台使用样本图像和样本图像的标注信息,通过小样本学习技术,生成目标检测模型。AI平台将第一图像输入至目标检测模型,获得第一图像中待迁移目标的选取框的位置信息。在另一种实现中,AI平台使用公开数据集生成预训练模型,基于预训练模型和样本图像的标注信息,确定第一图像中待迁移目标的选取框的位置信息。
示例性的,基于预训练模型确定选取框的位置信息的方式参见图9,如图9所示,AI平台先基于目标检测的公开数据集(如目标(object,OBJ)365数据集、场景中常见目标(common objects in context,COCO)数据集或Pascal视觉目标分类(visual objectclasses,VOC)数据集等),对基础模型架构进行训练,获得一个预训练模型,由于公开的数据集不包括待迁移目标的类别,所以无法直接使用该预训练模型识别待迁移目标,但是这个预训练模型是经过大量数据训练得到的,所以该预训练模型具备了通用特征提取能力。AI平台使用样本图像的标注信息,在样本图像中截取出包括待迁移目标的子图像,这些子图像组成支撑图像集。AI平台将支撑图像集中的子图像分别输入预训练模型,提取到支撑图像集中每个子图像的特征,并且AI平台将第一图像也输入到预训练模型,提取到第一图像的特征,计算支撑图像集中每个子图像的特征与第一图像的特征的响应值,计算大于响应阈值的响应值的响应区域。若每个子图像与第一图像中大于响应阈值的响应区域为一个,则计算支撑图像集中每个子图像与第一图像中大于响应阈值的区域的并集,将并集的结果确定为待迁移目标的选取框的位置信息。若每个子图像与第一图像中大于响应阈值的响应区域为多个,则使用各响应区域之间的距离,确定属于同一待迁移目标的响应区域,计算属于同一待迁移目标的响应区域的并集,将计算出的多个并集的结果,分别确定为多个待迁移目标的选取框的位置信息。或者,计算支撑图像集中所有子图像的特征的平均特征,计算该平均特征与第一图像的特征的响应值,计算大于响应阈值的响应值的响应区域。将大于响应阈值的响应值的响应区域,确定为待迁移目标的选取框的位置信息。此处,若待迁移目标为多个,则存在多个响应区域。
然后,AI平台在第一图像中,使用该选取框的位置信息,截取出子图像。
在方式三中,用户仅需要标注少量的样本图像,即能对识别出目标数据集中未标注图像中待迁移目标的选取框的位置信息,能够节约人力资源。
针对步骤602中,通用目标检测算法可以是显著性目标检测模型,处理为:对该子图像进行显著性目标检测,获得该子图像中该待迁移目标的轮廓信息。
在本实施例中,AI平台将子图像输入显著性目标检测模型中,显著性目标检测模型会输出子图像中的显著性区域的位置信息,由于子图像中仅包括待迁移目标,所以该显著性区域为待迁移目标所在的区域,这样,由于显著性目标检测模型的检测结果是像素级别的,所以能够准确获取到待迁移目标的轮廓信息。另外,显著性目标检测模型是检测子图像中的显著区域,而非指定目标,所以可以识别到任意目标的轮廓信息,使得本申请实施例中图像风格迁移的通用性比较好。
需要说明的是,本申请实施例不对显著性目标检测模型的具体结构进行限定,例如,显著性目标检测模型为堆叠交叉细化网络(stacked cross refinement network,SCRN)模型。
针对步骤603中,获得第二图像的方式有多种,如下提供两种可行的方式。
方式一,基于该轮廓信息和该参考风格,对该子图像中该待迁移目标进行风格迁移,获得该子图像对应的局部风格迁移图像;将该局部风格迁移图像与该第一图像贴合,获得第二图像。
在本实施例中,参见图10,图10示出了风格迁移的过程,AI平台获取风格迁移模型,将参考风格和子图像输入风格迁移模型,得到一个输出,该输出为子图像对应的风格迁移图像,该风格迁移图像是对子图像整体进行风格迁移,该风格迁移图像可以认为是子图像的全局风格迁移图像。AI平台使用待迁移目标的轮廓信息,确定子图像中除轮廓信息指示的区域之外的区域,将确定出的区域覆盖在该风格迁移图像上,获得该子图像对应的局部风格迁移图像。然后AI平台使用子图像在第一图像中的位置信息,将局部风格迁移图像贴合回第一图像,获得第二图像,该位置信息为待迁移目标的选取框的位置信息。
需要说明的是,待迁移目标的轮廓信息指示的区域可以认为是一个掩膜,在将子图像与风格迁移图像融合时,风格迁移图像中掩膜所覆盖的区域与子图像中除掩膜之外的区域合并,得到局部风格迁移图像。例如,假设子图像为X,掩膜为M,风格迁移图像为Y,局部风格迁移图像Z=X(1-M)+YM。
或者,参见图11,图11示出了另一种风格迁移过程,AI平台使用轮廓信息在子图像中,截取获得待迁移目标的图像。AI平台获取风格迁移模型,将待迁移目标的图像和参考风格输入该风格迁移模型,获得待迁移目标迁移后的图像,使用待迁移目标在子图像中的轮廓信息,将待迁移目标迁移后的图像贴合回子图像中,获得子图像对应的局部风格迁移图像,该局部风格迁移图像中是仅对待迁移目标进行迁移。然后AI平台使用子图像在第一图像中的位置信息,该位置信息为待迁移目标的选取框的位置信息,将局部风格迁移图像贴合回第一图像,获得第二图像。
方式二,AI平台使用待迁移目标的轮廓信息,在第一图像中截取获得待迁移目标的图像。AI平台获取风格迁移模型,将待迁移目标的图像和参考风格输入该风格迁移模型,获得待迁移目标迁移后的图像。AI平台使用待迁移目标在第一图像中的位置信息,将待迁移目标迁移后的图像贴合回第一图像,获得第二图像,该位置信息是使用待迁移目标的选取框的位置信息和待迁移目标的轮廓信息获得。
在一种可能的实现方式中,在使用显著性目标检测模型确定待迁移目标的轮廓信息时,输出的轮廓信息有可能会存在误差,并且在使用风格迁移模型时,风格迁移模型输出的结果也有可能会存在误差,本申请实施例中还可以交互式的让用户对子图像的局部风格迁移图像进行修正处理,处理过程参见图12,如图12所示,向终端发送该局部风格迁移图像;获取该终端发送的用户对该局部风格迁移图像中的发生风格迁移的区域进行修正的像素修正信息,该像素修正信息包括漏检的像素和误检的像素中的至少一种;基于该像素修正信息,对该局部风格迁移图像进行修正,获得更新后的局部风格迁移图像;将更新后的局部风格迁移图像与该第一图像贴合,获得更新后的第二图像。
在本实施例中,AI平台可以向终端发送局部风格迁移图像,并且提供了鼠标点击、画线、语音、触控或其它修正方式。终端显示局部风格迁移图像,并且显示修正方式,用户可以使用该修正方式,在局部风格迁移图像中发生风格迁移的区域选取漏检的像素,并且选取误检的像素,漏检的像素包括原本是待迁移目标的像素点被识别为背景的像素点,误检的像素包括原本是背景的像素点却被识别为待迁移目标的像素点,背景指子图像中除待迁移目标之外的区域。在用户修正完成后,终端向AI平台发送该像素修正信息,AI平台接收该像素修正信息,该像素修正信息包括漏检的像素和误检的像素中的至少一种。
然后AI平台可以使用像素修正信息,对局部风格迁移图像进行修正,获得更新后的局部风格迁移图像。AI平台使用子图像在第一图像中的位置信息,将更新后的局部风格迁移图像贴合回第一图像,获得第二图像,该位置信息为待迁移目标的选取框的位置信息。
示例性的,为了提高用户对局部风格迁移图像的修正效率,可以在局部风格迁移图像对应的置信度低于第二阈值时,给用户提供局部风格迁移图像,处理过程为:获取该局部风格迁移图像的置信度,该置信度是基于该待迁移目标的轮廓信息的置信度和该子图像对应的风格迁移图像的置信度中至少一种获得;在该局部风格迁移图像的置信度低于第二阈值时,向该终端发送该局部风格迁移图像。
在本实施例中,局部风格迁移图像的置信度可以基于第一置信度和第二置信度中至少一种获得,第一置信度为待迁移目标的轮廓信息的置信度,第二置信度为该子图像对应的风格迁移图像的置信度。待迁移目标的轮廓信息可以由显著性目标检测模型输出,也就是说显著性目标检测模型输出待迁移目标的轮廓信息以及第一置信度。风格迁移图像的置信度可以由风格迁移模型输出,也就是说风格迁移模型能够输出风格迁移图像和第二置信度。在一种实现中,由于显著目标检测模型输出的是待迁移目标的轮廓信息,轮廓信息直接关联是否准确识别待迁移目标,所以局部风格迁移图像的置信度可以仅考虑第一置信度。在另一种实现中,由于子图像对应的风格迁移图像也会影响局部风格迁移图像的效果,因此,局部风格迁移图像的置信度可以考虑第一置信度和第二置信度,具体的,可以将第一置信度和第二置信度进行加权,获得局部风格迁移图像的置信度。在实际应用时,由于显著性目标检测模型的检测结果对局部风格迁移图像的影响更大,所以可以设置第一置信度的权重大于第二置信度的权重。在另一种实现中,也可以仅考虑子图像对应的风格迁移图像的置信度,可以将第二置信度确定为局部风格迁移图像的置信度。
AI平台可以判断局部风格迁移图像的置信度是否低于第二阈值,在该置信度低于第二阈值时,AI平台向终端发送局部风格迁移图像。
示例性的,显著性目标检测模型输出的置信度可以基于式(1)的结果获得。
在式(1)中,E(M)表示子图像所在区域的熵值,N为子图像中像素点的数目,vi表示该区域中第i个像素点的数值,该区域各个像素点的数值为0至1之间,且包括0和1,像素点的数值为0时,表示该像素点属于背景区域,像素点的数值为1时,表示该像素点属于待迁移目标,像素点的数值为0.5时,表示显著性目标检测模型对该像素点的识别结果不准确。为了归一化,将小于0.5的数值进行取反操作,即使用1减去数值本身,例如,某个像素点的数值为0.3,取反操作后变为0.7,这样,对于数值小于0.5的像素点的vi为1减去数值本身。此处取反操作可以对不准确的识别结果放大,使得更能准确反映置信度。
显著性目标检测模型输出的置信度与熵值负相关,即熵值越大,置信度越低,熵值越小,置信度越高。例如,显著性目标检测模型输出的置信度等于熵值的倒数。
示例性的,用户可以选择是否修正局部风格图像,处理为:向该终端发送该第二图像;当接收到该终端发送的该第二图像中该待迁移目标的选取指令时,向该终端发送该局部风格迁移图像。
在本实施例中,在AI平台获得第二图像后,可以向终端发送第二图像。终端接收第二图像,显示第二图像,用户可以浏览第二图像,确定待迁移目标的迁移结果是否准确,在认为待迁移目标的迁移结果不准确时,可以通过鼠标在第二图像中选取待迁移目标,终端向AI平台发送待迁移目标的选取指令。AI平台接收待迁移目标的选取指令,向终端发送局部风格迁移图像。
或者,在AI平台获得第二图像后,可以向终端发送第二图像,并且向终端发送待迁移目标的选项,在认为待迁移目标的迁移结果不准确时,可以通过鼠标选取待迁移目标的选项,终端向AI平台发送待迁移目标的选取指令。AI平台接收待迁移目标的选取指令,向终端发送局部风格迁移图像。
另外,AI平台在获取到局部风格迁移图像后,先向用户展示该局部风格迁移图像,在用户对该局部风格迁移图像进行修正后,再与第一图像贴合,获得第一图像最终对应的风格迁移结果。
示例性的,基于像素修正信息获得更新后的局部风格迁移图像的处理为:基于该像素修正信息,更新该待迁移目标的轮廓信息,获得更新后的轮廓信息;基于该更新后的轮廓信息,对该子图像对应的全局风格迁移图像和该子图像进行融合处理,获得更新后的局部风格迁移图像。
在本实施例中,像素修正信息包括漏检的像素和误检的像素中的至少一种,AI平台可以使用距离函数更新待迁移目标的轮廓信息。距离函数的表达式为:
d(p1,p2)=(r1-r2)2+(g1-g2)2+(b1-b2)2+(x1-x2)2+(y1-y2)2 (2)
在式(2)中,d(p1,p2)表示像素点p1与像素点p2之间的距离,r1、g1和b1分别表示像素点p1的红色像素值、绿色像素值和蓝色像素值,r2、g2和b2分别表示像素点p2的红色像素值、绿色像素值和蓝色像素值,(x1,y1)表示像素点p1在子图像中的位置坐标,(x2,y2)表示像素点p2在子图像中的位置坐标。式(2)是距离函数的一种可能表达式,本申请实施例对此不进行限定,如距离函数的表达式还可以为:
若像素点p1属于用户选取的漏检像素,则像素点p2为子图像中属于背景区域的像素点,确定像素点p1与像素点p2之间的距离d(p1,p2),判断该距离是否小于第一阈值。若该距离小于第一阈值,则将该像素点p2修正为漏检的像素点,若该距离大于或等于第一阈值,则不修正像素点p2。这样,能够确定出子图像中漏检的像素点,将漏检的像素点确定为属于待迁移目标。
若像素点p1属于用户选取的误检像素,则像素点p2为子图像中属于前景区域的像素点,确定像素点p1与像素点p2之间的距离d(p1,p2),判断该距离是否小于第二阈值。若该距离小于第二阈值,则将该像素点p2修正为误检的像素点,若该距离大于或等于第二阈值,则不修正像素点p2。这样,能够确定出子图像中误检的像素点,将误检的像素点确定为属于背景区域。
这样,基于距离函数修正子图像中像素点所属的类别后,将属于待迁移目标的像素点组成的区域的轮廓,确定为更新后的轮廓信息。然后AI平台使用更新后的轮廓信息,确定子图像中除轮廓信息指示的区域之外的区域,将子图像中除轮廓信息指示的区域之外的区域覆盖在全局风格迁移图像上,获得该子图像对应的局部风格迁移图像。然后AI平台使用子图像在第一图像中的位置信息,将局部风格迁移图像贴合回第一图像,获得更新后的第二图像。
示例性的,为了使得更新后的轮廓信息更准确,在确定出更新后的轮廓信息后,可以向终端发送更新后的轮廓信息。参见图12,若用户确定更新后的轮廓信息准确,则基于该轮廓信息,更新第二图像,更新流程在上一段有说明。若用户确定更新后的轮廓信息不准确,则继续进行像素修正,AI平台继续获得像素修正信息,重复执行基于距离函数更新待迁移目标的轮廓信息的处理,直到用户确定更新后的轮廓信息准确。
这样,本申请实施例中提供了交互式的像素修正处理,使得风格迁移后的图像更准确。
另外,在获取到多个更新后的轮廓信息后,可以对显著性目标检测模型进行更新。
本申请实施例中,在获取到风格迁移后的图像后,可以有多种应用场景,本申请实施例对该应用场景不做限定,例如,优化AI模型,再例如,对风格迁移后的图像进行艺术化的效果展示。
本申请示例性的给出一种可能的应用场景:使用风格迁移后的图像对AI模型进行更新,使得更新后的AI模型能够对风格迁移后的图像也能进行检测或者识别。处理为:
基于该第二图像,对目标AI模型进行更新,获得更新后的AI模型;其中,目标AI模型用于对第一图像中的待迁移目标进行检测或识别,更新后的AI模型用于对第二图像中风格迁移后的待迁移目标进行检测或识别。
在本实施例中,AI平台获取目标AI模型,该目标AI模型是基于目标数据集训练获得。AI平台使用第二图像对目标AI模型进行更新,获得更新后的AI模型。更新后的AI模型可以对第二图像中的发生风格变换后的目标进行检测或者识别。
本申请示例性的给出另一种可能的应用场景:使用风格迁移后的图像和目标数据集对目标AI模型进行更新,使得更新后的AI模型能够对风格迁移后的目标和风格迁移前的目标进行检测或者识别。处理为:
AI平台获取目标AI模型,该目标AI模型是基于目标数据集训练获得。将第二图像和目标数据集组成一个新的数据集,使用该新的数据集对该目标AI模型进行更新,获得更新后的AI模型,使得更新的AI模型能够对风格迁移前的目标和风格迁移后的目标进行检测或者识别。这样,可以使得AI模型更好地适应于风格迁移后的图像的场景,同时也不会影响在原来目标数据集的场景下的表现。
需要说明的是,为了获取到更准确的AI模型,可以在获取到多个风格迁移后的图像后,更新目标AI模型,多个风格迁移后的图像包括的目标与第一图像中包括的目标相同。参见图13,提供了更新AI模型的过程,如图13所示,将目标数据集中的图像经过风格迁移后,得到多个风格迁移后的图像,基于目标数据集和多个风格迁移后的图像,更新目标AI模型,获得更新后的AI模型,更新后的AI模型既能应用于目标数据集,也能应用于风格迁移后的图像。此处在更新AI模型时,还可以同时使用对第一图像整体进行风格迁移后的图像。并且在更新AI模型时,可以使用更新后的第二图像,也可以使用更新前的第二图像。
这样,仅采用场景下少量的参考风格图像,就能获得该场景下多个图像,使用该多个图像更新AI模型,能够使得AI模型适配该场景。而且采用不同场景的风格图像,对AI模型进行更新,能够提高AI模型在不同场景下的泛化能力。
例如,在红外场景中,头肩和车辆目标检测模型的效果增益参见表一,使用RGB图像训练得到的模型,对RGB测试集的检测准确率为88.5%,在红外测试集的检测准确率为79.29%。在使用RGB图像和多张风格迁移后的红外图像更新模型后,对RGB测试集的检测准确率为88.3%,对红外测试集的检测准确率增加至83.53%。
表一
再例如,在夜晚场景中,车辆目标检测模型的效果增益参见表二,使用白天图像训练得到的模型,对白天图像测试集的检测准确率为93.36%,在夜晚图像测试集的检测准确率为72.14%。在使用白天图像和多张风格迁移后的夜晚图像更新模型后,对白天图像测试集的检测准确率为93.63%,对夜晚图像测试集的检测准确率增加至75.76%。
表二
再例如,在安全帽检测任务,安全帽目标检测模型的效果增益参见表三,使用非蓝色安全帽图像训练得到的模型,对安全帽综合测试集的检测准确率为61.1%,在蓝色安全帽测试集的检测准确率为58.61%。在使用非蓝色安全帽图像和多张风格迁移后的蓝色安全帽图像更新模型后,对安全帽综合测试集的检测准确率为62.2%,对蓝色安全帽测试集的检测准确率增加至63.35%。安全帽综合测试集包括除蓝色之外颜色的安全帽。
表三
本申请实施例中,通过用户的选择操作,可以选择进行全局风格迁移处理,也可以选择进行局部风格迁移处理。而且采用通用目标检测算法,可以对精细化的局部区域进行风格迁移,提升生成的数据的质量。而且通用目标检测算法是用于检测显著性的目标,与具体目标的类别不相关,因此可以适用于通用的目标的检测,泛化性比较强。
另外,本申请实施例中,采用人机交互协同的机制,更灵活地适应用户在使用时的需求。一方面,用户可以通过交互式的方式自定义期望风格迁移的区域,同时可以交互式选取少量样本图像,基于少量样本图像,完成对大量图像的目标的自定选定,节约人力资源。另一方面,对于识别有误的像素点,通过人机协同方式,可以对识别有误的像素点进行修正。
下面描述本申请实施例提供的装置。
图14是本申请实施例提供的数据生成的装置的结构图。该装置可以通过软件、硬件或者两者的结合实现成为装置中的部分或者全部。本申请实施例提供的装置可以实现本申请实施例图6所述的流程,该装置包括:用户交互模块101、确定模块102和风格迁移模块103,其中:
用户交互模块101,用于获取第一图像的子图像,所述子图像包括所述第一图像中截取的待迁移目标,具体可以用于实现步骤601的交互功能以及执行步骤601包含的隐含步骤;
确定模块102,用于确定所述子图像中所述待迁移目标的轮廓信息,具体可以用于实现步骤602的确定功能以及执行步骤602包含的隐含步骤;
风格迁移模块103,用于基于所述轮廓信息和参考风格,对所述第一图像中所述待迁移目标进行风格迁移,获得第二图像,所述第二图像与所述第一图像的背景区域相同,所述背景区域为所述第一图像中除所述待迁移目标之外的区域,具体可以用于实现步骤603的风格迁移功能以及执行步骤603包含的隐含步骤。
在一种可能的实现方式中,所述参考风格指示所述待迁移目标进行风格迁移后的表观信息,所述表观信息包括颜色、纹理、亮度或光照中的一种或多种。
在一种可能的实现方式中,所述用户交互模块101,用于:
向终端发送无标注的样本图像,所述样本图像包括和所述待迁移目标同类的目标;
接收所述终端发送的用户为所述样本图像中目标添加的标注信息;
基于所述样本图像和所述标注信息,确定所述第一图像中所述待迁移目标的选取框的位置信息;
基于所述选取框的位置信息,从所述第一图像中截取获得所述子图像。
在一种可能的实现方式中,所述确定模块102,用于:
对所述子图像进行显著性目标检测,获得所述子图像中所述待迁移目标的轮廓信息。
在一种可能的实现方式中,所述风格迁移模块103,用于:
基于所述轮廓信息和所述参考风格,对所述子图像中所述待迁移目标进行风格迁移,获得所述子图像对应的局部风格迁移图像;
将所述局部风格迁移图像与所述第一图像贴合,获得第二图像。
在一种可能的实现方式中,所述风格迁移模块103,用于:
基于所述参考风格,对所述子图像进行风格迁移,获得所述子图像对应的风格迁移图像;
基于所述轮廓信息,对所述子图像对应的风格迁移图像和所述子图像进行融合处理,获得所述子图像对应的局部风格迁移图像,其中,所述局部风格迁移图像中所述轮廓信息指示的区域发生了风格迁移。
在一种可能的实现方式中,所述用户交互模块101,还用于:
向终端发送所述局部风格迁移图像;
获取所述终端发送的用户对所述局部风格迁移图像中的发生风格迁移的区域进行修正的像素修正信息,所述像素修正信息包括漏检的像素和误检的像素中的至少一种;
所述风格迁移模块103,还用于:
基于所述像素修正信息,对所述局部风格迁移图像进行修正,获得更新后的局部风格迁移图像;
将更新后的局部风格迁移图像与所述第一图像贴合,获得更新后的第二图像。
在一种可能的实现方式中,所述风格迁移模块103,还用于:
基于所述像素修正信息,更新所述待迁移目标的轮廓信息,获得更新后的轮廓信息;
基于所述更新后的轮廓信息,对所述子图像对应的风格迁移图像和所述子图像进行融合处理,获得更新后的局部风格迁移图像。
在一种可能的实现方式中,所述用户交互模块101,还用于:
获取所述局部风格迁移图像的置信度,所述置信度是基于所述待迁移目标的轮廓信息的置信度和所述子图像对应的风格迁移图像的置信度中至少一种获得;
确定所述局部风格迁移图像的置信度低于第二阈值,向所述终端发送所述局部风格迁移图像。
在一种可能的实现方式中,所述用户交互模块101,还用于:
向所述终端发送所述第二图像;
当接收到所述终端发送的所述第二图像中所述待迁移目标的选取指令时,向所述终端发送所述局部风格迁移图像。
图14所示的数据生成的装置进行数据生成的详细过程请参照前面各个实施例中的描述,在这里不进行重复说明。图14所示的数据生成的装置可以是AI平台100。
在一些实施例中,提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行图6所示的流程。
本领域普通技术人员可以意识到,结合本申请中所公开的实施例中描述的各方法步骤和单元,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统架构、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或模块的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
该作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请实施例方案的目的。
另外,在本申请各个实施例中的各模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件模块的形式实现。
该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例中方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。还应理解,尽管以下描述使用术语第一、第二等来描述各种元素,但这些元素不应受术语的限制。这些术语只是用于将一元素与另一元素区别分开。例如,在不脱离各种示例的范围的情况下,第一图像可以被称为第二图像,并且类似地,第二图像可以被称为第一图像。第一图像和第二图像都可以是图像,并且在某些情况下,可以是单独且不同的图像。
本申请中术语“至少一个”的含义是指一个或多个,本申请中术语“多个”的含义是指两个或两个以上。
以上描述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (22)
1.一种数据生成的方法,其特征在于,所述方法包括:
获取第一图像的子图像,所述子图像包括所述第一图像中截取的待迁移目标;
确定所述子图像中所述待迁移目标的轮廓信息;
基于所述轮廓信息和参考风格,对所述第一图像中所述待迁移目标进行风格迁移,获得第二图像,所述第二图像与所述第一图像的背景区域相同,所述背景区域为所述第一图像中除所述待迁移目标之外的区域。
2.根据权利要求1所述的方法,其特征在于,所述参考风格指示所述待迁移目标进行风格迁移后的表观信息,所述表观信息包括颜色、纹理、亮度或光照中的一种或多种。
3.根据权利要求1或2所述的方法,其特征在于,所述获取第一图像的子图像,包括:
向终端发送无标注的样本图像,所述样本图像包括和所述待迁移目标同类的目标;
接收所述终端发送的用户为所述样本图像中目标添加的标注信息;
基于所述样本图像和所述标注信息,确定所述第一图像中所述待迁移目标的选取框的位置信息;
基于所述选取框的位置信息,从所述第一图像中截取获得所述子图像。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述确定所述子图像中所述待迁移目标的轮廓信息,包括:
对所述子图像进行显著性目标检测,获得所述子图像中所述待迁移目标的轮廓信息。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于所述轮廓信息和参考风格,对所述第一图像中所述待迁移目标进行风格迁移,获得第二图像,包括:
基于所述轮廓信息和所述参考风格,对所述子图像中所述待迁移目标进行风格迁移,获得所述子图像对应的局部风格迁移图像;
将所述局部风格迁移图像与所述第一图像贴合,获得第二图像。
6.根据权利要求5所述的方法,其特征在于,所述基于所述轮廓信息和所述参考风格,对所述子图像中所述待迁移目标进行风格迁移,获得所述子图像对应的局部风格迁移图像,包括:
基于所述参考风格,对所述子图像进行风格迁移,获得所述子图像对应的风格迁移图像;
基于所述轮廓信息,对所述子图像对应的风格迁移图像和所述子图像进行融合处理,获得所述子图像对应的局部风格迁移图像,其中,所述局部风格迁移图像中所述轮廓信息指示的区域发生了风格迁移。
7.根据权利要求5或6所述的方法,其特征在于,所述方法还包括:
向终端发送所述局部风格迁移图像;
获取所述终端发送的用户对所述局部风格迁移图像中的发生风格迁移的区域进行修正的像素修正信息,所述像素修正信息包括漏检的像素和误检的像素中的至少一种;
基于所述像素修正信息,对所述局部风格迁移图像进行修正,获得更新后的局部风格迁移图像;
将更新后的局部风格迁移图像与所述第一图像贴合,获得更新后的第二图像。
8.根据权利要求7所述的方法,其特征在于,所述基于所述像素修正信息,对所述局部风格迁移图像进行修正,获得更新后的局部风格迁移图像,包括:
基于所述像素修正信息,更新所述待迁移目标的轮廓信息,获得更新后的轮廓信息;
基于所述更新后的轮廓信息,对所述子图像对应的风格迁移图像和所述子图像进行融合处理,获得更新后的局部风格迁移图像。
9.根据权利要求7或8所述的方法,其特征在于,所述向终端发送所述局部风格迁移图像,包括:
获取所述局部风格迁移图像的置信度,所述置信度是基于所述待迁移目标的轮廓信息的置信度和所述子图像对应的风格迁移图像的置信度中至少一种获得;
确定所述局部风格迁移图像的置信度低于第二阈值,向所述终端发送所述局部风格迁移图像。
10.根据权利要求7或8所述的方法,其特征在于,所述向终端发送所述局部风格迁移图像,包括:
向所述终端发送所述第二图像;
当接收到所述终端发送的所述第二图像中所述待迁移目标的选取指令时,向所述终端发送所述局部风格迁移图像。
11.一种数据生成的装置,其特征在于,所述装置包括:
用户交互模块,用于获取第一图像的子图像,所述子图像包括所述第一图像中截取的待迁移目标;
确定模块,用于确定所述子图像中所述待迁移目标的轮廓信息;
风格迁移模块,用于基于所述轮廓信息和参考风格,对所述第一图像中所述待迁移目标进行风格迁移,获得第二图像,所述第二图像与所述第一图像的背景区域相同,所述背景区域为所述第一图像中除所述待迁移目标之外的区域。
12.根据权利要求11所述的装置,其特征在于,所述参考风格指示所述待迁移目标进行风格迁移后的表观信息,所述表观信息包括颜色、纹理、亮度或光照中的一种或多种。
13.根据权利要求11或12所述的装置,其特征在于,所述用户交互模块,用于:
向终端发送无标注的样本图像,所述样本图像包括和所述待迁移目标同类的目标;
接收所述终端发送的用户为所述样本图像中目标添加的标注信息;
基于所述样本图像和所述标注信息,确定所述第一图像中所述待迁移目标的选取框的位置信息;
基于所述选取框的位置信息,从所述第一图像中截取获得所述子图像。
14.根据权利要求11至13任一项所述的装置,其特征在于,所述确定模块,用于:
对所述子图像进行显著性目标检测,获得所述子图像中所述待迁移目标的轮廓信息。
15.根据权利要求11至14任一项所述的装置,其特征在于,所述风格迁移模块,用于:
基于所述轮廓信息和所述参考风格,对所述子图像中所述待迁移目标进行风格迁移,获得所述子图像对应的局部风格迁移图像;
将所述局部风格迁移图像与所述第一图像贴合,获得第二图像。
16.根据权利要求15所述的装置,其特征在于,所述风格迁移模块,用于:
基于所述参考风格,对所述子图像进行风格迁移,获得所述子图像对应的风格迁移图像;
基于所述轮廓信息,对所述子图像对应的风格迁移图像和所述子图像进行融合处理,获得所述子图像对应的局部风格迁移图像,其中,所述局部风格迁移图像中所述轮廓信息指示的区域发生了风格迁移。
17.根据权利要求15或16所述的装置,其特征在于,所述用户交互模块,还用于:
向终端发送所述局部风格迁移图像;
获取所述终端发送的用户对所述局部风格迁移图像中的发生风格迁移的区域进行修正的像素修正信息,所述像素修正信息包括漏检的像素和误检的像素中的至少一种;
所述风格迁移模块,还用于:
基于所述像素修正信息,对所述局部风格迁移图像进行修正,获得更新后的局部风格迁移图像;
将更新后的局部风格迁移图像与所述第一图像贴合,获得更新后的第二图像。
18.根据权利要求17所述的装置,其特征在于,所述风格迁移模块,还用于:
基于所述像素修正信息,更新所述待迁移目标的轮廓信息,获得更新后的轮廓信息;
基于所述更新后的轮廓信息,对所述子图像对应的风格迁移图像和所述子图像进行融合处理,获得更新后的局部风格迁移图像。
19.根据权利要求17或18所述的装置,其特征在于,所述用户交互模块,还用于:
获取所述局部风格迁移图像的置信度,所述置信度是基于所述待迁移目标的轮廓信息的置信度和所述子图像对应的风格迁移图像的置信度中至少一种获得;
确定所述局部风格迁移图像的置信度低于第二阈值,向所述终端发送所述局部风格迁移图像。
20.根据权利要求17或18所述的装置,其特征在于,所述用户交互模块,还用于:
向所述终端发送所述第二图像;
当接收到所述终端发送的所述第二图像中所述待迁移目标的选取指令时,向所述终端发送所述局部风格迁移图像。
21.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机指令,所述处理器用于执行所述计算机指令,使得所述计算机设备执行如权利要求1至10中任一项所述的方法。
22.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条计算机指令,所述计算机指令由处理器读取以使计算机设备执行如权利要求1至10中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210128358.7A CN116630139A (zh) | 2022-02-11 | 2022-02-11 | 数据生成的方法、装置、设备和存储介质 |
PCT/CN2022/124962 WO2023151299A1 (zh) | 2022-02-11 | 2022-10-12 | 数据生成的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210128358.7A CN116630139A (zh) | 2022-02-11 | 2022-02-11 | 数据生成的方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116630139A true CN116630139A (zh) | 2023-08-22 |
Family
ID=87563542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210128358.7A Pending CN116630139A (zh) | 2022-02-11 | 2022-02-11 | 数据生成的方法、装置、设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116630139A (zh) |
WO (1) | WO2023151299A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117078790B (zh) * | 2023-10-13 | 2024-03-29 | 腾讯科技(深圳)有限公司 | 图像生成方法、装置、计算机设备和存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020125505A1 (en) * | 2018-12-21 | 2020-06-25 | Land And Fields Limited | Image processing system |
CN111210487A (zh) * | 2020-02-28 | 2020-05-29 | 深圳壹账通智能科技有限公司 | 图案生成方法和系统 |
CN111768335B (zh) * | 2020-07-02 | 2023-08-04 | 北京工商大学 | 一种基于cnn的用户交互式图像局部服饰风格迁移方法 |
CN113160033B (zh) * | 2020-12-28 | 2023-04-28 | 武汉纺织大学 | 服装风格迁移系统与方法 |
-
2022
- 2022-02-11 CN CN202210128358.7A patent/CN116630139A/zh active Pending
- 2022-10-12 WO PCT/CN2022/124962 patent/WO2023151299A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023151299A1 (zh) | 2023-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109508681B (zh) | 生成人体关键点检测模型的方法和装置 | |
US9396560B2 (en) | Image-based color palette generation | |
US9741137B2 (en) | Image-based color palette generation | |
CN110662484B (zh) | 用于全身测量结果提取的系统和方法 | |
US9245350B1 (en) | Image-based color palette generation | |
US10049308B1 (en) | Synthesizing training data | |
US9311889B1 (en) | Image-based color palette generation | |
WO2017193906A1 (zh) | 一种图像处理方法及处理系统 | |
CN110163076A (zh) | 一种图像数据处理方法和相关装置 | |
WO2021164550A1 (zh) | 图像分类方法及装置 | |
CN107506792B (zh) | 一种半监督的显著对象检测方法 | |
CN111259957A (zh) | 基于深度学习的能见度监测和模型训练方法、装置、终端及介质 | |
US20230087489A1 (en) | Image processing method and apparatus, device, and storage medium | |
WO2023151299A1 (zh) | 数据生成的方法、装置、设备和存储介质 | |
CN110390724A (zh) | 一种带有实例分割的slam方法 | |
CN113763440A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
CN113052923A (zh) | 色调映射方法、装置、电子设备和存储介质 | |
CN112734900A (zh) | 阴影贴图的烘焙方法、装置、设备及计算机可读存储介质 | |
CN111107264A (zh) | 图像处理方法、装置、存储介质以及终端 | |
WO2023133285A1 (en) | Anti-aliasing of object borders with alpha blending of multiple segmented 3d surfaces | |
WO2023272495A1 (zh) | 徽标标注方法及装置、徽标检测模型更新方法及系统、存储介质 | |
CN106469437B (zh) | 图像处理方法和图像处理装置 | |
CN113191462A (zh) | 信息获取方法、图像处理方法、装置及电子设备 | |
CN117689782B (zh) | 一种生成海报图像的方法、装置、设备及存储介质 | |
CN116051723B (zh) | 集束调整方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |