CN116342377A - 一种降质场景下伪装目标图像自适应生成方法与系统 - Google Patents
一种降质场景下伪装目标图像自适应生成方法与系统 Download PDFInfo
- Publication number
- CN116342377A CN116342377A CN202310311811.2A CN202310311811A CN116342377A CN 116342377 A CN116342377 A CN 116342377A CN 202310311811 A CN202310311811 A CN 202310311811A CN 116342377 A CN116342377 A CN 116342377A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- target image
- camouflage
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 63
- 238000005286 illumination Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims description 40
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 description 22
- 238000003786 synthesis reaction Methods 0.000 description 22
- 239000002131 composite material Substances 0.000 description 14
- 238000001514 detection method Methods 0.000 description 14
- 238000013508 migration Methods 0.000 description 13
- 230000005012 migration Effects 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000238366 Cephalopoda Species 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010367 cloning Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开一种降质场景下伪装目标图像自适应生成方法与系统，涉及图像处理技术领域。所述方法包括：通过去除第一图像的背景图像，提取所述第一图像中表征第一目标的目标图像；将所述目标图像与第二图像进行融合，以获取融合图像，所述融合具体包括：确定所述第一目标在所述第二图像中的摆放位置，在所述摆放位置处融合所述目标图像和所述第二图像，以得到初步融合图像；为所述初步融合图像添加与所述第二图像相似的表观特征和光照特征，基于所述目标图像和所述第二图像的差异生成阴影投影；获取所述第二图像的风格特征，将所述风格特征迁移至所述融合图像中的目标图像，从而得到伪装目标图像。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种降质场景下伪装目标图像自适应生成方法与系统。
背景技术
深度学习依赖大数据，通过大量的数据训练机器学习，使机器具有精准辨识能力。在图像识别领域，一个大规模数据集中，机器识别准确度是要略微超过人类。机器掌握了人类的识别图像的认知和相应的规律，因此，大数据对人工智能的发展和应用非常重要。但是，在实际场景应用中，尤其实在降质环境下大规模数据集难以获取，样本受限，为了有效发挥人工智能在目标识别领域的优势，有效利用现有的大量公开的野外环境图像、目标装备图像和强大的预训练模型，借助显著性检测算法自动获取前景物体，再将目标与背景摆放、融合、和谐化、阴影生成实现目标和背景图像的合成，最后学习背景图像的伪装风格，实现自适应多样伪装目标生成。
显著性检测旨在定位图像中的重要区域或对象，类似于人类视觉系统中的选择过程。人类能够快速将注意力分配到视觉场景中的重要区域。理解和建模这种惊人的能力，即视觉注意力或视觉显著性，是心理学、神经生物学、认知科学和计算机视觉的基础研究问题。显著对象检测(Salient Object Detection,SOD)旨在突出图像中视觉上的显著对象区域，“视觉显著性”主要是指吸引人类注意力的物体和区域。在计算机视觉中，SOD广泛应用于图像理解、对象检测、无监督视频对象分割、语义分割、人员重新识别和视频摘要等。在计算机图形学中，SOD在非真实感渲染、图像裁剪和图像重定向等任务中也起着至关重要的作用。受益于SOD，机器人技术中的人机交互和对象发现也以获得更好的场景理解。
随着深度学习技术在计算机视觉领域的巨大成功，越来越多的基于深度学习的SOD方法被研究。不同于早期的深度SOD模型利用多层感知器分类器来预测从每个图像中提取的深度特征的显著性分数处理单元，基于全卷积网络的模型更加有效和高效，逐渐成为了主流的SOD架构。
图像合成是指将感兴趣的内容(Content of Interest,COI)合成为另一幅图像的过程，由于其创造性的语义交互，在相当多的领域得到了广泛的应用。例如，在电影制作和摄影中，通过合成技术创造了大量令人惊叹的图像或视频。在学术领域，图像合成为图像复原、图像增强等计算机视觉领域提供理论支持。具体而言，图像合成是从目标图像裁剪前景区域并将其粘贴到背景图像中，以生成从不同图像分解的内容和样式的协调。其中，内容为整体空间结构，如边缘、形状等；而样式为图像的局部外观，如颜色、纹理、亮度等。图像合成模型可以生成更多样化的图像，进而有效增加样本图像的数量。
根据图像合成的基本模块，合成模型可以分为基于抠图和基于克隆的合成模型。基于抠图的合成方法生成合适的抠图来表示COI，然后通过线性像素插值将COI合成到目标图像中。基于抠图的合成模型旨在使用抠图函数计算将COI合成到目标图像中。基于克隆的图像合成算法旨在减少COI与目标图像之间的梯度差异，然后可以将COI克隆到已建立的目标位置。相比于基于抠图的方法，基于克隆的合成模型计算简单，对COI边界要求不高，合成结果通常更自然。
在计算机视觉领域，风格迁移通常作为纹理合成的一个广义问题来研究，即从源到目标的纹理提取和迁移。传统方法通过从提供的非风格化和风格化图像对中学习变换函数实现风格迁移。然而，这些方法通常只使用低级图像特征，无法有效地捕获图像结构。最近，受到卷积神经网络(Convolutional Neural Networks,CNN)在计算机视觉领域的启发，相关研究使用预先训练的CNN模型提取照片的内容特征，并进一步将特定的风格建模为特征统计。
风格迁移是将一种风格从一幅图像迁移到另一幅图像，与纹理合成密切相关。这两个任务背后的核心问题都是对参考图像(纹理或样式图像)的统计信息进行建模，从而可以在某些约束下对其进行进一步采样。对于纹理合成，约束条件是两个相邻样本之间的边界必须平滑过渡，而对于样式转换，约束条件是样本应该与内容图像的局部结构相匹配。理想情况下，风格转移算法应该能够从目标图像中提取和表示语义图像内容，然后以背景图像的风格呈现内容。要自动风格转换，第一个也是最重要的问题是如何从图像中建模和提取风格。由于风格与纹理密切相关，一种直接的方法是将视觉风格建模与先前充分研究的视觉纹理建模方法联系起来。在获得风格表示之后，下一个问题是如何在保留其内容的同时重建具有所需风格信息的图像，这是由图像重建技术解决的。一般来说，无论使用哪种图像合成算法，都需要大量的人工操作来选择COI区域并确定合成位置。这种复杂的过程不仅对用户的技术和审美要求很高，而且耗费操作时间和人力资源。这些原因导致难以快速和定量地实现自适应多样性图像合成。另一方面，基于卷积神经网络的图像风格迁移方法主要将一幅图像的全部语义内容用另一幅图像的风格纹理进行表示，改变目标图像的整体艺术风格，缺少针对图像中特定物体的风格变换。
发明内容
针对上述技术问题，本发明提出一种降质场景下伪装目标图像自适应生成方案。
本发明第一方面公开了一种降质场景下伪装目标图像自适应生成方法。所述方法包括：步骤S1、通过去除第一图像的背景图像，提取所述第一图像中表征第一目标的目标图像；步骤S2、将所述目标图像与第二图像进行融合，以获取融合图像，所述融合具体包括：确定所述第一目标在所述第二图像中的摆放位置，在所述摆放位置处融合所述目标图像和所述第二图像，以得到初步融合图像；为所述初步融合图像添加与所述第二图像相似的表观特征和光照特征，基于所述目标图像和所述第二图像的差异生成阴影投影；步骤S3、获取所述第二图像的风格特征，将所述风格特征迁移至所述融合图像中的目标图像，从而得到伪装目标图像。
根据第一方面的方法，在所述步骤S1中，利用显著性目标监测模型建模所述第一图像中每个像素点的显著性特征，并基于所述显著性特征提取出所述第一图像中的第一目标，逐像素预测所述第一目标的掩膜，将所述掩膜与所述第一图像相乘，得到所述目标图像。
根据第一方面的方法，在所述步骤S2中：将所述目标图像和所述第二图像作为空间变换网络的输入，由所述空间变换网络中的估计网络预测几何变换矩阵；利用所述几何变换矩阵对所述目标图像进行变换，得到经变换后的目标图像中各个像素点的位置坐标，作为所述第一目标在所述第二图像中的所述摆放位置；基于所述摆放位置将所述经变换后的目标图像置于所述第二图像中，以得到初步融合图像。
根据第一方面的方法，在所述步骤S2中：所述表观特征包括边缘和纹理特征，在保持所述初步融合图像中的第二图像的变化低于阈值的情况下，为所述初步融合图像中的目标图像添加所述边缘和纹理特征；所述光照特征包括颜色和光照特征，对所述初步融合图像中的目标图像进行颜色变换以匹配所述初步融合图像中的目标图像与所述初步融合图像中的第二图像之间的低水平颜色统计；提取所述初步融合图像中的第二图像的背景光照信息，基于所述背景照明信息，以渲染的方式为所述初步融合图像中的目标图像包含的第一目标添加阴影。
本发明第二方面公开了一种降质场景下伪装目标图像自适应生成系统；所述系统包括：第一处理单元，被配置为：通过去除第一图像的背景图像，提取所述第一图像中表征第一目标的目标图像；第二处理单元，被配置为：将所述目标图像与第二图像进行融合，以获取融合图像，所述融合具体包括：确定所述第一目标在所述第二图像中的摆放位置，在所述摆放位置处融合所述目标图像和所述第二图像，以得到初步融合图像；为所述初步融合图像添加与所述第二图像相似的表观特征和光照特征，基于所述目标图像和所述第二图像的差异生成阴影投影；第三处理单元，被配置为：获取所述第二图像的风格特征，将所述风格特征迁移至所述融合图像中的目标图像，从而得到伪装目标图像。
根据第二方面的系统，所述第一处理单元具体被配置为：利用显著性目标监测模型建模所述第一图像中每个像素点的显著性特征，并基于所述显著性特征提取出所述第一图像中的第一目标，逐像素预测所述第一目标的掩膜，将所述掩膜与所述第一图像相乘，得到所述目标图像。
根据第二方面的系统，所述第二处理单元具体被配置为：将所述目标图像和所述第二图像作为空间变换网络的输入，由所述空间变换网络中的估计网络预测几何变换矩阵；利用所述几何变换矩阵对所述目标图像进行变换，得到经变换后的目标图像中各个像素点的位置坐标，作为所述第一目标在所述第二图像中的所述摆放位置；基于所述摆放位置将所述经变换后的目标图像置于所述第二图像中，以得到初步融合图像。
根据第二方面的系统，所述第二处理单元具体被配置为：所述表观特征包括边缘和纹理特征，在保持所述初步融合图像中的第二图像的变化低于阈值的情况下，为所述初步融合图像中的目标图像添加所述边缘和纹理特征；所述光照特征包括颜色和光照特征，对所述初步融合图像中的目标图像进行颜色变换以匹配所述初步融合图像中的目标图像与所述初步融合图像中的第二图像之间的低水平颜色统计；提取所述初步融合图像中的第二图像的背景光照信息，基于所述背景照明信息，以渲染的方式为所述初步融合图像中的目标图像包含的第一目标添加阴影。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种降质场景下伪装目标图像自适应生成方法中的步骤。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种降质场景下伪装目标图像自适应生成方法中的步骤。
综上，本发明提供的技术方案在样本受限的降质环境下，利用现有的大量公开的野外环境图像和目标装备图像，使用图像合成和风格迁移学习方法自适应生成多样伪装图像；使用显著性目标检测方法自适应提取前景目标，减少手工操作，实现快速和定量地捕获目标；借助图像合成技术优势，通过前景目标和背景图像的摆放、融合、和谐化和阴影生成，合成的伪装图像高度保留了真实的目标结构信息，使得合成的伪装目标图像在几何空间和语义空间上更加真实；基于生成对抗网络的风格迁移学习有效建模伪装风格，在保证内容真实情况下，可以生成多样化伪装目标图像。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的伪装目标图像自适应生成的流程示意图；
图2为根据本发明实施例的图像融合的流程示意图；
图3为根据本发明实施例的风格迁移的流程示意图；
图4为根据本发明实施例的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近年来，显著性目标检测技术(Salient Object Detection,SOD)可以有效地从图像中分割出视觉显著物体，在图像编辑、图像质量评价和机器人视觉中有着重要应用。因此，本发明首先使用SOD技术自适应地从目标图像提取出显著物体掩模，接着将前景和背景图像合成，然后从背景图像中学习伪装风格变换，最终实现自适应多样化伪装目标图像合成。
本发明第一方面公开了一种降质场景下伪装目标图像自适应生成方法。图1为根据本发明实施例的伪装目标图像自适应生成的流程图；结合图1所示，所述方法包括：步骤S1、通过去除第一图像的背景图像，提取所述第一图像中表征第一目标的目标图像；步骤S2、将所述目标图像与第二图像进行融合，以获取融合图像，所述融合具体包括：确定所述第一目标在所述第二图像中的摆放位置，在所述摆放位置处融合所述目标图像和所述第二图像，以得到初步融合图像；为所述初步融合图像添加与所述第二图像相似的表观特征和光照特征，基于所述目标图像和所述第二图像的差异生成阴影投影；步骤S3、获取所述第二图像的风格特征，将所述风格特征迁移至所述融合图像中的目标图像，从而得到伪装目标图像。具体地，本发明主要包含三个部分，分别为：自适应显著目标提取、基于目标克隆的图像合成，基于风格变换的伪装目标图像生成。
在一些实施例中，在所述步骤S1中，利用显著性目标监测模型建模所述第一图像中每个像素点的显著性特征，并基于所述显著性特征提取出所述第一图像中的第一目标，逐像素预测所述第一目标的掩膜，将所述掩膜与所述第一图像相乘，得到所述目标图像。
具体地，基于显著性目标检测提取目标掩模。显著性目标检测模型通过建模每个像素的显著性特征，将显著目标与背景区分开来。借助显著性目标检测预训练模型，逐像素预测显著图掩模M＝SOD(I)。将得到的目标掩模M与原始图像I相乘，得到去除背景像素之后的目标图像T＝M×I。
在一些实施例中，在所述步骤S2中：将所述目标图像和所述第二图像作为空间变换网络的输入，由所述空间变换网络中的估计网络预测几何变换矩阵；利用所述几何变换矩阵对所述目标图像进行变换，得到经变换后的目标图像中各个像素点的位置坐标，作为所述第一目标在所述第二图像中的所述摆放位置；基于所述摆放位置将所述经变换后的目标图像置于所述第二图像中，以得到初步融合图像。
具体地，基于目标克隆的图像合成包括前景物体摆放、融合、和谐化、阴影生成(如图2所示)。前景物体摆放旨在为前景物体寻找合适的位置大小。在寻找合适位置大小的时候需要考虑诸多因素，比如物体大小是否合适，是否出现在应该出现的地方，和其它物体的遮挡关系是否合理，有没有受力支撑，透视是否合理等等。我们提出实例感知的物体摆放方法，使用生成模型获得物体摆放的位置(x,y)和尺寸(w,h)。首先，通过卷积神经网络(CNN)架构预测每个潜在人物实例的位置和大小。然后，我们找到与场景的局部和全局上下文语义匹配的特定片段。最后，我们利用已有的alpha matting方法来调整合成片段与其周围环境之间的过渡，以使片段看起来与背景兼容。
实例感知的物体摆放方法由空间变换网络(STN)、合成模块和判别器组成。STN由估计网络和具有控制前景对象的几何变换的N个参数的变换矩阵组成。前景对象和背景图像被级联以充当STN的输入，其中估计网络将预测变换矩阵以变换前景对象。通过应用以原始图像中特定位置为中心的采样核计算变换图像中的每个像素。
和/>
表示原始图像和变换图像中的像素。我们使用变换矩阵H执行像素级变换，如下所示：
其中
表示原始和变换后的第i个像素的坐标图像。因此，变换的前景对象可以被放置到背景图像中以形成初始合成图像。
在一些实施例中，在所述步骤S2中：所述表观特征包括边缘和纹理特征，在保持所述初步融合图像中的第二图像的变化低于阈值的情况下，为所述初步融合图像中的目标图像添加所述边缘和纹理特征；所述光照特征包括颜色和光照特征，对所述初步融合图像中的目标图像进行颜色变换以匹配所述初步融合图像中的目标图像与所述初步融合图像中的第二图像之间的低水平颜色统计；提取所述初步融合图像中的第二图像的背景光照信息，基于所述背景照明信息，以渲染的方式为所述初步融合图像中的目标图像包含的第一目标添加阴影。
具体地，判别器学习区分合成图像相对于一组真实图像是否真实。另一方面，为了增强合成图像的真实性，我们设计针对前景对象的表观判别器，使得前景对象具有和背景相似的颜色和纹理等表观特征，保证合成图像在几何空间和外观空间中都是真实的。为了进行有效的对抗学习，我们引入了引导滤波器合成与背景相似的表观，可以保留视觉细节，同时在外观空间内增强真实感。
外观合成器融合前景对象和背景图像，以实现外观空间中的合成真实感。引入了引导滤波器，这有助于有效地保留视觉细节。引导滤波器设计用于执行边缘保持图像平滑。它通过使用引导图像中的结构来影响滤波，因为大多数图像到图像转换的生成对抗网络(生成对抗网络，GAN)模型中的外观学习倾向于丢失图像细节，我们使用引导滤波器在转换图像中保留细节，在保持背景图像变化最小的情况下，对前景对象(合成图像内)执行外观转移。初始合成图像引导图像以提供边缘和纹理细节。因此，细节保持图像T可以通过最小化合成图像I和T之间的重建误差来导出，服从线性模型：
Ti＝akIi+bk,i∈ωk
其中i是像素的索引，ωk是以像素k为中心的局部正方形窗口。为了确定线性模型ak和bk的系数，我们寻求一种使初始合成图像I和滤波器输入R之间差最小化的解，该差可以通过最小化局部窗口中的以下成本函数来导出：
其中τ用于调节ak的权重，防止其太大了，通过线性回归求解得到：
其中，μk和σk为I在ωk内的均值和方差，||ωk||表示ωk中的像素数，
表示R在在ωk内的平均值。通过将线性模型应用于图像中的所有窗口ωk，并计算（ak,bk），可以通过平均所有可能的Ti值来导出滤波器输出：
其中，
和/>
分别表示在窗口ωk的均值。
在图像合成过程中，通常使用图像分割或消光方法来提取前景。然而，分割或消光结果可能是有噪声的，并且前景没有被精确描绘。当具有锯齿状边界的前景粘贴在背景上时，前景和背景之间的强度将发生突变。为了重新定义边界并减少模糊性，我们采用图像融合技术。考虑到多尺度信息，我们利用拉普拉斯金字塔融合为两幅图像构建多尺度拉普拉斯金字塔，并在每个尺度上执行alpha混合。然后，将不同尺度的融合结果相加，得到融合输出。具体而言，首先分别为前景图像和背景图像拉普拉斯金字塔Lfg和Lbg。接着，为前景物体构建高斯金字塔Gtarget。然后，使用Gtarget的作为权重，从Lfg和Lbg形成组合金字塔Ls。即，
Ls(i,j)＝Gtarget(i,j)Lfg(i,j)+(1-Gtarget(i,j))Lbg(i,j)
最后，通过对Ls进行求和得到融合之后的图像R。
图像和谐化旨在对合成图R的前景进行颜色光照的调节，使其和背景和谐。给定合成图像，其前景和背景可能在不同的条件下(例如，天气、季节、一天中的时间、相机设置)被捕获，因此具有独特的照明特性，这使得它们看起来不兼容。图像和谐化的目的是根据合成背景调整合成前景的外观，使其与合成背景兼容。对前景进行颜色变换，以匹配前景和背景之间的低水平颜色统计。训练分类器来预测直方图中可以在前景和背景之间最佳匹配的低、中、高区域，然后调整前景颜色以匹配前景和背景间的选定区域。
图像和谐化可以调整前景外观，使其与背景兼容，但它们忽略了插入的对象也可能对背景产生影响的事实，如反射、遮挡和阴影。例如，如果背景对象在地面上投射阴影，但插入的对象没有阴影，则合成图像看起来不现实。为了解决这个问题，阴影生成任务根据背景照明信息为前景对象生成合理的阴影，以使合成图像更逼真。通常通过收集或估计场景几何体、前景对象几何体和场景照明，使用渲染技术为插入的前景对象生成阴影。具体而言，他们根据物体摆放中的空间集合信息，估计丢失的照明条件，利用两个渲染图像之间的差异揭示了前景对象对背景的影响，生成阴影。
具体地，伪装图像大致可以分为两种：一种是天然伪装的，一种是人工伪装的。动物(例如昆虫、头足类动物)使用自然伪装作为一种生存技能，以避免被捕食者识别。相比之下，人工伪装通常用于在特定场景中隐藏目标信息，例如艺术、游戏和军事。将伪装建模为一种艺术风格，从而实现适应背景的伪装目标风格变换。风格迁移任务是一种图像到图像的翻译，生成对抗网络可以产生更加清晰、真实的样本，同时GAN采用的是一种无监督的学习方式训练，可以被广泛用在无监督学习和半监督学习领域，在样本受限的降质环境下具有明显优势。
显著性检测定位图像中的重要区域或对象，类似于人类视觉系统中的选择过程，显著性信息对于风格迁移也很重要。传统的风格转移方法擅长生成内容相对统一的图像(例如天空和风景照片，它们更多地通过纹理而不是几何来区分)，但它们通常无法捕捉始终属于的几何或结构模式到显著区域。通过获得内容图像的显着信息，保留结构化区域中更多边缘细节并减少平滑区域中不需要的伪影，改善风格转移结果。本发明提出了一种基于GAN的方法来保留显著性细节信息，同时正确地实现伪装风格变换。基于风格迁移的伪装目标生成引入了一个额外的显著性网络S，可以同时预测显著性图。显著性分支的编码器部分也连接到生成器网络中，以产生平滑的整体风格转换，并在显着区域中正确保留内容细节。
本发明提出基于GAN的框架来实现来自源域的不成对图像转换到目标域。该框架旨在在显着区域生成具有更多内容细节的艺术图像，同时仍保持理想的目标风格。与常见的GAN框架一样，生成器G学习不同域之间的映射函数，而判别器D旨在优化G区分源域图像和生成的图像。进一步构建显著性子网络S，同时获得用于约束生成网络和我们的新目标函数的显著性图。具体来说，在图中，显著信息检测模块、生成器和两个判别器在训练过程中同时得到优化。G将输入图像转换为特定的艺术风格，并用于生成在损失函数中使用的显著性图。显著性网络小号以及额外的损失使生成器不仅可以学习映射，而且可以在所需区域内保持细节和连续性(如图3所示)。
生成器网络由以下序列构成7×7卷积层，然后是两个步长为2的下卷积块、八个残差块、两个用于上采样的步长为1/2的转置卷积块，以及另一个7×7卷积层。显著性网络具有类似的结构。虽然添加显著性分支对于保留显着区域的内容细节是有效的，但单纯使用显着图约束损失函数往往会导致显着区域的艺术风格丢失，并在非显着区域产生不连续性。为了缓解这些问题，我们将显著性网络中前几个卷积块的特征连接到生成器网络中的相应层中。向下采样卷积层添加显著性信息有助于更好地融合图像特征和显著性特征。将显著性特征连接到下采样卷积层的图像特征，因为如果特征连接也应用于上采样卷积层，则会影响生成图像的质量。编码器倾向于提取图像特征，而不同的判别器旨在实现不同的任务。生成器和显著性网络的上采样层扮演着完全不同的角色。该修改为编码过程提供了额外的显著性信息，使生成器的解码器能够生成具有从区域到区域的流畅过渡的风格化图像。
判别器网络先使用3×3步长为1的卷积层和一个Leaky ReLU层组成，然后使用两个步长为2的卷积块。接着使用一个步长为1的特征重建块和一个3×3应用卷积层获得分类结果。基于风格迁移的伪装目标图像生成损失函数为：
与经典风格转换GAN网络一样，对抗性损失用于约束G生成目标域图像。同时，D旨在区分给定图像是属于合成的还是真实的目标数据集。然而，简单地应用常见的对抗性损失不足以保留清晰的边缘信息和伪装风格。本发明的判别器试图将一张图像正确地分为三类：生成的图像G(R),伪装化图像Z，以及显著性网络输出结果S(R)。
LGAN(G,D)＝E[log D1(Z)]+E[log(1-D1(G(S(R))))]+E[log(1-D2(G(R))]
显著性内容损失进一步保留内容信息。它计算输入图像和生成图像之间的下载显著性差异。
Lsal(G,D,S)＝E[||S(R)-S(G(R))||2]
因此，最终整个网络损失为：
L(G,D,S)＝LGAN(G,D)+Lsal(G,D,S)
本发明第二方面公开了一种降质场景下伪装目标图像自适应生成系统；所述系统包括：第一处理单元，被配置为：通过去除第一图像的背景图像，提取所述第一图像中表征第一目标的目标图像；第二处理单元，被配置为：将所述目标图像与第二图像进行融合，以获取融合图像，所述融合具体包括：确定所述第一目标在所述第二图像中的摆放位置，在所述摆放位置处融合所述目标图像和所述第二图像，以得到初步融合图像；为所述初步融合图像添加与所述第二图像相似的表观特征和光照特征，基于所述目标图像和所述第二图像的差异生成阴影投影；第三处理单元，被配置为：获取所述第二图像的风格特征，将所述风格特征迁移至所述融合图像中的目标图像，从而得到伪装目标图像。
根据第二方面的系统，所述第一处理单元具体被配置为：利用显著性目标监测模型建模所述第一图像中每个像素点的显著性特征，并基于所述显著性特征提取出所述第一图像中的第一目标，逐像素预测所述第一目标的掩膜，将所述掩膜与所述第一图像相乘，得到所述目标图像。
根据第二方面的系统，所述第二处理单元具体被配置为：将所述目标图像和所述第二图像作为空间变换网络的输入，由所述空间变换网络中的估计网络预测几何变换矩阵；利用所述几何变换矩阵对所述目标图像进行变换，得到经变换后的目标图像中各个像素点的位置坐标，作为所述第一目标在所述第二图像中的所述摆放位置；基于所述摆放位置将所述经变换后的目标图像置于所述第二图像中，以得到初步融合图像。
根据第二方面的系统，所述第二处理单元具体被配置为：所述表观特征包括边缘和纹理特征，在保持所述初步融合图像中的第二图像的变化低于阈值的情况下，为所述初步融合图像中的目标图像添加所述边缘和纹理特征；所述光照特征包括颜色和光照特征，对所述初步融合图像中的目标图像进行颜色变换以匹配所述初步融合图像中的目标图像与所述初步融合图像中的第二图像之间的低水平颜色统计；提取所述初步融合图像中的第二图像的背景光照信息，基于所述背景照明信息，以渲染的方式为所述初步融合图像中的目标图像包含的第一目标添加阴影。
本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面中任一项所述的一种降质场景下伪装目标图像自适应生成方法中的步骤。
图4为根据本发明实施例的一种电子设备的结构图，如图4所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、近场通信(NFC)或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面中任一项所述的一种降质场景下伪装目标图像自适应生成方法中的步骤。
综上，本发明提供的技术方案在样本受限的降质环境下，利用现有的大量公开的野外环境图像和目标装备图像，使用图像合成和风格迁移学习方法自适应生成多样伪装图像；使用显著性目标检测方法自适应提取前景目标，减少手工操作，实现快速和定量地捕获目标；借助图像合成技术优势，通过前景目标和背景图像的摆放、融合、和谐化和阴影生成，合成的伪装图像高度保留了真实的目标结构信息，使得合成的伪装目标图像在几何空间和语义空间上更加真实；基于生成对抗网络的风格迁移学习有效建模伪装风格，在保证内容真实情况下，可以生成多样化伪装目标图像。
请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种降质场景下伪装目标图像自适应生成方法，其特征在于，所述方法包括：
步骤S1、通过去除第一图像的背景图像，提取所述第一图像中表征第一目标的目标图像；
步骤S2、将所述目标图像与第二图像进行融合，以获取融合图像，所述融合具体包括：
确定所述第一目标在所述第二图像中的摆放位置，在所述摆放位置处融合所述目标图像和所述第二图像，以得到初步融合图像；
为所述初步融合图像添加与所述第二图像相似的表观特征和光照特征，基于所述目标图像和所述第二图像的差异生成阴影投影；
步骤S3、获取所述第二图像的风格特征，将所述风格特征迁移至所述融合图像中的目标图像，从而得到伪装目标图像。
2.根据权利要求1所述的一种降质场景下伪装目标图像自适应生成方法，其特征在于，在所述步骤S1中，利用显著性目标监测模型建模所述第一图像中每个像素点的显著性特征，并基于所述显著性特征提取出所述第一图像中的第一目标，逐像素预测所述第一目标的掩膜，将所述掩膜与所述第一图像相乘，得到所述目标图像。
3.根据权利要求2所述的一种降质场景下伪装目标图像自适应生成方法，其特征在于，在所述步骤S2中：
将所述目标图像和所述第二图像作为空间变换网络的输入，由所述空间变换网络中的估计网络预测几何变换矩阵；
利用所述几何变换矩阵对所述目标图像进行变换，得到经变换后的目标图像中各个像素点的位置坐标，作为所述第一目标在所述第二图像中的所述摆放位置；
基于所述摆放位置将所述经变换后的目标图像置于所述第二图像中，以得到初步融合图像。
4.根据权利要求3所述的一种降质场景下伪装目标图像自适应生成方法，其特征在于，在所述步骤S2中：
所述表观特征包括边缘和纹理特征，在保持所述初步融合图像中的第二图像的变化低于阈值的情况下，为所述初步融合图像中的目标图像添加所述边缘和纹理特征；
所述光照特征包括颜色和光照特征，对所述初步融合图像中的目标图像进行颜色变换以匹配所述初步融合图像中的目标图像与所述初步融合图像中的第二图像之间的低水平颜色统计；
提取所述初步融合图像中的第二图像的背景光照信息，基于所述背景照明信息，以渲染的方式为所述初步融合图像中的目标图像包含的第一目标添加阴影。
5.一种降质场景下伪装目标图像自适应生成系统，其特征在于，所述系统包括：
第一处理单元，被配置为：通过去除第一图像的背景图像，提取所述第一图像中表征第一目标的目标图像；
第二处理单元，被配置为：将所述目标图像与第二图像进行融合，以获取融合图像，所述融合具体包括：
确定所述第一目标在所述第二图像中的摆放位置，在所述摆放位置处融合所述目标图像和所述第二图像，以得到初步融合图像；
为所述初步融合图像添加与所述第二图像相似的表观特征和光照特征，基于所述目标图像和所述第二图像的差异生成阴影投影；
第三处理单元，被配置为：获取所述第二图像的风格特征，将所述风格特征迁移至所述融合图像中的目标图像，从而得到伪装目标图像。
6.根据权利要求5所述的一种降质场景下伪装目标图像自适应生成系统，其特征在于，所述第一处理单元具体被配置为：利用显著性目标监测模型建模所述第一图像中每个像素点的显著性特征，并基于所述显著性特征提取出所述第一图像中的第一目标，逐像素预测所述第一目标的掩膜，将所述掩膜与所述第一图像相乘，得到所述目标图像。
7.根据权利要求6所述的一种降质场景下伪装目标图像自适应生成系统，其特征在于，所述第二处理单元具体被配置为：
将所述目标图像和所述第二图像作为空间变换网络的输入，由所述空间变换网络中的估计网络预测几何变换矩阵；
利用所述几何变换矩阵对所述目标图像进行变换，得到经变换后的目标图像中各个像素点的位置坐标，作为所述第一目标在所述第二图像中的所述摆放位置；
基于所述摆放位置将所述经变换后的目标图像置于所述第二图像中，以得到初步融合图像。
8.根据权利要求7所述的一种降质场景下伪装目标图像自适应生成系统，其特征在于，所述第二处理单元具体被配置为：
所述表观特征包括边缘和纹理特征，在保持所述初步融合图像中的第二图像的变化低于阈值的情况下，为所述初步融合图像中的目标图像添加所述边缘和纹理特征；
所述光照特征包括颜色和光照特征，对所述初步融合图像中的目标图像进行颜色变换以匹配所述初步融合图像中的目标图像与所述初步融合图像中的第二图像之间的低水平颜色统计；
提取所述初步融合图像中的第二图像的背景光照信息，基于所述背景照明信息，以渲染的方式为所述初步融合图像中的目标图像包含的第一目标添加阴影。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1-4任一项所述的一种降质场景下伪装目标图像自适应生成方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-4任一项所述的一种降质场景下伪装目标图像自适应生成方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310311811.2A CN116342377A (zh) | 2023-03-28 | 2023-03-28 | 一种降质场景下伪装目标图像自适应生成方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310311811.2A CN116342377A (zh) | 2023-03-28 | 2023-03-28 | 一种降质场景下伪装目标图像自适应生成方法与系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116342377A true CN116342377A (zh) | 2023-06-27 |
Family
ID=86887367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310311811.2A Pending CN116342377A (zh) | 2023-03-28 | 2023-03-28 | 一种降质场景下伪装目标图像自适应生成方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116342377A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557466A (zh) * | 2024-01-11 | 2024-02-13 | 中国科学院空天信息创新研究院 | 基于成像条件的光学遥感影像目标图像增强方法及装置 |
-
2023
- 2023-03-28 CN CN202310311811.2A patent/CN116342377A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117557466A (zh) * | 2024-01-11 | 2024-02-13 | 中国科学院空天信息创新研究院 | 基于成像条件的光学遥感影像目标图像增强方法及装置 |
| CN117557466B (zh) * | 2024-01-11 | 2024-04-09 | 中国科学院空天信息创新研究院 | 基于成像条件的光学遥感影像目标图像增强方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598998B (zh) | 三维虚拟模型重建方法、装置、计算机设备和存储介质 | |
| US10255681B2 (en) | Image matting using deep learning | |
| CN108205803B (zh) | 图像处理方法、神经网络模型的训练方法及装置 | |
| US10922860B2 (en) | Line drawing generation | |
| Raman et al. | Reconstruction of high contrast images for dynamic scenes | |
| CN111696028A (zh) | 真实场景图像卡通化的处理方法、装置、计算机设备和存储介质 | |
| JP2022503647A (ja) | クロスドメイン画像変換 | |
| Panetta et al. | Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset | |
| Sun et al. | Underwater image enhancement with reinforcement learning | |
| CN115100334B (zh) | 一种图像描边、图像动漫化方法、设备及存储介质 | |
| Ji et al. | Geometry-aware single-image full-body human relighting | |
| CN116342377A (zh) | 一种降质场景下伪装目标图像自适应生成方法与系统 | |
| Su et al. | An edge-refined vectorized deep colorization model for grayscale-to-color images | |
| Xiao et al. | Image hazing algorithm based on generative adversarial networks | |
| Gai et al. | Artistic low poly rendering for images | |
| Tous | Pictonaut: movie cartoonization using 3D human pose estimation and GANs | |
| CN114972611A (zh) | 一种基于引导匹配损失的深度纹理合成方法及相关设备 | |
| Guan et al. | DiffWater: Underwater Image Enhancement Based on Conditional Denoising Diffusion Probabilistic Model | |
| CN116228850A (zh) | 物体姿态估计方法、装置、电子设备及可读存储介质 | |
| US20240144520A1 (en) | Generating three-dimensional human models representing two-dimensional humans in two-dimensional images | |
| US20240127509A1 (en) | Generating scale fields indicating pixel-to-metric distances relationships in digital images via neural networks | |
| US20240144623A1 (en) | Modifying poses of two-dimensional humans in two-dimensional images by reposing three-dimensional human models representing the two-dimensional humans | |
| US20240135612A1 (en) | Generating shadows for placed objects in depth estimated scenes of two-dimensional images | |
| Wang et al. | Near-infrared fusion for deep lightness enhancement | |
| US20240144586A1 (en) | Generating shadows for objects in two-dimensional images utilizing a plurality of shadow maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |