CN116612263A - 一种感知潜视觉合成一致性动态拟合的方法及装置 - Google Patents
一种感知潜视觉合成一致性动态拟合的方法及装置 Download PDFInfo
- Publication number
- CN116612263A CN116612263A CN202310893561.8A CN202310893561A CN116612263A CN 116612263 A CN116612263 A CN 116612263A CN 202310893561 A CN202310893561 A CN 202310893561A CN 116612263 A CN116612263 A CN 116612263A
- Authority
- CN
- China
- Prior art keywords
- image
- input source
- extracting
- foreground
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 24
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 101
- 238000001914 filtration Methods 0.000 claims abstract description 37
- 230000000694 effects Effects 0.000 claims abstract description 27
- 239000000463 material Substances 0.000 claims abstract description 23
- 238000009877 rendering Methods 0.000 claims abstract description 23
- 230000003044 adaptive effect Effects 0.000 claims abstract description 12
- 238000003708 edge detection Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000003709 image segmentation Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000001965 increasing effect Effects 0.000 claims description 4
- 230000008447 perception Effects 0.000 abstract description 6
- 230000004927 fusion Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000011282 treatment Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G06T3/06—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/70—
-
- G06T5/73—
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20152—Watershed segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种感知潜视觉合成一致性动态拟合的方法及装置,该方法包括:获取输入源,所述输入源为图像和/或视频;提取所述输入源的特征向量;对所述特征向量进行自适应性滤波、锐化及边缘模糊处理得到数据集信息;根据所述数据集信息,提取所述输入源的前景图像和后景图像;获取所述前景图像的带通道图像和第二蒙版画面;融合渲染所述带通道图像和第二蒙版画面得到三维数据素材;对所述三维数据素材进行旋转及调整透明度得到三维特征图;对所述三维特征图进行高斯模糊处理得到效果图。该方法实现了图像前景后景及其融合图像均清晰的效果。
Description
技术领域
本发明涉及数字图像处理和计算机视觉领域,具体地涉及一种感知潜视觉合成一致性动态拟合的方法及装置。
背景技术
边缘模糊处理是数字图像处理和计算机视觉领域中常用的一种图像处理技术。随着计算机视觉领域的发展,边缘模糊处理技术也在不断演进和优化。现有的边缘模糊处理技术包括模糊处理和图像合成。其中模糊处理为通过对图像进行滤波以失去一部分细节信息,使得图像变得柔和,从而起到降噪、平滑等效果。常见的模糊处理算法有均值模糊、高斯模糊等。图像合成为将模糊后的边缘与原始图像进行合成,以得到最终的边缘模糊处理结果。常见的图像合成算法有加权平均、最大值、最小值等。现有技术边缘模糊处理存在着速度慢、图像细节信息丢失、图像失真等问题。
发明内容
本发明实施例的目的是提供一种感知潜视觉合成一致性动态拟合的方法及装置,该方法实现了图像前景后景及其融合图像均清晰的效果。
为了实现上述目的,本发明实施例提供一种感知潜视觉合成一致性动态拟合的方法,该方法包括:获取输入源,所述输入源为图像和/或视频;提取所述输入源的特征向量;对所述特征向量进行自适应性滤波、锐化及边缘模糊处理得到数据集信息;根据所述数据集信息,提取所述输入源的前景图像和后景图像;获取所述前景图像的带通道图像和第二蒙版画面;融合渲染所述带通道图像和第二蒙版画面得到三维数据素材;对所述三维数据素材进行旋转及调整透明度得到三维特征图;对所述三维特征图进行高斯模糊处理得到效果图。
可选的,所述提取所述输入源的特征向量,包括:根据用户需要,对所述输入源进行滤波、锐化及边缘检测得到第一图像,及,对所述输入源进行抠像处理得到第一蒙版画面,将所述第一蒙版画面与输入源进行神经网络处理得到第二图像;所述特征向量为第一图像和第二图像。
可选的,提取所述输入源的前景图像包括:当所述输入源为图像时,提取前景图像的方法包括阈值化、边缘检测及分水岭算法;当所述输入源为视频时,提取前景图像的方法包括背景减除、运动分析、及光流估计。
可选的,提取所述输入源的后景图像包括:当所述输入源为图像时,提取后景图像的方法包括图像分割和背景提取;当所述输入源为视频时,提取后景图像的方法包括运动估计和背景减除。
可选的,该方法还包括:当所述带通道图像存在虚焦时,对所述带通道图像进行调整的方法为调节对比度和锐度、调节滤波及采用插值算法增加图像的清晰度中的至少一种。
可选的,所述带通道图像为带有色彩的前景图像。
另一方面,本发明提供一种感知潜视觉合成一致性动态拟合的装置该装置包括:获取模块,用于获取输入源,所述输入源为图像和/或视频;第一处理模块,用于提取所述输入源的特征向量;第二处理模块,用于对所述特征向量进行自适应性滤波、锐化及边缘模糊处理得到数据集信息,根据所述数据集信息,提取所述输入源的前景图像和后景图像;第三处理模块,用于获取所述前景图像的带通道图像和第二蒙版画面;第四处理模块,用于融合渲染所述带通道图像和第二蒙版画面得到三维数据素材;第五处理模块,用于对所述三维数据素材进行旋转及调整透明度得到三维特征图;第六处理模块,用于对所述三维特征图进行高斯模糊处理得到效果图。
可选的,所述提取所述输入源的特征向量,包括:根据用户需要,对所述输入源进行滤波、锐化及边缘检测得到第一图像,及,对所述输入源进行抠像处理得到第一蒙版画面,将所述第一蒙版画面与输入源进行神经网络处理得到第二图像;所述特征向量为第一图像和第二图像。
可选的,提取所述输入源的前景图像包括:当所述输入源为图像时,提取前景图像的方法包括阈值化、边缘检测及分水岭算法;当所述输入源为视频时,提取前景图像的方法包括背景减除、运动分析、及光流估计。
可选的,提取所述输入源的后景图像包括:当所述输入源为图像时,提取后景图像的方法包括图像分割和背景提取;当所述输入源为视频时,提取后景图像的方法包括运动估计和背景减除。
本发明的一种感知潜视觉合成一致性动态拟合的方法包括:获取输入源,所述输入源为图像和/或视频;提取所述输入源的特征向量;对所述特征向量进行自适应性滤波、锐化及边缘模糊处理得到数据集信息;根据所述数据集信息,提取所述输入源的前景图像和后景图像;获取所述前景图像的带通道图像和第二蒙版画面;融合渲染所述带通道图像和第二蒙版画面得到三维数据素材;对所述三维数据素材进行旋转及调整透明度得到三维特征图;对所述三维特征图进行高斯模糊处理得到效果图。本发明采用了多重步骤处理,可以在保持细节的同时减少噪声和过度模糊,并且该方法处理效率高,可以实现实时处理大规模数据。
本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本发明实施例的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本发明实施例,但并不构成对本发明实施例的限制。在附图中:
图1是本发明的感知潜视觉合成一致性动态拟合的方法的流程示意图;
图2是本发明的一种具体实施例示意图;
图3是本发明的图像处理示意图;
图4是本发明的识别处理流程示意图;
图5是本发明的对前景图像进行放大处理的示意图;
图6A-6C是本发明的根据alpha值控制旋转前景图的示意图。
具体实施方式
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明实施例,并不用于限制本发明实施例。
如图1所示,本发明的一种感知潜视觉合成一致性动态拟合的方法包括:步骤S101为获取输入源,所述输入源为图像和/或视频。所述输入源为待处理的原始图像。对输入源进行预处理(如去噪、调整亮度、对比度、色彩平衡)、增强、裁剪等操作以提高图像质量和可用性。所述输入源的分辨率、格式、尺寸等也需要根据具体任务进行适当调整和转换,以更好地满足后续处理要求。除了静态图像,源图像还可以是视频流(视频由连续图像组成)、深度图像、点云数据等多种形式的数据。在进行多帧图像的处理时,需要考虑每一帧之间的关联和一致性,以保证最终结果的准确性和连续性。
步骤S102为提取所述输入源的特征向量。具体包括:根据用户需要,对所述输入源进行滤波、锐化及边缘检测得到第一图像,及,对所述输入源进行抠像处理得到第一蒙版画面,将所述第一蒙版画面与输入源进行神经网络处理得到第二图像;所述特征向量为第一图像和第二图像。所述特征数据包括像素、局部特征、区域或对象等不同层次的图像。对源图像进行自动识别,提取出需要的前景信息,进行边缘检测,视觉图像特征信息提取。边缘检测为图像中找到物体的轮廓。
按照一种具体的实施方式,在物体检测中,提取所述输入源的特征向量是预定义的物体模板或是经过训练的神经网络输出的候选框;在图像分类中,提取所述输入源的特征向量则是提取自图像中的特征向量。该方法可以实现对图像信息的自动分析和理解。
对源图像进行识别的方式包括:通过识别图像进行边缘检测,得到选择区域的图像;通过抠像得到alpha蒙版画面,识别源图像得到源图像的原始数据。将原始数据、alpha蒙版画面以及源图像进行神经网络处理。
边缘检测的算法主要由控制单元控制AI模块来进行计算得到基于图像强度的一阶导数和二阶导数。通过AI模块快速得对图像进行滤波处理来改善有噪声的图像识别单元边缘检测的性能。现有技术通过滤波器来实现对图像进行滤波、去噪处理,该滤波方式不好控制,会造成边缘界限模糊。而本发明中是通过AI模块自动检测前景图像的边缘,以及对图像的重建和还原,使得图像在做边缘处理得到前景图像和后景图像的过程中不会造成前景图像和后景图像的边缘模糊。图像边缘检测的基本步骤包括:滤波、增强、检测和定位。
步骤S103为对所述特征向量进行自适应性滤波、锐化及边缘模糊处理得到数据集信息。
自适应性滤波是通过AI模块根据数据信息选择自适应源图像的滤波方式并且实现交叉滤波(去噪方式:限幅滤波法(又称程序判断滤波法)、中位值滤波法 、算术平均滤波法 、递推平均滤波法、中位值平均滤波法、限幅平均滤波法、一阶滞后滤波法、 加权递推平均滤波法、消抖滤波法、限幅消抖滤波法);增强源图像边缘的基础是确定图像各点领域强度放入变化值,AI模块将源图像的灰度图像点领域强度值有显著变化的点凸现出来(AI模块通过梯度计算来实现)。对该图像进行灰度化处理得到灰度图像。进行边缘检测的条件为:在像素值出现跳跃或者较大的变化的边缘部分求导数的极值,当一阶导数为极值且二阶导数为0时。图像锐化是补偿图像的轮廓增强图像的边缘及灰度跳变部分,使图像变得清晰。检测时通过阈值化方法来检测。对滤波后的图像进行边缘检测得到边缘区域。对边缘区域进行模糊处理(可使用基于均值或高斯模糊的算法),以减少锐利度并产生柔化效果。
步骤S104为根据所述数据集信息,提取所述输入源的前景图像和后景图像。
按照一种具体的实施方式,所述提取所述输入源的前景图像包括:当所述输入源为图像时,提取前景图像的方法包括阈值化、边缘检测及分水岭算法;当所述输入源为视频时,提取前景图像的方法包括背景减除、运动分析、及光流估计。所述提取所述输入源的后景图像包括:当所述输入源为图像时,提取后景图像的方法包括图像分割和背景提取;当所述输入源为视频时,提取后景图像的方法包括运动估计和背景减除。
步骤S105为获取所述前景图像的带通道图像和第二蒙版画面。前景图像指需要从源图像中提取出来的目标物体或区域。具体的,前景是指图像或视频中与背景区别显著且需要关注的物体、目标、区域等。对于静态图像,前景可以通过对图像进行阈值化、边缘检测、分水岭算法等操作来分割出来;对于视频,前景可以通过背景减除、运动分析、光流估计等技术来提取。
提取前景可以用于目标跟踪、图像分割、场景重建等应用。前景的处理还包括对前景的增强、修复、变形、合成等操作,用于满足不同的需求。按照一种具体的实施方式,可以对前景进行尺度变换、色彩调整、局部增强等处理来改善图像质量或突出特定区域,同时在进行前景的处理时与背景进行融合,以获得自然逼真的图像效果。
后景图像指背景区域的渲染图像,渲染图像是在渲染管线中生成的图像,是具有高质量、真实感的三维场景图像。后景是图像或视频中与前景相对应的环境、背景或其他物体。本申请中处理后景通常可以用于更好地理解和分析前景物体的特征和行为。对于静态图像,后景可以通过图像分割、背景提取等技术进行提取;对于视频,后景可以利用运动估计、背景减除等方法来获取。后景的处理还包括对背景的去噪、修复、变形、合成等操作,以满足不同的需求。后景处理时需要考虑与前景的协同,以获得自然、连续的图像效果。
本申请将源图像中的前景和后景分离为两个独立的图像,即将复杂的图像分解成更简单的、具有独立性质的组成部分。该组成部分可以为像素、颜色通道、纹理、形状等不同类型的信息。然后对这些组成部分进行进一步的处理和分析,例如图像增强、去噪、压缩、特征提取等。具体的分离方法包括基于滤波器的分解方法(如小波变换)、基于聚类的分割方法、基于机器学习的分类方法等。
蒙版画面(alpha)指格式图像包含的透明度信息,用于指定图像某些区域的透明度。alpha通常指图像的透明或者不透明度。在使用alpha通道时,图像的每个像素都包含一个额外的值,用于表示该像素的透明度。这个值通常被称为alpha通道或alpha值,其取值范围为0到1之间,其中0表示完全透明,1表示完全不透明。alpha通道可以用于实现图像的合成、混合和蒙版等效果。通过设置不同的alpha值,可以控制图像中某些区域的透明度或不透明度,从而达到混合、遮罩、渐变等效果。在许多应用场景中,alpha通道也是图像数据中必不可少的一部分,特别是在图像转换、编辑和合成等任务中。例如,在格式图像文件中,alpha通道可以存储为独立的8位灰度通道,以便对图像进行更高级别的处理和操作。
步骤S106为融合渲染所述带通道图像和第二蒙版画面得到三维数据素材。
图像出现轻微模糊效果时,通常会表现为轮廓不分明、细节模糊或者整体图像柔化等现象。通过调整图像对比度和锐度,利用AI模块滤波消除杂讯,采用插值算法增加图像的清晰度等手段对虚焦图像进行处理可以改善虚焦效应。当输入源存在虚化现象时,需要改变图像的光圈,因为虚化是由光圈控制的。例如建立单位空间,对源图像做深度处理,得到源图像的三维空间模型。在三维空间模型中调节虚幻光圈值来获取三维空间模型的图像,从而得到清晰的图像。在光圈值发生改变时对空间的变化做自适应处理。本申请与现有的神经元相比,神经网络具有更强的自适应能力和更高的灵活性,能够更好地处理实时数据流和不确定性。
本申请将替换后景图像的二维信息转化为三维数据,经过渲染管线的渲染生成渲染图像。本申请自动重建还原图像,且不降低图像清晰度,生成高清的渲染图像,实时生成适应光圈值的渲染图像。将渲染图像(后景)和带通道图像(前景)按照一定比例或算法进行合成以得到合成图像效果。
步骤S107为对所述三维数据素材进行旋转及调整透明度得到三维特征图,具体包括对前景图像进行旋转操作,并根据alpha值控制旋转后图像的透明度。
步骤S108为对所述三维特征图进行高斯模糊处理得到效果图。根据所述特征图得到一个新的蒙版区域。通过对图像进行高斯滤波操作来减少图像噪声、平滑边缘等。通过AI模块计算辅助对个蒙版区域进行高斯模糊,高斯模糊依次对特征图虚化。将虚化的特征图传输至渲染管线,用于对虚化的特征图进行深度处理,建立三维空间,重建虚化的特征图的三维空间模型,得到清晰的效果图/视频。
本发明中采用了多重步骤处理,可以在保持图像细节的基础上,减少噪声和过度模糊,保持了多重步骤处理同时进行,实现了实时处理图像。
图2是本发明的一种具体实施例示意图,如图2所示,获取输入源图像/源视频,所述输入源为图像和/或视频。通过识别单元识别图像数据信息,获取特征数据、第一处理单元处理处理数据。所述识别单元可根据需要自动边缘检测和模糊参数,根据不同类型的图像应用场景,自动匹配合成图像的整体色彩、亮度、饱和度、光强度,对合成的图像进行还原。所述第一处理单元是指对前景图像进行放大处理,用于增加其尺寸和清晰度。
识别单元识别源图像的两种方式为:第一种方式是通过识别图像进行边缘检测得到选择区域的图像;第二种识别方式是通过识别单元的抠像模块得到alpha蒙版画面,识别源图像得到源图像的原始数据,通过抠像处理得到与图像alpha蒙版画面和源图像。如图4所示,控制单元将原始数据、alpha蒙版画面以及源图像发送传输至第五处理单元进行神经网络处理,如图3所通过第五处理单元神经网络处理得到两种结果,然后通过AI模块自动对比两种结果。第五处理单元将使用前和使用后的结果与原始数据进行分析,然后对使用后的图像在第五处理单元神经网络进行处理得到代通道的图像。经过识别单元、控制单元、AI模块的处理得到带通道图像和蒙版画面(alpha)的数据集信息。
根据所述数据信息分离单元得到前景图像和后景图像。分离单元通过分离的前景图像得到带通道的图像和蒙版画面(alpha)。带通道图像和alpha通过控制单元传输至合成单元和第二处理单元,合成单元融合渲染图像和带通道图像得到三维数据素材。输入源只保留选择区域得到选择区域的带通道图像和alpha,将未选择区域经过第一处理单元处理替换掉。所述第二处理单元包括识别单元、控制单元及AI模块,通过第二处理单元中各模块联通对源图像进行识别、滤波、锐化以及边缘检测得到选择区域的数据信息。所述合成单元是指将前景和后景图像按照一定比例或算法进行合成,以得到最终的图像效果。
所述第一处理单元指对前景图像进行放大处理,以增加其尺寸和清晰度。渲染管线中的虚化是由光圈控制的,光圈是用于调节相机镜头通光面积的装置,它由一组可调节大小的叶片组成。通过控制光圈大小,可以改变相机的曝光量和景深范围,从而达到适当的曝光和画面效果。光圈的大小通常用F数值来表示(例如F1.8、F2.8),F数值越小表示光圈开得越大,镜头可以接收更多的光线,画面变亮,景深也会相应地变浅;反之,F数值越大表示光圈缩小,景深增加,画面变暗。本申请通过识别单元改变光圈的值,然后建立此图像的三维空间模型。输入源存在虚化现象时,需要改变图像的光圈。如图5所示,建立单位空间,对源图像做深度处理得到源图像的三维空间模型。在渲染管线中通过AI模块改变源图像的光圈(在渲染管线中的光圈称作虚幻光圈),在三维空间中调节虚幻光圈值来获取三维空间模型的图像,从而得到清晰的图像。动态拟合单元在光圈值发生改变时对空间的变化做自适应处理。所述动态拟合单元是一种AI神经网络中的基本单元,用于学习和逼近复杂非线性函数关系。与传统的神经元相比,本申请的动态拟合单元的神经网络具有更强的自适应性和更高的灵活性,能够更好地处理实时数据流和不确定性,其主要用于信息处理、控制系统及模式识别。
例如设定光圈值: F=V+1/3V,F是虚幻光圈值,V是物理摄影机的光圈同步值,即预期的光圈。光圈与虚化值的关系为Y=1.32/F+3.3,Y为光圈。对焦距离与虚化值的关系为y=C[-6/20*)x|+6 ],其中,x是对焦差(当前对焦距离-当前深度),y是虚化值。当x大于20时,按照x=20处理,C是白色像素除以总像素的值。宽度与虚化值的关系为Y=2.5W+0.25。宽度边缘与像素比的关系为W= 15.76C+2,其中W是像素宽度,C是白色像素除以总像素的值,光圈与宽度的关系F=1.89w-2.26。
第一处理单元将替换后景图像的二维信息转化为三维数据,经过渲染管线的渲染生成渲染图像。识别图像时,AI模块自动重建还原图像,像素还原且不降低图像清晰度,生成高清的渲染图像。调节光圈后,实时生成适应光圈值的渲染图像。
控制单元控制整个系统运作,运作过程中对图像进行复杂的计算,该方法提高了处理速度,可以实时得到效果图/视频。将渲染图像(后景)和带通道图像(前景)传输至合成单元,合成单元为将前景和后景图像按照一定比例或算法进行合成以得到合成图像效果。合成单元通常指用于生成新的图像内容,可以用于虚拟场景合成、数字艺术创作、图像增强和修复等各种领域。合成单元可以通过多张图片的融合、重组和变换生成全新的图像内容,如将不同的背景与目标物体(目标物体在本发明中指的是选择区域)进行合成,或者将多个拍摄角度的照片拼接成全景图像。此外,合成单元还可以利用计算机视觉和深度学习等技术,实现人脸表情转移、风格迁移、超分辨率重建等高级合成效果。
通过所述第二处理单元得到的三维数据和合成单元得到的三维数据,控制单元获取三维数据素材传输至第三处理单元。所述第三处理单元用于处理前景图像,所述前景图像为一种二值图像,其中白色表示前景区域,黑色表示背景区域。所述第三处理单元用于控制前景缩小的蒙版图像。蒙版图像中的任务向内侧缩小一圈。
根据所述三维数据素材在第三处理单元得到新的alpha和特征图,通过三维数据素材将alpha图像中的选择区域向内缩小了一圈。如图6A变到图6B,其缩小范围可调节,得到alpha02。在第三处理单元alpha02翻转得到新的alpha(图6C),所述合成图像与新的alpha经过第三处理单元处理得到特征图。
根据所述特征图的三维数据和第四处理单元处理得到效果图/视频。根据所述特征图通过第四处理单元处理得到一个新的蒙版区域。所述第四处理单元通过对图像进行高斯滤波来减少图像噪声、平滑边缘等,用于调整前景图像效果的高斯模糊处理。AI模块计算辅助对该蒙版区域进行高斯模糊,高斯模糊依次对特征图虚化。控制单元将特征图传输至第一处理单元,第一处理单元重复将虚化的特征图传输至渲染管线,对虚化的特征图进行深度处理,建立三维空间,重建虚化的特征图的三维空间模型,得到清晰的合成效果图/视频。
本发明的一种感知潜视觉合成一致性动态拟合的方法包括:获取输入源,所述输入源为图像和/或视频;提取所述输入源的特征向量;对所述特征向量进行自适应性滤波、锐化及边缘模糊处理得到数据集信息;根据所述数据集信息,提取所述输入源的前景图像和后景图像;获取所述前景图像的带通道图像和第二蒙版画面;融合渲染所述带通道图像和第二蒙版画面得到三维数据素材;对所述三维数据素材进行旋转及调整透明度得到三维特征图;对所述三维特征图进行高斯模糊处理得到效果图。本发明采用了多重步骤处理,在保持细节的同时减少噪声和过度模糊,根据需要自定义边缘检测和模糊参数,适用于不同类型的图像和应用场景,并且处理效率高,适用于实时处理大规模数据。本发明可用于数字图像处理、计算机视觉领域中的物体检测、图像分割、人脸识别等领域,具有广泛的应用前景。
本发明还提供一种感知潜视觉合成一致性动态拟合的装置该装置,包括:获取模块,用于获取输入源,所述输入源为图像和/或视频;第一处理模块,用于提取所述输入源的特征向量;第二处理模块,用于对所述特征向量进行自适应性滤波、锐化及边缘模糊处理得到数据集信息,根据所述数据集信息,提取所述输入源的前景图像和后景图像;第三处理模块,用于获取所述前景图像的带通道图像和第二蒙版画面;第四处理模块,用于融合渲染所述带通道图像和第二蒙版画面得到三维数据素材;第五处理模块,用于对所述三维数据素材进行旋转及调整透明度得到三维特征图;第六处理模块,用于对所述三维特征图进行高斯模糊处理得到效果图。该装置采用了多重步骤处理,可以在保持细节的同时减少噪声和过度模糊,并且该方法处理效率高,可以实现实时处理大规模数据。
以上结合附图详细描述了本发明实施例的可选实施方式,但是,本发明实施例并不限于上述实施方式中的具体细节,在本发明实施例的技术构思范围内,可以对本发明实施例的技术方案进行多种简单变型,这些简单变型均属于本发明实施例的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本发明实施例对各种可能的组合方式不再另行说明。
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外,本发明实施例的各种不同的实施方式之间也可以进行任意组合,只要其不违背本发明实施例的思想,其同样应当视为本发明实施例所公开的内容。
Claims (10)
1.一种感知潜视觉合成一致性动态拟合的方法,其特征在于,该方法包括:
获取输入源,所述输入源为图像和/或视频;
提取所述输入源的特征向量;
对所述特征向量进行自适应性滤波、锐化及边缘模糊处理得到数据集信息;
根据所述数据集信息,提取所述输入源的前景图像和后景图像;
获取所述前景图像的带通道图像和第二蒙版画面;
融合渲染所述带通道图像和第二蒙版画面得到三维数据素材;
对所述三维数据素材进行旋转及调整透明度得到三维特征图;
对所述三维特征图进行高斯模糊处理得到效果图。
2.根据权利要求1所述的方法,其特征在于,所述提取所述输入源的特征向量,包括:
根据用户需要,对所述输入源进行滤波、锐化及边缘检测得到第一图像,及,对所述输入源进行抠像处理得到第一蒙版画面,将所述第一蒙版画面与输入源进行神经网络处理得到第二图像;
所述特征向量为第一图像和第二图像。
3.根据权利要求1所述的方法,其特征在于,提取所述输入源的前景图像包括:
当所述输入源为图像时,提取前景图像的方法包括阈值化、边缘检测及分水岭算法;
当所述输入源为视频时,提取前景图像的方法包括背景减除、运动分析、及光流估计。
4.根据权利要求1所述的方法,其特征在于,提取所述输入源的后景图像包括:
当所述输入源为图像时,提取后景图像的方法包括图像分割和背景提取;
当所述输入源为视频时,提取后景图像的方法包括运动估计和背景减除。
5.根据权利要求1所述的方法,其特征在于,该方法还包括:
当所述带通道图像存在虚焦时,对所述带通道图像进行调整的方法为调节对比度和锐度、调节滤波及采用插值算法增加图像的清晰度中的至少一种。
6.根据权利要求1或5所述的方法,其特征在于,
所述带通道图像为带有色彩的前景图像。
7.一种感知潜视觉合成一致性动态拟合的装置,其特征在于,该装置包括:
获取模块,用于获取输入源,所述输入源为图像和/或视频;
第一处理模块,用于提取所述输入源的特征向量;
第二处理模块,用于对所述特征向量进行自适应性滤波、锐化及边缘模糊处理得到数据集信息,根据所述数据集信息,提取所述输入源的前景图像和后景图像;
第三处理模块,用于获取所述前景图像的带通道图像和第二蒙版画面;
第四处理模块,用于融合渲染所述带通道图像和第二蒙版画面得到三维数据素材;
第五处理模块,用于对所述三维数据素材进行旋转及调整透明度得到三维特征图;
第六处理模块,用于对所述三维特征图进行高斯模糊处理得到效果图。
8.根据权利要求7所述的装置,其特征在于,所述提取所述输入源的特征向量,包括:
根据用户需要,对所述输入源进行滤波、锐化及边缘检测得到第一图像,及,对所述输入源进行抠像处理得到第一蒙版画面,将所述第一蒙版画面与输入源进行神经网络处理得到第二图像;
所述特征向量为第一图像和第二图像。
9.根据权利要求7所述的装置,其特征在于,提取所述输入源的前景图像包括:
当所述输入源为图像时,提取前景图像的方法包括阈值化、边缘检测及分水岭算法;
当所述输入源为视频时,提取前景图像的方法包括背景减除、运动分析、及光流估计。
10.根据权利要求7所述的装置,其特征在于,提取所述输入源的后景图像包括:
当所述输入源为图像时,提取后景图像的方法包括图像分割和背景提取;
当所述输入源为视频时,提取后景图像的方法包括运动估计和背景减除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310893561.8A CN116612263B (zh) | 2023-07-20 | 2023-07-20 | 一种感知潜视觉合成一致性动态拟合的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310893561.8A CN116612263B (zh) | 2023-07-20 | 2023-07-20 | 一种感知潜视觉合成一致性动态拟合的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116612263A true CN116612263A (zh) | 2023-08-18 |
CN116612263B CN116612263B (zh) | 2023-10-10 |
Family
ID=87685759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310893561.8A Active CN116612263B (zh) | 2023-07-20 | 2023-07-20 | 一种感知潜视觉合成一致性动态拟合的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116612263B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116912305A (zh) * | 2023-09-13 | 2023-10-20 | 四川大学华西医院 | 基于深度学习的脑部ct图像三维重建方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9438821B1 (en) * | 2014-04-11 | 2016-09-06 | Suny Behar Parker | Method for applying multi-layered film grain and texture mapping to a digital video image |
CN111652967A (zh) * | 2020-05-15 | 2020-09-11 | 中山大学 | 一种基于前后融合成像的三维重建系统及方法 |
CN112508991A (zh) * | 2020-11-23 | 2021-03-16 | 电子科技大学 | 一种前后景分离的熊猫照片卡通化方法 |
CN113326720A (zh) * | 2020-02-29 | 2021-08-31 | 湖南超能机器人技术有限公司 | 基于轮廓深度学习的图像模糊检测方法、设备 |
CN115953543A (zh) * | 2023-03-14 | 2023-04-11 | 北京天图万境科技有限公司 | 一种逐像素含时序拟物一致性处理的方法及装置 |
-
2023
- 2023-07-20 CN CN202310893561.8A patent/CN116612263B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9438821B1 (en) * | 2014-04-11 | 2016-09-06 | Suny Behar Parker | Method for applying multi-layered film grain and texture mapping to a digital video image |
CN113326720A (zh) * | 2020-02-29 | 2021-08-31 | 湖南超能机器人技术有限公司 | 基于轮廓深度学习的图像模糊检测方法、设备 |
CN111652967A (zh) * | 2020-05-15 | 2020-09-11 | 中山大学 | 一种基于前后融合成像的三维重建系统及方法 |
CN112508991A (zh) * | 2020-11-23 | 2021-03-16 | 电子科技大学 | 一种前后景分离的熊猫照片卡通化方法 |
CN115953543A (zh) * | 2023-03-14 | 2023-04-11 | 北京天图万境科技有限公司 | 一种逐像素含时序拟物一致性处理的方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116912305A (zh) * | 2023-09-13 | 2023-10-20 | 四川大学华西医院 | 基于深度学习的脑部ct图像三维重建方法及装置 |
CN116912305B (zh) * | 2023-09-13 | 2023-11-24 | 四川大学华西医院 | 基于深度学习的脑部ct图像三维重建方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN116612263B (zh) | 2023-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lv et al. | Attention guided low-light image enhancement with a large scale low-light simulation dataset | |
US8824821B2 (en) | Method and apparatus for performing user inspired visual effects rendering on an image | |
Wang et al. | Deeplens: Shallow depth of field from a single image | |
CN110889410A (zh) | 浅景深渲染中语义分割的稳健用途 | |
Ehsan et al. | A single image dehazing technique using the dual transmission maps strategy and gradient-domain guided image filtering | |
US20150178946A1 (en) | Image adjustment using texture mask | |
CN112734650B (zh) | 一种基于虚拟多曝光融合的不均匀光照图像增强方法 | |
EP2463821A1 (en) | Method and system for segmenting an image | |
CN111066026B (zh) | 用于向图像数据提供虚拟光调节的技术 | |
CN113888437A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
US20210374925A1 (en) | Image Enhancement System and Method | |
CN112258440B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN116612263B (zh) | 一种感知潜视觉合成一致性动态拟合的方法及装置 | |
Kumar et al. | Structure-preserving NPR framework for image abstraction and stylization | |
KR102628115B1 (ko) | 영상 처리 방법, 장치, 기록 매체 및 전자 장치 | |
CN113808027B (zh) | 一种人体图像处理方法、装置、电子设备及存储介质 | |
Zhang et al. | Progressive edge-sensing dynamic scene deblurring | |
Wang et al. | Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition | |
Khan et al. | A deep hybrid few shot divide and glow method for ill-light image enhancement | |
Hou et al. | Reconstructing a high dynamic range image with a deeply unsupervised fusion model | |
CN114862729A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
Wang et al. | Photography enhancement based on the fusion of tone and color mappings in adaptive local region | |
Cao et al. | Automatic motion-guided video stylization and personalization | |
Pavan Kumar et al. | HDR and image abstraction framework for dirt free line drawing to convey the shapes from blatant range images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |