CN115131409B - 一种基于深度学习的亲密矩阵视点合成方法、应用及系统 - Google Patents

一种基于深度学习的亲密矩阵视点合成方法、应用及系统 Download PDF

Info

Publication number
CN115131409B
CN115131409B CN202211030050.5A CN202211030050A CN115131409B CN 115131409 B CN115131409 B CN 115131409B CN 202211030050 A CN202211030050 A CN 202211030050A CN 115131409 B CN115131409 B CN 115131409B
Authority
CN
China
Prior art keywords
optical flow
network
intimacy
matrix network
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211030050.5A
Other languages
English (en)
Other versions
CN115131409A (zh
Inventor
高歌
王保耀
郭奇锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenzhi Future Intelligence Co ltd
Original Assignee
Shenzhen Shenzhi Future Intelligence Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenzhi Future Intelligence Co ltd filed Critical Shenzhen Shenzhi Future Intelligence Co ltd
Priority to CN202211030050.5A priority Critical patent/CN115131409B/zh
Publication of CN115131409A publication Critical patent/CN115131409A/zh
Application granted granted Critical
Publication of CN115131409B publication Critical patent/CN115131409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的亲密矩阵视点合成方法、应用及系统，涉及深度学习领域。本发明包括以下步骤：获取相邻两帧的数据对，将相邻两帧的数据对向参考帧对齐，得到边缘图像，并根据有效区域生成掩膜；利用双向光流网络相邻两帧的数据对的光流结果，根据光流结果推断帧间的遮挡区域；将边缘图像、掩膜以及光流结果归一化，输入到亲密矩阵网络；利用亲密矩阵网络和微调光流多次迭代结合合成全帧视点在RGB颜色空间图像。本发明吸取并融合传统算法和深度学习的优势，在日常视差，跑步，快速旋转和人群场景中可以提供优秀的视频稳像效果，并尽最大可能去保持高稳定性，降低截屏比和低扭曲变形的高质量视频。

Description

一种基于深度学习的亲密矩阵视点合成方法、应用及系统
技术领域
本发明涉及深度学习领域，更具体的说是涉及一种亲密矩阵网络训练方法、应用及系统。
背景技术
电子防抖在手机，相机，自动驾驶，无人机，航海，安防监控和其他视频记录设备领域是必不可缺的一项功能。视图合成算法作为可集成模块可以配合任何的电子防抖算法，在稳像的同时最大限度保留原始信息。
随着智能相机的不断发展，视频防抖技术在无人机、无人船、城市安防、高点监控、机器人、航空航天等领域的产品中的显得越来越重要。
视频防抖技术大致可分为光学防抖（Optical image stabilization：OIS）、电子防抖（Electric Image Stabilization：EIS）以及混合防抖（Hybrid ImageStabilization：HIS）。
OIS是一种硬件解决方案，它使用微机电系统(MEMS)陀螺仪来检测运动并相应地调整摄像头系统。
EIS是从软件算法角度，不必有额外的硬件支持，对视频的低频抖动和大幅运动稳像。相对于OIS，具有嵌入软件中，易于升级，低功耗，低成本等优点。HIS则是对OIS和EIS的融合方案。视图合成则是作为即插即用模块来显著提升EIS视频稳像算法由于裁剪损失的出画信息。
现今市场上大部分设备的电子防抖算法都是基于传统的防抖算法进行特征提取，轨迹滤波并结合来达到稳像的效果，适配场景较少，稳像后截图比较小，损失大量原始信息。因此，如何解决上述问题是本领域技术人员亟需研究的。
发明内容
有鉴于此，本发明提供了一种亲密矩阵网络训练方法、应用及系统，采用视图合成算法将帧间图像信息补充当前帧在稳像后被截掉的部分，从而达到更好的视觉效果。
为了实现上述目的，本发明采用如下技术方案：
公开了一种亲密矩阵网络的训练方法，包括以下步骤：
建立亲密矩阵网络；
利用视点合成后的RGB颜色空间图像
Figure 766661DEST_PATH_IMAGE001
、边缘图像
Figure 479402DEST_PATH_IMAGE002
和掩膜
Figure 934654DEST_PATH_IMAGE003
，以及其对应的真值
Figure 349324DEST_PATH_IMAGE004
、
Figure 446593DEST_PATH_IMAGE005
、
Figure 13840DEST_PATH_IMAGE006
求得损失函数LI、损失函数LG、损失函数LM、损失函数Ltotal，具体算法如下：
Figure 639994DEST_PATH_IMAGE007
；
Figure 558271DEST_PATH_IMAGE008
；
Figure 193652DEST_PATH_IMAGE009
；
Figure 100559DEST_PATH_IMAGE010
；
其中，
Figure 428772DEST_PATH_IMAGE011
设置在这里用来稳定损失计算结果取值为一个接近但不等于0的数，总损失函数中会添加
Figure 303187DEST_PATH_IMAGE012
，
Figure 742259DEST_PATH_IMAGE013
和
Figure 18520DEST_PATH_IMAGE014
来控制三种损失在总损失
Figure 517634DEST_PATH_IMAGE015
中的权重比例；
利用损失函数对所述亲密矩阵网络进行训练；
当损失函数的值稳定时，结束训练，得到训练好的亲密矩阵网络。
还公开了一种基于亲密矩阵网络的电子防抖视图合成方法，包括以下步骤：
获取相邻两帧的数据对，将相邻两帧的数据对向参考帧对齐，得到边缘图像，并根据有效区域生成掩膜；
利用双向光流网络相邻两帧的数据对的光流结果，根据光流结果推断帧间的遮挡区域；
将边缘图像、掩膜以及光流结果归一化，输入到亲密矩阵网络；
利用亲密矩阵网络和微调光流卷积多次迭代得到光滑且充足的信息。这样可以为后续视点合成全帧RGB颜色空间图像提供过度连续的图像依据。
可选的，还包括RGB颜色空间数据转为黑白图后的边缘信息，通过索贝尔算子进行提取。
可选的，还包括视点合成，具体为基于已知信息推断未知的黑边区域，其中翘曲前一时刻i-1的RGB图像
Figure 131543DEST_PATH_IMAGE016
、边缘图像
Figure 108726DEST_PATH_IMAGE017
、掩膜
Figure 505072DEST_PATH_IMAGE006
的重要依据就是传播过的微调光流
Figure 909509DEST_PATH_IMAGE018
来合成全帧的
Figure 758516DEST_PATH_IMAGE001
、
Figure 273811DEST_PATH_IMAGE002
、
Figure 540975DEST_PATH_IMAGE003
视点：
Figure 116313DEST_PATH_IMAGE019
；
Figure 452617DEST_PATH_IMAGE020
；
Figure 37182DEST_PATH_IMAGE021
；
可选的，所述双向光流网络选取符合UNet结构的CNN网络，正向和逆向光流的输出结果一维为水平位移，另一维为竖直位移。
可选的，利用亲密矩阵网络和微调光流卷积多次迭代得到均匀的光流。这样可以为后续视点合成全帧RGB颜色空间图像提供重要且最直接的依据
Figure 142541DEST_PATH_IMAGE018
，具体步骤如下：
Figure 888780DEST_PATH_IMAGE022
：亲密矩阵的半径、
Figure 446800DEST_PATH_IMAGE023
：在第i次迭代时的亲密矩阵、
Figure 84324DEST_PATH_IMAGE024
：第i个时刻，第t次迭代时的微调光流、
Figure 44190DEST_PATH_IMAGE025
：图像的2D坐标；
Figure 961330DEST_PATH_IMAGE026
；
Figure 537805DEST_PATH_IMAGE027
；
微调光流每次迭代的微调是参照
Figure 198593DEST_PATH_IMAGE028
；同时结合在逆向光流中的掩膜
Figure 29277DEST_PATH_IMAGE029
结果得到当前迭代次数的微调光流结果：
Figure 382898DEST_PATH_IMAGE030
经过多次迭代后，最终结果才会得到光滑的微调光流结果
Figure 915511DEST_PATH_IMAGE018
。这样的光流结果更利于后续的视点合成形成有良好连续性的全帧RGB颜色空间图像。
最后公开了一种基于亲密矩阵网络的电子防抖视图合成系统，包括：
粗对齐模块：用于获取相邻两帧的数据对，将相邻两帧的数据对向参考帧对齐，得到边缘图像，并根据有效区域生成掩膜；
双向光流网络计算模块：用于利用双向光流网络相邻两帧的数据对的光流结果，根据光流结果推断帧间的遮挡区域；
亲密网络模块：用于将边缘图像、掩膜以及光流结果归一化，输入到亲密矩阵网络；
视点合成模块：亲密矩阵网络和微调光流点乘多次迭代得到光滑且充足的信息
Figure 645569DEST_PATH_IMAGE018
。这样可以为后续视点合成全帧RGB颜色空间图像提供重要且最直接的依据。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于亲密矩阵网络的电子防抖视图合成方法及系统，吸取并融合传统算法和深度学习的优势在日常，视差，跑步，快速旋转和人群场景中可以提供优秀的视频稳像效果，并尽最大可能去保持高稳定性，降低截屏比和低扭曲变形的高质量视频，具有以下有益效果：
1、首次尝试了通过在视点合成期间，利用光流作为推断合成的依据和必要的边界外视图来改进视频稳定器，实现全帧（即不裁剪图像）稳定性。
2、基于视频中的空间一致性，利用亲密性矩阵的特性，提出了一种用于边界外视图合成的两阶段的由粗到细（粗对齐到微调光流）的方法。
3、公开可用数据集NUS的实验结果表明，此发明适配性很强。可以作为即插即用模块来显著提升视频稳像算法的截屏比。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明的流程示意图；
图2为本发明的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于亲密矩阵网络的电子防抖视图合成方法，如图1所示，包括以下步骤：
获取相邻两帧的数据对，将相邻两帧的数据对向参考帧对齐，得到边缘图像，并根据有效区域生成掩膜；
利用双向光流网络相邻两帧的数据对的光流结果，根据光流结果推断帧间的遮挡区域；
将边缘图像、掩膜以及光流结果归一化，输入到亲密矩阵网络；
利用亲密矩阵网络和微调光流进行卷积计算并多次迭代得到光滑且充足的光流结果
Figure 314448DEST_PATH_IMAGE018
。光流结果
Figure 838970DEST_PATH_IMAGE018
这样可以为后续视点合成全帧RGB颜色空间图像提供重要且最直接的依据。
具体如下：
粗对齐：使用相邻两帧RGB颜色空间的分辨率为720P的数据对
Figure 370796DEST_PATH_IMAGE031
作为输入。在时域上，将相邻帧向参考帧对齐。对齐操作会导致图像的边缘部分出画，产生黑边。训练时，为了尽可能提高网络学习的能力，对于相邻的原始RGB颜色空间数据进行随机截图后，仅对前一帧图像进行居中截取操作。居中截图操作后对于周围信息进行补零，模拟黑边区域作为训练数据。针对图像的有效区域生成掩膜
Figure 373387DEST_PATH_IMAGE032
来标注未出画区域，作为可提供参考信息，但不必被学习的区域。黑边区域暂时无效，但在接下来的步骤要重点学习。除此之外，RGB颜色空间数据
Figure 427931DEST_PATH_IMAGE033
转为黑白图后的边缘信息
Figure 123354DEST_PATH_IMAGE034
，需要通过索贝尔算子进行提取，也作为输入为后续步骤做准备。
双向光流网络：光流网络是利用连续的两帧RGB颜色空间数据对
Figure 364980DEST_PATH_IMAGE033
（每一帧维度为H x W x 3）作为输入的被用来寻找帧间运动所广泛应用。光流算法基于三个假设：
相邻帧之间的亮度恒定；
相邻帧之间物体的运动比较“微小”；
保持空间一致性；即，相邻像素点具有相同的运动；
光流分为稀疏光流和稠密光流。稀疏光流只需要关于每个感兴趣点周围小窗口的局部信息，而稠密光流是基于前后两帧所有像素点的移动估算算法，其效果要比稀疏光流算法更好。所以此发明使用的是稠密的双向光流。
双向光流，就是对于正向和逆向时间维度都计算光流结果，这对于推断帧间的遮挡区域有很重要的作用。双向光流网络是符合UNet结构的CNN网络，正向和逆向光流的输出结果
Figure 436841DEST_PATH_IMAGE035
分别是H x W x 2的，一维为水平位移，另一维为竖直位移。
亲密矩阵网络：第1步的RGB颜色空间图像
Figure 96624DEST_PATH_IMAGE036
，边缘图像
Figure 697369DEST_PATH_IMAGE037
和掩膜
Figure 675558DEST_PATH_IMAGE036
和第2步的双向光流
Figure 19952DEST_PATH_IMAGE035
归一化后从第三维度合并为H x W x通道数作为网络输入。此网络是UNet结构，是用来学习亲密性矩阵和经过微调后的光流的。亲密性矩阵是用来找像素点之间关联性的，值域范围为[0，1]。如果两个像素点关系越亲密，就越趋近于1，反之则为0。输出的亲密性矩阵维度是H x W x(2r+1),这里半径
Figure 783509DEST_PATH_IMAGE022
是矩阵的半径，微调光流
Figure 555156DEST_PATH_IMAGE038
结果符合H x W x 2的光流格式。
传播：到目前为止微调光流的结果是在未出画区域内的。黑边区域的内容需要靠亲密性矩阵和微调光流卷积操作及一系列计算来为视点合成提供推断依据。
Figure 302532DEST_PATH_IMAGE022
：亲密矩阵的半径、
Figure 450616DEST_PATH_IMAGE023
：在第i次迭代时的亲密矩阵、
Figure 320877DEST_PATH_IMAGE024
：第i个时刻，第t次迭代时的微调光流、
Figure 529004DEST_PATH_IMAGE025
：图像的2D坐标；
Figure 498097DEST_PATH_IMAGE026
；
Figure 184294DEST_PATH_IMAGE027
；
微调光流每次迭代的微调是参照第一次
Figure 922442DEST_PATH_IMAGE039
来控制；同时结合在逆向光流中的掩膜
Figure 301471DEST_PATH_IMAGE029
结果得到当前迭代次数的微调光流结果：
Figure 243013DEST_PATH_IMAGE030
经过多次迭代后，最终结果才会得到光滑的光流结果
Figure 732901DEST_PATH_IMAGE018
。这样的光流结果更利于后续的视点合成形成均匀的全帧RGB颜色空间图像。
视点合成：此发明的视点合成和通常意义上的有些许不同，因为是基于已知信息推断未知的黑边区域，这是一种结合外推的翘曲过程。视点合成翘曲前一时刻i的
Figure 325556DEST_PATH_IMAGE016
、
Figure 141065DEST_PATH_IMAGE017
、
Figure 819171DEST_PATH_IMAGE006
的重要依据就是传播过的微调光流
Figure 847170DEST_PATH_IMAGE018
来得到全帧的
Figure 294332DEST_PATH_IMAGE040
、
Figure 264431DEST_PATH_IMAGE041
、
Figure 695412DEST_PATH_IMAGE042
。
Figure 527102DEST_PATH_IMAGE043
；
Figure 828770DEST_PATH_IMAGE044
；
Figure 986082DEST_PATH_IMAGE045
；
损失函数计算：得到外推后的RGB颜色空间图像
Figure 638780DEST_PATH_IMAGE001
、边缘
Figure 759314DEST_PATH_IMAGE002
和掩膜
Figure 181068DEST_PATH_IMAGE042
后，需要和其对应的真值
Figure 243702DEST_PATH_IMAGE046
、
Figure 118117DEST_PATH_IMAGE047
、
Figure 822768DEST_PATH_IMAGE048
（即当前帧数据）求得损失函数。通过训练得到的有效区域通过和掩膜的点乘来计算。
Figure 99029DEST_PATH_IMAGE011
设置在这里用来稳定损失计算结果，取值为趋近于0的极小值来应对平凡解的情况。由于在训练中网络可能存在不断缩小掩膜的情况，导致并不去学习该补充的黑边信息，便添加了一个均方误差专门来惩罚掩膜缩小的现象。总损失函数中会添加
Figure 332564DEST_PATH_IMAGE012
，
Figure 940613DEST_PATH_IMAGE013
和
Figure 917796DEST_PATH_IMAGE014
来控制三种损失的权重比例。此发明中，
Figure 314143DEST_PATH_IMAGE013
和
Figure 718579DEST_PATH_IMAGE014
会承担大于
Figure 567586DEST_PATH_IMAGE012
的权重。
Figure 348461DEST_PATH_IMAGE049
；
Figure 350046DEST_PATH_IMAGE050
；
Figure 925384DEST_PATH_IMAGE051
；
Figure 261687DEST_PATH_IMAGE052
。
在本实施例中还公开了一种基于亲密矩阵网络的电子防抖视图合成系统，如图2所示，包括：
粗对齐模块：用于获取相邻两帧的数据对，将相邻两帧的数据对向参考帧对齐，得到边缘图像，并根据有效区域生成掩膜；
双向光流网络计算模块：用于利用双向光流网络相邻两帧的数据对的光流结果，根据光流结果推断帧间的遮挡区域；
亲密网络模块：用于将边缘图像、掩膜以及光流结果归一化，输入到亲密矩阵网络；
视点合成模块：用于利用亲密矩阵网络和微调光流多次迭代并推断得到全帧RGB颜色空间图像。
另外，在另一实施例中还公开了以下技术方案：
1.输入数据：输入的RBG数据也可替换为dng、RAW等原始图像格式，或者HSV、YUV等其他色彩空间图片。本实施例的训练数据使用的是720P分辨率的图片，当然也可以被其他分辨率的图片结合上下采样等数据预处理所代替。
2.双向光流网络：基于OpenCV的Farneback算法是传统最经典的稠密光流算法，及基于深度学习的FlowNet I,II,III，PWC Net以及后续更新的最新的光流网络配合一个反转光流层直接得到双向光流。也包括基于插帧应用的双向光流网络等可直接获得双向光流结果。
3.亲密估计网络：可被符合UNet结构的CNN网络所替代，具体的网络结构，训练方法和损失函数设置需要试具体情况来调节。
4.视点合成：因为微调光流也是符合光流数据结构的，所以基于稠密光流的翘曲方式推断的方法，来合成最终结果都是可以被应用在此实施例中的。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种亲密矩阵网络的训练方法，其特征在于，包括以下步骤：
建立亲密矩阵网络，所述亲密矩阵网络是UNet结构，是用来学习亲密性矩阵和经过微调后的光流的；亲密性矩阵是用来找像素点之间关联性的；
利用视点合成后的RGB颜色空间图像
Figure FDA0003908771290000011
边缘图像
Figure FDA0003908771290000012
和掩膜
Figure FDA0003908771290000013
以及对应的真值
Figure FDA0003908771290000014
Mi-1求得损失函数LI、损失函数LG、损失函数LM、损失函数Ltotal，具体算法如下：
Figure FDA0003908771290000015
Figure FDA0003908771290000016
Figure FDA0003908771290000017
Ltotal＝αLI+βLG+γLM；
其中，ε用来稳定损失计算结果取值为一个接近但不等于0的数，总损失函数中会添加α，β和γ来控制三种损失的权重比例；
利用损失函数对所述亲密矩阵网络进行训练；
当损失函数的值收敛并达到稳定极小值，结束训练，得到训练好的亲密矩阵网络。
2.一种基于亲密矩阵网络视图合成的电子防抖方法，其特征在于，根据权利要求1所述的一种亲密矩阵网络的训练方法，包括以下步骤：
获取相邻两帧的数据对，将相邻两帧的数据对向参考帧对齐，得到边缘图像，并根据有效区域生成掩膜；
利用双向光流网络相邻两帧的数据对的光流结果，根据光流结果推断帧间的遮挡区域；
将边缘图像、掩膜以及光流结果归一化，输入到亲密矩阵网络；
利用亲密矩阵网络和微调光流多次迭代得到全帧RGB颜色空间图像。
3.根据权利要求2所述的一种基于亲密矩阵网络视图合成的电子防抖方法，其特征在于，还包括RGB颜色空间数据转为黑白图后的边缘信息，通过索贝尔算子进行提取。
4.根据权利要求2所述的一种基于亲密矩阵网络视图合成的电子防抖方法，其特征在于，还包括视点合成，具体为：基于已知信息推断未知的黑边区域，其中翘曲前一时刻i的Ii-1、Gi-1、Mi-1的重要依据就是多次传播迭代过的微调光流
Figure FDA0003908771290000021
来得到全帧的
Figure FDA0003908771290000022
Figure FDA0003908771290000023
Figure FDA0003908771290000024
Figure FDA0003908771290000025
5.根据权利要求2所述的一种基于亲密矩阵网络视图合成的电子防抖方法，其特征在于，所述双向光流网络选取符合UNet结构的CNN网络，正向和逆向光流的输出结果一维为水平位移，另一维为竖直位移。
6.根据权利要求2所述的一种基于亲密矩阵网络视图合成的电子防抖方法，其特征在于，利用亲密矩阵网络和微调光流进行卷积操作多次迭代得到光滑且充足的信息；为后续视点合成全帧RGB颜色空间图像提供依据，具体步骤如下：
r为亲密矩阵的半径、Ki为在第i次迭代时的亲密矩阵、
Figure FDA0003908771290000026
为第i个时刻，第t次迭代时的微调光流、[u,v]为图像的2D坐标；
Figure FDA0003908771290000027
Figure FDA0003908771290000028
微调光流每次卷积迭代的微调是参照
Figure FDA0003908771290000029
的权重μ来控制；同时结合在逆向光流中的掩膜结果
Figure FDA00039087712900000210
得到当前迭代次数的微调光流结果：
Figure FDA00039087712900000211
经过多次迭代后，得到带有黑边部分信息的光流结果并且过度光滑、均匀。
7.一种基于亲密矩阵网络视图合成的电子防抖系统，其特征在于，根据权利要求1所述的一种亲密矩阵网络的训练方法，包括：
粗对齐模块：用于获取相邻两帧的数据对，将相邻两帧的数据对向参考帧对齐，得到边缘图像，并根据有效区域生成掩膜；
双向光流网络模块：用于利用双向光流网络相邻两帧的数据对的光流结果，根据光流结果推断帧间的遮挡区域；
亲密网络模块：用于将边缘图像、掩膜以及光流结果归一化，输入到亲密矩阵网络；
视点合成模块：用于利用亲密矩阵网络和微调光流多次卷积迭代并结合前一帧信息得到全帧RGB颜色空间图像。
CN202211030050.5A 2022-08-26 2022-08-26 一种基于深度学习的亲密矩阵视点合成方法、应用及系统 Active CN115131409B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211030050.5A CN115131409B (zh) 2022-08-26 2022-08-26 一种基于深度学习的亲密矩阵视点合成方法、应用及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211030050.5A CN115131409B (zh) 2022-08-26 2022-08-26 一种基于深度学习的亲密矩阵视点合成方法、应用及系统

Publications (2)

Publication Number Publication Date
CN115131409A CN115131409A (zh) 2022-09-30
CN115131409B true CN115131409B (zh) 2023-01-24

Family

ID=83387532

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211030050.5A Active CN115131409B (zh) 2022-08-26 2022-08-26 一种基于深度学习的亲密矩阵视点合成方法、应用及系统

Country Status (1)

Country Link
CN (1) CN115131409B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272377A (zh) * 2012-02-06 2015-01-07 莱金德3D有限责任公司 运动图片项目管理系统
CN104978579A (zh) * 2015-06-10 2015-10-14 国家计算机网络与信息安全管理中心 一种对图像型垃圾邮件进行过滤的方法及装置
CN109389605A (zh) * 2018-09-30 2019-02-26 宁波工程学院 基于前景背景估计和分级区域关联的图像协同分割方法
CN110837861A (zh) * 2019-11-06 2020-02-25 亮风台（上海）信息科技有限公司 一种图像匹配方法、装置、设备和存储介质
CN111046847A (zh) * 2019-12-30 2020-04-21 北京澎思科技有限公司 一种视频处理方法、装置、电子设备以及介质
CN112584789A (zh) * 2018-06-19 2021-03-30 托尼尔公司 具有配准虚拟模型的物理标记的混合现实外科手术系统
CN112785601A (zh) * 2021-01-07 2021-05-11 重庆兆琨智医科技有限公司 一种图像分割方法、系统、介质及电子终端
CN113850381A (zh) * 2021-09-15 2021-12-28 支付宝(杭州)信息技术有限公司 一种图神经网络训练方法及装置
CN113868550A (zh) * 2021-09-29 2021-12-31 西安理工大学 一种基于注意力机制的群组美食推荐方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10086539B2 (en) * 2014-03-25 2018-10-02 University Of Houston System Synthesis of effective carbon nanoreinforcements for structural applications
US20230419600A1 (en) * 2020-11-05 2023-12-28 Google Llc Volumetric performance capture with neural rendering
CN113450274B (zh) * 2021-06-23 2022-08-05 山东大学 一种基于深度学习的自适应视点融合方法及系统
CN114677477A (zh) * 2022-03-31 2022-06-28 成都信息工程大学 一种虚拟视点合成方法、系统、介质、设备及终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104272377A (zh) * 2012-02-06 2015-01-07 莱金德3D有限责任公司 运动图片项目管理系统
CN104978579A (zh) * 2015-06-10 2015-10-14 国家计算机网络与信息安全管理中心 一种对图像型垃圾邮件进行过滤的方法及装置
CN112584789A (zh) * 2018-06-19 2021-03-30 托尼尔公司 具有配准虚拟模型的物理标记的混合现实外科手术系统
CN109389605A (zh) * 2018-09-30 2019-02-26 宁波工程学院 基于前景背景估计和分级区域关联的图像协同分割方法
CN110837861A (zh) * 2019-11-06 2020-02-25 亮风台（上海）信息科技有限公司 一种图像匹配方法、装置、设备和存储介质
CN111046847A (zh) * 2019-12-30 2020-04-21 北京澎思科技有限公司 一种视频处理方法、装置、电子设备以及介质
CN112785601A (zh) * 2021-01-07 2021-05-11 重庆兆琨智医科技有限公司 一种图像分割方法、系统、介质及电子终端
CN113850381A (zh) * 2021-09-15 2021-12-28 支付宝(杭州)信息技术有限公司 一种图神经网络训练方法及装置
CN113868550A (zh) * 2021-09-29 2021-12-31 西安理工大学 一种基于注意力机制的群组美食推荐方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Learning Combinatorial Solver for Graph Matching";Tao Wang等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200805;第7565-7574页 *
"一种基于两视点DIBR的改进虚拟视点合成方法";王路等;《山东大学学报(理学版)》;20160331;第51卷(第3期);第122-142页 *

Also Published As

Publication number Publication date
CN115131409A (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
US11388385B2 (en) Primary and auxiliary image capture devices for image processing and related methods
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
US8559763B2 (en) Method and apparatus for motion-compensated interpolation (MCI) with conservative motion model
WO2018225967A1 (en) Device having cameras with different focal lengths and method of implementing cameras
CA2430591C (en) Techniques and systems for developing high-resolution imagery
US8520085B2 (en) Method of full frame video stabilization
US7773819B2 (en) Image processing apparatus
US11995856B2 (en) Video depth estimation based on temporal attention
CN110889809B (zh) 图像处理方法及装置、电子设备、存储介质
CN114429191B (zh) 基于深度学习的电子防抖方法、系统及存储介质
Wang et al. Video stabilization: A comprehensive survey
CN105657268A (zh) 一种基于多分辨率的多视点视频拼接融合算法
CN115115516A (zh) 基于Raw域的真实世界视频超分辨率算法
US8260084B2 (en) Binary image stitching based on grayscale approximation
CN115131409B (zh) 一种基于深度学习的亲密矩阵视点合成方法、应用及系统
JP2017207818A (ja) 画像処理装置、画像処理方法、プログラム
Choi et al. Self-supervised real-time video stabilization
CN103167304B (zh) 立体视频帧率提升方法和装置
WO2022148307A1 (zh) 获取视差图像的方法、装置、电子设备、存储介质及计算机程序
US20100182464A1 (en) Joint Automatic Demosaicking And White Balancing
US11669939B1 (en) Burst deblurring with kernel estimation networks
CN111340695A (zh) 一种球幕视频的超分重建方法
WO2021254229A1 (zh) 低照度视频处理方法、设备和存储介质
CN114972517B (zh) 一种基于raft的自监督深度估计方法
TW201322732A (zh) 調整影像之運動景深的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant