CN107113381A - 时空局部变形及接缝查找的容差视频拼接 - Google Patents
时空局部变形及接缝查找的容差视频拼接 Download PDFInfo
- Publication number
- CN107113381A CN107113381A CN201580062015.3A CN201580062015A CN107113381A CN 107113381 A CN107113381 A CN 107113381A CN 201580062015 A CN201580062015 A CN 201580062015A CN 107113381 A CN107113381 A CN 107113381A
- Authority
- CN
- China
- Prior art keywords
- space
- time
- seam
- target
- video sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 230000006870 function Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000000704 physical effect Effects 0.000 claims description 8
- 230000001052 transient effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 5
- 238000002203 pretreatment Methods 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims 6
- 238000003860 storage Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000001152 differential interference contrast microscopy Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009452 underexpressoin Effects 0.000 description 2
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 description 1
- CIWBSHSKHKDKBQ-JLAZNSOCSA-N Ascorbic acid Chemical compound OC[C@H](O)[C@H]1OC(=O)C(O)=C1O CIWBSHSKHKDKBQ-JLAZNSOCSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000002864 sequence alignment Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000035922 thirst Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Geometry (AREA)
Abstract
装置用于执行容差视频拼接方法。所述方法包括：确定多个待拼接的视频序列；对所述视频序列执行时空局部变形计算处理，以确定多个目标变形映射；采用所述目标变形映射，将所述视频序列中的多个帧变形为多个目标虚拟帧；对所述目标虚拟帧进行基于内容的时空查找接缝处理，以确定多个目标接缝映射；采用所述目标接缝映射将所述视频序列进行拼接。
Description
技术领域
本发明通常涉及视频处理，尤其涉及时空局部变形及接缝查找的容差视频拼接的系统及方法。
背景技术
由于计算能力的日益增强，存储容量的不断扩大，以及传输带宽的不断扩展，市场上出现了多种多样的应用，这为现代用户提供了各种视觉体验。例如，随着诸如超大屏幕以及超清电视等高分辨率显示设备的出现，人们越来越期望生成具有超大视场(Field-of-View，简称FoV)的高质量视频，这可以给用户提供浸入式的媒体体验。已经提出了多种构建大FoV图像的设备及方法。为了实现这一目的，专业代理机构采用极其昂贵的高端摄像头系统，例如，国防工业采用的AWARE-2摄像头，这是一种单核心多尺度的摄像头，包括一组辅助微型摄像头所环绕的球形对称物镜。而对于具有更小预算的群体(例如，独立摄影师或者业余消费者)，则渴望一种能够获得良好质量但是成本低得多的摄像头系统。
发明内容
根据一实施例，提供了一种容差视频拼接方法。所述方法包括：确定多个待拼接的视频序列；对所述视频序列执行时空局部变形计算处理，以确定多个目标变形映射；采用所述目标变形映射，将所述视频序列中的多个帧变形为多个目标虚拟帧；对所述目标虚拟帧进行基于内容的时空接缝查找处理，以确定多个目标接缝映射；采用所述目标接缝映射将所述视频序列进行拼接。
根据另一实施例，提供了一种容差视频拼接装置。所述装置包括：至少一个存储器以及耦合于所述至少一个存储器的至少一个处理器。所述至少一个处理器用于：确定多个待拼接的视频序列；对所述视频序列执行时空局部变形计算处理，以确定多个目标变形映射；采用所述目标变形映射，将所述视频序列中的多个帧变形为多的目标虚拟帧；对所述目标虚拟帧进行基于内容的时空接缝查找处理，以确定多个目标接缝映射；采用所述目标接缝映射将所述视频序列进行拼接。
根据又一实施例，提供了一种包含计算机程序的非瞬时性计算机可读介质。所述计算机程序包括计算机可读程序代码，用于：确定多个待拼接的视频序列；对所述视频序列执行时空局部变形计算处理，以确定多个目标变形映射；采用所述目标变形映射，将所述视频序列中的多个帧变形为多个目标虚拟帧；对所述目标虚拟帧进行基于内容的时空接缝查找处理，以确定多个目标接缝映射；采用所述目标接缝映射将所述视频序列进行拼接。
在一个示例性实施例中，采用容差视频拼接装置将所述视频序列进行拼接。所述容差视频拼接装置包括：确定多个待拼接的视频序列的确定元件；对所述视频序列执行时空局部变形计算处理，以确定多个目标变形映射的执行元件；采用所述目标变形映射，将所述视频序列中的多个帧变形为多个目标虚拟帧的变形元件；对所述目标虚拟帧进行基于内容的时空接缝查找处理，以确定多个目标接缝映射的执行元件；采用所述目标接缝映射将所述视频序列进行拼接的拼接元件。
附图说明
为了更完整地理解本发明及其优点，现在参考下文结合附图进行的描述，相同的数字表示相同的对象，其中：
图1A示出了采用单一全局单应性引起的视差问题的示例。
图1B示出了采用单应性网格校正的视差问题。
图2A和图2B示出了在视频中直接运用二维(Two Dimensional，简称2D)拼接技术而引起的视差问题的示例。
图3示出了本发明提供的视频拼接的总体工作流程。
图4示出了本发明提供的实现图3所述时空局部变形计算块功能的时空局部变形框架的详图。
图5示出了本发明提供的实现图3所述基于内容的时空接缝查找块功能的基于内容的时空接缝查找框架的详图。
图6示出了本发明提供的采用时空图形构造处理所构造的图形的示例。
图7示出了本发明提供的视频拼接的示例方法。
图8示出了本发明提供的用于进行视频拼接工作流程的计算设备的示例。
具体实施方式
下面所述的图1A至图8以及用于描述本专利文档中的本发明原则的各实施例都仅用于示意性说明，而非对本发明的范围造成限制。本领域技术人员应该知道，本发明原则可以在任一合理设置的设备或系统中得以实现。
以下文档的内容被引入到本发明。(1)Brady等人编写的《多尺度十亿像素摄影》，Nature：486:386-389，2012(以下称为“参考1”)；(2)F.Zhang和F.Liu编写的《容差图像拼接》，IEEE CVPR，2014(以下称为“参考2”)；(3)Szeliski编写的《图像对齐及拼接：教程》，计算机图形及计算机视觉基础及趋势2006(以下称为“参考3”)。
采用诸如正常单反相机DSLR(Digital Single-Lens Reflex，简称DSLR)或移动摄像头等成本适中的摄像头，已经提出了很多用于生成大视场(Field-of-View，简称FoV)2D照片全景的方法。这些方法不需要使用恢复几何及测光场景模块，但是他们要求所采集的场景必须是平面或远景的，或者摄像头视点必须是紧密分布的，使得采用单一全局单应性可以将每个图像拼接到参考图像。当这些要求不能完全满足时，即当单一全局单应性不足以将图像拼接到参考图像时(这在实际应用中经常遇到)，生成的拼接的全景通常呈现不同程度的视差问题，例如，图1A所示的重影及失真。
为了解决视差问题，已经提出了一个或多个保留局部内容的变形算法。采用单应网格而非单一全局单应性，可以将每个图像拼接到具有局部单应性的参考图像，从而极大地减少图1B所示的视差问题。然而，如果视频包含不可忽视的中大型移动物体，那么很难普及之前的构造视频全景的2D全景方法。如果直接运用之前的2D全景方法对个别视频帧进行拼接，将会引起严重的问题，不仅仅是针对由于物体移动而造成的物体区域周围，而且也针对由于2D变形和/或拼接接缝中的不一致而造成的全部拼接的视频，正如图2B所示(比较而言，图2A中示出的帧具有更少的问题或没有问题)。
为了解决这些问题，本发明实施例提供了视频拼接的系统及方法，其包括时空局部变形框架以及基于内容的时空接缝查找框架。时空局部变形框架解决的是视频拼接中由移动物体所引起的问题，该框架包括确定最佳局部变形映射的时空成本函数，从而通过保留时空局部对齐、保留时空全局对齐以及保持时空平滑，将视频拼接到参考视频。
基于内容的时空接缝查找框架解决的是由不一致的拼接接缝以及不想要的剪辑显著前景物体的接缝所引起的问题。该框架包括基于内容的时空图割接缝查找机制。构造时空图形，该图形包含空间及时间边缘，并将像素的似物性考虑在内。基于该图形得到的最佳流接缝可以将视频更一致地进行拼接，同时也能避免对显著的前景物体进行剪辑。
图3示出了本发明提供的视频拼接的总体工作流程。图3所示的该工作流程300仅用于示意性说明。可以采用该工作流程300的其他实施例，其并不脱离本发明的范围。
为了更好地阐述视频拼接工作流程300，假设有n个待拼接的视频序列301a-301n。对参考视频序列进行定义，其可以是n个视频序列301a至301n中的任意一个。视频拼接的主要目的是通过将n个视频序列301a-301n的对应帧拼接到参考视频序列，生成更大的视频序列。假定Ii,t表示时间t下的参考视频序列中的帧，假定Ii,t表示时间t下的第i个视频序列中的帧。采用视频拼接，通过在不同的时间t＝1,...,m下将Ii,t,i＝1,...,n拼接到生成虚拟帧Ι′t。
视频拼接工作流程300包括启用容差视频拼接的两个功能块：时空局部变形计算块310和基于内容的时空接缝查找块320。该时空局部变形计算块310采用视频序列301a-301n确定一组目标变形映射Μi,t302。采用对应的目标变形映射Μi,t302将每个帧Ii,t变形为目标虚拟帧该基于内容的时空接缝查找块320采用目标虚拟帧303确定一组目标接缝映射304。现对功能块310、320进行更详细的描述。
图4示出了本发明提供的实现时空局部变形计算块310功能的时空局部变形架构的详图。空局部变形架构400可与图3中的视频拼接工作流300结合使用。图4所示的时空局部变形架构400仅用于示意性说明。可以采用其他实施例的架构400，其并不脱离本发明的范围。
如图4所示，时空局部变形架构400采用一组视频序列Ii,t,i＝1,...,n,t＝1,...,m(在图4中，用视频序列301a-301n表示)，并确定一组目标变形映射Μi,t,i＝1,...,n,t＝1,...,m(在图4中，用目标变形映射302表示)。每个目标变形映射Μi,t包括用于将原始帧Ii,t变换(或变形)为目标虚拟帧的信息，其中，与参考帧是对齐的。
该时空局部变形架构400的第一步骤是采用一组视频序列Ii,t,i＝1,...,n,t＝1,...,m(视频序列301a-301n)，并从每个视频序列中提取一组视觉关键点(Pi,t,k,di,t,k),k＝1,...,Ki(关键点401a-401n)，其中，di,t,k为视觉描述符。每个视觉关键点(Pi,t,k,di,t,k)i记录对应视频序列中的关键点的时空位置。
参数Pi,t,k＝(xi,t,k,yi,t,k)和视觉描述符di,t,k共同对关于对应视频序列中的视觉关键点的局部视觉特征进行描述。可以采用各种关键点提取技术提取视觉关键点，例如，2D或3D Harris角点检测器。存在各种用于di,t,k的描述符，例如，尺度不变量特征转换(ScaleInvariant Feature Transform，简称SIFT)、加速稳健特征(Speeded Up RobustFeatures，简称SURF)或者加速段测试特征(Features from Accelerated Segment Test，简称FAST)描述符。
采用一组视觉关键点(Pi,t,k,di,t,k),k＝1,...,Ki(关键点401a-401n)，该时空局部变形架构400确定一组空间全局单应性(空间全局单应性402)和一组时间全局单应性Ti,t,i＝1,...,n,t＝1,...,m(时间全局单应性403)。每个空间全局单应性为3x3转换矩阵，用于对每个帧Ii,t进行转换，从而与参考帧对齐。类似地，每个时间全局单应性Ti,t为3x3转换矩阵，用于对每个帧Ii,t进行转换，从而与第i个视频序列中的时间参考帧对齐。
在一优选实施例中，可以通过两个步骤确定时间参考帧首先，根据公式Ai＝avg∑tAi(t,t+1)计算平均的时间全局单应性Ai，其中，Ai(t,t+1)为3x3转换矩阵，用于对帧Ii,t+1进行转换。通过采用时间全局单应性Tit将每个帧Ii,t进行转换，以便与时间参考帧对齐，从而可以采用Ai定义的静态全局摄像头路径自动实现稳定原始视频帧Ii,t所带来的益处。当视频采集期间存在少量摄像头震动时，这有利于最终的拼接结果。当摄像头系统在物理上不是完全稳定时，例如，当摄像头系统在有强风的室外使用时，可能会出现这种震动。
在一优选实施例中，可以基于关键点(Pi,t,k,di,t,k)和(Pi,t+1,k,di,t+1,k)之间的相似性确定时间匹配对(Pi,t,l,Pi,t+1,l),l＝1,...,Li,t，可以基于时间匹配对(Pi,t,l,Pi,t+1,l),l＝1,...,Li,t采用随机抽样一致性以及离群值拒绝确定Ai(t,t+1)。采用平均的时间全局单应性Ai，可以将时间匹配对Pi,t,l,l＝1,...,Li,t中的第一项转换为新的位置P'i,t,l,l＝1,...,Li,t，并基于匹配对(P'i,t,l,Pi,t+1,l),l＝1,...,Li,t采用随机抽样一致性以及RANSAC离群值拒绝确定时间全局单应性Ti,t。同时，可以基于关键点(Pi,t,k,di,t,k)和之间的相似性得到空间匹配对并可以采用不同时间(Pi,t,l,Pj,t,l),l＝1,...,Li,j,t＝1,...,m下的所有空间匹配对以及采用随机抽样一致性以及离群值拒绝确定空间全局单应性其中，为从参考视频序列中提取的关键点，其可以为n个输入视频序列301a-301n中的任一个。
预变形处理404采用空间全局单应性(空间全局单应性402)以及时间全局单应性Tit,i＝1,...,n,t＝1,...,m(时间全局单应性403)。在预变形处理404中，根据方程式将每个输入视频帧Ii,t转换为预变形的视频帧
根据方程式将时间匹配对(Pi,t,l,Pi,t+1,l),l＝1,...,Li,t转换为一组预变形的时间匹配对(预变形的时间匹配对405)：
根据方程式将空间匹配对转换为一组预变形的空间匹配对(预变形的空间匹配对406)：
定义一个统一网格xn×yn，用于将每个图像划分为xn×yn个统一的小区。假定Vi,t,k,k＝1,...,(xn+1)(yn+1)和分别表示图像Ii,t和预变形的图像中的网格顶点。在时空局部变形计算处理中，基于输入顶点Vi,t,k,k＝1,...,(xn+1)(yn+1)和输入的预变形空间匹配对以及输入的预变形时间配配对确定一组目标顶点(目标顶点407)。对于每个网状小区Cj，其四个顶点和Vi,t,j(1),Vi,t,j(2),Vi,t,j(3),Vi,t,j(4)确定了远景转换Hi,t,j，从而对网状小区Cj中的图像Ii,t的像素进行转换，从而与参考图像中的对应网状小区Cj对齐。在一优选实施例中，通过将下面的成本函数最小化，确定
参数Eds测量空间局部对齐，其中，为预变形的空间匹配对406，用四个顶点的线性组合表示，其包含具有系数λi,t,l(k),k＝1,...,4的可以通过多种不同方法中的任一种确定该系数，例如，参考2中所述的逆双线性内插方法。因此，将Eds最小化有利于最终的目标顶点通过匹配对应的关键点将每个原始帧Ii,t进行转换，从而与参考图像对齐。
参数Edt测量时间局部对齐，其中，为预变形的时间匹配对405，用四个顶点的线性组合表示，其包含具有系数λi,t,l(k),k＝1,...,4的可以采用上述段落中的同一方法确定该系数。因此，将Edt最小化有利于最终的目标顶点在保持时间对应对齐的同时，对每个原始帧Ii,t进行转换，从而与参考图像对齐。
参数Egs测量空间全局对齐。当预变形顶点的空间邻域中没有预变形的空间匹配对时，有利于对应的顶点与预变形的顶点相同。因此，τi,t,l＝1。否则，τi,t,l＝0。
参数Egt测量时间全局对齐。假定r∈Ωt表示时间帧t的时间邻域。当预变形的顶点的空间邻域中没有预变形的时间匹配对时，有利于对应的顶点一直保持相同(即，在时间邻域Ωt内保持不变)。因此，σi,t,l＝1。当预变形得顶点的空间邻域中存在预变形的时间匹配对时，权重值σi,t,l由预变形的顶点的空间邻域中的像素移动大小确定。即，如果该场景在预变形的顶点的空间邻域中保持静态，有利于对应的顶点一直保持相同，即，σi,t,l应该取接近1的较大值。当预变形得顶点的空间邻域中存在极大的场景移动时，σi,t,l应该取接近0的较小值。在一优选实施例中，采用移动的大小确定权重值σi,t,l，其中，该移动的大小是通过预变形顶点的空间邻域中的预变形的时间匹配对确定的。在其他实施例中，也可以采用其他基于光流的运动尺寸确定σi,t,l。
参数Ess测量空间平滑度。假定Δ表示一组三元组，其中，Δ中的每个三元组包含确定三角形的三个顶点顶点可以按如下方式用其他顶点表示：
如果该三角形经历了相似性转换，则其本地坐标系中的坐标保持相同。因此，将Ess最小化有利于网状小区经历空间上的相似性转换，这有利于减少优化处理中的局部失真。值为分配给每个三角形的权重，其由三角形中的空间边缘显著性确定，并有利于将更多的失真分配给更少的显著区域。
参数Est测量时间平滑度。再次假定Δ表示一组三元组，其中，Δ中的每个三元组包含确定三角形的三个顶点顶点可以用其他顶点表示为：
如果该三角形经历了相似性转换，则其本地坐标系中的坐标保持相同。因此，将Est最小化有利于网状小区经历时间上的相似性转换，这有利于减少优化处理中的局部失真。值为分配给每个三角形的权重，其由三角形中的时间边缘显著性确定，并有利于将更多的失真分配给更少的显著区域。
将权重分配给方程式(1)中的成本函数中的每个项，从而平衡优化处理中不同项的重要性。当时，将方程式(1)中的成本函数归纳为参考2中提出的用于静态图像拼接的保留内容的变形方法。
得到目标顶点之后，可以基于原始顶点Vi,t,k,k＝1,...,(xn+1)(yn+1),i＝1,...,n,t＝1,...,m和目标顶点确定一组目标变形顶点Μi,t,i＝1,...,n,t＝1,...,m。可以通过多种方式确定目标变形映射。在一优选实施例中，对于每个网状小区Cj，其四个顶点和Vi,t,j(1),Vi,t,j(2),Vi,t,j(3),Vi,t,j(4)定义了远景转换Hi,t,j，从而对网状小区Cj中的图像Ii,t的像素进行转换，从而与参考图像中的对应网状小区对齐。目标变形映射Μi,t简单地成了一组Hi,t,j,j＝1,...,xnyn，整个图像Ii,t可以由Μi,t一个小区一个小区地变形为目标虚拟帧(目标虚拟帧303)。
图5示出了本发明提供的实现基于内容的时空接缝查找块320功能的基于内容的时空接缝查找架构的详图。基于内容的时空接缝查找架构500可与图3中的视频拼接工作流程300结合使用。图5所示的基于内容的时空接缝查找架构500仅用于示意性说明。可以采用其他实施例的架构500，其并不脱离本发明范围。
如图5所示，基于内容的时空接缝查找架构500采用一组目标虚拟帧(在图5中，用目标虚拟帧303表示)，并确定一组目标接缝映射Zt,t＝1,...,m(在图5中，用目标接缝映射304表示)。每个接缝映射Zt包括与从变形的虚拟目标帧构建最终的拼接虚拟帧Ι′t有关的信息。
基于内容的时空接缝查找结构500的第一步骤是时空似物性计算处理501。考虑到一对目标虚拟帧序列和在时空似物性计算处理501中，将似物性值oi,j,t,k∈[0,1]分配给与之间的每个重叠像素pi,j,t,k。似物性值oi,j,t,k测量像素pi,j,t,k的物体显著性等级。像素pi,j,t,k越显著，值oi,j,t,k越大，目标接缝剪辑的像素pi,j,t,k越不受欢迎。可以通过很多不同的方法确定似物性值oi,j,t,k。例如，如果像素在人脸上，为了避免引起问题，不支持目标接缝剪辑人脸。又例如，如果像素在快速移动的物体上，并且靠近强结构边缘，为了避免引起问题，不支持目标接缝剪辑过像素。在一优选实施例中，计算处理501将上述用于计算似物性值的因素考虑在内，其中，oi,j,t,k＝a*fi,j,t,k+b*ei,j,t,k。值fi,j,t,k为从像素pi,j,t,k到自动检测到的人脸之间的距离，ei,j,t,k为从像素pi,j,t,k到附近强移动物体之间的距离。值a,b为平衡两者的权重。
然后，可以采用时空图形构建处理502构建一个时空图形。图6示出了本发明提供的图形建构的示例。如图6所示，该图形600包括多个图形节点601，每个图形节点601为重叠像素pi,j,t,k。每对图形节点之间的边缘有两种类型：空间边缘(用空间边缘602表示)以及时间边缘(用时间边缘603表示)。空间边缘为两个图形节点之间的边缘，其对应于同一时间索引不同空间位置的像素。时间边缘为两个图形节点之间的边缘，其对应于同一空间位置不同时间索引的像素。具体地，根据下面方程式，将像素pi,j,t,k和pi,j,t,l之间的空间边缘602确定为Es i,j,t(k,l)：
其中，为像素值与像素值之间的距离测量，为帧中的第k个像素的像素值。可以采用各种距离测量确定例如，在一实施例中：
根据下面方程式，将像素pi,j,t,k和pi,j,t+1,k之间的时间边缘603确定为Et i,j,k(t,t+1)：
其中，为像素值与像素值之间的距离测量。可以采用各种距离测量确定例如，在一实施例中：
Et i,j,k(t,t+1)＝(oi,j,t,k+oi,j,t+1,k)(||Ii,t(k)-Ii,t+1(k)||+||Ij,t(k)-Ij,t+1(k)||)/2。
通常，假设图像为源端，图像为宿端，与之间重叠区域的边界上的重叠像素有一个最靠近图像(原端或宿端)的边缘，该边缘具有无穷的边缘权重。
然后，回到图5，采用时空图形构建处理502构建该图形之后，执行最大流接缝计算处理503，从而得到每个重叠像素pi,j,t,k的最佳标记ηi,j,t,k。该标记ηi,j,t,k为源端或宿端，通过得到切割该图形的最小边缘成本路径而确定。如果ηi,j,t,k为源端，最终拼接图像中的对应像素将从中得到像素值，如果ηi,j,t,k为宿端，最终拼接图像中的对应像素将从中得到像素值。
为了确定最终的目标接缝映射Zt，将帧一个一个地添加至拼接结果，并反复进行上述处理。即，首先将帧和进行拼接，然后添加帧并将其与帧和的拼接结果进行拼接等等。
一旦得到一组目标接缝映射Zt,t＝1,...,m(目标接缝映射304)，可以采用各种颜色校正、增益补偿以及混合技术在视觉上增强拼接结果。
图7示出了本实施例提供的视频拼接的示例方法。为了便于说明，方法700在诸如图8中的计算设备800(如下所述)等能够用于视频处理的计算设备中使用。然而，该方法700能够由任一合适的设备在任一合适的系统中使用。
在步骤701中，确定多个待拼接的视频序列。在一些实施例中，这可包括确定图3中的视频序列301a-301n的计算设备。在步骤703，在视频序列上执行时空局部变形计算处理，以确定多个目标变形映射。在一些实施例中，这可包括执行图3中的时空局部变形计算块310功能的时空局部变形框架400。
在步骤705中，采用步骤703中确定的目标变形映射，将视频序列中的多个帧变形为多个目标虚拟帧。在步骤707中，在目标虚拟帧上执行基于内容的时空接缝查找处理，以确定多个目标接缝映射。在一些实施例中，这可包括执行图3中的基于内容的时空接缝查找块320功能的基于内容的时空接缝查找结构500。然后，在步骤709中，采用目标接缝映射将视频序列进行拼接。
尽管图7示出了视频拼接方法700的一个示例，但是图7可以有各种变化。例如，尽管示出了一系列步骤，但是图7中的各步骤可以重叠，可以并行执行，可以按照不同顺序执行，且可以执行的次数是任意的。
图8示出了执行图3中视频拼接工作流程300或者图7中视频拼接方法700的计算设备800的示例。如图8所示，该计算设备800包括计算块803、处理块805以及系统存储器807。处理块805可以为任一类型的执行软件指令的可编程电子设备，但通常为一个或多个微处理器。系统存储器807可以包括只读存储器(Read-Only Memory，简称ROM)809以及随机存取存储器(Random Access Memory，简称RAM)811。本领域的技术人员应理解，只读存储器809和随机存取存储器811都可以存储处理块805执行的软件指令。
处理块805和系统存储器807通过总线813或替代通信结构直接或间接地与一个或多个周边设备连接。例如，处理块805和系统存储器807可以直接或间接地与一个或多个额外存储设备815连接。该存储设备815例如可以包括“硬”磁盘驱动、固态磁盘驱动、光盘驱动以及移动硬盘。处理块805和系统存储器807也可以直接或间接地与一个或多个输入设备817以及一个或多个输出设备819连接。输入设备817例如可以包括键盘、点击设备(例如，鼠标、触控板、手写笔、轨迹球或者控制杆)、触摸屏、扫描仪、照相机以及麦克风。输出设备819例如可以包括显示设备、打印机以及扬声器。这种显示设备可以用于显示视频图像。在计算设备800的各种示例中，一个或多个周围设备815-819内部可以封装有计算块803；或者，一个或多个周围设备815-819可以与计算块803的外壳不连接，并与总线813连接，例如，通过通用串行总线(Universal Serial Bus，简称USB)连接或者通过数字视频接口(DigitalVisual Interface，简称DVI)连接。
在一些实施方式中，计算块803也可以直接或间接地与一个或多个网络接口卡(Network Interfaces Card，简称NIC)821连接，从而与组成网络的其他设备进行通信。网络接口卡821根据一个或多个通信协议，如传输控制协议(Transmission ControlProtocol，简称TCP)和互联网协议(Internet Protocol，简称IP)，将计算块803的数据和控制信号转变为网络消息。另外，网络接口卡821可以采用任一合适的连接代理(或者代理的结合)与网络连接，例如包括无线收发器、调制解调器或以太网连接。
应理解的是，计算设备800仅为一个示例，而不构成限制。本发明的各实施例可以通过一个或多个计算设备实现，该一个或多个计算设备包括图8所示计算设备800的组件，或者包括组件的可选组合，其包括图8中未示出的组件。例如，本发明各实施例可以通过多处理器计算机、网络中设置的多个单一和/或多处理器计算机或两者的结合实现。
本文所述的实施例提供了容差视频拼接的方案。通过共同将时空局部变形架构中的时空成本函数最小化，计算的局部变形映射能够通过最佳地保留空间和时间数据对齐以及空间和时间平滑度，将多个视频中的帧对齐。因此，生成的变形帧在空间上很好地与局部变形对齐，并且在时间上一致的。
通过得到将基于内容的时空接缝查找架构中的像素似物性考虑在内的最佳时空接缝，可以采用最终的接缝将来自多个视频中的帧以良好的时间一致性进行拼接，同时为了避免引起问题，避免剪辑显著的前景物体。
在某些实施例中，一个或多个所述设备的部分或全部功能或流程由计算机可读程序代码构成的且内嵌于计算机可读介质中的计算机程序来实现或提供支持。术语计算机可读程序代码摂包括任意类型的计算机代码，包括源代码、目标代码以及可执行代码。术语“计算机可读介质”包括任何类型的可以被计算机访问的非易失性介质，比如，只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字化视频光盘(DVD)或者任何其他类型的存储器。
为本专利文档中使用的特定术语和短语进行定义是有帮助的。术语“包括”和“包含”以及它们的派生词表示没有限制的包括。术语“或者”是包容性的，意为和/或。短语“与…关联”和“与其关联”以及其派生的短语意味着包括，被包括在内、与…互连、包含、被包含在内、连接到或与…连接、耦合到或与…耦合、可与…通信、与…配合、交织、并列、接近、被绑定到或与…绑定、具有、具有…属性，等等。
虽然本发明就某些实施例和一般相关方法方面进行了描述，但是对本领域技术人员而言，对实施例和方法的各种更改和变更将是显而易见的。因此，示例实施例的上述描述不限定或约束本发明。正如以下权利要求定义，其它修改、替代以及变更也是可能的，而不偏离本发明的精神和范围。
Claims (20)
1.一种容差视频拼接方法，其特征在于，所述方法包括：
确定多个待拼接的视频序列；
对所述视频序列执行时空局部变形计算处理，以确定多个目标变形映射；
采用所述目标变形映射，将所述视频序列中的多个帧变形为多个目标虚拟帧；
对所述目标虚拟帧进行基于内容的时空接缝查找处理，以确定多个目标接缝映射；
采用所述目标接缝映射将所述视频序列进行拼接。
2.根据权利要求1所述的方法，其特征在于，所述时空局部变形计算处理包括：
采用多个与所述视频序列相关的视觉要点，确定多个空间全局单应性以及多个时间全局单应性；
进行预变形处理，即采用所述空间全局单应性以及所述时间全局单应性，以获得多个预变形的时间匹配对以及多个预变形的空间匹配对；
采用所述预变形的时间匹配对以及所述预变形的空间匹配对，确定多个目标顶点。
3.根据权利要求2所述的方法，其特征在于，还包括：
从所述视频序列中确定所述多个视觉要点。
4.根据权利要求2所述的方法，其特征在于，还包括：
采用所述目标顶点确定所述多个目标变形映射。
5.根据权利要求2所述的方法，其特征在于，通过将成本函数最小化，确定所述多个目标顶点。
6.根据权利要求5所述的方法，其特征在于，所述成本函数E由下面的方程式给出：
其中，Eds为空间局部对齐参数，Edt为时间局部对齐参数，Egs为空间全局对齐参数，Egt为时间全局对齐参数，Ess为空间平滑参数，Est为时间平滑参数，φ、α、β、和θ为权重系数。
7.根据权利要求1所述的方法，其特征在于，所述基于内容的时空接缝查找处理包括：
采用所述目标虚拟帧进行时空似物性计算，以确定多个时空似物性值；
确定包括多个像素、空间边缘以及时间边缘的图形；
将每个所述像素标记为源端或宿端；
采用所述标记的像素确定所述目标接缝映射。
8.一种容差视频拼接装置，其特征在于，所述装置包括：
至少一个存储器；
耦合于所述至少一个存储器的至少一个处理器，其中，所述至少一个处理器用于：
确定多个待拼接的视频序列；
对所述视频序列执行时空局部变形计算处理，以确定多个目标变形映射；
采用所述目标变形映射，将所述视频序列中的多个帧变形为多的目标虚拟帧；
对所述目标虚拟帧进行基于内容的时空接缝查找处理，以确定多个目标接缝映射；
采用所述目标接缝映射将所述视频序列进行拼接。
9.根据权利要求8所述的装置，其特征在于，为了执行所述时空局部变形计算处理，所述至少一个处理器用于：
采用多个与所述视频序列相关的视觉要点，确定多个空间全局单应性以及多个时间全局单应性；
进行预变形处理，即采用所述空间全局单应性和所述时间全局单应性，以获得多个预变形的时间匹配对以及多个预变形的空间匹配对；
采用所述预变形的时间匹配对以及所述预变形的空间匹配对，确定多个目标顶点。
10.根据权利要求9所述的装置，其特征在于，所述至少一个处理器还用于：
从所述视频序列中确定所述多个视觉要点。
11.根据权利要求9所述的装置，其特征在于，所述至少一个处理器还用于：
采用所述目标顶点确定所述多个目标变形映射。
12.根据权利要求9所述的装置，其特征在于，通过将成本函数最小化，确定所述多个目标顶点。
13.根据权利要求12所述的装置，其特征在于，所述成本函数E由下面的方程式给出：
其中，Eds为空间局部对齐参数，Edt为时间局部对齐参数，Egs为空间全局对齐参数，Egt为时间全局对齐参数，Ess为空间平滑参数，Est为时间平滑参数，φ、α、β、和θ为权重系数。
14.根据权利要求8所述的装置，其特征在于，为了执行所述基于内容的时空接缝查找处理，所述至少一个处理器用于：
采用所述目标虚拟帧进行时空似物性计算，以确定多个时空似物性值；
确定包括多个像素、空间边缘以及时间边缘的图形；
将每个所述像素标记为源端或宿端；
采用所述标记的像素确定所述目标接缝映射。
15.一种包含计算机程序的非瞬时性计算机可读介质，其特征在于，所述计算机程序包括计算机可读程序代码，其用于：
确定多个待拼接的视频序列；
对所述视频序列执行时空局部变形计算处理，以确定多个目标变形映射；
采用所述目标变形映射，将所述视频序列中的多个帧变形为多个目标虚拟帧；
对所述目标虚拟帧进行基于内容的时空接缝查找处理，以确定多个目标接缝映射；
采用所述目标接缝映射将所述视频序列进行拼接。
16.根据权利要求15所述的非瞬时性计算机可读介质，其特征在于，用于进行所述时空局部变形计算机处理的计算机可读程序代码包括计算机可读程序代码，其用于：
采用多个与所述视频序列相关的视觉要点，确定多个空间全局单应性以及多个时间全局单应性；
进行预变形处理，即采用所述空间全局单应性和所述时间全局单应性，以获得多个预变形的时间匹配对以及多个预变形的空间匹配对；
采用所述预变形的时间匹配对以及所述预变形的空间匹配对，确定多个目标顶点。
17.根据权利要求16所述的非瞬时性计算机可读介质，其特征在于，还包括计算机可读程序代码，其用于：
采用所述目标顶点确定所述多个目标变形映射。
18.根据权利要求16所述的非瞬时性计算机可读介质，其特征在于，通过将成本函数最小化，确定所述多个目标顶点。
19.根据权利要求18所述的非瞬时性计算机可读介质，其特征在于，所述成本函数E由下面的方程式给出：
其中，Eds为空间局部对齐参数，Edt为时间局部对齐对参数，Egs为空间全局对齐参数，Egt为时间全局对齐参数，Ess为空间平滑参数，Est为时间平滑参数，φ、α、β、和θ为权重系数。
20.根据权利要求15所述的非瞬时性计算机可读介质，其特征在于，用于进行所述基于内容的时空接缝查找处理的计算机可读程序代码包括计算机可读程序代码，其用于：
采用所述目标虚拟帧进行时空似物性计算，以确定多个时空似物性值；
确定包括多个像素、空间边缘以及时间边缘的图形；
将每个所述像素标记为源端或宿端；
采用所述标记的像素确定所述目标接缝映射。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/540,960 US9363449B1 (en) | 2014-11-13 | 2014-11-13 | Parallax tolerant video stitching with spatial-temporal localized warping and seam finding |
| US14/540,960 | 2014-11-13 | ||
| PCT/CN2015/094320 WO2016074620A1 (en) | 2014-11-13 | 2015-11-11 | Parallax tolerant video stitching with spatial-temporal localized warping and seam finding |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107113381A true CN107113381A (zh) | 2017-08-29 |
| CN107113381B CN107113381B (zh) | 2020-06-26 |
Family
ID=55953746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580062015.3A Active CN107113381B (zh) | 2014-11-13 | 2015-11-11 | 时空局部变形及接缝查找的容差视频拼接方法、装置及计算机可读介质 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9363449B1 (zh) |
| EP (1) | EP3218870B1 (zh) |
| CN (1) | CN107113381B (zh) |
| WO (1) | WO2016074620A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108307200A (zh) * | 2018-01-31 | 2018-07-20 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN112073749A (zh) * | 2020-08-07 | 2020-12-11 | 中国科学院计算技术研究所 | 一种手语视频合成方法、手语翻译系统、介质和电子设备 |
| CN112465704A (zh) * | 2020-12-07 | 2021-03-09 | 清华大学深圳国际研究生院 | 一种全局-局部自适应优化的全景光场拼接方法 |
| CN114125178A (zh) * | 2021-11-16 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频拼接方法、设备和可读介质 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9721371B2 (en) * | 2015-12-02 | 2017-08-01 | Caterpillar Inc. | Systems and methods for stitching metallographic and stereoscopic images |
| US10742960B1 (en) * | 2016-06-28 | 2020-08-11 | Altia Systems, Inc. | Panoramic 3D camera |
| US10186067B2 (en) * | 2016-10-25 | 2019-01-22 | Aspeed Technology Inc. | Method and apparatus for generating panoramic image with rotation, translation and warping process |
| TWI632812B (zh) * | 2016-12-16 | 2018-08-11 | 財團法人工業技術研究院 | 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置 |
| JP6715217B2 (ja) * | 2017-06-26 | 2020-07-01 | 日本電信電話株式会社 | 映像処理装置、映像処理方法および映像処理プログラム |
| US10477064B2 (en) * | 2017-08-21 | 2019-11-12 | Gopro, Inc. | Image stitching with electronic rolling shutter correction |
| US20190068876A1 (en) * | 2017-08-29 | 2019-02-28 | Nokia Technologies Oy | Method Of Image Alignment For Stitching Using A Hybrid Strategy |
| CN109544460A (zh) * | 2017-09-22 | 2019-03-29 | 宝沃汽车（中国）有限公司 | 图像矫正方法、装置及车辆 |
| KR102198217B1 (ko) | 2018-04-11 | 2021-01-04 | 한국전자통신연구원 | 순람표에 기반한 스티칭 영상 생성 장치 및 방법 |
| CN112369017A (zh) * | 2018-07-11 | 2021-02-12 | 诺基亚技术有限公司 | 用于利用基于网络的媒体处理的虚拟现实内容拼接控制的方法和装置 |
| KR102383669B1 (ko) * | 2018-10-23 | 2022-04-06 | 한국전자통신연구원 | Hlbp 디스크립터 정보를 이용한 시차 최소화 스티칭 장치 및 방법 |
| EP3726457A1 (en) | 2019-04-15 | 2020-10-21 | Tata Consultancy Services Limited | System and a method for stitching images using non-linear optimization and multi-constraint cost function minimization |
| CN110099220B (zh) * | 2019-06-17 | 2021-04-13 | 广东中星微电子有限公司 | 一种全景拼接方法及装置 |
| CA3145736A1 (en) * | 2019-07-01 | 2021-01-07 | Geomagical Labs, Inc. | Method and system for image generation |
| CN111507904B (zh) * | 2020-04-22 | 2023-06-02 | 华中科技大学 | 一种微观打印图案的图像拼接方法及装置 |
| US11210840B1 (en) * | 2020-08-27 | 2021-12-28 | Aspeed Technology Inc. | Transform method for rendering post-rotation panoramic images |
| CN111932594B (zh) * | 2020-09-18 | 2023-12-19 | 西安拙河安见信息科技有限公司 | 一种基于光流的十亿像素视频对齐方法及装置、介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060262184A1 (en) * | 2004-11-05 | 2006-11-23 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for spatio-temporal video warping |
| US20070030396A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a panorama from a sequence of video frames |
| US20070211934A1 (en) * | 2006-03-10 | 2007-09-13 | Sony Taiwan Limited | Optimized video stitching method |
| CN101167363A (zh) * | 2005-03-31 | 2008-04-23 | 欧几里得发现有限责任公司 | 处理视频数据装置和方法 |
| CN101379513A (zh) * | 2005-08-04 | 2009-03-04 | 微软公司 | 视频对准和图像序列缝合 |
| CN101635833A (zh) * | 2008-07-22 | 2010-01-27 | 深圳市朗驰欣创科技有限公司 | 一种视频监控方法、装置及系统 |
| CN101689394A (zh) * | 2007-02-01 | 2010-03-31 | 耶路撒冷希伯来大学伊森姆研究发展有限公司 | 用于视频索引和视频概要的方法和系统 |
| TW201416792A (zh) * | 2012-10-22 | 2014-05-01 | Nat Univ Chung Cheng | 低複雜度之全景影像暨影片接合的方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7119837B2 (en) * | 2002-06-28 | 2006-10-10 | Microsoft Corporation | Video processing system and method for automatic enhancement of digital video |
| US8270767B2 (en) * | 2008-04-16 | 2012-09-18 | Johnson Controls Technology Company | Systems and methods for providing immersive displays of video camera information from a plurality of cameras |
| US8947502B2 (en) * | 2011-04-06 | 2015-02-03 | Qualcomm Technologies, Inc. | In camera implementation of selecting and stitching frames for panoramic imagery |
| US8863182B1 (en) * | 2012-02-17 | 2014-10-14 | Google Inc. | In-stream video stitching |
-
2014
- 2014-11-13 US US14/540,960 patent/US9363449B1/en active Active
-
2015
- 2015-11-11 WO PCT/CN2015/094320 patent/WO2016074620A1/en active Application Filing
- 2015-11-11 CN CN201580062015.3A patent/CN107113381B/zh active Active
- 2015-11-11 EP EP15859688.2A patent/EP3218870B1/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060262184A1 (en) * | 2004-11-05 | 2006-11-23 | Yissum Research Development Company Of The Hebrew University Of Jerusalem | Method and system for spatio-temporal video warping |
| CN101167363A (zh) * | 2005-03-31 | 2008-04-23 | 欧几里得发现有限责任公司 | 处理视频数据装置和方法 |
| CN101379513A (zh) * | 2005-08-04 | 2009-03-04 | 微软公司 | 视频对准和图像序列缝合 |
| US20070030396A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a panorama from a sequence of video frames |
| US20070211934A1 (en) * | 2006-03-10 | 2007-09-13 | Sony Taiwan Limited | Optimized video stitching method |
| CN101689394A (zh) * | 2007-02-01 | 2010-03-31 | 耶路撒冷希伯来大学伊森姆研究发展有限公司 | 用于视频索引和视频概要的方法和系统 |
| CN101635833A (zh) * | 2008-07-22 | 2010-01-27 | 深圳市朗驰欣创科技有限公司 | 一种视频监控方法、装置及系统 |
| TW201416792A (zh) * | 2012-10-22 | 2014-05-01 | Nat Univ Chung Cheng | 低複雜度之全景影像暨影片接合的方法 |
Non-Patent Citations (1)
| Title |
|---|
| FAN ZHANG AND FENG LIU: "Parallax-tolerant Image Stitching", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108307200A (zh) * | 2018-01-31 | 2018-07-20 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN108307200B (zh) * | 2018-01-31 | 2020-06-09 | 深圳积木易搭科技技术有限公司 | 一种在线视频拼接方法系统 |
| CN112073749A (zh) * | 2020-08-07 | 2020-12-11 | 中国科学院计算技术研究所 | 一种手语视频合成方法、手语翻译系统、介质和电子设备 |
| CN112465704A (zh) * | 2020-12-07 | 2021-03-09 | 清华大学深圳国际研究生院 | 一种全局-局部自适应优化的全景光场拼接方法 |
| CN112465704B (zh) * | 2020-12-07 | 2024-02-06 | 清华大学深圳国际研究生院 | 一种全局-局部自适应优化的全景光场拼接方法 |
| CN114125178A (zh) * | 2021-11-16 | 2022-03-01 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频拼接方法、设备和可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9363449B1 (en) | 2016-06-07 |
| WO2016074620A1 (en) | 2016-05-19 |
| EP3218870A4 (en) | 2017-09-20 |
| EP3218870A1 (en) | 2017-09-20 |
| US20160142643A1 (en) | 2016-05-19 |
| CN107113381B (zh) | 2020-06-26 |
| EP3218870B1 (en) | 2020-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107113381A (zh) | 时空局部变形及接缝查找的容差视频拼接 | |
| US10861133B1 (en) | Super-resolution video reconstruction method, device, apparatus and computer-readable storage medium | |
| CN107566688B (zh) | 一种基于卷积神经网络的视频防抖方法、装置及图像对齐装置 | |
| KR102480245B1 (ko) | 패닝 샷들의 자동 생성 | |
| JP6561216B2 (ja) | 光学フローを使用した中間ビューの生成 | |
| WO2018214365A1 (zh) | 图像校正方法、装置、设备、系统及摄像设备和显示设备 | |
| CN107369129B (zh) | 一种全景图像的拼接方法、装置及便携式终端 | |
| CN107689035B (zh) | 一种基于卷积神经网络的单应性矩阵确定方法及装置 | |
| US9135678B2 (en) | Methods and apparatus for interfacing panoramic image stitching with post-processors | |
| WO2022076116A1 (en) | Segmentation for image effects | |
| CN107564063B (zh) | 一种基于卷积神经网络的虚拟物显示方法及装置 | |
| US20190325564A1 (en) | Image blurring methods and apparatuses, storage media, and electronic devices | |
| CN109509146A (zh) | 图像拼接方法及装置、存储介质 | |
| CN111402404B (zh) | 全景图补全方法、装置、计算机可读存储介质及电子设备 | |
| CN114511041B (zh) | 模型训练方法、图像处理方法、装置、设备和存储介质 | |
| US11812154B2 (en) | Method, apparatus and system for video processing | |
| CN104506775A (zh) | 基于立体视觉匹配的图像采集抖动消除方法及装置 | |
| CN113643414A (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
| US10154241B2 (en) | Depth map based perspective correction in digital photos | |
| CN114429191B (zh) | 基于深度学习的电子防抖方法、系统及存储介质 | |
| CN114782296B (zh) | 图像融合方法、装置及存储介质 | |
| KR102161437B1 (ko) | 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법 | |
| CN110324585A (zh) | 基于高速移动平台的slam系统的实现方法 | |
| WO2022247394A1 (zh) | 图像拼接方法及装置、存储介质及电子设备 | |
| CN113724141B (zh) | 一种图像校正方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |