CN110719453A - 一种立体视频裁剪方法 - Google Patents

一种立体视频裁剪方法 Download PDF

Info

Publication number
CN110719453A
CN110719453A CN201910881974.8A CN201910881974A CN110719453A CN 110719453 A CN110719453 A CN 110719453A CN 201910881974 A CN201910881974 A CN 201910881974A CN 110719453 A CN110719453 A CN 110719453A
Authority
CN
China
Prior art keywords
coordinate position
represent
frame
pixel point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910881974.8A
Other languages
English (en)
Other versions
CN110719453B (zh
Inventor
邵枫
李鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongying Nian Nian Beijing Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201910881974.8A priority Critical patent/CN110719453B/zh
Publication of CN110719453A publication Critical patent/CN110719453A/zh
Application granted granted Critical
Publication of CN110719453B publication Critical patent/CN110719453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种立体视频裁剪方法，其将立体视频的左视点视频图像和右视点视频图像标记为关键帧或非关键帧，对于关键帧，通过计算左视点视频图像的三维显著图获得左视点视频图像的最佳裁剪框的左上角坐标位置，进而获得右视点视频图像的最佳裁剪框的左上角坐标位置；而对于非关键帧，直接根据前一帧的最佳裁剪框的左上角坐标位置和运动矢量，获得当前立体视频图像的最佳裁剪框的左上角坐标位置，最后根据最佳裁剪框的左上角坐标位置及宽度和高度，获得重定位立体视频，这样获得的重定位立体视频能够较好地保留重要的显著语义信息，能够较好地保持时域一致性，能够有效地调整立体视频的尺寸大小。

Description

一种立体视频裁剪方法
技术领域
本发明涉及一种视频信号的处理方法，尤其是涉及一种立体视频裁剪方法。
背景技术
随着立体显示技术的快速发展，各种具有不同立体显示功能的立体显示终端也广泛出现了，但是，由于立体显示终端的种类繁多，宽/高比规格不一，因此若将宽/高比一定的立体视频放在不同的立体显示终端上显示，则必须先对立体视频的尺寸进行调整，以达到立体显示的效果。传统的视频缩放方法是通过裁剪或者是按固定比例进行缩放，然而这样做可能会出现视频中的内容减少或者导致显著物体形变。
对于立体视频，如果直接对左视点视频和右视点视频分别采用相同的视频重定位方法，即单独处理立体视频中的左视点视频和右视点视频，则传统的接缝雕刻(seamcarving)方法需要左右两条细缝相一致，以避免破坏原始视频的立体性质，在时间维度上，相邻帧之间的细缝需要保持一致，以使重定向的结果不会产生抖动失真；网格形变方法需要保持视觉显著区域部分的网格尽量不发生形变，而把形变分配到非视觉显著区域部分，网格形变计算量较大，并且左右网格形变量不一致容易造成立体特性发生损失。因此，如何对立体视频进行缩放以优化深度运动、减少图像形变、避免时域抖动、突出显著内容，都是在对立体视频进行重定位过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种立体视频裁剪方法，其符合显著语义特征，且能够有效地调整立体视频的尺寸大小。
本发明解决上述技术问题所采用的技术方案为：一种立体视频裁剪方法，其特征在于包括以下步骤：
步骤一：将原始立体视频序列中当前待处理的第t帧左视点视频图像定义为当前左视点视频图像，并将原始立体视频序列中当前待处理的第t帧右视点视频图像定义为当前右视点视频图像；其中，t为正整数，t的初始值为1，1≤t≤T-1，原始立体视频序列中包含的宽度为W且高度为H的左视点视频图像的总帧数为T帧，原始立体视频序列中包含的宽度为W且高度为H的右视点视频图像的总帧数也为T帧，T为正整数，T＞1；
步骤二：将当前左视点视频图像记为
Figure BDA0002206141070000021
并将当前右视点视频图像记为
Figure BDA0002206141070000022
其中，1≤x≤W，1≤y≤H，
Figure BDA0002206141070000023
表示中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002206141070000025
表示
Figure BDA0002206141070000026
中坐标位置为(x,y)的像素点的像素值；
步骤三：将
Figure BDA0002206141070000027
标记为关键帧或非关键帧；同样，将
Figure BDA0002206141070000028
标记为关键帧或非关键帧；
步骤四：采用基于光流的视差估计方法，计算
Figure BDA0002206141070000029
与
Figure BDA00022061410700000210
的左右视差，记为
Figure BDA00022061410700000211
将
Figure BDA00022061410700000212
中坐标位置为(x,y)的像素点的视差值记为
Figure BDA00022061410700000213
并采用基于光流的估计方法，计算
Figure BDA00022061410700000214
与
Figure BDA00022061410700000215
的运动矢量，记为将
Figure BDA00022061410700000217
中坐标位置为(x,y)的像素点的运动矢量记为
Figure BDA00022061410700000218
Figure BDA00022061410700000219
同样，采用基于光流的估计方法，计算
Figure BDA00022061410700000220
与
Figure BDA00022061410700000221
的运动矢量，记为
Figure BDA00022061410700000222
将
Figure BDA00022061410700000223
中坐标位置为(x,y)的像素点的运动矢量记为
Figure BDA00022061410700000224
其中，表示原始立体视频序列中的第t+1帧左视点视频图像，
Figure BDA00022061410700000226
表示
Figure BDA00022061410700000227
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022061410700000228
表示原始立体视频序列中的第t+1帧右视点视频图像，
Figure BDA00022061410700000229
表示
Figure BDA00022061410700000230
中坐标位置为(x,y)的像素点的像素值，用于表示水平方向，
Figure BDA00022061410700000232
用于表示垂直方向，表示
Figure BDA00022061410700000234
的水平偏移量，
Figure BDA00022061410700000235
表示
Figure BDA00022061410700000236
的垂直偏移量，
Figure BDA0002206141070000031
表示
Figure BDA0002206141070000032
的水平偏移量，
Figure BDA0002206141070000033
表示的垂直偏移量；
步骤五：若
Figure BDA0002206141070000035
和均为关键帧，则首先采用基于图论的视觉显著模型提取出
Figure BDA0002206141070000037
的显著图，记为
Figure BDA0002206141070000038
并计算
Figure BDA0002206141070000039
的梯度图，记为
Figure BDA00022061410700000310
然后根据
Figure BDA00022061410700000311
和获取
Figure BDA00022061410700000313
的三维显著图，记为
Figure BDA00022061410700000314
再根据获取
Figure BDA00022061410700000316
的最佳裁剪框的左上角坐标位置，记为
Figure BDA00022061410700000317
最后根据
Figure BDA00022061410700000318
和
Figure BDA00022061410700000319
获取的最佳裁剪框的左上角坐标位置，记为
Figure BDA00022061410700000321
Figure BDA00022061410700000322
其中，表示
Figure BDA00022061410700000324
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022061410700000325
表示
Figure BDA00022061410700000326
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022061410700000327
表示
Figure BDA00022061410700000328
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022061410700000329
表示求取使得
Figure BDA00022061410700000330
的值最大时的(x0,y0)的值，x0表示横坐标，y0表示纵坐标，W'表示
Figure BDA00022061410700000331
和
Figure BDA00022061410700000332
的最佳裁剪框的宽度，H'表示
Figure BDA00022061410700000333
和
Figure BDA00022061410700000334
的最佳裁剪框的高度，1＜W'＜W，1＜H'＜H，1≤i≤W'，1≤j≤H'，表示
Figure BDA00022061410700000336
中坐标位置为(x0+i,y0+j)的像素点的像素值，
Figure BDA00022061410700000337
表示
Figure BDA00022061410700000338
中坐标位置为
Figure BDA00022061410700000339
的像素点的视差值，亦为
Figure BDA00022061410700000340
中坐标位置为
Figure BDA00022061410700000341
的像素点的像素值，
Figure BDA00022061410700000342
中的“＝”为赋值符号；
步骤六：若
Figure BDA00022061410700000343
和
Figure BDA00022061410700000344
均为非关键帧，则根据
Figure BDA00022061410700000345
的最佳裁剪框的左上角坐标位置和
Figure BDA00022061410700000346
获取
Figure BDA00022061410700000347
的最佳裁剪框的左上角坐标位置，记为
Figure BDA00022061410700000348
同样，根据的最佳裁剪框的左上角坐标位置和
Figure BDA00022061410700000350
获取
Figure BDA00022061410700000351
的最佳裁剪框的左上角坐标位置，记为其中，
Figure BDA0002206141070000042
表示原始立体视频序列中的第t-1帧左视点视频图像，
Figure BDA0002206141070000043
表示
Figure BDA0002206141070000044
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002206141070000045
表示原始立体视频序列中的第t-1帧右视点视频图像，
Figure BDA0002206141070000046
表示
Figure BDA0002206141070000047
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002206141070000048
表示
Figure BDA0002206141070000049
的最佳裁剪框的左上角坐标位置，
Figure BDA00022061410700000410
表示的最佳裁剪框的左上角坐标位置，
Figure BDA00022061410700000412
表示中坐标位置为
Figure BDA00022061410700000414
的像素点的运动矢量
Figure BDA00022061410700000415
的水平偏移量，
Figure BDA00022061410700000416
表示
Figure BDA00022061410700000417
中坐标位置为
Figure BDA00022061410700000418
的像素点的运动矢量
Figure BDA00022061410700000419
的垂直偏移量，
Figure BDA00022061410700000420
表示
Figure BDA00022061410700000421
中坐标位置为
Figure BDA00022061410700000422
的像素点的运动矢量
Figure BDA00022061410700000423
的水平偏移量，
Figure BDA00022061410700000424
表示
Figure BDA00022061410700000425
中坐标位置为
Figure BDA00022061410700000426
的像素点的运动矢量
Figure BDA00022061410700000427
的垂直偏移量；
步骤七：根据
Figure BDA00022061410700000428
的最佳裁剪框的左上角坐标位置及宽度和高度，获得
Figure BDA00022061410700000429
的裁剪图像作为重定位左视点视频图像，记为
Figure BDA00022061410700000430
同样，根据
Figure BDA00022061410700000431
的最佳裁剪框的左上角坐标位置及宽度和高度，获得
Figure BDA00022061410700000432
的裁剪图像作为重定位右视点视频图像，记为
Figure BDA00022061410700000433
其中，1≤x1≤W'，1≤y1≤H'，表示
Figure BDA00022061410700000435
中坐标位置为(x1,y1)的像素点的像素值，
Figure BDA00022061410700000436
表示
Figure BDA00022061410700000437
中坐标位置为(x1,y1)的像素点的像素值；
步骤八：令t＝t+1；然后将原始立体视频序列中下一帧待处理的左视点视频图像作为当前左视点视频图像，并将原始立体视频序列中下一帧待处理的右视点视频图像作为当前右视点视频图像；再返回步骤二继续执行，直至获得原始立体视频序列中除最后一帧左视点视频图像外的每帧左视点视频图像的裁剪图像、原始立体视频序列中除最后一帧右视点视频图像外的每帧右视点视频图像的裁剪图像，进而得到包含T-1帧重定位左视点视频图像和T-1帧重定位右视点视频图像的重定位立体视频序列；其中，t＝t+1中的“＝”为赋值符号。
所述的步骤三的具体过程为：如果t＝1，则将和
Figure BDA0002206141070000052
直接标记为关键帧；如果t≠1，则计算和各自的直方图分布，对应记为{Pt L[b]|1≤b≤B}和
Figure BDA0002206141070000055
然后计算{Pt L[b]|1≤b≤B}、和
Figure BDA0002206141070000057
各自的信息熵，对应记为
Figure BDA0002206141070000058
和
Figure BDA0002206141070000059
Figure BDA00022061410700000510
再计算{Pt L[b]|1≤b≤B}与
Figure BDA00022061410700000512
之间的信息熵变化值，记为
Figure BDA00022061410700000513
最后判断
Figure BDA00022061410700000514
是否成立，如果成立，则将
Figure BDA00022061410700000515
和
Figure BDA00022061410700000516
标记为关键帧；否则，将
Figure BDA00022061410700000517
和标记为非关键帧；其中，
Figure BDA00022061410700000519
表示原始立体视频序列中的第t+1帧左视点视频图像，表示
Figure BDA00022061410700000521
中坐标位置为(x,y)的像素点的像素值，b为正整数，b的初始值为1，1≤b≤B，B为正整数，
Figure BDA00022061410700000522
和
Figure BDA00022061410700000523
中所包含的灰度等级的总数目均为B，PtL[b]表示
Figure BDA00022061410700000524
中灰度等级为b的像素点在
Figure BDA00022061410700000525
中出现的概率，
Figure BDA00022061410700000526
表示
Figure BDA00022061410700000527
中灰度等级为b的像素点在
Figure BDA00022061410700000528
中出现的概率，
Figure BDA00022061410700000529
表示
Figure BDA00022061410700000530
和中灰度等级为b的像素点在
Figure BDA00022061410700000532
和中出现的概率的均值，log2()为以2为底的指数操作函数，符号“||”为取绝对值符号，th为设定阈值。
所述的步骤五中，
Figure BDA00022061410700000534
其中，
Figure BDA00022061410700000535
表示
Figure BDA00022061410700000536
中坐标位置为(x,y)的像素点的水平梯度，
Figure BDA00022061410700000537
表示
Figure BDA00022061410700000538
中坐标位置为(x+1,y)的像素点的像素值，GYtL(x,y)表示
Figure BDA00022061410700000539
中坐标位置为(x,y)的像素点的垂直梯度，表示
Figure BDA0002206141070000062
中坐标位置为(x,y+1)的像素点的像素值。
所述的步骤五中，
Figure BDA0002206141070000063
其中，λ1和λ2为权重系数，λ1+λ2＝1。
与现有技术相比，本发明的优点在于：
将立体视频的左视点视频图像和右视点视频图像标记为关键帧或非关键帧，对于关键帧，通过计算左视点视频图像的三维显著图获得左视点视频图像的最佳裁剪框的左上角坐标位置，进而获得右视点视频图像的最佳裁剪框的左上角坐标位置；而对于非关键帧，直接根据前一帧的最佳裁剪框的左上角坐标位置和运动矢量，获得当前立体视频图像的最佳裁剪框的左上角坐标位置，最后根据最佳裁剪框的左上角坐标位置及宽度和高度，获得重定位立体视频，这样获得的重定位立体视频能够较好地保留重要的显著语义信息，能够较好地保持时域一致性，能够有效地调整立体视频的尺寸大小。
附图说明
图1为本发明方法的总体实现框图；
图2a为“bunny”立体视频序列的第606时刻的原始左视点图像；
图2b为“bunny”立体视频序列的第606时刻的原始左视点图像的裁剪图像；
图2c为“bunny”立体视频序列的第607时刻的原始左视点图像的裁剪图像；
图2d为“bunny”立体视频序列的第608时刻的原始左视点图像的裁剪图像；
图3a为“bunny”立体视频序列的第606时刻的原始右视点图像；
图3b为“bunny”立体视频序列的第606时刻的原始右视点图像的裁剪图像；
图3c为“bunny”立体视频序列的第607时刻的原始右视点图像的裁剪图像；
图3d为“bunny”立体视频序列的第608时刻的原始右视点图像的裁剪图像；
图4a为“iceage”立体视频序列的第1193时刻的原始左视点图像；
图4b为“iceage”立体视频序列的第1193时刻的原始左视点图像的裁剪图像；
图4c为“iceage”立体视频序列的第1194时刻的原始左视点图像的裁剪图像；
图4d为“iceage”立体视频序列的第1195时刻的原始左视点图像的裁剪图像；
图5a为“iceage”立体视频序列的第1193时刻的原始右视点图像；
图5b为“iceage”立体视频序列的第1194时刻的原始右视点图像的裁剪图像；
图5c为“iceage”立体视频序列的第1195时刻的原始右视点图像的裁剪图像；
图5d为“iceage”立体视频序列的第1196时刻的原始右视点图像的裁剪图像；
图6a为“penguins”立体视频序列的第6736时刻的原始左视点图像；
图6b为“penguins”立体视频序列的第6737时刻的原始左视点图像的裁剪图像；
图6c为“penguins”立体视频序列的第6738时刻的原始左视点图像的裁剪图像；
图6d为“penguins”立体视频序列的第6739时刻的原始左视点图像的裁剪图像；
图7a为“penguins”立体视频序列的第6736时刻的原始右视点图像；
图7b为“penguins”立体视频序列的第6737时刻的原始右视点图像的裁剪图像；
图7c为“penguins”立体视频序列的第6738时刻的原始右视点图像的裁剪图像；
图7d为“penguins”立体视频序列的第6739时刻的原始右视点图像的裁剪图像；
图8a为“squirrel”立体视频序列的第2133时刻的原始左视点图像；
图8b为“squirrel”立体视频序列的第2134时刻的原始左视点图像的裁剪图像；
图8c为“squirrel”立体视频序列的第2135时刻的原始左视点图像的裁剪图像；
图8d为“squirrel”立体视频序列的第2136时刻的原始左视点图像的裁剪图像；
图9a为“squirrel”立体视频序列的第2133时刻的原始右视点图像；
图9b为“squirrel”立体视频序列的第2134时刻的原始右视点图像的裁剪图像；
图9c为“squirrel”立体视频序列的第2135时刻的原始右视点图像的裁剪图像；
图9d为“squirrel”立体视频序列的第2136时刻的原始右视点图像的裁剪图像。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体视频裁剪方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：将原始立体视频序列中当前待处理的第t帧左视点视频图像定义为当前左视点视频图像，并将原始立体视频序列中当前待处理的第t帧右视点视频图像定义为当前右视点视频图像；其中，t为正整数，t的初始值为1，1≤t≤T-1，原始立体视频序列中包含的宽度为W且高度为H的左视点视频图像的总帧数为T帧，原始立体视频序列中包含的宽度为W且高度为H的右视点视频图像的总帧数也为T帧，T为正整数，T＞1，T的值根据实际立体视频序列而定。
步骤二：将当前左视点视频图像记为并将当前右视点视频图像记为
Figure BDA0002206141070000082
其中，1≤x≤W，1≤y≤H，
Figure BDA0002206141070000083
表示
Figure BDA0002206141070000084
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002206141070000085
表示
Figure BDA0002206141070000086
中坐标位置为(x,y)的像素点的像素值。
步骤三：为了降低视频处理复杂度，将
Figure BDA0002206141070000087
标记为关键帧或非关键帧；同样，将标记为关键帧或非关键帧。
在此具体实施例中，步骤三的具体过程为：如果t＝1，则将
Figure BDA0002206141070000089
和
Figure BDA00022061410700000810
直接标记为关键帧；如果t≠1，则计算
Figure BDA00022061410700000811
和
Figure BDA00022061410700000812
各自的直方图分布，对应记为{Pt L[b]|1≤b≤B}和
Figure BDA00022061410700000813
然后计算{Pt L[b]|1≤b≤B}、
Figure BDA00022061410700000814
和
Figure BDA00022061410700000815
各自的信息熵，对应记为
Figure BDA00022061410700000816
和
Figure BDA00022061410700000817
Figure BDA00022061410700000818
Figure BDA00022061410700000819
再计算{Pt L[b]|1≤b≤B}与
Figure BDA00022061410700000820
之间的信息熵变化值，记为
Figure BDA00022061410700000821
最后判断
Figure BDA00022061410700000822
是否成立，如果成立，则将
Figure BDA00022061410700000823
和
Figure BDA00022061410700000824
标记为关键帧；否则，将
Figure BDA00022061410700000825
和
Figure BDA00022061410700000826
标记为非关键帧；其中，
Figure BDA00022061410700000827
表示原始立体视频序列中的第t+1帧左视点视频图像，
Figure BDA00022061410700000828
表示中坐标位置为(x,y)的像素点的像素值，b为正整数，b的初始值为1，1≤b≤B，B为正整数，
Figure BDA00022061410700000830
和中所包含的灰度等级的总数目均为B，在本实施例中取B＝256，Pt L[b]表示
Figure BDA00022061410700000832
中灰度等级为b的像素点在
Figure BDA0002206141070000091
中出现的概率，
Figure BDA0002206141070000092
表示
Figure BDA0002206141070000093
中灰度等级为b的像素点在中出现的概率，
Figure BDA0002206141070000095
表示
Figure BDA0002206141070000096
和
Figure BDA0002206141070000097
中灰度等级为b的像素点在和
Figure BDA0002206141070000099
中出现的概率的均值，log2()为以2为底的指数操作函数，符号“||”为取绝对值符号，th为设定阈值，在本实施例中取th＝0.5。
步骤四：采用现有的基于光流的视差估计方法，计算
Figure BDA00022061410700000910
与
Figure BDA00022061410700000911
的左右视差，记为将
Figure BDA00022061410700000913
中坐标位置为(x,y)的像素点的视差值记为
Figure BDA00022061410700000914
并采用现有的基于光流的估计方法，计算
Figure BDA00022061410700000915
与
Figure BDA00022061410700000916
的运动矢量，记为
Figure BDA00022061410700000917
将
Figure BDA00022061410700000918
中坐标位置为(x,y)的像素点的运动矢量记为
Figure BDA00022061410700000919
Figure BDA00022061410700000920
同样，采用现有的基于光流的估计方法，计算与
Figure BDA00022061410700000922
的运动矢量，记为
Figure BDA00022061410700000923
将
Figure BDA00022061410700000924
中坐标位置为(x,y)的像素点的运动矢量记为其中，表示原始立体视频序列中的第t+1帧左视点视频图像，
Figure BDA00022061410700000927
表示
Figure BDA00022061410700000928
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022061410700000929
表示原始立体视频序列中的第t+1帧右视点视频图像，
Figure BDA00022061410700000930
表示
Figure BDA00022061410700000931
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022061410700000932
用于表示水平方向，
Figure BDA00022061410700000933
用于表示垂直方向，
Figure BDA00022061410700000934
表示的水平偏移量，
Figure BDA00022061410700000936
表示
Figure BDA00022061410700000937
的垂直偏移量，
Figure BDA00022061410700000938
表示的水平偏移量，
Figure BDA00022061410700000940
表示
Figure BDA00022061410700000941
的垂直偏移量。
步骤五：若
Figure BDA00022061410700000942
和均为关键帧，则首先采用现有的基于图论的视觉显著(Graph-Based Visual Saliency，GBVS)模型提取出
Figure BDA00022061410700000944
的显著图，记为
Figure BDA00022061410700000945
并计算
Figure BDA00022061410700000946
的梯度图，记为然后根据
Figure BDA00022061410700000948
和
Figure BDA00022061410700000949
获取
Figure BDA00022061410700000950
的三维显著图，记为再根据
Figure BDA00022061410700000952
获取
Figure BDA00022061410700000953
的最佳裁剪框的左上角坐标位置，记为
Figure BDA00022061410700000954
Figure BDA0002206141070000101
最后根据
Figure BDA0002206141070000102
和
Figure BDA0002206141070000103
获取
Figure BDA0002206141070000104
的最佳裁剪框的左上角坐标位置，记为
Figure BDA0002206141070000105
其中，
Figure BDA0002206141070000106
表示
Figure BDA0002206141070000107
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002206141070000108
表示
Figure BDA0002206141070000109
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022061410700001010
表示
Figure BDA00022061410700001011
中坐标位置为(x,y)的像素点的像素值，表示求取使得
Figure BDA00022061410700001013
的值最大时的(x0,y0)的值，x0表示横坐标，y0表示纵坐标，W'表示
Figure BDA00022061410700001014
和
Figure BDA00022061410700001015
的最佳裁剪框的宽度，H'表示
Figure BDA00022061410700001016
和
Figure BDA00022061410700001017
的最佳裁剪框的高度，1＜W'＜W，1＜H'＜H，1≤i≤W'，1≤j≤H'，
Figure BDA00022061410700001018
表示
Figure BDA00022061410700001019
中坐标位置为(x0+i,y0+j)的像素点的像素值，
Figure BDA00022061410700001020
表示
Figure BDA00022061410700001021
中坐标位置为
Figure BDA00022061410700001022
的像素点的视差值，亦为
Figure BDA00022061410700001023
中坐标位置为的像素点的像素值，
Figure BDA00022061410700001025
中的“＝”为赋值符号。
在此具体实施例中，步骤五中，其中，
Figure BDA00022061410700001027
表示中坐标位置为(x,y)的像素点的水平梯度，
Figure BDA00022061410700001029
Figure BDA00022061410700001030
表示
Figure BDA00022061410700001031
中坐标位置为(x+1,y)的像素点的像素值，GYt L(x,y)表示
Figure BDA00022061410700001032
中坐标位置为(x,y)的像素点的垂直梯度，
Figure BDA00022061410700001033
Figure BDA00022061410700001034
表示
Figure BDA00022061410700001035
中坐标位置为(x,y+1)的像素点的像素值。
在此具体实施例中，步骤五中，
Figure BDA00022061410700001036
其中，λ1和λ2为权重系数，λ1+λ2＝1，在本实施例中取λ1＝0.6、λ2＝0.4。
步骤六：若
Figure BDA00022061410700001037
和
Figure BDA00022061410700001038
均为非关键帧，则根据
Figure BDA00022061410700001039
的最佳裁剪框的左上角坐标位置和
Figure BDA00022061410700001040
获取
Figure BDA00022061410700001041
的最佳裁剪框的左上角坐标位置，记为
Figure BDA0002206141070000111
同样，根据
Figure BDA0002206141070000112
的最佳裁剪框的左上角坐标位置和
Figure BDA0002206141070000113
获取的最佳裁剪框的左上角坐标位置，记为
Figure BDA0002206141070000115
其中，
Figure BDA0002206141070000116
表示原始立体视频序列中的第t-1帧左视点视频图像，
Figure BDA0002206141070000117
表示
Figure BDA0002206141070000118
中坐标位置为(x,y)的像素点的像素值，
Figure BDA0002206141070000119
表示原始立体视频序列中的第t-1帧右视点视频图像，
Figure BDA00022061410700001110
表示
Figure BDA00022061410700001111
中坐标位置为(x,y)的像素点的像素值，
Figure BDA00022061410700001112
表示
Figure BDA00022061410700001113
的最佳裁剪框的左上角坐标位置，
Figure BDA00022061410700001114
表示
Figure BDA00022061410700001115
的最佳裁剪框的左上角坐标位置，表示中坐标位置为
Figure BDA00022061410700001118
的像素点的运动矢量
Figure BDA00022061410700001119
的水平偏移量，
Figure BDA00022061410700001120
表示
Figure BDA00022061410700001121
中坐标位置为的像素点的运动矢量
Figure BDA00022061410700001123
的垂直偏移量，
Figure BDA00022061410700001124
表示中坐标位置为的像素点的运动矢量的水平偏移量，
Figure BDA00022061410700001128
表示
Figure BDA00022061410700001129
中坐标位置为的像素点的运动矢量
Figure BDA00022061410700001131
的垂直偏移量。
步骤七：根据
Figure BDA00022061410700001132
的最佳裁剪框的左上角坐标位置及宽度和高度，获得
Figure BDA00022061410700001133
的裁剪图像作为重定位左视点视频图像，记为
Figure BDA00022061410700001134
同样，根据
Figure BDA00022061410700001135
的最佳裁剪框的左上角坐标位置及宽度和高度，获得
Figure BDA00022061410700001136
的裁剪图像作为重定位右视点视频图像，记为其中，1≤x1≤W'，1≤y1≤H'，
Figure BDA00022061410700001138
表示中坐标位置为(x1,y1)的像素点的像素值，
Figure BDA00022061410700001140
表示
Figure BDA00022061410700001141
中坐标位置为(x1,y1)的像素点的像素值。
步骤八：令t＝t+1；然后将原始立体视频序列中下一帧待处理的左视点视频图像作为当前左视点视频图像，并将原始立体视频序列中下一帧待处理的右视点视频图像作为当前右视点视频图像；再返回步骤二继续执行，直至获得原始立体视频序列中除最后一帧左视点视频图像外的每帧左视点视频图像的裁剪图像、原始立体视频序列中除最后一帧右视点视频图像外的每帧右视点视频图像的裁剪图像，进而得到包含T-1帧重定位左视点视频图像和T-1帧重定位右视点视频图像的重定位立体视频序列；其中，t＝t+1中的“＝”为赋值符号。
以下就利用本发明方法对“bunny”、“iceage”、“penguins”和“squirrel”四组立体视频序列进行重定位实验。图2a给出了“bunny”立体视频序列的第606时刻的原始左视点图像，图2b给出了“bunny”立体视频序列的第606时刻的原始左视点图像的裁剪图像，图2c给出了“bunny”立体视频序列的第607时刻的原始左视点图像的裁剪图像，图2d给出了“bunny”立体视频序列的第608时刻的原始左视点图像的裁剪图像；图3a给出了“bunny”立体视频序列的第606时刻的原始右视点图像，图3b给出了“bunny”立体视频序列的第606时刻的原始右视点图像的裁剪图像，图3c给出了“bunny”立体视频序列的第607时刻的原始右视点图像的裁剪图像，图3d给出了“bunny”立体视频序列的第608时刻的原始右视点图像的裁剪图像；图4a给出了“iceage”立体视频序列的第1193时刻的原始左视点图像，图4b给出了“iceage”立体视频序列的第1193时刻的原始左视点图像的裁剪图像，图4c给出了“iceage”立体视频序列的第1194时刻的原始左视点图像的裁剪图像，图4d给出了“iceage”立体视频序列的第1195时刻的原始左视点图像的裁剪图像；图5a给出了“iceage”立体视频序列的第1193时刻的原始右视点图像，图5b给出了“iceage”立体视频序列的第1194时刻的原始右视点图像的裁剪图像，图5c给出了“iceage”立体视频序列的第1195时刻的原始右视点图像的裁剪图像，图5d给出了“iceage”立体视频序列的第1196时刻的原始右视点图像的裁剪图像；图6a给出了“penguins”立体视频序列的第6736时刻的原始左视点图像，图6b给出了“penguins”立体视频序列的第6737时刻的原始左视点图像的裁剪图像，图6c给出了“penguins”立体视频序列的第6738时刻的原始左视点图像的裁剪图像，图6d给出了“penguins”立体视频序列的第6739时刻的原始左视点图像的裁剪图像；图7a给出了“penguins”立体视频序列的第6736时刻的原始右视点图像，图7b给出了“penguins”立体视频序列的第6737时刻的原始右视点图像的裁剪图像，图7c给出了“penguins”立体视频序列的第6738时刻的原始右视点图像的裁剪图像，图7d给出了“penguins”立体视频序列的第6739时刻的原始右视点图像的裁剪图像；图8a给出了“squirrel”立体视频序列的第2133时刻的原始左视点图像，图8b给出了“squirrel”立体视频序列的第2134时刻的原始左视点图像的裁剪图像，图8c给出了“squirrel”立体视频序列的第2135时刻的原始左视点图像的裁剪图像，图8d给出了“squirrel”立体视频序列的第2136时刻的原始左视点图像的裁剪图像；图9a给出了“squirrel”立体视频序列的第2133时刻的原始右视点图像，图9b给出了“squirrel”立体视频序列的第2134时刻的原始右视点图像的裁剪图像，图9c给出了“squirrel”立体视频序列的第2135时刻的原始右视点图像的裁剪图像，图9d给出了“squirrel”立体视频序列的第2136时刻的原始右视点图像的裁剪图像。从图2a至图9d中可以看出，采用本发明方法得到的裁剪图像能够较好地保留重要的显著语义信息，同时又能保证时域一致性。

Claims (4)

1.一种立体视频裁剪方法，其特征在于包括以下步骤：
步骤一：将原始立体视频序列中当前待处理的第t帧左视点视频图像定义为当前左视点视频图像，并将原始立体视频序列中当前待处理的第t帧右视点视频图像定义为当前右视点视频图像；其中，t为正整数，t的初始值为1，1≤t≤T-1，原始立体视频序列中包含的宽度为W且高度为H的左视点视频图像的总帧数为T帧，原始立体视频序列中包含的宽度为W且高度为H的右视点视频图像的总帧数也为T帧，T为正整数，T＞1；
步骤二：将当前左视点视频图像记为
Figure FDA0002206141060000011
并将当前右视点视频图像记为
Figure FDA0002206141060000012
其中，1≤x≤W，1≤y≤H，
Figure FDA0002206141060000013
表示
Figure FDA0002206141060000014
中坐标位置为(x,y)的像素点的像素值，表示
Figure FDA0002206141060000016
中坐标位置为(x,y)的像素点的像素值；
步骤三：将
Figure FDA0002206141060000017
标记为关键帧或非关键帧；同样，将
Figure FDA0002206141060000018
标记为关键帧或非关键帧；
步骤四：采用基于光流的视差估计方法，计算
Figure FDA0002206141060000019
与
Figure FDA00022061410600000110
的左右视差，记为
Figure FDA00022061410600000111
将
Figure FDA00022061410600000112
中坐标位置为(x,y)的像素点的视差值记为
Figure FDA00022061410600000113
并采用基于光流的估计方法，计算
Figure FDA00022061410600000114
与
Figure FDA00022061410600000115
的运动矢量，记为将
Figure FDA00022061410600000117
中坐标位置为(x,y)的像素点的运动矢量记为
Figure FDA00022061410600000118
Figure FDA00022061410600000119
同样，采用基于光流的估计方法，计算
Figure FDA00022061410600000120
与
Figure FDA00022061410600000121
的运动矢量，记为
Figure FDA00022061410600000122
将
Figure FDA00022061410600000123
中坐标位置为(x,y)的像素点的运动矢量记为
Figure FDA00022061410600000124
Figure FDA00022061410600000125
其中，
Figure FDA00022061410600000126
表示原始立体视频序列中的第t+1帧左视点视频图像，
Figure FDA00022061410600000127
表示
Figure FDA00022061410600000128
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00022061410600000129
表示原始立体视频序列中的第t+1帧右视点视频图像，表示
Figure FDA00022061410600000131
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00022061410600000132
用于表示水平方向，
Figure FDA00022061410600000133
用于表示垂直方向，
Figure FDA0002206141060000021
表示
Figure FDA0002206141060000022
的水平偏移量，
Figure FDA0002206141060000023
表示
Figure FDA0002206141060000024
的垂直偏移量，
Figure FDA0002206141060000025
表示
Figure FDA0002206141060000026
的水平偏移量，
Figure FDA0002206141060000027
表示
Figure FDA0002206141060000028
的垂直偏移量；
步骤五：若
Figure FDA0002206141060000029
和
Figure FDA00022061410600000210
均为关键帧，则首先采用基于图论的视觉显著模型提取出
Figure FDA00022061410600000211
的显著图，记为
Figure FDA00022061410600000212
并计算
Figure FDA00022061410600000213
的梯度图，记为然后根据
Figure FDA00022061410600000215
和
Figure FDA00022061410600000216
获取
Figure FDA00022061410600000217
的三维显著图，记为
Figure FDA00022061410600000218
再根据
Figure FDA00022061410600000219
获取
Figure FDA00022061410600000220
的最佳裁剪框的左上角坐标位置，记为
Figure FDA00022061410600000222
最后根据和
Figure FDA00022061410600000224
获取
Figure FDA00022061410600000225
的最佳裁剪框的左上角坐标位置，记为
Figure FDA00022061410600000226
Figure FDA00022061410600000227
Figure FDA00022061410600000228
其中，
Figure FDA00022061410600000229
表示
Figure FDA00022061410600000230
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00022061410600000231
表示
Figure FDA00022061410600000232
中坐标位置为(x,y)的像素点的像素值，表示
Figure FDA00022061410600000234
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00022061410600000235
表示求取使得
Figure FDA00022061410600000236
的值最大时的(x0,y0)的值，x0表示横坐标，y0表示纵坐标，W'表示
Figure FDA00022061410600000237
和
Figure FDA00022061410600000238
的最佳裁剪框的宽度，H'表示
Figure FDA00022061410600000239
和
Figure FDA00022061410600000240
的最佳裁剪框的高度，1＜W'＜W，1＜H'＜H，1≤i≤W'，1≤j≤H'，
Figure FDA00022061410600000241
表示
Figure FDA00022061410600000242
中坐标位置为(x0+i,y0+j)的像素点的像素值，
Figure FDA00022061410600000243
表示
Figure FDA00022061410600000244
中坐标位置为
Figure FDA00022061410600000245
的像素点的视差值，亦为中坐标位置为
Figure FDA00022061410600000247
的像素点的像素值，
Figure FDA00022061410600000248
中的“＝”为赋值符号；
步骤六：若
Figure FDA00022061410600000249
和
Figure FDA00022061410600000250
均为非关键帧，则根据
Figure FDA00022061410600000251
的最佳裁剪框的左上角坐标位置和获取
Figure FDA00022061410600000253
的最佳裁剪框的左上角坐标位置，记为
Figure FDA00022061410600000254
Figure FDA00022061410600000255
同样，根据
Figure FDA00022061410600000256
的最佳裁剪框的左上角坐标位置和
Figure FDA0002206141060000031
获取
Figure FDA0002206141060000032
的最佳裁剪框的左上角坐标位置，记为
Figure FDA0002206141060000033
Figure FDA0002206141060000034
其中，
Figure FDA0002206141060000035
表示原始立体视频序列中的第t-1帧左视点视频图像，
Figure FDA0002206141060000036
表示
Figure FDA0002206141060000037
中坐标位置为(x,y)的像素点的像素值，
Figure FDA0002206141060000038
表示原始立体视频序列中的第t-1帧右视点视频图像，
Figure FDA0002206141060000039
表示
Figure FDA00022061410600000310
中坐标位置为(x,y)的像素点的像素值，
Figure FDA00022061410600000311
表示
Figure FDA00022061410600000312
的最佳裁剪框的左上角坐标位置，
Figure FDA00022061410600000313
表示的最佳裁剪框的左上角坐标位置，
Figure FDA00022061410600000315
表示
Figure FDA00022061410600000316
中坐标位置为
Figure FDA00022061410600000317
的像素点的运动矢量的水平偏移量，
Figure FDA00022061410600000319
表示
Figure FDA00022061410600000320
中坐标位置为的像素点的运动矢量的垂直偏移量，
Figure FDA00022061410600000323
表示
Figure FDA00022061410600000324
中坐标位置为
Figure FDA00022061410600000325
的像素点的运动矢量
Figure FDA00022061410600000326
的水平偏移量，
Figure FDA00022061410600000327
表示
Figure FDA00022061410600000328
中坐标位置为的像素点的运动矢量
Figure FDA00022061410600000330
的垂直偏移量；
步骤七：根据
Figure FDA00022061410600000331
的最佳裁剪框的左上角坐标位置及宽度和高度，获得
Figure FDA00022061410600000332
的裁剪图像作为重定位左视点视频图像，记为
Figure FDA00022061410600000333
同样，根据
Figure FDA00022061410600000334
的最佳裁剪框的左上角坐标位置及宽度和高度，获得
Figure FDA00022061410600000335
的裁剪图像作为重定位右视点视频图像，记为
Figure FDA00022061410600000336
其中，1≤x1≤W'，1≤y1≤H'，
Figure FDA00022061410600000337
表示
Figure FDA00022061410600000338
中坐标位置为(x1,y1)的像素点的像素值，
Figure FDA00022061410600000339
表示中坐标位置为(x1,y1)的像素点的像素值；
步骤八：令t＝t+1；然后将原始立体视频序列中下一帧待处理的左视点视频图像作为当前左视点视频图像，并将原始立体视频序列中下一帧待处理的右视点视频图像作为当前右视点视频图像；再返回步骤二继续执行，直至获得原始立体视频序列中除最后一帧左视点视频图像外的每帧左视点视频图像的裁剪图像、原始立体视频序列中除最后一帧右视点视频图像外的每帧右视点视频图像的裁剪图像，进而得到包含T-1帧重定位左视点视频图像和T-1帧重定位右视点视频图像的重定位立体视频序列；其中，t＝t+1中的“＝”为赋值符号。
2.根据权利要求1所述的一种立体视频裁剪方法，其特征在于所述的步骤三的具体过程为：如果t＝1，则将
Figure FDA0002206141060000041
和
Figure FDA0002206141060000042
直接标记为关键帧；如果t≠1，则计算
Figure FDA0002206141060000043
和各自的直方图分布，对应记为{Pt L[b]|1≤b≤B}和然后计算{Pt L[b]|1≤b≤B}、
Figure FDA0002206141060000046
和
Figure FDA0002206141060000047
各自的信息熵，对应记为
Figure FDA0002206141060000048
和
Figure FDA0002206141060000049
Figure FDA00022061410600000410
Figure FDA00022061410600000411
再计算{Pt L[b]|1≤b≤B}与
Figure FDA00022061410600000412
之间的信息熵变化值，记为
Figure FDA00022061410600000414
最后判断
Figure FDA00022061410600000415
是否成立，如果成立，则将
Figure FDA00022061410600000416
和
Figure FDA00022061410600000417
标记为关键帧；否则，将
Figure FDA00022061410600000418
和标记为非关键帧；其中，表示原始立体视频序列中的第t+1帧左视点视频图像，
Figure FDA00022061410600000421
表示中坐标位置为(x,y)的像素点的像素值，b为正整数，b的初始值为1，1≤b≤B，B为正整数，
Figure FDA00022061410600000423
和
Figure FDA00022061410600000424
中所包含的灰度等级的总数目均为B，Pt L[b]表示
Figure FDA00022061410600000425
中灰度等级为b的像素点在中出现的概率，表示
Figure FDA00022061410600000428
中灰度等级为b的像素点在
Figure FDA00022061410600000429
中出现的概率，
Figure FDA00022061410600000430
表示和
Figure FDA00022061410600000432
中灰度等级为b的像素点在
Figure FDA00022061410600000433
和中出现的概率的均值，log2()为以2为底的指数操作函数，符号“||”为取绝对值符号，th为设定阈值。
3.根据权利要求1或2所述的一种立体视频裁剪方法，其特征在于所述的步骤五中，
Figure FDA00022061410600000435
其中，表示
Figure FDA00022061410600000437
中坐标位置为(x,y)的像素点的水平梯度，
Figure FDA0002206141060000052
表示
Figure FDA0002206141060000053
中坐标位置为(x+1,y)的像素点的像素值，GYt L(x,y)表示
Figure FDA0002206141060000054
中坐标位置为(x,y)的像素点的垂直梯度，
Figure FDA0002206141060000056
表示
Figure FDA0002206141060000057
中坐标位置为(x,y+1)的像素点的像素值。
4.根据权利要求3所述的一种立体视频裁剪方法，其特征在于所述的步骤五中，
Figure FDA0002206141060000058
其中，λ1和λ2为权重系数，λ1+λ2＝1。
CN201910881974.8A 2019-09-18 2019-09-18 一种立体视频裁剪方法 Active CN110719453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910881974.8A CN110719453B (zh) 2019-09-18 2019-09-18 一种立体视频裁剪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910881974.8A CN110719453B (zh) 2019-09-18 2019-09-18 一种立体视频裁剪方法

Publications (2)

Publication Number Publication Date
CN110719453A true CN110719453A (zh) 2020-01-21
CN110719453B CN110719453B (zh) 2021-02-05

Family

ID=69209886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910881974.8A Active CN110719453B (zh) 2019-09-18 2019-09-18 一种立体视频裁剪方法

Country Status (1)

Country Link
CN (1) CN110719453B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405314A (zh) * 2020-03-09 2020-07-10 腾讯科技（深圳）有限公司 一种信息处理方法、装置、设备及存储介质
CN112449170A (zh) * 2020-10-13 2021-03-05 宁波大学 一种立体视频重定位方法
CN117880520A (zh) * 2024-03-11 2024-04-12 山东交通学院 一种用于机车乘务员值乘标准化监控的数据管理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140333733A1 (en) * 2013-05-13 2014-11-13 Samsung Electronics Co., Ltd. System and method for providing 3-dimensional images
CN106375752A (zh) * 2016-08-31 2017-02-01 李文松 一种新型全景立体图像合成方法及装置
CN106961592A (zh) * 2017-03-01 2017-07-18 深圳市魔眼科技有限公司 3d视频的vr显示方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140333733A1 (en) * 2013-05-13 2014-11-13 Samsung Electronics Co., Ltd. System and method for providing 3-dimensional images
CN106375752A (zh) * 2016-08-31 2017-02-01 李文松 一种新型全景立体图像合成方法及装置
CN106961592A (zh) * 2017-03-01 2017-07-18 深圳市魔眼科技有限公司 3d视频的vr显示方法及系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111405314A (zh) * 2020-03-09 2020-07-10 腾讯科技（深圳）有限公司 一种信息处理方法、装置、设备及存储介质
CN111405314B (zh) * 2020-03-09 2021-06-15 腾讯科技（深圳）有限公司 一种信息处理方法、装置、设备及存储介质
CN112449170A (zh) * 2020-10-13 2021-03-05 宁波大学 一种立体视频重定位方法
CN112449170B (zh) * 2020-10-13 2023-07-28 万维仁和(北京)科技有限责任公司 一种立体视频重定位方法
CN117880520A (zh) * 2024-03-11 2024-04-12 山东交通学院 一种用于机车乘务员值乘标准化监控的数据管理方法
CN117880520B (zh) * 2024-03-11 2024-05-10 山东交通学院 一种用于机车乘务员值乘标准化监控的数据管理方法

Also Published As

Publication number Publication date
CN110719453B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN110719453B (zh) 一种立体视频裁剪方法
US20180300937A1 (en) System and a method of restoring an occluded background region
US9171373B2 (en) System of image stereo matching
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
EP2381422A2 (en) Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
CN104574404B (zh) 一种立体图像重定位方法
CN102436671B (zh) 一种基于深度值非线性变换的虚拟视点绘制方法
EP2887314B1 (en) Video frame conversion method and apparatus
Lie et al. 2D to 3D video conversion with key-frame depth propagation and trilateral filtering
CN106570900B (zh) 一种立体图像重定位方法
CN105141940B (zh) 一种分区域的3d视频编码方法
CN104010180A (zh) 三维视频滤波方法和装置
CN105376553B (zh) 一种三维视频重定位方法
CN107203962B (zh) 一种利用2d图片制作伪3d图像的方法及电子设备
CN105791795A (zh) 立体图像处理方法、装置以及立体视频显示设备
WO2014030571A1 (ja) 立体画像処理装置、立体画像処理方法およびプログラム
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
KR20130036430A (ko) 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체
US9787980B2 (en) Auxiliary information map upsampling
CN108307170B (zh) 一种立体图像重定位方法
Liu et al. Hole-filling based on disparity map and inpainting for depth-image-based rendering
CN112449170B (zh) 一种立体视频重定位方法
CN110149509B (zh) 一种立体视频重定位方法
Vosters et al. Efficient and stable sparse-to-dense conversion for automatic 2-D to 3-D conversion
CN103632365A (zh) 一种立体图像视差估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220624

Address after: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220729

Address after: No. 6304, Beijing shunhouyu Business Co., Ltd., No. 32, Wangfu street, Beiqijia Town, Changping District, Beijing 102200

Patentee after: China Film annual (Beijing) culture media Co.,Ltd.

Address before: Room 2202, 22 / F, Wantong building, No. 3002, Sungang East Road, Sungang street, Luohu District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen dragon totem technology achievement transformation Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 701, 7th floor, and 801, 8th floor, Building 1, Courtyard 8, Gouzitou Street, Changping District, Beijing, 102200

Patentee after: Zhongying Nian Nian (Beijing) Technology Co.,Ltd.

Country or region after: China

Address before: No. 6304, Beijing shunhouyu Business Co., Ltd., No. 32, Wangfu street, Beiqijia Town, Changping District, Beijing 102200

Patentee before: China Film annual (Beijing) culture media Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address