CN105376553B - 一种三维视频重定位方法 - Google Patents
一种三维视频重定位方法 Download PDFInfo
- Publication number
- CN105376553B CN105376553B CN201510823404.5A CN201510823404A CN105376553B CN 105376553 B CN105376553 B CN 105376553B CN 201510823404 A CN201510823404 A CN 201510823404A CN 105376553 B CN105376553 B CN 105376553B
- Authority
- CN
- China
- Prior art keywords
- pixel
- designated
- make
- coordinate position
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种三维视频重定位方法，其首先分别提取彩色视频序列中的每帧彩色图像的图像显著图、梯度能量图和运动显著图，并融合场景的深度信息得到彩色视频序列中的每帧彩色图像的视觉注意力图，计算彩色视频序列中的每帧彩色图像的帧内一致性能量图和帧间一致性能量图；并采用动态规划方法找出彩色视频序列中的每帧彩色图像的所有垂直缝隙；再将彩色视频序列中的每帧彩色图像中落于所有垂直缝隙和深度视频序列中的每帧深度图像中落于相同的垂直缝隙内的像素点移除，得到重定位后的彩色视频序列和重定位后的深度视频序列；优点是获得的重定位后的三维视频能减少图像形变、避免时域抖动、突出显著内容，从而保持较高的视觉舒适性。
Description
技术领域
本发明涉及一种图像信号的处理方法，尤其是涉及一种三维视频重定位方法。
背景技术
随着视频显示设备(例如智能手机、平板电脑、电视等)的快速发展与更新换代，具有不同分辨率和屏幕高宽比的显示终端设备充斥着人们的工作与生活。当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频内容的分辨率使之适应不同尺寸的显示设备，这就是重定位(retargeting)问题。当前解决这个问题的方法有：均匀缩放(uniform scaling)、裁切(cropping)和在屏幕边缘填充黑色边带(letterboxing)。然而，这些传统方法通常不能达到很好的用户体验效果，不能充分利用显示设备的尺寸优势，降低了用户的体验。
而对于视频的重定位而言，如果直接将细缝裁剪算法应用到视频，即单独处理视频中的每一帧，则会造成严重的抖动；同时，从视觉注意力的角度出发解构视频场景，深度这一维度信息可以很好地体现出人眼视觉注意力在前后背景内容上的区分度。因此，如何对三维视频进行缩放以减少图像形变、避免时域抖动、突出显著内容，从而降低视觉不舒适，都是在对三维视频进行重定位过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够有效地调整三维视频尺寸大小，且保持较高视觉舒适性的三维视频重定位方法。
本发明解决上述技术问题所采用的技术方案为：一种三维视频重定位方法，其特征在于包括以下步骤：
①待处理的原始三维视频序列由彩色视频序列和深度视频序列构成，假定彩色视频序列中包含的彩色图像的总帧数和深度视频序列中包含的深度图像的总帧数均为T，将彩色视频序列中t时刻的彩色图像记为{It(x,y)}，将深度视频序列中t时刻的深度图像记为{Dt(x,y)}，其中，T>1，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的宽度，H表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的高度，It(x,y)表示{It(x,y)}中坐标位置为(x,y)的像素点的像素值，Dt(x,y)表示{Dt(x,y)}中坐标位置为(x,y)的像素点的像素值；
②对由T帧彩色图像构成并呈三维立方体的彩色视频序列在X方向上进行采样，得到彩色视频序列的W个Y-T截面图像，将彩色视频序列的第x个Y-T截面图像记为{Ix(y,t)}，将{Ix(y,t)}中坐标位置为(y,t)的像素点的像素值记为Ix(y,t)，Ix(y,t)＝It(x,y)；同样，对由T帧彩色图像构成并呈三维立方体的彩色视频序列在Y方向上进行采样，得到彩色视频序列的H个X-T截面图像，将彩色视频序列的第y个X-T截面图像记为{Iy(x,t)}，将{Iy(x,t)}中坐标位置为(x,t)的像素点的像素值记为Iy(x,t)，Iy(x,t)＝It(x,y)；
③通过对彩色视频序列的每个Y-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵，将{Ix(y,t)}的最优垂直方向运动矩阵记为同样，通过对彩色视频序列的每个X-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个X-T截面图像的最优水平方向运动矩阵，将{Iy(x,t)}的最优水平方向运动矩阵记为然后根据彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取彩色视频序列中每个时刻的彩色图像的运动显著图，将{It(x,y)}的运动显著图记为{Mt(x,y)}，其中，Mt(x,y)表示{Mt(x,y)}中坐标位置为(x,y)的像素点的像素值；
④将彩色视频序列中当前待处理的t时刻的彩色图像定义为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像定义为当前深度图像，记为{Dt(x,y)}，其中，此处t的初始值为2，2≤t≤T；
⑤提取{It(x,y)}的图像显著图、梯度能量图和运动显著图；然后对{It(x,y)}的图像显著图、梯度能量图和运动显著图进行融合，得到{It(x,y)}的视觉注意力图，记为其中，表示中坐标位置为(x,y)的像素点的像素值；
⑥计算{It(x,y)}的帧内一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧内一致性能量值记为 横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}，如果x-1≥1，则It(x-1,y)表示{It(x,y)}中坐标位置为(x-1,y)的像素点的像素值，如果x-1<1，则令It(x-1,y)＝It(1,y)；如果x+1≤W，则It(x+1,y)表示{It(x,y)}中坐标位置为(x+1,y)的像素点的像素值，如果x+1>W，则令It(x+1,y)＝It(W,y)；当k＝x-1时如果k≥1且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x-1时如果k≥1且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x-1时如果k<1且y-1≥1，则令It(k,y-1)＝It(1,y-1)，当k＝x-1时如果k<1且y-1<1，则令It(k,y-1)＝It(1,1)；当k＝x时如果y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x时如果y-1<1，则令It(k,y-1)＝It(k,1)；当k＝x+1时如果k≤W且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x+1时如果k≤W且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x+1时如果k>W且y-1≥1，则令It(k,y-1)＝It(W,y-1)，当k＝x+1时如果k>W且y-1<1，则令It(k,y-1)＝It(W,1)；当k＝x-1时It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1≤W，则It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1>W，则令It(k+1,y)＝It(W,y)；It(1,y)、It(W,y)、It(k,1)、It(1,y-1)、It(1,1)、It(W,y-1)、It(W,1)对应表示{It(x,y)}中坐标位置为(1,y)、(W,y)、(k,1)、(1,y-1)、(1,1)、(W,y-1)、(W,1)的像素点的像素值，符号“| |”为取绝对值符号；
⑦计算{It(x,y)}的帧间一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧间一致性能量值记为
其中，2×B+1表示{It(x,y)}中以坐标位置为(x+i,y+j)的像素点为中心的块的尺寸，St-1,i'(y)表示彩色视频序列中t-1时刻的彩色图像的第i'条垂直缝隙的纵坐标位置为y时的横坐标位置，ln()为以自然基数e为底的对数函数，符号“| |”为取绝对值符号，如果x+i<1且y+j<1，则令E(x+i,y+j)＝E(1,1)，并令It(x+i,y+j)＝It(1,1)；如果x+i<1且1≤y+j≤H，则令E(x+i,y+j)＝E(1,y+j)，并令It(x+i,y+j)＝It(1,y+j)；如果x+i<1且y+j>H，则令E(x+i,y+j)＝E(1,H)，并令It(x+i,y+j)＝It(1,H)；如果1≤x+i≤W且y+j<1，则令E(x+i,y+j)＝E(x+i,1)，并令It(x+i,y+j)＝It(x+i,1)；如果1≤x+i≤W且1≤y+j≤H，则It(x+i,y+j)表示{It(x,y)}中坐标位置为(x+i,y+j)的像素点的像素值；如果1≤x+i≤W且y+j>H，则令E(x+i,y+j)＝E(x+i,H)，并令It(x+i,y+j)＝It(x+i,H)；如果x+i>W且y+j<1，则令E(x+i,y+j)＝E(W,1)，并令It(x+i,y+j)＝It(W,1)；如果x+i>W且1≤y+j≤H，则令E(x+i,y+j)＝E(W,y+j)，并令It(x+i,y+j)＝It(W,y+j)；如果x+i>W且y+j>H，则令E(x+i,y+j)＝E(W,H)，并令It(x+i,y+j)＝It(W,H)；如果St-1,i'(y)+i<1且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,1)；如果St-1,i'(y)+i<1且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,y+j)；如果St-1,i'(y)+i<1且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,H)；如果1≤St-1,i'(y)+i≤W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,1)；如果1≤St-1,i'(y)+i≤W且1≤y+j≤H，则It-1(St-1,i'(y)+i,y+j)表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(St-1,i'(y)+i,y+j)的像素点的像素值；如果1≤St-1,i'(y)+i≤W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,H)；如果St-1,i'(y)+i>W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,1)；如果St-1,i'(y)+i>W且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,y+j)；如果St-1,i'(y)+i>W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,H)；上述It(1,1)、It(1,y+j)、It(1,W)、It(x+i,1)、It(x+i,H)、It(W,1)，It(W,y+j)、It(W,H)对应表示{It(x,y)}中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值，上述It-1(1,1)、It-1(1,y+j)、It-1(1,W)、It-1(x+i,1)、It-1(x+i,H)、It-1(W,1)、It-1(W,y+j)、It-1(W,H)对应表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值；
⑧根据和计算{It(x,y)}的总能量图，记为将中坐标位置为(x,y)的像素点的像素值记为 其中，α2、β2和γ2为加权参数；
⑨将重定位彩色图像和重定位深度图像的宽度记为W'，将{It(x,y)}和{Dt(x,y)}的垂直缝隙的条数记为Ns，Ns＝W-W'，其中，W'<W；
⑩根据通过动态规划方法找出{It(x,y)}的Ns条垂直缝隙，将{It(x,y)}的第i'条垂直缝隙记为{St,i'(y)|1≤y≤H}，其中，1≤i'≤Ns，St,i'(y)表示{St,i'(y)|1≤y≤H}在纵坐标位置为y时的横坐标位置；
将{It(x,y)}中所有落在{It(x,y)}的Ns条垂直缝隙内的像素点删除，得到重定位彩色图像，记为将{Dt(x,y)}中所有落在相同的Ns条垂直缝隙内的像素点删除，得到重定位深度图像，记为其中，1≤x1≤W'，表示中坐标位置为(x1,y)的像素点的像素值，表示中坐标位置为(x1,y)的像素点的像素值；
令t＝t+1；然后将彩色视频序列中t时刻的彩色图像作为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像作为当前深度图像，记为{Dt(x,y)}；再返回步骤⑤继续执行，直至三维视频序列中的所有彩色图像和深度图像处理完毕，得到三维视频序列中的每帧彩色图像对应的重定位彩色图像、三维视频序列中的每帧深度图像对应的重定位深度图像；其中，t＝t+1中的“＝”为赋值符号。
所述的步骤③中的的获取过程为：
③-a1、对{Ix(y,t)}进行低秩矩阵分解，得到{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵；
③-a2、利用最小化概率密度函数，获取{Ix(y,t)}的最优垂直方向背景矩阵和最优垂直方向运动矩阵将和的组合记为 其中，Sx为{Ix(y,t)}的矩阵形式表示，Sx＝Bx+Mx，Sx、Bx和Mx的维数均为H×T，arg min[]为最小化概率密度函数，表示取使得的值最小时的(Bx,Mx)，Ωx表示{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵的组合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，Bx指{Ix(y,t)}的垂直方向背景矩阵，Mx指{Ix(y,t)}的垂直方向运动矩阵，符号“|| ||*”为求取矩阵核的范数符号，符号“|| ||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子，s.t.表示“受约束于”；
所述的步骤③中的的获取过程为：
③-b1、对{Iy(x,t)}进行低秩矩阵分解，得到{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵；
③-b2、利用最小化概率密度函数，获取{Iy(x,t)}的最优水平方向背景矩阵和最优水平方向运动矩阵将和的组合记为 其中，Sy为{Iy(x,t)}的矩阵形式表示，Sy＝By+My，Sy、By和My的维数均为W×T，表示取使得的值最小时的(By,My)，Ωy表示{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵的组合(By,My)的集合，(By,My)∈Ωy，By指{Iy(x,t)}的水平方向背景矩阵，My指{Iy(x,t)}的水平方向运动矩阵。
所述的步骤③中的{Mt(x,y)}的获取过程为：
③-c1、将彩色视频序列的W个Y-T截面图像各自的最优垂直方向运动矩阵在X方向上进行叠加，构造得到Y-T截面图像的立方体，记为ScubeYT，其中，ScubeYT的维数为W×H×T；
同样，将彩色视频序列的H个X-T截面图像各自的最优水平方向运动矩阵在Y方向上进行叠加，构造得到X-T截面图像的立方体，记为ScubeXT，其中，ScubeXT的维数为W×H×T；
③-c2、计算norm(ScubeXT·*ScubeYT)，然后将计算结果作为彩色视频序列的初步的运动显著序列，其中，norm()表示归一化操作函数，norm(ScubeXT·*ScubeYT)中的符号“·*”为矩阵点乘符号；
③-c3、采用高斯滤波器对呈三维立方体的彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像进行平滑操作，得到{It(x,y)}的运动显著图{Mt(x,y)}，Mt(x,y)＝M't(x,y)*Gσ(x,y)，其中，M't(x,y)表示彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数中位置为(x,y)处的元素的值，exp()为以自然基数e为底的指数函数。
所述的步骤⑤中的{It(x,y)}的图像显著图的获取过程为：利用基于图论的视觉显著模型提取出{It(x,y)}的图像显著图，记为{St(x,y)}，其中，St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的步骤⑤中的{It(x,y)}的梯度能量图的获取过程为：采用Sobel算子对{It(x,y)}进行卷积，得到{It(x,y)}中的每个像素点的水平方向梯度和垂直方向梯度，将{It(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为将{It(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为然后根据{It(x,y)}中的所有像素点各自的水平方向梯度和垂直方向梯度，计算{It(x,y)}的梯度能量图，记为{Gt(x,y)}，将{Gt(x,y)}中坐标位置为(x,y)的像素点的像素值记为Gt(x,y)，
所述的步骤⑤中的其中，α1、β1和γ1为加权参数。
所述的步骤⑩的具体过程为：
⑩-1、根据计算{It(x,y)}中的每个像素点的累计能量值，将{It(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为 其中，min()为取最小值函数；
⑩-2、根据{It(x,y)}中的每个像素点的累计能量值，采用动态规划方法找出{It(x,y)}中从y＝1到y＝H的Ns条成本最小的路径，将每条成本最小的路径作为{It(x,y)}的一条垂直缝隙。
与现有技术相比，本发明的优点在于：
1)本发明方法从人眼的视觉注意力特性出发，引入场景的深度信息并结合显著能量图、梯度能量图和运动能量图构造得到视觉注意力图，这样使得获得的重定位彩色图像和重定位深度图像能够较好地保留重要的显著语义信息。
2)本发明方法构造帧间一致性能量图来保证相邻视频帧缝隙在时间域与空间域上的一致性，以减少相邻视频帧因为取缝不一致所导致的时域抖动现象，这样使得获得的重定位彩色图像和重定位深度图像能够较好地降低由于时域抖动导致的视觉不舒适，即保持了较高的视觉舒适性。
3)本发明方法根据视觉注意力图、帧内一致性能量图和帧间一致性能量图构造总能量图，并通过动态规划方法找出最优的垂直缝隙，这样使得获得的重定位后的三维视频(即调整尺寸大小后的三维视频)能减少图像形变、避免时域抖动、突出显著内容，从而保持了较高的视觉舒适性。
附图说明
图1为本发明方法的总体实现框图；
图2a为“Videol”三维视频序列的第1时刻的彩色视频帧；
图2b为“Videol”三维视频序列的第1时刻的深度视频帧；
图2c为“Videol”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；
图3a为“Videol”三维视频序列的第34时刻的彩色视频帧；
图3b为“Videol”三维视频序列的第34时刻的深度视频帧；
图3c为“Videol”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；
图4a为“Videol”三维视频序列的第59时刻的彩色视频帧；
图4b为“Videol”三维视频序列的第59时刻的深度视频帧；
图4c为“Videol”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧；
图5a为“Video2”三维视频序列的第1时刻的彩色视频帧；
图5b为“Video2”三维视频序列的第1时刻的深度视频帧；
图5c为“Video2”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；
图6a为“Video2”三维视频序列的第34时刻的彩色视频帧；
图6b为“Video2”三维视频序列的第34时刻的深度视频帧；
图6c为“Video2”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；
图7a为“Video2”三维视频序列的第59时刻的彩色视频帧；
图7b为“Video2”三维视频序列的第59时刻的深度视频帧；
图7c为“Video2”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧；
图8a为“Video3”三维视频序列的第1时刻的彩色视频帧；
图8b为“Video3”三维视频序列的第1时刻的深度视频帧；
图8c为“Video3”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；
图9a为“Video3”三维视频序列的第34时刻的彩色视频帧；
图9b为“Video3”三维视频序列的第34时刻的深度视频帧；
图9c为“Video3”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；
图10a为“Video3”三维视频序列的第59时刻的彩色视频帧；
图10b为“Video3”三维视频序列的第59时刻的深度视频帧；
图10c为“Video3”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种三维视频重定位方法，其总体实现框图如图1所示，其包括以下步骤：
①待处理的原始三维视频序列由彩色视频序列和深度视频序列构成，假定彩色视频序列中包含的彩色图像的总帧数和深度视频序列中包含的深度图像的总帧数均为T，将彩色视频序列中t时刻的彩色图像记为{It(x,y)}，将深度视频序列中t时刻的深度图像记为{Dt(x,y)}，其中，T>1，如取T＝10，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的宽度，H表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的高度，It(x,y)表示{It(x,y)}中坐标位置为(x,y)的像素点的像素值，Dt(x,y)表示{Dt(x,y)}中坐标位置为(x,y)的像素点的像素值。
②对由T帧彩色图像构成并呈三维立方体的彩色视频序列在X方向上进行采样，得到彩色视频序列的W个Y-T截面图像，将彩色视频序列的第x个Y-T截面图像记为{Ix(y,t)}，将{Ix(y,t)}中坐标位置为(y,t)的像素点的像素值记为Ix(y,t)，Ix(y,t)＝It(x,y)，即两者相等；同样，对由T帧彩色图像构成并呈三维立方体的彩色视频序列在Y方向上进行采样，得到彩色视频序列的H个X-T截面图像，将彩色视频序列的第y个X-T截面图像记为{Iy(x,t)}，将{Iy(x,t)}中坐标位置为(x,t)的像素点的像素值记为Iy(x,t)，Iy(x,t)＝It(x,y)，即两者相等。
③由于Y-T截面图像和X-T截面图像包含了二维视频在垂直和水平方向的运动信息，因此本发明通过对彩色视频序列的每个Y-T截面图像进行低秩矩阵分解(low-rankmatrix decomposition)，获取彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵，将{Ix(y,t)}的最优垂直方向运动矩阵记为同样，通过对彩色视频序列的每个X-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个X-T截面图像的最优水平方向运动矩阵，将{Iy(x,t)}的最优水平方向运动矩阵记为然后根据彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取彩色视频序列中每个时刻的彩色图像的运动显著图，将{It(x,y)}的运动显著图记为{Mt(x,y)}，其中，Mt(x,y)表示{Mt(x,y)}中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤③中的的获取过程为：
③-a1、对{Ix(y,t)}进行低秩矩阵分解，得到{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵。
③-a2、利用现有的最小化概率密度函数，获取{Ix(y,t)}的最优垂直方向背景矩阵和最优垂直方向运动矩阵将和的组合记为 其中，Sx为{Ix(y,t)}的矩阵形式表示，Sx＝Bx+Mx，Sx、Bx和Mx的维数均为H×T，argmin[]为最小化概率密度函数，表示取使得的值最小时的(Bx,Mx)，Ωx表示{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵的组合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，Bx指{Ix(y,t)}的垂直方向背景矩阵，Mx指{Ix(y,t)}的垂直方向运动矩阵，符号“|| ||*”为求取矩阵核的范数符号，符号“|| ||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子，在本实施例中取λ＝0.06，s.t.表示“受约束于”。
在此具体实施例中，步骤③中的的获取过程为：
③-b1、对{Iy(x,t)}进行低秩矩阵分解，得到{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵。
③-b2、利用现有的最小化概率密度函数，获取{Iy(x,t)}的最优水平方向背景矩阵和最优水平方向运动矩阵将和的组合记为 其中，Sy为{Iy(x,t)}的矩阵形式表示，Sy＝By+My，Sy、By和My的维数均为W×T，表示取使得的值最小时的(By,My)，Ωy表示{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵的组合(By,My)的集合，(By,My)∈Ωy，By指{Iy(x,t)}的水平方向背景矩阵，My指{Iy(x,t)}的水平方向运动矩阵。
在此具体实施例中，步骤③中的{Mt(x,y)}的获取过程为：
③-c1、将彩色视频序列的W个Y-T截面图像各自的最优垂直方向运动矩阵在X方向上进行叠加，构造得到Y-T截面图像的立方体，记为ScubeYT，其中，ScubeYT的维数为W×H×T。
同样，将彩色视频序列的H个X-T截面图像各自的最优水平方向运动矩阵在Y方向上进行叠加，构造得到X-T截面图像的立方体，记为ScubeXT，其中，ScubeXT的维数为W×H×T。
③-c2、计算norm(ScubeXT·*ScubeYT)，然后将计算结果作为彩色视频序列的初步的运动显著序列，其中，norm()表示归一化操作函数，norm(ScubeXT·*ScubeYT)中的符号“·*”为矩阵点乘符号。
③-c3、采用高斯滤波器对呈三维立方体的彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像进行平滑操作，得到{It(x,y)}的运动显著图{Mt(x,y)}，Mt(x,y)＝M't(x,y)*Gσ(x,y)，其中，M't(x,y)表示彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数中位置为(x,y)处的元素的值，在本实施例中取σ＝5，exp()为以自然基数e为底的指数函数，e＝2.718281828。
④将彩色视频序列中当前待处理的t时刻的彩色图像定义为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像定义为当前深度图像，记为{Dt(x,y)}，其中，此处t的初始值为2，2≤t≤T。
⑤人眼会高度关注场景中运动的对象,而对于某一帧而言，高对比度的局部区域与纹理复杂的边缘部分也会在一定程度上吸引眼球的关注；另外，场景中物体的远近位置信息也能反映出人眼视觉注意的分配，因此本发明提取{It(x,y)}的图像显著图、梯度能量图和运动显著图；然后对{It(x,y)}的图像显著图、梯度能量图和运动显著图进行融合，得到{It(x,y)}的视觉注意力图，记为其中，表示中坐标位置为(x,y)的像素点的像素值,α1、β1和γ1为加权参数，在本实施例中取α1＝0.1、β1＝0.3和γ1＝0.6，St(x,y)表示{It(x,y)}的图像显著图中坐标位置为(x,y)的像素点的像素值，Gt(x,y)表示{It(x,y)}的梯度能量图中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤⑤中的{It(x,y)}的图像显著图的获取过程为：利用现有的基于图论的视觉显著(Graph-Based Visual Saliency，GBVS)模型提取出{It(x,y)}的图像显著图，记为{St(x,y)}，其中，St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的像素值。
在此具体实施例中，步骤⑤中的{It(x,y)}的梯度能量图的获取过程为：采用现有的Sobel算子对{It(x,y)}进行卷积，得到{It(x,y)}中的每个像素点的水平方向梯度和垂直方向梯度，将{It(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为将{It(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为然后根据{It(x,y)}中的所有像素点各自的水平方向梯度和垂直方向梯度，计算{It(x,y)}的梯度能量图，记为{Gt(x,y)}，将{Gt(x,y)}中坐标位置为(x,y)的像素点的像素值记为Gt(x,y)，
⑥为了避免由于缝隙移除所造成的帧内结构扭曲失真，本发明计算{It(x,y)}的帧内一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧内一致性能量值记为 横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}，根据x*与坐标位置(x,y)的位置关系，有3种可能的取值，如果x-1≥1，则It(x-1,y)表示{It(x,y)}中坐标位置为(x-1,y)的像素点的像素值，如果x-1<1，则令It(x-1,y)＝It(1,y)；如果x+1≤W，则It(x+1,y)表示{It(x,y)}中坐标位置为(x+1,y)的像素点的像素值，如果x+1>W，则令It(x+1,y)＝It(W,y)；当k＝x-1时如果k≥1且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x-1时如果k≥1且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x-1时如果k<1且y-1≥1，则令It(k,y-1)＝It(1,y-1)，当k＝x-1时如果k<1且y-1<1，则令It(k,y-1)＝It(1,1)；当k＝x时如果y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x时如果y-1<1，则令It(k,y-1)＝It(k,1)；当k＝x+1时如果k≤W且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x+1时如果k≤W且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x+1时如果k>W且y-1≥1，则令It(k,y-1)＝It(W,y-1)，当k＝x+1时如果k>W且y-1<1，则令It(k,y-1)＝It(W,1)；当k＝x-1时It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1≤W，则It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1>W，则令It(k+1,y)＝It(W,y)；It(1,y)、It(W,y)、It(k,1)、It(1,y-1)、It(1,1)、It(W,y-1)、It(W,1)对应表示{It(x,y)}中坐标位置为(1,y)、(W,y)、(k,1)、(1,y-1)、(1,1)、(W,y-1)、(W,1)的像素点的像素值，符号“| |”为取绝对值符号。
⑦对彩色视频逐帧进行细缝裁剪处理的过程中，保持当前帧与前一帧之间取缝位置一致性非常重要，否则会造成严重的视频画面抖动和帧间内容差异等问题，因此本发明计算{It(x,y)}的帧间一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧间一致性能量值记为
其中，2×B+1表示{It(x,y)}中以坐标位置为(x+i,y+j)的像素点为中心的块的尺寸，在本实施例中取B＝3，即块的尺寸为7×7，St-1,i'(y)表示彩色视频序列中t-1时刻的彩色图像的第i'条垂直缝隙的纵坐标位置为y时的横坐标位置，ln()为以自然基数e为底的对数函数，符号“| |”为取绝对值符号，如果x+i<1且y+j<1，则令E(x+i,y+j)＝E(1,1)，并令It(x+i,y+j)＝It(1,1)；如果x+i<1且1≤y+j≤H，则令E(x+i,y+j)＝E(1,y+j)，并令It(x+i,y+j)＝It(1,y+j)；如果x+i<1且y+j>H，则令E(x+i,y+j)＝E(1,H)，并令It(x+i,y+j)＝It(1,H)；如果1≤x+i≤W且y+j<1，则令E(x+i,y+j)＝E(x+i,1)，并令It(x+i,y+j)＝It(x+i,1)；如果1≤x+i≤W且1≤y+j≤H，则It(x+i,y+j)表示{It(x,y)}中坐标位置为(x+i,y+j)的像素点的像素值；如果1≤x+i≤W且y+j>H，则令E(x+i,y+j)＝E(x+i,H)，并令It(x+i,y+j)＝It(x+i,H)；如果x+i>W且y+j<1，则令E(x+i,y+j)＝E(W,1)，并令It(x+i,y+j)＝It(W,1)；如果x+i>W且1≤y+j≤H，则令E(x+i,y+j)＝E(W,y+j)，并令It(x+i,y+j)＝It(W,y+j)；如果x+i>W且y+j>H，则令E(x+i,y+j)＝E(W,H)，并令It(x+i,y+j)＝It(W,H)；如果St-1,i'(y)+i<1且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,1)；如果St-1,i'(y)+i<1且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,y+j)；如果St-1,i'(y)+i<1且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,H)；如果1≤St-1,i'(y)+i≤W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,1)；如果1≤St-1,i'(y)+i≤W且1≤y+j≤H，则It-1(St-1,i'(y)+i,y+j)表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(St-1,i'(y)+i,y+j)的像素点的像素值；如果1≤St-1,i'(y)+i≤W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,H)；如果St-1,i'(y)+i>W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,1)；如果St-1,i'(y)+i>W且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,y+j)；如果St-1,i'(y)+i>W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,H)；上述It(1,1)、It(1,y+j)、It(1,W)、It(x+i,1)、It(x+i,H)、It(W,1)，It(W,y+j)、It(W,H)对应表示{It(x,y)}中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值，上述It-1(1,1)、It-1(1,y+j)、It-1(1,W)、It-1(x+i,1)、It-1(x+i,H)、It-1(W,1)、It-1(W,y+j)、It-1(W,H)对应表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值。
⑧根据 和计算{It(x,y)}的总能量图，记为将中坐标位置为(x,y)的像素点的像素值记为 其中，α2、β2和γ2为加权参数，在本实施例中取α2＝0.25、β2＝0.125和γ2＝0.625。
⑨将重定位彩色图像和重定位深度图像的宽度记为W'，将{It(x,y)}和{Dt(x,y)}的垂直缝隙的条数记为Ns，Ns＝W-W'，其中，W'<W。
⑩根据通过现有的动态规划方法找出{It(x,y)}的Ns条垂直缝隙，将{It(x,y)}的第i'条垂直缝隙记为{St,i'(y)|1≤y≤H}，其中，1≤i'≤Ns，St,i'(y)表示{St,i'(y)|1≤y≤H}在纵坐标位置为y时的横坐标位置。
在此具体实施例中，步骤⑩的具体过程为：
⑩-1、根据计算{It(x,y)}中的每个像素点的累计能量值，将{It(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为 其中，min()为取最小值函数。
⑩-2、根据{It(x,y)}中的每个像素点的累计能量值，采用动态规划方法找出{It(x,y)}中从y＝1到y＝H的Ns条成本最小的路径，将每条成本最小的路径作为{It(x,y)}的一条垂直缝隙。
将{It(x,y)}中所有落在{It(x,y)}的Ns条垂直缝隙内的像素点删除，得到重定位彩色图像，记为将{Dt(x,y)}中所有落在相同的Ns条垂直缝隙内的像素点删除，得到重定位深度图像，记为其中，1≤x1≤W'，表示中坐标位置为(x1,y)的像素点的像素值，表示中坐标位置为(x1,y)的像素点的像素值。
令t＝t+1；然后将彩色视频序列中t时刻的彩色图像作为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像作为当前深度图像，记为{Dt(x,y)}；再返回步骤⑤继续执行，直至三维视频序列中的所有彩色图像和深度图像处理完毕，得到三维视频序列中的每帧彩色图像对应的重定位彩色图像、三维视频序列中的每帧深度图像对应的重定位深度图像；其中，t＝t+1中的“＝”为赋值符号。
以下就利用本发明方法对普林斯顿大学提供的Princeton Tracking Benchmark(PTB)数据库中的Video1、Video2和Video3三组三维视频序列进行重定位实验。图2a给出了“Videol”三维视频序列的第1时刻的彩色视频帧、图2b给出了“Videol”三维视频序列的第1时刻的深度视频帧、图2c给出了“Videol”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；图3a给出了“Videol”三维视频序列的第34时刻的彩色视频帧、图3b给出了“Videol”三维视频序列的第34时刻的深度视频帧、图3c给出了“Videol”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；图4a给出了“Videol”三维视频序列的第59时刻的彩色视频帧、图4b给出了“Videol”三维视频序列的第59时刻的深度视频帧、图4c给出了“Videol”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧；图5a给出了“Video2”三维视频序列的第1时刻的彩色视频帧、图5b给出了“Video2”三维视频序列的第1时刻的深度视频帧、图5c给出了“Video2”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；图6a给出了“Video2”三维视频序列的第34时刻的彩色视频帧、图6b给出了“Video2”三维视频序列的第34时刻的深度视频帧、图6c给出了“Video2”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；图7a给出了“Video2”三维视频序列的第59时刻的彩色视频帧、图7b给出了“Video2”三维视频序列的第59时刻的深度视频帧、图7c给出了“Video2”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧；图8a给出了“Video3”三维视频序列的第1时刻的彩色视频帧、图8b给出了“Video3”三维视频序列的第1时刻的深度视频帧、图8c给出了“Video3”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；图9a给出了“Video3”三维视频序列的第34时刻的彩色视频帧、图9b给出了“Video3”三维视频序列的第34时刻的深度视频帧、图9c给出了“Video3”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；图10a给出了“Video3”三维视频序列的第59时刻的彩色视频帧、图10b给出了“Video3”三维视频序列的第59时刻的深度视频帧、图10c给出了“Video3”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧。从图2a至图10c中可以看出，采用本发明方法得到的重定位彩色图像能够较好地保留重要的显著语义信息，同时又能保证时域一致性。
Claims (5)
1.一种三维视频重定位方法，其特征在于包括以下步骤：
①待处理的原始三维视频序列由彩色视频序列和深度视频序列构成，假定彩色视频序列中包含的彩色图像的总帧数和深度视频序列中包含的深度图像的总帧数均为T，将彩色视频序列中t时刻的彩色图像记为{It(x,y)}，将深度视频序列中t时刻的深度图像记为{Dt(x,y)}，其中，T>1，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的宽度，H表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的高度，It(x,y)表示{It(x,y)}中坐标位置为(x,y)的像素点的像素值，Dt(x,y)表示{Dt(x,y)}中坐标位置为(x,y)的像素点的像素值；
②对由T帧彩色图像构成并呈三维立方体的彩色视频序列在X方向上进行采样，得到彩色视频序列的W个Y-T截面图像，将彩色视频序列的第x个Y-T截面图像记为{Ix(y,t)}，将{Ix(y,t)}中坐标位置为(y,t)的像素点的像素值记为Ix(y,t)，Ix(y,t)＝It(x,y)；同样，对由T帧彩色图像构成并呈三维立方体的彩色视频序列在Y方向上进行采样，得到彩色视频序列的H个X-T截面图像，将彩色视频序列的第y个X-T截面图像记为{Iy(x,t)}，将{Iy(x,t)}中坐标位置为(x,t)的像素点的像素值记为Iy(x,t)，Iy(x,t)＝It(x,y)；
③通过对彩色视频序列的每个Y-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵，将{Ix(y,t)}的最优垂直方向运动矩阵记为同样，通过对彩色视频序列的每个X-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个X-T截面图像的最优水平方向运动矩阵，将{Iy(x,t)}的最优水平方向运动矩阵记为然后根据彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取彩色视频序列中每个时刻的彩色图像的运动显著图，将{It(x,y)}的运动显著图记为{Mt(x,y)}，其中，Mt(x,y)表示{Mt(x,y)}中坐标位置为(x,y)的像素点的像素值；
④将彩色视频序列中当前待处理的t时刻的彩色图像定义为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像定义为当前深度图像，记为{Dt(x,y)}，其中，此处t的初始值为2，2≤t≤T；
⑤提取{It(x,y)}的图像显著图、梯度能量图和运动显著图；然后对{It(x,y)}的图像显著图、梯度能量图和运动显著图进行融合，得到{It(x,y)}的视觉注意力图，记为其中，表示中坐标位置为(x,y)的像素点的像素值，α1、β1和γ1为加权参数，St(x,y)表示{It(x,y)}的图像显著图{St(x,y)}中坐标位置为(x,y)的像素点的像素值，Gt(x,y)表示{It(x,y)}的梯度能量图{Gt(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑥计算{It(x,y)}的帧内一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧内一致性能量值记为
其中，x*表示坐标位置(x,y)的横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}，如果x-1≥1，则It(x-1,y)表示{It(x,y)}中坐标位置为(x-1,y)的像素点的像素值，如果x-1<1，则令It(x-1,y)＝It(1,y)；如果x+1≤W，则It(x+1,y)表示{It(x,y)}中坐标位置为(x+1,y)的像素点的像素值，如果x+1>W，则令It(x+1,y)＝It(W,y)；当k＝x-1时如果k≥1且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x-1时如果k≥1且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x-1时如果k<1且y-1≥1，则令It(k,y-1)＝It(1,y-1)，当k＝x-1时如果k<1且y-1<1，则令It(k,y-1)＝It(1,1)；当k＝x时如果y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x时如果y-1<1，则令It(k,y-1)＝It(k,1)；当k＝x+1时如果k≤W且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x+1时如果k≤W且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x+1时如果k>W且y-1≥1，则令It(k,y-1)＝It(W,y-1)，当k＝x+1时如果k>W且y-1<1，则令It(k,y-1)＝It(W,1)；当k＝x-1时It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1≤W，则It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1>W，则令It(k+1,y)＝It(W,y)；It(1,y)、It(W,y)、It(k,1)、It(1,y-1)、It(1,1)、It(W,y-1)、It(W,1)对应表示{It(x,y)}中坐标位置为(1,y)、(W,y)、(k,1)、(1,y-1)、(1,1)、(W,y-1)、(W,1)的像素点的像素值，符号“||”为取绝对值符号；
⑦计算{It(x,y)}的帧间一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧间一致性能量值记为
其中，2×B+1表示{It(x,y)}中以坐标位置为(x+i,y+j)的像素点为中心的块的尺寸，St-1,i'(y)表示彩色视频序列中t-1时刻的彩色图像的第i'条垂直缝隙的纵坐标位置为y时的横坐标位置，ln()为以自然基数e为底的对数函数，符号“||”为取绝对值符号，如果x+i<1且y+j<1，则令E(x+i,y+j)＝E(1,1)，并令It(x+i,y+j)＝It(1,1)；如果x+i<1且1≤y+j≤H，则令E(x+i,y+j)＝E(1,y+j)，并令It(x+i,y+j)＝It(1,y+j)；如果x+i<1且y+j>H，则令E(x+i,y+j)＝E(1,H)，并令It(x+i,y+j)＝It(1,H)；如果1≤x+i≤W且y+j<1，则令E(x+i,y+j)＝E(x+i,1)，并令It(x+i,y+j)＝It(x+i,1)；如果1≤x+i≤W且1≤y+j≤H，则It(x+i,y+j)表示{It(x,y)}中坐标位置为(x+i,y+j)的像素点的像素值；如果1≤x+i≤W且y+j>H，则令E(x+i,y+j)＝E(x+i,H)，并令It(x+i,y+j)＝It(x+i,H)；如果x+i>W且y+j<1，则令E(x+i,y+j)＝E(W,1)，并令It(x+i,y+j)＝It(W,1)；如果x+i>W且1≤y+j≤H，则令E(x+i,y+j)＝E(W,y+j)，并令It(x+i,y+j)＝It(W,y+j)；如果x+i>W且y+j>H，则令E(x+i,y+j)＝E(W,H)，并令It(x+i,y+j)＝It(W,H)；如果St-1,i'(y)+i<1且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,1)；如果St-1,i'(y)+i<1且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,y+j)；如果St-1,i'(y)+i<1且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,H)；如果1≤St-1,i'(y)+i≤W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,1)；如果1≤St-1,i'(y)+i≤W且1≤y+j≤H，则It-1(St-1,i'(y)+i,y+j)表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(St-1,i'(y)+i,y+j)的像素点的像素值；如果1≤St-1,i'(y)+i≤W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,H)；如果St-1,i'(y)+i>W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,1)；如果St-1,i'(y)+i>W且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,y+j)；如果St-1,i'(y)+i>W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,H)；上述It(1,1)、It(1,y+j)、It(1,W)、It(x+i,1)、It(x+i,H)、It(W,1)，It(W,y+j)、It(W,H)对应表示{It(x,y)}中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值，上述It-1(1,1)、It-1(1,y+j)、It-1(1,W)、It-1(x+i,1)、It-1(x+i,H)、It-1(W,1)、It-1(W,y+j)、It-1(W,H)对应表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值；
⑧根据和计算{It(x,y)}的总能量图，记为将中坐标位置为(x,y)的像素点的像素值记为其中，α2、β2和γ2为加权参数；
⑨将重定位彩色图像和重定位深度图像的宽度记为W'，将{It(x,y)}和{Dt(x,y)}的垂直缝隙的条数记为Ns，Ns＝W-W'，其中，W'<W；
⑩根据通过动态规划方法找出{It(x,y)}的Ns条垂直缝隙，将{It(x,y)}的第i'条垂直缝隙记为{St,i'(y)|1≤y≤H}，其中，1≤i'≤Ns，St,i'(y)表示{St,i'(y)|1≤y≤H}在纵坐标位置为y时的横坐标位置；
将{It(x,y)}中所有落在{It(x,y)}的Ns条垂直缝隙内的像素点删除，得到重定位彩色图像，记为将{Dt(x,y)}中所有落在相同的Ns条垂直缝隙内的像素点删除，得到重定位深度图像，记为其中，1≤x1≤W'，表示中坐标位置为(x1,y)的像素点的像素值，表示中坐标位置为(x1,y)的像素点的像素值；
令t＝t+1；然后将彩色视频序列中t时刻的彩色图像作为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像作为当前深度图像，记为{Dt(x,y)}；再返回步骤⑤继续执行，直至三维视频序列中的所有彩色图像和深度图像处理完毕，得到三维视频序列中的每帧彩色图像对应的重定位彩色图像、三维视频序列中的每帧深度图像对应的重定位深度图像；其中，t＝t+1中的“＝”为赋值符号。
2.根据权利要求1所述的一种三维视频重定位方法，其特征在于所述的步骤③中的的获取过程为：
③-a1、对{Ix(y,t)}进行低秩矩阵分解，得到{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵；
③-a2、利用最小化概率密度函数，获取{Ix(y,t)}的最优垂直方向背景矩阵和最优垂直方向运动矩阵将和的组合记为 其中，Sx为{Ix(y,t)}的矩阵形式表示，Sx＝Bx+Mx，Sx、Bx和Mx的维数均为H×T，argmin[]为最小化概率密度函数，表示取使得的值最小时的(Bx,Mx)，Ωx表示{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵的组合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，Bx指{Ix(y,t)}的垂直方向背景矩阵，Mx指{Ix(y,t)}的垂直方向运动矩阵，符号“|| ||*”为求取矩阵核的范数符号，符号“|| ||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子，s.t.表示“受约束于”；
所述的步骤③中的的获取过程为：
③-b1、对{Iy(x,t)}进行低秩矩阵分解，得到{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵；
③-b2、利用最小化概率密度函数，获取{Iy(x,t)}的最优水平方向背景矩阵和最优水平方向运动矩阵将和的组合记为 其中，Sy为{Iy(x,t)}的矩阵形式表示，Sy＝By+My，Sy、By和My的维数均为W×T，表示取使得的值最小时的(By,My)，Ωy表示{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵的组合(By,My)的集合，(By,My)∈Ωy，By指{Iy(x,t)}的水平方向背景矩阵，My指{Iy(x,t)}的水平方向运动矩阵。
3.根据权利要求1或2所述的一种三维视频重定位方法，其特征在于所述的步骤③中的{Mt(x,y)}的获取过程为：
③-c1、将彩色视频序列的W个Y-T截面图像各自的最优垂直方向运动矩阵在X方向上进行叠加，构造得到Y-T截面图像的立方体，记为ScubeYT，其中，ScubeYT的维数为W×H×T；
同样，将彩色视频序列的H个X-T截面图像各自的最优水平方向运动矩阵在Y方向上进行叠加，构造得到X-T截面图像的立方体，记为ScubeXT，其中，ScubeXT的维数为W×H×T；
③-c2、计算norm(ScubeXT·*ScubeYT)，然后将计算结果作为彩色视频序列的初步的运动显著序列，其中，norm()表示归一化操作函数，norm(ScubeXT·*ScubeYT)中的符号“·*”为矩阵点乘符号；
③-c3、采用高斯滤波器对呈三维立方体的彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像进行平滑操作，得到{It(x,y)}的运动显著图{Mt(x,y)}，Mt(x,y)＝M't(x,y)*Gσ(x,y)，其中，M't(x,y)表示彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数中位置为(x,y)处的元素的值，exp()为以自然基数e为底的指数函数。
4.根据权利要求3所述的一种三维视频重定位方法，其特征在于所述的步骤⑤中的{It(x,y)}的图像显著图的获取过程为：利用基于图论的视觉显著模型提取出{It(x,y)}的图像显著图，记为{St(x,y)}，其中，St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的步骤⑤中的{It(x,y)}的梯度能量图的获取过程为：采用Sobel算子对{It(x,y)}进行卷积，得到{It(x,y)}中的每个像素点的水平方向梯度和垂直方向梯度，将{It(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为将{It(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为然后根据{It(x,y)}中的所有像素点各自的水平方向梯度和垂直方向梯度，计算{It(x,y)}的梯度能量图，记为{Gt(x,y)}，将{Gt(x,y)}中坐标位置为(x,y)的像素点的像素值记为Gt(x,y)，
5.根据权利要求1所述的一种三维视频重定位方法，其特征在于所述的步骤⑩的具体过程为：
⑩-1、根据计算{It(x,y)}中的每个像素点的累计能量值，将{It(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为 其中，min()为取最小值函数；
⑩-2、根据{It(x,y)}中的每个像素点的累计能量值，采用动态规划方法找出{It(x,y)}中从y＝1到y＝H的Ns条成本最小的路径，将每条成本最小的路径作为{It(x,y)}的一条垂直缝隙。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510823404.5A CN105376553B (zh) | 2015-11-24 | 2015-11-24 | 一种三维视频重定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510823404.5A CN105376553B (zh) | 2015-11-24 | 2015-11-24 | 一种三维视频重定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105376553A CN105376553A (zh) | 2016-03-02 |
| CN105376553B true CN105376553B (zh) | 2017-03-08 |
Family
ID=55378299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510823404.5A Active CN105376553B (zh) | 2015-11-24 | 2015-11-24 | 一种三维视频重定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105376553B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106162162B (zh) * | 2016-08-01 | 2017-10-31 | 宁波大学 | 一种基于稀疏表示的重定位图像质量客观评价方法 |
| CN107105214B (zh) * | 2017-03-16 | 2018-11-09 | 宁波大学 | 一种三维视频图像重定位方法 |
| CN108449588B (zh) * | 2018-03-14 | 2019-08-20 | 宁波大学 | 一种立体图像重定位方法 |
| CN109151432B (zh) * | 2018-09-12 | 2019-10-25 | 宁波大学 | 一种立体图像颜色和深度编辑方法 |
| CN112449170B (zh) * | 2020-10-13 | 2023-07-28 | 万维仁和(北京)科技有限责任公司 | 一种立体视频重定位方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101065783A (zh) * | 2004-04-05 | 2007-10-31 | 迈克尔·A·韦塞利 | 水平透视显示 |
| CN104574404A (zh) * | 2015-01-14 | 2015-04-29 | 宁波大学 | 一种立体图像重定位方法 |
| CN104992403A (zh) * | 2015-07-07 | 2015-10-21 | 方玉明 | 一种基于视觉相似度度量的混合操作算子图像重定向方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9113043B1 (en) * | 2011-10-24 | 2015-08-18 | Disney Enterprises, Inc. | Multi-perspective stereoscopy from light fields |
| JP2016521488A (ja) * | 2013-04-05 | 2016-07-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ３次元画像信号の再ターゲット |
-
2015
- 2015-11-24 CN CN201510823404.5A patent/CN105376553B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101065783A (zh) * | 2004-04-05 | 2007-10-31 | 迈克尔·A·韦塞利 | 水平透视显示 |
| CN104574404A (zh) * | 2015-01-14 | 2015-04-29 | 宁波大学 | 一种立体图像重定位方法 |
| CN104992403A (zh) * | 2015-07-07 | 2015-10-21 | 方玉明 | 一种基于视觉相似度度量的混合操作算子图像重定向方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于显著性分析的立体图像视觉舒适度预测;邵枫等;《光学精密工程》;20140630;第22卷(第6期);第1631-1638页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105376553A (zh) | 2016-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105376553B (zh) | 一种三维视频重定位方法 | |
| US20210287386A1 (en) | Methods and Systems to Modify a Two Dimensional Facial Image to Increase Dimensional Depth and Generate a Facial Image That Appears Three Dimensional | |
| US11755956B2 (en) | Method, storage medium and apparatus for converting 2D picture set to 3D model | |
| CN104574404B (zh) | 一种立体图像重定位方法 | |
| Lei et al. | Depth-preserving stereo image retargeting based on pixel fusion | |
| CN102917232B (zh) | 基于人脸识别的3d显示自适应调节方法和装置 | |
| DE112020003794T5 (de) | Tiefenbewusste Fotobearbeitung | |
| WO2021012596A1 (zh) | 图像调整方法、装置、存储介质以及设备 | |
| US10839496B2 (en) | Multiple exposure method, terminal, system, and computer readable storage medium | |
| CN101098241A (zh) | 虚拟形象实现方法及其系统 | |
| Li et al. | Depth-preserving warping for stereo image retargeting | |
| KR102461232B1 (ko) | 화상 처리 방법 및 장치, 전자 디바이스, 및 저장 매체 | |
| JP2010154422A (ja) | 画像処理装置 | |
| CN104463777B (zh) | 一种基于人脸的实时景深的方法 | |
| WO2024022065A1 (zh) | 虚拟表情生成方法、装置、电子设备和存储介质 | |
| CN105988566B (zh) | 一种信息处理方法及电子设备 | |
| CN106570900A (zh) | 一种立体图像重定位方法 | |
| CN111652795A (zh) | 脸型的调整、直播方法、装置、电子设备和存储介质 | |
| Lin et al. | Consistent volumetric warping using floating boundaries for stereoscopic video retargeting | |
| US9071832B2 (en) | Image processing device, image processing method, and image processing program | |
| Guo et al. | Saliency-based content-aware lifestyle image mosaics | |
| CN112507766B (zh) | 人脸图像提取方法、存储介质及终端设备 | |
| KR101513931B1 (ko) | 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치 | |
| CN107908379B (zh) | 一种显示超大页面数字出版原图的方法 | |
| US12001746B2 (en) | Electronic apparatus, and method for displaying image on display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191219 Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000 Patentee after: Huzhou You Yan Intellectual Property Service Co., Ltd. Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818 Patentee before: Ningbo University |
|
| TR01 | Transfer of patent right |