CN101605269B - 一种密集深度图像跟踪的方法和装置 - Google Patents
一种密集深度图像跟踪的方法和装置 Download PDFInfo
- Publication number
- CN101605269B CN101605269B CN2009100882453A CN200910088245A CN101605269B CN 101605269 B CN101605269 B CN 101605269B CN 2009100882453 A CN2009100882453 A CN 2009100882453A CN 200910088245 A CN200910088245 A CN 200910088245A CN 101605269 B CN101605269 B CN 101605269B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- tracking
- key frame
- field picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000009826 distribution Methods 0.000 claims abstract description 19
- 238000012935 Averaging Methods 0.000 abstract 1
- 238000005303 weighing Methods 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种密集深度图像跟踪的方法和装置,属于立体视频领域。所述方法包括:获取相邻的两帧图像第p帧图像和第q帧图像,所述第p帧图像的深度图像已知;对于第q帧图像的任一像素点(i,j),根据像素点(i,j)与第p帧图像的像素点(m,n)之间的颜色差和预设的二维正态分布标准差,计算得到像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;根据像素点(m,n)的权值,对跟踪窗口内所有像素点(m,n)的深度进行加权平均,得到像素点(i,j)的深度。所述装置包括:图像获取模块、权值计算模块和深度跟踪模块。本发明具有计算复杂度低、跟踪时间短的效果。
Description
技术领域
本发明涉及立体视频领域,特别涉及一种密集深度图像跟踪的方法和装置。
背景技术
随着计算机技术日新月异的发展,平面视频已经不能满足人们的需要,立体视频技术突飞猛进的发展起来。
立体视频是一种通过研究人类视觉系统的成像原理而发展起来的新视频技术。立体视频就是要研究如何在视频中表现物体的深度,即真实世界中物体离人自身的远近,通过深度与普通的平面视频综合而得到三维立体视频。因此,立体视频制作过程中的一个重要元素就是:深度图像。获取深度图像有多种方法,其中,基于单路视频获取深度图像,一般是通过人工判断配合其他的图像分割技术得到深度图像。然而,由于视频中相邻帧的差别很小,所以深度跟踪技术就显得很重要。
现有的深度跟踪技术中,有一种基于像素的深度跟踪技术,称为密集深度图像跟踪技术。目前主要通过光流法实现密集深度图像跟踪技术。光流法的原理为:
定义空间运动物体在观测成像面上的像素运动的瞬时速度为光流,光流法就是利用图像上像素强度的时域变化及相关性来确定像素的运动。它的计算方法有很多,如基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法等等。对运动图像计算光流场的结果就是得到图像上每一个像素点的运动矢量,从而得到相邻两帧之间像素点的的对应关系,根据这种对应关系和已知一帧的深度图像来确定未知深度图像的另一帧图像中每一个像素点的深度。在现有的算法中,光流场的计算很耗时,如何降低其时间复杂度是当前研究的一个难点。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:现有的密集深度图像跟踪技术,跟踪算法复杂,跟踪时间比较长。
发明内容
为了降低跟踪算法的复杂度,缩短跟踪时间,本发明实施例提供了一种密集深度图像跟踪的方法和装置。所述技术方案如下:
一种密集深度图像跟踪的方法,所述方法包括:
获取相邻的两帧图像第p帧图像和第q帧图像,所述第p帧图像的深度图像已知;
对于所述第q帧图像的任一像素点(i,j),根据
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma))
计算得到第p帧图像中像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
dis(m,n,i,j)=(Cp(m,n,r)-Cq(i,j,r))2+(Cp(m,n,g)-Cq(i,j,g))2+(Cp(m,n,b)-Cq(i,j,b))2;
其中,weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示所述第q帧图像的像素点(i,j)与所述第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值;
根据
得到所述第q帧图像中像素点(i,j)的深度;
其中,Dq(i,j)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
box_size表示所述跟踪值。
一种密集深度图像跟踪的方法,所述方法包括:
获取图像序列、所述图像序列中关键帧图像对应的深度图像;
根据所述关键帧图像的数量和所述关键帧图像在所述图像序列的位置,确定跟踪方式;
根据所述跟踪方式和所述关键帧图像对应的深度图像,按照预设的深度跟踪算法,对所述图像序列进行深度跟踪;
所述深度跟踪算法为:获取相邻的两帧图像第p帧图像和第q帧图像,所述第p帧图像的深度图像已知;
对于所述第q帧图像的任一像素点(i,j),根据
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma))
计算得到第p帧图像中像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
dis(m,n,i,j)=(Cp(m,n,r)-Cq(i,j,r))2+(Cp(m,n,g)-Cq(i,j,g))2+(Cp(m,n,b)-Cq(i,j,b))2;
其中,weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示所述第q帧图像的像素点(i,j)与所述第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值;
根据
得到所述第q帧图像中像素点(i,j)的深度;
其中,Dq(i,j)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
box_size表示所述跟踪值。
一种密集深度图像跟踪的装置,所述装置包括:
图像获取模块,用于获取相邻的两帧图像第p帧图像和第q帧图像,所述第p帧图像的深度图像已知;
权值计算模块,用于对于所述图像获取模块得到的第q帧图像的任一像素点(i,j),根据
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma))
计算得到第p帧图像中像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
dis(m,n,i,j)=(Cp(m,n,r)-Cq(i,j,r))2+(Cp(m,n,g)-Cq(i,j,g))2+(Cp(m,n,b)-Cq(i,j,b))2;
其中,weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示所述第q帧图像的像素点(i,j)与所述第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值;
深度跟踪模块,用于根据
得到所述第q帧图像中像素点(i,j)的深度;
其中,Dq(i,j)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
box_size表示所述跟踪值。
一种密集深度图像跟踪的装置,所述装置包括:
图像获取模块,用于获取图像序列、所述图像序列中关键帧图像对应的深度图像;
跟踪方式确定模块,用于根据所述图像获取模块得到的关键帧图像的数量和所述关键帧图像在所述图像序列的位置,确定跟踪方式;
深度跟踪模块,用于根据所述跟踪方式确定模块确定的跟踪方式和所述关键帧图像对应的深度图像,按照预设的深度跟踪算法,对所述图像序列进行深度跟踪;
所述深度跟踪算法为:获取相邻的两帧图像第p帧图像和第q帧图像,所述第p帧图像的深度图像已知;
对于所述第q帧图像的任一像素点(i,j),根据
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma))
计算得到第p帧图像中像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
dis(m,n,i,j)=(Cp(m,n,r)-Cq(i,j,r))2+(Cp(m,n,g)-Cq(i,j,g))2+(Cp(m,n,b)-Cq(i,j,b))2;
其中,weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示所述第q帧图像的像素点(i,j)与所述第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值;
根据
得到所述第q帧图像中像素点(i,j)的深度;
其中,Dq(i,j)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
box_size表示所述跟踪值。
本发明实施例提供的技术方案的有益效果是:根据关键帧图像的深度图像、数量和位置等信息,按照预设的深度跟踪算法,生成非关键帧的深度图像,从而完成对整个图像序列的深度跟踪,具有复杂度低、跟踪时间短的优点。
附图说明
图1是本发明实施例1提供的密集深度图像跟踪的方法流程图;
图2是本发明实施例2提供的密集深度图像跟踪的方法流程图;
图3是本发明实施例2提供的密集深度图像跟踪的示意图;
图4是本发明实施例3提供的密集深度图像跟踪的装置结构示意图;
图5是本发明实施例4提供的密集深度图像跟踪的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例1
参见图1,本实施例提供了一种密集深度图像跟踪的方法,该方法包括:
101:获取相邻的两帧图像第p帧图像和第q帧图像,该第p帧图像的深度图像已知;
具体的,该第p帧图像的帧序号为p,该第q帧图像的帧序号为q;当p<q时,该第q帧图像是该第p帧图像的下一帧图像,即前向跟踪;当p>q时,该第q帧图像是该第p帧图像的上一帧图像,即后向跟踪。
102:对于该第q帧图像的任一像素点(i,j),根据该像素点(i,j)与该第p帧图像的像素点(m,n)之间的颜色差和预设的二维正态分布标准差,计算得到该像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
其中,计算权值时假设颜色差服从均值为0,二维正态分布标准差为sigma的二维正态分布,sigma的值可预先设定。
其中,m、n分别为第p帧图像的像素点的横坐标、纵坐标,i、j分别为第q帧图像的像素点的横坐标、纵坐标。
具体的,本步骤可用公式表示如下:
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma)) (1)
dis(m,n,i,j)=(Cp(m,n,r)-Cq(i,j,r))2+
(Cp(m,n,g)-Cq(i,j,g))2+ (2)
(Cp(m,n,b)-Cq(i,j,b))2
其中,weight(m,n,i,j)表示第p帧图像的像素点(m,n)相对于第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示第q帧图像的像素点(i,j)与第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示第q帧图像中横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示第p帧图像中横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值。
103:根据该像素点(m,n)的权值,对该跟踪窗口内所有像素点(m,n)的深度进行加权平均,得到该像素点(i,j)的深度。
其中,Dq(i,j)表示第q帧图像中横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示第p帧图像中横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示第p帧图像的像素点(m,n)相对于第q帧图像的像素点(i,j)的权值;
box_size表示预设的跟踪值,则像素点(m,n)的跟踪范围为以(i,j)为中心,box_size为边长的正方形的跟踪窗口之内。
经过步骤101-103,就可以根据第p帧图像的深度图像,求出第q帧图像的深度图像。
进一步的,本实施例提供的密集深度图像跟踪的方法,又称为深度跟踪算法,既可以单独用于图像深度跟踪,也可以与前向跟踪、后向跟踪和双向跟踪等结合用于图像深度跟踪。
本实施例提供的方法,根据像素点的颜色差计算像素点的权值,并根据该权值对跟踪窗口内像素点的深度进行加权平均,从而求得另一帧图像的深度图像,这种方法相对于光流法,具有复杂度低、跟踪时间短等优点;相对于基于对象的跟踪技术,深度图像的精细程度得到提高。
实施例2
参见图2,本发明实施例提供了另一种密集深度图像跟踪的方法,包括:
201:获取图像序列、该图像序列中关键帧图像对应的深度图像;
其中,深度图像,是指将平面图像中每一像素点在真实世界中离摄像机的距离,量化到0~255而得到的一幅灰度图像。一般来说,图像中离摄像机最远的像素点量化到0,而离摄像机最近的像素点量化到255,其余像素点的距离有不同的量化算法,例如:线性量化、分段线性量化、二次函数量化等。
其中,图像序列包括关键帧图像和非关键帧图像。关键帧图像,在本发明实施例中是指跟踪开始之前已具有深度图像的图像,可以是图像序列中的任意一帧,或者任意多帧。图像序列中关键帧图像之外的其他图像称为非关键帧。
另外,本发明实施例并不限定关键帧图像对应的深度图像的获取方法。具体的,可以通过特殊设备扫描获取深度图像,如红外扫描、激光扫描等,还可以通过多路平面视频或单路平面视频计算得到深度图像。每种方法各有其利弊,其中,通过特殊设备获取深度图像的方法,虽然深度图像比较精确,但是设备昂贵、制作成本以天价计、不适合大众推广;多路平面视频获取深度图像的方法,相对于特殊设备的方法,成本有所较低,但是深度图像不够精确,而且还存在多路视频的成本、对焦、校正等难题;单路平面视频获取深度图像的方法,相对于多路平面视频的方法,成本较低,但是计算的难度较大。
202:根据该关键帧图像的数量和该关键帧图像在该图像序列的位置,确定跟踪方式;
其中,跟踪方式包括:双向跟踪和单向跟踪,单向跟踪包括:前向跟踪和后向跟踪。前向跟踪是按照帧序号增大的方向进行深度跟踪。后向跟踪是按照帧序号减小的方向进行深度跟踪。具体的,
a)若该关键帧图像为一帧,且该关键帧图像是该图像序列的第一帧,将该关键帧图像作为前向初始跟踪图像,对该图像序列进行前向跟踪;
图3所示为关键帧图像是第一帧时的密集深度图像跟踪的示意图,其中,白色小长方形是图形序列,第一个白色小长方形及其下方的黑色小长方形分别表示关键帧及其深度图像,其余白色小长方形下方的黑色小长方形表示跟踪得到的非关键帧的深度图像。
b)若该关键帧图像为一帧,且该关键帧图像位于该图像序列的中间位置,将该关键帧图像作为后向初始跟踪图像,对该后向初始跟踪图像之前的子图像序列进行后向跟踪;将该关键帧图像作为前向初始跟踪图像,对该前向初始跟踪图像之后的子图像序列进行前向跟踪;
c)若该关键帧图像为一帧,且该关键帧图像是该图像序列的最后一帧,将该关键帧图像作为后向初始跟踪图像,对该图像序列进行后向跟踪;
d)若该关键帧图像为N帧(2≤N),且该N帧关键帧图像中的第一关键帧图像不是该图像序列的第一帧,将该第一关键帧图像作为后向初始跟踪图像,对该后向初始跟踪图像之前的子图像序列进行后向跟踪;
e)若该关键帧图像为N帧(2≤N),且该N帧关键帧图像中的第N关键帧图像不是该图像序列的最后一帧,将该第N关键帧图像作为前向初始跟踪图像,对该前后初始跟踪图像之后的子图像序列进行前向跟踪;
f)若该关键帧图像为N帧(2≤N),对该N帧关键帧图像中两个相邻关键帧图像之间的子图像序列进行双向跟踪。
203:根据该跟踪方式和该关键帧图像对应的深度图像,按照预设的深度跟踪算法,对该图像序列进行深度跟踪。具体的,
a)当所述跟踪方式为双向跟踪时,设所述图像序列中两个相邻关键帧图像分别为第s关键帧图像和第t关键帧图像,所述第s关键帧图像的帧序号为s,所述第t关键帧图像的帧序号为t,s<t;
将所述第s关键帧图像作为前向初始跟踪图像,对所述第s关键帧图像到所述第t关键帧图像方向的子图像序列进行前向跟踪,得到深度图像子序列1;
将所述第t关键帧图像作为后向初始跟踪图像,对所述第t关键帧图像到所述第s关键帧图像方向的子图像序列进行后向跟踪,得到深度图像子序列2;
将所述深度图像子序列1和所述深度图像子序列2合成,则所述第s关键帧图像和所述第t关键帧图像之间的子图像序列的深度图像k=所述深度图像子序列1中的深度图像k×(1-alpha)+所述深度图像子序列2中的深度图像k×alpha,其中,k为帧序号,alpha=(k-s)/(t-s),s<k<t。
b)当跟踪方式为前向跟踪时,将设定的前向初始跟踪图像、前向初始跟踪图像的深度图像和前向初始跟踪图像的下一帧图像,作为深度跟踪算法的初始输入,计算得到前向初始跟踪图像的下一帧图像的深度图像;
将前向初始跟踪图像的下一帧图像、前向初始跟踪图像的下一帧图像的深度图像和前向初始跟踪图像的下一帧图像的下一帧图像,作为深度跟踪算法的第二次输入,计算得到前向初始跟踪图像的下一帧图像的下一帧图像的深度图像;
如此循环调用深度跟踪算法,直至求得所有待求图像的深度图像。
c)当跟踪方式为后向跟踪时,将设定的后向初始跟踪图像、后向初始跟踪图像的深度图像和后向初始跟踪图像的上一帧图像,作为深度跟踪算法的初始输入,计算得到后向初始跟踪图像的上一帧图像的深度图像;
将后向初始跟踪图像的上一帧图像、后向初始跟踪图像的上一帧图像的深度图像和后向初始跟踪图像的上一帧图像的上一帧图像,作为深度跟踪算法的第二次输入,计算得到后向初始跟踪图像的上一帧图像的上一帧图像的深度图像;
如此循环调用深度跟踪算法,直至求得所有待求图像的深度图像。
其中,预设的深度跟踪算法,可采用实施例1中步骤101-103提供的深度跟踪方法,其具体过程详见实施例1,这里只简单描述如下:
获取相邻的两帧图像第p帧图像和第q帧图像,第p帧图像的深度图像已知;对于第q帧图像的任一像素点(i,j),根据像素点(i,j)与第p帧图像的像素点(m,n)之间的颜色差和预设的二维正态分布标准差,计算得到像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;根据像素点(m,n)的权值,对跟踪窗口内所有像素点(m,n)的深度进行加权平均,得到像素点(i,j)的深度。
为了更清楚的说明对整个图像序列深度跟踪的过程,下面结合具体的实例加以说明。
例1:输入图像序列为头像旋转的第1~100帧,关键帧设置为第1帧,并设置二维正态分布标准差参数sigma=8,跟踪窗口大小参数box_size=7。由于关键帧只有1帧,且为图像序列的第一帧,故而采用前向跟踪的方法。获取第1帧及其深度图像和第2帧图像,输入预设的深度跟踪算法,计算得到第2帧的深度图像;然后取第2帧及其深度图像和第3帧图像,输入预设的深度跟踪算法,计算得到第3帧的深度图像;依次循环,直到100帧的深度图像都求得为止。
例2:输入图像序列为头像旋转的第1~50帧,关键帧设置为第1帧和第50帧,并设置二维正态分布标准差参数sigma=8,跟踪窗口大小参数box_size=7。由于关键帧有两帧,且为第一帧和最后一帧,所以在第一帧和最后一帧之间采用双向跟踪方法。将该第1帧图像作为前向初始跟踪图像,根据该前向初始跟踪图像及其深度图像,对该第1帧图像到该第50帧图像方向的子图像序列,按照帧序号增大的方向进行深度跟踪,得到深度图像子序列1;将该第50帧图像作为后向初始跟踪图像,根据该后向初始跟踪图像及其深度图像,对该第50帧图像到该第1帧图像方向的子图像序列,按照帧序号减小的方向进行深度跟踪,得到深度图像子序列2;将该深度图像子序列1和该深度图像子序列2合成,则该第1帧图像和该第50帧图像之间的子图像序列的深度图像k=该深度图像子序列1中的深度图像k×(1-alpha)+该深度图像子序列2中的深度图像k×alpha,其中,alpha=(k-1)/(50-1),k取2、3、...、49,则第2帧至第49帧的深度图像都可以分别求得。
本实施例提供的方法,根据跟踪方式和关键帧图像对应的深度图像,按照预设的深度跟踪算法,对图像序列进行深度跟踪,相对于光流法,具有复杂度低、跟踪时间短等优点;并且深度获取只需集中在关键帧上,其它非关键帧的深度图像可通过跟踪获得,这样可以减少立体视频制作成本;另外,相对于基于对象的跟踪技术,深度图像的精细程度得到提高。
实施例3
参见图4,本实施例提供了一种密集深度图像跟踪的装置,包括:
图像获取模块301,用于获取相邻的两帧图像第p帧图像和第q帧图像,第p帧图像的深度图像已知;
权值计算模块302,用于对于图像获取模块得到的第q帧图像的任一像素点(i,j),根据像素点(i,j)与第p帧图像的像素点(m,n)之间的颜色差和预设的二维正态分布标准差,计算得到像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
深度跟踪模块303,用于根据权值计算模块得到的像素点(m,n)的权值,对跟踪窗口内所有像素点(m,n)的深度进行加权平均,得到像素点(i,j)的深度。
其中,权值计算模块302,具体用于采用如下公式进行权值计算:
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma));
dis(m,n,i,j)=(Cp(m,n,r)-Cq(i,j,r))2+(Cp(m,n,g)-Cq(i,j,g))2+(Cp(m,n,b)-Cq(i,j,b))2;
其中,weight(m,n,i,j)表示第p帧图像的像素点(m,n)相对于第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示第q帧图像的像素点(i,j)与第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示第q帧图像中位于横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示第p帧图像中位于横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值。
其中,深度跟踪模块303,具体用于采用如下公式进行深度跟踪:
其中,Dq(i,j)表示第q帧图像中位于横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示第p帧图像中位于横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示第p帧图像的像素点(m,n)相对于第q帧图像的像素点(i,j)的权值;
box_size表示跟踪值。
本实施例提供的装置,与实施例1属于同一构思,其具体实现过程详见实施例1,这里不再赘述。
本实施例提供的装置,根据像素点的颜色差计算像素点的权值,并根据该权值对跟踪窗口内像素点的深度进行加权平均,从而求得另一帧图像的深度图像,这种方法相对于光流法,具有复杂度低、跟踪时间短等优点;相对于基于对象的跟踪技术,深度图像的精细程度得到提高。
实施例4
参见图5,本实施例提供了一种密集深度图像跟踪的装置,包括:
图像获取模块401,用于获取图像序列、图像序列中关键帧图像对应的深度图像;
跟踪方式确定模块402,用于根据图像获取模块得到的关键帧图像的数量和关键帧图像在图像序列的位置,确定跟踪方式;
深度跟踪模块403,用于根据跟踪方式确定模块确定的跟踪方式和关键帧图像对应的深度图像,按照预设的深度跟踪算法,对图像序列进行深度跟踪;
深度跟踪算法为:获取相邻的两帧图像第p帧图像和第q帧图像,第p帧图像的深度图像已知;对于第q帧图像的任一像素点(i,j),根据像素点(i,j)与第p帧图像的像素点(m,n)之间的颜色差和预设的二维正态分布标准差,计算得到像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;根据像素点(m,n)的权值,对跟踪窗口内所有像素点(m,n)的深度进行加权平均,得到像素点(i,j)的深度。
其中,跟踪方式确定模块402具体用于
若关键帧图像为一帧,且关键帧图像是图像序列的第一帧,将关键帧图像作为前向初始跟踪图像,对图像序列进行前向跟踪;
若关键帧图像为一帧,且关键帧图像位于图像序列的中间位置,将关键帧图像作为后向初始跟踪图像,对后向初始跟踪图像之前的子图像序列进行后向跟踪;将关键帧图像作为前向初始跟踪图像,对前向初始跟踪图像之后的子图像序列进行前向跟踪;
若关键帧图像为一帧,且关键帧图像是图像序列的最后一帧,将关键帧图像作为后向初始跟踪图像,对图像序列进行后向跟踪;
若关键帧图像为N帧(2≤N),且N帧关键帧图像中的第一关键帧图像不是图像序列的第一帧,将第一关键帧图像作为后向初始跟踪图像,对后向初始跟踪图像之前的子图像序列进行后向跟踪;
若关键帧图像为N帧(2≤N),且N帧关键帧图像中的第N关键帧图像不是图像序列的最后一帧,将第N关键帧图像作为前向初始跟踪图像,对前后初始跟踪图像之后的子图像序列进行前向跟踪;
若关键帧图像为N帧(2≤N),对N帧关键帧图像中两个相邻关键帧图像之间的子图像序列进行双向跟踪。
其中,深度跟踪模块403具体用于
当跟踪方式为双向跟踪时,若图像序列中两个相邻关键帧图像分别为第s关键帧图像和第t关键帧图像,第s关键帧图像的帧序号为s,第t关键帧图像的帧序号为t,s<t;将第s关键帧图像作为前向初始跟踪图像,对第s关键帧图像到第t关键帧图像方向的子图像序列进行前向跟踪,得到深度图像子序列1;将第t关键帧图像作为后向初始跟踪图像,对第t关键帧图像到第s关键帧图像方向的子图像序列进行后向跟踪,得到深度图像子序列2;将深度图像子序列1和深度图像子序列2合成,则第s关键帧图像和第t关键帧图像之间的子图像序列的深度图像k=深度图像子序列1中的深度图像k×(1-alpha)+深度图像子序列2中的深度图像k×alpha,其中,k为帧序号,alpha=(k-s)/(t-s),s<k<t;
或者,当跟踪方式为前向跟踪时,将设定的前向初始跟踪图像、前向初始跟踪图像的深度图像和前向初始跟踪图像的下一帧图像,作为深度跟踪算法的初始输入,计算得到前向初始跟踪图像的下一帧图像的深度图像;将前向初始跟踪图像的下一帧图像、前向初始跟踪图像的下一帧图像的深度图像和前向初始跟踪图像的下一帧图像的下一帧图像,作为深度跟踪算法的第二次输入,计算得到前向初始跟踪图像的下一帧图像的下一帧图像的深度图像;如此循环调用深度跟踪算法,直至求得所有待求图像的深度图像;
或者,当跟踪方式为后向跟踪时,将设定的后向初始跟踪图像、后向初始跟踪图像的深度图像和后向初始跟踪图像的上一帧图像,作为深度跟踪算法的初始输入,计算得到后向初始跟踪图像的上一帧图像的深度图像;将后向初始跟踪图像的上一帧图像、后向初始跟踪图像的上一帧图像的深度图像和后向初始跟踪图像的上一帧图像的上一帧图像,作为深度跟踪算法的第二次输入,计算得到后向初始跟踪图像的上一帧图像的上一帧图像的深度图像;如此循环调用深度跟踪算法,直至求得所有待求图像的深度图像。
本实施例提供的装置,与实施例2属于同一构思,其具体的实现过程详见实施例2,这里不再赘述。
本实施例提供的装置,根据跟踪方式和关键帧图像对应的深度图像,按照预设的深度跟踪算法,对图像序列进行深度跟踪,相对于光流法,具有复杂度低、跟踪时间短等优点;并且深度获取只需集中在关键帧上,其它非关键帧的深度图像可通过跟踪获得,这样可以减少立体视频制作成本;另外,相对于基于对象的跟踪技术,深度图像的精细程度得到提高。
以上实施例提供的技术方案中的全部或部分内容可以通过软件编程或者硬件实现,其软件程序存储在可读取的存储介质中,存储介质例如:计算机中的硬盘、光盘或软盘。硬件实施可通过现场可编程门阵列(FPGA)编程并烧录实现。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种密集深度图像跟踪的方法,其特征在于,所述方法包括:
获取相邻的两帧图像第p帧图像和第q帧图像,所述第p帧图像的深度图像已知;
对于所述第q帧图像的任一像素点(i,j),根据
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma))
计算得到第p帧图像中像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
dis(m,n,i,j)=Cp(m,n,r)-Cq(i,j,r))2+(Cp(m,n,g)-Cq(i,j,g))2+(Cp(m,n,b)-Cq(i,j,b))2;
其中,weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示所述第q帧图像的像素点(i,j)与所述第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值;
根据
得到所述第q帧图像中像素点(i,j)的深度;
其中,Dq(i,j)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
box_size表示所述跟踪值。
2.一种密集深度图像跟踪的方法,其特征在于,所述方法包括:
获取图像序列、所述图像序列中关键帧图像对应的深度图像;
根据所述关键帧图像的数量和所述关键帧图像在所述图像序列的位置,确定跟踪方式;
根据所述跟踪方式和所述关键帧图像对应的深度图像,按照预设的深度跟踪算法,对所述图像序列进行深度跟踪;
所述深度跟踪算法为:
获取相邻的两帧图像第p帧图像和第q帧图像,所述第p帧图像的深度图像已知;
对于所述第q帧图像的任一像素点(i,j),根据
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma))
计算得到第p帧图像中像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
dis(m,n,i,j)=(Cp(m,n,r)-Cq(i,j,r))2+(Cp(m,n,g)-Cq(i,j,g))2+(Cp(m,n,b)-Cq(i,j,b))2;
其中,weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示所述第q帧图像的像素点(i,j)与所述第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值;
根据
得到所述第q帧图像中像素点(i,j)的深度;
其中,Dq(i,j)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
box_size表示所述跟踪值。
3.如权利要求2所述的方法,其特征在于,所述根据所述关键帧图像的数量和所述关键帧图像在所述图像序列的位置,确定跟踪方式包括:
若所述关键帧图像为一帧,且所述关键帧图像是所述图像序列的第一帧,将所述关键帧图像作为前向初始跟踪图像,对所述图像序列进行前向跟踪;
若所述关键帧图像为一帧,且所述关键帧图像位于所述图像序列的中间位置,将所述关键帧图像作为后向初始跟踪图像,对所述后向初始跟踪图像之前的子图像序列进行后向跟踪;将所述关键帧图像作为前向初始跟踪图像,对所述前向初始跟踪图像之后的子图像序列进行前向跟踪;
若所述关键帧图像为一帧,且所述关键帧图像是所述图像序列的最后一帧,将所述关键帧图像作为后向初始跟踪图像,对所述图像序列进行后向跟踪;
若所述关键帧图像为N帧,2≤N,且所述N帧关键帧图像中的第一关键帧图像不是所述图像序列的第一帧,将所述第一关键帧图像作为后向初始跟踪图像,对所述后向初始跟踪图像之前的子图像序列进行后向跟踪;
若所述关键帧图像为N帧,2≤N,且所述N帧关键帧图像中的第N关键帧图像不是所述图像序列的最后一帧,将所述第N关键帧图像作为前向初始跟踪图像,对所述前后初始跟踪图像之后的子图像序列进行前向跟踪;
若所述关键帧图像为N帧,2≤N,对所述N帧关键帧图像中两个相邻关键帧图像之间的子图像序列进行双向跟踪。
4.如权利要求2所述的方法,其特征在于,所述根据所述跟踪方式和所述关键帧图像对应的深度图像,按照预设的深度跟踪算法,对所述图像序列进行深度跟踪包括:
当所述跟踪方式为双向跟踪时,若所述图像序列中两个相邻关键帧图像分别为第s关键帧图像和第t关键帧图像,所述第s关键帧图像的帧序号为s,所述第t关键帧图像的帧序号为t,s<t;将所述第s关键帧图像作为前向初始跟踪图像,对所述第s关键帧图像到所述第t关键帧图像方向的子图像序列进行前向跟踪,得到深度图像子序列1;将所述第t关键帧图像作为后向初始跟踪图像,对所述第t关键帧图像到所述第s关键帧图像方向的子图像序列进行后向跟踪,得到深度图像子序列2;将所述深度图像子序列1和所述深度图像子序列2合成,则所述第s关键帧图像和所述第t关键帧图像之间的子图像序列的深度图像k=所述深度图像子序列1中的深度图像k×(1-alpha)+所述深度图像子序列2中的深度图像k×alpha,其中,k为帧序号,alpha=(k-s)/(t-s),s<k<t;
或者,当所述跟踪方式为前向跟踪时,将设定的所述前向初始跟踪图像、所述前向初始跟踪图像的深度图像和所述前向初始跟踪图像的下一帧图像,作为所述深度跟踪算法的初始输入,计算得到所述前向初始跟踪图像的下一帧图像的深度图像;将所述前向初始跟踪图像的下一帧图像、所述前向初始跟踪图像的下一帧图像的深度图像和所述前向初始跟踪图像的下一帧图像的下一帧图像,作为所述深度跟踪算法的第二次输入,计算得到所述前向初始跟踪图像的下一帧图像的下一帧图像的深度图像;如此循环调用所述深度跟踪算法,直至求得所有待求图像的深度图像;
或者,当所述跟踪方式为后向跟踪时,将设定的所述后向初始跟踪图像、所述后向初始跟踪图像的深度图像和所述后向初始跟踪图像的上一帧图像,作为所述深度跟踪算法的初始输入,计算得到所述后向初始跟踪图像的上一帧图像的深度图像;将所述后向初始跟踪图像的上一帧图像、所述后向初始跟踪图像的上一帧图像的深度图像和所述后向初始跟踪图像的上一帧图像的上一帧图像,作为所述深度跟踪算法的第二次输入,计算得到所述后向初始跟踪图像的上一帧图像的上一帧图像的深度图像;如此循环调用所述深度跟踪算法,直至求得所有待求图像的深度图像。
5.一种密集深度图像跟踪的装置,其特征在于,所述装置包括:
图像获取模块,用于获取相邻的两帧图像第p帧图像和第q帧图像,所述第p帧图像的深度图像已知;
权值计算模块,用于对于所述图像获取模块得到的第q帧图像的任一像素点(i,j),根据
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma))
计算得到第p帧图像中像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
dis(m,n,i,j)=(Cp(m,n,r)-Cq(i,j,r))2+(Cp(m,n,g)-Cq(i,j,g))2+(Cp(m,n,b)-Cq(i,j,b))2;
其中,weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示所述第q帧图像的像素点(i,j)与所述第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值;
深度跟踪模块,用于根据
得到所述第q帧图像中像素点(i,j)的深度;
其中,Dq(i,j)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
box_size表示所述跟踪值。
6.一种密集深度图像跟踪的装置,其特征在于,所述装置包括:
图像获取模块,用于获取图像序列、所述图像序列中关键帧图像对应的深度图像;
跟踪方式确定模块,用于根据所述图像获取模块得到的关键帧图像的数量和所述关键帧图像在所述图像序列的位置,确定跟踪方式;
深度跟踪模块,用于根据所述跟踪方式确定模块确定的跟踪方式和所述关键帧图像对应的深度图像,按照预设的深度跟踪算法,对所述图像序列进行深度跟踪;
所述深度跟踪算法为:
获取相邻的两帧图像第p帧图像和第q帧图像,所述第p帧图像的深度图像已知;
对于所述第q帧图像的任一像素点(i,j),根据
weight(m,n,i,j)=exp(-dis(m,n,i,j)/(2*sigma*sigma))
计算得到第p帧图像中像素点(m,n)的权值,(m,n)的取值范围为以(i,j)为中心,预设的跟踪值为边长的正方形的跟踪窗口之内;
dis(m,n,i,j)=(Cp(m,n,r)-Cq(i,j,r))2+(Cp(m,n,g)-Cq(i,j,g))2+(Cp(m,n,b)-Cq(i,j,b))2;
其中,weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
函数exp(x)表示e的x次幂;
dis(m,n,i,j)表示所述第q帧图像的像素点(i,j)与所述第p帧图像的像素点(m,n)之间的颜色差,服从均值为0,标准差为sigma的二维正态分布;
Cq(i,j,r/g/b)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的红、绿、蓝颜色值;
Cp(m,n,r/g/b)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的红、绿、蓝颜色值;
根据
得到所述第q帧图像中像素点(i,j)的深度;
其中,Dq(i,j)表示所述第q帧图像中位于横坐标为i,纵坐标为j的像素点的深度;
Dp(m,n)表示所述第p帧图像中位于横坐标为m,纵坐标为n的像素点的深度;
weight(m,n,i,j)表示所述第p帧图像的像素点(m,n)相对于所述第q帧图像的像素点(i,j)的权值;
box_size表示所述跟踪值。
7.如权利要求6所述的装置,其特征在于,所述跟踪方式确定模块具体用于
若所述关键帧图像为一帧,且所述关键帧图像是所述图像序列的第一帧,将所述关键帧图像作为前向初始跟踪图像,对所述图像序列进行前向跟踪;
若所述关键帧图像为一帧,且所述关键帧图像位于所述图像序列的中间位置,将所述关键帧图像作为后向初始跟踪图像,对所述后向初始跟踪图像之前的子图像序列进行后向跟踪;将所述关键帧图像作为前向初始跟踪图像,对所述前向初始跟踪图像之后的子图像序列进行前向跟踪;
若所述关键帧图像为一帧,且所述关键帧图像是所述图像序列的最后一帧,将所述关键帧图像作为后向初始跟踪图像,对所述图像序列进行后向跟踪;
若所述关键帧图像为N帧,2≤N,且所述N帧关键帧图像中的第一关键帧图像不是所述图像序列的第一帧,将所述第一关键帧图像作为后向初始跟踪图像,对所述后向初始跟踪图像之前的子图像序列进行后向跟踪;
若所述关键帧图像为N帧,2≤N,且所述N帧关键帧图像中的第N关键帧图像不是所述图像序列的最后一帧,将所述第N关键帧图像作为前向初始跟踪图像,对所述前后初始跟踪图像之后的子图像序列进行前向跟踪;
若所述关键帧图像为N帧,2≤N,对所述N帧关键帧图像中两个相邻关键帧图像之间的子图像序列进行双向跟踪。
8.如权利要求6所述的装置,其特征在于,所述深度跟踪模块具体用于当所述跟踪方式为双向跟踪时,若所述图像序列中两个相邻关键帧图像分别为第s关键帧图像和第t关键帧图像,所述第s关键帧图像的帧序号为s,所述第t关键帧图像的帧序号为t,s<t;将所述第s关键帧图像作为前向初始跟踪图像,对所述第s关键帧图像到所述第t关键帧图像方向的子图像序列进行前向跟踪,得到深度图像子序列1;将所述第t关键帧图像作为后向初始跟踪图像,对所述第t关键帧图像到所述第s关键帧图像方向的子图像序列进行后向跟踪,得到深度图像子序列2;将所述深度图像子序列1和所述深度图像子序列2合成,则所述第s关键帧图像和所述第t关键帧图像之间的子图像序列的深度图像k=所述深度图像子序列1中的深度图像k ×(1-alpha)+所述深度图像子序列2中的深度图像k×alpha,其中,k为帧序号,alpha=(k-s)/(t-s),s<k<t;
或者,当所述跟踪方式为前向跟踪时,将设定的所述前向初始跟踪图像、所述前向初始跟踪图像的深度图像和所述前向初始跟踪图像的下一帧图像,作为所述深度跟踪算法的初始输入,计算得到所述前向初始跟踪图像的下一帧图像的深度图像;将所述前向初始跟踪图像的下一帧图像、所述前向初始跟踪图像的下一帧图像的深度图像和所述前向初始跟踪图像的下一帧图像的下一帧图像,作为所述深度跟踪算法的第二次输入,计算得到所述前向初始跟踪图像的下一帧图像的下一帧图像的深度图像;如此循环调用所述深度跟踪算法,直至求得所有待求图像的深度图像;
或者,当所述跟踪方式为后向跟踪时,将设定的所述后向初始跟踪图像、所述后向初始跟踪图像的深度图像和所述后向初始跟踪图像的上一帧图像,作为所述深度跟踪算法的初始输入,计算得到所述后向初始跟踪图像的上一帧图像的深度图像;将所述后向初始跟踪图像的上一帧图像、所述后向初始跟踪图像的上一帧图像的深度图像和所述后向初始跟踪图像的上一帧图像的上一帧图像,作为所述深度跟踪算法的第二次输入,计算得到所述后向初始跟踪图像的上一帧图像的上一帧图像的深度图像;如此循环调用所述深度跟踪算法,直至求得所有待求图像的深度图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100882453A CN101605269B (zh) | 2009-07-10 | 2009-07-10 | 一种密集深度图像跟踪的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009100882453A CN101605269B (zh) | 2009-07-10 | 2009-07-10 | 一种密集深度图像跟踪的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101605269A CN101605269A (zh) | 2009-12-16 |
CN101605269B true CN101605269B (zh) | 2010-09-29 |
Family
ID=41470785
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009100882453A Expired - Fee Related CN101605269B (zh) | 2009-07-10 | 2009-07-10 | 一种密集深度图像跟踪的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101605269B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102881018B (zh) * | 2012-09-27 | 2014-10-29 | 清华大学深圳研究生院 | 一种图像深度图生成方法 |
US9299152B2 (en) * | 2012-12-20 | 2016-03-29 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Systems and methods for image depth map generation |
JP2015019204A (ja) * | 2013-07-10 | 2015-01-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
CN103456007B (zh) * | 2013-08-09 | 2016-12-28 | 华为终端有限公司 | 一种获取深度信息的方法和装置 |
CN106250850B (zh) * | 2016-07-29 | 2020-02-21 | 深圳市优必选科技有限公司 | 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101237522A (zh) * | 2007-02-02 | 2008-08-06 | 华为技术有限公司 | 一种运动检测方法和装置 |
CN101430796A (zh) * | 2007-11-06 | 2009-05-13 | 三星电子株式会社 | 图像产生方法和设备 |
-
2009
- 2009-07-10 CN CN2009100882453A patent/CN101605269B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101237522A (zh) * | 2007-02-02 | 2008-08-06 | 华为技术有限公司 | 一种运动检测方法和装置 |
CN101430796A (zh) * | 2007-11-06 | 2009-05-13 | 三星电子株式会社 | 图像产生方法和设备 |
Non-Patent Citations (4)
Title |
---|
Chenglei Wu,etc.A novel method for semi-automatic 2d to 3d video conversion.《3DTV Conference:The True Vision-Capture,Transmission and Display of 3D Video》.2008,全文. * |
ChengleiWu etc.A novel method for semi-automatic 2d to 3d video conversion.《3DTV Conference:The True Vision - Capture |
Feng Xu,etc.2D-to-3D Conversion Based on Motion and Color Mergence.《3DTV Conference:The True Vision-Capture, Transmission and Display of 3D Video》.2008,全文. * |
FengXu etc.2D-to-3D Conversion Based on Motion and Color Mergence.《3DTV Conference:The True Vision - Capture |
Also Published As
Publication number | Publication date |
---|---|
CN101605269A (zh) | 2009-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100515042C (zh) | 多曝光图像增强方法 | |
CN109005409A (zh) | 一种基于目标检测与跟踪的智能视频编码方法 | |
WO2019219012A1 (zh) | 联合刚性运动和非刚性形变的三维重建方法及装置 | |
CN111105432B (zh) | 基于深度学习的无监督端到端的驾驶环境感知方法 | |
WO2021093584A1 (zh) | 基于深度卷积神经网络的自由视点视频生成及交互方法 | |
WO2019109805A1 (zh) | 图像处理方法和装置 | |
CN101562701B (zh) | 一种用于光场成像的数字对焦方法及装置 | |
CN108055452A (zh) | 图像处理方法、装置及设备 | |
CN101605269B (zh) | 一种密集深度图像跟踪的方法和装置 | |
CN107038719A (zh) | 基于光场图像角度域像素的深度估计方法及系统 | |
CN102741879A (zh) | 由单眼图像产生深度图的方法及其系统 | |
CN107493432A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN101287142A (zh) | 基于双向跟踪和特征点修正的平面视频转立体视频的方法 | |
CN101943839A (zh) | 一体化的自动聚焦摄像机装置及清晰度评价方法 | |
CN111901532B (zh) | 基于循环神经网络迭代策略的视频稳定方法 | |
CN109214331B (zh) | 一种基于图像频谱的交通雾霾能见度检测方法 | |
CN111915735B (zh) | 一种针对视频中三维结构轮廓的深度优化方法 | |
CN106447718B (zh) | 一种2d转3d深度估计方法 | |
CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
CN106375675B (zh) | 一种航空相机多曝光图像融合方法 | |
CN115471777A (zh) | 基于视频识别的精细化水流速度场获取方法和系统 | |
CN101726829B (zh) | 一种变焦镜头的自动对焦方法 | |
CN109325905B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN113065506A (zh) | 一种人体姿态识别方法及系统 | |
CN110853145A (zh) | 高空间分辨率便携式抗抖动高光谱成像方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100929 Termination date: 20140710 |
|
EXPY | Termination of patent right or utility model |