CN109547768A - 生成三维视频精准深度图的方法 - Google Patents

Abstract

本发明的对三维视频建立精准深度图的方法，属于三维图像视频处理领域，特别涉及通过处理视频帧来创建三维视频精准深度图的方法。获得二维和/或三维视频；在二维和/或三维视频的每一视频帧中增加绝对时间标记；将所述增加了绝对时间标记的二维视频转换为三维视频；将增加了时间标记的三维视频，根据时间标记确立精准深度图；并将三维视频编辑为部分或完整的三维视频。发明提供的处理视频帧来创建三维视频精准深度图的方法，从而使处理后的视频三维质量更佳，提升了用户的体验效果。

Description

生成三维视频精准深度图的方法

技术领域

本发明属于三维图像视频处理领域，特别涉及通过处理视频帧来创建三维视频精准深度图的方法。

背景技术

随着科技的发展和3D视频的普及，人们对3D视频质量的要求越来越高，特别是在拍摄来源不同的情况下，如何展示给用户清晰的3D视频，成为研究的重点。

通过立体摄录机拍摄下来的3D视频被两个图像传感器分别记录为两个2D视频；通过单台或多台单视场摄录机拍摄的2D视频通过转换的方式生成3D视频。通过这两种方式产生的3D视频，其来源2D视频流可能无法同步，或者摄录机的帧流不稳定，或者当两个视频流被分别编辑过之后视频帧的时间不匹配。这些问题导致产生的3D视频效果不佳。这些问题是由于无法生成精准的3D视频深度图带来的。

发明内容

本发明的目的在于提供一种通过处理视频帧来创建精准三维视频深度图的方法。

本发明提供了一种对三维视频建立精准深度图的方法，其中包括；获得二维和/或三维视频；在二维和/或三维视频的每一视频帧中增加绝对时间标记；将所述增加了绝对时间标记的二维视频转换为三维视频；将增加了时间标记的三维视频，根据时间标记确立精准深度图；并将三维视频编辑为部分或完整的三维视频。其中所述的二维视频是由立体摄录机获得并经过图像传感器的处理。其中所述的二维视频转换为三维视频的步骤，可以通过二维视频帧合并装置或二维视频转换装置。其中所述的增加绝对时间标记的方法为增加时间戳。其中所述的时间戳的方法为，将绝对时间转换为能够分配至不同像素的时间信息；将时间信息分配给不同的像素；并且将包含时间信息的像素嵌入每一视频帧中。其中所述的将时间信息分配给不同的像素，为将表示标准时间的信息的12位二进制数平均分配给四个RGB像素，其中第一像素分前三位；第二像素分后三位；第三像素分在后面三位；第四像素分最后三位：第一像素＝(0×第一位，0×第二位，0×第三位)；第二像素＝(0×第四位，0×第五位，0×第六位)；第三像素＝(0×第七位，0×第八位，0×第九位)；第四像素＝(0×第十位，0×第十一位，0×第十二位)。其中根据时间标记确立精准深度图的方法包括：获得两个单视像二维视频，将代表拍摄时间信息的像素嵌入所述二维视频的每个图像帧中；区分所述两个单视像二维视频，将其中之一作为主视频，将另外一个作为副视频；分别从主视频和副视频第一个图像帧开始读取图像帧中包含的时间信息，并将二者进行比较；在二者相同时，利用包含同样时间信息的主视频图像帧和对应的副视频图像帧创建精确的深度图；在二者不同时，寻找与该主视频图像帧的时间信息最接近的两个副视频图像帧，并据此计算目标图像；并根据该主视频图像帧与所获的目标图像创建精确的深度图。其中所述根据主视频图像帧与所获的目标图像创建精确的深度图的步骤为：由于二者的时间信息RGB像素不相同，主视频图像帧F₂的拍摄时刻T₂介乎副视频图像帧F_2’的拍摄时刻T_2’及副视频图像帧F_3’的拍摄时刻T_3’之间，并且比较接近T_2’；利用下列公式可以由副视频图像帧F_2’及图像帧F_3’计算出拍摄时刻相当于T₂的副视频目标图像F_i’,

T_i’＝(T_2’-T₂)/(T_3’-T_2’)

[xb,yb]＝[x,y]-T_i’V_x,y

[xf,yf]＝[x,y]+(1-T_i’)V_x,y

F_i’,x,y＝(1-T_i)F_2’,xb,yb+F_3’,xf,yf

其中[x,y]代表目标图像F_i’中的一个像素；

V_x,y是从图像帧F_2’任何一个像素x,y至图像帧F_3’之中相应像素的向量，

也代表被摄场景的光流；

[xb,yb]是依照T_2’至T₂所经过的时间，从目标图像F_i’的一个像素[x,y]

按比例向V_x,y反方向移动相应距离抵达的后方坐标；

[xf,yf]是依照T₂至T_3’剩余的时间，从目标图像F_i’的一个像素[x,y]按比例顺着V_x,y方向移动相应距离抵达的前方坐标。

由于本发明采用了上述方法，能够创建精准的三维视频深度图，从而实现对不同来源的二维视频到三维视频的制作。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实例，对于本领域普通技术人员来讲，在不付出创新性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为根据本发明的增加时间标记的方法示意图。

图2为采用立体摄录机获得三维视频的过程示意图。

图3为采用单视场摄录一体机获得三维视频的过程示意图。

图4为将根据图2或者图3所示的过程获得的三维视频进行编辑的过程示意图。

图5为根据本发明的增加时间标记的方法的具体实施方式流程图。

图6为根据本发明的方法生成精准三维深度图的方法。

图7为根据本发明采用两台单视场摄录机获得的主视频图像帧和副视频图像帧拍摄时刻示意图。

具体实施方式

现结合相应的附图，对本发明的具体实施例进行描述。然而，本发明可以以多种不同的形式实施，而不应被解释为局限于此处展示的实施例。提供这些实施例只是为了本发明可以详尽和全面，从而可以将本发明的范围完全地描述给本领域的技术人员。附图中说明的实施例的详细描述中使用的措辞不应对本发明造成限制。

图1为根据本发明的增加时间标记的方法示意图。图片100，101，102和图片110，111和112为彩色图像。图片100和图片110为在时间t₀处分别记录的图像帧或视频帧F₀和F₁，以及其他一系列图像帧或视频帧(未示出)；图片101和图片111为在时间t₁分别记录的图像帧或视频帧F₀和F₁，以及其他一系列图像的图像帧或视频帧(未示出)；图片102和112为在时间t₂处分别记录的图像帧或视频帧F₀和F₁，以及其他一系列图像帧或视频帧(未示出)。在每个时刻t₀t₁，和t₂，处增加拍摄时的绝对时间标记，但是允许图像F₀,F₁各自的图片在时间上有偏差。在创建深度图时，会将时间上的偏差作为计算的考虑因素，具体详见下文对图6和7的说明。

图2为采用立体摄录机获得三维视频的过程示意图。其中，使用立体摄录机201拍摄目标，第一图像传感器202与第二图像传感器203同时记录第一二维视频204和第二二维视频205。既可以存在于立体摄录机201内也可以存在于立体摄录机201外的时间控制系统206，时间控制系统206分别作用于第一和第二图像传感器202和203，使第一图像传感器202和第二图像传感器203同步；从而使获得的第一二维视频204和第二二维视频205同步。第一二维视频204和第二二维视频205通过二维视频帧合并装置209合并为三维视频210。

图3为采用单项摄录一体机获得三维视频的过程示意图。其中，单像摄录一体机301拍摄目标，获得二维视频302，并通过二维视频转换装置303，将二维视频转换成三维视频304。这里所述的单像摄录一体机包括但不限于专业级别单像摄录一体机，也包括普通便携式摄像机，其中二维视频转换装置可以是包含在单像摄录一体机内的也可以是外设的。

图4为将根据图2或者图3所示的过程获得的三维视频进行编辑的过程示意图。可以将图2所获得的视频与图3所获得的三维视频合并，也可以是图2中所获得视频本身之间的合并。编辑的目标是即使三维视频的来源不同，均能获得稳定的部分或者完整三维视频。

图5为本发明的增加时间标记的方法的具体实施方式流程图。在步骤501，采用图2或图3中所述的记录方式记录二维或三维视频；在步骤502，在所记录的每个二维或三维视频的每个视频帧处增加时间标记，例如时间戳。在步骤503，将二维视频转换为三维视频，可以通过，但是不限于图2中所述的二维视频合并装置209或者图3中的二维视频转换装置303；在步骤504，将不同来源的三维视频进行编辑，或者合并或者剪辑，以形成所需的三维视频。其中所述的增加时间戳的步骤还包括，在步骤505将绝对时间转换为能够分配至不同像素的时间信息；在步骤506，将所获得的时间信息分配至不同像素；并在步骤507，将包含时间信息的像素嵌入每一图像帧中。例如，将当前协调世界时(UTC)2018年4月23日11:59:00转换为Unix时间戳等于从1970年1月1日00:00:00开始的绝对时间“1524499140830”(最后三个位为毫秒)。将这个十进制数转换为12位的十六进制数字等于“0162F33AD0DE”。将其分为四个三位数字，并将它们分配给四个RGB像素：

第一个像素＝(0x0,0x1,0x6)；

第二个像素＝(0x2,0xF，0x3)；

第3个像素＝(0x3,0xA，0xD)；

第4个像素＝(0x0,0xD，0xE)

其中，代表该12位十六进制数字中的最大值(0xF,0xF,0xF)或(16，16，16)的RGB像素，它看起来非常暗并且在图像中看起来不明显。

图6为采用本发明的方法生成精准三维深度图的方法。其中，在步骤601，采用两台单视频摄录机分别拍摄第一单视频二维视频和第二单视频二维视频，在拍摄第一和第二单视频二维视频的时候，采用例如在图5中所描述的方法，在这些单视频二维视频的每个图像帧中嵌入代表拍摄时间信息的四个RGB像素，即增加时间标记。在步骤602，区分所述两个单视像二维视频，将所述第一和第二单视频二维视频中的一个(例如右视图视频)作为主视频，将另外一个(例如左视图视频)作为副视频。由于存在单视频摄录机帧流不稳定等原因的影响，主视频流与副视频流可能无法同步，也就是说，主视频与副视频的图像帧的拍摄时刻可能会存在多处偏差，如图7所示，主视频图像帧拍摄时刻T₁,T₂,T₃,T₄与副视频图像帧拍摄时刻T_1’，T_2’，T_3’，T_4’之间不一定相同。主视频图像帧F₁，F₂，F₃,F₄和副视频图像帧F_1’，F_2’，F_3’,F_4’中的每一个都包含时间信息的四个RGB像素。在步骤603，从主视频第一个图像帧开始读取每个图像帧中包含时间信息的四个RGB像素，并从副视频每个图像帧中读取的包含时间信息的四个RGB像素进行比较，并判断二者是否相同。在步骤604，如果找到与某主视频图像帧中的时间信息RGB像素相同的副视频图像帧，说明该副视频图像帧与该主视频图像帧为同一时刻所拍摄的，则直接创建精确的深度图；在步骤605，如果没有找到与某主视频图像帧中的时间信息RGB像素相同的副视频图像帧，则找出具有与该主视频图像帧最接近时间信息RGB像素的两个副视频图像帧；然后在步骤606，利用时间插值和光度插值计算出与其同一时刻的目标图像，再利用该主视频图像帧及目标图像创建深度图。

图7为根据本发明采用两台单视场摄录机获得的主视频图像帧和副视频图像帧拍摄时刻示意图。假设主视频的图像帧F₁，F₂，F₃,F₄与副视频的图像帧F_1’，F_2’，F_3’,F_4’的拍摄时刻分别为T₁,T₂,T₃,T₄及T_1’，T_2’，T_3’，T_4’,如图7所示。从主视频图像帧F₁开始，读取主视频图像帧F₁中包含时间信息的四个RGB像素，然后与副视频图像帧F_1’中包含时间信息的四个RGB像素做对比。假设两者拥有相同时间信息RGB像素，代表该两个图像帧为同一时刻所拍摄，就直接利用来创建精确的深度图。之后读取主视频图像帧F₂中包含时间信息的四个RGB像素，与副视频图像帧F_2’中包含时间信息的四个RGB像素做对比。假设两者的时间信息RGB像素不相同，主视频图像帧F₂的拍摄时刻T₂介乎副视频图像帧F_2’的拍摄时刻T_2’及副视频图像帧F_3’的拍摄时刻T_3’之间，并且比较接近T_2’。利用下列公式可以由副视频图像帧F_2’及图像帧F_3’计算出拍摄时刻相当于T₂的副视频目标图像F_i’,

T_i’＝(T_2’-T₂)/(T_3’-T_2’)

[xb,yb]＝[x,y]-T_i’V_x,y

[xf,yf]＝[x,y]+(1-T_i’)V_x,y

F_i’,x,y＝(1-T_i)F_2’,xb,yb+F_3’,xf,yf

其中[x,y]代表目标图像F_i’中的一个像素；

V_x,y是从图像帧F_2’任何一个像素x,y至图像帧F_3’之中相应像素的向量，也代表被摄场景的光流；

[xb,yb]是依照T_2’至T₂所经过的时间，从目标图像F_i’的一个像素[x,y]按比例向V_x,y反方向移动相应距离抵达的后方坐标；

[xf,yf]是依照T₂至T_3’剩余的时间，从目标图像F_i’的一个像素[x,y]按比例顺着V_x,y方向移动相应距离抵达的前方坐标。

通过本发明所述的方法，不同来源的立体视频图像能够彼此匹配，以获得精准的三维视频深度图。本发明提供的处理视频帧来创建三维视频精准深度图的方法，从而使处理后的视频三维质量更佳，提升了用户的体验效果。

以上所述仅用于说明本发明的技术方案，任何本领域普通技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围应视权利要求范围为准。本发明已结合例子在上面进行了阐述。然而，在本发明公开范围以内的上述实施例以外的其它实施例也同样可行。本发明的不同的特点和步骤可以以不同于所描述的其它方法进行组合。本发明的范围仅受限于所附的权利要求书。更一般地，本领域普通技术人员可以轻易地理解此处描述的所有的参数，尺寸，材料和配置是为示范目的而实际的参数，尺寸，材料和/或配置将取决于特定应用或本发明教导所用于的应用。

Claims (8)

1.一种对三维视频建立精准深度图的方法，其中包括；

获得二维和/或三维视频；

在二维和/或三维视频的每一视频帧中增加绝对时间标记；

将所述增加了绝对时间标记的二维视频转换为三维视频；

将增加了时间标记的三维视频，根据时间标记确立精准深度图；并将三维视频编辑为部分或完整的三维视频。

2.如权利要求1所述的方法，其中所述的

二维视频是由立体摄录机获得并经过图像传感器的处理。

3.如权利要求1所述的方法，其中所述的二维视频转换为三维视频的步骤，可以通过二维视频帧合并装置或二维视频转换装置。

4.如权利要求1－3所述的方法，其中所述的增加绝对时间标记的方法为增加时间戳。

5.如权利要求4所述的方法，其中所述的时间戳的方法为，

将绝对时间转换为能够分配至不同像素的时间信息；

将时间信息分配给不同的像素；

并且将包含时间信息的像素嵌入每一视频帧中。

6.如权利要求5所述的方法，其中所述的将时间信息分配给不同的像素，为将表示标准时间的信息的12位二进制数平均分配给四个RGB像素，其中第一像素分前三位；第二像素分后三位；第三像素分在后面三位；第四像素分最后三位：

第一像素＝(0×第一位，0×第二位，0×第三位)；

第二像素＝(0×第四位，0×第五位，0×第六位)；

第三像素＝(0×第七位，0×第八位，0×第九位)；

第四像素＝(0×第十位，0×第十一位，0×第十二位)。

7.如权利要求1所述的方法，其中根据时间标记确立精准深度图的方法包括：

获得两个单视像二维视频，将代表拍摄时间信息的像素嵌入所述二维视频的每个图像帧中；

区分所述两个单视像二维视频，将其中之一作为主视频，将另外一个作为副视频；

分别从主视频和副视频第一个图像帧开始读取图像帧中包含的时间信息，并将二者进行比较；

在二者相同时，利用包含同样时间信息的主视频图像帧和对应的副视频图像帧创建精确的深度图；

在二者不同时，寻找与该主视频图像帧的时间信息最接近的两个副视频图像帧，并据此计算目标图像；

并根据该主视频图像帧与所获的目标图像创建精确的深度图。

8.如权利要求7所述的方法，其中所述根据主视频图像帧与所获的目标图像创建精确的深度图的步骤为：

由于二者的时间信息RGB像素不相同，主视频图像帧F₂的拍摄时刻T₂介乎副视频图像帧F_2’的拍摄时刻T_2’及副视频图像帧F_3’的拍摄时刻T_3’之间，并且比较接近T_2’；利用下列公式可以由副视频图像帧F_2’及图像帧F_3’计算出拍摄时刻相当于T₂的副视频目标图像F_i’,

T_i’＝(T_2’-T₂)/(T_3’-T_2’)

[xb,yb]＝[x,y]-T_i’V_x,y

[xf,yf]＝[x,y]+(1-T_i’)V_x,y

F_i’,x,y＝(1-T_i)F_2’,xb,yb+F_3’,xf,yf

其中[x,y]代表目标图像F_i’中的一个像素；

V_x,y是从图像帧F_2’任何一个像素x,y至图像帧F_3’之中相应像素的向量，也代表被摄场景的光流；

[xb,yb]是依照T_2’至T₂所经过的时间，从目标图像F_i’的一个像素[x,y]按比例向V_x,y反方向移动相应距离抵达的后方坐标；

[xf,yf]是依照T₂至T_3’剩余的时间，从目标图像F_i’的一个像素[x,y]按比例顺着V_x,y方向移动相应距离抵达的前方坐标。