CN102970554A - 处理立体显示用的数据帧的系统及方法 - Google Patents

处理立体显示用的数据帧的系统及方法 Download PDF

Info

Publication number
CN102970554A
CN102970554A CN2012102065980A CN201210206598A CN102970554A CN 102970554 A CN102970554 A CN 102970554A CN 2012102065980 A CN2012102065980 A CN 2012102065980A CN 201210206598 A CN201210206598 A CN 201210206598A CN 102970554 A CN102970554 A CN 102970554A
Authority
CN
China
Prior art keywords
frame
depth map
picture frame
data
horizontal line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012102065980A
Other languages
English (en)
Inventor
王宗仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Himax Technologies Ltd
Original Assignee
Himax Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Himax Technologies Ltd filed Critical Himax Technologies Ltd
Publication of CN102970554A publication Critical patent/CN102970554A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种处理立体显示用的数据帧的系统及方法，该方法包含接收一2D图像帧，其具有一第一数量的水平行及一第一数量的垂直栏，接收该2D图像帧的对应深度图，该深度图具有一第二数量的水平行及一第二数量的垂直栏，压缩该2D图像帧及深度图，以获得较小尺寸的一第二2D图像帧及一第二深度图，将第二2D图像帧及第二深度图组合为一数据帧，以及将数据帧从视频传送装置传送至视频接收装置。

Description

处理立体显示用的数据帧的系统及方法
技术领域
本发明涉及供立体显示的数据帧的处理系统及方法。
背景技术
就目前立体显示的技术而言，可采用多种不同的数据帧格式。数据帧相容的格式即为其中一种数据帧格式，其将左视角的图像及右视角的图像以左右或上下并列的方式封装于一数据帧中。另一格式是以深度及图像为基础的代表格式，亦称为「2D加深度，2D plus depth」格式，其中为提供一2D二维)图像帧及其对应的深度图。通过利用2D图像帧及深度图的数据，即可建构虚拟图像帧，从而形成多数的立体视角图像。
在「2D加深度」格式中，2D图像帧通常含有红、绿及蓝等色彩数据(各像素的每一种颜色可以8位数据编码)，而其对应深度图的深度数据则是每一像素编码为8位的灰阶数据。当此格式通过一高清晰度接口(例如高清晰度多媒体接口，HDMI)传送时，接收装置将利用两个具有相同大小的独立帧缓冲器分别存储2D图像帧及深度图。因深度图的内容通常少于2D图像帧的内容，导致存储深度数据用的帧缓冲器的存储空间并非以有效的方式使用。
因此，目前技术仍需要提供一种更为有效地处理及传送「2D加深度」格式的系统。
发明内容
本发明提供为处理立体显示用的数据帧的系统及方法。依据一实施例，本发明提供一种通过视频传送装置处理一数据帧的方法，该方法包含：接收一2D图像帧，该2D图像帧包括一第一数量的水平行及一第一数量的垂直栏；接收一深度图，该深度图对应于该2D图像帧，其中该深度图包括一第二数量的水平行及一第二数量的垂直栏；压缩该2D图像帧及该深度图的尺寸，以获得较小数据尺寸的一第二2D图像帧及一第二深度图；将该第二2D图像帧及该第二深度图组合为一数据帧；及将该数据帧从一视频传送装置传送至一视频接收装置。
依据该方法的一实施例，该数据帧的水平行数量等于该2D图像帧的该第一数量。
依据该方法的一实施例，该数据帧的像素尺寸为于1080水平行×1920*3垂直栏。
依据该方法的一实施例，压缩该2D图像帧及该深度图的尺寸的步骤包括：降低该2D图像帧的该第一数量的水平行，以及降低该深度图的该第二数量的垂直栏。
依据该方法的一实施例，组合该第二2D图像帧及该第二深度图的步骤包括：以并列的方式将该第二2D图像帧的内容及该第二深度图的内容邻接地组合于该数据帧中。
依据该方法的一实施例，组合该第二2D图像帧及该第二深度图的步骤包括：将该第二2D图像帧的内容及该第二深度图的内容以上下邻接的方式置放于该数据帧中。
依据该方法的一实施例，该数据帧包括多条水平行，该多条水平行中设置有该第二深度图的内容，且该数据帧的每一条水平行所含有的深度数据是从该第二深度图的多条连续水平行取得。
依据该方法的一实施例，组合该第二2D图像帧及该第二深度图的步骤包括：以交替分布的方式将该2D图像帧的彩色像素数据及该深度图的深度数据邻接地置放于该数据帧的每一条水平行中。
依据其它实施例，本发明提供一种视频传送装置，其包含一计算机可读取媒体及一输出控制器。计算机可读取媒体含有多个数据帧，其中每一数据帧含有一2D图像帧的图像数据及一深度图的深度数据，其中相较于显示幕所呈现的一对应图像帧，该图像数据的尺寸被压缩。输出控制器则可存取计算机可读取媒体，并输出数据帧。
依据该视频传送装置的一实施例，每一数据帧中以并列的方式邻接地组合该2D图像帧及该深度图。
依据该视频传送装置的一实施例，每一数据帧中为上下邻接地组合该2D图像帧及该深度图。
依据该视频传送装置的一实施例，该2D图像帧的彩色像素数据及该深度图的深度数据是以交替分布的方式邻接地置放于该数据帧的每一条水平行中。
依据该视频传送装置的一实施例，每一数据帧系在一垂直同步信号的二连续脉冲之间被传送。
依据该视频传送装置的一实施例，每一数据帧的像素尺寸等于1080水平行×1920*3垂直栏。
此外，本发明亦提供一种视频接收装置，其包括一帧缓冲器及一立体呈现单元，立体呈现单元耦接于帧缓冲器，而视频接收装置则组态为：从一视频传送装置接收一数据帧并存储该数据帧，该数据帧包括一2D图像帧的像素色彩数据及一深度图的深度数据；从该帧缓冲器所存储的该数据帧中取出该2D图像帧及该深度图；放大该2D图像帧及深度图的尺寸；及利用放大后的该2D图像帧及该深度图构成一虚拟2D图像帧。
依据该视频接收装置的一实施例，该视频接收装置是在一垂直同步信号的二连续脉冲之间接收该数据帧。
依据该视频接收装置的一实施例，该帧缓冲器所存储的该数据帧中为以邻接并列的方式组合该2D图像帧及该深度图。
依据该视频接收装置的一实施例，该帧缓冲器所存储的该数据帧中是以上下邻接的方式组合该2D图像帧及该深度图。
依据该视频接收装置的一实施例，该2D图像帧的彩色像素数据及该深度图的深度数据是以交替分布的方式邻接地置放于该数据帧的每一条水平行中。
依据该视频接收装置的一实施例，该数据帧通过一连接接口而被传送至接收装置，该连接接口包括：高清晰度多媒体接口(high-definition multimedi一interface)、数字视觉接口(digital visual interface)及DisplayPort接口其中之一。
前述仅是概括性描述，不应用来限制本发明的申请专利范围。此处所揭露的操作机制与结构可以不同方式实施，其他元件的变化或组合皆可能，且不悖于本发明的精神与范围。本发明申请专利范围中定义的其他面向、技术特征及优点描述于下列实施方法段落中，然不限于此。
附图说明
图1为绘示从一视频传送装置传送视频内容至一视频接收装置的实施例的方块图。
图2为绘示本发明一实施例根据一格式FMT1形成数据帧F的时钟图。
图3为绘示数据帧F的传输的信号时序图。。
图4为绘示格式化单元的一实施例的示意图。
图5为绘示根据格式FMT1组合的数据帧F的内容的示意图。
图6为绘示传送装置根据格式FMT1形成数据帧F的方法流程图。
图7绘示在接收装置中处理根据格式FMT1形成的数据帧F的方法流程图。
图8绘示根据另一格式FMT2形成一数据帧F的示意图。
图9绘示在传送装置中根据格式FMT2形成数据帧F的另一格式化单元的示意图。
图10绘示根据格式FMT2组合数据帧F的内容的示意图。
图11为绘示根据格式FMT2形成一数据帧F的方法步骤流程图。
图12绘示在接收装置中处理根据格式FMT2形成的数据帧F的方法流程图。
图13绘示根据另一格式FMT3形成数据帧F的示意图。
图14绘示根据另一格式FMT4形成一数据帧F的示意图。
图15绘示从视频传送装置将视频数据传送至视频接收装置的另一系统实施例的示意图。
【主要元件符号说明】
102、802  视频传送装置        104、804  视频接收装置
106、806  连接接口            108、508  格式化单元
110、814  帧缓冲器            112、816  立体呈现单元
114、818  显示单元
132、532  压缩单元            136、536  组合单元
810  存储装置                 812  输出控制器
Z、Z′、Z’ 深度图            M、M′、M’二维图像帧
F  数据帧                     M1  虚拟图像帧
FMT1、FMT2、FMT3、FMT4        R1、R1′第一区域
格式
R2、R2′第二区域              L1，..L1080水平行
HB  水平遮没间隔        VB  垂直遮没间隔
VSYNC  垂直同步信号     Vactive  视频活动周期
DEN  数据致能信号       HSYNC  水平同步信号
M0  初始2D图像帧        Z0  初始深度图
具体实施方式
本发明描述处理立体显示数据帧的系统及方法。尤其，本发明实施例还提供数个以「2D加深度」格式组成的帧格式(frame format)，亦即其使用含有像素色彩数据的一二维(2D)图像帧、及含有深度数据的深度图。然而，可理解得是，该等帧格式不限于上述深度图，也可应用在含有其他用于呈现深度的数据的任何深度图，诸如：像差数据(disparity data)、深度及遮蔽(occlusion)/透明(transparency)信息、等等。因此，「深度图」可包括深度数据、及其他用于呈现深度的数据，该等数据可施用于2D图像帧以建构一或多个虚拟立体图像帧。
图1为绘示从一视频传送装置102传送视频内容至一视频接收装置104的实施例的方块图。传送装置102可将一数据流以及多个控制信号经由一连接接口106传送至接收装置104。在一实施例中，连接接口106可为一高清晰度多媒体接口(HDMI)。然而，本发明不限于此，也可使用其他连接接口，例如数字视觉接口(DVI)、DisplayPort接口或其它接口。在一实施例中，经由连接接口106传送的数据可包括多个数据帧F及一深度图Z，其中数据帧F包含一2D图像帧M，深度图Z则与2D图像帧M相对应。2D图像帧M可包括像素色彩数据以呈现一景象。深度图Z包括对应2D图像帧M中各像素的深度信息。传送装置102可包括一格式化单元108，格式化单元108可根据预设的格式将图像帧M及深度图Z组合于数据帧F中，再经由连接接口106传送数据帧F。传送至接收装置104的控制信号可包括垂直及水平同步信号、数据致能信号及其类似。
接收装置104可包括一帧缓冲器110、一立体呈现单元112及一显示单元114。帧缓冲器110中可存储有接收装置104所接收的数据帧F。立体呈现单元112可从数据帧F中取出2D图像帧M及深度图Z，利用计算机计算放大2D图像帧M及深度图Z，并且基于图像帧M及深度图Z建构一或多个虚拟2D图像帧M1。放大后的图像帧M及虚拟图像帧M1可形成一对立体图像，其可通过显示单元114显示。显示单元114例如包括液晶显示面板(LCD)、电发光显示面板(electroluminescent display panel)及其类似。
图2为绘示本发明一实施例根据一格式FMT1形成数据帧F的时钟图。根据格式FMT1，数据帧F可包括一第一区域R1、及水平邻接于第一区域R1的第二区域R2，其中第一区域R1设有2D图像帧M的内容(例如包括红色、绿色及蓝色像素数据)，第二区域R2中则设有深度图Z的内容。由第一、第二区域R1、R2形成的数据帧F可包括多个水平行(L1，..L1080)，其中各水平行行Li包括像素色彩数据及深度信息。
如图2所示，数据格式FMT1也可包括一水平消隐间隔HB及垂直消隐间隔VB，水平消隐间隔HB为插入于各水平行Li之间，垂直消隐间隔VB则插入于前一数据帧的最后一条水平行及下一数据帧的第一条水平行之间。
配合图2，图3为绘示数据帧F的传输的信号时序图。依据一实施例，数据帧F例如可包括1080条水平行。可利用一垂直同步信号VSYNC的脉冲在将传送的数据帧F的前方定义出垂直消隐间隔VB。在垂直同步信号VSYNC的脉冲后则设有一视频活动周期(video active period)Vactive，该视频活动周期为包含数据帧F中1080条水平行的传输。在视频活动周期Vactive中，数据致能信号DEN的高电位可在每一条水平行中表示红色(R)、绿色(G)及蓝色(B)像素数据或深度数据的传送。水平同步信号HSYNC的脉冲则可在前一条水平行Li及下一条水平行Li+1间定义出水平消隐间隔HB。此外，可通过垂直同步信号VSYNC的另一脉冲指出数据帧F的结束。
图4为绘示格式化单元108的一实施例的示意图。格式化单元108可包括一压缩单元132及一组合单元136。格式化单元108可接收一初始2D图像帧M0及一初始深度图Z0。在一实施例中，2D图像帧M0例如为具有1920*3条垂直栏像素(column)及1080条水平行像素(line)的数据尺寸(乘数3用来表示每一像素的红色、绿色及蓝色等三个子像素)。深度图Z0则为具有1920条垂直栏像素(column)、1080条水平行像素(line)的数据尺寸。压缩单元132可接收2D图像帧M0及深度图Z0，将2D图像帧M0的大小压缩为较小尺寸的2D图像帧M，并将深度图Z0的大小压缩为较小尺寸的第二深度图Z，使得第二深度图Z配合2D图像帧M。在一实施例中，压缩单元132可以25％的比例分别压缩减初始图像帧M0及深度图Z0的水平尺寸，使2D图像帧M的尺寸改为1440*3垂直栏×1080水平行的尺寸，而深度图Z则改为1440垂直栏×1080水平行的尺寸。然而，本发明不限于上述比例，也可使用其他比例压缩2D图像帧及深度图的尺寸。尤其，本发明所应用的压缩比例可使得以2D图像帧M及深度图Z组成的数据帧F的尺寸实质上等于初始图像帧M0的尺寸。在一实施例中，组合单元136可前后分别组合2D图像帧M及深度图Z的各条对应水平行(i)，亦即将深度图Z的每一条水平行(i)设置于2D图像帧M的对应水平行(i)之后，从而产生数据帧F的每一条水平行(i)。
图5为绘示根据格式FMT1组合的数据帧F的内容的示意图。在2D图像帧M中，Ri，j、Gi，j、Bi，j分别表示各像素(i，j)的红、绿及蓝等色彩数据，其中每一色彩数据例如以8位编码，像素水平行的指标(pixel line index)i落于[1，1080]的范围，而像素垂直栏的指标j(pixel column)则落于[1，1440]的范围。在深度图Z中，Zi，j表示各像素(i，j)的深度数据，其中深度数据Zi，j例如为8位的灰阶值，像素水平行的指标i落于[1，1080]的范围，而像素垂直栏的指标j则落于[1，1440]的范围。因此，格式FMT1可将色彩数据及深度数据以并列的方式邻接地封装于数据帧F中，使数据帧F与初始2D图像帧M0具有至少相同水平行的数量。
配合图2至图5，图6为绘示传送装置102根据格式FMT1形成一数据帧F的方法流程图。在步骤202，格式化单元108可接收一初始2D图像帧M0及一初始深度图Z0。在步骤204，压缩单元132可分别将初始图像帧M0及深度图Z0的大小压缩为较小尺寸的2D图像帧M及深度图Z。例如，假设初始图像帧M0为具有1920*3垂直栏×1080水平行的数据尺寸，而初始深度图Z0具有1920垂直栏×1080水平行的数据尺寸，压缩单元132可以25％的比例压缩初始图像帧M0的水平尺寸，以便获得1440*3垂直栏×1080水平行的图像帧M，并且压缩初始深度图Z0的水平尺寸，以获得1440垂直栏×1080水平行的深度图Z。在步骤206，组合单元136可根据格式FMT1将2D图像帧M与深度图Z邻接地组合在一起，从而建构数据帧F。依据一实施例，2D图像帧M与深度图Z可相并列组合，即将深度图Z的每一水平行(i)紧邻地设置于图像帧M的对应水平行(i)的后方，从而形成数据帧F的每一水平行Li。因此，数据帧F与初始图像帧M0具有相同水平行的数量，数据帧F中水平行的数量则等于2D图像帧M与深度图Z中水平行的总和数量。在步骤208，可经由连接接口106将数据帧F从传送装置102传送至接收装置104。如图3所示，可在垂直同步信号VSYNC的两连续脉冲之间传送数据帧F。
图7绘示在接收装置104中处理根据格式FMT1形成的数据帧F的方法流程图。在步骤302，接收装置104被通知将自传送装置102接收下一个数据帧F。如图3所示，可将垂直同步信号VSYNC的第一脉冲传送至接收装置104，以指出即将传来的数据帧F。在步骤304，接收装置104可接收数据帧F并将数据帧F的内容存储于帧缓冲器110中。依据一实施例，接收装置104可以连续逐行的方式接收数据帧F，并将每一条连续的水平行存储于帧缓冲器110中。如图3所示，可通过水平同步信号HSYNC的高电位检测到数据帧F中前一条水平行Li的结束与下一条水平行Li+1的起始。在步骤306，可通过垂直同步信号VSYNC的第二脉冲通知接收装置104数据帧F的所有内容已接收到。图5为绘示帧缓冲器110中可存储的数据帧F的实施例。在步骤308，立体呈现单元112可从数据帧F中取出2D图像帧M及深度图Z，放大2D图像帧M及深度图Z，并利用以深度、图像呈现的方法(depth-image-based rendering，DIBR)的技术从2D图像帧M及深度图Z建构一或多个虚拟第二2D图像帧M1。在步骤310，放大的2D图像帧M(例如左视角图像帧)及虚拟2D图像帧M1(例如右视角图像帧)可作为显示在显示单元114上的立体像对。
通过格式FMT1，可在垂直同步信号VSYNC的两个连续脉冲之间接收一含有2D图像帧M及其对应深度图Z的数据帧F，且有效率地将之存储于单一帧缓冲器中。虽然前述实施例是以左右并列的方式邻接地组合2D图像帧M及深度图Z，但本发明不限于此，也可通过上下并排的方式邻接地组合2D图像帧M及深度图Z，详述如后。
图8绘示根据另一格式FMT2形成一数据帧F的示意图。根据格式FMT2，数据帧F可包括一第一区域R1′及一第二区域R2′，第一区域R1′中设置有一2D图像帧M′(例如包括红色、绿色及蓝色像素数据)，第二区域R2′则邻接第一区域R1′的底部并设有一深度图Z′的内容。由第一、第二区域R1′、R2′形成的数据帧F可包括多条水平行(L1，..L1080)，水平行L1至L810含有2D图像帧M′的像素色彩数据，而水平行L811至L1080则含有深度图Z′的深度信息，此深度信息乃是以灰阶数据表示。
图9绘示在传送装置102中根据格式FMT2形成数据帧F的另一格式化单元508的示意图。格式化单元508可包括一压缩单元532及一组合单元536。格式化单元508可接收一初始2D图像帧M0及一初始深度图Z0。依据一实施例，2D图像帧M0例如具有1920*3垂直栏(乘数3为表示各像素的红、绿、蓝等三色)×1080水平行的数据尺寸，而深度图Z0则具有1920垂直栏×1080水平行的数据尺寸。压缩单元532可分别缩小2D图像帧M0及深度图Z0的尺寸，以获得较小数据尺寸的2D图像帧M’及深度图Z’。依据一实施例，压缩单元532可以25％比例缩小图像帧M0及深度图Z0的垂直尺寸，使2D图像帧M’的尺寸等于1920*3垂直栏×810水平行，而深度图Z’的尺寸则等于1920垂直栏×810水平行。然而本发明不限于此，也可使用其它比例压缩垂直的尺寸。尤其，所使用的垂直压缩比例，可使得图像帧M′及深度图Z′所组成的数据帧F的尺寸实质上相当于初始图像帧M0的尺寸。组合单元536可将2D图像帧M′及深度图Z’的内容组合为上下邻接。
图10绘示根据格式FMT2组合数据帧F的内容的示意图。在2D图像帧M中，Ri，j、Gi，j及Bi，j分别表示各像素(i，j)’的红、绿、蓝等色彩数据，其中各色彩数据例如以8位编码，像素水平行的指标i落于[1，810]的范围，而像素垂直栏的指标j则落于[1，1920]的范围。在深度图Z′中，Zi，j表示各像素(i，j)的深度数据，其中深度数据Zi，j例如以8位灰阶数据编码，像素水平行的指标i落于[1，810]的范围，像素垂直栏的指标j则落于[1，1920]的范围。数据格式FMT2可将色彩数据及深度数据邻接地存入数据帧F中，使数据帧F与初始图像帧M0具有至少相等数量的垂直栏及水平行，即1920*3垂直栏×1080水平行。根据格式FMT2形成的数据帧F中，水平行L1至L810各可含有彩色像素数据，而水平行L811至L1080各分别含有从深度图Z’中由三个依序连续水平行中取出的深度数据。举例来说，数据帧F的水平行L811可含有来自深度图Z′的第一水平行(例如由Z1，1至Z1，1920)的深度数据，来自深度图Z′的第二水平行(例如Z2，1至Z2，1920)的深度数据，及来自深度图Z′的第三水平行(例如Z3，1至Z3，1920)的深度数据。以相同的方式，数据帧的下一条水平行L811可含有深度图Z′的第四至第六水平行(例如Z4，1至Z6，1920)的深度数据，其后亦雷同。
配合图8至图10，图11为绘示根据格式FMT2形成一数据帧F的方法步骤流程图。在步骤602，格式化单元508可接收一初始2D图像帧M0及一初始深度图Z0。在步骤604，压缩单元532可分别压缩初始图像帧M0及深度图M0的尺寸，以分别形成较小数据尺寸的2D图像帧M’及深度图Z’。举例来说，假设初始图像帧M0具有1920*3垂直栏×1080水平行的数据尺寸，而初始深度图Z0具有1920垂直栏×1080水平行的数据尺寸，压缩单元532可以25％比例缩小初始图像帧M0的垂直尺寸，以得到1920*3垂直栏×810水平行的图像帧M’，且压缩单元532可压缩初始深度图Z0的垂直尺寸，以得到1920垂直栏×810水平行的深度图Z’。在步骤606，组合单元536可根据格式FMT2上下邻接地组合图像帧M’及深度图Z’的内容，从而建构数据帧F，如图10所示。因此根据格式FMT2形成的数据帧F，可与初始图像帧M0具有相同数量的水平行，并与初始图像帧M0具有相同数量的垂直栏。在步骤608，可通过连接接口106将数据帧F从传送装置102传送至接收装置104。如同前所述，整体数据帧F可在垂直同步信号VSYNC的两个连续脉冲之间传送。
图12绘示在接收装置104中处理根据格式FMT2形成的数据帧F的方法流程图。在步骤702，接收装置104可被通知从传送装置102传来下一条数据帧F。如图3所示，接收装置可接收垂直同步信号VSYNC的一第一脉冲，以便指示数据帧F即将传来。在步骤704，接收装置104可接收数据帧F并将数据帧F的内容存储于帧缓冲器110中。依据一实施例，接收装置104可以逐条的方式连续地接收数据帧F的各水平行，并将各连续水平行存储于帧缓冲器110中。如同图3所示，可通过水平同步信号HSYNC的高电平检测到数据帧F的前一条水平行L(i)的结束及下一条水平行L(i+1)的起始。在步骤706，接收装置104可通过垂直同步信号VSYNC的第二脉冲被通知已接收到整体数据帧F。存储于帧缓冲器110的数据帧F例如类似于图10所示的实施例。在步骤708，立体呈现单元112接着可从数据帧F取出2D图像帧M’及深度图Z’，放大图像帧M′及深度图Z′的尺寸，并利用以深度、图像呈现的方法(depth-image-based rendering，DIBR)建构一虚拟第二2D图像帧M′1。在步骤710，放大后的2D图像帧M’及虚拟2D图像帧M′1可形成一对立体图像，其可通过显示单元114呈现。
可理解的是，本发明并不限于上述实施例，可由任何排列方式在数据帧F中结合压缩的2D图像帧及其对应压缩的深度图。图13绘示根据另一格式FMT3形成数据帧F的示意图。根据格式FMT3，可在数据帧F的各条水平行中将压缩后的深度图的深度数据Z及压缩后的2D图像帧的三种彩色像素数据R、G、B以交替的方式分布。根据格式FMT3，数据帧F可具有1920*3垂直栏×1080水平行的数据尺寸，为与未压缩的2D图像帧的初始尺寸相同。根据格式FMT3组成的数据帧F在传送装置及接收装置中所进行的处理方法可与前述实施例类似。
值得一提，虽前述实施例将2D图像帧及深度图邻接地组合于数据帧F中，本发明在其不同它格式的实施例也可将使空隔区域插入于压缩后的图像数据及压缩后的深度数据之间，以便区分图像数据的区域及深度数据的区域。
依据前述各格式，2D图像帧及深度图在邻接地组合于数据帧F之前均需被压缩。但本发明不限于此，未压缩2D图像帧及深度图的尺寸时，也可组合2D图像帧及深度图。如图14所示，根据格式FMT4，可在数据帧F的各水平行中将深度数据Z及三种彩色像素数据R、G、B邻接地分布。因此，根据格式FMT4组成的数据帧F可具有1920*4垂直栏×1080水平行的尺寸，其由具有1920*3垂直栏×1080水平行的2D图像帧及具有1920垂直栏×1080水平行的深度图组成。除了在传送装置并不需要压缩步骤，根据格式FMT4形成的数据帧F在传送装置及接收装置中所进行的处理方法可与前述方法类似。
图15绘示从视频传送装置802将视频数据传送至视频接收装置804的另一系统实施例的示意图。传送装置802可通过一连接接口806将一数据流传送至接收装置804。连接接口806例如为一HDMI、数字视觉接口(DVI)或DisplayPort等接口。依据一实施例，传送装置802可包括一存储装置810及连接于存储装置810的输出控制器812。存储装置810可包括任何计算机可读取的媒体。举例来说，计算机可读取的媒体包括：(i)不可写入式存储介质(例如：只读存储器，如CD-ROM光盘、快闪存储器、ROM芯片或任何固态非易失半导体存储器)，以存储永久的数据；及(ii)可写入式存储介质(例如：硬盘或任何固态动态存取半导体存储器)，以存储可更改的数据。存储装置810可存储根据前述FMT1、FMT2、FMT3及FMT4其中任一格式形成的多个数据帧F。输出控制器812可存取存储装置810，并通过连接接口806依序地输出数据帧F。
接收装置804可包括一用于存储各数据帧的帧缓冲器814、一立体呈现单元816、及一显示单元818。立体呈现单元816可从数据帧F取出2D图像帧及深度图，放大2D图像帧及深度图，并利用放大后的图像帧及深度图建构一虚拟第二2D图像帧。虚拟第二2D图像帧可与放大后的图像帧具有相同数据尺寸。放大后的2D图像帧及虚拟图像帧可形成一立体对，其可在显示单元814的屏幕上呈现。
依据本发明的系统及方法，可根据不同的格式将2D图像帧的像素色彩数据及深度图的相关深度数据组合于一数据帧。相较于传统的格式，本发明所组成的数据帧可以更有效率的方式传送及存储。
以上叙述依据本发明多个不同实施例，其中各项特征可以单一或不同结合方式实施。因此，本发明实施方式的揭露为阐明本发明原则的具体实施例，应不拘限本发明于所揭示的实施例。进一步言之，先前叙述及其附图仅为本发明示范之用，并不受其限囿。其他元件的变化或组合皆可能，且不悖于本发明的精神与范围。

Claims (20)

1.一种通过视频传送装置处理一数据帧的方法，包含：
接收一2D图像帧，该2D图像帧包括一第一数量的水平行及一第一数量的垂直栏；
接收一深度图，该深度图对应于该2D图像帧，其中该深度图包括一第二数量的水平行及一第二数量的垂直栏；
压缩该2D图像帧及该深度图的尺寸，以获得较小数据尺寸的一第二2D图像帧及一第二深度图；
将该第二2D图像帧及该第二深度图组合为一数据帧；及
将该数据帧从一视频传送装置传送至一视频接收装置。
2.如权利要求1所述的方法，其中该数据帧的水平行数量等于该2D图像帧的该第一数量。
3.如权利要求1所述的方法，其中该数据帧的像素尺寸为于1080水平行×1920*3垂直栏。
4.如权利要求1所述的方法，其中压缩该2D图像帧及该深度图的尺寸的步骤包括：降低该2D图像帧的该第一数量的水平行，以及降低该深度图的该第二数量的垂直栏。
5.如权利要求1所述的方法，其中组合该第二2D图像帧及该第二深度图的步骤包括：以并列的方式将该第二2D图像帧的内容及该第二深度图的内容邻接地组合于该数据帧中。
6.如权利要求1所述的方法，其中组合该第二2D图像帧及该第二深度图的步骤包括：将该第二2D图像帧的内容及该第二深度图的内容以上下邻接的方式置放于该数据帧中。
7.如权利要求6所述的方法，其中该数据帧包括多条水平行，该多条水平行中设置有该第二深度图的内容，且该数据帧的每一条水平行所含有的深度数据是从该第二深度图的多条连续水平行取得。
8.如权利要求1所述的方法，其中组合该第二2D图像帧及该第二深度图的步骤包括：
以交替分布的方式将该2D图像帧的彩色像素数据及该深度图的深度数据邻接地置放于该数据帧的每一条水平行中。
9.一种视频传送装置，包含：
一计算机可读取媒体，其包含多个数据帧，其中各数据帧包括一2D图像帧的图像数据及一深度图的深度数据，且相较于显示幕所呈现的一对应图像帧，该图像数据的尺寸被压缩；及
一输出控制器，可存取计算机可读媒体并输出该数据帧。
10.如权利要求9所述的视频传送装置，其中每一数据帧中以并列的方式邻接地组合该2D图像帧及该深度图。
11.如权利要求9所述的视频传送装置，其中每一数据帧中为上下邻接地组合该2D图像帧及该深度图。
12.如权利要求9所述的视频传送装置，其中该2D图像帧的彩色像素数据及该深度图的深度数据是以交替分布的方式邻接地置放于该数据帧的每一条水平行中。
13.如权利要求9所述的视频传送装置，其中每一数据帧系在一垂直同步信号的二连续脉冲之间被传送。
14.如权利要求9所述的视频传送装置，其中每一数据帧的像素尺寸等于1080水平行×1920*3垂直栏。
15.一种视频接收装置，包括一帧缓冲器及一立体呈现单元，该立体呈现单元耦接于该帧缓冲器，该视频接收装置系配置以：
从一视频传送装置接收一数据帧并存储该数据帧，该数据帧包括一2D图像帧的像素色彩数据及一深度图的深度数据；
从该帧缓冲器所存储的该数据帧中取出该2D图像帧及该深度图；
放大该2D图像帧及深度图的尺寸；及
利用放大后的该2D图像帧及该深度图构成一虚拟2D图像帧。
16.如权利要求15所述的视频接收装置，其中该视频接收装置是在一垂直同步信号的二连续脉冲之间接收该数据帧。
17.如权利要求15所述的视频接收装置，其中该帧缓冲器所存储的该数据帧中为以邻接并列的方式组合该2D图像帧及该深度图。
18.如权利要求15所述的视频接收装置，其中该帧缓冲器所存储的该数据帧中是以上下邻接的方式组合该2D图像帧及该深度图。
19.如权利要求15所述的视频接收装置，其中该2D图像帧的彩色像素数据及该深度图的深度数据是以交替分布的方式邻接地置放于该数据帧的每一条水平行中。
20.如权利要求15所述的视频接收装置，其中该数据帧通过一连接接口而被传送至接收装置，该连接接口包括：高清晰度多媒体接口(high-definitionmultimedi一interface)、数字视觉接口(digital visual interface)及DisplayPort接口其中之一。
CN2012102065980A 2011-08-30 2012-06-18 处理立体显示用的数据帧的系统及方法 Pending CN102970554A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/220,863 US20130050415A1 (en) 2011-08-30 2011-08-30 System and Method of Handling Data Frames for Stereoscopic Display
US13/220,863 2011-08-30

Publications (1)

Publication Number Publication Date
CN102970554A true CN102970554A (zh) 2013-03-13

Family

ID=47743135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012102065980A Pending CN102970554A (zh) 2011-08-30 2012-06-18 处理立体显示用的数据帧的系统及方法

Country Status (3)

Country Link
US (1) US20130050415A1 (zh)
CN (1) CN102970554A (zh)
TW (1) TW201310973A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898274A (zh) * 2016-04-13 2016-08-24 李应樵 一种基于rgb压缩的2d加深度3d图像纵向存储方法
CN109963135A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种基于rgb-d的深度网络摄像装置及方法
CN110381318A (zh) * 2018-04-12 2019-10-25 杨家辉 应用于彩色景深图框包装及解包装的方法及电路
CN111669570A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角视频数据处理方法及装置、介质、设备
CN111669603A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角数据处理方法及装置、介质、终端、设备
CN111669561A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角图像数据处理方法及装置、介质、设备
CN111669571A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角图像数据生成方法及装置、介质、设备
CN111669567A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角视频数据生成方法及装置、介质、服务器
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质
US11521347B2 (en) 2019-03-07 2022-12-06 Alibaba Group Holding Limited Method, apparatus, medium, and device for generating multi-angle free-respective image data

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI503788B (zh) * 2013-10-02 2015-10-11 Jar Ferr Yang 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
TWI602145B (zh) * 2013-10-02 2017-10-11 國立成功大學 包裝圖框之解包裝方法、裝置及系統
TWI602144B (zh) * 2013-10-02 2017-10-11 國立成功大學 包裝彩色圖框及原始景深圖框之方法、裝置及系統
TWI563842B (en) * 2013-10-25 2016-12-21 Lips Inc Sensing device and signal processing method thereof
CA2957079A1 (en) 2016-02-03 2017-08-03 Evertz Microsystems Ltd. Systems and methods for improving video compression efficiency
KR102526754B1 (ko) * 2016-07-13 2023-04-27 삼성전자주식회사 3차원 영상 처리 방법 및 장치
EP4254959A1 (en) * 2022-03-30 2023-10-04 Holo-Light GmbH Computer-implemented method for generating augmented image data, computer-implemented streaming method, image streaming system, and augmented image data stream

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239294A1 (en) * 2005-04-20 2006-10-26 Jupiter Systems Capture node for use in an audiovisual signal routing and distribution system
CN101204097A (zh) * 2005-06-23 2008-06-18 皇家飞利浦电子股份有限公司 使用2d图像和深度数据的3d图像传送

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
KR101506926B1 (ko) * 2008-12-04 2015-03-30 삼성전자주식회사 깊이 추정 장치 및 방법, 및 3ｄ 영상 변환 장치 및 방법
KR20120088467A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 2차원 영상 표시 영역 내에 부분 3차원 영상을 디스플레이 하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060239294A1 (en) * 2005-04-20 2006-10-26 Jupiter Systems Capture node for use in an audiovisual signal routing and distribution system
CN101204097A (zh) * 2005-06-23 2008-06-18 皇家飞利浦电子股份有限公司 使用2d图像和深度数据的3d图像传送

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105898274A (zh) * 2016-04-13 2016-08-24 李应樵 一种基于rgb压缩的2d加深度3d图像纵向存储方法
CN105898274B (zh) * 2016-04-13 2018-01-12 万云数码媒体有限公司 一种基于rgb压缩的2d加深度3d图像纵向存储方法
CN109963135A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种基于rgb-d的深度网络摄像装置及方法
CN110381318A (zh) * 2018-04-12 2019-10-25 杨家辉 应用于彩色景深图框包装及解包装的方法及电路
CN111669561A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角图像数据处理方法及装置、介质、设备
CN111669603A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角数据处理方法及装置、介质、终端、设备
CN111669570A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角视频数据处理方法及装置、介质、设备
CN111669571A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角图像数据生成方法及装置、介质、设备
CN111669567A (zh) * 2019-03-07 2020-09-15 阿里巴巴集团控股有限公司 多角度自由视角视频数据生成方法及装置、介质、服务器
US11521347B2 (en) 2019-03-07 2022-12-06 Alibaba Group Holding Limited Method, apparatus, medium, and device for generating multi-angle free-respective image data
CN111669561B (zh) * 2019-03-07 2023-05-26 阿里巴巴集团控股有限公司 多角度自由视角图像数据处理方法及装置、介质、设备
CN111669570B (zh) * 2019-03-07 2023-12-19 阿里巴巴集团控股有限公司 多角度自由视角视频数据处理方法及装置、介质、设备
CN111669571B (zh) * 2019-03-07 2023-12-19 阿里巴巴集团控股有限公司 多角度自由视角图像数据生成方法及装置、介质、设备
CN111669567B (zh) * 2019-03-07 2024-03-29 阿里巴巴集团控股有限公司 多角度自由视角视频数据生成方法及装置、介质、服务器
CN112738534A (zh) * 2019-10-28 2021-04-30 阿里巴巴集团控股有限公司 数据处理方法及系统、服务器和存储介质

Also Published As

Publication number Publication date
US20130050415A1 (en) 2013-02-28
TW201310973A (zh) 2013-03-01

Similar Documents

Publication Publication Date Title
CN102970554A (zh) 处理立体显示用的数据帧的系统及方法
EP1897056B1 (en) Combined exchange of image and related data
US10080010B2 (en) Method of encoding a video data signal for use with a multi-view rendering device
US9197845B2 (en) System and method for processing video data
EP1897380B1 (en) Combined exchange of image and related depth data
CN102498720B (zh) 在3d或多视图视频数据中嵌入字幕和/或图形叠层的方法
WO2020199887A1 (zh) 多视点裸眼立体显示器、显示系统及像素组排布方法
US8395617B2 (en) Method and related system for displaying 2D and 3D images simultaneously
KR20120036789A (ko) 입체화상 데이터 송신 장치 및 입체화상 데이터 수신 장치
US20110149030A1 (en) Display apparatus and control method thereof
CN101616334A (zh) 视频信号的显示方法和装置
CN102868893A (zh) 一种裸眼3d图像的形成方法、装置及3d显示系统
CN102291587B (zh) 全高清3d视频处理方法
CN103546737A (zh) 图像数据缩放方法以及图像显示装置
CN102868899A (zh) 一种三维图像处理方法
JP2015534745A (ja) 立体画像の生成、送信、及び受信方法、及び関連する装置
US9131215B2 (en) Method and apparatus for transmitting and receiving uncompressed three-dimensional video data via digital data interface
US20130050183A1 (en) System and Method of Rendering Stereoscopic Images
US20130088485A1 (en) Method of storing or transmitting auto-stereoscopic images
CN103533339A (zh) 裸眼3d显示设备及其显示方法
US20120154374A1 (en) 3d image conversion system
CN101742315B (zh) 全高清3d视频信号转换系统
CN101651809B (zh) 双目立体显示视频处理的存储器存储及读写控制方法
JP5016648B2 (ja) 多層構造を持つ３次元表示装置のための画像処理方法
CN102164291A (zh) 同时显示二维影像和三维影像的方法及显示系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130313