CN102630026A - 一种处理视频的方法及系统 - Google Patents

一种处理视频的方法及系统 Download PDF

Info

Publication number
CN102630026A
CN102630026A CN2012100238129A CN201210023812A CN102630026A CN 102630026 A CN102630026 A CN 102630026A CN 2012100238129 A CN2012100238129 A CN 2012100238129A CN 201210023812 A CN201210023812 A CN 201210023812A CN 102630026 A CN102630026 A CN 102630026A
Authority
CN
China
Prior art keywords
video
enhancement layer
dimensional
rendering apparatus
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100238129A
Other languages
English (en)
Inventor
吉汉·卡若古
纳拜·塞亚爵
陈雪敏
克里斯·伯乐斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Broadcom Corp
Zyray Wireless Inc
Original Assignee
Zyray Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/077,868 external-priority patent/US8810565B2/en
Application filed by Zyray Wireless Inc filed Critical Zyray Wireless Inc
Publication of CN102630026A publication Critical patent/CN102630026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种处理视频的方法及系统。包括一个或多个深度传感器的单像三维视频生成装置可用于将捕获的二维视频图像数据作为基础层存储、将捕获的相应深度信息作为增强层存储。可通过单像三维视频生成装置内的一个或多个图像传感器捕获二维视频图像数据，可通过单像三维视频生成装置内的一个或多个深度传感器捕获相应深度信息。单像三维视频生成装置可确定是否传输增强层至视频渲染设备。单像三维视频生成装置可编码基础层，也可基于确定传输增强层而对增强层进行编码。编码的基础层和/或编码的增强层可传输至三维视频渲染和/或二维视频渲染的视频渲染设备。

Description

一种处理视频的方法及系统
技术领域
本发明涉及视频处理。更具体地，本发明涉及一种将深度信息用作增强层的方法和系统。
背景技术
数字视频功能可纳入很多设备中，例如，数字电视、数字直播系统、数字录音设备及类似设备。较之于常规的模拟视频系统，在处理和传输视频序列方面数字视频设备可提供带宽效率增加的显著改进。
可以二维(2D)格式或三维(3D)格式记录视频内容。在各种应用中，例如，DVD电影和数字电视(DTV)，由于其对观众而言比2D副本更真实，3D视频通常是有吸引力的。3D视频包括左视图视频和右视图视频。
已建立各种视频编码标准用于以压缩方式对数字视频序列进行编码，各种视频编码标准例如MPEG-1、MPEG-2、MPEG-4、MPEG-C的第三部分、H.263、H.264/MPEG-4高级视频编码(AVC)，多视点视频编码(Multiview VideoCoding)(MVC)和可伸缩视频编码(SVC)。例如，MVC标准是H.264/MPEG-4AVC标准的扩展，其可提供高效三维视频编码。SVC标准也是H.264/MPEG-4AVC标准的扩展，其可使能部分比特流的传输和解码，从而提供较低时间分辨率、或较低空间分辨率或降低的保真度的视频服务，同时保持与使用H.264/MPEG-4AVC时所实现的相似的重建品质。
比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的技术人员来说是显而易见的。
发明内容
本发明提供一种将深度信息用作增强层的方法和系统，并结合至少一幅附图进行展示和/或描述，且在权利要求中对其作出更加完整的阐明。
根据本发明的一个方面，提供一种处理视频的方法，所述方法包括如下步骤：
在包括一个或多个深度传感器的单像三维(3D)视频生成装置中：
将捕获的二维(2D)视频图像数据存储为基础层；以及
将捕获的相应深度信息存储为增强层。
优选地，所述方法还包括通过所述单像三维视频生成装置的一个或多个图像传感器捕获所述二维视频图像数据。
优选地，所述方法还包括通过所述单像三维视频生成装置的一个或多个深度传感器捕获所述相应深度信息。
优选地，所述方法还包括基于所述视频渲染设备的请求和/或所述视频渲染设备的性能和/或能力，确定确定是否传输所述增强层至视频渲染设备。
优选地，所述方法还包括：
编码所述基础层；以及
基于所述确定传输所述增强层至所述视频渲染设备而对所述增强层进行编码。
优选地，所述方法还包括传输所述编码的基础层和/或所述编码的增强层至所述视频渲染设备。
优选地，所述视频渲染设备确定是否利用所述传输的增强层。
优选地，所述视频渲染设备：
解码所述传输的基础层；以及
基于所述确定利用所述传输的增强层对所述传输的增强层进行解码。
优选地，所述视频渲染设备利用所述解码的基础层和所述解码的增强层生成三维视频，所述解码的基础层包含所述二维视频图像数据，所述解码的增强层包含所述相应深度信息。
优选地，所述视频渲染设备利用所述解码的基础层生成二维视频，所述解码的基础层包含所述二维视频图像数据。
根据本发明的另一个方面，提供一种处理视频的系统，所述系统包括：
在包含一个或多个深度传感器的单像三维视频生成装置内使用的一个或多个处理器和/或电路，其中所述一个或多个处理器和/或电路用于：
将捕获的二维视频图像数据存储为基础层；以及
将捕获的相应深度信息单独存储为增强层。
优选地，所述一个或多个处理器和/或电路用于通过所述单像三维视频生成装置的一个或多个图像传感器捕获所述二维视频图像数据。
优选地，所述一个或多个处理器和/或电路用于通过所述单像三维视频生成装置的一个或多个深度传感器捕获所述相应深度信息。
优选地，所述一个或多个处理器和/或电路用于基于所述视频渲染设备的请求和/或所述视频渲染设备的性能和/或能力，确定是否传输所述增强层至视频渲染设备。
优选地，所述一个或多个处理器和/或电路用于：
编码所述基础层；以及
基于所述确定传输所述增强层至所述视频渲染设备而对所述增强层进行编码。
优选地，所述一个或多个处理器和/或电路用于传输所述编码的基础层和/或所述编码的增强层至所述视频渲染设备。
优选地，所述视频渲染设备确定是否利用所述传输的增强层。
优选地，所述视频渲染设备：
解码所述传输的基础层；以及
基于所述确定利用所述传输的增强层对所述传输的增强层进行解码。
优选地，所述视频渲染设备利用所述解码的基础层和所述解码的增强层生成三维视频，所述解码的基础层包含所述二维视频图像数据，所述解码的增强层包含所述相应深度信息。
优选地，所述视频渲染设备利用所述解码的基础层生成二维视频，所述解码的基础层包含所述二维视频图像数据。
本发明的各种优点、各个方面和创新特征以及具体实施例的细节，将在以下的说明书和附图中进行更详细介绍。
附图说明
图1A是与传统立体摄像机相比包含本发明各方面的示例性单像三维摄像机的框图；
图1B是依照本发明实施例的、对深度信息和二维色彩信息进行示例性处理以生成三维图像的框图；
图2是依照本发明实施例的、用于将深度信息用作增强层的示例性视频通信系统的框图；
图3A是依照本发明实施例的、用于将深度信息用作增强层的示例性单像三维摄像机的框图；
图3B是依照本发明实施例的示例性基础层和增强层的框图；
图4是依照本发明实施例的、用于将深度信息用作增强层来生成三维视频的示例性视频渲染设备的框图；
图5是依照本发明实施例的将深度信息用作增强层的示例性步骤的流程图；
图6是依照本发明实施例的将深度信息用作增强层来生成三维视频的示例性步骤的流程图。
具体实施方式
本发明涉及将深度信息用作增强层的方法和系统。在本发明的不同实施例中，包含一个或多个深度传感器的单像三维视频生成装置可用于将捕获的二维视频图像数据作为基础层进行存储、以及将捕获的相应深度信息单独作为增强层进行存储。上述二维视频图像数据可通过单像三维视频生成装置中的一个或多个图像传感器进行捕获。相应深度信息则可通过单像三维视频生成装置中的一个或多个深度传感器进行捕获。
在本发明的一示例性实施例中，该单像三维视频生成装置可用于确定是否将增强层传输至视频渲染设备。例如，该确定过程可基于视频渲染设备的请求和/或该视频渲染设备的性能和/或能力。单像三维视频生成装置可编码或压缩用于传输的基础层。单像三维视频生成装置还可基于确定对增强层进行传输而对该增强层进行编码或压缩。然后，编码的基础层和/或编码的增强层可由单像三维视频生成装置传输至视频渲染设备、用于三维视频渲染和/或二维视频渲染。
在本发明的示例性实施例中，视频渲染设备可用于确定是否使用单像三维视频生成装置传输的增强层。视频渲染设备可对单像三维视频生成装置传输的基础层进行解码或解压缩。视频渲染设备还可基于确定使用传输的增强层而对单像三维视频生成装置传输的该增强层进行解码或解压缩。在这一点上，例如，可通过视频渲染设备、使用解码的基础层和解码的增强层生成三维视频，所述解码的基础层包含二维视频图像数据，所述解码的增强层包含相应深度信息。例如，可通过视频渲染设备、使用解码的基础层生成二维视频，所述解码的基础层包含二维视频图像数据。
图1A是与传统立体摄像机相比包含本发明各方面的示例性单像三维摄像机的框图。如图1A所示，为立体摄像机100和单像三维摄像机102。立体摄像机100包括镜头101a和镜头101b。镜头101a和镜头101b的每个可从不同视点捕获图像。镜头101a和镜头101b捕获到的图像经过合成可生成三维图像。在这一点上，可见光谱中的电磁(EM)波可通过镜头101a(以及与之相连的光学系统)在第一的一个或多个图像传感器上进行聚焦；可见光谱中的电磁波可通过镜头101b(以及与之相连的光学系统)在第二的一个或多个图像传感器上进行聚焦。
单像三维摄像机102可包括处理器104、存储器106、一个或多个深度传感器108以及一个或多个图像传感器114。单像或单视图三维摄像机102可通过与镜头101c相对应的单视点进行图像捕获。在这一点上，可见光谱中的电磁波可通过镜头101c在一个或多个图像传感器114上进行聚焦。单像三维摄像机102也可通过镜头101c(以及与之相连的光学系统)捕获深度信息。
处理器104可包括适当的逻辑、电路、接口和/或代码，其可用于对单像三维摄像机102的各个组件的运行进行控制以及执行各种计算和处理任务。
例如，存储器106可包括DRAM、SRAM、闪存、硬盘驱动器或其他磁存储器、或者其他适当的存储设备。例如，SRAM可用于存储供处理器104使用和/或由处理器104直接生成的数据。硬盘驱动器和/或闪存可用于存储已记录的图像数据和深度数据。
深度传感器108可各自包括适当的逻辑、电路、接口和/或代码，其可用于检测红外光谱中的电磁波，并基于反射的红外波确定深度信息。例如，可基于单像三维摄像机102的发射器(未显示)发射的和反射回深度传感器108的红外波的渡越时间确定深度信息。又例如，也可使用结构光法(structuredlight method)确定深度信息。某些情况下，光源(例如投影仪)可能以已知角度向目标投射光图像(pattern of light)，如网格状的红外波。深度传感器108可检测目标上光图像(例如红外光图像)的形变。因此例如，可使用三角测试技术确定或计算场景深度信息。
图像传感器114可各自包括适当的逻辑、电路、接口和/或代码，其可用于将光信号转化成电信号。例如，每个图像传感器114可包含电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。每个图像传感器114可捕获亮度、辉度和/或色度信息。
在示例性运行中，单像三维摄像机102可通过使用图像传感器114和深度传感器108，分别对用于生成三维视频的二维视频图像数据和相应深度信息进行捕获。在一可伸缩视频层次下，三维视频可包括用于处理和/或编码的基础层视频和增强层视频。在这一点上，捕获的二维视频图像数据可在存储器106中存储为基础层、捕获的相应深度信息可在存储器106中单独存储为增强层。处理器104可确定是否将增强层传输到视频渲染设备中。例如，该确定过程可基于频渲染设备的请求和/或该视频渲染设备的三维渲染性能和/或能力。
图1B是依照本发明实施例的对深度信息和二维色彩信息进行示例性处理以生成三维图像的框图。如图1B所示，显示深度信息帧130、二维色彩信息帧134和三维图像帧136。可通过深度传感器108捕获深度信息帧130，可通过图像传感器114捕获二维色彩信息帧134。在处理器104对二维色彩信息帧134的处理过程中，利用深度信息帧130生成三维图像帧136。图中的虚线132可表示阐释三维图像的基准平面。在深度信息帧130中，用线宽来表明深度。在这一点上，线条越粗，帧130的该部分越靠近单像三维摄像机102。因此，图中的物体138离单像三维摄像机102最远，物体142离单像三维摄像机102最近，物体140位于中间深度。在本发明的不同实施例中，处理器104可使深度信息映射成灰度图像或伪灰度图像。
帧134中的图像是传统的二维图像。帧134的观察者认为其与每个物体138、140和142间的深度相同。也就是说，物体138、物体140和物体142均好像位于基准平面132上。帧136中的图像为三维图像。帧136的观察者认为物体138距其较远、物体142离自己最近、而物体140处于中间深度。在这一点上，物体138似乎位于基准平面132之后，物体140似乎位于基准平面132上，而物体142似乎位于基准平面132的前方。
图2为依照本发明实施例的用于将深度信息用作增强层的示例性视频通信系统的框图。如图2所示，为视频通信系统200的示意图。视频通信系统200可包括单像三维摄像机202和视频渲染设备204。
单像三维摄像机202可包括适当的逻辑、电路、接口和/或代码，其可用于捕获二维视频图像数据和相应深度信息。单像三维摄像机202本质上与图1A中的单像三维摄像机102相似。在本发明的示例性实施例中，单像三维摄像机202可将捕获到的二维视频图像数据作为基础层进行存储，将捕获到的相应深度信息作为增强层单独进行存储。单像三维摄像机202中的基础层编码器206a可对用于传输的基础层进行编码和压缩操作。单像三维摄像机202中的增强层编码器206b可对用于传输的增强层进行编码和压缩操作。可通过基础层比特流201向视频渲染设备(例如视频渲染设备204)传输编码的基础层，所述编码的基础层包含二维视频图像数据；可通过增强层比特流203向视频渲染设备204传输编码的增强层，所述编码的增强层包含相应深度信息。
视频渲染设备204可包括适当的逻辑、电路、接口和/或代码，其可用于接收来自单像三维摄像机202的编码的或压缩的比特流201和203，该比特流可分别包含二维视频图像数据和相应深度信息。例如，视频渲染设备204、机顶盒(STB)和/或数字电视(DTV)可处理接收的基础层比特流201和/或接收的增强层比特流203，从而以三维或二维视频格式渲染和/或显示。在这一点上，视频渲染设备204中的基础层解码器208a可解码或解压缩接收的基础层；视频渲染设备204中的增强层解码器208b可解码或解压缩接收的增强层。
在运行过程中，单像三维摄像机202可用于捕获二维视频图像数据和相应深度信息。单像三维摄像机202可将捕获的二维视频图像数据存储为基础层、可将捕获的相应深度信息单独存储为增强层。在本发明的一示例性实施例中，单像三维摄像机202可用于确定是否将增强层传输到视频渲染设备，如视频渲染设备204。例如，该确定过程可基于该视频渲染设备204的请求和/或该视频渲染设备204的性能和/或能力。例如，为了减少宽带利用率，视频渲染设备204可选择并要求不接收增强层，所述增强层包含来自单像三维摄像机202的、用于三维视频渲染的相应深度信息。视频渲染设备204可能不具备三维视频渲染所需的性能和/或能力。这种情况下，单像三维摄像机202可确定不将包含有相应深度信息的增强层传输给视频渲染设备204。单像三维摄像机202中的基础层编码器206a可对基础层进行编码和压缩，以将其传输至视频渲染设备204。单像三维摄像机202中的增强层编码器206b可基于确定传输增强层而对其进行编码和压缩。然后，单像三维摄像机202可将编码的基础层和/或编码的增强层传输至视频渲染设备204，用于三维视频渲染和/或二维视频渲染。编码的基础层可通过基础层比特流201进行传输。编码的增强层可通过增强层比特流203进行传输。
在本发明的示例性实施例中，视频渲染设备204可确定是否利用经单像三维摄像机202传输的增强层。例如，即便已接收到包含有相应深度信息的增强层，视频渲染设备204也可选择不将增强层用于三维渲染。视频渲染设备204中的基础层解码器208a可对单像三维摄像机202传输的基础层进行解码和解压缩。视频渲染设备204中的增强层解码器208b可基于确定利用传输的增强层而对单像三维摄像机202传输的增强层进行解码和解压缩操作。在这一点上，例如，视频渲染设备204接着可利用解码的基础层和解码的增强层生成三维视频；其中，所述解码的基础层含有二维视频图像数据，所述解码的增强层含有相应深度信息。此外，视频渲染设备204随后还可利用包含二维视频图像数据的解码的基础层生成二维视频。
虽然图2中示出了单像三维摄像机202，但本发明中的单像三维摄像机并不局限于此。相应地，在不脱离本发明的精神和范围的情况下，还可利用以二维加深度(plus-depth)格式生成三维视频内容的其他单像三维视频生成装置，例如单像三维摄录像机。
图3A为依照本发明实施例的用于将深度信息用作增强层的示例性单像三维摄像机的框图。如图3A所示，显示单像三维摄像机300。该单像三维摄像机300可包括处理器304、存储器306、一个或多个深度传感器308、发射器309、图像信号处理器(ISP)310、输入/输出(I/O)模块312、一个或多个图像传感器314、光学系统316、扬声器311、麦克风313、视频/音频编码器307、视频/音频解码器317、音频模块305、防错模块(error protection module)315、镜头318、多个控制面板322、光学取景器324和显示屏320。单像三维摄像机300在本质上与图1A所示的单像三维摄像机102相似。
处理器304可包括适当的逻辑、电路、接口和/或代码，其可用于协调单像三维摄像机300中不同组件的运行。例如，处理器304可运行单像三维摄像机300中的操作系统并且对单像三维摄像机300中各组件之间的信息和信号通信进行控制。处理器304可执行存储在存储器306中的代码。在本发明的示例性实施例中，处理器304可确定是否将包含了捕获的相应深度信息的增强层传输到视频渲染设备，如此处的视频渲染设备204。例如，该确定过程的执行可基于视频渲染设备204的请求和/或该视频渲染设备204的性能和/或能力。
例如，存储器306可包括DRAM、SRAM、闪存、硬盘驱动器或其他磁存储器、或其他适当的存储设备。例如，SRAM可用于存储供处理器304使用和/或由处理器304直接生成的数据。硬盘驱动器和/或闪存可用于存储已记录的图像数据和深度数据。在本发明的一示例性实施例中，存储器306可将捕获的二维视频图像数据和捕获的相应深度信息分别作为基础层和增强层进行存储。例如，捕获的二维视频图像数据可存储在存储器306中的基础层存储设备306a中；捕获的相应深度信息可存储在存储器306中的增强层存储设备306b中。
深度传感器308可各自包括适当的逻辑、电路、接口和/或代码，其可用于检测红外光谱中的电磁波，并基于反射的红外波确定深度信息。例如，可基于发射器309发射的和反射回深度传感器308的红外波的渡越时间确定深度信息。又例如，也可使用结构光法确定深度信息。某些情况下，光源(例如投影仪)可能以已知角度向目标投射光图像，如网格状的红外波。深度传感器308可检测目标上光图像(例如红外光图像)的形变。因此例如，可使用三角测试技术确定或计算场景深度信息。
图像信号处理器或图像传感处理器(ISP)310可包括适当的逻辑、电路、接口和/或代码，其可用于执行对捕获的图像数据和捕获的相应深度信息进行复杂处理。ISP 310可执行多项处理技术，包括例如滤镜处理、去马赛克、拜耳插值(Bayer interpolation)、镜头黑点校正(lens shading correction，)、缺陷像素校正(defective pixel correction)、白平衡、图像补偿、色彩转换和/或其他后期滤镜处理。
音频模块305可包括适当的逻辑、电路、接口和/或代码，其可用于执行单像三维摄像机300的各种音频功能。在本发明的一示例性实施例中，音频模块305可执行三维场景的噪音消除和/或音频音量大小的调节。
视频/音频编码器307可包括适当的逻辑、电路、接口和/或代码，其可用于执行视频和/或音频的编码功能。比如，视频/音频编码器307将捕获的二维视频图像及其相应深度信息和/或音频数据进行编码或压缩，以传输至视频渲染设备，例如视频渲染设备204。在本发明的示例性实施例中，视频/音频编码器307可包括基础层编码器307a和增强层编码器307b。基础层编码器307a可对包含捕获的二维视频图像数据的基础层进行编码或压缩，增强层编码器307b可对包含捕获的相应深度信息的增强层进行编码或压缩。
视频/音频解码器317可包括适当的逻辑、电路、接口和/或代码，其可用于执行视频和/或音频的解码功能。
防错模块315可包括适当的逻辑、电路、接口和/或代码，其可用于为单像三维摄像机300进行防错。比如，防错模块315可对编码后的二维视频图像及其相应深度信息和/或编码后的音频数据进行防错，以传输至视频渲染设备，例如视频渲染设备204。
输入/输出(I/O)模块312可包括适当的逻辑、电路、接口和/或代码，其用于支持单像三维摄像机300按照一个或多个标准与其他装置接口连接(interface with)，所述一个或多个标准包括例如USB、PCI-X、IEEE 1394、HDMI、显示端口、和/或模拟音频和/或模拟视频标准。比如，输入/输出模块312可以执行以下功能：向控制面板322传输信号或从控制面板322接收信号、将视频输出至显示屏320、将音频信号输出至扬声器311、处理从麦克风313接收的音频输入、在磁带、快闪存储卡、固态硬盘、硬盘或其他与单像三维摄像机300连接的外部存储装置中读取并写入信息、和/或通过一个或多个端口例如IEEE 1394端口、HDMI端口和/或USB端口向外输出音频和/或视频，以传输和/或渲染。
图像传感器314可包括适当的逻辑、电路、接口和/或代码，其可用于将光信号转换成电信号。每个图像传感器314可包括例如电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。每个图像传感器314可捕获亮度、辉度和/或色度信息。
光学系统316可包括各种光学装置，该光学装置可对通过镜头318接收的电磁波进行调节及对准。光学系统316将可视光谱中的电磁波对准图像传感器314，并将红外光谱中的电磁波对准深度传感器308。例如，光学系统316可包括一个或多个透镜、棱镜、亮度和/或色彩滤镜、和/或反射镜。
镜头318可用于聚集并充分聚焦可视光谱及红外光谱中的电磁波。
显示屏320可包括LCD显示屏、LED显示屏、有机LED(OLED)显示屏、和/或其他可显示通过单像三维摄像机300记录的图像的数字化显示屏。在本发明的一示例性实施例中，显示屏320可显示三维图像。
控制面板322可包括适当的逻辑、电路、接口和/或代码，其可用于支持单像三维摄像机300与使用者之间的互动。比如，控制面板322可以让使用者控制录像功能及回放功能。在本发明的一示例性实施例中，控制面板322使得使用者能够选择单像三维摄像机300在二维或三维模式下录制。
光学取景器324使得使用者能够看到镜头318“所见图像”，即“帧中”包含的图像。
在实际操作中，图像传感器314可捕获与二维视频帧相关联的亮度、辉度和/或色度信息，深度传感器308可捕获相应深度信息。本发明的各个实施例中将采用各种色彩格式，比如RGB及YCrCb。深度信息将作为元数据或附加层信息(additional layer of information)存储在存储器306中，在将二维图像信息渲染成三维视频图像的过程中，将使用到这些元数据或附加层信息。
在本发明的示例性实施例中，捕获的二维视频图像数据作为基础层存储在存储器306的基础层存储设备306a中；另外，捕获的相应深度信息作为增强层单独存储在存储器306的增强层存储设备306b中。处理器304可确定是否将增强层传输到视频渲染设备上，如视频渲染设备204。例如，该确定过程可取决于视频渲染设备204的请求和/或该视频渲染设备204的三维渲染性能和/或能力。视频/音频编码器307中的基础层编码器307a可将用于传输至视频渲染设备204的基础层进行编码和压缩操作。视频/音频编码器307中的增强层编码器307b可根据确定传输增强层而对该增强层进行编码和压缩操作。接着，单像三维摄像机300还可通过输入/输出模块312将该编码的基础层和/或编码的增强层传输到视频渲染设备204，用于三维视频渲染和/或二维视频渲染。
图3B是依照本发明实施例的基础层和增强层的框图。如图3B所示，显示以上结合图3A描述的存储器306和视频/音频编码器307。存储器306包括基础层存储设备306a和增强层存储设备306b。视频/音频编码器307包含基础层编码器307a和增强层编码器307b。
在本发明的示例性运行过程中，捕获的二维视频图像数据作为基础层数据存储在存储器306的基础层存储设备306a中；捕获的相应深度信息作为增强层数据单独存储在存储器306的增强层存储设备306b中。在这一点上，例如，视频/音频编码器307中的基础层编码器307a可用于对基础层数据进行编码和压缩、以生成传输至视频渲染设备(如视频渲染设备204)的基础层比特流。视频/音频编码器307中的增强层编码器307b可对增强层数据进行编码和压缩、以生成传输至视频渲染设备(如视频渲染设备204)的增强层比特流。可根据视频渲染设备204的请求和/或该视频渲染设备204的三维渲染性能和/或能力确定是否对包含相应深度信息的增强层数据进行传输。
图4为依照本发明实施例的将深度信息用作增强层以生成三维视频的视频渲染设备的示意图。如图4所示，为视频渲染设备400。视频渲染设备400可包括处理器404、存储器406、解码器408和显示单元410。解码器408可包括基础层解码器408a和增强层解码器408b。视频渲染设备400在本质上与图2中所示的视频渲染设备204相似。
处理器404可包括适当的逻辑、电路、接口和/或代码，其可用于与视频渲染设备400的各组件(如解码器408和显示单元410等)进行通信，以执行该视频渲染设备400的各种功能。处理器404可包括任何形式的处理器或处理电路，如视频处理器。在本发明的一示例性实施例中，处理器404可确定是否利用接收的、包含相应深度信息的增强层。处理器404可通过利用接收的基础层和接收的增强层生成三维视频，该基础层和增强层分别包含了二维视频图像数据和相应深度信息。在其他情况下，处理器404可通过仅利用接收的基础层生成二维视频，该基础层包含了二维视频图像数据。生成的三维或二维视频可在显示单元410上进行显示或放映。
存储器406可包括适当的逻辑、电路、接口和/或代码，其可用于存储信息，比如可执行性指令和数据等信息，处理器404和/或解码器408可利用这些信息执行视频渲染设备400的各种功能。
解码器408可包括适当的逻辑、电路、接口和/或代码，其用以对编码后的视频比特流进行解码或解压缩，该编码后的视频比特流可从发射器处接收得到，如单像三维摄像机202。接收的视频比特流包含带二维视频图像数据的基础层比特流和带相应深度信息的增强层比特流。在本发明的一示例性实施例中，解码器408中的基础层解码器408a可对接收的基础层进行解码或解压缩。解码器408中的增强层解码器408b可对接收的增强层进行解码或解压缩。
显示单元410可包括适当的逻辑、电路、接口和/或代码，其用以向用户或观看者显示或放映三维视频内容或二维视频内容。
在运行过程中，视频渲染设备400可从发射器(如单像三维摄像机202)处接收基础层比特流(如基础层比特流201)以及增强层比特流(如增强层比特流203)。处理器404可确定是否利用单像三维摄像机202传输的增强层。解码器408中的基础层解码器408a对从单像三维摄像机202处接收的基础层进行解码和解压缩。另一方面，解码器408中的增强层解码器408b基于确定利用接收的增强层，对从单像三维摄像机202接收的增强层进行解码和解压缩。在这一点上，例如，该处理器404接着可利用该解码的基础层和解码的增强层生成三维视频，该解码的基础层包含二维视频图像数据，该解码的增强层包含相应深度信息。处理器还可利用解码的基础层生成二维视频，该解码的基础层包含二维视频图像数据。可通过显示单元410呈现或显示生成的三维视频或生成的二维视频。
图5为依照本发明实施例的将深度信息用作增强层的示例性步骤的流程图。在图5中，步骤501为本实施例流程的起始步骤。在步骤502中，单像三维摄像机300可用于捕获二维视频图像数据和相应深度信息。可通过单像三维摄像机300中的一个或多个图像传感器314对二维视频图像数据进行捕获，可通过单像三维摄像机300的一个或多个深度传感器308对相应深度信息进行捕获。在步骤503中，单像三维摄像机300中的处理器304可确定是否为之后的渲染步骤储存捕获的相应深度信息。当确定不存储捕获的相应深度信息时，示例性步骤则转入步骤505。在步骤505中，将捕获的二维视频图像数据在单像三维摄像机300中的基础层存储设备306a中作为基础层进行存储。接着，在步骤509中，单像三维摄像机300中的基础层编码器307a对包含有二维视频图像数据的基础层进行编码。然后，在步骤510中，单像三维摄像机300中的输入/输出模块312将编码的基础层传输到视频渲染设备(如视频渲染设备204)中进行渲染。最后，转入步骤511，结束此操作流程。
在上述的步骤503中，若确定存储捕获的相应深度信息，则接下来转入步骤504。在步骤504中，捕获的二维视频图像数据作为基础层存储在基础层存储设备306a中，相应深度信息作为增强层存储在增强层存储设备306b中。在步骤506中，单像三维摄像机300中的处理器304可确定是否传输增强层至视频渲染设备(如视频渲染设备204)中进行渲染。例如，该确定过程可基于视频渲染设备204的请求和/或该视频渲染设备204的三维渲染能力和/或性能。若确定要传输增强层，则转入步骤507。在步骤507中，单像三维摄像机300分别利用基础层编码器307a和增强层编码器307b对基础层和增强层进行编码。在步骤508中，编码的基础层和编码的增强层通过输入/输出模块312传输至视频渲染设备204中进行渲染。最后转入步骤511，结束此操作流程。在步骤506中，若确定不传输相应深度信息，则转入步骤509。
图6为依照本发明实施例的将深度信息用作增强层以生成三维视频的示例性步骤的流程图。在图6中，步骤601为本实施例流程的起始步骤。在步骤602中，视频渲染设备400的处理器404可确定除基础层之外，是否接收增强层。可从发射器(如单像三维摄像机202)接收基础层和/或增强层。接收的基础层包含二维视频图像数据，而接收的增强层包含相应深度信息。若确定不接收增强层，则转入步骤606。在步骤606中，视频渲染设备400的基础层解码器408a可对接收的基础层进行解码。在步骤607中，处理器404可利用包含二维视频图像数据的解码的基础层生成二维视频。最后，转入步骤608，结束此操作流程。
在步骤602中，若除基础层之外还接收增强层时，则转入步骤603。在步骤603中，处理器404可确定是否使用接收的增强层。若增强层用于渲染过程，则转入步骤604。步骤604中，视频渲染设备400的基础层解码器408a对接收的基础层进行解码；视频渲染设备400的增强层解码器408b对接收的增强层进行解码。在步骤605中，处理器404可使用解码的基础层和解码的增强层生成三维视频，该解码的基础层包含二维视频图像数据，该解码的增强层包含相应深度信息。最后，转入步骤608，结束此操作流程。在步骤603中，若确定在渲染步骤中不使用增强层，则还转入步骤606。
在本发明的各个实施例中，单像三维视频生成装置(如单像三维摄像机300)可包含一个或多个图像传感器314和一个或多个深度传感器308。单像三维摄像机300可通过一个或多个图像传感器314捕获二维视频图像数据，以及通过一个或多个深度传感器308捕获相应深度信息。捕获的二维视频图像数据作为基础层存储在单像三维摄像机300的基础层存储设备306a中；捕获的相应深度信息作为增强层存储在单像三维摄像机300的增强层存储设备306b中。
在本发明的一示例性实施例中，单像三维摄像机300的处理器304可确定是否将增强层传输至视频渲染设备，如视频渲染设备204。例如，该确定过程可基于视频渲染设备204的请求和/或该视频渲染设备204的性能和/或能力。单像三维摄像机300的视频/音频编码器307中的基础层编码器307a可对基础层进行编码和压缩，用以传输到视频渲染设备204上。视频/音频编码器307中的增强层编码器307b可基于确定传输增强层，对该增强层进行编码和压缩。编码的基础层和/或编码的增强层将由单像三维视频摄像机300通过其内包含的I/O模块312传输至视频渲染设备204以完成三维视频渲染和/或二维视频渲染。
在本发明的一示例性实施例中，视频渲染设备400的处理器404可用于确定是否使用单像三维摄像机300传输的增强层。视频渲染设备400的解码器408中的基础层解码器408a可对单像三维摄像机300传输的基础层进行解码或解压缩。解码器408的增强层解码器408b还可基于确定使用传输的增强层，对由单像三维摄像机300传输的增强层进行解码或解压缩。在这一点上，例如，处理器404可通过使用解码的基础层和解码的增强层的而生成三维视频，该解码的基础层中包含了二维视频图像数据，该解码的增强层中包含了相应深度信息。又如，处理器404可通过使用解码的基础层生成二维视频，该解码的基础层中包含了二维视频图像数据。
本发明的其他实施例提供一种机器和/或计算机可读存储器和/或介质，其上存储的机器代码和/或计算机程序具有至少一个可由机器和/或计算机执行的代码段，使得机器和/或计算机能够实现本文所描述的将深度信息用作增强层的步骤。
本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现所述方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行所述程序控制计算机系统，使其按所述方法运行。在计算机系统中，利用处理器和存储单元来实现所述方法。
本发明还可以通过计算机程序产品进行实施，所述程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，通过运行，可以实现本发明的方法。本申请文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后，a)转换成其它语言、代码或符号；b)以不同的格式再现，实现特定功能。
本发明是通过几个具体实施例进行说明的，本领域技术人员应当理解，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或具体情况，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。
相关申请的交叉引用
本申请享有2011年2月3日申请的、申请号为No.61/439,113的美国临时专利申请的优先权。
本申请参考：
2011年2月3日申请的、申请号为No.61/439,193的美国专利申请；
2011年3月31日申请的、申请号为No._______________(律师事务所案卷号为No.23461US03)的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,274的美国专利申请；
2011年3月31日申请的、申请号为No.________________(律师事务所案卷号为No.23462US03)的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,283的美国专利申请；
2011年3月31日申请的、申请号为No.________________(律师事务所案卷号为No.23463US03)的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,130的美国专利申请；
2011年3月31日申请的、申请号为No.__________________(律师事务所案卷号为No.23464US03)的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,290的美国专利申请；
2011年3月31日申请的、申请号为No.__________________(律师事务所案卷号为No.23465US03)的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,119的美国专利申请；
2011年3月31日申请的、申请号为No.__________________(律师事务所案卷号为No.23466US03)的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,297的美国专利申请；
2011年3月31日申请的、申请号为No.__________________(律师事务所案卷号为No.23467US03)的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,201的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,209的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,103的美国专利申请；
2011年3月31日申请的、申请号为No.___________________(律师事务所案卷号为No.23473US03)的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,083的美国专利申请；
2011年3月31日申请的、申请号为No.___________________(律师事务所案卷号为No.23474US03)的美国专利申请；
2011年2月3日申请的、申请号为No.61/439,301的美国专利申请；
2011年3月31日申请的、申请号为No.____________________(律师事务所案卷号为No.23475US03)的美国专利申请。
以上专利申请在此全文引用，以供参考。

Claims (10)

1.一种处理视频的方法，其特征在于，所述方法包括如下步骤：
在包括一个或多个深度传感器的单像三维视频生成装置中：
将捕获的二维视频图像数据存储为基础层；以及
将捕获的相应深度信息存储为增强层。
2.根据权利要求1所述的处理视频的方法，其特征在于，所述方法包括通过所述单像三维视频生成装置的一个或多个图像传感器捕获所述二维视频图像数据。
3.根据权利要求1所述的处理视频的方法，其特征在于，所述方法包括通过所述单像三维视频生成装置的一个或多个深度传感器捕获所述相应深度信息。
4.根据权利要求1所述的处理视频的方法，其特征在于，所述方法包括基于视频渲染设备的请求和/或视频渲染设备的性能和/或能力，确定是否传输所述增强层至所述视频渲染设备。
5.根据权利要求4所述的处理视频的方法，其特征在于，所述方法包括：
编码所述基础层；以及
基于所述确定传输所述增强层至所述视频渲染设备而对所述增强层进行编码。
6.根据权利要求5所述的处理视频的方法，其特征在于，所述方法包括传输所述编码的基础层和/或所述编码的增强层至所述视频渲染设备。
7.根据权利要求6所述的处理视频的方法，其特征在于，所述视频渲染设备确定是否利用所述传输的增强层。
8.根据权利要求7所述的处理视频的方法，其特征在于，所述视频渲染设备用于：
解码所述传输的基础层；以及
基于所述确定利用所述传输的增强层对所述传输的增强层进行解码。
9.根据权利要求8所述的处理视频的方法，其特征在于，所述视频渲染设备利用所述解码的基础层和所述解码的增强层生成三维视频，所述解码的基础层包含所述二维视频图像数据，所述解码的增强层包含所述相应深度信息。
10.一种处理视频的系统，其特征在于，所述系统包括：
在包含一个或多个深度传感器的单像三维视频生成装置内使用的一个或多个处理器和/或电路，其中所述一个或多个处理器和/或电路用于：
将捕获的二维视频图像数据存储为基础层；以及
将捕获的相应深度信息单独存储为增强层。
CN2012100238129A 2011-02-03 2012-02-03 一种处理视频的方法及系统 Pending CN102630026A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161439113P 2011-02-03 2011-02-03
US61/439,113 2011-02-03
US13/077,868 US8810565B2 (en) 2010-08-27 2011-03-31 Method and system for utilizing depth information as an enhancement layer
US13/077,868 2011-03-31

Publications (1)

Publication Number Publication Date
CN102630026A true CN102630026A (zh) 2012-08-08

Family

ID=45562091

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100238129A Pending CN102630026A (zh) 2011-02-03 2012-02-03 一种处理视频的方法及系统

Country Status (3)

Country Link
EP (1) EP2485494A1 (zh)
CN (1) CN102630026A (zh)
TW (1) TWI524730B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104601977A (zh) * 2013-10-31 2015-05-06 立普思股份有限公司 感测装置及其信号处理方法
CN105308966A (zh) * 2013-04-05 2016-02-03 三星电子株式会社 视频编码方法及其设备以及视频解码方法及其设备
CN109410263A (zh) * 2018-09-30 2019-03-01 Oppo广东移动通信有限公司 一种数据采集方法、装置及计算机存储介质
WO2021087819A1 (zh) * 2019-11-06 2021-05-14 Oppo广东移动通信有限公司 信息处理方法、终端设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2507731B (en) * 2012-11-07 2015-08-12 Nds Ltd A system and method for providing a private mosaic

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101015191A (zh) * 2004-07-09 2007-08-08 高通股份有限公司 用于对内容进行分层以在数据网络中进行调度传送的系统
CN101459857A (zh) * 2007-12-10 2009-06-17 深圳华为通信技术有限公司 通信终端和信息系统
WO2009152769A1 (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及系统
CN101616322A (zh) * 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101015191A (zh) * 2004-07-09 2007-08-08 高通股份有限公司 用于对内容进行分层以在数据网络中进行调度传送的系统
CN101459857A (zh) * 2007-12-10 2009-06-17 深圳华为通信技术有限公司 通信终端和信息系统
WO2009152769A1 (zh) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 视频通讯方法、装置及系统
CN101616322A (zh) * 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEIKO SCHWARZ, DETLEV MARPE等: "《Overview of the Scalable Video Coding》", 《IEEE》, 1 September 2007 (2007-09-01) *
MARC OP DE BEECK*A, PIOTR WILINSKIA等: "《Towards an optimized 3D broadcast chain》", 《PROCEEDINGS OF SPIE》, 1 January 2002 (2002-01-01) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105308966A (zh) * 2013-04-05 2016-02-03 三星电子株式会社 视频编码方法及其设备以及视频解码方法及其设备
CN105308966B (zh) * 2013-04-05 2019-01-04 三星电子株式会社 视频编码方法及其设备以及视频解码方法及其设备
US10728565B2 (en) 2013-04-05 2020-07-28 Samsung Electronics Co., Ltd. Video encoding method and apparatus thereof and a video decoding method and apparatus thereof
CN104601977A (zh) * 2013-10-31 2015-05-06 立普思股份有限公司 感测装置及其信号处理方法
CN109410263A (zh) * 2018-09-30 2019-03-01 Oppo广东移动通信有限公司 一种数据采集方法、装置及计算机存储介质
WO2021087819A1 (zh) * 2019-11-06 2021-05-14 Oppo广东移动通信有限公司 信息处理方法、终端设备及存储介质
CN114391259A (zh) * 2019-11-06 2022-04-22 Oppo广东移动通信有限公司 信息处理方法、终端设备及存储介质
CN114391259B (zh) * 2019-11-06 2024-05-31 Oppo广东移动通信有限公司 信息处理方法、终端设备及存储介质

Also Published As

Publication number Publication date
TW201249175A (en) 2012-12-01
EP2485494A1 (en) 2012-08-08
TWI524730B (zh) 2016-03-01

Similar Documents

Publication Publication Date Title
CN102939763B (zh) 计算三维图像的视差
US8810565B2 (en) Method and system for utilizing depth information as an enhancement layer
CN110786016B (zh) 音频驱动的视区选择
US20120050478A1 (en) Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
US8994792B2 (en) Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US20120054575A1 (en) Method and system for error protection of 3d video
CN1981522A (zh) 立体电视信号处理方法、传输系统与观众增强
WO2018001208A1 (zh) 编解码的方法及设备
KR101245214B1 (ko) 단안 카메라를 이용하여 3-차원 비디오를 생성하는 방법 및 시스템
CN110121065B (zh) 空间排序视频编码应用中的多向图像处理
CN117041554A (zh) 使用插值滤波器进行帧内预测的方法和装置
CN102630026A (zh) 一种处理视频的方法及系统
US20230012751A1 (en) Image encoding/decoding method and apparatus based on wrap-around motion compensation, and recording medium storing bitstream
US20120050477A1 (en) Method and System for Utilizing Depth Information for Providing Security Monitoring
US20120050495A1 (en) Method and system for multi-view 3d video rendering
CN102630025B (zh) 一种处理信号的方法及系统
CN112243585B (zh) 调整平面源图像中的样本块的量化参数qp值的方法和编码设备
CN110876061B (zh) 色度块预测方法及装置
CN102630031A (zh) 一种用于处理视频的方法和系统
WO2019008233A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
KR101303719B1 (ko) 깊이 정보를 강화 계층으로 이용하기 위한 방법 및 시스템
RU2628198C1 (ru) Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения
CN104838655A (zh) 编码设备和编码方法、及解码设备和解码方法
KR20200111645A (ko) 3차원 와핑을 이용한 레지듀얼 영상의 패킹 및 언패킹 방법
KR101419419B1 (ko) 모노스코픽 2ｄ 비디오 및 대응하는 깊이 정보로부터 3ｄ 비디오를 생성하기 위한 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1167970

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120808

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1167970

Country of ref document: HK