CN102630025A - 一种处理信号的方法及系统 - Google Patents

一种处理信号的方法及系统 Download PDF

Info

Publication number
CN102630025A
CN102630025A CN2012100231539A CN201210023153A CN102630025A CN 102630025 A CN102630025 A CN 102630025A CN 2012100231539 A CN2012100231539 A CN 2012100231539A CN 201210023153 A CN201210023153 A CN 201210023153A CN 102630025 A CN102630025 A CN 102630025A
Authority
CN
China
Prior art keywords
video
catching
depth information
dimensional video
respective depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100231539A
Other languages
English (en)
Other versions
CN102630025B (zh
Inventor
陈雪敏
纳拜·塞亚爵
吉汉·卡若古
克里斯·伯乐斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avago Technologies General IP Singapore Pte Ltd
Original Assignee
Zyray Wireless Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/077,912 external-priority patent/US8994792B2/en
Application filed by Zyray Wireless Inc filed Critical Zyray Wireless Inc
Publication of CN102630025A publication Critical patent/CN102630025A/zh
Application granted granted Critical
Publication of CN102630025B publication Critical patent/CN102630025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种处理信号的方法及系统。单像视频传感设备的图像传感器和深度传感器用于捕获2D视频和相应深度信息。基于捕获的相应深度信息选择捕获的2D视频的感兴趣区域(ROI)。单像视频传感设备基于选择的ROI选择性处理捕获的2D视频和捕获的相应深度信息。从处理的2D视频合成用于显示的3D视频。将与捕获的2D视频同步的捕获的深度信息存储为元数据，并且可对其进行插补以匹配捕获的2D视频的视频分辨率。捕获的2D视频和捕获的相应深度信息通过可伸缩视频编码得以增强。随着3D视频渲染，基于选择的ROI选择捕获的2D视频的相关图像/视频分量，从而连同相应深度信息合成3D视频。

Description

一种处理信号的方法及系统
技术领域
本发明涉及视频处理。更具体地，本发明涉及从单像(monoscopic)2D视频和相应深度信息创建3D视频的方法及系统。
背景技术
数字视频功能可纳入很多设备中，例如，数字电视、数字直播系统、数字录音设备及类似设备。较之于常规的模拟视频系统，在处理和传输视频序列方面数字视频设备可提供带宽效率增加的显著改进。
可以二维(2D)格式或三维(3D)格式记录视频内容。在各种应用中，例如，DVD电影和数字电视，由于其对观众而言比2D副本更真实，3D视频通常是有吸引力的。3D视频包括左视图视频和右视图视频。3D视频帧可由分别组合左视图视频分量和右视图视频分量的方式产生。
比较本发明后续将要结合附图介绍的系统，现有技术的其它局限性和弊端对于本领域的技术人员来说是显而易见的。
发明内容
本发明提供一种从单像2D视频和相应深度信息创建3D视频的系统和/或方法，并结合至少一幅附图进行展示和/或描述，且在权利要求中更加完整地阐明。
根据本发明的一个方面，提供一种处理信号的方法，所述方法包括：
通过单像视频传感设备的一个或多个图像传感器捕获二维视频；
通过所述单像视频传感设备的深度传感器捕获所述捕获的二维视频的相应深度信息；
基于所述捕获的相应深度信息选择所述捕获的二维视频的一个或多个感兴趣区域(regions of interest)；
基于所述选择的一个或多个感兴趣区域选择性地处理所述捕获的二维视频和所述捕获的相应深度信息；及
从所述处理的二维视频和所述处理的相应深度信息合成(compose)三维视频。
优选地，所述方法还包括使所述捕获的相应深度信息与所述捕获的二维视频同步。
优选地，所述方法还包括将所述同步的深度信息存储为所述捕获的二维视频的元数据。
优选地，所述方法还包括使所述存储的深度信息的分辨率与所述捕获的二维视频的视频分辨率相匹配。
优选地，所述方法还包括在各像素间和/或各视频帧间插补所述存储的深度信息以匹配所述捕获的二维视频的所述视频分辨率。
优选地，所述方法还包括分别将所述捕获的二维视频和所述存储的深度信息可伸缩视频编码为基础层视频和增强层视频。
优选地，所述方法还包括在所述可伸缩视频编码期间，基于所述选择的一个或多个感兴趣区域选择性地压缩所述捕获的二维视频和所述存储的深度信息。
优选地，所述方法还包括，解压缩所述压缩的二维视频和所述压缩的深度信息；及基于所述选择的一个或多个感兴趣区域，确定所述解压缩的二维视频的视频分量的相关性。
优选地，所述方法还包括基于所述确定的相关性，从所述解压缩的二维视频和所述解压缩的深度信息合成所述三维视频。
优选地，所述方法还包括渲染所述合成的三维视频。
根据本发明的一个方面，提供一种处理信号的系统，所述系统包括：
应用于单像视频传感设备的一个或多个处理器和/或电路，所述一个或多个处理器和/或电路包括一个或多个图像传感器和深度传感器，其中所述一个或多个处理器和/或电路用于：
通过所述一个或多个图像传感器捕获二维视频；
通过所述深度传感器捕获所述捕获的二维视频的相应深度信息；
基于所述捕获的相应深度信息选择所述捕获的二维视频的一个或多个感兴趣区域；
基于所述选择的一个或多个感兴趣区域选择性地处理所述捕获的二维视频和所述捕获的相应深度信息；及
从所述处理的二维视频和所述处理的相应深度信息合成三维视频。
优选地，所述一个或多个电路用于使所述捕获的相应深度信息与所述捕获的二维视频同步。
优选地，所述一个或多个电路用于将所述同步的深度信息存储为所述捕获的二维视频的元数据。
优选地，所述一个或多个电路用于使所述存储的深度信息的分辨率与所述捕获的二维视频的视频分辨率相匹配。
优选地，所述一个或多个电路用于在各像素间和/或各视频帧间插补所述存储的深度信息以匹配所述捕获的二维视频的所述视频分辨率。
优选地，所述一个或多个电路用于分别使所述捕获的二维视频和所述存储的深度信息可伸缩视频编码为基础层视频和增强层视频。
优选地，所述一个或多个电路用于在所述可伸缩视频编码期间，基于所述选择的一个或多个感兴趣区域选择性地压缩所述捕获的二维视频和所述存储的深度信息。
优选地，所述一个或多个电路用于解压缩所述压缩的二维视频和所述压缩的深度信息；及基于所述选择的一个或多个感兴趣区域，确定所述解压缩的二维视频的视频分量的相关性。
优选地，所述一个或多个电路用于基于所述确定的相关性，从所述解压缩的二维视频和所述解压缩的深度信息合成所述三维视频。
优选地，所述一个或多个电路用于渲染所述合成的三维视频。
本发明的这些及其它的一些优点、方面和新颖性连同实施例的具体实施方式，将会在下面的描述和图解中更全面的阐明。
附图说明
图1是依照本发明实施例的、用于从单像二维(2D)视频和相应深度信息创建三维(3D)视频的示例性视频通信系统的示意图；
图2是依照本发明实施例的、对单像2D视频和相应深度信息进行处理以产生3D视频的示意图；
图3是依照本发明实施例的、单像2D视频和相应深度信息的可伸缩视频编码的框图；
图4是依照本发明实施例的、可由单像摄像机实施的选择性压缩2D视频和相应深度信息的示例性步骤的流程图；
图5是依照本发明实施例的、可由单像摄像机实施的从2D视频和相应深度信息合成用于3D视频渲染的3D视频的示例性步骤的流程图。
具体实施方式
本发明的特定实施例涉及从单像2D视频和相应深度信息创建3D视频的方法及系统。在本发明的各个实施例中，单像传感设备的一个或多个图像传感器，例如单像摄像机(monoscopic video camera)，可捕获二维(2D)视频。单像摄像机的深度传感器可为捕获的2D视频捕获相应深度信息。基于捕获的相应深度信息，单像摄像机可用于选择捕获的2D视频的一个或多个感兴趣区域(ROI)。基于选择的ROI可选择性地处理捕获的2D视频和捕获的相应深度信息。例如，相比于较小兴趣的那些区域，单像摄像机可为选择的ROI指定或分配更多比特和/或内存。单像摄像机可从捕获的2D视频合成用于显示的3D视频。捕获的相应深度信息可与捕获的2D视频同步。同步的深度信息可作为捕获的2D视频的元数据存储。单像摄像机可在各像素间和/或各帧间插补存储的深度信息以匹配捕获的2D视频的视频分辨率。通过基于选择的ROI选择性实施的可伸缩编码可增强捕获的2D视频和捕获的相应深度信息。随着3D视频的渲染，可基于选择的ROI选择捕获的2D视频中的相关图像/视频分量。单像摄像机可利用选择的图像/视频分量和相应深度信息合成用于3D视频渲染和/或回放的3D视频。
图1是依照本发明实施例的、用于从单像二维(2D)视频和相应深度信息创建三维(3D)视频的示例性视频通信系统的示意图。参照图1，显示视频通信系统100。视频通信系统100包括单像摄像机110和3D视频渲染设备140。
单像摄像机110可包括处理器112、深度传感器114、一个或多个图像传感器116、控制单元118、镜头(lens)120、光学系统122、视频编码/解码器124、发射器126、光学取景器128、显示器130、存储器132、数字信号处理器(DSP)134、输入/输出模块136、音频编码/解码器137、扬声器138、和/或麦克风139。
处理器112可包括适当的逻辑、电路、接口、和/或代码，其用于管理和/或处理各种设备组件的操作，例如，深度传感器114、图像传感器116、和/或控制单元118的操作。处理器112可用于利用图像传感器116通过与镜头120对应的单视点捕获2D视频。处理器112可利用一个或多个图像传感器116收集亮度和/或色度信息。处理器112还可利用深度传感器114为捕获的2D视频捕获深度信息。处理器112可对捕获的2D视频执行各种视频处理，例如通过视频编码/解码器124的视频压缩/解压缩。由此产生的处理视频可通过光学取景器128和/或显示器130呈现或显示给用户。
深度传感器114可包括适当的逻辑、电路、接口、和/或代码，其用于检测红外光谱中的电磁(EM)波。深度传感器114可基于相应的红外EM波确定或检测目标的深度信息。例如，基于发射器126发射的和从目标反射回深度传感器114的红外EM波的渡越时间，深度传感器114可确定或捕获目标的深度信息。
图像传感器116可各自包括适当的逻辑、电路、接口、和/或代码，其用于检测镜头120聚焦的光信号。图像传感器116可将光信号转换为电信号以捕获亮度和/或色度信息。例如，每个图像传感器116可包括电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。
控制单元118可包括可使能用户与单像摄像机110进行交互的适当的逻辑、电路、接口、和/或代码。例如，控制单元可管理或控制录像和/或回放。
镜头120是可用于捕获或检测EM波的光学组件。捕获的EM波可通过图像传感器116上的光学系统122得到充分聚焦，从而形成或产生镜头120前场景的2D图像。
光学系统122可包括用于调节和对准通过镜头120接收的EM波的光学器件。光学系统122可分别把可见光谱中的EM波对准图像传感器、和把红外光谱中的EM波对准深度传感器114。例如，光学系统122包括一个或多个透镜、棱镜、亮度和/或颜色过滤器、和/或反射镜。
视频编码/解码器124可包括适当的逻辑、电路、接口、和/或代码，其可用于实现视频压缩和/或解压缩。视频编码/解码器124可使用各种视频压缩和/或解压缩算法进行视频编码，所述算法例如MPEG-2和/或其它视频格式中指定的视频编码算法。
发射器126可包括适当的逻辑、电路、接口、和/或代码，例如，其可用于产生和/或发射红外光谱中的电磁波。
光学取景器128可包括适当的逻辑、电路、接口、和/或代码，其可用于呈现和/或显示镜头120向用户投射的内容。换而言之，光学取景器128可使能用户看到镜头120“看到”的东西，即“帧内”(in frame)的东西。
显示器130可包括适当的逻辑、电路、接口、和/或代码，其可用于为用户显示图像/视频。显示器130可包括液晶显示器(LCD)、发光二极管(LED)显示器和/或其它可将通过单像摄像机110捕获的图像/视频显示给用户的显示技术。
存储器132可包括适当的逻辑、电路、接口、和/或代码，其可用于存储信息，例如，可由单像摄像机110利用的可执行指令和数据。所述可执行指令可包括各种视频压缩/解压缩算法，所述算法可用于通过视频编码/解码器124进行视频编码。所述数据可包括捕获的图像/视频和/或编码的视频。存储器132可包括RAM、ROM、低延迟非易失性存储器(例如闪存)和/或其它适当的电子数据存储器。
数字信号处理器(DSP)134可包括适当的逻辑、电路、接口、和/或代码，其可用于实现捕获的图像数据、捕获的深度信息、和/或捕获的音频数据的信号处理。
输入/输出(I/O)模块136可包括适当的逻辑、电路、接口、和/或代码，其可使能单像摄像机110依照一个或多个标准(例如USB、PCI-X、IEEE1394、HDMI、显示端口、和/或模拟音频和/或模拟视频标准)接口连接其它设备。例如，I/O模块136可用于从控制单元118发送和接收信号、输出视频到显示器130、从音频编码/解码器137向扬声器138输出音频、处理来自麦克风139的音频输入、从盒式磁带或闪存卡或其它与单像摄像机110连接的外部存储器读取和写入其中、和/或通过一个或多个用于传输和/或渲染的端口(例如IEEE1394端口、HDMI和/或USB端口)向外部输出音频和/或视频。
音频编码/解码器137可包括适当的逻辑、电路、接口、和/或代码，其可用于实现音频编码。音频编码/解码器137可用于使用各种音频压缩和/或解压缩算法进行音频编码，所述算法包括例如MPEG-2和/或其它音频格式中指定的音频压缩/解压缩算法。
3D视频渲染设备140可包括适当的逻辑、电路、接口、和/或代码，其可用于渲染由单像摄像机110捕获的图像/视频。3D视频渲染设备140可外部或内部连接单像摄像机110。3D视频渲染设备140可能适合于渲染来自单像摄像机110的3D视频输出。
尽管图1中示出的单像摄像机110支持从单像2D视频和相应深度信息创建3D视频，但本发明并不受限于此。在这一点上，在没有背离本发明的各种实施例的精神和范围的情况下，包括一个或多个图像传感器和一个或多个深度传感器的单像视频传感设备可用于从单像2D视频和相应深度信息创建3D视频。图像传感器可包括一个或多个光发射器和/或一个或多个光接收器。
在一示例性操作中，单像摄像机110可用于通过镜头120的单视点捕获2D视频。可通过深度传感器114捕获和/或收集与捕获的2D视频对应的深度信息。
在本发明的一示例性实施例中，检索的深度信息可与捕获的2D视频的亮度和/或颜色信息同步或相关、以形成或产生深度图像。深度图像可存储在存储器132中以作为捕获的2D视频的元数据。存储的深度图像可提供可由单像摄像机110将其用于视频渲染和/或回放的附加层信息。
在本发明的一示例性实施例中，可修改或调整捕获的2D视频的深度图像的分辨率，以匹配捕获的2D视频的相应图像的分辨率。在这一点上，单像摄像机110可对深度图像执行图像插补、以提供亮度和/或颜色信息的每个像素或像素组的深度信息。例如，当深度传感器114的分辨率小于图像传感器116的分辨率时，单像摄像机110可用于在捕获的2D视频的各像素间插补深度信息，从而产生或提供亮度和/或颜色信息的每个像素或像素组的深度信息。当深度传感器114的帧频小于图像传感器116的帧频时，单像摄像机110可用于在捕获的2D视频的各帧间插补深度信息，从而产生或提供亮度和/或颜色信息的每个帧的深度信息。
在本发明的一示例性实施例中，单像摄像机110可在2D或3D模式下进行操作。在2D模式下，单像摄像机110可通过光学取景器128和/或显示器130向用户呈现或显示捕获的2D视频。在3D模式下，单像摄像机110可从捕获的2D视频和相应深度图像形成或合成用于显示的3D视频。在这一点上，合成的3D视频可能是适合光学取景器128和/或显示器130的格式。
在本发明的一示例性实施例中，捕获的2D视频和相应深度信息可分别用作基础层视频和增强层视频。在这一点上，可基于增强层视频中的相应深度信息识别或选择捕获的2D视频(基础层视频)的感兴趣区域(ROI)。可通过可伸缩视频编码(SVC)来增强选择的以深度为基础的ROI的图像/视频分量和相应深度信息。基于选择的以深度为基础的ROI，单像摄像机110可用于选择性压缩捕获的2D视频的图像/视频分量和相应深度信息。例如，较之于较小兴趣的那些区域，可为选择的以深度为基础的ROI指定或分配更多比特和/或内存资源。单像摄像机110可能为较小兴趣区域逐渐分配或指定较少比特和/或内存。
在本发明的一示例性实施例中，基于选择的以深度为基础的ROI，单像摄像机110可用于从捕获的2D视频和相应深度信息合成3D视频。例如，选择的以深度为基础的ROI可分别提供关于图片前后深度信息的范围的信息。在这一点上，深度信息的范围可表明捕获的2D视频中的图像/视频分量与3D视频如何相关联。换而言之，选择的以深度为基础的ROI的深度信息可用于向3D视频的各个区域映射捕获的2D视频的图像/视频分量、或者使捕获的2D视频的图像/视频分量与3D视频的各个区域相关联。可对捕获的2D视频的相关图像/视频分量连同相应深度信息进行组合，从而形成或合成用于显示的3D视频。
图2是依照本发明实施例的对单像2D视频和相应深度信息进行处理以生成3D视频的示意图。参照图2，显示2D图像210、深度图像220和3D图像230。2D图像210可包括亮度和/或颜色信息。深度图像220可包括与2D图像210的亮度和/或颜色信息对应的深度信息。深度图像220中，较深区域表示目标远离用户，而较浅区域表明目标更接近用户。
在本发明的各个实施例中，深度图像220中的深度信息与2D图像210中的亮度和/或颜色信息相关或同步。深度图像220可作为2D图像210的元数据存储。在需要时，可调整或修改深度图像220的分辨率以匹配2D图像210的分辨率。可基于深度图像220中的深度信息选择ROI 201。由此产生的以深度为基础的ROI 210可用于选择性处理2D图像210和深度图像220。例如，对于2D图像210和深度图像220，更多比特可分配至或用于增强以深度为基础的ROI 201中的信息。3D图像230可从2D图像210和深度图像220形成或合成。以深度为基础的ROI 201可表明关于深度信息范围的信息，所述深度信息范围用来合成和/或渲染3D图像230。
图3是依照本发明实施例的、单像2D视频和相应深度信息的可伸缩视频编码的框图。参照图3，显示视频压缩单元300，所述视频压缩单元包括ROI检测器320、基础层视频编码器330a和增强层视频编码器330b。
视频压缩单元300可包括适当的逻辑、电路、接口、和/或代码，其可用于同时编码捕获的2D和捕获的相应深度信息。视频压缩单元300可分别将捕获的2D视频编码为基础层视频310a、和将捕获的相应深度信息编码为增强视频310b。
ROI检测器320可包括适当的逻辑、电路、接口、和/或代码，其可用于基于增强层视频310b的深度信息检测或选择一个或多个ROI。有关选择的ROI的信息可分别传送到基础层视频编码器330a和增强层视频编码器330b。
基础层视频编码器330a可包括适当的逻辑、电路、接口、和/或代码，其可用于对捕获的2D视频进行逐帧编码。基础层视频编码器330a可基于选择的ROI选择性地压缩捕获的2D视频。在这一点上，基础层视频编码器330a可指定或分配更多的处理资源(例如比特和/或内存)、以压缩选择的以深度为基础的ROI中的信息。根据应用，基础层视频编码器330a可为较小兴趣的区域逐渐分配较少比特和/或内存。基础层视频编码器330a可用于使用各种视频压缩算法(例如MPEG-2、MPEG-4、AVC、VC1、VP6、和/或其它视频格式中指定的压缩算法)形成捕获的2D视频的压缩或编码视频内容。基本视图(base view)编码的信息(例如场景信息)可传送到增强层视频编码器330b以用于增强层视频编码。当需要时，基础层视频编码器330a可输出或提供用于传输的基础层比特流。
增强层视频编码器330b可包括适当的逻辑、电路、接口、和/或代码，其可用于对捕获的2D视频的捕获的相应深度信息进行逐帧编码。增强层视频编码器330b可基于选择的ROI选择性地压缩捕获的相应深度信息。在这一点上，增强层视频编码器330b可分配较多比特和/或内存、以压缩选择的以深度为基础的ROI中的深度信息。根据应用，增强层视频编码器330b可为较小兴趣区域逐渐分配较少比特和/或内存。增强层视频编码器330b可用于使用各种视频压缩算法(例如MPEG-2、MPEG-4、AVC、VC1、VP6、和/或其它视频格式中指定的压缩算法)形成捕获的2D视频的深度信息的压缩或编码视频内容。当需要时，增强层视频编码器330b可输出或提供用于传输的增强层比特流。
尽管在图3中描述单个基础层视频编码器330a和单个增强层视频编码器330b分别用于处理捕获的2D视频和捕获的2D视频的捕获的相应深度信息，但本发明并不受限于此。因此，在没有背离本发明的各个实施例的精神和范围的情况下，除了基础层视频编码器330a以外，任何数量的增强视图视频编码器可用于处理捕获的2D视频。
在一示例性操作中，单像摄像机110可用于捕获2D视频和相应深度信息。捕获的2D视频和捕获的相应深度信息可作为基础层视频310a和增强层视频310b分别同时进行处理。基于捕获的相应深度信息可选择捕获的2D视频的一个或多个ROI。基于选择的ROI，基础层视频编码器330a和增强层视频编码器330b可分别选择性对捕获的2D视频和捕获的相应深度信息执行视频压缩。在这一点上，可为处理选择的ROI内的信息分配和/或指定更多处理资源(例如比特、功率和/或内存)。基础层视频编码器330a和增强层视频编码器330b可为编码较小兴趣区域内的信息逐渐分配较少的处理资源。可合并由此产生的基础层比特流和增强层比特流，当需要时将其用于传输。
图4是依照本发明实施例的、可由单像摄像机实施的选择性压缩2D视频和相应深度信息的示例性步骤的流程图。参照图4，示例性步骤可开始于步骤402，该步骤中，单像摄像机110通电并启用3D模式。在步骤404，单像摄像机110可利用图像传感器116捕获2D视频和利用深度传感器114为捕获的2D视频捕获相应深度信息。在步骤405，单像摄像机110可用于使捕获的深度信息的分辨率与捕获的2D视频的视频分辨率相匹配。例如，单像摄像机110可在各像素间和/或各帧间插补捕获的深度信息，从而提供捕获的2D视频中的每个像素或像素组的深度信息。在步骤406，基于相应深度信息，单像摄像机110可用于选择捕获的2D视频的每个图像中的一个或多个ROI。在步骤408，基于选择的ROI，单像摄像机110可用于对捕获的2D视频和捕获的相应深度信息进行选择性逐帧压缩。在这一点上，单像摄像机110可基于选择的ROI分配处理资源(例如比特、功率和/或内存)，从而压缩每个图像或帧中的信息。相比于较小兴趣的那些区域，更多比特、功率和/或内存分配到选择的ROI。此外，可逐渐减少分配到较小兴趣区域的处理资源以节能。在步骤409，压缩的2D视频和压缩的相应深度信息可存储到存储器132，当需要时将其用于传输。
图5是依照本发明实施例的、可由单像摄像机实施的从2D视频和相应深度信息合成用于3D视频渲染的3D视频的示例性步骤的流程图。参照图5，示例性步骤可开始于步骤502，该步骤中，单像摄像机110通电并启用3D模式。在步骤504，单像摄像机110的处理器112可接收压缩的2D视频、压缩的相应深度信息和/或ROI。
在步骤506，单像摄像机110可用于通过视频编码/解码器124、基于ROI对压缩的2D视频和压缩的相应深度信息进行逐帧解压缩。在步骤508，单像摄像机110可基于ROI识别或确定解压缩的2D视频中的图像/视频分量的相关性。例如，ROI中的深度信息可表明用于3D视频渲染的、选择的解压缩2D视频的图像/视频分量。在步骤510，选择的图像/视频分量连同相应深度信息可用于合成显示用的3D视频。在步骤512，单像摄像机110可向3D视频渲染设备140传送合成的3D视频以进行3D视频渲染。
本发明提供了从单像2D视频和相应深度信息创建3D视频的方法及系统的各个方面。在本发明的各个示例性实施例中，单像视频传感设备，例如单像摄像机110，用于利用图像传感器116捕获2D视频。单像摄像机110可利用深度传感器114为捕获的2D视频捕获相应深度信息。基于捕获的相应深度信息可选择或识别捕获的2D视频的一个或多个ROI。单像摄像机110可基于选择的ROI选择性处理捕获的2D视频和捕获的相应深度信息。例如，可为处理选择的ROI内的信息分配更多比特或内存。根据应用，单像摄像机110可用于从捕获的2D视频和捕获的相应深度信息合成或创建显示用的3D视频。在这一点上，单像摄像机110可使捕获的相应深度信息与捕获的2D视频同步。同步的相应深度信息可存储在存储器132中以作为捕获的2D视频的元数据。
存储的深度信息可提供用于视频渲染和/或回放的附加层信息。可调节或修改存储的深度信息的分辨率、以匹配捕获的2D视频的视频分辨率，以便提供捕获的2D视频中的每个像素或像素组的深度信息。捕获的2D视频和捕获的相应深度信息可通过可伸缩视频编码得以增强。在这一点上，捕获的2D视频和捕获的相应深度信息可分别编码成基础层视频和增强层视频。基于选择的ROI可分别通过基础层视频编码器330a和增强层视频编码器330b对捕获的2D视频和捕获的相应深度信息进行选择性压缩。在某些情况下，3D视频渲染是捕获的2D视频所需的。在这一点上，单像摄像机110可通过视频编码/解码器124对压缩的2D视频和压缩的相应深度信息进行解压缩。例如，可基于选择的ROI表明的深度信息范围确定或识别由此产生的解压缩2D视频中的图像/视频分量的相关性。单像摄像机110可用于组合识别的相关图像/视频分量，以从解压缩的2D视频和解压缩的相应深度信息合成或创建3D视频。可通过3D视频渲染设备140对由此产生的合成的3D视频进行渲染。
本发明的其他实施例提供一种机器和/或计算机可读存储器和/或介质，其上存储的机器代码和/或计算机程序具有至少一个可由机器和/或计算机执行的代码段，使得机器和/或计算机能够实现本文所描述的从单像2D视频和相应深度信息创建3D视频的步骤。
本发明可以通过硬件、软件，或者软、硬件结合来实现。本发明可以在至少一个计算机系统中以集中方式实现，或者由分布在几个互连的计算机系统中的不同部分以分散方式实现。任何可以实现所述方法的计算机系统或其它设备都是可适用的。常用软硬件的结合可以是安装有计算机程序的通用计算机系统，通过安装和执行所述程序控制计算机系统，使其按所述方法运行。
本发明还可以通过计算机程序产品进行实施，所述程序包含能够实现本发明方法的全部特征，当其安装到计算机系统中时，通过运行，可以实现本发明的方法。本申请文件中的计算机程序所指的是：可以采用任何程序语言、代码或符号编写的一组指令的任何表达式，该指令组使系统具有信息处理能力，以直接实现特定功能，或在进行下述一个或两个步骤之后，a)转换成其它语言、代码或符号；b)以不同的格式再现，实现特定功能。
本发明是通过几个具体实施例进行说明的，本领域技术人员应当理解，在不脱离本发明范围的情况下，还可以对本发明进行各种变换及等同替代。另外，针对特定情形或具体情况，可以对本发明做各种修改，而不脱离本发明的范围。因此，本发明不局限于所公开的具体实施例，而应当包括落入本发明权利要求范围内的全部实施方式。

Claims (10)

1.一种处理信号的方法，其特征在于，所述方法包括：
通过单像视频传感设备的一个或多个图像传感器捕获二维视频；
通过所述单像视频传感设备的深度传感器捕获所述捕获的二维视频的相应深度信息；
基于所述捕获的相应深度信息选择所述捕获的二维视频的一个或多个感兴趣区域；
基于所述选择的一个或多个感兴趣区域选择性地处理所述捕获的二维视频和所述捕获的相应深度信息；及
从所述处理的二维视频和所述处理的相应深度信息合成三维视频。
2.根据权利要求1所述的处理信号的方法，其特征在于，所述方法包括使所述捕获的相应深度信息与所述捕获的二维视频同步。
3.根据权利要求2所述的处理信号的方法，其特征在于，所述方法包括将所述同步的深度信息存储为所述捕获的二维视频的元数据。
4.根据权利要求3所述的处理信号的方法，其特征在于，所述方法包括使所述存储的深度信息的分辨率与所述捕获的二维视频的视频分辨率相匹配。
5.根据权利要求4所述的处理信号的方法，其特征在于，所述方法包括在各像素间和/或各视频帧间插补所述存储的深度信息以与所述捕获的二维视频的所述视频分辨率相匹配。
6.根据权利要求3所述的处理信号的方法，其特征在于，所述方法包括分别将所述捕获的二维视频和所述存储的深度信息可伸缩视频编码为基础层视频和增强层视频。
7.根据权利要求6所述的处理信号的方法，其特征在于，所述方法包括在所述可伸缩视频编码期间，基于所述选择的一个或多个感兴趣区域选择性地压缩所述捕获的二维视频和所述存储的深度信息。
8.根据权利要求7所述的处理信号的方法，其特征在于，所述方法包括解压缩所述压缩的二维视频和所述压缩的深度信息；及基于所述选择的一个或多个感兴趣区域，确定所述解压缩的二维视频的视频分量的相关性。
9.根据权利要求8所述的处理信号的方法，其特征在于，所述方法包括基于所述确定的相关性，从所述解压缩的二维视频和所述解压缩的深度信息合成所述三维视频。
10.一种处理信号的系统，其特征在于，所述系统包括：
应用于单像视频传感设备的一个或多个处理器和/或电路，所述一个或多个处理器和/或电路包括一个或多个图像传感器和深度传感器，其中所述一个或多个处理器和/或电路用于：
通过所述一个或多个图像传感器捕获二维视频；
通过所述深度传感器捕获所述捕获的二维视频的相应深度信息；
基于所述捕获的相应深度信息选择所述捕获的二维视频的一个或多个感兴趣区域；
基于所述选择的一个或多个感兴趣区域选择性地处理所述捕获的二维视频和所述捕获的相应深度信息；及
从所述处理的二维视频和所述处理的相应深度信息合成三维视频。
CN201210023153.9A 2011-02-03 2012-02-02 一种处理信号的方法及系统 Active CN102630025B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161439274P 2011-02-03 2011-02-03
US61/439,274 2011-02-03
US13/077,912 US8994792B2 (en) 2010-08-27 2011-03-31 Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US13/077,912 2011-03-31

Publications (2)

Publication Number Publication Date
CN102630025A true CN102630025A (zh) 2012-08-08
CN102630025B CN102630025B (zh) 2015-10-28

Family

ID=45562089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210023153.9A Active CN102630025B (zh) 2011-02-03 2012-02-02 一种处理信号的方法及系统

Country Status (4)

Country Link
EP (1) EP2485495A3 (zh)
CN (1) CN102630025B (zh)
HK (1) HK1167968A1 (zh)
TW (1) TWI526044B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109690557B (zh) 2016-09-06 2023-06-13 苹果公司 基于景深估计的图像调节
US11618438B2 (en) * 2018-03-26 2023-04-04 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095599A1 (en) * 2001-11-17 2003-05-22 Lg Electronics Inc. Object-based bit rate control method and system thereof
CN101330631A (zh) * 2008-07-18 2008-12-24 浙江大学 一种立体电视系统中深度图像的编码方法
CN101459857A (zh) * 2007-12-10 2009-06-17 深圳华为通信技术有限公司 通信终端和信息系统
CN101651772A (zh) * 2009-09-11 2010-02-17 宁波大学 一种基于视觉注意的视频感兴趣区域的提取方法
CN101771892A (zh) * 2008-12-26 2010-07-07 三星电子株式会社 图像处理方法和设备
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9973739B2 (en) * 2008-10-17 2018-05-15 Nokia Technologies Oy Sharing of motion vector in 3D video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095599A1 (en) * 2001-11-17 2003-05-22 Lg Electronics Inc. Object-based bit rate control method and system thereof
CN101459857A (zh) * 2007-12-10 2009-06-17 深圳华为通信技术有限公司 通信终端和信息系统
CN101330631A (zh) * 2008-07-18 2008-12-24 浙江大学 一种立体电视系统中深度图像的编码方法
CN101771892A (zh) * 2008-12-26 2010-07-07 三星电子株式会社 图像处理方法和设备
CN101651772A (zh) * 2009-09-11 2010-02-17 宁波大学 一种基于视觉注意的视频感兴趣区域的提取方法
CN101883291A (zh) * 2010-06-29 2010-11-10 上海大学 感兴趣区域增强的视点绘制方法

Also Published As

Publication number Publication date
TW201301865A (zh) 2013-01-01
EP2485495A2 (en) 2012-08-08
CN102630025B (zh) 2015-10-28
TWI526044B (zh) 2016-03-11
HK1167968A1 (zh) 2012-12-14
EP2485495A3 (en) 2013-08-28

Similar Documents

Publication Publication Date Title
KR102650850B1 (ko) 영상 음향 처리 장치 및 방법, 및 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체
US8994792B2 (en) Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
EP2619761B1 (en) Enriching digital photographs
JP5241500B2 (ja) カメラパラメータを利用した多視点動画符号化及び復号化装置並びに方法と、これを行うためのプログラムの記録された記録媒体
US8810565B2 (en) Method and system for utilizing depth information as an enhancement layer
US20120050478A1 (en) Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
US20120050494A1 (en) Method and system for creating a view-angle dependent 2d and/or 3d image/video utilizing a monoscopic video camera array
RU2513912C2 (ru) Устройство и способ обработки изображений
US8615140B2 (en) Compression of image data in accordance with depth information of pixels
JP2008193530A (ja) 画像記録装置、画像記録方法、及びプログラム
JP2017076409A5 (zh)
US20120050480A1 (en) Method and system for generating three-dimensional video utilizing a monoscopic camera
US20120050495A1 (en) Method and system for multi-view 3d video rendering
CN101959042A (zh) 移动图像记录方法和装置、移动图像编码方法和移动图像编码器
US20120050477A1 (en) Method and System for Utilizing Depth Information for Providing Security Monitoring
MX2014008979A (es) Dispositivo de codificacion y metodo de codificacion, y dispositivo de codificacion y metodo de decodificacion.
CN102630026A (zh) 一种处理视频的方法及系统
JP2015019326A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
CN102630025A (zh) 一种处理信号的方法及系统
JP2013211776A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
JP2019075638A (ja) 画像処理装置
JP4375662B2 (ja) 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置
JP4164268B2 (ja) 符号化装置、符号化方法、プログラム、記憶媒体
KR101419419B1 (ko) 모노스코픽 2ｄ 비디오 및 대응하는 깊이 정보로부터 3ｄ 비디오를 생성하기 위한 방법 및 시스템
US20240114147A1 (en) Systems, methods and bitstream structure for hybrid feature video bitstream and decoder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1167968

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1167968

Country of ref document: HK

TR01 Transfer of patent right

Effective date of registration: 20170308

Address after: Singapore Singapore

Patentee after: Avago Technologies Fiber IP Singapore Pte. Ltd.

Address before: 16215 Alton Park Road, Irvine, California, 92618-7013

Patentee before: Zyray Wireless Inc.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20181019

Address after: Singapore Singapore

Patentee after: Annwa high tech Limited by Share Ltd

Address before: Singapore Singapore

Patentee before: Avago Technologies Fiber IP Singapore Pte. Ltd.

TR01 Transfer of patent right