CN102724520A - 视频处理方法和系统 - Google Patents

Abstract

本发明公开了一种视频处理方法和系统。其中，该系统包括：视频终端，用于生成或保存立体视频信息；第一处理系统，用于接收并处理立体视频信息，以获取二维视频信号和三维辅助信息；第二处理系统，用于对接收到的二维视频信号和/或三维辅助信息进行解码，以获取预定视频信息；显示终端，用于显示预定的视频信息。通过本发明，一方面比较方便的实现三维信号到二维信号的转换，同时显示时易于二维图像显示和三维图像显示的兼容；另一方面，可降低立体视频信号信道传输过程中对信道带宽的需求，节省宝贵的频道资源，从而提高立体视频信号传输效率，降低传输成本。

Description

视频处理方法和系统

技术领域

本发明涉及电器领域，具体而言，涉及一种视频处理方法和系统。

背景技术

三维立体感是人眼视觉的重要功能之一，人双眼的平均瞳距约为65mm，当两眼从稍微不同的两个角度去观察客观三维世界的景物时，与观察者不同距离的景物由于光学投影的原因会在左、右两眼视网膜上形成不同的位置的像，这种两双眼视差反映了客观景物的深度。人眼的深度感即立体感就是因为有了这个视差，再经大脑加工而形成的。现有的三维视频技术正是基于上述原理，通过技术手段还原人们对客观景物的深度感知从而达到三维立体的效果。

传统立体视频编码系统通过模拟人双眼的功能获取视频的立体效果视频。具体来讲，将两部摄像机摆放到稍有差异的位置进行拍摄，两部摄像机获取的视频信息经过正交化，色彩纠正等处理步骤后，视频信号直接由三维视频系统播放。

目前，现有立体信号传输系统的信号采集、编码、解码及传输，基本上传输了较为完整的左、右眼立体信号。在立体视频信号解码、处理及显示系统中，都是基于先识别立体信号格式中的头文件信息，来确认所接收的文件信息是二维图像信号还是三维立体视频信号，如果是三维立体视频信号，再识别立体信号的格式、分辨率等信息，完成三维立体视频信号的解码，并将解码后的三维立体信号内容送至显示单元，显示单元根据不同的格式内容完成立体信号的显示。基于以上架构的三维视频传输系统，存在缺点是：三维立体视频信息量大，对信号传输带宽要求高，传输效率低、系统成本较高；另外，二维显示和三维显示系统兼容性较差。

而且由于现有技术是通过识别头文件信息，即识别视频头文件来确定视频信号，因此在视频头文件损坏或者头文件信息不完整的情况下，会导致无法正确或完整的完成立体信号的解码、处理及显示，同时，在解码的过程中，只通过简单头文件的识别，如何让三维信号比较容易的转换成二维的视频图像信号显示，也将是一个难题。

针对上述现有技术的立体视频信号的处理过程中，由于三维图像信号的信息量大，导致传输通道成本高、传输效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种视频处理方法和系统，以解决现有技术的立体视频信号的处理过程中，由于三维图像信号的信息量大，导致传输通道成本高、传输效率低的问题。

为了实现上述目的，根据本发明的一方面，提供了一种视频处理系统。

根据本发明视频处理系统的包括：视频终端，用于生成或保存立体视频信息；第一处理系统，用于接收并处理立体视频信息，以获取二维视频信号和三维辅助信息；第二处理系统，用于对接收到的二维视频信号和/或三维辅助信息进行解码，以获取预定视频信息；显示终端，用于显示预定的视频信息。

为了实现上述目的，根据本发明的另一个方面，提供了一种视频处理方法。

根据本发明的视频处理方法包括：第一处理系统接收并处理立体视频信息，以获取二维视频信号和三维辅助信息；第二处理系统对接收到的二维视频信号和/或三维辅助信息进行解码，以获取预定视频信息；显示预定视频信息。

通过本发明，采用视频终端，用于生成或保存立体视频信息；第一处理系统，用于接收并处理立体视频信息，以获取二维视频信号和三维辅助信息；第二处理系统，用于对接收到的二维视频信号和/或三维辅助信息进行解码，以获取预定视频信息；显示终端，用于显示预定的视频信息，解决了现有技术的立体视频信号的处理过程中，由于三维图像信号的信息量大，导致传输通道成本高、传输效率低的问题，达到了有效降低立体视频信号对信道带宽的需求，节省宝贵的频道资源，从而提高立体视频信号传输效率，降低传输成本的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频处理系统的功能结构示意图；

图2是根据本发明实施例的视频处理系统中编解码单元的结构示意图；

图3是根据本发明实施例的视频处理系统中图像还原的功能示意图；以及

图4是根据本发明实施例的视频处理方法的流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明提供了一种视频处理系统。图1是根据本发明实施例的视频处理系统的功能结构示意图；图2是根据本发明实施例的视频处理系统中编解码单元的结构示意图；图3是根据本发明实施例的视频处理系统中图像还原的功能示意图。

如图1所示，该视频处理系统包括：视频终端1，用于生成或保存立体视频信息；第一处理系统2，用于接收并处理立体视频信息，以获取二维视频信号和三维辅助信息；第二处理系统3，用于对接收到的二维视频信号和/或三维辅助信息进行解码，以获取预定的视频信息；显示终端4，用于显示预定视频信息。

原有的立体视频信息分为一副(帧)完整的二维左眼信息和一副(帧)完整的右眼信息及辅助信息，本发明上述实例通过第一处理系统2将立体视频信息进行处理，将原来的立体视频信息分离成可以显示二维图像的二维视频信号以及三维辅助信息，由于三维辅助信息是形成三维视频信号的基本信息，即一副(帧)完整的二维图像和一组三维视频辅助信息，从而释放了原始信号所需的信号带宽的信息，因此占用带宽较小，从而解决了现有技术的立体视频信号的处理过程中，由于三维图像信号的信息量大，导致传输通道成本高、传输效率低的问题，达到了有效降低立体视频信号对信道带宽的需求，节省宝贵的频道资源，从而提高立体视频信号传输效率，降低传输成本的效果。本发明的另一个优点就是，转换后的立体信息是一副完整的二维视频信息和三维辅助信息，于是二维视频信息不需要任何处理就直接用于二维图像设备的显示，改善了二维信息和三维信息显示的兼容性问题。

本发明上述实施例中的预定视频信息为二维视频信号和三维视频信号，其中，三维视频信号由二维视频信号和三维辅助信息构成。该实施例实现在立体视频信息的传输过程中，仅需要传输二维视频信号和三维辅助信息，接收端按照需要可以选择输出二维视频图像或者三维视频图像，如果需要输出三维视频图像的时候，仅需要将二维视频信号与三维辅助信息进行简单的组合处理就可以得到需要显示的三维视频图像，即满足了用户的输出需求也满足了传输通道的高效利用。

本发明上述实施例中的第一处理系统2是一个解码系统，如图2所示，该第一处理系统2可以包括：图像接收单元21，用于接收立体视频信息，立体视频信息包括图像数据和立体信息；图像转换单元22，用于将图像数据和立体信息进行转换，生成二维视频信号；三维信息重构单元23，用于根据图像数据对立体信息进行重构处理，以获取三维辅助信息。优选地，图像转换单元22和三维信息重构单元23可以集成在一个图像处理单元中。

具体的，该图像接收单元21是一个图像输入接收模块，可完成对初步输入信号的处理，可以得到对应的立体信息，该立体信息是图像接收单元21对立体信息单元输入的信号进行处理分析得到的信息。同时可以提供一个图像处理单元：表示把图像接收单元21接收到的立体视频及立体信息，通过该模块处理后完成信号的转换(三维视频信号到二维视频信号的转换)，以及按照需求重构损失的或者新增的立体信息。

上述方案中，通过图像接收单元21来接收并识别立体视频信息中的头文件信息，即识别视频头文件来确定视频信号，然后通过图像转换单元22来实现将二维图像从立体视频信息中剥离出来，生成二维视频信号，实现让三维信号比较容易的转换成二维的视频图像信号显示。同时，可以通过三维信息重构单元23将头文件中缺少或损坏的立体信息进行重构，该过程一方面实现了在视频头文件损坏的情况下，可以结合立体图像内容还原损坏的部分，另一方面也可以根据实际需求增加立体显示信号的一个基本元素，如视点信息、图像深度信息及厚度信息等，使得头文件信息按照需求更加完整，使得显示终端可以得到正确、完整的显示数据。

图像转换单元22将根据图像接收单元21输出的左右眼立体视频信息转换为完整的二维视频信息。具体来讲，如果据图像接收单元21处理后输出为左右格式立体视频信号，通常信号都经过水平压缩，各像素水平方向的高频信息有所丢失，通过图像转换单元22对像素所接收的像素进行预测、补偿、还原等算法处理，实现原始像素信息的复原，最终成长完整的二维立体视频信息图像。另外，类似其它立体视频信号格式输入，如行交错、点交错及上下立体视频信号格式，采用类似原理实现三维立体视频信号到二维视频信号的转换。

三维信息重构单元23将根据图像接收单元21所接收的立体视频输入的立体信号格式信息，如立体深度信息、视点信息、信号格式、分辨率等信息，同时结合图像转换单元22对前端输入立体信息的解析、预测，生成一组本系统(设备)所需要的三维信号基本辅助信息。

具体的，本发明实施例中的视频终端1(如DVD)，可以包括立体视频单元和立体信息单元，用于产生立体视频信息。其中，立体视频单元可以提供立体节目、内容，如左眼图像，右眼图像等数据，立体信息单元可以提供立体信号的基本控制信息，如立体信号格式-前后、左右、上下、行交错、点交错、视点信息、深度信息，同步信息等数据。显示终端4可以是电视机，可以将输出的二维图像或立体图像的相应处理、编码或显示处理。

本发明上述实施例中，第一处理系统2还可以包括二维图像处理单元24，该单元将图像处理单元处理后的二维视频信号，即二维图像做相应的视频优化及处理。

优选地，第一处理系统2还可以包括：三维辅助控制单元25，用于保存三维辅助信息，并将三维辅助信息进行编码，同时释放原始立体视频信息的信道带宽。该三维辅助信息为将三维信息重构单元23重构后得到的立体信息，三维辅助信息包括三维信号的基本信息，如同步信息、深度信息、厚度信息、摄像机的视点信息、三维信号格式等信息。

通过第一处理系统完成信号转换处理后，释放原始立体视频信号所需的信道总带宽。

本发明的处理系统还可以包括一个时序控制单元，该时序控制单元用于协调第一处理系统2中的各个硬件单元模块的指令控制，同时包括一些人机交互输入输出控制接口。

本发明的第二处理系统3是一个解码系统，用于将第一处理系统2处理后的二维视频信号和三维辅助信息进行解码、还原，得到显示终端4可以显示的视频信息。如图3所示，该第二处理系统3可以包括一个图像还原处理单元31，通过该图像还原处理单元31得到基于立体信息及图像的二维图像和立体信号控制指令(三维图像信息指令)，最终获得可以显示的二维图像和三维图像。

具体的，结合图2和图3可知，本发明中的第二处理单元3是一种立体信号解码单元，是立体信号编码单元的反操作，接收第一处理单元2(立体信号编码单元)输出的二维视频信号和立体图像控制信号，经过一系列的反操作，输出立体视频信号。

图像还原处理单元31完成对前级信号的解码、补偿等相应处理，生成二维影像及三维图像信息指令，如果显示二维图像，则还原分离后的二维影像直接输出即可；如需输出三维信号，则通过二维影像加上三维图像信息指令，通过三维模块即可完成对立体信号的生成。

本发明处理系统可以包括以下任意一种连接结构：视频终端、第一处理系统、第二处理系统以及显示终端为独立的设备；第一处理系统和/或第二处理系统内置在视频终端；第一处理系统和/或第二处理系统内置在显示终端。

本发明上述系统的结构应用范围较广，灵活性较高，适用于各种网络结构。例如，当视频终端为DVD设备，显示终端为本地近距离的电视机时，DVD设备可以通过本地近距离的有线设备或者局域网来传输二维视频信号和三维视频信号至电视机；当视频终端为远程的电视台，显示终端为距离较远的电视机时，电视台可以通过广域网的网络信道来远程传输二维视频信号和三维视频信号至电视机。而且，用于编码和解码的第一处理系统和第二处理系统可以根据产品及用户需求，或者具体应用环境的需求内置在视频终端或显示终端，提高了本发明的应用范围。

如图2和3所示，本发明实现了立体视频信号，即三维信号的重构、编码、及解码，可实现二维、三维显示的功能互相转换。

图4是根据本发明实施例的视频处理方法的流程图。如图4所示，该方法包括如下步骤：

步骤S102，通过图1中的第一处理系统2来接收并处理立体视频信息，以获取二维视频信号和三维辅助信息。

步骤S104，通过图2中的第二处理系统3对接收到的二维视频信号和/或三维辅助信息进行解码，以获取预定的视频信息。

步骤S106，显示预定视频信息。

本发明上述实施例通过第一处理系统2将立体视频信息进行处理，将原来的立体视频信息分离成可以显示二维图像的二维视频信号以及三维辅助信息，由于三维辅助信息是形成三维视频信号的基本信息，且三维辅助信息加(+)二维视频信号方式是释放了原始信号所需的信号带宽的信息，因此占用带宽较小，从而解决了现有技术的立体视频信号的处理过程中，由于三维图像信号的信息量大，导致传输通道成本高、传输效率低的问题，达到了有效降低立体视频信号对信道带宽的需求，节省宝贵的频道资源，从而提高立体视频信号传输效率，降低传输成本的效果。

优选的，第一处理系统接收并处理立体视频信息，以获取二维视频信号和三维辅助信息的步骤包括：接收立体视频信息，立体视频信息包括图像数据和立体信息；将图像数据和立体信息进行转换，生成二维视频信号；根据图像数据对立体信息进行重构处理，以获取三维辅助信息。

通过上述实施步骤可以实现立体视频信号＝二维视频信号+三维辅助信息(立体图像控制信号)的转换，这种转换方便了立体信号到二维视频信号的转换及显示，也容易的实现三维信号的显示，通过二维图像+立体信号基本辅助信息(如深度信息、色度信息、同步信息等相关立体控制信息)就很容易的实现三维信号的重建及显示。

优选的，在根据图像数据来重构立体信息，以获取三维辅助信息之前，方法还包括：判断立体信息是否符合需求，当不符合需求时，将重构立体信息，重构结果保存为三维辅助信息，否则，将立体信息直接保存为三维辅助信息。

上述实施例步骤实现，第一处理系统可以结合立体视频信号的头文件中立体信号的相关信息，同时结合立体图像内容，完成立体图像信息的重构，该重构信息可增加立体显示信号的一些基本元素，如视点信息、图像深度信息及厚度信息，再结合原有的三维信号的辅助信息，这样将生成一组比较完整的立体信号信息及控制信息，然后通过编码处理，形成一套自有的立体图像控制的基本信息，这样将有效的改善立体视频信号的信道质量，有效提高立体视频的稳健性。同时，三维信息重构单元将根据输入的立体信号内容，完成得到二维信号的重构。该实施例实现如果对三维信号有新的需求或者三维信号的头文件遭到了损坏，那么可以通过对三维立体图像信息的重构来完成三维信号的重建和显示。

优选的，预定的视频信息为二维视频信号和三维视频信号，其中，三维视频信号由二维视频信号和三维辅助信息构成。

优选的，在第一处理系统接收并处理立体视频信息，以获取二维视频信号和三维辅助信息之后，方法还包括：通过网络信道或有线设备来传输二维视频信号和三维视频信号至接收单元。该步骤实现本发明的立体视频信号处理方法可以使用在远程传输和本地传输的环境中。

综上可知，本发明对当前电视简单实现三维信号识别，根据相关头文件及相应三维信号格式、内容而实现三维信号的显示，可以通过对输入三维信号进行识别、解析，来完成三维信号到二维信号的转换，同时结合对原有立体信号的内容、相关性及原有立体指令信息，生成本系统的三维辅助信息，完成三维控制信号的重建，方便的实现二维、三维信号的显示。

从以上的实施例描述中，可以看出，本发明实现了如下技术效果：通过对信号内容及控制信息解析，可相互完成二维到三维信号之间的编解码，即比较方便的实现三维信号到二维信号的转换，同时显示时易于二维显示和三维显示的兼容；另一方面，可降低立体视频信号信道传输过程中对信道带宽的需求，节省宝贵的频道资源，从而提高立体视频信号传输效率，降低传输成本。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成多个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种视频处理系统，其特征在于，包括：

视频终端，用于生成或保存立体视频信息；

第一处理系统，用于接收并处理所述立体视频信息，以获取二维视频信号和三维辅助信息；

第二处理系统，用于对接收到的所述二维视频信号和/或所述三维辅助信息进行解码，以获取预定视频信息；

显示终端，用于显示所述预定的视频信息。

2.根据权利要求1所述的系统，其特征在于，所述预定视频信息为所述二维视频信号和三维视频信号，其中，所述三维视频信号由所述二维视频信号和所述三维辅助信息构成。

3.根据权利要求2所述的系统，其特征在于，所述第一处理系统包括：

图像接收单元，用于接收所述立体视频信息，所述立体视频信息包括图像数据和立体信息；

图像转换单元，用于将所述图像数据和所述立体信息进行转换，生成所述二维视频信号；

三维信息重构单元，用于根据所述图像数据对所述立体信息进行重构处理，以获取所述三维辅助信息。

4.根据权利要求3所述的系统，其特征在于，所述图像转换单元和所述三维信息重构单元集成在一个图像处理单元中。

5.根据权利要求1-4中任一项所述的系统，其特征在于，所述系统还包括：

二维图像处理单元，对所述二维视频信号进行优化处理；

三维辅助控制单元，用于保存所述三维辅助信息，并将所述三维辅助信息进行编码，同时释放原始立体视频信息的信道总带宽。

6.根据权利要求1所述的系统，其特征在于，所述系统包括以下任意一种连接结构：

所述视频终端、所述第一处理系统、所述第二处理系统以及所述显示终端为独立的设备；

所述第一处理系统和/或所述第二处理系统内置在所述视频终端；

所述第一处理系统和/或所述第二处理系统内置在所述显示终端。

7.一种视频处理方法，其特征在于，包括：

第一处理系统接收并处理立体视频信息，以获取二维视频信号和三维辅助信息；

第二处理系统对接收到的所述二维视频信号和/或所述三维辅助信息进行解码，以获取预定视频信息；

显示所述预定视频信息。

8.根据权利要求7所述的方法，其特征在于，第一处理系统接收并处理立体视频信息，以获取二维视频信号和三维辅助信息的步骤包括：

接收所述立体视频信息，所述立体视频信息包括图像数据和立体信息；

将所述图像数据和所述立体信息进行转换，生成所述二维视频信号；

根据所述图像数据对所述立体信息进行重构处理，以获取所述三维辅助信息。

9.根据权利要求7或8所述的方法，其特征在于，在根据所述图像数据来重构所述立体信息，以获取所述三维辅助信息之前，所述方法还包括：

判断所述立体信息是否符合需求，当不符合需求时，将重构所述立体信息，重构结果保存为所述三维辅助信息，否则，将所述立体信息直接保存为所述三维辅助信息。

10.根据权利要求7或8所述的方法，其特征在于，所述预定的视频信息为所述二维视频信号和三维视频信号，其中，所述三维视频信号由所述二维视频信号和所述三维辅助信息构成。

Images