CN102843566A - 一种3d视频数据的通讯方法和设备 - Google Patents
一种3d视频数据的通讯方法和设备 Download PDFInfo
- Publication number
- CN102843566A CN102843566A CN2012103517627A CN201210351762A CN102843566A CN 102843566 A CN102843566 A CN 102843566A CN 2012103517627 A CN2012103517627 A CN 2012103517627A CN 201210351762 A CN201210351762 A CN 201210351762A CN 102843566 A CN102843566 A CN 102843566A
- Authority
- CN
- China
- Prior art keywords
- point image
- visual point
- image frame
- data
- diagram picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种3D视频数据的通讯方法和设备，能够实现3D视频数据的实时传输，并保证通讯双方得到较佳的3D视频效果。本发明实施例提供的一种3D视频数据的通讯方法包括：利用采集到的左视点图像帧数据和右视点图像帧数据生成传输图像帧；按照预定编码格式对所述传输图像帧进行压缩；根据压缩后的传输图像帧生成传输数据包；利用即时通信平台逐帧将所述传输数据包实时传输至对端。
Description
技术领域
本发明涉及通讯技术领域，特别涉及一种3D视频数据的通讯方法和设备。
背景技术
3D(Three Dimensions，三维)视频技术是未来多媒体技术的发展方向，它是一种能够提供立体感的新型视频技术。与2D视频相比，3D视频数据一般包含两个视点的视频数据，如左视点视频数据和右视点视频数据，随着3D视频录制及播放技术的成熟以及3D设备的普及，3D视频数据的实时通讯需求也日益增加。然而，目前的网络中通常仅能支持2D视频数据的实时通讯，现有技术中还没有提出有效的3D视频数据的实时传输方案。
发明内容
本发明提供了一种3D视频数据的通讯方法和设备，能够有效的解决3D视频数据实时传输问题。
为达到上述目的，本发明实施例采用了如下技术方案：
本发明实施例提供了一种3D视频数据的通讯方法，所述方法包括：
利用采集到的左视点图像帧数据和右视点图像帧数据生成传输图像帧；
按照预定编码格式对所述传输图像帧进行压缩；
根据压缩后的传输图像帧生成传输数据包；
利用即时通信平台逐帧将所述传输数据包实时传输至对端。
本发明实施例还提供了一种3D视频数据的通讯方法，所述方法包括：
利用即时通信平台实时接收对端逐帧发送的传输数据包；
按照与对端相应的解码格式对所述传输数据包进行解压缩；
根据解压缩后的传输数据包得到传输图像帧；
根据所述传输图像帧得到相应的左视点图像帧数据和右视点图像帧数据。
本发明实施例还提供了一种3D视频数据的通讯设备，所述通讯设备包括发送装置，所述发送装置包括：
传输图像帧生成单元，用于利用采集到的左视点图像帧和右视点图像帧数据生成传输图像帧；
压缩单元，用于按照预定编码格式对所述传输图像帧进行压缩；
生成单元，用于根据压缩后的传输图像帧生成传输数据包；
实时发送单元，用于利用即时通信平台逐帧将所述传输数据包实时传输至对端。
本发明实施例提供了另一种3D视频数据的通讯设备包括接收装置，所述接收装置包括：
实时接收单元，用于利用即时通信平台实时接收对端逐帧发送的传输数据包；
解压缩单元，用于按照与对端相应的解码格式对所述传输数据包进行解压缩；
传输图像帧获得单元，用于根据解压缩后的传输数据包得到传输图像帧；
图像帧数据得到单元，用于根据所述传输图像帧得到相应的左视点图像帧数据和右视点图像帧数据。
本发明实施例的有益效果是：
由上所述，本发明实施例的技术方案利用3D视频特点，通过在发送端由采集的左视点图像帧数据和右视点图像帧数据生成2D的传输图像帧、压缩传输图像帧并生成传输数据包，利用即时通信平台将传输数据包实时传输至接收端，然后，在接收端由实时接收的传输数据包得到2D的传输图像帧，根据传输图像帧还原得到3D视频的左视点图像帧数据和右视点图像帧数据的技术手段，提供了一种有效的3D视频数据的实时传输方案，能够保证通讯双方得到较佳的3D视频效果。
附图说明
图1为本发明实施例提供的一种3D视频数据的通讯方法流程图；
图2为本发明实施例提供的另一种3D视频数据的通讯方法流程图；
图3为本发明实施例提供的一种3D视频数据的通讯方法流程图；
图4为本发明实施例提供的SkypeKit的结构示意图；
图5为本发明实施例提供的按照并排格式的播放视频图像的原理图；
图6为本发明实施例提供的又一种3D视频数据的通讯方法流程图；
图7为本发明实施例提供的一种3D视频数据的通讯方法原理框图；
图8为本发明实施例提供的一种3D视频数据的通讯设备结构示意图；
图9为本发明实施例提供的又一种3D视频数据的通讯设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供的一种3D视频数据的通讯方法，参见图1，该方法包括：
11：利用采集到的左视点图像帧数据和右视点图像帧数据生成传输图像帧；
12：按照预定编码格式对所述传输图像帧进行压缩；
13：根据压缩后的传输图像帧生成传输数据包；
14：利用即时通信平台逐帧将所述传输数据包实时传输至对端。
上述步骤11至14可以由发送端设备中的发送装置实现。
进一步的，本实施例中上述即时通信平台可以由开源开发工具Skypekit所设置的即时通信平台（如Skypekit应用平台）实现。SkypeKit是面向开发者的针对各种类型设备的开发工具。SkypeKit允许Skype呼叫、短消息、视频聊天以及其他功能，基于SkypeKit所设置的Skype应用平台能够很容易地被整合到消费电子设备及计算机中。
SkypeKit支持Linux、Windows和Mac多种操作系统，并且最新的SkypeKit已经能够支持手机操作系统，比如iOS操作系统和Android（安卓）操作系统。Skype应用平台能够安装在具有摄像头和屏幕、能够连接到互联网的电视、数字相框以及其他消费电子设备，并且，在iPhone和Android等智能手机上也已经有了官方的Skype应用程序。考虑到SkypeKit的开源特性以及Skypekit应用平台的上述优点，本实施例在步骤13中选取Skypekit应用平台作为实时传输3D视频的即时通信工具。
由上所述，本发明实施例的技术方案利用3D视频特点，通过在发送端由采集的左视点图像帧和右视点图像帧数据生成2D的传输图像帧、压缩传输图像帧并生成传输数据包，利用即时通信平台将传输数据包实时传输至接收端，保证了在接收端能够由实时接收的传输数据包得到2D的传输图像帧，根据传输图像帧还原得到3D视频的左视点图像帧数据和右视点图像帧数据。从而提供了一种有效的3D视频数据的实时传输方案，能够保证通讯双方得到较佳的3D视频效果。
本发明实施例提供的另一种3D视频数据的通讯方法，参见图2，该方法包括：
21：利用即时通信平台实时接收对端逐帧发送的传输数据包；
22：按照与对端相应的解码格式对所述传输数据包进行解压缩；
23：根据解压缩后的传输数据包得到传输图像帧；
24：根据所述传输图像帧得到相应的左视点图像帧数据和右视点图像帧数据。
上述步骤21至24可以由接收端设备中的接收装置实现。
进一步的，本实施例中上述即时通信平台可以由开源开发工具Skypekit所设置的即时通信平台（如Skypekit应用平台）实现。
由上所述，本发明实施例的技术方案通过在接收端由实时接收的传输数据包得到2D的传输图像帧，根据传输图像帧还原得到3D视频的左视点图像帧数据和右视点图像帧数据的技术手段，保证了发送端和接收端的实时通讯，从而提供了一种有效的3D视频数据的实时传输方案，能够保证通讯双方得到较佳的3D视频效果。
结合图3中的具体场景，对本发明实施例所提供的3D视频数据的通讯方法进行说明，具体包括如下处理：
步骤1：利用3D摄像头采集左视点和右视点两路原始图像帧数据，本实施例中摄像头的视频采集帧率可以为60帧/秒或者50帧/秒，并采用720P的标准。
720P是美国电影电视工程师协会制定的高等级高清数字电视的格式标准，有效显示格式为：1280×720像素。美国电影电视工程协会将数字高清信号数字电视扫描线的不同分为1080P、1080i、720P(i是interlace,隔行的意思，P是Progressive,逐行的意思)。720P是一种在逐行扫描下达到1280×720的分辨率的显示格式，其体现了数字电影成像技术和计算机技术的融合。
在1280*720的分辨率下，实际所采集到的像素点矩阵应为1280*720的大小，图3中所示场景仅分别示出了采集到的左视点图像帧和右视点图像帧中的4*4像素点矩阵。
步骤2：利用采集到的左视点图像帧数据和右视点图像帧数据生成传输图像帧，本实施例中将同一时刻下采集到的两帧左视点图像帧和右视点图像帧压缩到一帧图像帧中生成该时刻的传输图像帧，即该传输图像帧中包括左视点图像帧数据和右视点图像帧数据，至少包括如下压缩方式：
方式一、隔列压缩
分别从同一时刻下左视点图像帧和右视点图像帧中提取奇数列或偶数列的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部数据。
具体的，利用同一时刻下左视点图像帧和右视点图像帧中奇数列或偶数列的像素点数据生成该时刻对应的传输图像帧，即只保留同一时刻下左视点图像帧和右视点图像帧中的奇数列或偶数列的像素点数据，并将这些像素点数据合并在一个图像帧中，作为压缩所得到的传输图像帧。如将上述左视点图像帧中的奇数列的像素点数据以及将上述右视点图像帧中的偶数列的像素点数据合并在同一个图像帧中，或者，将上述左视点图像帧中的偶数列的像素点数据以及将上述右视点图像帧中的奇数列的像素点数据合并在同一个图像帧中，或者，将上述左视点图像帧中的奇数列的像素点数据以及将上述右视点图像帧中的奇数列的像素点数据合并在同一个图像帧中，或者，将上述左视点图像帧中的偶数列的像素点数据以及将上述右视点图像帧中的偶数列的像素点数据合并在同一个图像帧中。在合并时，将来自两个视点的数据分别置于合并后图像帧的左半部和右半部。
方式二、对角线压缩
按照45度方向对角线分别交替从同一时刻下左视点图像帧和右视点图像帧中提取像素点数据，并将左视点图像帧中提取的像素点数据和右视点图像帧中提取的像素点数据合并在同一个图像帧中。合并后的图像帧的左半部分为左视点图像帧经像素点提取而压缩后的数据，而合并后图像帧的右半部分为右视点图像帧经像素点提取而压缩后的数据。
具体的，利用同一时刻下左视点图像帧和右视点图像帧中45度方向对角线上每隔一条对角线的像素点数据生成该时刻对应的传输图像帧，即沿图像帧中的对角线（45度角）方向，取间隔对角线上的数据，删除相邻对角线方向的数据。例如对图3的步骤1中左视点图像帧，按左倾45度对角线从左上开始取点，第一条对角线只有一个点L00，此点保留，第二条对角线有两个点L01、L10，此两点不保留，第三条对角线有三个点L02、L11、L20，此三点保留，第四条对角线有四个点L03、L12、L21、L30，此四点不保留，以此类推。保留的像素点的总数与不保留的点总数相同。
方式三、将同一时刻下左视点图像帧中预定区域内的像素点数据合并得到左视点图像帧中二分之一像素点数量的像素点数据，和右视点图像帧中预定区域内的像素点数据合并得到右视点图像帧中二分之一像素点数量的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部数据。
具体的，按照预定算法，将同一时刻下左视点图像帧和右视点图像帧中某一预定区域内像素点数据合并，该预定区域可以为像素点的点阵（例如3x3点阵或4x4点阵），合并后的结果作为点阵中心位置的像素点数据，或者，该预定区域为相邻两行或两列的像素点数据，将两行或两列的像素点数据合并为一行或一列像素点数据，合并后，左视点图像帧数据从原来的N*N个像素点数据变为N*N/2个像素点数据，右视点图像帧数据从原来的N*N个像素点数据变为N*N/2个像素点数据，利用合并后的左视点图像帧和右视点图像帧的像素点数据生成该时刻对应的传输图像帧。例如，合并后在L22位置的像素点数据由包括L22像素点周围的8个像素点及L22自身的区域按照预定算法生成，而合并后在L24位置的像素点数据由包括L24像素点周围的8个像素点及L24自身的区域按照预定算法生成。
如图3中所示，传输图像帧矩阵中第一列的像素点数据由左视点图像帧中第一列的像素点数据和第二列像素点数据按照预定算法合并得到，传输图像帧矩阵中第三列的像素点数据由右视点图像帧中第一列的像素点数据和第二列像素点数据按照预定算法合并得到，这种方式下生成的传输图像帧中包含了原始左视点图像帧和右视点图像帧中所有像素点的数据。
方式四、分别从同一时刻下左视点图像帧和右视点图像帧中提取奇数行或偶数行的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的上半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的下半部数据。
具体的，利用同一时刻下左视点图像帧和右视点图像帧中奇数行或偶数行的像素点数据生成该时刻对应的传输图像帧，即只保留同一时刻下左视点图像帧和右视点图像帧中的奇数行或偶数行的像素点数据，并将这些像素点数据合并在一个图像帧中，作为压缩所得到的当前时刻的传输图像帧，如将上述左视点图像帧中的奇数行的像素点数据以及将上述右视点图像帧中的偶数行的像素点数据合并在同一个图像帧中，或者，将上述左视点图像帧中的偶数行的像素点数据以及将上述右视点图像帧中的奇数行的像素点数据合并在同一个图像帧中，或者，将上述左视点图像帧中的奇数行的像素点数据以及将上述右视点图像帧中的奇数行的像素点数据合并在同一个图像帧中，或者，将上述左视点图像帧中的偶数行的像素点数据以及将上述右视点图像帧中的偶数行的像素点数据合并在同一个图像帧中。在合并时，将来自两个视点的数据分别置于合并后图像帧的上半部和下半部。这种方式下，可以将左视点图像帧和右视点图像帧两路图像帧数据（1280*720）分别压缩为1280*360分辨率，即原始分辨率的一半。
步骤3：按照预定编码格式对所述传输图像帧进行压缩。
本实施例将左视点和右视点两路视频数据通过传输图像帧合并为一路数据后，使用H264协议对传输图像帧进行压缩。
步骤4：运行Skypekit应用平台，根据压缩后的传输图像帧生成传输数据包。
通过调用SkypeKit的函数接口，将由H264压缩后的传输图像帧送入Skypekit应用平台，并利用Skypekit应用平台压缩后的传输图像帧生成传输数据包，本实施例中采用RTP(real-time transport protocol，实时传输协议)传输数据包。一个传输图像帧可以由一个或多个RTP传输数据包组成。
参见图4，显示了本实施例所使用的开发工具SkypeKit的结构示意图，开发工具包括SkypeKit Runtime（运行包）和VideoHost Runtime（视频主机实现运行包），SkypeKit运行包与World（互联网）和SkypeKit Client（客户端）相连接，
SkypeKit Runtime为不开源部分，主要包括SVL(Skype Video Library，Skype视频库)及CoreLib（核心库），而需要开发者实现的是提供UI（用户界面）的SkypeKit客户端及VideoHost Runtime，VideoHost Runtime中主要需要实现：
Capture（抓取）功能：发送端抓取Video及Audio数据
Encode（编码）功能：发送端对抓取到的Video及Audio数据进行压缩编码
Decode（解码）功能：接收端对网络传输过来的数据进行解压缩
Render（渲染）功能：发送端和接收端的视频渲染功能
Preview（预览）功能：发送端和接收端的通过小窗口的形式实时播放抓取到的数据。
步骤5：通过网络将RTP传输数据包发送至接收端。
Skypekit应用平台在网络中发送RTP传输数据包时按照传输2D视频数据的方式处理即可。
通过上述步骤1至步骤5发送侧的发送装置将3D视频数据传输至网络中。然后，由接收侧的接收装置执行下述的步骤：
步骤6：通过Skypekit应用平台接收网络中由发送端逐帧发送的传输数据包。
步骤7：按照与发送端相应的解码格式对所述传输数据包进行解压缩，并根据解压缩后的传输数据包得到传输图像帧。
按照H264编码格式对传输数据包进行解压缩，由解压缩后相邻的预定数目的传输数据包得到传输图像帧，即将若干个RTP传输数据包拼接后得到传输图像帧。
步骤8：根据传输图像帧得到相应的左视点图像帧和右视点图像帧
所述传输图像帧中同时包括左视点图像帧数据和右视点图像帧数据时，从所述传输图像帧中提取出左视点图像帧和右视点图像帧，利用提取出的左视点图像帧和右视点图像帧得到当前的3D图像；这种方式下，可以分别将传输图像帧中的左半部数据和右半部数据提取出来得到当前时刻的左视点图像帧数据和右视点图像帧数据，例如，将传输图像帧中的左半部数据提取出来得到当前时刻的左视点图像帧，将传输图像帧中的右半部数据提取出来得到当前时刻的右视点图像帧，或者，分别将传输图像帧中的上半部数据和下半部数据提取出来得到当前时刻的左视点图像帧数据和右视点图像帧数据，例如，将传输图像帧中的上半部数据提取出来得到当前时刻的左视点图像帧数据，将传输图像帧中的下半部数据提取出来得到当前时刻的右视点图像帧数据。提取出的左视点图像帧和右视点图像帧的分辨率比传输图像帧的分辨率减半。
步骤9：利用得到的左视点图像帧和右视点图像帧展示相应的3D视频。
图3所示的场景中由3D播放设备从传输图像帧中得到左视点图像帧和右视点图像帧，如3D播放设备按照并排格式(side by side)展示得到的左视点图像帧和右视点图像帧，参见图5，并排格式是一种3D视频格式，其特点是一帧图像中同时包含左视点和右视点（如左右眼）的视频数据，图5中带有斜纹的部分表示图像帧中的左视点数据，不带斜纹的部分表示图像帧中的右视点数据，在播放3D视频时，将左视点和右视点的数据分别按次序播放。
参见图6，对本发明实施例所提供的又一种3D视频数据的通讯方法进行说明，具体包括如下处理：
步骤1：利用3D摄像头采集左视点和右视点两路原始图像帧数据，本实施例中摄像头的视频采集帧率可以为60帧/秒或者50帧/秒，并采用720P的标准。
步骤2：利用采集到的左视点图像帧数据和右视点图像帧数据生成传输图像帧。
本实施例中将同一时刻下采集到的左视点图像帧和右视点图像帧分别作为传输图像帧，即一帧传输图像帧仅包括左视点图像帧数据或者仅包括右视点图像帧数据。
步骤3：按照预定编码格式对所述传输图像帧进行压缩。
本实施例将左视点和右视点两路视频数据通过传输图像帧合并为一路数据后，使用H264协议对传输图像帧进行压缩。在压缩时，可以采用两个压缩单元分别对左视点一路的视频数据进行压缩和对右视点一路的视频数据进行压缩。
进一步的，本实施例中当所述传输图像帧中仅包括左视点图像帧数据时，在压缩后的传输图像帧所生成的传输数据包中设置左视点标识；当所述传输图像帧中仅包括右视点图像帧数据时，在压缩后的传输图像帧所生成的传输数据包中设置右视点标识，通过所设置的标识能够使接收端获知接收到的传输图像帧的类型，从而能够正确显示出3D视频。
示例性的，本实施例在每个RTP传输数据包的承载主体数据部分的预定位置（如该部分的尾部）增加一个字节作为类型标识，将该字节赋值为1时表示左视点图像帧数据，将该字节赋值为0时表示右视点图像帧数据。
步骤4：运行Skypekit应用平台，根据压缩后的传输图像帧生成传输数据包。
步骤5：通过网络将RTP传输数据包发送至接收端。
Skypekit应用平台在网络中发送RTP传输数据包时按照传输2D视频数据的方式处理即可。
对每一时刻，利用即时通信平台将分别仅包括该时刻下按照预定采集帧率采集到的左视点图像帧数据和右视点图像帧数据的两帧传输图像帧，按照预定传输帧率逐帧交替发送至对端。这种方式下，在传输3D数据时，先传输一帧左视点图像帧数据对应的传输数据包，再传输一帧右视点图像帧数据对应的传输数据包。即利用即时通信平台将设置有左视点标识的传输数据包和设置有右视点标识的传输数据包，依次逐帧发送至对端。
例如，可以设置视频采集帧率为30帧/秒或25帧/秒，即得到的两路左视点数据和右视点数据的帧率为30帧/秒或25帧/秒，则将两路数据合并为一路后，得到的传输帧率为60帧/秒或50帧/秒的一路数据。根据具体的网络状态，可以对传输帧率的数值进行调整，例如，当网络状态较差时，可以调整传输帧率小于60帧/秒或50帧/秒。将两路数据依次交错的通过SkypeKit的接口发送出去。例如，先发送时刻1的一帧左视点数据，下次发送的是时刻1的右视点数据，再下次是时刻2的左视点数据，然后是时刻2的右视点数据，以此类推。
步骤6：通过Skypekit应用平台接收网络中由发送端逐帧发送的传输数据包。
步骤7：由接收到的传输数据包得到一路3D视频数据。
步骤8：将一路3D视频数据分离为两路3D视频数据。
按照与发送端相应的解码格式对传输数据包进行解压缩，并根据解压缩后的传输数据包得到传输图像帧。在解压缩时，可以采用两个解压缩单元分别对左视点一路的视频数据进行解压缩和对右视点一路的视频数据进行解压缩。
按照H264编码格式对传输数据包进行解压缩，传输数据包中设置有左视点标识或右视点标识，由解压缩后相邻的所有仅包括左视点标识的传输数据包得到仅包括左视点图像帧数据的传输图像帧，作为一路3D视频数据；由解压缩后相邻的所有仅包括右视点标识的传输数据包得到仅包括右视点图像帧数据的传输图像帧，作为一路3D视频数据。
步骤9：根据传输图像帧得到相应的左视点图像帧数据和右视点图像帧数据。
依次地，从仅包括左视点图像帧数据的传输图像帧中得到当前时刻的左视点图像帧数据，从仅包括右视点图像帧数据的传输图像帧中得到当前时刻的右视点图像帧数据。
本实施例能够将采集到的所有左视点图像帧数据和右视点图像帧数据全部通过网络实时传输至对端，有助于在对端实现更加的3D视频播放效果。
参见图7，为本实施例提供的一种3D视频数据的通讯方法原理框图，包括三个主要的逻辑层，底层、多媒体框架层和展示层，底层中包含摄像头、摄像头驱动、编码器和解码器等模块，多媒体框架层包含Skypekit应用平台，展示层包含远程3D视频播放模块等。本实施例结合图7对3D视频的通信双方的双向流程进行整体上的说明。
图7中示出了3D视频数据的发送和接收两个方向上的处理，在进行3D视频数据的发送时，由摄像头采集左视点图像帧数据和右视点图像帧数据，摄像头驱动模块为摄像头提供驱动，将采集到的左视点图像帧和右视点图像帧送入编码器，编码器先将左视点图像帧和右视点图像帧压缩成传输图像帧，再利用H264对传输图像帧进行压缩，然后编码器将3D编码视频数据输出至Skypekit应用平台，经由Skypekit应用平台中的视频主机实现运行包和Skypekit运行包将3D编码视频数据发送至网络中。在进行3D视频数据的接收时，由Skypekit应用平台从网络中接收3D编码视频数据，经由Skypekit应用平台中的Skypekit运行包和开发者实现运行包将3D编码视频数据发送至解码器，解码器先按照H264对3D编码视频数据进行解码得到传输数据帧，然后根据传输数据帧得到左视点图像帧和右视点图像帧，并将得到的左视点图像帧和右视点图像帧发送中展示层中进行播放，从而实现了3D视频的远程播放。
本发明实施例提供了一种3D视频数据的通讯设备，参见图8，所述通讯设备包括发送装置800，所述发送装置800包括：
传输图像帧生成单元802，用于利用采集到的左视点图像帧和右视点图像帧数据生成传输图像帧；
压缩单元804，用于按照预定编码格式对所述传输图像帧进行压缩；
生成单元806，用于根据压缩后的传输图像帧生成传输数据包；
实时发送单元808，用于利用即时通信平台逐帧将所述传输数据包实时传输至对端。
进一步的，所述传输图像帧生成单元802，具体用于将同一时刻下采集到的两帧左视点图像帧和右视点图像帧压缩到一帧图像帧中生成该时刻的传输图像帧。其中，传输图像帧生成单元802，具体用于分别从同一时刻下左视点图像帧和右视点图像帧中提取奇数列或偶数列的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部；或者，分别从同一时刻下左视点图像帧和右视点图像帧中提取奇数行或偶数行的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的上半部，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的下半部；或者，
按照45度方向对角线分别交替从同一时刻下左视点图像帧和右视点图像帧中提取像素点数据，将左视点图像帧中提取的像素点数据和右视点图像帧中提取的像素点数据合并在同一个图像帧中。合并后的图像帧的左半部分为左视点图像帧压缩后的数据，而合并后图像帧的右半部分为右视点图像帧压缩后的数据。或者，
将同一时刻下左视点图像帧中预定区域内的像素点数据合并得到左视点图像帧中二分之一像素点数量的像素点数据，和右视点图像帧中预定区域内的像素点数据合并得到右视点图像帧中二分之一像素点数量的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部数据。
可选的，所述传输图像帧生成单元802，具体用于将同一时刻下采集到的左视点图像帧和右视点图像帧分别作为当前时刻的传输图像帧；这时，生成单元806，具体用于当所述传输图像帧中仅包括左视点图像帧数据时，在压缩后的传输图像帧所生成的每个传输数据包中设置左视点标识；当所述传输图像帧中仅包括右视点图像帧数据时，在压缩后的传输图像帧所生成的每个传输数据包中设置右视点标识；实时发送单元808，具体用于利用即时通信平台将设置有左视点标识的传输数据包和设置有右视点标识的传输数据包，依次逐帧发送至对端。。
可选的，上述通讯设备所利用的即时通信平台为由开源开发工具Skypekit所设置的即时通信平台，所述通讯设备所采用的预定编码格式为H264编码格式。
通过上述描述可知，将图8中的传输图像帧生成单元802和压缩单元804可以由图7中的编码器实现，图8中的生成单元806和实时发送单元808可以由图7中的Skypekit应用平台实现。
本实施例中各单元的具体工作方式可以参见本发明的方法实施例，在此不再赘述。
由上所述，本发明实施例的技术方案利用3D视频特点，通过在发送端由采集的左视点图像帧和右视点图像帧数据生成2D的传输图像帧、压缩传输图像帧并生成传输数据包，利用即时通信平台将传输数据包实时传输至接收端，保证了在接收端能够由实时接收的传输数据包得到2D的传输图像帧，根据传输图像帧还原得到3D视频的左视点图像帧数据和右视点图像帧数据。从而提供了一种有效的3D视频数据的实时传输方案，能够保证通讯双方得到较佳的3D视频效果。
本发明实施例提供了另一种3D视频数据的通讯设备，参见图9，该通讯设备包括接收装置900，该接收装置900包括：
实时接收单元902，用于利用即时通信平台实时接收对端逐帧发送的传输数据包；
解压缩单元904，用于按照与对端相应的解码格式对所述传输数据包进行解压缩；
传输图像帧获得单元906，用于根据解压缩后的传输数据包得到传输图像帧；
图像帧数据得到单元908，用于根据所述传输图像帧得到相应的左视点图像帧数据和右视点图像帧数据。
可选的，所述传输图像帧中同时包括左视点图像帧数据和右视点图像帧数据时，
所述传输图像帧获得单元906，具体用于由解压缩后相邻的预定数目的传输数据包得到传输图像帧；
所述图像帧数据得到单元908，具体用于将传输图像帧的左半部数据作为当前时刻的左视点图像帧数据，将传输图像帧的右半部数据作为当前时刻的右视点图像帧数据；或者，将传输图像帧的上半部数据作为当前时刻的左视点图像帧数据，将传输图像帧的下半部数据作为当前时刻的右视点图像帧数据。
可选的，所述传输图像帧中仅包括左视点图像帧数据或仅包括右视点图像帧数据时，
传输图像帧获得单元906，具体用于由解压缩后相邻的所有仅包括左视点标识的传输数据包得到仅包括左视点图像帧数据的传输图像帧，由解压缩后相邻的所有仅包括右视点标识的传输数据包得到仅包括右视点图像帧数据的传输图像帧，其中，所述传输数据包中设置有左视点标识或右视点标识；图像帧数据得到单元908，具体用于依次地，从仅包括左视点图像帧数据的传输图像帧中得到当前时刻的左视点图像帧数据，从仅包括右视点图像帧数据的传输图像帧中得到当前时刻的右视点图像帧数据。
可选的，上述通讯设备所利用的即时通信平台为由开源开发工具Skypekit所设置的即时通信平台，所述通讯设备所采用的预定编码格式为H264编码格式。
通过上述描述可知，图9中的实时接收单元902可以由图7中的Skypekit应用平台实现，图9中的解压缩单元904、传输图像帧获得单元906和图像帧数据得到单元908可以由图7中的解码器实现。
本发明设备实施例中各单元和模块的具体工作方式可以参见本发明的方法实施例。
由上所述，本发明实施例的技术方案通过在接收端由实时接收的传输数据包得到2D的传输图像帧，根据传输图像帧还原得到3D视频的左视点图像帧数据和右视点图像帧数据的技术手段，保证了发送端和接收端的实时通讯，从而提供了一种有效的3D视频数据的实时传输方案，能够保证通讯双方得到较佳的3D视频效果。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (12)
1.一种3D视频数据的通讯方法，其特征在于，所述方法包括：
利用采集到的左视点图像帧数据和右视点图像帧数据生成传输图像帧；
按照预定编码格式对所述传输图像帧进行压缩；
根据压缩后的传输图像帧生成传输数据包；
利用即时通信平台逐帧将所述传输数据包实时传输至对端。
2.根据权利要求1所述的方法，其特征在于，所述利用采集到的左视点图像帧数据和右视点图像帧数据生成传输图像帧包括：
分别从同一时刻下左视点图像帧和右视点图像帧中提取奇数列或偶数列的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部数据；或者，
分别从同一时刻下左视点图像帧和右视点图像帧中提取奇数行或偶数行的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的上半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的下半部数据；或者，
按照45度方向对角线分别交替从同一时刻下左视点图像帧和右视点图像帧中提取像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部数据；或者，
按照45度方向对角线分别交替从同一时刻下左视点图像帧和右视点图像帧中提取像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的上半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的下半部数据；或者，
将同一时刻下左视点图像帧中预定区域内的像素点数据合并得到左视点图像帧中二分之一像素点数量的像素点数据，和右视点图像帧中预定区域内的像素点数据合并得到右视点图像帧中二分之一像素点数量的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部数据。
3.根据权利要求1所述的方法，其特征在于，
所述利用采集到的左视点图像帧数据和右视点图像帧数据生成传输图像帧包括：将同一时刻下采集到的左视点图像帧和右视点图像帧依次分别作为当前时刻的传输图像帧；
所述根据压缩后的传输图像帧生成传输数据包包括：
当所述传输图像帧中仅包括左视点图像帧数据时，在压缩后的传输图像帧所生成的每个传输数据包中设置左视点标识；当所述传输图像帧中仅包括右视点图像帧数据时，在压缩后的传输图像帧所生成的每个传输数据包中设置右视点标识；
所述利用即时通信平台逐帧将所述传输数据包实时传输至对端包括：
利用即时通信平台将设置有左视点标识的传输数据包和设置有右视点标识的传输数据包，依次逐帧发送至对端。
4.一种3D视频数据的通讯方法，其特征在于，所述方法包括：
利用即时通信平台实时接收对端逐帧发送的传输数据包；
按照与对端相应的解码格式对所述传输数据包进行解压缩；
根据解压缩后的传输数据包得到传输图像帧；
根据所述传输图像帧得到相应的左视点图像帧数据和右视点图像帧数据。
5.根据权利要求4所述的方法，其特征在于，所述传输图像帧中同时包括左视点图像帧数据和右视点图像帧数据时，
所述根据所述传输图像帧得到相应的左视点图像帧数据和右视点图像帧数据包括：
将传输图像帧的左半部数据作为当前时刻的左视点图像帧数据，将传输图像帧的右半部数据作为当前时刻的右视点图像帧数据；或者，
将传输图像帧的上半部数据作为当前时刻的左视点图像帧数据，将传输图像帧的下半部数据作为当前时刻的右视点图像帧数据。
6.根据权利要求4所述的方法，其特征在于，所述传输图像帧中仅包括左视点图像帧数据或仅包括右视点图像帧数据时，
所述根据解压缩后的传输数据包得到传输图像帧包括：
所述传输数据包中设置有左视点标识或右视点标识，由解压缩后相邻的所有仅包括左视点标识的传输数据包得到仅包括左视点图像帧数据的传输图像帧，由解压缩后相邻的所有仅包括右视点标识的传输数据包得到仅包括右视点图像帧数据的传输图像帧；
所述根据所述传输图像帧得到相应的左视点图像帧数据和右视点图像帧数据包括：
依次地，从仅包括左视点图像帧数据的传输图像帧中得到当前时刻的左视点图像帧数据，从仅包括右视点图像帧数据的传输图像帧中得到当前时刻的右视点图像帧数据。
7.一种3D视频数据的通讯设备，其特征在于，所述通讯设备包括发送装置，所述发送装置包括：
传输图像帧生成单元，用于利用采集到的左视点图像帧和右视点图像帧数据生成传输图像帧；
压缩单元，用于按照预定编码格式对所述传输图像帧进行压缩；
生成单元，用于根据压缩后的传输图像帧生成传输数据包；
实时发送单元，用于利用即时通信平台逐帧将所述传输数据包实时传输至对端。
8.根据权利要求7所述的通讯设备，其特征在于，
所述传输图像帧生成单元，具体用于分别从同一时刻下左视点图像帧和右视点图像帧中提取奇数列或偶数列的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部数据；或者，
分别从同一时刻下左视点图像帧和右视点图像帧中提取奇数行或偶数行的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的上半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的下半部数据；或者，
按照45度方向对角线分别交替从同一时刻下左视点图像帧和右视点图像帧中提取像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部数据；或者，
按照45度方向对角线分别交替从同一时刻下左视点图像帧和右视点图像帧中提取像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的上半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的下半部数据；或者，
将同一时刻下左视点图像帧中预定区域内的像素点数据合并得到左视点图像帧中二分之一像素点数量的像素点数据，和右视点图像帧中预定区域内的像素点数据合并得到右视点图像帧中二分之一像素点数量的像素点数据，并将左视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的左半部数据，将右视点图像帧中提取的像素点数据作为当前时刻的传输图像帧的右半部数据。
9.根据权利要求7所述的通讯设备，其特征在于，
所述传输图像帧生成单元，具体用于将同一时刻下采集到的左视点图像帧和右视点图像帧分别作为当前时刻的传输图像帧；
所述生成单元，具体用于当所述传输图像帧中仅包括左视点图像帧数据时，在压缩后的传输图像帧所生成的每个传输数据包中设置左视点标识；当所述传输图像帧中仅包括右视点图像帧数据时，在压缩后的传输图像帧所生成的每个传输数据包中设置右视点标识；
所述实时发送单元，具体用于利用即时通信平台将设置有左视点标识的传输数据包和设置有右视点标识的传输数据包，依次逐帧发送至对端。
10.一种3D视频数据的通讯设备，其特征在于，所述通讯设备包括接收装置，所述接收装置包括：
实时接收单元，用于利用即时通信平台实时接收对端逐帧发送的传输数据包；
解压缩单元，用于按照与对端相应的解码格式对所述传输数据包进行解压缩；
传输图像帧获得单元，用于根据解压缩后的传输数据包得到传输图像帧；
图像帧数据得到单元，用于根据所述传输图像帧得到相应的左视点图像帧数据和右视点图像帧数据。
11.根据权利要求10所述的通讯设备，其特征在于，所述传输图像帧中同时包括左视点图像帧数据和右视点图像帧数据时，
所述图像帧数据得到单元，具体用于将传输图像帧的左半部数据作为当前时刻的左视点图像帧数据，将传输图像帧的右半部数据作为当前时刻的右视点图像帧数据；或者，将传输图像帧的上半部数据作为当前时刻的左视点图像帧数据，将传输图像帧的下半部数据作为当前时刻的右视点图像帧数据。
12.根据权利要求10所述的通讯设备，其特征在于，所述传输图像帧中仅包括左视点图像帧数据或仅包括右视点图像帧数据时，
所述传输图像帧获得单元，具体用于由解压缩后相邻的所有仅包括左视点标识的传输数据包得到仅包括左视点图像帧数据的传输图像帧，由解压缩后相邻的所有仅包括右视点标识的传输数据包得到仅包括右视点图像帧数据的传输图像帧，其中，所述传输数据包中设置有左视点标识或右视点标识；所述图像帧数据得到单元，具体用于依次地，从仅包括左视点图像帧数据的传输图像帧中得到当前时刻的左视点图像帧数据，从仅包括右视点图像帧数据的传输图像帧中得到当前时刻的右视点图像帧数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210351762.7A CN102843566B (zh) | 2012-09-20 | 2012-09-20 | 一种3d视频数据的通讯方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210351762.7A CN102843566B (zh) | 2012-09-20 | 2012-09-20 | 一种3d视频数据的通讯方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102843566A true CN102843566A (zh) | 2012-12-26 |
| CN102843566B CN102843566B (zh) | 2015-06-17 |
Family
ID=47370580
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210351762.7A Active CN102843566B (zh) | 2012-09-20 | 2012-09-20 | 一种3d视频数据的通讯方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102843566B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103281506A (zh) * | 2013-05-03 | 2013-09-04 | 上海闻泰电子科技有限公司 | 全息映像通讯系统、装置及方法 |
| CN103841318A (zh) * | 2012-11-23 | 2014-06-04 | 联发科技股份有限公司 | 数据处理装置及其数据处理方法 |
| CN106341619A (zh) * | 2016-09-27 | 2017-01-18 | 北京乐景科技有限公司 | 一种视频数据同步传输方法、装置以及系统 |
| CN111246198A (zh) * | 2020-02-10 | 2020-06-05 | 青岛小鸟看看科技有限公司 | 视频播放方法、头戴设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102195894A (zh) * | 2010-03-12 | 2011-09-21 | 腾讯科技（深圳）有限公司 | 即时通信中实现立体视频通信的系统及方法 |
| EP2424251A2 (en) * | 2010-08-23 | 2012-02-29 | Lg Electronics Inc. | Method for providing 3d video data in a 3dtv |
| WO2012038643A1 (fr) * | 2010-09-24 | 2012-03-29 | Stmicroelectronics (Grenoble 2) Sas | Transmission de video 3d sur une infrastructure de transport pour video 2d |
| CN102577404A (zh) * | 2009-11-06 | 2012-07-11 | 索尼公司 | 用于二维(2d)视频信使应用的三维(3d)视频 |
-
2012
- 2012-09-20 CN CN201210351762.7A patent/CN102843566B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102577404A (zh) * | 2009-11-06 | 2012-07-11 | 索尼公司 | 用于二维(2d)视频信使应用的三维(3d)视频 |
| CN102195894A (zh) * | 2010-03-12 | 2011-09-21 | 腾讯科技（深圳）有限公司 | 即时通信中实现立体视频通信的系统及方法 |
| EP2424251A2 (en) * | 2010-08-23 | 2012-02-29 | Lg Electronics Inc. | Method for providing 3d video data in a 3dtv |
| WO2012038643A1 (fr) * | 2010-09-24 | 2012-03-29 | Stmicroelectronics (Grenoble 2) Sas | Transmission de video 3d sur une infrastructure de transport pour video 2d |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103841318A (zh) * | 2012-11-23 | 2014-06-04 | 联发科技股份有限公司 | 数据处理装置及其数据处理方法 |
| US9535489B2 (en) | 2012-11-23 | 2017-01-03 | Mediatek Inc. | Data processing system for transmitting compressed multimedia data over camera interface |
| US9568985B2 (en) | 2012-11-23 | 2017-02-14 | Mediatek Inc. | Data processing apparatus with adaptive compression algorithm selection based on visibility of compression artifacts for data communication over camera interface and related data processing method |
| US10200603B2 (en) | 2012-11-23 | 2019-02-05 | Mediatek Inc. | Data processing system for transmitting compressed multimedia data over camera interface |
| CN103281506A (zh) * | 2013-05-03 | 2013-09-04 | 上海闻泰电子科技有限公司 | 全息映像通讯系统、装置及方法 |
| CN106341619A (zh) * | 2016-09-27 | 2017-01-18 | 北京乐景科技有限公司 | 一种视频数据同步传输方法、装置以及系统 |
| CN111246198A (zh) * | 2020-02-10 | 2020-06-05 | 青岛小鸟看看科技有限公司 | 视频播放方法、头戴设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102843566B (zh) | 2015-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101668160B (zh) | 视频图像数据处理方法、装置及视频会议系统及终端 | |
| CN100586178C (zh) | 收发图像数据的设备和方法 | |
| CN106060582B (zh) | 视频传输系统、方法及装置 | |
| CN1204757C (zh) | 一种立体视频流编码/解码器及其立体视频编解码系统 | |
| CN105979224A (zh) | 一种头戴显示器、视频输出设备和视频处理方法、系统 | |
| CN102763419A (zh) | 3d视频转换装置 | |
| US20110074922A1 (en) | Method and system for 3d video coding using svc spatial scalability | |
| US10979689B2 (en) | Adaptive stereo scaling format switch for 3D video encoding | |
| CN107113447A (zh) | 高帧速率‑低帧速率传输技术 | |
| CN101009803A (zh) | 高清视频传输系统及方法 | |
| US10958950B2 (en) | Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices | |
| CN102843566B (zh) | 一种3d视频数据的通讯方法和设备 | |
| CN103856809A (zh) | 一种多点同屏方法、系统及终端设备 | |
| US20140168366A1 (en) | Encoding device and encoding method, and decoding device and decoding method | |
| CN112235606A (zh) | 一种多层视频处理方法、系统和可读存储介质 | |
| US20170188007A1 (en) | Multi-view image transmitter and receiver and method of multiplexing multi-view image | |
| US8963996B2 (en) | Communication of stereoscopic three-dimensional (3D) video information including an uncompressed eye view video frames | |
| US11457053B2 (en) | Method and system for transmitting video | |
| CN205812229U (zh) | 一种头戴显示器、视频输出设备和视频处理系统 | |
| EP2312859A2 (en) | Method and system for communicating 3D video via a wireless communication link | |
| CN102523459A (zh) | 图像显示方法、装置及系统 | |
| CN101001370A (zh) | 一种融合多种编解码的视频传输系统及方法 | |
| Jung et al. | Disparity-map-based rendering for mobile 3D TVs | |
| CN202957932U (zh) | 一种3d视频数据的通讯设备和通信系统 | |
| CN101888551A (zh) | 图像传输显示的方法、装置和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C56 | Change in the name or address of the patentee | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268 Patentee after: Goertek Inc. Address before: 261031 Dongfang Road, Weifang high tech Industrial Development Zone, Shandong, China, No. 268 Patentee before: Goertek Inc. |