CN111510729A - 一种基于视频编解码技术的rgbd数据压缩传输方法 - Google Patents

一种基于视频编解码技术的rgbd数据压缩传输方法 Download PDF

Info

Publication number
CN111510729A
CN111510729A CN202010219148.XA CN202010219148A CN111510729A CN 111510729 A CN111510729 A CN 111510729A CN 202010219148 A CN202010219148 A CN 202010219148A CN 111510729 A CN111510729 A CN 111510729A
Authority
CN
China
Prior art keywords
image
width
rgbd
res
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010219148.XA
Other languages
English (en)
Inventor
姜光
李凌溪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202010219148.XA priority Critical patent/CN111510729A/zh
Publication of CN111510729A publication Critical patent/CN111510729A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开的基于视频编解码技术的RGBD数据压缩传输方法，通过将彩色图像缩小到与深度图像一样的尺寸，减小了传输的数据量；将彩色图像从RGB格式转换为YUV格式，实现了在损失较小图像色彩的前提下，进一步减少了传输的数据量；将16位的深度图像分为三部分，将每部分分别放在各自8位深度图像的高位，这样在图像进行编解码时可以避免对高位数据造成损失，减小了深度数据的误差，减小了单台RGBD相机所传输的三维数据，实现了同时传输多台RGBD相机产生的RGBD数据，减小了传输的数据量，增加了传输深度图像的精准度，可以同时传输多台RGBD相机产生的三维数据，提高了从真实场景获取数据的完整程度。

Description

一种基于视频编解码技术的RGBD数据压缩传输方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于视频编解码技术的RGBD数据压缩传输方法，可用于用户使用混合现实设备时将重建模型展示在真实场景中。
背景技术
目前，RGBD数据的应用前景巨大，尤其在虚拟现实技术中，RGBD数据最直接的获取方法是通过消费级的RGBD相机同时获得彩色图像和深度图像，然后通过三维重建技术得到高质量的三维模型。然而由于三维模型巨大的数据量，直接传输所需带宽巨大，因此对RGBD数据进行压缩传输具有非常重要的意义。
在压缩传输视频流数据这个任务上，已经存在多种视频编解码方式，所谓视频编码方式就是指通过压缩技术，将原始视频格式的文件转换成另一种视频格式文件的方式。通过这种技术可以对原始的视频进行编码压缩，以去除空间、时间维度的冗余，以减少传输时所需的带宽。鉴于以上优点，有专利申请使用视频编解码完成RGBD数据的实时传输。例如申请公布号为CN110111380A的专利申请公开了一种基于深度相机的3D图像传输及重建方法，该方法将RGB格式的彩色图像和深度图像存储为一帧混合图像帧，然后使用视频编解码技术对混合图像帧进行编码压缩，从而完成三维数据的压缩传输。然而这种方法使用来自RGBD相机的原始尺寸的RGB格式彩色图像和深度图像，这导致在压缩传输时，只能传输来自一台RGBD相机的巨大数据，产生的结果是经传输的RGBD数据只能从一个方向上表示真实环境，不能多角度的完整表现真实环境，同时RGB格式的彩色图像仍然具有一定的数据冗余，这增加了传输数据时所需的带宽。
发明内容
为解决现有技术的不足，本发明实施例提供了一种基于视频编解码技术的RGBD数据压缩传输方法，该方法包括以下步骤：
(1)确定n台RGBD相机位置并获取每台相机的彩色图像和深度图像：
(11)在使用场景中布置好n台RGBD相机，使n台RGBD相机能够覆盖使用场景中所有位置，获取每台RGBD相机的宽为Wc、高为Hc的彩色图像Ci和宽为Wd、高为Hd的16位深度图像Di，其中，n为大于1的自然数，i表示第i个RGBD相机，i∈[1,n]；
(2)缩小彩色图像尺寸：
(21)缩小步骤(1)中的彩色图像Ci的尺寸，获得宽为Wd、高为Hd的彩色图像C′i，其中，i表示第i个RGBD相机，i∈[1,n]；
(3)将彩色图像C′i由RGB格式转换为YUV格式：
(31)将步骤(2)中缩小后的彩色图像C′i中每个像素的R、G、B分量值代入RGB格式到YUV格式的转换公式，获得每个像素的Y、U、V分量；
(32)将彩色图像C′i中每个像素的Y分量组成宽为Wd、高为Hd的图像CY′i，将彩色图像C′i中每个像素的U分量组成宽为Wd/2高为Hd/2的图像CU′i，将彩色图像C′i中每个像素的V分量组成宽为Wd/2高为Hd/2的图像CV′i；
(4)将深度图像Di拆分为与原图像尺寸相同的三个深度图像：
(41)获取步骤(1)中16位深度图像Di中所有像素的高5位数据Dh，将Dh放入宽为Wd、高为Hd、位宽为8的深度图像Di1的高5位，将深度图像Di1的最后三位置零；
(42)获取步骤(1)中16位深度图像Di中所有像素的第6到第10位数据Dm，将数据Dm放入宽为Wd、高为Hd、位宽为8的深度图像Di2的高5位，将深度图像Di2的最后三位置零；
(43)获取步骤(1)中16位深度图像Di中所有像素的最后6位数据Dl，将数据Dl放入宽为Wd、高为Hd、位宽为8的深度图像Di3的高6位，将深度图像Di3的后2位置零；
(5)构建YUV格式的宽为Wres、高为
Figure BDA0002425468740000031
的混合图像Ires：
(51)根据RGBD相机数量n，确定混合图像Ires的宽Wres和高
Figure BDA0002425468740000032
使参数Wres和Hres满足
Figure BDA0002425468740000033
其中，Hres为YUV格式图像中Y通道图像的高度，*表示乘号，[]为取整函数；
(52)将CY′i、Di1和Di2组成宽为3*Wd、高为Hd图像块Pi，将多个图像块Pi组成宽为
Figure BDA0002425468740000034
高为Hd的图像块Qj，向混合图像Ires中填入
Figure BDA0002425468740000035
行图像块Qj，其中，i表示第i个RGBD相机，i∈[1,n]，j为图像块Qj的数量，
Figure BDA0002425468740000036
[]为取整函数；
(53)将多个图像CU′i组成宽为
Figure BDA0002425468740000041
高为Hd/2的图像块PU，将图像块PU填入混合图像Ires的Hres行0列之后的区域，将多个图像CV′i组成宽为
Figure BDA0002425468740000042
高为Hd/2的图像块PV，将图像块PV填入混合图像Ires的
Figure BDA0002425468740000043
行0列之后的区域，将图像Di3放入混合图像Ires的Hres行后的剩余空间，其中，i表示第i个RGBD相机，i∈[1,n]；
(6)使用视频编解码技术传输RGBD数据：
(61)使用视频编解码技术传输步骤(5)构建的YUV格式的混合图像Ires。
优选地，步骤(3)中所述的RGB格式转换为YUV格式公式为：
Figure BDA0002425468740000044
其中，R表示当前像素的RGB格式的R分量的数值，G表示当前像素的RGB格式序列的G分量的数值，B表示当前像素的RGB格式序列的B分量的数值，Y表示当前像素的YUV格式序列的Y分量的数值，U表示当前像素的YUV格式序列的U分量的数值，V表示当前像素的YUV格式序列的V分量的数值。
优选地，步骤(5)中所述的[]为取整函数表示不超过实数的最大整数部分。
本发明实施例提供的基于视频编解码技术的RGBD数据压缩传输方法，具有以下有益效果：
将彩色图像缩小到与深度图像一样的尺寸，减小了传输的数据量；将彩色图像从RGB格式转换为YUV格式，实现了在损失较小图像色彩的前提下，进一步减少了传输的数据量；将16位的深度图像分为三部分，并将每部分分别放在各自8位深度图像的高位，这样在图像进行编解码时可以避免对高位数据造成损失，减小了深度数据的误差，减小了单台RGBD相机所传输的三维数据，实现了同时传输多台RGBD相机产生的RGBD数据，有效地减小了传输的数据量，增加了传输深度图像的精准度，可以同时传输多台RGBD相机产生的三维数据，有效的提高从真实场景获取数据的完整程度。
具体实施方式
以下结合具体实施例对本发明作具体的介绍。
本发明提供的实施例提供的基于视频编解码技术的RGBD数据压缩传输方法包括以下步骤：
S101，确定n台RGBD相机位置并获取每台相机的彩色图像和深度图像：
S1011在使用场景中布置好n台RGBD相机，使n台RGBD相机能够覆盖使用场景中所有位置，获取每台RGBD相机的宽为Wc、高为Hc的彩色图像Ci和宽为Wd、高为Hd的16位深度图像Di，其中，n为大于1的自然数，i表示第i个RGBD相机，i∈[1,n]。
S102缩小彩色图像尺寸：
S1021缩小步骤S101中的彩色图像Ci的尺寸，获得宽为Wd、高为Hd的彩色图像C′i，其中，i表示第i个RGBD相机，i∈[1,n]。
S103将彩色图像C′i由RGB格式转换为YUV格式：
S1031将步骤S102中缩小后的彩色图像C′i中每个像素的R、G、B分量值代入RGB格式到YUV格式的转换公式，获得每个像素的Y、U、V分量；
S1032将彩色图像C′i中每个像素的Y分量组成宽为Wd、高为Hd的图像CY′i，将彩色图像C′i中每个像素的U分量组成宽为Wd/2高为Hd/2的图像CU′i，将彩色图像C′i中每个像素的V分量组成宽为Wd/2高为Hd/2的图像CV′i。
S104将深度图像Di拆分为与原图像尺寸相同的三个深度图像：
S1041获取步骤S101中16位深度图像Di中所有像素的高5位数据Dh，将Dh放入宽为Wd、高为Hd、位宽为8的深度图像Di1的高5位，将深度图像Di1的最后三位置零；
S1042获取步骤S101中16位深度图像Di中所有像素的第6到第10位数据Dm，将数据Dm放入宽为Wd、高为Hd、位宽为8的深度图像Di2的高5位，将深度图像Di2的最后三位置零；
S1043获取步骤S101中16位深度图像Di中所有像素的最后6位数据Dl，将数据Dl放入宽为Wd、高为Hd、位宽为8的深度图像Di3的高6位，将深度图像Di3的后2位置零。
S105构建YUV格式的宽为Wres、高为
Figure BDA0002425468740000061
的混合图像Ires：
S1051根据RGBD相机数量n，确定混合图像Ires的宽Wres和高
Figure BDA0002425468740000062
使参数Wres和Hres满足
Figure BDA0002425468740000063
其中，Hres为YUV格式图像中Y通道图像的高度，*表示乘号，[]为取整函数；
S1052将CY′i、Di1和Di2组成宽为3*Wd、高为Hd图像块Pi，将多个图像块Pi组成宽为
Figure BDA0002425468740000071
高为Hd的图像块Qj，向混合图像Ires中填入
Figure BDA0002425468740000072
行图像块Qj，其中，i表示第i个RGBD相机，i∈[1,n]，j为图像块Qj的数量，
Figure BDA0002425468740000073
[]为取整函数；
S1053将多个图像CU′i组成宽为
Figure BDA0002425468740000074
高为Hd/2的图像块PU，将图像块PU填入混合图像Ires的Hres行0列之后的区域，将多个图像CV′i组成宽为
Figure BDA0002425468740000075
高为Hd/2的图像块PV，将图像块PV填入混合图像Ires的
Figure BDA0002425468740000076
行0列之后的区域，将图像Di3放入混合图像Ires的Hres行后的剩余空间，其中，i表示第i个RGBD相机，i∈[1,n]；
S106使用视频编解码技术传输RGBD数据：
S1061使用视频编解码技术传输步骤S105构建的YUV格式的混合图像Ires。
其中，视频编解码技术被广泛用于视频的压缩传输中，视频编解码技术通过计算冗余信息减小传输视频流时所需的带宽，因此，使用视频编解码技术传输步骤S105构建的混合图像Ires，可以实现对三维数据进行压缩传输，常见的视频编解码技术有H.26x、MPEG-x和VPx等，在本发明实施例中，使用的视频编解码技术是基于VP8的WebRTC。
可选地，步骤S103中所述的RGB格式转换为YUV格式公式为：
Figure BDA0002425468740000081
其中，R表示当前像素的RGB格式的R分量的数值，G表示当前像素的RGB格式序列的G分量的数值，B表示当前像素的RGB格式序列的B分量的数值，Y表示当前像素的YUV格式序列的Y分量的数值，U表示当前像素的YUV格式序列的U分量的数值，V表示当前像素的YUV格式序列的V分量的数值。
可选地，步骤S105中所述的[]为取整函数表示不超过实数的最大整数部分。
本发明实施例提供的基于视频编解码技术的RGBD数据压缩传输方法，通过将彩色图像缩小到与深度图像一样的尺寸，减小了传输的数据量；将彩色图像从RGB格式转换为YUV格式，实现了在损失较小图像色彩的前提下，进一步减少了传输的数据量；将16位的深度图像分为三部分，并将每部分分别放在各自8位深度图像的高位，这样在图像进行编解码时可以避免对高位数据造成损失，减小了深度数据的误差，由于减小了单台RGBD相机所传输的三维数据，因此实现了同时传输多台RGBD相机产生的RGBD数据，减小了传输的数据量，增加了传输深度图像的精准度，可以同时传输多台RGBD相机产生的三维数据，有效的提高从真实场景获取数据的完整程度。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (3)

1.一种基于视频编解码技术的RGBD数据压缩传输方法，其特征在于，包括如下步骤：
(1)确定n台RGBD相机位置并获取每台相机的彩色图像和深度图像：
(11)在使用场景中布置好n台RGBD相机，使n台RGBD相机能够覆盖使用场景中所有位置，获取每台RGBD相机的宽为Wc、高为Hc的彩色图像Ci和宽为Wd、高为Hd的16位深度图像Di，其中，n为大于1的自然数，i表示第i个RGBD相机，i∈[1,n]；
(2)缩小彩色图像尺寸：
(21)缩小步骤(1)中的彩色图像Ci的尺寸，获得宽为Wd、高为Hd的彩色图像C′i，其中，i表示第i个RGBD相机，i∈[1,n]；
(3)将彩色图像C′i由RGB格式转换为YUV格式：
(31)将步骤(2)中缩小后的彩色图像C′i中每个像素的R、G、B分量值代入RGB格式到YUV格式的转换公式，获得每个像素的Y、U、V分量；
(32)将彩色图像C′i中每个像素的Y分量组成宽为Wd、高为Hd的图像CY′i，将彩色图像C′i中每个像素的U分量组成宽为Wd/2高为Hd/2的图像CU′i，将彩色图像C′i中每个像素的V分量组成宽为Wd/2高为Hd/2的图像CV′i；
(4)将深度图像Di拆分为与原图像尺寸相同的三个深度图像：
(41)获取步骤(1)中16位深度图像Di中所有像素的高5位数据Dh，将Dh放入宽为Wd、高为Hd、位宽为8的深度图像Di1的高5位，将深度图像Di1的最后三位置零；
(42)获取步骤(1)中16位深度图像Di中所有像素的第6到第10位数据Dm，将数据Dm放入宽为Wd、高为Hd、位宽为8的深度图像Di2的高5位，将深度图像Di2的最后三位置零；
(43)获取步骤(1)中16位深度图像Di中所有像素的最后6位数据Dl，将数据Dl放入宽为Wd、高为Hd、位宽为8的深度图像Di3的高6位，将深度图像Di3的后2位置零；
(5)构建YUV格式的宽为Wres、高为
Figure FDA0002425468730000021
的混合图像Ires：
(51)根据RGBD相机数量n，确定混合图像Ires的宽Wres和高
Figure FDA0002425468730000022
使参数Wres和Hres满足
Figure FDA0002425468730000023
其中，Hres为YUV格式图像中Y通道图像的高度，*表示乘号，[]为取整函数；
(52)将CY′i、Di1和Di2组成宽为3*Wd、高为Hd图像块Pi，将多个图像块Pi组成宽为
Figure FDA0002425468730000024
高为Hd的图像块Qj，向混合图像Ires中填入
Figure FDA0002425468730000025
行图像块Qj，其中，i表示第i个RGBD相机，i∈[1,n]，j为图像块Qj的数量，
Figure FDA0002425468730000026
[]为取整函数；
(53)将多个图像CU′i组成宽为
Figure FDA0002425468730000027
高为Hd/2的图像块PU，将图像块PU填入混合图像Ires的Hres行0列之后的区域，将多个图像CV′i组成宽为
Figure FDA0002425468730000028
高为Hd/2的图像块PV，将图像块PV填入混合图像Ires的
Figure FDA0002425468730000031
行0列之后的区域，将图像Di3放入混合图像Ires的Hres行后的剩余空间，其中，i表示第i个RGBD相机，i∈[1,n]；
(6)使用视频编解码技术传输RGBD数据：
(61)使用视频编解码技术传输步骤(5)构建的YUV格式的混合图像Ires。
2.根据权利要求1所述的基于视频编解码技术的RGBD数据压缩传输方法，其特征在于，步骤(3)中所述的RGB格式转换为YUV格式公式为：
Figure FDA0002425468730000032
其中，R表示当前像素的RGB格式的R分量的数值，G表示当前像素的RGB格式序列的G分量的数值，B表示当前像素的RGB格式序列的B分量的数值，Y表示当前像素的YUV格式序列的Y分量的数值，U表示当前像素的YUV格式序列的U分量的数值，V表示当前像素的YUV格式序列的V分量的数值。
3.根据权利要求1所述的基于视频编解码技术的RGBD数据压缩传输方法，其特征在于，步骤(5)中所述的[]为取整函数表示不超过实数的最大整数部分。
CN202010219148.XA 2020-03-25 2020-03-25 一种基于视频编解码技术的rgbd数据压缩传输方法 Pending CN111510729A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010219148.XA CN111510729A (zh) 2020-03-25 2020-03-25 一种基于视频编解码技术的rgbd数据压缩传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010219148.XA CN111510729A (zh) 2020-03-25 2020-03-25 一种基于视频编解码技术的rgbd数据压缩传输方法

Publications (1)

Publication Number Publication Date
CN111510729A true CN111510729A (zh) 2020-08-07

Family

ID=71878056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010219148.XA Pending CN111510729A (zh) 2020-03-25 2020-03-25 一种基于视频编解码技术的rgbd数据压缩传输方法

Country Status (1)

Country Link
CN (1) CN111510729A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509072A (zh) * 2020-11-24 2021-03-16 北京三快在线科技有限公司 一种图像格式的检测以及转换方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046207A1 (en) * 2006-12-18 2009-02-19 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US20130129245A1 (en) * 2011-11-18 2013-05-23 Canon Kabushiki Kaisha Compression of image data
CN104851109A (zh) * 2015-06-10 2015-08-19 宁波盈芯信息科技有限公司 一种高灰阶深度图像的表示方法
US20190037230A1 (en) * 2007-04-12 2019-01-31 Dolby Laboratories Licensing Corporation Tiling in video encoding and decoding
CN109600618A (zh) * 2018-12-19 2019-04-09 上海数迹智能科技有限公司 视频压缩方法、解压缩方法、装置、终端和介质
CN109615601A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种融合彩色与灰阶深度图像的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046207A1 (en) * 2006-12-18 2009-02-19 Emanuele Salvucci Multi-compatible low and high dynamic range and high bit-depth texture and video encoding system
US20190037230A1 (en) * 2007-04-12 2019-01-31 Dolby Laboratories Licensing Corporation Tiling in video encoding and decoding
US20130129245A1 (en) * 2011-11-18 2013-05-23 Canon Kabushiki Kaisha Compression of image data
CN104851109A (zh) * 2015-06-10 2015-08-19 宁波盈芯信息科技有限公司 一种高灰阶深度图像的表示方法
CN109615601A (zh) * 2018-10-23 2019-04-12 西安交通大学 一种融合彩色与灰阶深度图像的方法
CN109600618A (zh) * 2018-12-19 2019-04-09 上海数迹智能科技有限公司 视频压缩方法、解压缩方法、装置、终端和介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAZUNORI URUMA: "《Depth image coding algorithm via the colorization based image coding》", 《2016 IEEE 59TH INTERNATIONAL MIDWEST SYMPOSIUM ON CIRCUITS AND SYSTEMS (MWSCAS), 2016, PP. 1-4, DOI: 10.1109/MWSCAS.2016.7870156.》 *
PHILIPP MERKLE: "《Multi-View Video Plus Depth Representation and Coding》", 《2007 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, 2007, PP. I - 201-I - 204, DOI: 10.1109/ICIP.2007.4378926.》 *
何为: "《基于H.264的3D视频压缩和传输研究》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *
刘云鹏等: "面向3D呈现的有损和无损混合深度视频编码", 《光电子？激光》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112509072A (zh) * 2020-11-24 2021-03-16 北京三快在线科技有限公司 一种图像格式的检测以及转换方法及装置

Similar Documents

Publication Publication Date Title
EP3751857A1 (en) A method, an apparatus and a computer program product for volumetric video encoding and decoding
EP3275190B1 (en) Chroma subsampling and gamut reshaping
CN108028941B (zh) 用于通过超像素编码和解码数字图像的方法和装置
US11432009B2 (en) Techniques for encoding and decoding immersive video
EP3907995A1 (en) Chroma block prediction method and device
EP4085633A1 (en) An apparatus, a method and a computer program for volumetric video
CN115004230A (zh) 用于v-pcc的缩放参数
CN108810427B (zh) 基于视点的全景视频内容表示的方法及装置
JP2022519462A (ja) ホモグラフィ変換を使用した点群符号化
CN111510729A (zh) 一种基于视频编解码技术的rgbd数据压缩传输方法
CN101426139B (zh) 图像压缩装置
WO2021170906A1 (en) An apparatus, a method and a computer program for volumetric video
JP2018033127A (ja) ライトフィールド・コンテンツを表す信号を符号化する方法および装置
WO2023280266A1 (zh) 鱼眼图像压缩、鱼眼视频流压缩以及全景视频生成方法
CN117280680A (zh) 动态网格对齐的并行方式
US11974026B2 (en) Apparatus, a method and a computer program for volumetric video
US10257488B2 (en) View synthesis using low resolution depth maps
CN114945945A (zh) 在点云译码中指示摄像机参数
CN118037870B (zh) 一种兼容Zdepth的并行化深度图像压缩算法、装置及终端设备
WO2022257143A1 (zh) 帧内预测、编解码方法及装置、编解码器、设备、介质
CN107124614B (zh) 一种具有超高压缩比的图像数据压缩方法
KR20230026989A (ko) 알파 층들을 사용한 3d 장면 송신
JP2024516550A (ja) ティアリング変換による学習ベースの点群圧縮
KR20230082542A (ko) 플렌옵틱 포인트 클라우드의 속성 정보 압축 방법 및 장치
WO2021165566A1 (en) An apparatus, a method and a computer program for volumetric video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807

RJ01 Rejection of invention patent application after publication