CN112188201A - 对视频流进行编码的方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种对视频流进行编码的方法、装置、电子设备及存储介质，所述方法包括：获取输入点云；根据所述点云的点生成补丁；将所述补丁打包到图像中；使用Morton代码来平滑所述图像；以及根据所述图像生成所述视频流。

Description

对视频流进行编码的方法、装置、电子设备及存储介质

交叉引用

本申请要求于2019年7月3日提交第62/870,648号美国临时申请以及2020年6月29日在美国专利和商标局提交的第16/915,385号美国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本公开涉及一组高级视频编解码技术，具体地涉及基于视频的点云压缩。

背景技术

世界的高级三维(3D)表示正在实现更多的沉浸式交互和通信形式。它们还可以使机器理解、解释和导航我们的世界。已经将点云广泛地用作世界的3D表示。已经识别出了与点云数据相关联的若干用例，并且已经开发了对点云表示和压缩的一些相应要求。

点云可以是3D空间中的一组点，每个点具有相关联的属性，例如颜色、材料属性等。点云可以用于将对象或场景重建为这些点的组合。点云可以在各种设置中使用多个照相机和深度传感器来采集，并且由数千到数十亿个点组成，以便逼真地表示重建的场景。

需要压缩技术来减少表示点云所需的数据量。因此，在实时通信和六自由度(DoF:Degrees of Freedom)虚拟现实中需要使用点云的有损压缩的技术。此外，在自动驾驶和文化遗产应用的动态映射环境中，寻求无损点云压缩技术。MPEG已经开始研究一种标准来解决几何信息(geometry)和属性(例如颜色和反射率)的压缩、可缩放/渐进编解码、随时间采集的点云序列的编解码以及对点云的子集的随机访问。

在传统的点云编解码技术中，可以根据最近邻规则来收集遗漏点，以创建遗漏点补丁。为了使用最近的邻居，编码器可以创建k维(kd:k-dimensional)树，kd树通常不是缓存友好型的。因此，如何提供一种点云编码方法来避免编码器所创建的kd树造成的占用较大高速缓冲存储器，进而造成较大的编解码损失的问题，是当前亟需解决的问题。

所提供的本公开提供了该问题的解决方案。

发明内容

本申请实施例提供一种对视频流进行编码的方法、装置、电子设备及存储介质。

本申请实施例提供的对视频流进行编码的方法包括：获取输入点云；根据所述输入点云的点生成补丁；将所述补丁打包成图像；使用Morton代码平滑所述图像；以及根据所述图像生成所述视频流。

本申请实施例还提供一种对视频流进行编码的装置，包括：获取模块，用于获取点云；第一生成模块，用于根据所述输入点云的点来生成补丁；打包模块，用于将所述补丁打包成图像；平滑模块，用于使用Morton代码来平滑所述图像；以及第二生成模块，用于根据所述图像来生成所述视频流。

本申请实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。

本申请实施例还提供一种非易失性计算机可读介质，存储使用视频点云编解码对视频流进行编码的计算机指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行本申请实施例所述的方法。

通过本申请实施例的技术方案，使用莫顿代码来收集丢失的点以创建补丁,由于莫顿代码是缓存友好的，也即占用缓存较小的，并且明显快于Kd树，这样可以以相对较小的编解码损失为代价来实现编码视频流的编解码。

附图说明

根据以下具体实施方式和附图，所公开的主题的其他的特征、性质和各种优点将更加显而易见，其中：

图1是根据实施例的通信系统的简化框图的示意图。

图2是根据实施例的流式传输系统的简化框图的示意图。

图3是根据实施例的视频编码器的简化框图的示意图。

图4是根据实施例的视频解码器的简化框图的示意图。

图5示出根据实施例的几何图像的示例。

图6示出根据实施例的纹理图像的示例。

图7是示出由实施例执行的过程的流程图。

图8是示出根据实施例的设备的示意图。

图9是适于实现各实施例的计算机系统的示意图。

具体实施方式

基于视频的点云压缩(V-PCC:Video-Based Point Cloud Compression)背后的考虑是利用现有视频编码器来将动态点云的几何信息、占用率和纹理压缩为三个单独的视频序列。将解释三个视频序列所需的额外元数据分别进行压缩。整个比特流的一小部分是元数据，其可以使用软件实现来进行有效地编码/解码。大量信息可以由视频编码器处理。

参考图1至图4，描述了用于实现本公开的编码和解码结构的本公开的实施例。本公开的编码和解码结构可以实现上述V-PCC的各方面。

图1示出了根据本公开的实施例的通信系统100的简化框图。通信系统100可包括通过网络150互连的至少两个终端110和120。对于数据的单向传输，第一终端110在本地位置处对视频数据进行编码，以通过网络150传输到另一个终端120。第二终端120从网络150接收另一个终端的已编码视频数据，对已编码数据进行解码并显示恢复的视频数据。单向数据传输在媒体服务应用等中是较为常见的。

图1还示出了执行已编码视频数据的双向传输的第二对终端装置，第三终端130和第四终端140，所述双向传输可例如在视频会议期间发生。对于双向数据传输，第三终端130和第四终端140中的每个终端可对在本地位置采集的视频数据进行编码，以通过网络150传输到其他终端。第三终端130和第四终端140中的每个终端还可接收由其他终端传输的已编码视频数据，且可对所述已编码视频数据进行解码，且可在本地显示装置上显示恢复的视频数据。

在图1的实施例中，第一终端110、第二终端120、第三终端130和第四终端140可以是例如服务器、个人计算机和智能电话和/或任何其它类型的终端。例如，第一终端110、第二终端120、第三终端130和第四终端140可以是膝上型计算机、平板计算机、媒体播放器和/或专用视频会议设备。网络150表示在第一终端110、第二终端120、第三终端130和第四终端140之间传送已编码视频数据的任何数目的网络，包括例如有线(连线的)和/或无线通信网络。通信网络150可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络150的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。

作为实施例，图2示出视频编码器和视频解码器在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。

如图2所示，流式传输系统200可以包括采集子系统213，所述采集子系统213包括视频源201和编码器203。流式传输系统200可以进一步包括至少一个流式传输服务器205和/或至少一个流式传输客户端206。

视频源201可以创建例如包括对应于3D视频的3D点云的流202。视频源201可以包括3D传感器(例如深度传感器)或3D成像技术(例如数码相机)，以及用于通过使用从3D传感器或3D成像技术接收的数据来生成3D点云的计算设备。相较于已编码视频比特流，将样本流202具有较高数据量，样本流202可以由耦合到视频源201的编码器203处理。编码器203可包括硬件、软件或其组合，以实现或实施下文更详细地描述的所公开的主题的各方面。编码器203还可以生成已编码视频比特流204。与未压缩流202相比，已编码视频比特流204具有较低数据量，可以将已编码视频比特流204存储在流式传输服务器205上以供将来使用。至少一个流式传输客户端206可以访问流式传输服务器205以检索视频比特流209，该视频比特流209可以是已编码视频比特流204的副本。

流式传输客户端206可以包括视频解码器210和显示器212。视频解码器210可以对作为已编码视频比特流204的输入副本的视频比特流209进行解码，并且创建可以在显示器212或另一呈现设备(未描绘)上渲染的输出视频样本流211。在一些流式传输系统中，可以根据某些视频编解码/压缩标准对视频比特流204、209进行编解码。这种标准的示例包括但不限于ITU-T建议H.265、下一代视频编解码(VVC:Versatile Video Coding)和MPEG/V-PCC。

参考图3至图4，下面描述由本公开的实施例执行的V-PCC的一些方面。

图3示出根据本公开的实施例的视频编码器203的示例性功能框图。

如图3所示，视频编码器203可以接收点云帧350，并生成几何图像352、纹理图像356和基于点云帧350的占用率图(Occupancy Map)334。视频编码器203可以将几何图像352压缩成压缩的几何图像362，将纹理图像356压缩成压缩的纹理图像364，以及将占用率图334压缩成压缩的占用率图372。视频编码器203的多路复用器328可以形成压缩的比特流374，所述压缩的比特流374包括压缩的几何图像362、压缩的纹理图像364和压缩的占用率图372。

更具体地，在实施例中，视频编码器203可以包括将点云帧350分割成补丁的补丁生成模块302。补丁是V-PCC的有用实体。补丁生成过程包括将点云帧350分解成具有平滑边界的最小数量的补丁，同时还使重建误差最小化。本公开的编码器可实施各种方法来执行此分解。

视频编码器203可以包括执行打包过程的补丁打包模块304。打包过程包括将提取的补丁映射到2D网格上，同时使未使用空间最小化并保证网格的每个M×M(例如，16×16)块与唯一的补丁相关联。有效的补丁打包通过使未使用空间最小化或确保时间一致性来直接影响压缩效率。补丁打包模块304可以生成占用率图334。

视频编码器203可以包括几何图像生成模块306和纹理图像生成模块308。为了更好地处理多个点被投影到相同样本的情况，每个补丁可以被投影到被称为层的两个图像上。例如，几何图像生成模块306和纹理图像生成模块308可以利用在补丁打包模块304的打包过程期间计算出的3D到2D的映射，来将点云的几何信息和纹理存储为图像(又名“层”)。可以根据提供的作为参数的配置，将生成的图像/层存储为视频帧，并使用视频编解码器(例如，HM视频编解码器)对其进行压缩。

在实施例中，基于输入点云帧350和占用率图334，几何图像生成模块306生成几何图像352并且纹理图像生成模块308生成纹理图像356。几何图像352的示例在图5中示出，纹理图像356的示例在图6中被示出。在实施例中，几何图像352可以由YUV420-8位格式的单色WxH帧表示。在实施例中，占用图334图像由二进制图组成，该二进制图指示网格的每个单元属于空白空间还是属于点云。为了生成纹理图像356，纹理图像生成模块308可以利用重建/平滑的几何信息358来计算与重新采样的点相关联的颜色。

视频编码器203还可以包括图像填充模块314和图像填充模块316，用于分别填充几何图像352和纹理图像356，以形成填充的几何图像354和填充的纹理图像360。图像填充(又名“背景填充”)简单地用冗余信息填充图像的未使用空间。良好的背景填充是一种最低限度地增加比特率而不在补丁边界周围引入显著编解码失真的填充。图像填充模块314和图像填充模块316可以使用占用率图334来分别形成填充的几何图像354和填充的纹理图像360。在实施例中，视频编码器203可以包括群组扩张模块320以形成填充的纹理图像360。群组扩张模块320可被用于，例如，确保各个帧的补丁之间的空间一致性。

视频编码器203可以包括视频压缩模块322和视频压缩模块324，用于将填充的几何图像354和填充的纹理图像360分别压缩为压缩的几何图像362和压缩的纹理图像364。

视频编码器203可以包括用于占用率图334的无损编码366的熵压缩模块318，以及用于占用率图334的有损编码368的视频压缩模块326。无损编码366和有损编码368之间的切换状态可以根据例如输入点云350的比特率或比特流374的比特率来确定。

在实施例中，视频编码器203可以包括平滑模块310，用于通过使用重建的几何图像365以及补丁信息332来生成平滑的几何信息358，所述重建的几何图像365由视频压缩模块322提供。平滑模块310的平滑过程旨在减轻由于压缩伪像而在补丁边界处出现的潜在不连续性。平滑的几何信息358可由纹理图像生成模块308用来生成纹理图像356。

视频编码器203还可以包括辅助补丁信息压缩模块312，用于形成压缩的辅助补丁信息370，所述压缩的辅助补丁信息370由多路复用器328在压缩的比特流374中提供。

图4示出根据本公开的实施例的视频解码器210的示例性功能框图。

如图4所示，视频解码器210可以从视频编码器203接收已编码比特流374，以获取压缩的纹理图像362、压缩的几何图像364、压缩的占用率图372和压缩的辅助补丁信息370。视频解码器210可以对压缩的纹理图像362、压缩的几何图像364、压缩的占用率图372和压缩的辅助补丁信息370进行解码，以分别获取解压缩的纹理图像460、解压缩的几何图像462、解压缩的占用率图464和解压缩的辅助补丁信息466。接下来，视频解码器210可以根据解压缩的纹理图像460、解压缩的几何图像462、解压缩的占用率图464和解压缩的辅助补丁信息466来生成重建的点云474。

在实施例中，视频解码器210可以包括解复用器(demultiplexer)402，其分离所接收到的压缩的比特流374中的压缩的纹理图像362、压缩的几何图像364、压缩的占用率图372和压缩的辅助补丁信息370。

视频解码器210可以包括视频解压缩模块404、视频解压缩模块406、占用率图解压缩模块408和辅助补丁信息解压缩模块410，这些模块分别对压缩的纹理图像362、压缩的几何图像364、压缩的占用图372和压缩的辅助补丁信息370进行解码。

视频解码器210可以包括几何重建模块412，其根据解压缩的几何图像462、解压缩的占用率图464和解压缩的辅助补丁信息466，获取重建的(三维)几何信息468。

视频解码器210可以包括平滑模块414，其可以平滑重建的几何信息(geometry)468以获取平滑的几何形状470。平滑过程旨在减轻由于压缩伪像而在补丁边界处出现的潜在不连续性。

视频解码器210可以包括纹理重建模块416，用于根据解压缩的纹理图像460和平滑的几何信息470获取重建的纹理472。

视频解码器210可以包括颜色平滑模块418，其可以平滑重建的纹理472的颜色以获取重建的点云474。3D空间中的非相邻补丁在2D视频中通常彼此相邻地进行打包。这意味着基于块的视频编码器可以对来自非相邻补丁的像素值进行混合。颜色平滑模块418的颜色平滑旨在减少出现在补丁边界处的可见伪像。

如上所述，补丁生成过程可以包括将点云帧350分解成具有平滑边界的最小数量的补丁，同时还使重建误差最小化。具有平滑边界的分解可涉及使用Z阶曲线、Lebesgue曲线、莫顿(Morton)空间填充曲线、Morton阶曲线或Morton代码映射/映射来收集丢失/遗漏点以创建补丁，例如脉冲编码调制(Pulse Code Modulation,PCM)补丁。这里，Morton代码可以是缓存友好的，并且至少在该上下文中，明显快于Kd树。这可以以相对较小的编解码损失为代价来实现。

图7是根据实施例的使用视频点云编解码来编码视频流的方法700的流程图。在一些实施方案中，图7的一个或多个过程块可以由编码器203执行。在一些实施方案中，图7的至少一个过程块可以由与编码器203分离或包括编码器203的另一设备或一组设备来执行，诸如解码器210。

如图7所示，在操作710中，方法700可以包括获取输入点云。

如图7所示，在操作720中，方法700可以包括根据点云的点生成补丁。

如图7所示，在操作730中，方法700可以包括将补丁打包成图像。

如图7所示，在操作740中，方法700可以包括使用Morton代码来平滑图像。

如图7所示，在操作750中，方法700可以包括根据图像生成视频流。

在一个实施例中，方法700可以使得图像的平滑包括生成图像数据，以补偿遗漏点，所述遗漏点包括在输入点云中而不包括在补丁中。

在一个实施例中，方法700可以使得点云是动态点云。

在一个实施例中，方法700可以使得平滑包括几何平滑。

在一个实施例中，方法700可以使得平滑包括颜色平滑。

在一个实施例中，方法700可以使得平滑包括几何和颜色平滑。

在一个实施例中，方法700可以使得平滑包括几何和颜色平滑，并且点云是动态点云。

在一个实施例中，方法700可以使得平滑包括几何平滑，并且点云是动态点云。

在一个实施例中，方法700可以使得平滑包括颜色平滑，并且点云是动态点云。

在一个实施例中，方法700可以使得平滑被配置为使用比使用Kd树的平滑过程更少的高速缓冲存储器。

尽管图7示出了方法700的示例方框，但是在一些实施方案中，方法700可包括相比图7中描绘的那些方框更多的方框、更少的方框、不同的方框或不同布置的方框。附加地或可替代地，可以并行执行方法700的框中的两个或更多个框。

通过本申请实施例的技术方案，由于Morton代码是缓存友好的，也即占用缓存较小的，并且明显快于Kd树，这样可以以相对较小的编解码损失为代价来实现编码视频流的编解码。

图8是根据实施例的对视频流进行编码的装置800的图，所述视频流是使用视频点云编解码来进行编码的。如图8所示，装置800包括获取模块810、第一生成模块820、打包模块830、平滑模块840和第二生成模块850。

获取模块810用于获取点云。

第一生成模块820用于根据点云的点来生成补丁。

打包模块830用于将补丁打包成图像。

平滑模块840用于使用Morton代码来平滑图像。

第二生成模块850用于根据图像生成视频流。

上述技术可以通过计算机可读指令实现为计算机软件，并且物理地存储在一个或多个计算机可读介质中。例如，图9示出了计算机系统900，其适于实现本公开的某些实施例。

所述计算机软件可通过任何合适的机器代码或计算机语言进行编码，通过汇编、编译、链接等机制创建包括指令的代码，所述指令可由计算机中央处理单元(CPU)，图形处理单元(GPU)等直接执行或通过译码、微代码等方式执行。

所述指令可以在各种类型的计算机或其组件上执行，包括例如个人计算机、平板电脑、服务器、智能手机、游戏设备、物联网设备等。

图9所示的用于计算机系统900的组件本质上是示例性的，并不用于对实现本申请实施例的计算机软件的使用范围或功能进行任何限制。也不应将组件的配置解释为与计算机系统900的非限制性实施例中所示的任一组件或其组合具有任何依赖性或要求。

计算机系统900可以包括某些人机界面输入设备。这种人机界面输入设备可以通过触觉输入(如：键盘输入、滑动、数据手套移动)、音频输入(如：声音、掌声)、视觉输入(如：手势)、嗅觉输入(未示出)，对一个或多个人类用户的输入做出响应。所述人机界面设备还可用于捕获某些媒体，气与人类有意识的输入不必直接相关，如音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静止影像相机获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。

人机界面输入设备可包括以下中的一个或多个(仅绘出其中一个)：键盘901、鼠标902、触控板903、触摸屏910、数据手套、操纵杆905、麦克风906、扫描仪907、照相机908。

计算机系统900还可以包括某些人机界面输出设备。这种人机界面输出设备可以通过例如触觉输出、声音、光和嗅觉/味觉来刺激一个或多个人类用户的感觉。这样的人机界面输出设备可包括触觉输出设备(例如通过触摸屏910、数据手套或操纵杆905的触觉反馈，但也可以有不用作输入设备的触觉反馈设备)、音频输出设备(例如，扬声器909、耳机(未示出))、视觉输出设备(例如，包括阴极射线管屏幕、液晶屏幕、等离子屏幕、有机发光二极管屏的屏幕910，其中每一个都具有或没有触摸屏输入功能、每一个都具有或没有触觉反馈功能——其中一些可通过诸如立体画面输出的手段输出二维视觉输出或三维以上的输出；虚拟现实眼镜(未示出)、全息显示器和放烟箱(未示出))以及打印机(未示出)。

计算机系统900还可以包括人可访问的存储设备及其相关介质，如包括具有CD/DVD的高密度只读/可重写式光盘(CD/DVD ROM/RW)920或类似介质921的光学介质、拇指驱动器922、可移动硬盘驱动器或固体状态驱动器923，诸如磁带和软盘(未示出)的传统磁介质，诸如安全软件保护器(未示出)等的基于ROM/ASIC/PLD的专用设备，等等。

本领域技术人员还应当理解，结合所公开的主题使用的术语“计算机可读介质”不包括传输介质、载波或其它瞬时信号。

计算机系统900还可以包括通往一个或多个通信网络的接口。例如，网络可以是无线的、有线的、光学的。网络还可为局域网、广域网、城域网、车载网络和工业网络、实时网络、延迟容忍网络等等。网络还包括以太网、无线局域网、蜂窝网络(GSM、3G、4G、5G、LTE等)等局域网、电视有线或无线广域数字网络(包括有线电视、卫星电视、和地面广播电视)、车载和工业网络(包括CANBus)等等。某些网络通常需要外部网络接口适配器，用于连接到某些通用数据端口或外围总线949(例如，计算机系统900的USB端口)；其它系统通常通过连接到如下所述的系统总线集成到计算机系统900的核心(例如，以太网接口集成到PC计算机系统或蜂窝网络接口集成到智能电话计算机系统)。通过使用这些网络中的任何一个，计算机系统900可以与其它实体进行通信。所述通信可以是单向的，仅用于接收(例如，无线电视)，单向的仅用于发送(例如CAN总线到某些CAN总线设备)，或双向的，例如通过局域或广域数字网络到其它计算机系统。该通信可以包括与云计算环境955的通信。上述的每个网络和网络接口可使用某些协议和协议栈。

上述的人机界面设备、人可访问的存储设备以及网络接口954可以连接到计算机系统900的核心940。

核心940可包括一个或多个中央处理单元(CPU)941、图形处理单元(GPU)942、以现场可编程门阵列(FPGA)943形式的专用可编程处理单元、用于特定任务的硬件加速器944等。这些设备以及只读存储器(ROM)945、随机存取存储器946、内部大容量存储器(例如内部非用户可存取硬盘驱动器、固态硬盘等)947等可通过系统总线948进行连接。在某些计算机系统中，可以以一个或多个物理插头的形式访问系统总线948，以便可通过额外的中央处理单元、图形处理单元等进行扩展。外围装置可直接附接到核心的系统总线948，或通过外围总线949进行连接。外围总线的体系结构包括外部控制器接口PCI、通用串行总线USB等。图形适配器950可以包括在核心940中。

CPU 941、GPU 942、FPGA 943和加速器944可以执行某些指令，这些指令组合起来可以构成上述计算机代码。该计算机代码可以存储在ROM 945或RAM 946中。过渡数据也可以存储在RAM 946中，而永久数据可以存储在例如内部大容量存储器947中。通过使用高速缓冲存储器可实现对任何存储器设备的快速存储和检索，高速缓冲存储器可与一个或多个CPU 941、GPU 942、大容量存储器947、ROM 945、RAM 946等紧密关联。

所述计算机可读介质上可具有计算机代码，用于执行各种计算机实现的操作。介质和计算机代码可以是为本申请的目的而特别设计和构造的，也可以是计算机软件领域的技术人员所熟知和可用的介质和代码。

作为实施例而非限制，具有体系结构900的计算机系统，特别是核心940，可以作为处理器(包括CPU、GPU、FPGA、加速器等)提供执行包含在一个或多个有形的计算机可读介质中的软件的功能。这种计算机可读介质可以是与上述的用户可访问的大容量存储器相关联的介质，以及具有非易失性的核心940的特定存储器，例如核心内部大容量存储器947或ROM945。实现本申请的各种实施例的软件可以存储在这种设备中并且由核心940执行。根据特定需要，计算机可读介质可包括一个或一个以上存储设备或芯片。该软件可以使得核心940特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文所述的特定过程或特定过程的特定部分，包括定义存储在RAM 946中的数据结构以及根据软件定义的过程来修改这种数据结构。另外或作为替代，计算机系统可以提供逻辑硬连线或以其它方式包含在电路(例如，加速器944)中的功能，该电路可以代替软件或与软件一起运行以执行本文所述的特定过程或特定过程的特定部分。在适当的情况下，对软件的引用可以包括逻辑，反之亦然。在适当的情况下，对计算机可读介质的引用可包括存储执行软件的电路(如集成电路(IC))，包含执行逻辑的电路，或两者兼备。本申请包括任何合适的硬件和软件组合。

虽然本申请已对多个非限制性的实施例进行了描述，但实施例的各种变更、排列和各种等同替换均属于本申请的范围内。因此应理解，本领域技术人员能够设计多种系统和方法，所述系统和方法虽然未在本文中明确示出或描述，但其体现了本申请的原则，因此属于本申请的精神和范围之内。

Claims (15)

1.一种对视频流进行编码的方法，其特征在于，所述方法包括：

获取输入点云；

根据所述输入点云的点生成补丁；

将所述补丁打包成图像；

使用Morton代码平滑所述图像；以及

根据所述图像生成所述视频流。

2.根据权利要求1所述的方法，其特征在于，所述平滑所述图像包括：生成图像数据，以补偿遗漏点，所述遗漏点包括在所述输入点云中但不包括在所述补丁中。

3.根据权利要求1所述的方法，其特征在于，所述点云是动态点云。

4.根据权利要求1所述的方法，其特征在于，所述平滑包括几何平滑。

5.根据权利要求1所述的方法，其特征在于，所述平滑包括颜色平滑。

6.根据权利要求1所述的方法，其特征在于，所述平滑包括几何和颜色平滑。

7.根据权利要求1所述的方法，其特征在于，所述平滑包括几何和颜色平滑，并且所述点云是动态点云。

8.根据权利要求1所述的方法，其特征在于，所述平滑包括几何平滑，并且所述点云是动态点云。

9.根据权利要求1所述的方法，其特征在于，所述平滑包括颜色平滑，并且所述点云是动态点云。

10.根据权利要求1所述的方法，其特征在于，所述平滑使用的高速缓冲存储器少于使用K维树的平滑过程。

11.一种对视频流进行编码的装置，其特征在于，所述装置包括：

获取模块，用于获取点云；

第一生成模块，用于根据所述输入点云的点来生成补丁；

打包模块，用于将所述补丁打包成图像；

平滑模块，用于使用Morton代码来平滑所述图像；以及

第二生成模块，用于根据所述图像来生成所述视频流。

12.根据权利要求11所述的装置，其特征在于，所述平滑模块用于生成图像数据，以补偿遗漏点，所述遗漏点包括在所述点云中但不包括在所述生成的补丁中。

13.根据权利要求11所述的装置，其特征在于，所述点云是动态点云。

14.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-10任一项所述的方法。

15.一种非易失性计算机可读介质，其特征在于，存储使用视频点云编解码对视频流进行编码的计算机指令，所述指令在由至少一个处理器执行时，使所述至少一个处理器执行如权利要求1-10任一项所述的方法。

Images