CN110675315A - 点云拼贴处理方法及装置 - Google Patents

点云拼贴处理方法及装置 Download PDF

Info

Publication number
CN110675315A
CN110675315A CN201910593304.6A CN201910593304A CN110675315A CN 110675315 A CN110675315 A CN 110675315A CN 201910593304 A CN201910593304 A CN 201910593304A CN 110675315 A CN110675315 A CN 110675315A
Authority
CN
China
Prior art keywords
collage
point cloud
collages
image
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910593304.6A
Other languages
English (en)
Inventor
蔡懿婷
林俊隆
林敬杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
INSTITUTE OF INDUSTRIAL TECHNOLOGY
Industrial Technology Research Institute ITRI
Original Assignee
INSTITUTE OF INDUSTRIAL TECHNOLOGY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by INSTITUTE OF INDUSTRIAL TECHNOLOGY filed Critical INSTITUTE OF INDUSTRIAL TECHNOLOGY
Publication of CN110675315A publication Critical patent/CN110675315A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

一种点云拼贴处理方法及装置，所述装置包括输入输出装置、储存装置及处理器。其中，输入输出装置用以接收点云的比特串流。储存装置用以储存记录多个方向所对应的索引的索引表。处理器耦接输入输出装置与储存装置，经执行程序以将点云的比特串流解多工为拼贴图像及其中多个拼贴所对应的索引，利用索引查询索引表以获得各个拼贴的方向，并依此方向转换拼贴图像以还原点云的多个拼贴，以及利用还原后的拼贴重建点云。

Description

点云拼贴处理方法及装置
技术领域
本发明是有关于图像处理方法及装置，且特别是有关于一种点云拼贴处理方法及装置。
背景技术
目前大多数用来表示现实世界中视觉元件的方法都是将相机的输出用某种动画专家群组(Motion Picture Experts Group，MPEG)视频编码标准压缩以进行传送及储存，最后由播放器将其解码以显示在平面显示器上。现在愈来愈多的装置能够撷取并显示现实世界的三维立体(3D)图像。点云是三维空间中多个点的集合，每一点都包含有三维坐标，有些点可包含有图像的属性值，例如颜色、材质、反射面强度或其他属性。点云可用来将对象或场景重建为这些点的构成。
例如，近年来在娱乐产业中非常流行的虚拟现实(Virtual Reality，VR)和增强现实(Augmented Reality，AR)的应用，即可应用点云的数据点来呈现VR和AR的3D对象。然而，为了忠实呈现出所要重建的场景，点云依不同设定可能会包括由多个相机及深度传感器所撷取的数千至数十亿个点。因此，有必要使用压缩技术来减少用以表示点云的数据量，以确保高质量和高速的视频传输。
发明内容
有鉴于此，本发明提供一种点云拼贴处理方法及装置，其可改善点云压缩的编码效率，确保高质量和高速的视频传输。
本发明一实施例的点云拼贴处理装置，其包括输入输出装置、储存装置及处理器。其中，输入输出装置用以接收点云数据。储存装置用以储存记录有多个方向所对应的索引的索引表。处理器耦接输入输出装置及储存装置，经执行程序以产生点云的多个拼贴(patch)，其中点云包括三维空间中的多个点，各个拼贴对应于点云的一部分，决定各个拼贴适于产生拼贴图像的方向，并依所决定方向转换各个拼贴以产生拼贴图像，以及将拼贴图像封装并记录各个拼贴的方向所对应的索引。
本发明一实施例的点云拼贴处理装置，其包括输入输出装置、储存装置及处理器。其中，输入输出装置用以接收点云的比特串流。储存装置用以储存记录有多个方向所对应的索引的索引表。处理器耦接输入输出装置及储存装置，经执行程序以将比特串流解多工为拼贴图像及其中多个拼贴所对应的索引，利用索引查询索引表以获得各个拼贴的方向，并依此方向转换并投影拼贴图像以还原点云的多个拼贴，以及利用还原后的拼贴重建点云。
本发明一实施例的点云拼贴处理方法，适用于具有处理器的解码器。此方法包括将点云的比特串流解多工为拼贴图像及其中多个拼贴所对应的索引，利用索引查询索引表以获得各个拼贴的方向，并依此方向转换拼贴图像以还原点云的多个拼贴，以及利用还原后的拼贴重建点云。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依照本发明一实施例所绘示的点云拼贴处理装置的方块图。
图2是依照本发明一实施例所绘示的点云拼贴处理方法的流程图。
图3是依照本发明一实施例所绘示的点云拼贴处理方法的范例。
图4A及图4B是依照本发明一实施例所绘示的拼贴投影方式的范例。
图5是依照本发明一实施例所绘示的藉由旋转及平移拼贴以产生拼贴图像的范例。
图6是依照本发明一实施例所绘示的点云拼贴处理方法的详细流程图。
图7是依照本发明一实施例所绘示的点云拼贴处理装置的方块图。
图8是依照本发明一实施例所绘示的点云拼贴处理方法的流程图。
图9是依照本发明一实施例所绘示的点云拼贴处理方法的详细流程图。
图10是依照本发明一实施例所绘示的点云拼贴处理方法的流程图。
图11是依照本发明一实施例所绘示的点云拼贴处理方法的流程图。
符号说明
10、70：点云拼贴处理装置
12、72：输入输出装置
14、74：储存装置
16、76：处理器
30：对象
30a～30f、32、52a、52b、52c、54a、54b、54c：拼贴
34a：纹理图像
34b：几何图像
52：54：拼贴图像
201～203、601～611、801～803、901～908、1001～1004、1101～1112：步骤
具体实施方式
本发明的点云拼贴处理方法在编码时允许点云的各个拼贴(patch)使用不同的投影方式，并利用额外的信息来指示每个拼贴所使用的投影方式，使得解码器可依据此信息所指示的投影方式来还原拼贴并重建点云。藉此，可改善点云压缩的编码效率，并确保高质量和高速的视频传输。
图1是依照本发明一实施例所绘示的点云拼贴处理装置的方块图。请参照图1，本实施例的点云拼贴处理装置10例如是具备运算功能的相机、摄影机、手机、个人计算机、虚拟现实装置、增强现实装置、云端服务器或其他装置，其例如是作为编码器来执行本发明实施例的点云拼贴处理方法。点云拼贴处理装置10中至少包括输入输出装置12、储存装置14及处理器16，其功能分述如下：
输入输出装置12例如是通用串行总线(Universal Serial Bus，USB)、RS232、蓝牙(Bluetooth，BT)、无线相容认证(Wireless fidelity，Wi-Fi)等有线或无线的传输接口，其是用以接收由相机、摄影机等图像来源装置所提供的点云数据，并输出经处理后的视频串流。在一实施例中，输入输出装置12亦可包括支持以太网络(Ethernet)或是支持802.11g、802.11n、802.11ac等无线网络标准的网络卡，使得点云拼贴处理装置10可连接网络并经由网络输入及输出数据。
储存装置14例如是任何型态的固定式或可移动式随机存取存储器(RandomAccess Memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘或类似元件或上述元件的组合，而用以储存可由处理器16执行的程序。在一实施例中，储存装置14例如还储存记录有多个方向所对应索引的索引表。
处理器16耦接输入输出装置12与储存装置14，其例如是中央处理单元(CentralProcessing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、可编程逻辑控制器(Programmable Logic Controller，PLC)或其他类似装置或这些装置的组合，而可加载并执行储存装置14中储存的程序，以执行本发明实施例的点云拼贴处理方法。
图2是依照本发明一实施例所绘示的点云拼贴处理方法的流程图。请同时参照图1及图2，本实施例的方法适用于上述点云拼贴处理装置10，以下即搭配点云拼贴处理装置10的各项元件说明本实施例的点云拼贴处理方法的详细步骤。
首先，在步骤201中，由处理器16产生点云的多个拼贴。其中，点云包括三维空间中的多个点，每一个点均包括可用以定义其几何位置的几何信息以及可用以定义其颜色、反光度、透明度等属性的属性信息。各个拼贴对应于点云的一部分，其例如是包括彼此表面法向量的偏差小于阀值的多个点的集合。
在步骤202中，由处理器16决定各个拼贴适于产生拼贴图像的方向，并依所决定的方向转换各个拼贴以产生拼贴图像。在一些实施例中，处理器16例如是采用空间最密、相似度比对、画面内预测(Intra Prediction)或画面间预测(Inter Prediction)等算法来判断各个拼贴适于产生拼贴图像的方向。
详言之，在一实施例中，处理器16例如会比较各个拼贴中多个色块的位置及大小，以计算拼贴之间色块的相似度，而据以决定各个拼贴在拼贴图像中的位置。其中，处理器16例如会将各个拼贴投影至不同方向，并使用投影至不同方向的拼贴来计算相似度，从中决定各个拼贴适于产生拼贴图像的方向。在其他实施例中，处理器16可使用投影至不同方向的拼贴来进行画面内预测或画面间预测，以找出具有较佳编码效率的组合，从而决定各个拼贴适于产生拼贴图像的方向，本实施例不限定投影方向的决定方式。
在一实施例中，处理器16可依据预设或用户选择的投影方式来决定各个拼贴适于产生拼贴图像的方向。所述的投影方式例如包括2个方向、8个方向或是n个方向的任意子集(n为大于2的整数)，但不以此为限。
以2个方向为例，其例如包括将拼贴旋转0°(即不旋转)及旋转至预设方向(例如镜像旋转270°)的投影方式。在一实施例中，处理器16可决定各个拼贴是否适于旋转至预设方向，其中若适于旋转，将拼贴旋转至预设方向后放到拼贴图像，而若不适于旋转，则直接将拼贴放到拼贴图像。在另一实施例中，处理器16可判断各个拼贴的宽度是否大于高度，其中若判断结果为否，将拼贴旋转至预设方向后放到拼贴图像，而若判断结果为是，则直接将拼贴放到拼贴图像。
以8个方向为例，其例如包括将拼贴旋转0°(即不旋转)、90°、180°、270°以及将拼贴的镜像旋转0°、90°、180°、270°的投影方式，处理器16可决定各个拼贴适于旋转至这8个预设方向中的哪一个方向，从而将各个拼贴依所决定的预设方向旋转后放到拼贴图像。
以n个方向的任意子集为例，其例如从8个预设方向(如前述实施例所述)中选择任意4个方向，即处理器16预设可提供8个方向的选择，但可依系统或用户的当前需求仅将4个方向致能，并将其余4个方向禁能。藉此，处理器16在决定各个拼贴的旋转方向时，将仅依已致能的4个方向来决定各个拼贴适于旋转的方向，从而将各个拼贴依所决定的方向旋转后放到拼贴图像。
回到图2的流程，在步骤203中，由处理器16封装拼贴图像并记录各个拼贴的方向所对应的索引。详言之，处理器16例如是将包括经适当转换的多个拼贴的拼贴图像封装为记录有各个拼贴的几何位置的几何图像(geometry image)、记录有各个拼贴的色彩组成的纹理图像(texture image)以及记录有几何图像和纹理图像中哪些像素的数据为有效的占用图(occupancy map)。上述的几何图像、纹理图像及占用图经过图像填充(imagepadding)、平滑化(smoothing)、压缩等处理后，将由多工器组成为压缩比特串流而经由输入输出装置12输出。此外，处理器16例如会依照预先建立的索引表，将先前所决定的各个拼贴的方向转换为对应的索引，并将此索引记录于附属拼贴信息，而与封装后的拼贴图像一同输出。
举例来说，图3是依照本发明一实施例所绘示的点云拼贴处理方法的范例。请参照图3，本实施例是以点云中的对象30为例，说明点云拼贴处理装置产生拼贴图像的过程。
首先，计算点云中对象30在其周围的前、后、左、右、上、下六个面的投影以产生六个拼贴30a～30f。接着，分析各个拼贴(此处以拼贴32为例)中的色块分布(拼贴32中的不同图案代表不同色块)，并利用相似度比较法，依序计算拼贴30a～30f的不同方向投影与其他拼贴的投影之间的相似度，从而决定各个拼贴30a～30f适于在拼贴图像中的方向及位置。最后，依所决定的方向对各个拼贴30a～30f进行转换，以产生包括所有拼贴30a～30f内容的拼贴图像，此拼贴图像将被封装为如图3所示的记录有各个拼贴30a～30f的色彩组成的纹理图像34a，以及记录有各个拼贴30a～30f的几何位置的几何图像34b。
需说明的是，点云拼贴处理装置在决定各个拼贴适于产生拼贴图像的方向时例如是依照预设的或用户选择的投影方式来决定方向，并依照所选择的投影方式所对应的索引表来记录各个拼贴的方向所对应的索引。
举例来说，图4A及图4B是依照本发明一实施例所绘示的拼贴投影方式的范例。以2个方向的投影方式为例，如图4A所示，其包括将拼贴旋转0°及将拼贴的镜像旋转270°的方式，而其所对应的索引为0、1。此外，以8个方向的投影方式为例，如图4B所示，其包括将拼贴旋转0°、90°、180°、270°以及将拼贴的镜像旋转0°、90°、180°、270°的方式，而其所对应的索引分别为0～7。
在一实施例中，点云拼贴处理装置在决定各个拼贴适于产生拼贴图像的过程中，除了决定各个拼贴的方向外，还可进一步决定各个拼贴的偏移量(offset)以对拼贴进行平移。而藉由对旋转后的拼贴进行平移，可使得拼贴图像中的各个拼贴排列得更为紧密，从而提高编码效率。上述的偏移量例如是各个拼贴平移后的位置相对于拼贴的原点或点云的原点的偏移量，在此不设限。
举例来说，图5是依照本发明一实施例所绘示的藉由旋转及平移拼贴以产生拼贴图像的范例。请参照图5，拼贴图像52是由公知方法产生，以拼贴52a、52b、52c为例，公知方法是在不旋转且不平移拼贴的情况下，直接依照拼贴图像52当下已被其他拼贴占有的区域，由上至下逐列找寻拼贴图像52中可放下当前拼贴的未占有区域，而依序将拼贴52a、52b、52c放入拼贴图像52。
相对地，拼贴图像54则是依照本发明实施例的点云拼贴处理方法来产生，以拼贴54a、54b、54c为例，点云拼贴处理装置是将当前拼贴进行不同方向的旋转后，再将旋转后的拼贴在拼贴图像54中平移，从而依据当前拼贴在经过不同方向的旋转及平移后与其他拼贴的相似度，决定当前拼贴适于产生拼贴图像54的方向及偏移量，最终依据所决定方向旋转拼贴并依据所决定的偏移量平移旋转后的拼贴以产生拼贴图像54。比较拼贴图像52、54可发现，由于拼贴图像54中的拼贴经过适当的旋转及平移，因此拼贴图像54中的拼贴的排列较为紧密，结果可增加编码效率。
在一实施例中，处理器16例如将上述的几何图像、纹理图像及占用图进行图像填充(image padding)、平滑化(smoothing)、压缩等处理，以及将记录有各个拼贴方向的索引加入附属拼贴信息并进行压缩，最后由多工器将上述压缩后的数据组成为压缩比特串流而经由输入输出装置12输出。
详细而言，图6是依照本发明一实施例所绘示的点云拼贴处理方法的详细流程图。请同时参照图1及图6，本实施例的方法适用于上述点云拼贴处理装置10，以下即搭配点云拼贴处理装置10的各项元件说明本实施例的点云拼贴处理方法的详细步骤。
首先，在步骤601中，处理器16经由输入输出装置12接收点云数据后，即产生多个拼贴，并在步骤602中，以上述的点云拼贴处理方法改变拼贴方向以产生拼贴图像及拼贴信息(例如拼贴图像中各个拼贴的方向)。
在步骤603中，处理器16对拼贴图像进行封装，以产生占用图，并在步骤604中产生几何图像，以及在步骤605中产生纹理图像。而所产生的几何图像及纹理图像经由步骤606的图像填充后，即在步骤607中进行视频压缩，以获得压缩几何图像及压缩纹理图像。其中，在步骤608中，处理器16依据先前产生的拼贴信息，对使用压缩几何图像重建的几何图像进行平滑化处理，而将处理后的几何图像回馈至步骤605，用以作为产生纹理图像的依据。
另一方面，在步骤609中，处理器16对步骤603中产生的占用图进行压缩，并在步骤610中，将步骤602中产生的拼贴信息加入附属拼贴信息并进行压缩。最后，在步骤611中，处理器16将前述步骤中产生的压缩几何图像、压缩纹理图像、压缩占用图以及压缩附属拼贴信息使用多工器组成为压缩比特串流而经由输入输出装置12输出。
藉由上述方法，本发明实施例的点云拼贴处理装置10可将由点云产生的多个拼贴进行适当转换后产生拼贴图像，并将拼贴图像及记录有拼贴方向的索引等信息压缩后输出，使得解码器可依据此信息还原拼贴并重建点云。以下则举实施例说明解码器的结构及其相对应的点云拼贴处理方法(解码方法)。
图7是依照本发明一实施例所绘示的点云拼贴处理装置的方块图。请参照图7，本实施例的点云拼贴处理装置70例如是具备运算功能的相机、摄影机、手机、个人计算机、虚拟现实装置、增强现实装置、云端服务器或其他装置，其中至少包括输入输出装置72、储存装置74及处理器76。其中，输入输出装置72、储存装置74及处理器76的构成与前述实施例的输入输出装置12、储存装置14及处理器16的构成相同或相似，故在此不再赘述。与前述实施例不同的是，本实施例的点云拼贴处理装置70是作为解码器来执行本发明实施例的点云拼贴处理方法。
详细而言，图8是依照本发明一实施例所绘示的点云拼贴处理方法的流程图。请同时参照图7及图8，本实施例的方法适用于上述点云拼贴处理装置70，以下即搭配点云拼贴处理装置70的各项元件说明本实施例的点云拼贴处理方法的详细步骤。
首先，在步骤801中，由处理器76利用输入输出装置72接收点云的比特串流，从而将点云的比特串流解多工为拼贴图像及其中多个拼贴所对应的索引。
接着，在步骤802中，由处理器76利用索引查询预先储存在储存装置74中的索引表，以获得各个拼贴的方向，并依所查询的方向转换拼贴图像以还原点云的多个拼贴。
在一实施例中，处理器76可依据预设的投影方式选择索引表来查询拼贴的方向，所述的投影方式例如包括n个方向(n为大于等于2的整数)。
以2个方向为例，其例如包括将拼贴旋转0°(即不旋转)及旋转至预设方向(例如将镜像旋转90°)的投影方式，处理器76可利用索引查询索引表，以判断拼贴图像中的各个拼贴是否经过旋转。其中，若经过旋转，处理器76将拼贴依预设方向反转以还原拼贴，而若未经过旋转，处理器76则不对该拼贴进行转换。
需说明的是，在一实施例中，处理器76还利用索引查询拼贴图像中各个拼贴的偏移量，从而依所查询的偏移量反向平移各个拼贴。其中，上述的偏移量例如是各个拼贴平移后的位置相对于拼贴的原点或点云的原点的偏移量，在此不设限。
举例来说，下表1是适应性拼贴旋转函数的查询表。其中，识别符的值例如对应于索引Idx，即，当索引Idx为0时，识别符设为FPO_NULL；当索引Idx为1时识别符设为FPO_SWAP。
表1
基于所设定的识别符，利用上述查询表，可算出拼贴还原后的画面坐标(x,y)，如下：
Figure BDA0002116788520000092
其中，坐标(u,v)为拼贴在拼贴图像中的原始坐标，旋转函数Rotation(x)和偏移量函数Offset(x)的输出为上表1中定义的矩阵，索引fIdx为标示在影片中第几张画面的索引值，拼贴平移函数Patch2dShiftU和Patch2dShiftV分别为拼贴左上角顶点在拼贴图像中的X位置与Y位置。
另一方面，以8个方向为例，其例如包括将拼贴旋转0°(即不旋转)、90°、180°、270°以及将拼贴的镜像旋转0°、90°、180°、270°的投影方式，处理器16可利用索引查询索引表，以判断拼贴图像中的各个拼贴是旋转至这8个预设方向中的哪一个方向，从而将各个拼贴依所查询的预设方向反转。
举例来说，下表2是适应性拼贴旋转函数的查询表。其中，旋转函数Rotation(x)和偏移量函数Offset(x)的值例如对应于索引Idx。
Figure BDA0002116788520000101
表2
其中，BlockSize为占用图的封装区块尺寸，Patch2dSizeU和Patch2dSizeV分别为拼贴的宽度和高度除以BlockSize所得的值。而利用上述表2查询旋转函数Rotation(x)和偏移量函数Offset(x)的输出，并带入公式(1)，即可算出拼贴的画面坐标(x,y)。
回到图8的流程，在步骤803中，处理器76利用还原后的拼贴重建点云。其中，处理器76例如是使用预设的投影方式将各个二维的拼贴投影至三维空间，以重建点云。详细而言，处理器76从点云的比特串流中可解出每个画面对应的几何图像、纹理图像、占用图以及附属拼贴信息。处理器76藉由占用图可得知几何图像与纹理图像中的哪些像素是有效数据，而藉由附属拼贴信息则可得知拼贴信息。处理器76使用有效数据和拼贴信息即可将二维的拼贴投影至三维空间，而重建点云。
详细而言，图9是依照本发明一实施例所绘示的点云拼贴处理方法的详细流程图。请同时参照图7及图9，本实施例的方法适用于上述点云拼贴处理装置70，以下即搭配点云拼贴处理装置70的各项元件说明本实施例的点云拼贴处理方法的详细步骤。
首先，在步骤901中，处理器76经由输入输出装置12接收点云的压缩比特串流后，即将其解多工为压缩纹理图像、压缩几何图像、压缩占用图以及压缩附属拼贴信息。其中，处理器76在步骤902中，藉由将压缩纹理图像和压缩几何图像进行视频解压缩，以产生解压缩纹理图像和解压缩几何图像；在步骤903中，藉由将压缩占用图进行解压缩，以产生解压缩占用图；在步骤904中，藉由将压缩附属拼贴信息进行解压缩，以产生解压缩附属拼贴信息。
在步骤905中，处理器76即根据解压缩占用图得知解压缩几何图像中的哪些像素是有效数据，再依据解压缩附属拼贴信息中记录的各个拼贴的方向、偏移量等拼贴信息，对解压缩几何图像中的各个拼贴的方向进行反转。所述反转可包括方向反转及/或平移反转，在此不设限。
在步骤906中，处理器76将反转后的拼贴投影至三维空间，以重建几何部分(例如包括位置及形状)，并在步骤907中，对重立的几何部分进行平滑化。最后，在步骤908中，处理器76将解压缩纹理图像，对重建后的几何部分进行纹理重建，而获得重建后点云。
藉由上述方法，本发明实施例的点云拼贴处理装置70可将压缩比特串流分解为重建点云所需的拼贴图像及拼贴信息，而藉由对拼贴进行反转并投影到三维空间，可重建出点云。
在一实施例中，本发明的点云拼贴处理方法在编码时例如会进一步参考当下的装置的运算资源、网络资源等参数，选择适当的投影方式对拼贴进行处理，以确保高质量和高速的视频传输。
详细而言，图10是依照本发明一实施例所绘示的点云拼贴处理方法的流程图。请同时参照图1及图10，本实施例的方法适用于上述点云拼贴处理装置10，以下即搭配点云拼贴处理装置10的各项元件说明本实施例的点云拼贴处理方法的详细步骤。
首先，在步骤1001中，由处理器16产生点云的多个拼贴。而在步骤1002中，处理器16会依照当下可用的运算资源、网络带宽、编码器的编码能力、解码器的解码能力等参数，决定是要使用2种旋转方向还是使用8种旋转方向来对拼贴进行旋转，并依照决定结果设定优选方向旗标，以供解码器做为解码时的参考。其中，若优选方向旗标的数值设定为1，则在步骤1003中，将使用2种旋转方向；而若优选方向旗标的数值设定为0，则在步骤1004中，将使用8种旋转方向。
此外，处理器16还可以依系统或用户的需求使用更多的旗标来标记各个拼贴的处理方式，以供解码器据以还原拼贴并重建点云。
详细而言，图11是依照本发明一实施例所绘示的点云拼贴处理方法的流程图。请同时参照图1及图11，本实施例的方法适用于上述点云拼贴处理装置10，以下即搭配点云拼贴处理装置10的各项元件说明本实施例的点云拼贴处理方法的详细步骤。
首先，在步骤1101中，由处理器16产生点云的多个拼贴。而在步骤1102中，处理器16会依据系统设定或用户操作，判断是否致能方向旋转功能。其中，若判断需致能方向旋转功能，处理器16会将方向致能旗标的数值设定为1，并进入步骤1103，反之则将方向致能旗标的数值设定为0，并进入步骤1111，不旋转拼贴。
若判断需致能方向旋转功能，在步骤1103中，处理器16会依照当下的资源参数，决定要使用2种旋转方向还是使用8种旋转方向来对拼贴进行旋转，并依照决定结果设定优选方向旗标。其中，若优选方向旗标的数值设定为1，则在步骤1104中，将使用2种旋转方向；而若优选方向旗标的数值设定为0，则在步骤1105中，将使用8种旋转方向。
在使用2种旋转方向的情况下，在步骤1106中，处理器16可决定各个拼贴是否适于旋转至预设方向，并依照决定结果设定拼贴旋转旗标。其中，若拼贴旋转旗标的数值设定为1，则在步骤1108中，将拼贴旋转至预设旋转方向；而若拼贴旋转旗标的数值设定为0，则在步骤1109中，不旋转拼贴。
在使用8种旋转方向的情况下，在步骤1107中，处理器16可决定各个拼贴是否适于旋转至预设方向(即，除了旋转0°以外的其他7个方向)，并依照决定结果设定拼贴旋转旗标。其中，若拼贴旋转旗标的数值设定为1，则在步骤1110中，将拼贴旋转至预设的7个旋转方向的其中一个方向，并记录该旋转方向的索引(例如使用3个比特记录7种状态)；而若拼贴旋转旗标的数值设定为0，则在步骤1109中，不旋转拼贴(即，旋转0°)。
最后，在步骤1112中，由处理器16对前述步骤处理后的拼贴及所产生的附属信息进行图像填充、平滑化、压缩等处理，其详细内容已于前述实施例说明，故在此不再赘述。
综上所述，本发明的点云拼贴处理方法及装置藉由在编码时考虑将点云的拼贴进行旋转及/或平移，使得所产生的拼贴图像中拼贴的排列更为紧密，从而改善点云压缩的编码效率。此外，本发明方法更将各个拼贴的旋转方向、偏移量等拼贴信息加入附属信息一同提供给解码器，使得解码器能够还原拼贴并重建点云。藉此，可改善点云压缩的编码效率，并确保高质量和高速的视频传输。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中的普通技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附的权利要求所界定者为准。

Claims (20)

1.一种点云拼贴处理装置，包括：
输入输出装置，接收点云数据；
储存装置，储存记录有多个方向所对应的索引的索引表；以及
处理器，耦接所述输入输出装置及所述储存装置，经执行程序以：
产生所述点云的多个拼贴，其中所述点云包括三维空间中的多个点，各所述拼贴对应于所述点云的一部分；
决定各所述拼贴适于产生拼贴图像的方向，并依所述方向转换各所述拼贴以产生拼贴图像；以及
封装所述拼贴图像并查询所述索引表以获得各所述拼贴的所述方向所对应的索引。
2.根据权利要求1所述的点云拼贴处理装置，其中所述处理器包括决定各所述拼贴是否适于旋转至预设方向，若适于旋转，将所述拼贴旋转后放到所述拼贴图像，以及若不适于旋转，直接将所述拼贴放到所述拼贴图像。
3.根据权利要求1所述的点云拼贴处理装置，其中所述处理器包括判断各所述拼贴的宽度是否大于高度，若判断结果为否，将所述拼贴旋转至预设方向后放到所述拼贴图像，以及若判断结果为是，直接将所述拼贴放到所述拼贴图像。
4.根据权利要求1所述的点云拼贴处理装置，其中所述处理器包括决定各所述拼贴适于旋转0°或镜像旋转270°，以及将各所述拼贴依所决定的方向旋转后放到所述拼贴图像。
5.根据权利要求1所述的点云拼贴处理装置，其中所述处理器包括决定各所述拼贴适于旋转至n个预设方向其中之一，其中n为大于2的整数，以及将各所述拼贴依所决定的所述预设方向旋转后放到所述拼贴图像。
6.根据权利要求5所述的点云拼贴处理装置，其中所述n个方向包括旋转0°、90°、180°、270°以及镜像旋转0°、90°、180°、270°的任意组合。
7.根据权利要求1所述的点云拼贴处理装置，其中所述处理器包括从所述n个预设方向中选择m个预设方向，其中n为大于2的整数，m为小于n的整数，决定各所述拼贴适于旋转至所述m个预设方向其中之一，以及将各所述拼贴依所决定的所述预设方向旋转后放到所述拼贴图像。
8.根据权利要求1所述的点云拼贴处理装置，其中所述处理器依所述方向旋转各所述拼贴，以及决定旋转后各所述拼贴适于产生所述拼贴图像的偏移量，并依所述偏移量平移旋转后各所述拼贴以产生拼贴图像，其中所述偏移量包括各所述拼贴平移后的位置相对于所述拼贴的原点或所述点云的原点的偏移量。
9.一种点云拼贴处理装置，包括：
输入输出装置，接收点云的比特串流；
储存装置，储存记录有多个方向所对应的索引的索引表；以及
处理器，耦接所述输入输出装置及所述储存装置，经执行程序以：
将所述比特串流解多工为拼贴图像及其中多个拼贴所对应的索引；
利用所述索引查询索引表以获得各所述拼贴的方向，并依所述方向转换所述拼贴图像以还原所述点云的多个拼贴；以及
利用还原后的所述拼贴重建所述点云。
10.根据权利要求9所述的点云拼贴处理装置，其中所述处理器包括利用所述索引查询所述索引表，以判断各所述拼贴是否经过旋转，其中若经过旋转，将所述拼贴反转以还原所述拼贴，而若未经过旋转，不对所述拼贴进行转换。
11.根据权利要求9所述的点云拼贴处理装置，其中所述处理器包括利用所述索引查询所述索引表，以判断各所述拼贴是否经过旋转0°或镜像旋转270°，以及将各所述拼贴依所判断的方向反转。
12.根据权利要求9所述的点云拼贴处理装置，其中所述处理器包括利用所述索引查询所述索引表，以判断所述拼贴是否经过旋转至n个预设方向其中之一，其中n为大于2的整数，以及将各所述拼贴依所判断的所述预设方向反转。
13.根据权利要求12所述的点云拼贴处理装置，其中所述n个方向包括旋转0°、90°、180°、270°以及镜像旋转0°、90°、180°、270°的任意组合。
14.根据权利要求9所述的点云拼贴处理装置，其中所述索引更包括各所述拼贴的偏移量，所述处理器更依所述偏移量反向平移各所述拼贴，其中所述偏移量包括各所述拼贴平移后的位置相对于所述拼贴的原点或所述点云的原点的偏移量。
15.一种点云拼贴处理方法，适用于具有处理器的解码器，所述方法包括下列步骤：
将点云的比特串流解多工为拼贴图像及其中多个拼贴所对应的索引；
利用所述索引查询索引表以获得各所述拼贴的方向，并依所述方向转换所述拼贴图像以还原所述点云的多个拼贴；以及
利用还原后的所述拼贴重建所述点云。
16.根据权利要求15所述的方法，其中利用所述索引查询索引表以获得各所述拼贴的方向，并依所述方向转换所述拼贴图像的步骤包括：
利用所述索引查询所述索引表，以判断各所述拼贴是否经过旋转；
若经过旋转，将所述拼贴反转以还原所述拼贴；以及
若未经过旋转，不对所述拼贴进行转换。
17.根据权利要求15所述的方法，其中利用所述索引查询索引表以获得各所述拼贴的方向，并依所述方向转换所述拼贴图像的步骤包括：
利用所述索引查询所述索引表，以判断所述拼贴是否经过旋转0°或镜像旋转270°；以及
将各所述拼贴依所判断的方向反转。
18.根据权利要求15所述的方法，其中利用所述索引查询索引表以获得各所述拼贴的方向，并依所述方向转换所述拼贴图像的步骤包括：
利用所述索引查询所述索引表，以判断所述拼贴是否经过旋转至n个预设方向其中之一，其中n为大于2的整数；以及
将各所述拼贴依所判断的所述预设方向反转。
19.根据权利要求18所述的方法，其中所述n个方向包括旋转0°、90°、180°、270°以及镜像旋转0°、90°、180°、270°的任意组合。
20.根据权利要求15所述的方法，其中所述索引更包括各所述拼贴的偏移量，且依所述方向转换所述拼贴图像的步骤更包括：
依所述偏移量反向平移各所述拼贴，其中所述偏移量包括各所述拼贴平移后的位置相对于所述拼贴的原点或所述点云的原点的偏移量。
CN201910593304.6A 2018-07-03 2019-07-03 点云拼贴处理方法及装置 Pending CN110675315A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862693485P 2018-07-03 2018-07-03
US62/693,485 2018-07-03

Publications (1)

Publication Number Publication Date
CN110675315A true CN110675315A (zh) 2020-01-10

Family

ID=67437496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910593304.6A Pending CN110675315A (zh) 2018-07-03 2019-07-03 点云拼贴处理方法及装置

Country Status (5)

Country Link
US (1) US20200013235A1 (zh)
EP (1) EP3591975A1 (zh)
JP (1) JP2020017946A (zh)
CN (1) CN110675315A (zh)
TW (1) TW202006659A (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US11010955B2 (en) * 2018-06-27 2021-05-18 Sony Group Corporation Point cloud mapping
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) * 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
CN110719497B (zh) * 2018-07-12 2021-06-22 华为技术有限公司 点云编解码方法和编解码器
CN112438046A (zh) * 2018-07-17 2021-03-02 华为技术有限公司 点云译码（pcc）中的预测类型信令和时间顺序信令
US10650554B2 (en) * 2018-09-27 2020-05-12 Sony Corporation Packing strategy signaling
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
BR112021006256A2 (pt) 2018-10-02 2021-07-06 Huawei Tech Co Ltd estimativa de movimento usando dados auxiliares 3d
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
KR102655630B1 (ko) * 2018-10-08 2024-04-08 삼성전자주식회사 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
US11095900B2 (en) * 2018-12-19 2021-08-17 Sony Group Corporation Point cloud coding structure
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
WO2021165566A1 (en) * 2020-02-19 2021-08-26 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
WO2021170906A1 (en) * 2020-02-28 2021-09-02 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US20230179797A1 (en) * 2020-03-25 2023-06-08 Sony Group Corporation Image processing apparatus and method
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
WO2022075234A1 (ja) * 2020-10-05 2022-04-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes
TWI798999B (zh) * 2021-12-15 2023-04-11 財團法人工業技術研究院 用於建置三維影像的裝置與方法
WO2024094540A1 (en) * 2022-11-04 2024-05-10 Interdigital Ce Patent Holdings, Sas Coding format for optimized encoding of volumetric video

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080088623A1 (en) * 2006-10-13 2008-04-17 Richard William Bukowski Image-mapped point cloud with ability to accurately represent point coordinates
CN103299631A (zh) * 2011-01-14 2013-09-11 思科技术公司 处理视频数据拼贴的视频编码器/解码器、方法和计算机程序产品
CN104081781A (zh) * 2012-01-20 2014-10-01 弗兰霍菲尔运输应用研究公司 许可平行处理的编码构思、传送解多工器及视频比特流
US9530225B1 (en) * 2013-03-11 2016-12-27 Exelis, Inc. Point cloud data processing for scalable compression
CN107958489A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种曲面重建方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514613B2 (en) * 2017-03-16 2022-11-29 Samsung Electronics Co., Ltd. Point cloud and mesh compression using image/video codecs
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
KR20200140257A (ko) * 2018-04-11 2020-12-15 소니 주식회사 화상 처리 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080088623A1 (en) * 2006-10-13 2008-04-17 Richard William Bukowski Image-mapped point cloud with ability to accurately represent point coordinates
CN103299631A (zh) * 2011-01-14 2013-09-11 思科技术公司 处理视频数据拼贴的视频编码器/解码器、方法和计算机程序产品
CN104081781A (zh) * 2012-01-20 2014-10-01 弗兰霍菲尔运输应用研究公司 许可平行处理的编码构思、传送解多工器及视频比特流
US9530225B1 (en) * 2013-03-11 2016-12-27 Exelis, Inc. Point cloud data processing for scalable compression
CN107958489A (zh) * 2016-10-17 2018-04-24 杭州海康威视数字技术股份有限公司 一种曲面重建方法及装置

Also Published As

Publication number Publication date
JP2020017946A (ja) 2020-01-30
US20200013235A1 (en) 2020-01-09
EP3591975A1 (en) 2020-01-08
TW202006659A (zh) 2020-02-01

Similar Documents

Publication Publication Date Title
CN110675315A (zh) 点云拼贴处理方法及装置
US10798389B2 (en) Method and apparatus for content-aware point cloud compression using HEVC tiles
CN107454468B (zh) 对沉浸式视频进行格式化的方法、装置和流
KR102634079B1 (ko) 포인트 클라우드 데이터 처리 장치 및 방법
KR100609614B1 (ko) 화상데이터전송및화상처리를위한방법및장치
US20230050860A1 (en) An apparatus, a method and a computer program for volumetric video
US11825128B2 (en) Method and apparatus for dynamic point cloud partition packing
US11722652B2 (en) Method and system for multi-wavelength depth encoding for three- dimensional range geometry compression
KR20210096285A (ko) 3차원 메쉬 컨텐트를 압축하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
JP7371691B2 (ja) ホモグラフィ変換を使用した点群符号化
US20220254068A1 (en) A method and apparatus for decoding three-dimensional scenes
CN114503553A (zh) 基于视频的点云压缩模型到世界信令信息
US20230053544A1 (en) In-tree geometry quantization of point clouds
CN114270863A (zh) 一种编码和解码立体视频的方法和装置
US20190394489A1 (en) System architecture and method of processing data therein
US20240153150A1 (en) Mesh Compression Texture Coordinate Signaling and Decoding
US20240153147A1 (en) V3c syntax extension for mesh compression
US20230306683A1 (en) Mesh patch sub-division
US20230306644A1 (en) Mesh patch syntax
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20240020885A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
WO2023180841A1 (en) Mesh patch sub-division
WO2023180845A1 (en) Mesh patch syntax
CN113228050A (zh) 用于改进图像块打包和编解码效率的点云组块方法和装置
JP2023533419A (ja) ビデオベースの点群コーディングのための高速リカラー

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200110