CN113538605A - 编码和译码点云的电子装置和方法 - Google Patents

Abstract

本发明提供一种编码和译码点云的电子装置和方法。译码方法包含：接收编码图像数据以及比特流；译码编码图像数据以取得图像数据，并且自图像数据取得原始补丁；以及根据原始补丁以及比特流重建点云中的残点云。

Description

编码和译码点云的电子装置和方法

技术领域

本发明涉及一种编码和译码点云的电子装置和方法。

背景技术

点云(point cloud)为一种特定空间中的数据点集合，并可用于呈现三维的对象。点云中的每一点可包含坐标、颜色、反射率(reflectance)或透明度(transparency)等信息。现行的点云编码技术是将对应于于三维对象的点云投影到包围盒(bounding box，BB)的一或多个面以产生包含一或多个补丁(patch)的二维图像。然而，由所述二维图像所还原的点云会失真。图1A绘示将三维点云10投影到包围盒20以产生包含多个补丁的二维图像数据30的示意图。在进行三维点云10的编码时，三维点云10可被投影至包围了三维点云10的包围盒的六个面上，以分别产生补丁11、补丁12、补丁13、补丁14、补丁15以及补丁16。如此，三维点云10将可被编码成包含了补丁11、补丁12、补丁13、补丁14、补丁15以及补丁16的二维图像数据30。

然而，三维点云10的多个点的投影可能相同。图1B绘示将三维点云10转换成二维图像数据30产生的失真的示意图。假设平面21与平面22为包围盒20的两个相互平行的平面。三维点云10中的点41、42、43、44和45在平面21上的投影是相同的。同样地，点41、42、43、44和45在平面22上的投影是相同的。因此，在点41、42、43、44和45中，仅有与平面21最接近的点41能被投影到平面21上，并且仅有与平面22最接近的点45能被投影到平面22上。因此，二维图像数据30中的补丁仅会包含点41和点45的信息，而未包含点42、43和44的信息。换句话说，利用二维图像数据30产生的还原点云将失去点42、43和44的信息，从而导致失真。

基于上述，如何提出一种能以不失真的方式编码和译码点云的技术，为本领域人员致力的目标之一。

发明内容

本公开提供一种编码和译码点云的电子装置和方法，可以不失真的方式编码和译码点云。

本公开的一种用于编码点云的电子装置，包含处理器、存储介质以及收发器。收发器取得点云，其中点云包含包围盒中的多个点。存储介质存储多个模块。处理器耦接存储介质以及收发器，并且存取和执行多个模块，其中多个模块包含运算模块以及图像编码模块。运算模块自点云中取得残点云，定义包围盒中的参考点，并且根据参考点和残点云产生原始补丁。图像编码模块根据原始补丁产生图像数据，并且根据图像数据产生编码图像数据，其中运算模块通过收发器输出编码图像数据。

本公开的一种用于译码点云的电子装置，包含处理器、存储介质以及收发器。收发器接收编码图像数据以及比特流。存储介质存储多个模块。处理器耦接存储介质以及收发器，并且存取和执行多个模块，其中多个模块包含图像译码模块以及运算模块。图像译码模块译码编码图像数据以取得图像数据，并且自图像数据取得原始补丁。运算模块根据原始补丁以及比特流重建点云中的残点云。

本公开的一种用于编码点云的方法，包含：取得点云，其中点云包含包围盒中的多个点；自点云取得残点云；定义包围盒中的参考点；根据参考点和残点云产生原始补丁；根据原始补丁产生图像数据，并且根据图像数据产生编码图像数据；以及输出编码图像数据。

本公开的一种用于译码点云的方法，包含：接收编码图像数据以及比特流；译码编码图像数据以取得图像数据，并且自图像数据取得原始补丁；以及根据原始补丁以及比特流重建点云中的残点云。

基于上述，本公开可以不失真的方式编码和译码点云，并可提高点云的压缩比。

附图说明

图1A绘示将三维点云投影到包围盒以产生包含多个补丁的二维图像的示意图。

图1B绘示将三维点云转换成二维图像产生的失真的示意图。

图2根据本公开的一实施例绘示一种用于编码点云的电子装置的示意图。

图3根据本公开的一实施例绘示一种用于编码点云的方法的流程图。

图4A根据本公开的一实施例绘示包围盒与子包围盒的示意图。

图4B根据本公开的一实施例绘示原始补丁的示意图。

图5根据本公开的实施例绘示产生关联于残点云的数值的示意图。

图6A、6B和6C根据本公开的一实施例绘示子包围盒与原始补丁的示意图。

图7根据本公开的实施例绘示一种用于译码点云的电子装置的示意图。

图8根据本公开的一实施例绘示一种用于译码点云的方法的流程图。

图9根据本公开的实施例绘示计算当前残点云中的残点的数量的示意图。

图10根据本公开的另一实施例绘示一种用于编码点云的方法的流程图。

图11根据本公开的另一实施例绘示一种用于译码点云的方法的流程图。

附图标记说明

10：点云

100、200：电子装置

11、12、13、14、15、16：补丁

110、210：处理器

120、220：存储介质

121、221：运算模块

122：图像编码模块

123、223：预测模型

130、230：收发器

20、400、600：包围盒

21、22：平面

222：图像译码模块

30：二维图像数据

41、42、43、44、45、411、412、431、432、433：点

410、420、430、610：子包围盒

450、650、660：原始补丁

611：参考点

612、613、614：残点

S301、S303、S305、S307、S309、S311、S313、S315、S317、S319、S321、S801、S803、S805、S807、S1001、S1003、S1005、S1007、S1009、S1011、S1101、S1103、S1105：步骤

具体实施方式

现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在图式和描述中用来表示相同或相似部分。

图2根据本公开的一实施例绘示一种用于编码点云的电子装置100的示意图。电子装置100可包含处理器110、存储介质120以及收发器130。

处理器110例如是中央处理单元(central processing unit，CPU)，或是其他可编程之一般用途或特殊用途的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可编程控制器、特殊应用集成电路(application specific integrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)、图像信号处理器(image signal processor，ISP)、图像处理单元(image processing unit，IPU)、算数逻辑单元(arithmetic logic unit，ALU)、复杂可编程逻辑装置(complex programmable logic device，CPLD)、现场可编程逻辑门阵列(field programmable gate array，FPGA)或其他类似组件或上述组件的组合。处理器110可耦接至存储介质120以及收发器130，并且存取和执行存储在存储介质120中的多个模块和各种应用程序。

存储介质120例如是任何类型的固定式或可移动式的随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似组件或上述组件的组合，而用于存储可由处理器110执行的多个模块或各种应用程序。在本实施例中，存储介质120可存储包括运算模块121、图像编码模块122以及预测模型123等多个模块，其功能将在后续说明。

收发器130以无线或有线的方式传送及接收信号。收发器130还可以执行例如低噪声放大、阻抗匹配、混频、向上或向下频率转换、滤波、放大以及类似的操作。收发器130可接收点云图像。运算模块121可自点云图像中取得点云。点云可包含包围盒中的多个点。以图4A为例，点云可包含包围盒400中的点411、412、431、432和433等多个点。点云图像中的点云可根据时间而变化。举例来说，对应于点云图像的当前帧的当前点云可与对应于所述点云图像的先前帧的先前点云完全地或部分地相异(或相同)。

在一实施例中，运算模块121所取得的点云可为对应于点云图像的当前帧的当前点云，其中当前点云可包含当前外围点云和当前残点云。

在一实施例中，运算模块121所取得的点云可为对应于点云图像的当前帧的当前点云减去对应于点云图像的先前帧的先前点云而产生的点云，其中当前点云可包含当前外围点云和当前残点云，其中先前点云可包含先前外围点云和先前残点云。若所述点云为正，代表所述点云为当前帧相较于先前帧而新增的点云。若所述点云为负，代表所述点云为当前帧相较于先前帧而减少的点云。

图3根据本公开的一实施例绘示一种用于编码点云的方法的流程图，其中所述方法可由如图2所示的电子装置100实施。

在步骤S301中，运算模块121可将点云中的外围点云(surrounding point cloud)投影至包围盒的至少一平面上以产生至少一补丁。外围点云为所述点云的子集合，并由至少一外围点所组成的，其中外围点为点云中可被投影至包围盒的任一面的点，并且外围点在包围盒的面上的投影可被运算模块121保留以用于产生补丁。运算模块121可将补丁置入图像数据中，并可将用于产生补丁的外围点云自点云中移除。外围点的决定规则可由用户自定义。在一实施例中，外围点与包围盒的一平面之间的最短路径上可不存在其他的点，并且所述外围点在所述平面(或所述平面的相对面(opposite plane))上的投影可被保留以产生补丁。以图1A为例，运算模块121可将点云10的外围点投影至包围盒20的各个平面以产生补丁11、12、13、14、15和16，并可将补丁11、12、13、14、15和16置入二维图像数据30中。接着，运算模块121可将用于产生补丁11、12、13、14、15和16的外围点自点云10中移除。

在一实施例中，当点云中的多个点投影在包围盒的特定平面上的相同位置时，仅所述多个点中的特定数量的点可作为被投影至所述特定平面上的外围点，其中所述特定数量可由使用者自定义。以图1B为例，假设使用者定义上述的特定数量为1，则对平面21来说，在点云中的点41、42、43、44和45中，仅单一个点(例如：点41)可作为对应于平面21的外围点。点41与平面21之间的最短路径上不存在其他的点。另一方面，对平面22来说，在点云中的点41、42、43、44和45中，仅单一个点(例如：点45)可作为对应于平面22的外围点。点45与平面22之间的最短路径上不存在其他的点。因此，在点41、42、43、44和45中，仅点41和45可作为外围点被投影至包围盒的平面上以产生补丁。

举另一例来说，假设使用者定义上述的特定数量为2，则平面21来说，在点云中的点41、42、43、44和45中，仅41、42、43、44和45的其中的2点(例如：点41和点45)可作为对应于平面21的外围点。所述2个外围点在平面21的投影可被保留，藉以产生对应于平面21的特定数量的补丁。

在步骤S303中，运算模块121可自点云中取得残点云(residual point cloud)。残点云可由点云中除了外围点的其他点所组成。在点云中的外围点云在步骤S301中被运算模块121移除后，点云中剩下的部分即为残点云。具体来说，残点云可为所述点云的子集合，并可由至少一残点所组成，其中残点为点云中重复被投影至包围盒的任一面的点。残点与包围盒的任一平面之间的最短路径上可存在其他的点。以图1B为例，点42(或点43、44)与包围盒的平面21之间的最短路径上存在点41，故点42(或点43、44)可作为残点。点42(或点43、44)与包围盒的平面22之间的最短路径上存在点45，故点42(或点43、44)可作为残点。在传统的点云编码技术中，残点会在编码的过程中被舍弃。因此，将点云的编码数据译码后所还原的点云将失去残点的相关信息。相对来说，本公开的编码方法可在点云的编码过程中保留残点的相关信息。

在步骤S305中，运算模块121可决定子包围盒的尺寸。子包围盒的尺寸可小于或等于包围盒，并且包围盒的边长可以是子包围盒的边长的整数倍。子包围盒的尺寸可由使用者自定义。举例来说，运算模块121可通过收发器130接收包含子包围盒的尺寸的信息。举另一例来说，子包围盒的尺寸的信息可预存在存储介质120中。图4A根据本公开的一实施例绘示包围盒400与子包围盒的示意图。子包围盒410(或子包围盒420、430)的尺寸可小于或等于包围盒400，并且包围盒400的边长可为子包围盒410(或子包围盒420、430)的边长的整数倍，但本公开不限于此。

在步骤S307中，运算模块121可根据子包围盒的尺寸而将包围盒分割为一或多个子包围盒。以图4A为例，运算模块121可将包围盒400分割为包含子包围盒410、420和430的多个子包围盒。

在步骤S309中，运算模块121可判断是否存在包含残点云的子包围盒。若存在包含残点云的子包围盒，则选择所述子包围盒并进入步骤S311和步骤S313。若不存在包含残点云的子包围盒，则进入步骤S321。

在步骤S311中，运算模块121可定义子包围盒中的参考点。在步骤S313中，图像编码模块122可决定对应于子包围盒的原始补丁(raw patch)的补丁尺寸(patch size)。参考点可用于产生对应子包围盒的原始补丁。原始补丁可用以记录子包围盒中的残点云的相关信息。

在一实施例中，图像编码模块122可根据图像编码模块122所使用的图像编码算法(包含但不限于HEVC算法、H.264算法、H.266算法、H.267算法、H.268算法或H.269算法)来决定原始补丁的补丁尺寸。在一实施例中，原始补丁可由至少一区块(block)组成。在图像编码模块122决定完至少一区块的尺寸后，至少一区块中的每一区块在亮度信道(lumachannel)或色度信道(color channel)中的数据点的数量可被决定。图像编码模块122可根据所述数据点的数量以及子包围盒中的残点的数量来决定用于组成对应子包围盒的原始补丁的至少一区块的数量，从而根据至少一区块的数量决定原始补丁的补丁尺寸。

图4B根据本公开的一实施例绘示原始补丁450的示意图。假设图像编码模块122决定用于组成原始补丁450的区块例如为一边长为6的正方形(但区块可不限于正方形)，则所述区块在亮度信道中可包含6*6＝36个数据点，并且所述36个数据点可记载12个残点的相关信息。举例来说，所述区块可利用3个数据点来记载与残点云中的一特定残点相关的信息(dX1，dY1，dZ1)。当子包围盒中的残点的数量超过12时，单一区块将无法完整地记录所有残点的信息。因此，区块的数量需被增加(即：原始补丁的补丁尺寸需被增加)。图像编码模块122可根据公式(1)计算区块的数量，其中PS为用于组成原始补丁所需的区块的数量，RP为子包围盒中的残点的数量，并且LC为前述区块在亮度信道中的数据点的数量，其中PS、RP和LC为正整数。

另一方面，运算模块121可根据子包围盒中的参考点以及残点云产生对应子包围盒的比特流(syntax)。比特流可包含子包围盒中的参考点的坐标，并可包含关联于子包围盒中的残点云的数值。假设在对应于点云图像的当前帧中，子包围盒内的当前残点云包括N个残点(N可为正整数)，并且对应于子包围盒的参考残点云包括M个残点(M可为自然数)，则所述关联于残点云的数值可为N与M之间的差值。在一实施例中，M的默认值可为0或1。

在一实施例中，所述参考残点云可由编码端(例如：电子装置100)与译码端(例如：电子装置200)事先约定。在一实施例中，所述参考残点云可根据子包围盒内的先前残点云产生。假设在对应于点云图像的先前帧中，子包围盒内的先前残点云包括M个残点，则所述M个残点可组成参考残点云。在参考残点云对译码端(例如：电子装置200)为已知的情况下，编码端(例如：电子装置100)仅需将当前残点云的N个残点减去参考残点云的M个残点而产生的残点云的相关信息传送至译码端，即可使译码端完整地还原子包围盒中的残点云。

图5根据本公开的实施例绘示产生关联于残点云的数值的示意图。运算模块121可根据预测模型123判断参考残点云中的残点的数量M，其中预测模型123可为适应性预估器(adaptive predictor)。在决定参考残点云中的残点的数量M后，运算模块121可将子包围盒中的当前残点云中的残点的数量N减去参考残点云中的残点的数量M来产生关联于残点云的数值，如公式(2)所示，其中Delta代表关联于残点云的数值。

Delta＝N-M…(2)

以图4A的子包围盒410为例，假设在先前帧时，子包围盒410中的残点云由残点411所组成，并且在当前帧时，子包围盒410中的残点云由残点411和412所组成。在先前帧中的残点411对译码端(例如：电子装置200)为已知的情况下，编码端(例如：电子装置100)仅需将残点412的相关信息传送给译码端，即可使译码端完整地还原子包围盒410中的残点云。因此，运算模块121可将对应于当前帧的残点(即：残点411和412)的数量2减去对应于先前帧的残点(即：残点411)的数量1，而计算出关联于残点云的数值2-1＝1。

在步骤S315中，运算模块121可计算子包围盒中的参考点与子包围盒中的残点云中的每一残点之间的向量。以图6A、6B和6C为例，图6A、6B和6C根据本公开的一实施例绘示子包围盒与原始补丁的示意图。假设包围盒600中的子包围盒610可包含由坐标为(3，258，1)的残点612、坐标为(6，260，1)的残点613和坐标为(1，262，9)的残点614所组成的残点云。运算模块121可定义子包围盒610中的坐标为(0，256，0)的点为参考点。运算模块121可计算残点612与参考点611之间的向量为(3，2，1)，残点613与参考点611之间的向量为(6，4，1)，并且残点614与参考点611之间的向量为(1，6，9)。

在步骤S317中，运算模块121可根据原始补丁的边长以及参考点与残点之间的向量来产生原始补丁。具体来说，运算模块121可将每一残点与参考点之间的向量填入原始补丁的列(column)或行(row)的3个数据点中。举例来说，运算模块121可依序将残点612与参考点611之间的向量为(3，2，1)，残点613与参考点611之间的向量为(6，4，1)以及残点614与参考点611之间的向量为(1，6，9)填入原始补丁650的列中，如图6B所示。举另一例来说，运算模块121可依序将残点612与参考点611之间的向量为(3，2，1)，残点613与参考点611之间的向量为(6，4，1)以及残点614与参考点611之间的向量为(1，6，9)填入原始补丁660的行中，如图6C所示。

在产生了子包围盒的原始补丁后，在步骤S319中，运算模块121可删除子包围盒中的残点云，并重新执行步骤S309以确认包围盒中是否仍存在包含残点云的子包围盒尚未被转换成原始补丁。

在步骤S321中，图像编码模块122可产生图像数据。图像数据可包含由外围点云所产生的补丁，并可包含由各个子包围盒中的残点云所产生的原始补丁。图像编码模块122可根据例如但不限于HEVC算法、H.264算法、H.266算法、H.267算法、H.268算法或H.269算法等图像编码算法来对图像数据进行编码以产生编码图像数据。在产生编码图像数据后，运算模块121可通过收发器130将编码图像数据以及比特流输出至译码端(例如：电子装置200)。

图7根据本公开的实施例绘示一种用于译码点云的电子装置200的示意图。电子装置200可包含处理器210、存储介质220以及收发器230。

处理器210例如是中央处理单元，或是其他可编程的一般用途或特殊用途的微控制单元、微处理器、数字信号处理器、可编程控制器、特殊应用集成电路、图形处理器、图像信号处理器、图像处理单元、算数逻辑单元、复杂可编程逻辑装置、现场可编程逻辑门阵列或其他类似组件或上述组件的组合。处理器210可耦接至存储介质220以及收发器230，并且存取和执行存储在存储介质220中的多个模块和各种应用程序。

存储介质220例如是任何类型的固定式或可移动式的随机存取内存、只读存储器、闪存、硬盘、固态硬盘或类似组件或上述组件的组合，而用于存储可由处理器210执行的多个模块或各种应用程序。在本实施例中，存储介质220可存储包括运算模块221、图像译码模块222以及预测模型223等多个模块，其功能将在后续说明。

收发器230以无线或有线的方式传送及接收信号。收发器230还可以执行例如低噪声放大、阻抗匹配、混频、向上或向下频率转换、滤波、放大以及类似的操作。

图8根据本公开的一实施例绘示一种用于译码点云的方法的流程图，其中所述方法可由如图7所示的电子装置200实施。

在步骤S801中，运算模块221可通过收发器230接收来自电子装置100的编码图像数据以及比特流。

在步骤S803中，图像译码模块222可译码编码图像数据以取得图像数据。图像译码模块222可根据例如但不限于HEVC算法、H.264算法、H.266算法、H.267算法、H.268算法或H.269算法等图像译码算法来对编码图像数据进行译码以产生图像数据。图像数据可包含对应于外围点云的补丁以及对应于残点云的原始补丁，其中原始补丁的边长可与图像译码模块222所使用的图像译码算法相关联。图像译码模块222可自图像数据取得补丁以及原始补丁。

在步骤S805中，运算模块221可自原始补丁中取得子包围盒中的参考点与子包围盒中的残点云中的每一残点之间的向量。

在步骤S807中，运算模块221可根据补丁、原始补丁和比特流重建点云。具体来说，运算模块221可根据补丁重建点云的外围点云(或对应于当前帧的当前外围点云)，并可根据由原始补丁取得的向量以及比特流重建点云的残点云(或对应于当前帧的当前残点云)，从而完成点云的重建，其中所述比特流可包含各个子包围盒中的参考点的坐标以及关联于残点云的数值。

图9根据本公开的实施例绘示计算当前残点云中的残点的数量的示意图。运算模块221可根据预测模型223判断参考残点云中的残点的数量M，其中预测模型223可为适应性预估器。另一方面，运算模块221可自比特流取得关联于残点云的数值。运算模块221将参考残点云中的残点的数量M与关联于残点云的数值相加以产生当前残点云中的残点的数量N，如公式(3)所示，其中Delta代表关联于残点云的数值。在取得当前残点云中的残点的数量N后，运算模块221可根据自原始补丁取得的向量、比特流中的参考点的坐标以及当前残点云中的残点的数量N等信息来重建当前残点云。

N＝M+Delta…(3)

图10根据本公开的另一实施例绘示一种用于编码点云的方法的流程图，其中所述方法可由如图2所示的电子装置100实施。在步骤S1001中，取得点云，其中点云包含包围盒中的多个点。在步骤S1003中，自点云取得残点云。在步骤S1005中，定义包围盒中的参考点。在步骤S1007中，根据参考点和残点云产生原始补丁。在步骤S1009中，根据原始补丁产生图像数据，并且根据图像数据产生编码图像数据。在步骤S1011中，输出编码图像数据。

图11根据本公开的另一实施例绘示一种用于译码点云的方法的流程图，其中所述方法可由如图7所示的电子装置200实施。在步骤S1101中，接收编码图像数据以及比特流。在步骤S1103中，译码编码图像数据以取得图像数据，并且自图像数据取得原始补丁。在步骤S1105中，根据原始补丁以及比特流重建点云中的残点云。

综上所述，本公开可利用原始补丁提取残点云的信息。由残点云产生的原始补丁以及由外围点云产生的其他补丁可包含在相同的图像数据中。因此，原始补丁并不会消耗太大的数据空间。据此，根据本公开的译码方法还原的点云将不会失去残点云的相关信息，故不会导致失真。本公开还可将点云图像的先前帧作为参考点云。在编码对应于点云图像的当前帧的点云以产生编码数据时，点云的残点云以及参考点云的残点云所包含的重复点信息可不被编码至编码数据中，藉以提高点云的压缩比。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (22)

1.一种用于编码点云的电子装置，其特征在于，包括：

收发器，取得所述点云，其中所述点云包括包围盒中的多个点；

存储介质，存储多个模块；以及

处理器，耦接所述存储介质以及所述收发器，并且存取和执行所述多个模块，其中所述多个模块包括：

运算模块，自所述点云中取得残点云，定义所述包围盒中的参考点，并且根据所述参考点和所述残点云产生原始补丁；以及

图像编码模块，根据所述原始补丁产生图像数据，并且根据所述图像数据产生编码图像数据，其中

所述运算模块通过所述收发器输出所述编码图像数据。

2.根据权利要求1所述的电子装置，其中所述运算模块根据所述参考点以及所述残点云产生比特流，并且通过所述收发器输出所述比特流，其中所述比特流包括所述参考点的坐标以及关联于所述残点云的数值。

3.根据权利要求2所述的电子装置，其中当前残点云对应于点云图像的当前帧并且包括N个点，其中参考残点云对应于所述点云图像的先前帧并且包括M个点，其中所述运算模块计算所述N个点与所述M个点之间的差值以产生所述数值，其中N和M为正整数。

4.根据权利要求3所述的电子装置，其中M等于1。

5.根据权利要求3所述的电子装置，其中所述多个模块还包括：

预测模型，根据所述参考残点云决定所述M个点。

6.根据权利要求1所述的电子装置，其中所述运算模块计算所述参考点与所述残点云中的每一点之间的向量以产生所述原始补丁。

7.根据权利要求1所述的电子装置，其中所述包围盒包括一或多个子包围盒，其中所述残点云包括对应于所述一或多个子包围盒中的子包围盒的第一残点云，其中所述运算模块根据所述第一残点云和对应于所述子包围盒的所述参考点产生所述原始补丁。

8.根据权利要求1所述的电子装置，其中所述运算模块根据所述图像编码模块所使用的图像编码算法决定所述原始补丁的补丁尺寸。

9.根据权利要求1所述的电子装置，其中所述运算模块将所述点云中的外围点云投影至所述包围盒以产生多个补丁，并且自所述点云移除所述外围点云以产生所述残点云，其中所述图像编码模块产生包括所述多个补丁以及所述原始补丁的所述图像数据。

10.根据权利要求1所述的电子装置，其中所述图像编码模块根据下列的图像编码算法的其中之一产生所述编码图像数据：HEVC算法、H.264算法、H.266算法、H.267算法、H.268算法以及H.269算法。

11.一种用于译码点云的电子装置，其特征在于，包括：

收发器，接收编码图像数据以及比特流；

存储介质，存储多个模块；以及

处理器，耦接所述存储介质以及所述收发器，并且存取和执行所述多个模块，其中所述多个模块包括：

图像译码模块，译码所述编码图像数据以取得图像数据，并且自所述图像数据取得原始补丁；以及

运算模块，根据所述原始补丁以及所述比特流重建所述点云中的残点云。

12.根据权利要求11所述的电子装置，其中所述比特流包括所述点云中包围盒中的参考点的坐标以及关联于所述残点云的数值。

13.根据权利要求12所述的电子装置，其中当前残点云对应于点云图像的当前帧并且包括N个点，其中参考残点云对应于所述点云图像的先前帧并且包括M个点，其中所述数值为所述N个点与所述M个点之间的差值，其中N和M为正整数。

14.根据权利要求13所述的电子装置，其中M等于1。

15.根据权利要求13所述的电子装置，其中所述多个模块还包括：

预测模型，根据所述参考残点云决定所述M个点。

16.根据权利要求12所述的电子装置，其中所述原始补丁包括所述参考点与所述残点云中的每一点之间的向量。

17.根据权利要求12所述的电子装置，其中所述包围盒包括一或多个子包围盒，其中所述残点云包括对应于所述一或多个子包围盒中的子包围盒的第一残点云，其中所述运算模块根据所述原始补丁以及所述比特流重建所述残点云。

18.根据权利要求11所述的电子装置，其中所述原始补丁的补丁尺寸关联于所述图像译码模块所使用的图像译码算法。

19.根据权利要求11所述的电子装置，其中所述图像数据包括多个补丁以及所述原始补丁，其中所述运算模块根据所述多个补丁重建外围点云，并且根据所述外围点云以及所述残点云重建所述点云，其中所述多个补丁分别对应于所述外围点云在所述包围盒上的多个投影。

20.根据权利要求11所述的电子装置，其中所述图像译码模块根据下列的图像编码算法的其中之一译码所述编码图像数据：HEVC算法、H.264算法、H.266算法、H.267算法、H.268算法以及H.269算法。

21.一种用于编码点云的方法，其特征在于，包括：

取得所述点云，其中所述点云包括包围盒中的多个点；

自所述点云取得残点云；

定义所述包围盒中的参考点；

根据所述参考点和所述残点云产生原始补丁；

根据所述原始补丁产生图像数据，并且根据所述图像数据产生编码图像数据；以及

输出所述编码图像数据。

22.一种用于译码点云的方法，其特征在于，包括：

接收编码图像数据以及比特流；

译码所述编码图像数据以取得图像数据，并且自所述图像数据取得原始补丁；以及

根据所述原始补丁以及所述比特流重建所述点云中的残点云。

Images