CN118318253A - 用于对称网格中uv属性的自适应量化的方法和设备 - Google Patents
用于对称网格中uv属性的自适应量化的方法和设备 Download PDFInfo
- Publication number
- CN118318253A CN118318253A CN202380014667.4A CN202380014667A CN118318253A CN 118318253 A CN118318253 A CN 118318253A CN 202380014667 A CN202380014667 A CN 202380014667A CN 118318253 A CN118318253 A CN 118318253A
- Authority
- CN
- China
- Prior art keywords
- grid
- quantization
- bit depth
- mesh
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 112
- 230000003044 adaptive effect Effects 0.000 title description 7
- 238000011002 quantification Methods 0.000 title description 2
- 238000013139 quantization Methods 0.000 claims abstract description 124
- 230000009467 reduction Effects 0.000 claims abstract description 12
- 230000009466 transformation Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 description 68
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一种由编码器执行的方法包括:从输入网格中提取提取的半对称网格,该输入网格包括第一侧和第二侧,第二侧与第一侧相对,提取的网格包括第一侧和第二侧中的仅一者;以第一比特深度对提取的半对称网格进行量化,以生成第一量化网格;对第一量化网格进行重新参数化,以生成重新参数化的网格,该重新参数化包括第一量化网格中的一个或更多个空的空间的减少;以与第一比特深度不同的第二比特深度对重新参数化的网格进行量化,以生成第二量化网格;以及将第二量化网格编码成比特流。
Description
相关申请的交叉引用
本申请要求于2022年11月7日提交的美国临时申请第63/423,260号和于2023年9月14日提交的美国申请第18/467,241号的优先权,该美国临时申请和美国申请的公开内容通过引用整体并入本文。
技术领域
本公开内容涉及一组高级视频译码技术。更具体地,本公开内容涉及用于对称网格中UV属性的自适应量化。
背景技术
VMesh是正在进行的用于压缩网格的MPEG(Moving Picture Experts Group,MPEG)标准。目前的VMesh参考软件基于抽取的基础网格、位移矢量和运动场来压缩网格。通过搜索输入网格上相对于细分的基础网格的每个顶点的最近的点来计算位移。通过线性提升方案将位移矢量转换成小波系数,并且然后通过视频编解码器或算术编解码器对该系数进行量化和译码。遗憾的是,仅网格的局部特性被用于压缩网格,而不是像对称这样的全局特性。
反射对称是网格编码,尤其是计算机生成的网格的流行特性。对称可以用于压缩对称网格。顶点被划分成对称平面的左部分和右部分。左部分通过网格译码来编码,而右部分通过对称预测和位移译码来编码。UV属性可以体现一定的对称水平。
可以通过重新布置和/或重新生成UV图和相关联的纹理图来执行UV属性的重新参数化。可以执行重新参数化来提高有损网格压缩性能。通常,可以应用抽取处理,并且随后进行重新参数化,例如VMesh中的UV图集。UV图集对于碎片化的UV属性非常有效。
然而,这些技术没有提供用于量化对称UV的有效方法。此外,这些技术没有提供针对无损和有损压缩对UV属性进行重新参数化的方法。另外,这些方法在不修改相关联的纹理的情况下对UV进行重新参数化。
发明内容
根据一个或更多个实施方式,一种由编码器的至少一个处理器执行的方法包括:从输入网格中提取提取的半对称网格,该输入网格包括第一侧和第二侧,第二侧与第一侧相对,提取的网格包括第一侧和第二侧中的仅一者;以第一比特深度对提取的半对称网格进行量化,以生成第一量化网格;对第一量化网格进行重新参数化,以生成重新参数化的网格,该重新参数化包括第一量化网格中的一个或更多个空的空间的减少;以与第一比特深度不同的第二比特深度对重新参数化的网格进行量化,以生成第二量化网格;以及将第二量化网格编码成比特流。
根据一个或更多个实施方式,一种编码器包括:至少一个存储器,所述至少一个存储器被配置成存储程序代码;以及至少一个处理器,所述至少一个处理器被配置成读取程序代码并且按程序代码所指示的进行操作,该程序代码包括:提取代码,该提取代码被配置成使至少一个处理器从输入网格中提取提取的半对称网格,该输入网格包括第一侧和第二侧,第二侧与第一侧相对,提取的半对称网格包括第一侧和第二侧中的一者;第一量化代码,该第一量化代码被配置成使至少一个处理器以第一比特深度对提取的半对称网格进行量化,以生成第一量化网格;重新参数化代码,该重新参数化代码被配置成使至少一个处理器对第一量化网格进行重新参数化,以生成重新参数化的网格,该重新参数化包括第一量化网格中的一个或更多个空的空间的减少;第二量化代码,该第二量化代码被配置成使至少一个处理器以与第一比特深度不同的第二比特深度对重新参数化的网格进行量化,以生成第二量化网格;以及编码代码,该编码代码被配置成使至少一个处理器将第二量化网格编码成比特流。
根据一个或更多个实施方式,一种非暂态计算机可读介质具有存储在其中的指令,该指令在由编码器中的处理器执行时使该编码器执行下述方法,该方法包括:从输入网格中提取提取的半对称网格,该输入网格包括第一侧和第二侧,第二侧与第一侧相对,提取的网格包括第一侧和第二侧中的一者;以第一比特深度对提取的半对称网格进行量化,以生成第一量化网格;对第一量化网格进行重新参数化,以生成重新参数化的网格,该重新参数化包括第一量化网格中的一个或更多个空的空间的减少;以与第一比特深度不同的第二比特深度对重新参数化的网格进行量化,以生成第二量化网格;以及将第二量化网格编码成比特流。
附图说明
根据以下详细描述和附图,所公开的主题的另外的特征、性质和各种优点将更加明显,在附图中:
图1是根据本公开内容的实施方式的通信系统的框图的示意图。
图2是根据本公开内容的实施方式的流式传输系统的框图的示意图。
图3示出了根据本公开内容的实施方式的从3D(Three dimensional,3D)网格段到2D(Two dimensional,2D)图表上的UV参数化映射的示例。
图4(A)是根据本公开内容的实施方式的网格和对应UV属性图的图示。
图4(B)是根据本公开内容的实施方式的半对称网格和对应UV属性图的图示。
图5是根据本公开内容的实施方式的用于利用量化对对称UV网格进行重新参数化的示例框架的示意图。
图6是根据本公开内容的实施方式的具有相应边界框的示例2D网格的示意图。
图7是根据本公开内容的实施方式的具有相应边界框的示例2D网格的示意图。
图8是根据本公开内容的实施方式的用于在不修改纹理的情况下对UV属性进行重新参数化的示例框架的示意图。
图9是根据本公开内容的实施方式的用于执行自适应量化的示例处理的流程图。
图10是根据本公开内容的实施方式的用于执行自适应去量化的示例处理的流程图。
图11是适于实现本公开内容的实施方式的计算机系统的图。
具体实施方式
以下参照附图对示例实施方式进行详细描述。不同附图中的相同附图标记可以标识相同或相似的元素。
前述公开内容提供了说明和描述,但是不旨在是穷举性的或者将实现方式限制为所公开的确切形式。鉴于以上公开内容,可以进行修改和变型,或者可以从实现方式的实践中获取修改和变型。此外,一个实施方式的一个或更多个特征或部件可以并入另一实施方式(或另一实施方式的一个或更多个特征)中或者与另一实施方式(或另一实施方式的一个或更多个特征)进行组合。另外,在下面提供的操作的流程图和描述中,应当理解,可以省略一个或更多个操作,可以添加一个或更多个操作,可以(至少部分地)同时执行一个或更多个操作,并且可以切换一个或更多个操作的顺序。
将明显的是,本文描述的系统和/或方法可以以不同形式的硬件、固件或者硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实现方式。因此,本文在没有参考特定软件代码的情况下描述了系统和/或方法的操作和行为——应当理解,软件和硬件可以被设计成基于本文中的描述来实现系统和/或方法。
即使在权利要求中记载了以及/或者在说明书中公开了特征的特定组合,这些组合也不旨在限制可能的实现方式的公开内容。实际上,这些特征中的许多特征可以以权利要求中未具体记载以及/或者说明书中未公开的方式组合。虽然以下列出的每个从属权利要求可以直接引用仅一个权利要求,但是可能的实现方式的公开内容包括每个从属权利要求与权利要求集中的每个其他权利要求的组合。
除非对此明确地描述,否则本文中使用的元素、动作或指令都不应当被解释为关键的或必要的。此外,如本文使用的,冠词“一种”和“一个”旨在包括一个或更多个项,并且可以与“一个或更多个”互换使用。在意旨仅一项时,使用术语“一个(one)”或类似的语言。此外,如本文使用的,术语“有(has)”、“具有(have)”、“含有(having)”、“包括(include)”、“包含(including)”等旨在为开放式术语。此外,除非另有明确说明,否则短语“基于”旨在意指“至少部分地基于”。此外,诸如“[A]和[B]中的至少一个”或“[A]或[B]中的至少一个”的表述应被理解为仅包括A、仅包括B或者包括A和B两者。
在整个本说明书中,对“一个实施方式”、“实施方式”或类似的语言的引用意指结合所指示的实施方式描述的特定特征、结构或特性被包括在本解决方案的至少一个实施方式中。因此,在整个说明书中,短语“在一个实施方式中”、“在实施方式中”和类似语言可以但不一定全部指代同一实施方式。
此外,本公开内容的所描述的特征、优点和特性可以在一个或更多个实施方式中以任何合适的方式组合。根据本文的描述,相关领域的技术人员将认识到,可以在没有特定实施方式的特定特征或优点中的一个或更多个特定特征或优点的情况下实践本公开内容。在其他情况下,在某些实施方式中可以认识到附加的特征和优点,这些特征和优点可以不存在于本公开内容的所有实施方式中。
参照图1至图2,描述了本公开内容的用于实现本公开内容的编码结构和解码结构的一个或更多个实施方式。
图1示出了根据本公开内容的实施方式的通信系统100的简化框图。系统100可以包括经由网络150互连的至少两个终端110、120。对于数据的单向传输,第一终端110可以在本地位置处对可以包括网格数据的视频数据进行译码以经由网络150传输至另一终端120。第二终端120可以从网络150接收另一终端的已译码视频数据、对已译码数据进行解码并且显示恢复的视频数据。单向数据传输在媒体服务应用等中可能是常见的。
图1示出了第二对终端130、140,所述第二对终端130、140被提供用于支持例如在视频会议期间可能发生的已译码视频的双向传输。对于数据双向传输,每个终端130、140可以对在本地位置处捕获的视频数据进行译码,以经由网络150传输至另一终端。每个终端130、140还可以接收由另一终端传输的已译码视频数据,可以对已译码数据进行解码,并且可以在本地显示装置处显示恢复的视频数据。
在图1中,终端110至终端140可以是例如服务器、个人计算机和智能电话和/或任何其他类型的终端。例如,终端(110至140)可以是膝上型计算机、平板计算机、媒体播放器和/或专用视频会议装备。网络150表示在终端110至终端140之间传送已译码视频数据的任何数目的网络,包括例如有线通信网络和/或无线通信网络。通信网络150可以在电路交换信道和/或分组交换信道中交换数据。代表性网络包括电信网络、局域网、广域网和/或因特网。出于本讨论的目的,除非在下文中有所说明,否则网络150的架构和拓扑对于本公开内容的操作而言可以是无关紧要的。
图2示出了视频编码器和解码器在流式传输环境中的放置方式,作为针对所公开的主题的应用的示例。所公开的主题可以与其他支持视频的应用一起使用,所述应用包括例如视频会议、数字电视、在包括CD(Compact Disc,CD)、DVD(Digital Video Disk,DVD)、存储棒等的数字介质上存储压缩视频等。
如图2所示,流式传输系统200可以包括捕获子系统213,该捕获子系统213包括视频源201和编码器203。流式传输系统200还可以包括至少一个流式传输服务器205和/或至少一个流式传输客户端206。
视频源201可以创建例如包括3D网格和与3D网格相关联的元数据的流202。视频源201可以包括例如3D传感器(例如,深度传感器)或3D成像技术(例如,数字摄像装置),以及被配置成使用从3D传感器或3D成像技术接收的数据来生成3D网格的计算装置。与已编码视频比特流相比可以具有高数据量的样本流202可以由耦接至视频源201的编码器203处理。编码器203可以包括硬件、软件或其组合,以实现或实施如下面更详细描述的所公开的主题的各方面。编码器203还可以生成已编码视频比特流204。与未经压缩的流202相比时可以具有较低数据量的已编码视频比特流204可以被存储在流式传输服务器205上以供将来使用。一个或更多个流式传输客户端206可以访问流式传输服务器205以检索可以作为已编码视频比特流204的副本的视频比特流209。
流式传输客户端206可以包括视频解码器210和显示器212。视频解码器210可以例如对作为已编码视频比特流204的传入副本的视频比特流209进行解码,并且创建可以在显示器212或另一呈现装置(未描绘)上呈现的传出视频样本流211。在一些流式传输系统中,可以根据某些视频译码/压缩标准对视频比特流204、209进行编码。
网格可以是限定形状或对象的顶点、边和面的集合。3D网格可以包括多个顶点,其中,每个顶点与3D空间中的3D坐标(例如,x、y、z)相关联。2D网格可以包括多个顶点,其中,每个顶点与2D空间中的2D坐标(例如,x和y)相关联。顶点可以连接以形成边,其中,顶点的集合可以限定面。
根据一个或更多个实施方式,可以将3D网格分割成若干段(或面片/图表)。每个段可以由与其几何、属性和连接性信息相关联的连接的顶点集合组成。如图3所示,UV参数化处理将网格段300映射到2D UV图集(302、304)中的2D图表上。网格段中的每个顶点可以被分配有2D UV图集中的2D UV坐标。2D图表中的顶点可以形成连接的分量作为其3D对应部分。每个顶点的几何和连接性信息也可以从其3D对应部分中继承。因此,基于包括几何和连接性信息的相关联的UV属性,UV坐标将2D空间中的顶点映射到3D空间。
本公开内容的实施方式涉及在基于对称的网格译码中自适应地量化UV坐标。本公开内容的实施方式可以单独地使用或者可以以任何顺序组合使用,并且可以用于任意多边形网格。
根据一个或更多个实施方式,对输入网格进行分割。如上面所讨论的,网格可以是限定形状或对象的顶点、边和面的集合。3D网格可以包括多个顶点,其中,每个顶点与3D空间中的3D坐标(例如,x、y、z)相关联。2D网格可以包括多个顶点,其中,每个顶点与2D空间中的2D坐标(例如,x和y)相关联。顶点可以连接以形成边,其中,顶点的集合可以限定面。
在UV属性图中,输入网格可以被分割成多个非连接部分。例如,图4(A)示出了勺子网格400的UV图,该勺子网格400被分割成三个非连接部分(402、404、406)。图4(B)示出了半勺网格408的UV图,该半勺网格408被分割成三个非连接部分(410、412、414)。
如图4(A)和图4(B)所示,对称译码方法可以提取对称UV网格的一半并且留出空的空间。在基于对称的译码的上下文中,剩余部分(例如,图4(B))被译码,并且随后被用作对预测UV信息的另一半的参考。
图5示出了根据一个或更多个实施方式的用于利用量化对对称UV网格进行重新参数化的示例框架。图5中的框架500处理对称UV属性。
在一个或更多个示例中,将输入网格u提供给对称提取处理502,以提取与输入网格u对应的半对称网格在一个或更多个示例中,对称提取处理可以提取网格的一部分,例如与网格的一半对应的网格的一侧。参照图4(A)和图4(B),输入网格u可以对应于对象400,并且提取的半对称网格可以对应于408。对称提取处理502的输出可以被称为提取的网格。另一半经受由对称预测工具进行的预测。因此,在一个或更多个示例中,半对称UV的每个部分仅占用UV属性的较小区域,并且在每个部分之间存在许多空的空间。在一个或更多个示例中,重新参数化处理应用有两个不同的量化处理。
示例量化处理如下描述。首先,UV属性的边界框在u方向和v方向上被分别估计为[u最小,u最大]和[v最小,v最大]。其次,量化步长Δq被限定为:
并且量化的UV是:
其中,θ是量化偏移。通常,在均匀量化中量化偏移被设置成θ=0.5。去量化的UV通过下述来计算:
总之,所公开的方法可以从输入网格中提取提取的半对称网格。此处,输入网格包括第一侧和第二侧,而第二侧与第一侧相对。此外,提取的网格包括第一侧和第二侧中的仅一者,而不是两者。所公开的方法首先以第一比特深度对提取的网格进行量化,以生成第一量化网格。然后,所公开的方法可以对第一量化网格进行重新参数化,以生成重新参数化的网格,该重新参数化包括第一量化网格中的一个或更多个空的空间的减少。接下来,所公开的方法可以以与第一比特深度不同的第二比特深度对重新参数化的网格进行量化,以生成第二量化网格。通过进行这两步重新参数化和两步量化,所公开的方法可以减少最终量化的UV属性的量化误差。
如图5所示可以对量化的UV进行编码。在一个或更多个示例中,提取输入UV属性的一半作为其具有多个UV属性
在一个或更多个示例中,框架500包括第一量化处理504,第一量化处理504接收半对称网格作为输入。第一量化处理504可以以高的比特深度QT1执行量化,以获得整数输入。第一量化处理504的输出可以被称为第一量化网格。
在一个或更多个示例中,可以执行重新参数化处理506,以获得半对称UV网格的紧凑表示。重新参数化处理506的输出可以被称为重新参数化的网格。该重新参数化可以用于通过线性或非线性变换来减少UV属性中的空的空间。在一个或更多个示例中,重新参数化处理506可以包括线性重新参数化处理506,线性重新参数化处理506执行线性变换以减少段之间的空间,从而减小UV网格的边界框尺寸,以有益于量化。
在一个或更多个示例中,重新参数化处理506可以包括非线性重新参数化处理506B,非线性重新参数化处理506B执行非线性变换例如UV图集,其可以被进一步用于减少UV属性中的碎片。
在一个或更多个示例中,框架500可以包括第二量化处理508,第二量化处理508接收重新参数化处理506的输出作为输入。第二量化处理508可以以比特深度QT2执行量化,其中,QT2≤QT1。第二量化处理508的输出可以被称为第二量化网格,其可以是最终量化的UV属性的输出。
根据一个或更多个示例,可以基于边界框执行量化处理。UV网格的边界框在u方向和v方向上可以被分别估计为[u最小,u最大]和[v最小,v最大]。图6示出了被边界框602包围的示例UV网格600。如图6所示,边界框602包括u最小=2,u最大=8,v最小=2以及v最大=7。
在一个或更多个示例中,量化步长Δq可以如下限定。
式(1):
第一量化处理504可以利用根据式(1)以及比特深度QT1确定的量化步长来执行。在执行重新参数化处理506之后,UV网格600可以被缩小,从而导致边界框缩小。例如,图7示出了可以与对UV网格600执行的重新参数化处理506的输出对应的网格700。如图7所示,网格被边界框702包围,边界框702包括u最小=3,u最大=7,v最小=3以及v最大=6。在执行重新参数化处理506之后,可以根据式(1)基于边界框702的参数和比特深度QT2执行第二量化处理508。
在一个或更多个示例中,量化的UV可以如下限定。
式(2):
其中,θ为量化偏移。在一个或更多个示例中,在均匀量化中θ=0.5。
在一个或更多个示例中,去量化的UV可以如下计算。
式(3):
通过执行两步重新参数化处理——重新参数化处理之前和之后的量化,本公开内容的实施方式能够减少最终量化的UV属性的量化误差。
根据一个或更多个实施方式,执行处理以使UV网格的最终量化误差最小化。在一个或更多个示例中,将半对称UV属性划分成m个多个断开连接的段(或图表)每个段可以与2D变换qi相关联,该2D变换qi包括诸如过渡、旋转、反射、仿射变换等因素。qi2D变换可以由4个或6个参数来表示。重新参数化是用于找到使UV网格的总面积最小化的m个2D变换qi的集的优化处理,如下所示。
式(4):
其中,是用于计算UV集的边界框的面积的函数。
在一个或更多个示例中,可以考虑UV量化参数以使重新参数化之后的量化误差最小化。例如,两个图表之间的距离大于阈值τ,如下所示。
式(5):
在一个或更多个示例中,阈值被设置为UV量化步长的整数倍,如下所示。
式(6):
符号可以表示中的所有UV属性之间的最小L1距离。
根据一个或更多个实施方式,在保持一个或更多个UV属性的同时执行重新参数化处理,从而保持原始的相关联纹理。例如,在找到最优变换集之后,通过使变换误差最小化来估计对应的逆变换如下所示。
式(7):
在一个和更多个示例中,可以将逆变换用信号通知给解码器以遵循减小的尺寸的指示。通过用信号通知逆变换,解码器可以在不修改纹理的情况下重建UV网格。
图8示出了根据一个或更多个实施方式的在比特流中用信号通知逆变换的示例框架800。图8中的处理502、504、506(506A、506B)、508和510可以与如针对图5所描述的具有相同附图标记编号的处理相同。重新参数化处理506可以计算如上面所讨论的最优变换集在计算最优变换之后,可以执行估计逆变换处理802,以针对每个确定的最优变换确定如上面所讨论的逆变换
根据一个或更多个实施方式,执行针对无损压缩对UV属性进行重新参数化的框架。在该情况下,2D变换仅限于过渡,以避免新UV属性的插值。仅在量化输入和整体过渡的情况下,变换失真变为零。因此,利用用信号通知的整体过渡,解码器可以利用无损译码重建原始UV。
图9示出了用于对网格执行自适应量化的示例处理900的流程图。处理900可以由编码器203(图2)来执行。
处理可以在操作S902处开始,在操作S902处,对输入网格执行对称提取处理以生成提取的网格。例如,可以对输入网格执行对称提取处理502,以生成半对称网格作为提取的网格。
处理可以进行至操作S904,在操作S904处,对提取的网格执行第一量化处理,以生成第一量化网格。例如,可以对半对称网格执行第一量化处理504,以生成第一量化网格。第一量化处理504可以根据式(1)基于第一比特深度QT1来执行。
处理可以进行至操作S906,在操作S906处,对第一量化网格执行重新参数化处理,以生成重新参数化的网格。例如,可以对第一量化网格执行重新参数化处理506。重新参数化处理506可以包括线性处理506A和非线性处理506B。重新参数化处理可以确定如上面所讨论的最优变换集
处理可以进行至操作S908,在操作S908处,对重新参数化的网格执行第二量化处理,以生成第二量化网格。例如,可以对重新参数化的网格执行第二量化处理508。第二量化处理508可以基于下述来执行:根据式(1)基于比特深度QT2和包围重新参数化的网格的边界框的参数确定的量化步长。
处理进行至操作S910,在操作S910处,对第二量化网格进行编码,以生成比特流。该比特流可以包括根据估计逆变换处理508确定的逆变换。在一个或更多个示例中,可以对第二量化网格执行对称预测,以确定针对第二量化网格中每个顶点的对称顶点以及对应位移。每个确定的位移可以被包括在比特流中。
图10是根据本公开内容的实施方式的用于执行自适应去量化的示例处理1000的流程图。处理1000可以由视频解码器210(图2)来执行。
处理可以在操作S1002处开始,在操作S1002处,对接收的比特流进行解码,以提取已编码网格。该比特流可以对应于根据操作900(图9)生成的比特流。可以对比特流进行进一步解码以提取一个或更多个逆变换以及一个或更多个位移。
处理进行至操作S1004,在操作S1004中,对已编码网格执行第一去量化处理,以生成第一去量化网格。第一去量化处理可以根据式(2)基于根据比特深度QT2和包围已编码网格的边界框的参数确定的步长来执行。
处理进行至操作S1006,在操作S1006处,对第一去量化网格执行重新参数化处理,以生成重新参数化的网格。由解码器210执行的重新参数化处理可以使用从比特流解码的一个或更多个逆变换来生成重新参数化的网格。
处理进行至操作S1008,在操作S1008处,对重新参数化的网格执行第二去量化处理,以生成第二去量化网格。第二去量化处理可以根据式(2)基于根据QT1和包围重新参数化的网格的边界框的参数确定的步长来执行。
处理进行至操作S1010,在操作S1010处,基于第二去量化网格重建网格。网格的重建可以包括基于比特流中包括的一个或更多个位移执行对称预测,以重建网格。
上面描述的技术可以被实现为使用计算机可读指令并且物理地存储在一个或更多个计算机可读介质中的计算机软件。例如,图11示出了适于实现本公开内容的某些实施方式的计算机系统1100。
可以使用任何合适的机器代码或计算机语言来对计算机软件进行译码,这些机器代码或计算机语言可以经过汇编、编译、链接或类似机制以创建包括可以由计算机中央处理单元(Central Processing Unit,CPU)、图形处理单元(Graphics Processing Unit,GPU)等直接执行或者通过解释、微代码执行等执行的指令的代码。
这些指令可以在各种类型的计算机或其部件上执行,所述计算机或其部件包括例如个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网装置等。
图11中示出的用于计算机系统1100的部件是示例,并且不旨在对实现本公开内容的实施方式的计算机软件的使用范围或功能提出任何限制。部件的配置也不应当被解释为具有与计算机系统1100的非限制性实施方式中所示的部件中的任何一个或部件的组合有关的任何依赖性或要求。
计算机系统1100可以包括某些人机接口输入装置。这样的人机接口输入装置可以对由一个或更多个人类用户通过例如触觉输入(例如:击键、滑动、数据手套移动)、音频输入(例如:语音、拍手)、视觉输入(例如:手势)、嗅觉输入(未描绘)进行的输入作出响应。人机接口装置还可以用于捕获不一定与由人类进行的有意识输入直接相关的某些媒体,例如音频(例如:语音、音乐、环境声音)、图像(例如:扫描的图像,从静态图像摄像装置获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。
输入人机接口装置可以包括以下中的一个或更多个(描绘的每者中的仅一个):键盘1101、鼠标1102、触控板1103、触摸屏1110、数据手套、操纵杆1105、麦克风1106、扫描仪1107、摄像装置1108。
计算机系统1100还可以包括某些人机接口输出装置。这样的人机接口输出装置可以通过例如触觉输出、声音、光和气味/味道刺激一个或更多个人类用户的感官。这样的人机接口输出装置可以包括:触觉输出装置(例如,通过触摸屏1110、数据手套或操纵杆1105进行的触觉反馈,但是也可以存在不用作输入装置的触觉反馈装置)。例如,这样的装置可以是音频输出装置(例如:扬声器1109、头戴式耳机(未描绘));视觉输出装置(例如,屏幕1110,包括CRT(Cathode Ray Tube,CRT)屏幕、LCD(Liquid Crystal Display,LCD)屏幕、等离子屏幕、OLED(Organic Light Emitting Diode,OLED)屏幕,每个屏幕具有或不具有触摸屏输入能力,每个屏幕具有或不具有触觉反馈能力——其中的一些可能能够通过诸如立体输出的方式输出二维视觉输出或多于三维输出;虚拟现实眼镜(未描绘);全息显示器和发烟器(未描绘));以及打印机(未描绘)。
计算机系统1100还可以包括人类可访问的存储装置及其相关联的介质,例如包括具有CD/DVD等介质1121的CD/DVD ROM(Read Only Memory,ROM)/RW 1120的光学介质、拇指驱动器1122、可移除硬盘驱动器或者固态驱动器1123、传统磁性介质(例如磁带和软盘)(未描绘)、基于专用ROM/ASIC(Application Specific Integrated Circuit,ASIC)/PLD(Programmable Logic Device,PLD)的装置例如安全加密狗(未描绘)等。
本领域技术人员还应当理解,结合当前所公开的主题使用的术语“计算机可读介质”不包含传输介质、载波或其他瞬态信号。
计算机系统1100还可以包括到一个或更多个通信网络的接口。网络可以是无线的、有线的、光学的。网络还可以是局域的、广域的、城域的、车载的和工业的、实时的、延迟容忍的等。网络的示例包括:局域网,例如以太网、无线LAN(Local Area Network,LAN);蜂窝网络,包括GSM(Global System for Mobile Communication,GSM)、3G(the ThirdGeneration,3G)、4G(the Fourth Generation,4G)、5G(the Fifth Generation,5G)、LTE(Long Term Evolution,LTE)等;TV有线或无线广域数字网络,包括有线TV、卫星TV和地面广播TV;车载和工业的,包括CAN总线(Controller Area Network Bus,CANBus)等。某些网络通常需要附接至某些通用数据端口或外围总线1149(例如,计算机系统1100的USB(Universal Serial Bus,USB)端口)的外部网络接口适配器;其他的网络通常通过如下所述(例如,到PC(Personal Computer,PC)计算机系统的以太网接口或到智能电话计算机系统的蜂窝网络接口)附接至系统总线而集成到计算机系统1100的核中。计算机系统1100可以使用这些网络中的任何网络与其他实体通信。这样的通信可以是单向仅接收的(例如,广播TV)、单向仅发送的(例如,到某些CAN总线装置的CAN总线)、或双向的,例如到使用局域数字网络或广域数字网络的其他计算机系统。这样的通信可以包括到云计算环境1155的通信。可以在如上面所描述的那些网络和网络接口中的每一个上使用某些协议和协议栈。
以上提及的人机接口装置、人类可访问的存储装置以及网络接口1154可以附接至计算机系统1100的核1140。
核1140可以包括一个或更多个中央处理单元(CPU)1141、图形处理单元(GPU)1142、呈现场可编程门区域(Field Programmable Gate Area,FPGA)1143形式的专用可编程处理单元、用于某些任务的硬件加速器1144等。这些装置连同只读存储器(ROM)1145、随机存取存储器1146、内部大容量存储装置例如内部非用户可访问硬盘驱动器、SSD(SolidState Drive,SSD)等1147可以通过系统总线1148连接。在一些计算机系统中,可以以一个或更多个物理插头的形式来访问系统总线1148,以使得能够通过附加的CPU、GPU等进行扩展。外围装置可以直接附接至核的系统总线1148,或者通过外围总线1149附接至核的系统总线1148。外围总线的架构包括PCI(Peripheral Component Interconnect/Interface,PCI)、USB等。图形适配器1150可以包括在核1140中。
CPU 1141、GPU 1142、FPGA1143以及加速器1144可以执行某些指令,这些指令的组合可以构成以上提及的计算机代码。该计算机代码可以存储在ROM 1145或RAM(RandomAccess Memory,RAM)1146中。暂态数据也可以存储在RAM 1146中,而永久数据可以存储在例如内部大容量存储装置1147中。可以通过使用高速缓冲存储器来实现对存储器装置中的任何存储器装置的快速存储和检索,该高速缓冲存储器可以与一个或更多个CPU 1141、GPU1142、大容量存储装置1147、ROM 1145、RAM 1146等紧密相关联。
计算机可读介质上可以在其上具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开内容的目的而专门设计和构造的那些介质和计算机代码,或者介质和计算机代码可以具有计算机软件领域的技术人员公知且可用的类型。
作为示例而非作为限制,具有架构1100的计算机系统,并且特别是核1140可以由于处理器(包括CPU、GPU、FPGA、加速器等)执行体现在一个或更多个有形计算机可读介质中的软件而提供功能。这样的计算机可读介质可以是与如上所介绍的用户可访问的大容量存储装置以及核1140的具有非暂态性质的某些存储装置例如核内部大容量存储装置1147或ROM 1145相关联的介质。可以将实现本公开内容的各种实施方式的软件存储在这样的装置中并且由核1140执行。根据特定需要,计算机可读介质可以包括一个或更多个存储器装置或芯片。软件可以使核1140并且特别是其中的处理器(包括CPU、GPU、FPGA等)执行本文中描述的特定处理或特定处理的特定部分,包括限定存储在RAM 1146中的数据结构以及根据由软件限定的处理修改这样的数据结构。另外地或作为替选方案,计算机系统可以由于硬连线或以其他方式体现在电路(例如,加速器1144)中的逻辑而提供功能,该逻辑可以代替软件操作或与软件一起操作以执行本文描述的特定处理或特定处理的特定部分。在适当的情况下,提及软件可以涵盖逻辑,并且反之提及逻辑也可以涵盖软件。在适当的情况下,提及计算机可读介质可以涵盖存储用于执行的软件的电路(例如,集成电路(IntegratedCircuit,IC))、体现用于执行的逻辑的电路或者上述两者。本公开内容涵盖硬件和软件的任何合适的组合。
虽然本公开内容已经描述了若干非限制性实施方式,但是存在落入本公开内容的范围内的改变、置换和各种替代等效方案。因此,将认识到,本领域技术人员将能够设计出许多系统和方法,这些系统和方法虽然未在本文中明确地示出或描述,但是体现了本公开内容的原理并且因此在本公开内容的精神和范围内。
上面的公开内容还涵盖下面列出的实施方式:
(1)一种由编码器的至少一个处理器执行的方法,包括:从输入网格中提取提取的半对称网格,所述输入网格包括第一侧和第二侧,所述第二侧与所述第一侧相对,所述提取的网格包括所述第一侧和所述第二侧中的仅一者;以第一比特深度对所述提取的半对称网格进行量化,以生成第一量化网格;对所述第一量化网格进行重新参数化,以生成重新参数化的网格,所述重新参数化包括所述第一量化网格中的一个或更多个空的空间的减少;以与所述第一比特深度不同的第二比特深度对所述重新参数化的网格进行量化,以生成第二量化网格;以及将所述第二量化网格编码成比特流。
(2)根据特征(1)所述的方法,其中,所述第二比特深度小于所述第一比特深度。
(3)根据特征(1)或(2)所述的方法,其中,所述提取的网格由包围所述提取的网格的第一2D边界框来界定,所述第一2D边界框在2D空间中由下述限定:(i)在第一方向上的第一最大坐标和第一最小坐标;以及(ii)在与所述第一方向正交的第二方向上的第二最大坐标和第二最小坐标。
(4)根据特征(3)所述的方法,其中,对所述提取的网格进行量化基于第一量化步长和所述第一比特深度,并且其中,所述第一量化步长基于下述来确定:(i)(a)所述第一最大坐标与所述第一最小坐标之间的差以及(b)所述第二最大坐标与所述第二最小坐标之间的差中的最大值;以及(ii)所述第一比特深度。
(5)根据特征(3)或(4)所述的方法,其中,所述重新参数化包括线性重新参数化和非线性重新参数化处理,其中,所述线性重新参数化包括对所述第一量化网格执行线性变换以减少所述第一量化网格中的空的空间,并且其中,所述非线性重新参数化包括对所述线性重新参数化的输出执行非线性处理。
(6)根据特征(5)所述的方法,其中,将所述提取的网格划分成M个断开连接的段,其中,所述重新参数化包括针对每个断开连接的段确定下述变换,所述变换使所述提取的网格的总面积最小化,使得由第二2D边界框限定的重新参数化的网格的面积小于所述第一2D边界框的面积。
(7)根据特征(6)所述的方法,其中,所述第二2D边界框在所述2D空间中由下述限定:(i)在所述第一方向上的第三最大坐标和第三最小坐标;以及(ii)在所述第二方向上的第四最大坐标和第四最小坐标。
(8)根据特征(7)所述的方法,其中,对所述重新参数化的网格进行量化基于第二量化步长和所述第二比特深度,并且其中,所述第二量化步长基于下述来确定:(i)(a)所述第三最大坐标与所述第三最小坐标之间的差以及(b)所述第四最大坐标与所述第四最小坐标之间的差中的最大值;以及(ii)所述第二比特深度。
(9)根据特征(6)至(8)中任一项所述的方法,还包括:针对每个段的每个确定的变换确定对应的逆变换,并且其中,所述比特流包括每个确定的逆变换。
(10)一种编码器,包括:至少一个存储器,所述至少一个存储器被配置成存储程序代码;以及至少一个处理器,所述至少一个处理器被配置成读取所述程序代码并且按所述程序代码所指示的进行操作,所述程序代码包括:提取代码,所述提取代码被配置成使所述至少一个处理器从输入网格中提取提取的半对称网格,所述输入网格包括第一侧和第二侧,所述第二侧与所述第一侧相对,所述提取的半对称网格包括所述第一侧和所述第二侧中的一者;第一量化代码,所述第一量化代码被配置成使所述至少一个处理器以第一比特深度对所述提取的半对称网格进行量化,以生成第一量化网格;重新参数化代码,所述重新参数化代码被配置成使所述至少一个处理器对所述第一量化网格进行重新参数化,以生成重新参数化的网格,所述重新参数化包括所述第一量化网格中的一个或更多个空的空间的减少;第二量化代码,所述第二量化代码被配置成使所述至少一个处理器以与所述第一比特深度不同的第二比特深度对所述重新参数化的网格进行量化,以生成第二量化网格;以及编码代码,所述编码代码被配置成使所述至少一个处理器将所述第二量化网格编码成比特流。
(11)根据特征(10)所述的编码器,其中,所述第二比特深度小于所述第一比特深度。
(12)根据特征(10)所述的编码器,其中,所述提取的网格由包围所述提取的网格的第一2D边界框来界定,所述第一2D边界框在2D空间中由下述限定:(i)在第一方向上的第一最大坐标和第一最小坐标;以及(ii)在与所述第一方向正交的第二方向上的第二最大坐标和第二最小坐标。
(13)根据特征(12)所述的编码器,其中,所述第一量化代码还使所述至少一个处理器基于第一量化步长和所述第一比特深度对所述提取的网格进行量化,并且其中,所述第一量化步长基于下述来确定:(i)(a)所述第一最大坐标与所述第一最小坐标之间的差以及(b)所述第二最大坐标与所述第二最小坐标之间的差中的最大值;以及(ii)所述第一比特深度。
(14)根据特征(12)所述的编码器,其中,所述重新参数化代码还包括线性重新参数化代码和非线性重新参数化代码,其中,所述线性重新参数化代码使所述至少一个处理器对所述第一量化网格执行线性变换以减少所述第一量化网格中的空的空间,并且其中,所述非线性重新参数化代码使所述至少一个处理器对所述线性变换的输出执行非线性处理。
(15)根据特征(14)所述的编码器,其中,将所述提取的网格划分成M个断开连接的段,其中,所述重新参数化代码还包括第一确定代码,所述第一确定代码使所述至少一个处理器针对每个断开连接的段确定下述变换,所述变换使所述提取的网格的总面积最小化,使得由第二2D边界框限定的重新参数化的网格的面积小于所述第一2D边界框的面积。
(16)根据特征(15)所述的编码器,其中,所述第二2D边界框在所述2D空间中由下述限定:(i)在所述第一方向上的第三最大坐标和第三最小坐标;以及(ii)在所述第二方向上的第四最大坐标和第四最小坐标。
(17)根据特征(16)所述的编码器,其中,所述第二量化代码还使所述至少一个处理器基于第二量化步长和所述第二比特深度对所述重新参数化的网格进行量化,并且其中,所述第二量化步长基于下述来确定:(i)(a)所述第三最大坐标与所述第三最小坐标之间的差以及(b)所述第四最大坐标与所述第四最小坐标之间的差中的最大值;以及(ii)所述第二比特深度。
(18)根据特征(15)至(18)中任一项所述的编码器,其中,所述程序代码还包括:第二确定代码,所述第二确定代码被配置成使所述至少一个处理器针对每个段的每个确定的变换确定对应的逆变换,并且其中,所述比特流包括每个确定的逆变换。
(19)一种非暂态计算机可读介质,所述非暂态计算机可读介质具有存储在其中的指令,所述指令在由编码器中的处理器执行时使所述编码器执行下述方法,所述方法包括:从输入网格中提取提取的半对称网格,所述输入网格包括第一侧和第二侧,所述第二侧与所述第一侧相对,所述提取的网格包括所述第一侧和所述第二侧中的一者;以第一比特深度对所述提取的半对称网格进行量化,以生成第一量化网格;对所述第一量化网格进行重新参数化,以生成重新参数化的网格,所述重新参数化包括所述第一量化网格中的一个或更多个空的空间的减少;以与所述第一比特深度不同的第二比特深度对所述重新参数化的网格进行量化,以生成第二量化网格;以及将所述第二量化网格编码成比特流。
(20)根据特征(19)所述的非暂态计算机可读介质,其中,所述第二比特深度小于所述第一比特深度。
Claims (20)
1.一种由编码器的至少一个处理器执行的方法,所述方法包括:
从输入网格中提取提取的半对称网格,所述输入网格包括第一侧和第二侧,所述第二侧与所述第一侧相对,所述提取的网格包括所述第一侧和所述第二侧中的仅一者;
以第一比特深度对所述提取的半对称网格进行量化,以生成第一量化网格;
对所述第一量化网格进行重新参数化,以生成重新参数化的网格,所述重新参数化包括所述第一量化网格中的一个或更多个空的空间的减少;
以与所述第一比特深度不同的第二比特深度对所述重新参数化的网格进行量化,以生成第二量化网格;以及
将所述第二量化网格编码成比特流。
2.根据权利要求1所述的方法,其中,所述第二比特深度小于所述第一比特深度。
3.根据权利要求1所述的方法,其中,所述提取的网格由包围所述提取的网格的第一2D边界框来界定,所述第一2D边界框在2D空间中由下述限定:(i)在第一方向上的第一最大坐标和第一最小坐标;以及(ii)在与所述第一方向正交的第二方向上的第二最大坐标和第二最小坐标。
4.根据权利要求3所述的方法,其中,对所述提取的网格进行量化基于第一量化步长和所述第一比特深度,并且
其中,所述第一量化步长基于下述来确定:(i)(a)所述第一最大坐标与所述第一最小坐标之间的差以及(b)所述第二最大坐标与所述第二最小坐标之间的差中的最大值;以及(ii)所述第一比特深度。
5.根据权利要求3所述的方法,其中,所述重新参数化包括线性重新参数化和非线性重新参数化,其中,所述线性重新参数化包括对所述第一量化网格执行线性变换以减少所述第一量化网格中的空的空间,并且其中,所述非线性重新参数化包括对所述线性重新参数化的输出执行非线性处理。
6.根据权利要求5所述的方法,其中,将所述提取的网格划分成M个断开连接的段,
其中,所述重新参数化包括针对每个断开连接的段确定下述变换,所述变换使所述提取的网格的总面积最小化,使得由第二2D边界框限定的重新参数化的网格的面积小于所述第一2D边界框的面积。
7.根据权利要求6所述的方法,其中,所述第二2D边界框在所述2D空间中由下述限定:(i)在所述第一方向上的第三最大坐标和第三最小坐标;以及(ii)在所述第二方向上的第四最大坐标和第四最小坐标。
8.根据权利要求7所述的方法,其中,对所述重新参数化的网格进行量化基于第二量化步长和所述第二比特深度,并且
其中,所述第二量化步长基于下述来确定:(i)(a)所述第三最大坐标与所述第三最小坐标之间的差以及(b)所述第四最大坐标与所述第四最小坐标之间的差中的最大值;以及(ii)所述第二比特深度。
9.根据权利要求6所述的方法,还包括:
针对每个段的每个确定的变换确定对应的逆变换,并且
其中,所述比特流包括每个确定的逆变换。
10.一种编码器,包括:
至少一个存储器,所述至少一个存储器被配置成存储程序代码;以及
至少一个处理器,所述至少一个处理器被配置成读取所述程序代码,并且按所述程序代码所指示的进行操作,所述程序代码包括:
提取代码,所述提取代码被配置成使所述至少一个处理器从输入网格中提取提取的半对称网格,所述输入网格包括第一侧和第二侧,所述第二侧与所述第一侧相对,所述提取的半对称网格包括所述第一侧和所述第二侧中的一者;
第一量化代码,所述第一量化代码被配置成使所述至少一个处理器以第一比特深度对所述提取的半对称网格进行量化,以生成第一量化网格;
重新参数化代码,所述重新参数化代码被配置成使所述至少一个处理器对所述第一量化网格进行重新参数化,以生成重新参数化的网格,所述重新参数化包括所述第一量化网格中的一个或更多个空的空间的减少;
第二量化代码,所述第二量化代码被配置成使所述至少一个处理器以与所述第一比特深度不同的第二比特深度对所述重新参数化的网格进行量化,以生成第二量化网格;以及
编码代码,所述编码代码被配置成使所述至少一个处理器将所述第二量化网格编码成比特流。
11.根据权利要求10所述的编码器,其中,所述第二比特深度小于所述第一比特深度。
12.根据权利要求10所述的编码器,其中,所述提取的网格由包围所述提取的网格的第一2D边界框来界定,所述第一2D边界框在2D空间中由下述限定:(i)在第一方向上的第一最大坐标和第一最小坐标;以及(ii)在与所述第一方向正交的第二方向上的第二最大坐标和第二最小坐标。
13.根据权利要求12所述的编码器,其中,所述第一量化代码还使所述至少一个处理器基于第一量化步长和所述第一比特深度对所述提取的网格进行量化,并且
其中,所述第一量化步长基于下述来确定:(i)(a)所述第一最大坐标与所述第一最小坐标之间的差以及(b)所述第二最大坐标与所述第二最小坐标之间的差中的最大值;以及(ii)所述第一比特深度。
14.根据权利要求12所述的编码器,其中,所述重新参数化代码还包括线性重新参数化代码和非线性重新参数化代码,其中,所述线性重新参数化代码使所述至少一个处理器对所述第一量化网格执行线性变换以减少所述第一量化网格中的空的空间,并且其中,所述非线性重新参数化代码使所述至少一个处理器对所述线性变换的输出执行非线性处理。
15.根据权利要求14所述的编码器,其中,将所述提取的网格划分成M个断开连接的段,
其中,所述重新参数化代码还包括第一确定代码,所述第一确定代码使所述至少一个处理器针对每个断开连接的段确定下述变换,所述变换使所述提取的网格的总面积最小化,使得由第二2D边界框限定的重新参数化的网格的面积小于所述第一2D边界框的面积。
16.根据权利要求15所述的编码器,其中,所述第二2D边界框在所述2D空间中由下述限定:(i)在所述第一方向上的第三最大坐标和第三最小坐标;以及(ii)在所述第二方向上的第四最大坐标和第四最小坐标。
17.根据权利要求16所述的编码器,其中,所述第二量化代码还使所述至少一个处理器基于第二量化步长和所述第二比特深度对所述重新参数化的网格进行量化,并且
其中,所述第二量化步长基于下述来确定:(i)(a)所述第三最大坐标与所述第三最小坐标之间的差以及(b)所述第四最大坐标与所述第四最小坐标之间的差中的最大值;以及(ii)所述第二比特深度。
18.根据权利要求15所述的编码器,其中,所述程序代码还包括:
第二确定代码,所述第二确定代码被配置成使所述至少一个处理器针对每个段的每个确定的变换确定对应的逆变换,并且
其中,所述比特流包括每个确定的逆变换。
19.一种非暂态计算机可读介质,所述非暂态计算机可读介质具有存储在其中的指令,所述指令在由编码器中的处理器执行时使所述编码器执行下述方法,所述方法包括:
从输入网格中提取提取的半对称网格,所述输入网格包括第一侧和第二侧,所述第二侧与所述第一侧相对,所述提取的网格包括所述第一侧和所述第二侧中的一者;
以第一比特深度对所述提取的半对称网格进行量化,以生成第一量化网格;
对所述第一量化网格进行重新参数化,以生成重新参数化的网格,所述重新参数化包括所述第一量化网格中的一个或更多个空的空间的减少;
以与所述第一比特深度不同的第二比特深度对所述重新参数化的网格进行量化,以生成第二量化网格;以及
将所述第二量化网格编码成比特流。
20.根据权利要求19所述的非暂态计算机可读介质,其中,所述第二比特深度小于所述第一比特深度。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202263423260P | 2022-11-07 | 2022-11-07 | |
US63/423,260 | 2022-11-07 | ||
US18/467,241 US20240161345A1 (en) | 2022-11-07 | 2023-09-14 | Method and apparatus for adaptive quantization for uv attribute in symmetry mesh |
US18/467,241 | 2023-09-14 | ||
PCT/US2023/032987 WO2024102202A1 (en) | 2022-11-07 | 2023-09-18 | Method and apparatus for adaptive quantization for uv attribute in symmetry mesh |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118318253A true CN118318253A (zh) | 2024-07-09 |
Family
ID=91028313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202380014667.4A Pending CN118318253A (zh) | 2022-11-07 | 2023-09-18 | 用于对称网格中uv属性的自适应量化的方法和设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240161345A1 (zh) |
CN (1) | CN118318253A (zh) |
WO (1) | WO2024102202A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8421804B2 (en) * | 2005-02-16 | 2013-04-16 | At&T Intellectual Property Ii, L.P. | System and method of streaming 3-D wireframe animations |
US8411081B2 (en) * | 2008-06-09 | 2013-04-02 | The Board Of Trustees Of The Leland Stanford Jr. University | Systems and methods for enhancing symmetry in 2D and 3D objects |
CN102831632B (zh) * | 2012-07-24 | 2015-05-13 | 上海晨思电子科技有限公司 | 镜像纹理生成方法、装置 |
-
2023
- 2023-09-14 US US18/467,241 patent/US20240161345A1/en active Pending
- 2023-09-18 WO PCT/US2023/032987 patent/WO2024102202A1/en active Application Filing
- 2023-09-18 CN CN202380014667.4A patent/CN118318253A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240161345A1 (en) | 2024-05-16 |
WO2024102202A1 (en) | 2024-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12020461B2 (en) | Method and apparatus for Haar-based point cloud coding | |
JP7213368B2 (ja) | 点群属性コーディングのためのチャネル間予測および変換の技術並びに装置 | |
CN118318253A (zh) | 用于对称网格中uv属性的自适应量化的方法和设备 | |
US20240007670A1 (en) | Dynamic mesh vertex displacements coding | |
US20240221229A1 (en) | Method and apparatus to encode mesh based on symmetry property | |
US20240265584A1 (en) | Method and apparatus to quantize in multiple sub-meshes | |
US20240135593A1 (en) | Method and apparatus for uv attributes coding for symmetry mesh | |
US20240282011A1 (en) | Fix-point implementation of mesh codec | |
US20230334714A1 (en) | Coding of boundary uv2xyz index for mesh compression | |
US20240346703A1 (en) | Method and apparatus to encode mesh based on symmetry property | |
CN112616058B (zh) | 视频编码或解码方法、装置、计算机设备和存储介质 | |
US20230308669A1 (en) | Predictive coding of boundary uv information for mesh compression | |
US20240135594A1 (en) | Adaptive geometry filtering for mesh compression | |
US20230040484A1 (en) | Fast patch generation for video based point cloud coding | |
KR20240110835A (ko) | 대칭 메시에 대한 적응적 양자화를 위한 방법 및 장치 | |
CN118401963A (zh) | 用于对称网格的自适应量化的方法和装置 | |
CN118020093A (zh) | 网格压缩中的纹理坐标预测 | |
CN118575200A (zh) | 用于网格压缩的自适应几何滤波 | |
CN118176719A (zh) | 动态网格顶点位移编码 | |
WO2024192096A1 (en) | Method and apparatus for dividing partial symmetry mesh | |
KR20240093923A (ko) | 표면 반사 대칭을 이용하는 기본 메시 코딩 | |
KR20240132360A (ko) | 메시에 대한 샘플링-기반 객관적 품질 평가 방법 | |
CN118556256A (zh) | 多个子网格编码 | |
CN118318254A (zh) | 用于对称网格的连接性编码 | |
CN118235168A (zh) | 对称网格的uv属性编解码方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |