CN114556147A - 点云几何上采样 - Google Patents
点云几何上采样 Download PDFInfo
- Publication number
- CN114556147A CN114556147A CN202180005723.9A CN202180005723A CN114556147A CN 114556147 A CN114556147 A CN 114556147A CN 202180005723 A CN202180005723 A CN 202180005723A CN 114556147 A CN114556147 A CN 114556147A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- computer
- convolution
- voxels
- quantized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005070 sampling Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000013139 quantization Methods 0.000 claims abstract description 19
- 238000004590 computer program Methods 0.000 claims abstract description 10
- 238000011176 pooling Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 2
- 230000010339 dilation Effects 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 25
- 239000010410 layer Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 239000000835 fiber Substances 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000002310 reflectometry Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/40—Tree coding, e.g. quadtree, octree
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
提供了一种用于处理点云数据的方法、计算机程序和计算机系统。接收量化点云数据，量化点云数据包括多个立体像素。生成与多个立体像素中的在量化期间丢失的立体像素相对应的量化点云的占用映射。基于填充丢失的立体像素，根据量化点云数据重建点云。
Description
相关申请的交叉引用
本申请要求于2020年7月9日提交的申请号为No.63/049,862的美国临时申请和于2021年6月11日提交的申请号为No.17/345,063的美国临时申请的优先权，其全部内容通过引用并入本文。
技术领域
本公开总体上涉及数据处理领域，尤其涉及点云压缩。
背景技术
点云近年来被广泛使用。例如，点云可在自动驾驶车辆中用于物体检测和物体定位；点云可在地理信息系统(Geographic Information Systems，GIS)中用于绘图，点云还可在文化遗产中用于对文化遗产对象和收藏品进行可视化和归档；点云还可用于对虚拟/增强现实(Virtual/Augmented reality，VR/AR)内容进行创建和通信；以及用于远程呈现等。点云包含一组高维点，通常为三维(Three dimensional，3D)点，每个点包括3D位置信息和诸如颜色、反射率等的附加属性。点云可以使用多个照相机和深度传感器或各种设置中的激光雷达来捕获，并且可以由数千个至数十亿个点组成，以真实地表示原始场景。
发明内容
实施例涉及一种用于点云处理的方法、系统和计算机可读介质。根据一个方面，提供了一种用于点云处理的方法。该方法可以包括：接收包括量化点云数据，量化点云数据包括多个立体像素；生成与多个立体像素中的在量化期间丢失的立体像素相对应的量化点云的占用映射；基于填充丢失的立体像素，根据量化点云数据重建点云。
根据另一方面，提供了一种用于点云处理的计算机系统。计算机系统可包括一个或多个处理器、一个或多个计算机可读存储器、一个或多个计算机可读有形存储设备、以及存储在一个或多个存储设备中的至少一个上的程序指令，程序指令通过一个或多个存储器中的至少一个由一个或多个处理器中的至少一个来执行，由此计算机系统能够执行方法。该方法可以包括：接收包括量化点云数据，量化点云数据包括多个立体像素；生成与多个立体像素中的在量化期间丢失的立体像素相对应的量化点云的占用映射；基于填充丢失的立体像素，根据量化点云数据重建点云。
根据又一方面，提供了一种用于点云处理的计算机可读介质。计算机可读介质可包括一个或多个计算机可读存储设备和存储在所述一个或多个有形存储设备中的至少一个上的程序指令，程序指令可由处理器执行。程序指令可由处理器执行，以用于执行方法，该方法相应地可包括：接收包括量化点云数据，量化点云数据包括多个立体像素；生成与多个立体像素中的在量化期间丢失的立体像素相对应的量化点云的占用映射；基于填充丢失的立体像素，根据量化点云数据重建点云。
附图说明
这些和其它目的、特征和优点将通过下面结合附图阅读的对说明性实施例的详细描述而变得显而易见。附图的各种特征未按比例绘制，原因是图示要清楚地便于本领域技术人员结合详细描述来理解。在附图中：
图1示出根据至少一个实施例的联网计算机环境；
图2A为根据至少一个实施例的用于点云数据的八叉树结构的示意图；
图2B为根据至少一个实施例的用于点云数据的八叉树划分的示意图；
图3A为根据至少一个实施例的对点云数据进行上采样的系统的示图；
图3B为根据至少一个实施例的U网结构的示意图；
图4示出根据至少一个实施例的由对点云数据进行上采样的程序执行的步骤的操作流程图；
图5是根据至少一个实施例的图1中描绘的计算机和服务器的内部组件和外部组件的框图；
图6为根据至少一个实施例的包括图1中描绘的计算机系统的说明性云计算环境的框图；以及
图7为根据至少一个实施例的图6的说明性云计算环境的功能层的框图。
具体实施方式
本文公开了所要求保护的结构和方法的详细实施例；然而，可以理解，所公开的实施例仅仅是所要求保护的结构和方法的说明，所要求保护的结构和方法可以以各种形式实施。然而，这些结构和方法可以以许多不同的形式实施，且不应被解释为限于本文阐述的示例性实施例。相反，提供这些示例性实施例，使得本公开将是彻底的和完整的并向本领域技术人员充分传达范围。在描述中，可省略公知特征和技术的细节以避免不必要地模糊所呈现的实施例。
实施例总体上涉及数据处理领域，尤其涉及点云压缩。下面描述的示例性实施例提供了一种系统、方法和计算机程序，其中包括对点云数据进行上采样。因此，一些实施例具有通过允许在量化之后增加点云数据的细节层次来改进计算领域的能力，这可使得可以实现更高级别的压缩。
如前文所述，点云近年来被广泛使用。例如，点云可在自动驾驶车辆过程中用于物体检测和物体定位；点云可在地理信息系统(Geographic Information Systems，GIS)中用于绘图，点云还可在文化遗产中用于对文化遗产对象和收藏品进行可视化和归档；点云还可用于对虚拟/增强现实(Virtual/Augmented reality(VR/AR))内容进行创建和通信；以及用于远程呈现等。点云包含一组高维点，通常为三维(Three dimensional，3D)点，每个点包括3D位置信息和诸如颜色、反射率等的附加属性。点云可以使用多个照相机和深度传感器或各种设置中的激光雷达来捕获，并且可以由数千个至数十亿个点组成，以真实地表示原始场景。
为了更快地传输或减少存储，需要压缩技术来减少表示点云所需的数据量。ISO/IEC MPEG(JTC1/SC 29/WG 11)已经创建了一个自组织组(MPEG-PCC)以标准化用于静态云或动态云的压缩技术。然而，当前的点云压缩和处理技术经受量化丢失，其结果是点云以较粗糙的子采样表示，即，点云为较低的细节层次(Level-of-Detail，LoD)的点云。
量化是大多数压缩传输管线中的必要步骤。通过将一系列值压缩为单个量化值来实现量化。当符号的可能值减少时，给定流中离散符号的数量将会减少，使得流更可压缩。作为量化的结果，相邻的立体像素化点被合并成一个立体像素(即，单个样本或数据点，位于类似于像素的规则间隔的三维网格上)。根据压缩率，量化步长(qs)可确定丢失的点数和重建点云的LoD。经受立体像素量化丢失的点云可建模为：
其中，qs为量化步长，X为是原始点云的3D位置(坐标)，
为重建点云的3D位置(坐标)。该量化导致重复点，其在压缩过程中被移除。
因此，有利的是，对点云数据进行上采样以最小化量化丢失并获得更高LoD的点云。对点云数据进行上采样也可是压缩以外的有用应用。例如，在一些应用中，例如在AR/VR或远程呈现中，通过传输较低LoD的点云以节省带宽或减少传输延迟。在这样的场景中，当点云被放大时，将点云上采样到较高的LoD点云可能是有益的。该应用被称为显示适配，其中，在放大点云时，点云上采样有助于提供更多的显示适配细节。
在本文中参考根据各个实施例的方法、装置(系统)和计算机可读介质的流程图示和/或框图来描述各方面。应理解，流程图示和/或框图的每个框以及流程图示和/或框图中的框的组合可由计算机可读程序指令实现。
下面描述的示例性实施例提供用于点云处理的系统、方法和计算机程序。现在参考图1，示出用于在量化之后处理点云数据的点云处理系统100(以下称为“系统”)的联网计算机环境的功能框图。应理解，图1仅提供了一种实施方式的图示，并不暗示与可实现不同实施例的环境相关的任何限制。可基于设计和实现要求对所描绘的环境进行许多修改。
系统100可包括计算机102和服务器计算机114。计算机102可通过通信网络110(以下称为“网络”)与服务器计算机114通信。计算机102可包括处理器104和存储在数据存储设备106上的软件程序108，计算机102能够与用户对接并与服务器计算机114通信。如下文将参照图5讨论的，计算机102可相应地包括内部组件800A和外部组件900A，且服务器计算机114可相应地包括内部组件800B和外部组件900B。计算机102可以为例如移动设备、电话、个人数字助理、上网本、膝上型计算机、平板电脑、台式计算机、或能够运行程序、访问网络和访问数据库的任何类型的计算设备。
如下文参考图6和图7讨论的，服务器计算机114还可以在云计算服务模型中操作，云计算服务模型例如软件即服务(Software as a Service，SaaS)、平台即服务(Platformas a Service，PaaS)或基础设施即服务(Infrastructure as a Service，IaaS)。服务器计算机114还可位于云计算部署模型中，云计算部署模型例如私有云、社区云、公共云或混合云。
服务器计算机114可用于点云处理，能够运行可与数据库112交互的点云处理程序116(以下称为“程序”)。下面结合图4更详细地说明点云处理程序方法。在一个实施例中，计算机102可作为包括用户接口的输入设备操作，而程序116可主要在服务器计算机114上运行。在可选实施例中，程序116可主要在一个或多个计算机102上运行，而服务器计算机114可用于处理和存储程序116所使用的数据。应注意，程序116可以是独立的程序，或者可集成到更大的点云处理程序中。
然而，应注意，在某些情况下，程序116的处理可以在计算机102和服务器计算机114之间以任何比例共享。在另一实施例中，程序116可以在多于一台计算机、服务器计算机或计算机和服务器计算机的某种组合上运行，例如，在通过网络110与单个服务器计算机114通信的多个计算机102上运行。在另一实施例中，例如，程序116可以在通过网络110与多个客户端计算机通信的多个服务器计算机114上运行。可选地，程序可以在通过网络与服务器和多个客户端计算机通信的网络服务器上运行。
网络110可包括有线连接、无线连接、光纤连接或这些连接的某种组合。通常，网络110可以是将支持计算机102和服务器计算机114之间的通信的连接和协议的任何组合。网络110可包括各种类型的网络，例如局域网(Local Area Network，LAN)、诸如因特网的广域网(Wide Area Network，WAN)、诸如公共交换电话网络(Public Switched TelephoneNetwork，PSTN)的电信网络、无线网络、公共交换网络、卫星网络、蜂窝网络(例如第五代(Fifth Generation，5G)网络、长期演进(Long-Term Evolution，LTE)网络、第三代(ThirdGeneration 3G)网络、码分多址(Code Division Multiple Access，CDMA)网络等)、公共陆地移动网络(Public Land Mobile Network，PLMN)、城域网(Metropolitan Area Network，MAN)、专用网络、自组织网络、内联网、基于光纤的网络等，和/或这些网络或其它类型的网络的组合。
图1所示的设备和网络的数量和布置作为示例来提供。在实践中，可存在额外的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或者与图1所示的设备和/或网络不同地布置的设备和/或网络。此外，图1所示的两个或更多个设备可以在单个设备内实现，或者图1所示的单个设备可实现为多个分布式设备。另外或者可选地，系统100的一组设备(例如，一个或多个设备)可执行被描述成由系统100的另一组设备执行的一个或多个功能。
现在参考图2A，描绘了八叉树结构200A的示意图。在诸如来自MPEG-PCC组的参考软件(例如TMC13)的点云压缩解决方案中，如果使用八叉树几何编解码器，则几何编码过程如下进行。首先，立方轴对齐的边界框B由两个点(0，0，0)和(2M-1，2M-1，2M-1)限定，并且其中2M-1限定B的尺寸，且M在比特流中指定。然后，通过递归细分B来构建八叉树结构200A。在每个阶段，将立方体细分为8个子立方体。然后，通过将1比特值与每个子立方体相关联来生成8比特码，即占用码，以指示立方体是否包含点(即，满且值为1)或不包含点(即，空且值为0)。只有尺寸大于1的完整子立方体(即，非立体像素)被进一步细分。
现在参考图2B，描绘了八叉树划分200B的示意图。八叉树划分200B可以包括两级八叉树划分202和对应的占用码204，其中深色的立方体和节点表示其已被点占用。然后由算术编码器压缩每个节点的占用码204。占用码204可以被表示为是8-比特整数S，并且S中的每个比特表示每个子节点的占用状态。在TMC13中存在用于占用码204的两种编码方法，即，按位编码方法和按字节编码方法，并且在默认情况下启用按位编码。任一种方法都用上下文建模执行算术编码以对占用码204进行编码，其中，上下文状态在整个编码过程的起始时被初始化，并在编码过程中被更新。
对于按位编码，按照一定的顺序对S中的8个bin进行编码，通过参考相邻节点的占用状态和相邻节点的子节点来对每个bin进行编码，其中相邻节点与当前节点处于同一级别。对于按字节编码，通过参考自适应查找表(Adaptive Look Up Table，A-LUT)对S进行编码，该自适应查找表跟踪N个(例如，32个)最频繁的占用码和一个缓存，该缓存还跟踪最近观察到的M个(例如，16个)占用码。
对指示S是否为A-LUT的二进制标志进行编码。如果S在A-LUT中，则使用二进制算术编码器对A-LUT中的索引进行编码。如果S不在A-LUT中，则对指示S是否在缓存中的二进制标志进行编码。如果S在缓存中，则使用二进制算术编码器对其索引的二进制表示进行编码。否则，如果S不在缓存中，则使用二进制算术编码器对的S二进制表示进行编码。解码过程首先从比特流解析边界框B的维度。然后根据解码的占用码细分B来构建相同的八叉树结构。
现在参考图3A，描绘了点云处理系统300的框图。点云处理系统300可以包括U-net302和占用映射304等。占用映射304可对应于被占用的立体像素的预测概率，因此，可以选择前k个立体像素，或设置定义被占用的立体像素的阈值并选择预测值大于该阈值的立体像素。点云处理系统300可接收输入点云306A作为输入。可将输入点云306A划分为输入块308。点云可以很大，具有数百万个点。当前的硬件计算和软件计算以及存储器限制使得无法将整个点云传送到网络中。为了将点云传送到网络并使系统可扩展，输入点云306可被细分为较小的立方体输入块308并被传送到网络。输入块308可为尺寸Nx3的立体像素化几何体，其中N为输入立方体块中的立体像素的数量，并且3为X、Y、Z坐标。通过对输入块执行几何预测来完成上采样，该输入块学习基础3D结构并基于占用映射304创建具有更多细节的块。点云处理系统300可生成输出块310，输出块310可被聚合以形成上采样点云312。
现在参考图3B，描绘了U-net架构302的框图。U-net架构302可包括一个或多个输入节点314A-314X、潜在空间316和一个或多个输出节点318A-318X。输入节点314A-314X可形成用于特征提取的收缩路径，而输出节点318A-318X可形成用于细节保存的扩展路径。输入节点314A-314X和输出节点318A-318X可各自包括一个或多个卷积核(例如，3x3卷积核)和经调整的线性单元。每个输入节点314A-314X可以通过最大池化层(例如，2x2最大池化层)连续连接。例如，每个卷积之后可以是批处理范数和经调整的线性单元。潜在空间316可对应于压缩数据的表示，其中类似数据点在空间中更接近。输出节点318A-318X可通过上采样连接(例如，上采样因子2)以相反的顺序彼此传送。最终输出节点，即输出节点318A，可以输出点云数据。
由于点云本质上是稀疏的，因此稀疏卷积的内存效率更高，并且使得可以构建非常深的架构。可使用UNet架构，其中每层三个初始-残余网络块。UNet已广泛用于图像分割。Minkowski Engine等3D库已经创建了UNet的3D版本。然而，其采用了残余块。可通过使用更新的初始-残余网络块来更新3D UNet。
架构的输入为较低LoD的点云，而输出为被转换为较高LoD的点云的占用预测(在下一小节中说明)。二元交叉熵分类丢失可用于比较来自网络的占用映射预测和地面实况(原始)点云。
网络的输出是包含输入立体像素的2x2x2＝8个立体像素的Nx8占用映射预测。输出为该立体像素被占用的预测概率，因此可以选择前k个立体像素，或设置定义被占用的立体像素的阈值并选择预测值大于该阈值的立体像素。该占用映射可用于生成更密集的点云
其中
输出块可以聚集在一起以形成上采样点云。
可以理解，可以进行改进以基于应用和输入点云来增强性能或微调性能。根据一个或多个实施例，可以使用不同的深度学习架构来执行相同或更好的工作(例如，空间金字塔池化(即，在卷积层和完全连接层之间添加新层以，将任何尺寸的输入向下映射到固定尺寸的输出)，或3D卷积，其涉及标准卷积、子流形卷积或扩张/空洞卷积)。另一实施例将使用编码器-解码器架构。根据输出，可以采用不同的丢失函数。例如，倒角丢失可用于将输出与原始(地面实况)点云进行比较。
架构的输出也可以改变。目前，可以输出占用映射预测，其对于每个立体像素为1位。然而，也可以直接学习输出点云的x，y，z坐标。网络的输出不必与输入的大小(N)相同。可以直接学习上采样点
而无需通过直接学习
坐标或在预定义坐标图上识别
占用预测来学习Nx8占用映射。根据预测，将选择点子集以形成
坐标。可根据输入点云来改变输出占用映射。例如，8立体像素占用映射可适用于qs＝2。然而，对于qs＝4，更适合在输入立体像素周围预测4x4x4＝64个立体像素。其也可适用于训练其中在每次迭代中对点云进行上采样的多迭代系统。如此，qs＝4的点云可以首先被上采样到qs＝2，然后，在下一次迭代中被上采样到其原始LoD。该方法将更适用于LoD非常低的点云，并且可以在不同的经训练深度学习架构上的迭代中进行上采样。
除了几何上采样，本文公开的实施例可以用于属性(颜色、反射率等)上采样。在属性的情况下，这些属性可以与几何体(坐标)一同输入到网络中。例如，如果属性仅是颜色：RGB，则网络的输入将是Nx6，并且输出可为以下之一：
Nx(8+24)，其中8为预测的占用映射，24为每个可能占用的立体像素的相应输出属性，并基于占用映射转换为
现在参考图4，示出了由对点云数据进行上采样的程序执行的方法400的步骤的操作流程图。
在402中，方法400可包括接收量化点云数据，量化点云数据包括多个立体像素。
在404，方法400可包括生成与多个立体像素中的在量化期间丢失的立体像素相对应的量化点云的占用映射。
在406，方法400可以包括基于填充丢失的立体像素，根据量化点云数据重建点云。
可以理解，图4仅提供了一种实现方式的图示，并不暗示与可如何实现不同实施例相关的任何限制。可基于设计和实现要求对所描绘的环境进行许多修改。
图5是根据一个说明性实施例的图1描绘的计算机的内部组件和外部组件的框图500。应理解，图5仅提供一种实施方式的图示，并且不暗示与可实施不同实施例的环境相关的任何限制。可基于设计和实现要求对所描绘的环境进行许多修改。
如图5所示，计算机102(图1)和服务器计算机114(图1)可分别包括一组内部组件800A、800B和外部组件900A、900B。每一组内部组件800包括位于一个或多个总线826上的一个或多个处理器820、一个或多个计算机可读RAM 822和一个或多个计算机可读ROM 824、一个或多个操作系统828和一个或多个计算机可读有形存储设备830。
处理器820以硬件、固件或硬件和软件的组合来实现。处理器820是中央处理单元(Central Processing Unit，CPU)、图形处理单元(Graphics Processing Unit，GPU)、加速处理单元(Accelerated Processing Unit，APU)、微处理器、微控制器、数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field-Programmable GateArray，FPGA)、专用集成电路(Application-Specific Integrated Circuit，ASIC)或其它类型的处理组件。在一些实现方式中，处理器820包括能够被编程以执行功能的一个或多个处理器。总线826包括允许内部组件800A、800B之间通信的组件。
位于服务器计算机114(图1)上的一个或多个操作系统828、软件程序108(图1)和点云处理程序116(图1)存储在相应的计算机可读有形存储设备830中的一个或多个上，以通过相应的RAM 822中的一个或多个(通常包括缓存)由相应的处理器820中的一个或多个来执行。在图5所示的实施例中，每个计算机可读有形存储设备830是内部硬盘驱动器的磁盘存储设备。可选地，每个计算机可读有形存储设备830是半导体存储设备，诸如ROM 824、EPROM、闪存、光盘、磁光盘、固态盘、紧凑盘(Compact Disc，CD)、数字通用盘(DigitalVersatile Disc，DVD)、软盘、盒式磁带、磁带和/或可存储计算机程序和数字信息的其它类型的非暂时性计算机可读有形存储设备。
每一组内部组件800A，800B还包括R/W驱动器或接口832，以从一个或多个便携式计算机可读有形存储设备936(例如CD-ROM、DVD、记忆棒、磁带、磁盘、光盘或半导体存储设备)读取和写入一个或多个便携式计算机可读有形存储设备936。诸如软件程序108(图1)和点云处理程序116(图1)的软件程序可存储在相应的便携式计算机可读有形存储设备936中的一个或多个上，经由相应的R/W驱动器或接口832读取并加载到相应的硬盘驱动器830中。
每一组内部组件800A，800B还包括网络适配器或接口836，例如TCP/IP适配卡；无线Wi-Fi接口卡；或3G、4G或5G无线接口卡或其它有线或无线通信链路。服务器计算机114(图1)上的软件程序108(图1)和点云处理程序116(图1)可经由网络(例如，因特网、局域网或其它广域网)和相应的网络适配器或接口836从外部计算机下载到计算机102(图1)和服务器计算机114。通过网络适配器或接口836，服务器计算机114上的软件程序108和点云处理程序116加载到相应的硬盘驱动器830中。网络可以包括铜线、光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。
每一组外部组件900A，900B可以包括计算机显示监视器920、键盘930和计算机鼠标934。外部组件900A、900B还可以包括触摸屏、虚拟键盘、触摸板、指向设备和其它人机接口设备。每一组内部组件800A，800B还包括设备驱动器840，以与计算机显示监视器920、键盘930和计算机鼠标934对接。设备驱动器840、R/W驱动器或接口832和网络适配器或接口836包括硬件和软件(存储在存储设备830和/或ROM 824中)。
应预先理解，虽然本公开包括对云计算的详细描述，但是本文中所叙述的教导的实现方式不限于云计算环境。相反，一些实施例能够结合现在已知或稍后开发的任何其他类型的计算环境来实现。
云计算是用于实现对可配置计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的共享池的便捷、按需网络访问的服务传送模型，该可配置计算资源可以以最小的管理努力或通过与服务提供者的交互来快速提供和释放。该云模型可包括至少五个特征、至少三个服务模型和至少四个部署模型。
特征如下：
按需自助服务：云消费者可根据需要自动地单方面提供计算能力(例如服务器时间和网络存储)，而不需要与服务提供者进行人工交互。
广泛的网络接入：可通过网络可获得能力并通过标准机制来访问能力，该标准机制促进由异构瘦客户端平台或胖客户端平台(例如，移动电话、膝上型计算机和PDA)使用。
资源池化：使用多租户模型对提供者的计算资源进行池化以服务于多个消费者，其中根据需求动态地分配和重新分配不同的物理资源和虚拟资源。存在与位置无关的感觉，原因是消费者通常无法控制所提供的资源的确切位置或不知道所提供的资源的确切位置，但是能够以更高的抽象级别(例如，国家、状态或数据中心)指定位置。
快速弹性：可快速且弹性地提供能力，在某些情况下可自动地提供能力，以快速扩展和快速释放以快速收缩。对于消费者来说，可提供的能力通常看起来无限制，且可以在任何时候以任何数量购买。
测量的服务：云系统通过在适合于服务类型(例如，存储、处理、带宽和活动用户帐户)的某个抽象级别下利用计量能力来自动控制和优化资源使用。可监视、控制和报告资源使用，从而给所利用的服务的提供者和消费者提供透明度。
服务模型如下：
软件即服务(SaaS)：提供给消费者的能力是使用在云基础设施上运行的提供者的应用程序。应用程序可通过瘦客户端接口从各种客户端设备访问，瘦客户端接口例如web浏览器(例如，基于web的电子邮件)。消费者不管理或控制包括网络、服务器、操作系统、存储器的底层云基础设施，或者甚至不管理或控制个人应用能力，可能的例外是有限的用户特有的应用配置设置。
平台即服务(PaaS)：提供给消费者的能力是将消费者创建或获取的应用部署到云基础设施上，该应用使用由提供者支持的编程语言和工具来创建。消费者不管理或控制包括网络、服务器、操作系统或存储器的底层云基础设施，而是控制所部署的应用和可能的应用托管环境配置。
基础设施即服务(IaaS)：提供给消费者的能力是提供处理、存储、网络和其它基本计算资源，其中消费者能够部署和运行可包括操作系统和应用的任意软件。消费者不管理或控制底层云基础设施，而是控制操作系统、存储、所部署的应用，且可能有限地控制所选择的联网组件(例如，主机防火墙)。
部署模型如下：
私有云：云基础设施运行，仅用于一个组织。云基础设施可由该组织或第三方管理，且可以以内部部署或外部部署的方式存在。
社区云：云基础设施由数个组织共享，并支持具有共同关注点(例如，任务、安全要求、策略和合规性考虑)的特定社区。社区云可由这些组织或第三方管理，且可以以内部部署或外部部署的方式存在。
公共云：云基础设施可用于普通公众或大型工业集团，且由销售云服务的组织所拥有。
混合云：云基础设施是两个或更多个云(私有云、社区云或公共云)的组合，这些云保持独特的实体，但是通过标准化技术或专有技术而捆绑在一起，标准化技术或专有技术实现数据和应用可移植性(例如，云爆用于云之间的负载平衡)。
云计算环境是面向服务的，重点是无状态、低耦合、模块化和语义互操作性。云计算的核心是包括由互连节点构成的网络的基础设施。
参考图6，描绘了说明性云计算环境600。如图所示，云计算环境600包括一个或多个云计算节点10，云消费者使用的本地计算设备可与云计算节点10通信，本地计算设备例如个人数字助理(Personal Digital Assistant，PDA)或蜂窝电话54A、台式计算机54B、膝上型计算机54C和/或汽车计算机系统54N。云计算节点10彼此可通信。云计算节点10可以在一个或多个网络中物理地或虚拟地分组(未示出)，一个或多个网络例如如上所述的私有云、社区云、公共云或混合云，或其组合。这使得云计算环境600可以提供基础设施、平台和/或软件，作为不需要云消费者维护本地计算设备上的资源的服务。应理解，图6所示的计算设备54A-N的类型仅用于说明，且云计算节点10和云计算环境600可通过任何类型的网络和/或网络可寻址连接(例如，使用web浏览器)与任何类型的计算机化设备通信。
参照图7，示出了由云计算环境600(图6)提供的一组功能抽象层700。应预先理解，图7中所示的组件、层和功能仅用于说明，实施例不限于此。如图所描绘的，提供以下层和相应的功能：
硬件和软件层60包括硬件和软件组件。硬件组件的示例包括：主机61；基于精简指令集计算机(Reduced Instruction Set Computer，RISC)架构的服务器62；服务器63；刀片服务器64；存储设备65；以及网络和联网组件66。在一些实施例中，软件组件包括网络应用服务器软件67和数据库软件68。
虚拟化层70提供抽象层，可从该抽象层提供以下虚拟实体的示例：虚拟服务器71；虚拟存储器72；虚拟网络73，包括虚拟专用网络；虚拟应用和操作系统74；以及虚拟客户端75。
在一个示例中，管理层80可提供以下描述的功能。资源供应81提供用于在云计算环境中执行任务的计算资源和其它资源的动态获取。当在云计算环境中使用资源时，计量和定价82提供成本跟踪，以及对这些资源的消耗进行计费或开具清单。在一个示例中，这些资源可包括应用软件许可证。安全给云消费者和任务提供身份验证，以及给数据和其它资源提供保护。用户门户83给消费者和系统管理员提供对云计算环境的访问。服务级别管理84提供云计算资源分配和管理，使得满足所需的服务级别。服务水平协议(Service LevelAgreement，SLA)规划和实现85提供对云计算资源的预先安排和获取，对于云计算资源，根据SLA预期未来需求。
工作负载层90提供可使用云计算环境的功能的示例。可从该层提供的工作负载和功能的示例包括：映射和导航91；软件开发和生命周期管理92；虚拟课堂教育传送93；数据分析处理94；交易处理95；以及点云处理96。点云处理96可对点云数据进行上采样，以在量化之后恢复丢失的立体像素。
一些实施例可以涉及整合的任何可能的技术细节级别的系统、方法和/或计算机可读介质。计算机可读介质可包括计算机可读非暂时性存储介质(或介质)，在计算机可读非暂时性存储介质(或介质)上具有使得处理器执行操作的计算机可读程序指令。
计算机可读存储介质可以是可保存和存储供指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或上述存储设备的任何适当组合。计算机可读存储介质的更具体示例的非穷尽列表包括以下项：便携式计算机磁盘、硬盘、随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Random Access Memory，ROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM或闪存)、静态随机存取存储器(Static Random Access Memory，SRAM)、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字通用盘(Digital Versatile Disk，DVD)、记忆棒、软盘、机械编码的设备(例如凹槽中的凸起结构或穿孔卡片，其上记录有指令)，以及上述各项的任何适当组合。如本文所使用的计算机可读存储介质不应解释成本身是瞬时信号，例如无线电波或其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，经过光纤线缆的光脉冲)、或通过线传输的电信号。
本文描述的计算机可读程序指令可通过网络(例如因特网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应的计算/处理设备或下载到外部计算机或外部存储设备。网络可包括铜传输线缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令并转发计算机可读程序指令，以存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行操作的计算机可读程序代码/指令可以是汇编程序指令、指令集架构(Instruction-Set-Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种编程语言的任何组合编写的源代码或目标代码，一种或多种编程语言包括面向对象的编程语言(例如SmallTalk，C++等)和过程编程语言(例如“C”编程语言或类似的编程语言)。计算机可读程序指令可完全在用户的计算机上、部分地在用户的计算机上、作为独立软件包来执行，独立软件包部分地在用户的计算机上、部分在远程计算机上或完全在远程计算机或服务器上。在后一种情况下，远程计算机可通过任何类型的网络连接到用户的计算机，网络包括局域网(LAN)或广域网(WAN)，或者可与外部计算机建立连接(例如，通过使用因特网服务提供者的因特网)。在一些实施例中，例如包括可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令，以个性化电子电路，来执行多方面或操作。
这些计算机可读程序指令可提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器，以产生机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图框中指定的功能/动作的方式。这些计算机可读程序指令还可存储在计算机可读存储介质中，可指导计算机、可编程数据处理设备和/或其它设备以特定方式运行，使得存储有指令的计算机可读存储介质包括制造品，该制造品包括实现流程图和/或框图框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可加载到计算机、其它可编程数据处理设备或其它设备上，使得一系列操作步骤在计算机、其它可编程设备或其它设备上执行以产生计算机实现的过程，因此在计算机、其它可编程设备或其它设备上执行的指令实现流程图和/或框图框中指定的功能/动作。
图中的流程图和框图示出了根据各个实施例的系统、方法和计算机可读介质的可能实现方式的架构、功能和操作。在这一点上，流程图或框图中的每个框可表示指令的模块、部段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。与图中所描绘的那些框相比，方法、计算机系统和计算机可读介质可包括附加框、更少的框、不同的框或不同布置的框。在一些可选的实现方式中，在框中注明的功能可以不按图中注明的顺序发生。例如，接连示出的两个框实际上可同时执行或基本上同时执行，或者有时框可以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示的框的组合可通过基于专用硬件的系统来实现，这些系统执行指定的功能或动作或者实现专用硬件和计算机指令的组合。
显然，本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件和软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实现方式。因此，本文在不参考特定软件代码的情况下描述系统和/或方法的操作和行为-应理解，软件和硬件可设计成实现基于本文的描述的系统和/或方法。
除非另外明确描述，否则本文使用的元素、动作或指令不应理解为关键的或必要的。此外，如本文所使用的，冠词“一”和“一个”旨在包括一个或多个项目，且可与“一个或多个”互换使用。此外，如本文所使用的，术语“集”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相关项目的组合等)，且可与“一个或多个”互换使用。在仅意指一个项目的情况下，使用术语“一”或类似语言。此外，如本文所使用的，术语“有”、“具有”、“含有”或类似术语旨在是开放式术语。此外，短语“基于”意指“至少部分地基于”，除非另有明确说明。
为了说明的目的，已给出对各个方面和实施例的描述，但并不旨在穷举或限制于所公开的实施例。即使在权利要求中叙述和/或在说明书中公开特征的组合，这些组合并不旨在限制可能的实现方式的公开内容。实际上，这些特征中的许多特征可以以未在权利要求中具体陈述和/或未在说明书中公开的方式组合。虽然下面列出的每个从属权利要求可仅直接从属于一个权利要求，但是可能的实现方式的公开内容包括每个从属权利要求与权利要求集中的每一个其它权利要求的组合。在不脱离所描述的实施例的范围的情况下，许多修改和变化将对本领域普通技术人员而言是显而易见的。选择本文使用的术语以最好地解释实施例的原理、实际应用或相对于市场中找到的技术的技术改进，或使本领域普通技术人员能够理解本文公开的实施例。
Claims (20)
1.一种可由处理器执行的点云处理方法，包括：
接收量化点云数据，所述量化点云数据包括多个立体像素；
生成与所述多个立体像素中的在量化期间丢失的立体像素相对应的量化点云的占用映射；以及
基于填充所述丢失的立体像素，根据所述量化点云数据重建点云。
2.根据权利要求1所述的方法，其中，所述占用映射对应于丢失的多个立体像素中的每个立体像素的预测概率。
3.根据权利要求2所述的方法，其中，基于所述预测概率大于阈值，填充所述丢失的立体像素。
4.根据权利要求1所述的方法，其中，基于将所述量化点云数据划分为一个或多个块，并对所述块进行上采样，来重建所述点云。
5.根据权利要求1所述的方法，其中，基于最小化与所述占用映射关联的二进制交叉熵分类丢失，来重建所述点云。
6.根据权利要求1所述的方法，其中，通过以下一个或多个来重建所述点云：U-net、空间金字塔池化、或三维3D卷积。
7.根据权利要求6所述的方法，其中，所述3D卷积包括以下一个或多个：卷积、子流形卷积、扩张卷积和空洞卷积。
8.一种计算机系统，用于点云处理，所述计算机系统包括：
一个或多个计算机可读非暂时性存储介质，配置为存储计算机程序代码；以及
一个或多个计算机处理器，配置为访问所述计算机程序代码，并按照所述计算机程序代码的指令进行操作，所述计算机程序代码包括：
接收代码，被配置为使得所述一个或多个计算机处理器接收量化点云数据，所述量化点云数据包括多个立体像素；
生成代码，被配置为使得所述一个或多个计算机处理器生成与所述多个立体像素中的在量化期间丢失的立体像素相对应的量化点云的占用映射；以及
重建代码，被配置为使得所述一个或多个计算机处理器基于填充所述丢失的立体像素，根据所述量化点云数据重建点云。
9.根据权利要求8所述的计算机系统，其中，所述占用映射对应于丢失的多个立体像素中的每个立体像素的预测概率。
10.根据权利要求9所述的计算机系统，其中，基于所述预测概率大于阈值，填充所述丢失的立体像素。
11.根据权利要求8所述的计算机系统，其中，基于将所述量化点云数据划分为一个或多个块，并对所述块进行上采样，来重建所述点云。
12.根据权利要求8所述的计算机系统，其中，基于最小化与所述占用映射关联的二进制交叉熵分类丢失，来重建所述点云。
13.根据权利要求8所述的计算机系统，其中，通过以下一个或多个来重建所述点云：U-net、空间金字塔池化，或三维3D卷积。
14.根据权利要求13所述的计算机系统，其中，所述3D卷积包括以下一个或多个：卷积、子流形卷积、扩张卷积和空洞卷积。
15.一种非暂时性计算机可读介质，其上存储有用于点云处理的计算机程序，所述计算机程序被配置为使得一个或多个计算机处理器：
接收量化点云数据，所述量化点云数据包括多个立体像素；
生成与所述多个立体像素中的在量化期间丢失的立体像素相对应的量化点云的占用映射；以及
基于填充所述丢失的立体像素，根据所述量化点云数据重建点云。
16.根据权利要求15所述的计算机可读介质，其中，所述占用映射对应于丢失的多个立体像素中的每个立体像素的预测概率。
17.根据权利要求16所述的计算机可读介质，其中，基于所述预测概率大于阈值，填充所述丢失的立体像素。
18.根据权利要求15所述的计算机可读介质，其中，基于最小化与所述占用映射关联的二进制交叉熵分类丢失，来重建所述点云。
19.根据权利要求15所述的计算机可读介质，其中，通过以下一个或多个来重建所述点云：U-net、空间金字塔池化，或3D卷积。
20.根据权利要求19所述的计算机可读介质，其中，其中，所述3D卷积包括以下一个或多个：卷积、子流形卷积、扩张卷积和空洞卷积。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063049862P | 2020-07-09 | 2020-07-09 | |
| US63/049,862 | 2020-07-09 | ||
| US17/345,063 | 2021-06-11 | ||
| US17/345,063 US11893691B2 (en) | 2020-07-09 | 2021-06-11 | Point cloud geometry upsampling |
| PCT/US2021/038475 WO2022010646A1 (en) | 2020-07-09 | 2021-06-22 | Point cloud geometry upsampling |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114556147A true CN114556147A (zh) | 2022-05-27 |
Family
ID=79173783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180005723.9A Pending CN114556147A (zh) | 2020-07-09 | 2021-06-22 | 点云几何上采样 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11893691B2 (zh) |
| EP (1) | EP4028791A4 (zh) |
| JP (1) | JP7368623B2 (zh) |
| KR (1) | KR102608160B1 (zh) |
| CN (1) | CN114556147A (zh) |
| WO (1) | WO2022010646A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409161A (zh) * | 2022-07-06 | 2024-01-16 | 戴尔产品有限公司 | 点云处理方法和电子设备 |
| WO2024086165A1 (en) * | 2022-10-18 | 2024-04-25 | Interdigital Vc Holdings, Inc. | Context-aware voxel-based upsampling for point cloud processing |
| CN116994671B (zh) * | 2023-09-25 | 2024-01-02 | 之江实验室 | 一种基于点云数据快速筛选小分子药物的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190197739A1 (en) * | 2017-12-22 | 2019-06-27 | Samsung Electronics Co., Ltd. | Handling duplicate points in point cloud compression |
| US20190311500A1 (en) * | 2018-04-10 | 2019-10-10 | Apple Inc. | Point cloud compression |
| US20200120347A1 (en) * | 2018-10-10 | 2020-04-16 | Intel Corporation | Point cloud coding standard conformance definition in computing environments |
| US20200175725A1 (en) * | 2018-11-30 | 2020-06-04 | Point Cloud Compression, B.V. | Method and appartus for compression of point cloud data |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9996944B2 (en) * | 2016-07-06 | 2018-06-12 | Qualcomm Incorporated | Systems and methods for mapping an environment |
| US10970518B1 (en) * | 2017-11-14 | 2021-04-06 | Apple Inc. | Voxel-based feature learning network |
| KR20210018254A (ko) | 2018-06-06 | 2021-02-17 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 삼차원 데이터 부호화 방법, 삼차원 데이터 복호 방법, 삼차원 데이터 부호화 장치, 및 삼차원 데이터 복호 장치 |
| US10685476B2 (en) * | 2018-07-31 | 2020-06-16 | Intel Corporation | Voxels sparse representation |
-
2021
- 2021-06-11 US US17/345,063 patent/US11893691B2/en active Active
- 2021-06-22 KR KR1020227007995A patent/KR102608160B1/ko active IP Right Grant
- 2021-06-22 CN CN202180005723.9A patent/CN114556147A/zh active Pending
- 2021-06-22 EP EP21838568.0A patent/EP4028791A4/en active Pending
- 2021-06-22 WO PCT/US2021/038475 patent/WO2022010646A1/en unknown
- 2021-06-22 JP JP2022527968A patent/JP7368623B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190197739A1 (en) * | 2017-12-22 | 2019-06-27 | Samsung Electronics Co., Ltd. | Handling duplicate points in point cloud compression |
| US20190311500A1 (en) * | 2018-04-10 | 2019-10-10 | Apple Inc. | Point cloud compression |
| US20200120347A1 (en) * | 2018-10-10 | 2020-04-16 | Intel Corporation | Point cloud coding standard conformance definition in computing environments |
| US20200175725A1 (en) * | 2018-11-30 | 2020-06-04 | Point Cloud Compression, B.V. | Method and appartus for compression of point cloud data |
Non-Patent Citations (1)
| Title |
|---|
| SHURAN SONG ET AL.: "Semantic scene completion from a single depth image.", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 1 January 2016 (2016-01-01), pages 1745 - 1754 * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4028791A1 (en) | 2022-07-20 |
| KR102608160B1 (ko) | 2023-11-29 |
| KR20220047809A (ko) | 2022-04-19 |
| US11893691B2 (en) | 2024-02-06 |
| US20220012945A1 (en) | 2022-01-13 |
| JP7368623B2 (ja) | 2023-10-24 |
| EP4028791A4 (en) | 2022-11-23 |
| JP2023501640A (ja) | 2023-01-18 |
| WO2022010646A1 (en) | 2022-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12080035B2 (en) | Updates on context modeling of occupancy coding for point cloud coding | |
| KR102608160B1 (ko) | 포인트 클라우드 지오메트리 업샘플링 | |
| US11438628B2 (en) | Hash-based accessing of geometry occupancy information for point cloud coding | |
| JP7467630B2 (ja) | 点群コーディングのための方法、コンピュータプログラム、システム、および非一時的コンピュータ読み取り可能媒体 | |
| CN114651192A (zh) | 用于点云编解码的基于哈希的属性预测 | |
| US20240013445A1 (en) | Coding of multiple-component attributes for point cloud coding | |
| AU2021257883B2 (en) | Context modeling of occupancy coding for pointcloud coding | |
| US20240177356A1 (en) | Improvement on predictive tree-based geometry coding for a point cloud | |
| RU2817735C1 (ru) | Контекстное моделирование кодирования занятости для кодирования облака точек |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40071732 Country of ref document: HK |