CN112106063A - 用于动态调整点云的细节级别系统及方法 - Google Patents

用于动态调整点云的细节级别系统及方法 Download PDF

Info

Publication number
CN112106063A
CN112106063A CN201980031100.1A CN201980031100A CN112106063A CN 112106063 A CN112106063 A CN 112106063A CN 201980031100 A CN201980031100 A CN 201980031100A CN 112106063 A CN112106063 A CN 112106063A
Authority
CN
China
Prior art keywords
point cloud
neural network
data
selected object
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980031100.1A
Other languages
English (en)
Inventor
塔图·V·J·哈尔维艾宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PCMS Holdings Inc
Original Assignee
PCMS Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PCMS Holdings Inc filed Critical PCMS Holdings Inc
Publication of CN112106063A publication Critical patent/CN112106063A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/36—Level of detail

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本文公开的示例方法的一些实施例可以包括：接收表示一个或多个三维对象的点云数据；接收所述点云数据的视点；使用所述视点从所述一个或多个三维对象中选择所选对象；检索用于所述所选对象的神经网络模型；使用所述神经网络模型生成针对所述所选对象的细节级别数据；以及在所述点云数据内用所述细节级别数据替换与所述所选对象相对应的点。

Description

用于动态调整点云的细节级别系统及方法
相关申请的交叉引用
本申请是2018年3月20日提交的美国临时专利申请系列号62/645,618，题为“用于动态调整点云的细节级别的系统和方法”的非临时提交，并且要求其在美国法典第35章§119(e)下的益处，该申请通过引用整体结合于此。
背景技术
随着虚拟现实(VR)和增强现实(AR)平台正向越来越多的消费者采用发展，对全三维(3D)空间内容观看的需求正在增长。用于这种全3D内容的传统事实标准是多边形3D图形，通过建模手动产生，并利用用于创建实时3D游戏的工具和技术来渲染。然而，新兴的混合现实(MR)显示器和内容捕获技术，例如RGB-D传感器和光场相机，已经设置了关于可以产生和分发沉浸式空间3D内容的方式的新的潜在发展的最佳实践。
从现实世界环境收集点云数据的空间捕获系统可以产生可用作沉浸式体验的内容的大量点云数据。然而，产生现实世界环境的点云的捕获设备通常具有有限的准确度，并且可能对于相对近距离的观看效果最好。这种潜在的限制可能经常导致所捕获的点云的有限的分辨率和准确度。用点云表示高细节级别可能需要大量数据，这些数据可能加重或压倒数据分布带宽，从而潜在地缩减点云的实际或可用细节级别。
发明内容
根据一些实施例的示例方法可以包括：接收表示一个或多个三维对象的点云数据；跟踪点云数据的视点；使用所述视点从所述一个或多个三维对象中选择所选对象；检索用于所选对象的神经网络模型；使用所述神经网络模型生成针对所述所选对象的细节级别数据；在所述点云数据内用所述细节级别数据替换与所选对象相对应的点；以及渲染点云数据的视图。
在示例方法的一些实施例中，生成针对所选对象的细节级别数据可包括使产生针对所选对象的附加细节的幻觉(hallucinating)。
在示例方法的一些实施例中，使产生针对所选对象的附加细节的幻觉可以增加点云数据的采样密度。
在示例方法的一些实施例中，生成针对所选对象的细节级别数据可以包括使用神经网络来推断由于用于所选对象的有限采样密度而丢失的细节。
在示例方法的一些实施例中，使用神经网络来推断针对所选对象的细节丢失可以增加点云数据的采样密度。
根据一些实施例的示例方法可以进一步包括：选择用于所选对象的训练数据集；以及使用训练数据集生成神经网络模型。
在示例方法的一些实施例中，针对所选对象的细节级别数据可以具有比在点云数据内替换的点更低的分辨率。
在示例方法的一些实施例中，针对所选对象的细节级别数据可以具有比在点云数据内替换的点更高的分辨率。
在示例方法的一些实施例中，使用所述视点从所述一个或多个三维对象中选择所选对象可以包括：响应于确定从所述一个或多个三维对象拾取的对象与所述视点之间的点距离小于阈值，将所述对象选择为所选对象。
根据一些实施例的示例方法可以进一步包括：在观看客户端处检测所述点云数据内的一个或多个对象，其中选择所选对象可包括在从所述点云数据内检测到的所述一个或多个对象中选择所选对象。
根据一些实施例的示例方法可以进一步包括：在观看客户端处捕获指示用户移动的数据；以及至少部分地使用指示用户移动的数据来设置所述视点。
根据一些实施例的示例方法可以进一步包括：捕获头戴式显示器(HMD)的运动数据；以及至少部分地使用所述运动数据来设置所述视点。
在示例方法的一些实施例中，检索用于所选对象的神经网络模型可包括响应于确定观看客户端缺少神经网络模型，从神经网络服务器检索用于所选对象的神经网络模型。
在示例方法的一些实施方式中，检索神经网络模型可以包括检索用于所选对象的更新的神经网络模型。
根据一些实施例的示例方法可以进一步包括：在第一服务器处识别第二服务器；以及向客户端设备传送第二服务器的标识，其中检索神经网络模型可以包括从第二服务器检索神经网络模型。
在示例方法的一些实施例中，检索神经网络模型可以包括：在点云服务器处请求所述神经网络模型；在所述点云服务器处接收所述神经网络模型；以及将神经网络模型传送到客户端设备。
在示例方法的一些实施例中，接收点云数据可以包括从传感器接收点云数据。
根据一些实施例的示例系统可以包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法中的任何方法。
根据一些实施例的示例系统还可以包括一个或多个图形处理器。
根据一些实施例的示例系统还可以包括一个或多个传感器。
根据一些实施例的另一示例方法可以包括：接收表示一个或多个三维对象的点云数据；跟踪点云数据的视点；使用所述视点从所述一个或多个三维对象中选择所选对象；检索用于所选对象的神经网络模型；使用所述神经网络模型生成用于所述所选对象的细节数据的增加级别；在所述点云数据内用所述增加的细节级别数据替换与所述所选对象对应的点；以及渲染点云数据的视图。
根据一些实施例的另一示例系统可以包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法中的任何方法。
根据一些实施例的另一示例方法可以包括：接收表示一个或多个三维对象的点云数据；接收点云数据的视点；使用所述视点从所述一个或多个三维对象中选择所选对象；检索用于所选对象的神经网络模型；使用所述神经网络模型生成针对所述所选对象的细节级别数据；以及在所述点云数据内用所述细节级别数据替换与所选对象相对应的点。
根据一些实施例的另一示例系统可以包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法中的任何方法。
附图说明
从以下结合附图以示例方式呈现的描述中可以获得更详细的理解。此外，图中相同的附图标签表示相同的元素。
图1A是根据一些实施例的示例通信系统的示例系统的系统图。
图1B是根据一些实施例的示例系统的系统图，该系统图示了可以在图1A所示的通信系统内使用的示例无线发射/接收单元(WTRU)。
图2是示出根据一些实施例的用于两个服务器和一个客户端的示例性接口集的系统接口图。
图3A是示出了可以由一些实施例捕获和处理的场景的示例点云的示意性透视图。
图3B是示出了可以由一些实施例捕获和处理的对象的示例点云的示意性透视图。
图4是示出根据一些实施例的用于一组服务器和客户端的一组示例性接口的系统接口图。
图5是根据一些实施例的示出示例过程的消息序列图。
图6是示出根据一些实施例的由服务器执行的示例过程的流程图。
图7是示出根据一些实施例的由服务器执行的示例过程的流程图。
图8是示出根据一些实施例的由客户端执行的示例过程的流程图。
图9是示出根据一些实施例的示例过程的流程图。
在各个附图中描绘并结合各个附图描述的实体、连接、布置等是作为示例而非作为限制来呈现的。因此，关于特定附图“描绘了什么”、“特定附图中的特定元素或实体”是“或”具有“的任何和所有陈述或其他指示，以及任何和所有类似陈述(可以孤立且在上下文之外被解读为绝对的)，因此限制性可以仅被适当地解读为在其前建设性地存在诸如“在至少一个实施例中，...，”语句。为了简洁和清楚地呈现，在详细描述中并不重复这个隐含的主条款。
用于实施例的实现的示例网络
现在将参考各个附图来描述说明性实施例的详细描述。尽管本说明书提供了可能实现的详细示例，但是应当注意，这些细节旨在是示例性的，而决不是限制本申请的范围。
图1A是示出了其中可以实现一个或多个所公开的实施例的示例通信系统100的图。通信系统100可以是向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址系统。通信系统100可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问这样的内容。例如，通信系统100可以采用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT扩展OFDM(ZT-UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM、滤波器组多载波(FBMC)等。
如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公共交换电话网(PSTN)108、因特网110以及其他网络112，但是应当理解，所公开的实施例可以设想任意数量的WTRU、基站、网络和/或网络元件。每一个WTRU102a、102b、102c、102d可为被配置为在无线环境中操作和/或通信的任何类型的设备。举例来说，WTRU102a、102b、102c、102d(其中任何一个可被称为“站”和/或“STA”)可被配置成传送和/或接收无线信号，并且可包括用户设备(UE)、移动站、固定或移动订户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或MiFi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴式显示器(HMD)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动化处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。WTRU102a、102b、102c及102d中的任意者可互换地称为UE。
通信系统100还可以包括基站114a和/或基站114b。基站114a、114b中的每一个可以是任何类型的设备，其被配置为与WTRU102a、102b、102c、102d中的至少一个无线对接，以便于接入一个或多个通信网络(例如CN106/115、因特网110和/或其他网络112)。作为示例，基站114a、114b可以是基站收发台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、NR节点B、站点控制器、接入点(AP)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但是将理解，基站114a、114b可以包括任何数目的互连基站和/或网络元件。
基站114a可以是RAN104/113的一部分，其也可以包括其它基站和/或网络元件(未示出)，例如基站控制器(BSC)、无线网络控制器(RNC)、中继节点等。基站114a和/或基站114b可以被配置为在一个或多个载波频率上(其可以被称为小区(未示出))上发送和/或接收无线信号。这些频率可以在许可频谱、未许可频谱、或者许可和未许可频谱的组合中。小区可以向特定地理区域提供无线服务的覆盖范围，该特定地理区域可以是相对固定的或者可以随时间而改变。小区可以进一步被划分为小区扇区。例如，与基站114a相关联的小区可以被划分为三个扇区。因此，在一个实施例中，基站114a可以包括三个收发信机，即，小区的每个扇区一个收发信机。在实施例中，基站114a可以采用多输入多输出(MIMO)技术，并且可以针对小区的每个扇区使用多个收发信机。例如，波束成形可以用于在期望的空间方向上传送和/或接收信号。
基站114a、114b可经由空中接口116与WTRU102a、102b、102c、102d中的一个或多个通信，该空中接口116可以是任何合适的无线通信链路(例如，射频(RF)、微波、厘米波、微米波、红外(IR)、紫外(UV)、可见光等)。空中接口116可以使用任何合适的无线接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址系统，并且可以采用一个或多个信道接入方案，例如CDMA、TDMA、FDMA、OFDMA、SC-FDMA等。例如，RAN 104/113中的基站114a和WTRU102a、102b、102c可以实现诸如通用移动电信系统(UMTS)陆地无线电接入(UTRA)之类的无线电技术，其可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括诸如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在一个实施例中，基站114a和WTRU102a、102b、102c可以实现诸如演进型UMTS陆地无线电接入(E-UTRA)之类的无线电技术，该无线电技术可以使用长期演进(LTE)和/或高级LTE(LTE-A)和/或高级LTE Pro(LTE-A Pro)来建立空中接口116。
在一个实施例中，基站114a和WTRU102a、102b、102c可以实现诸如NR无线电接入的无线电技术，其可以使用新的无线电(NR)来建立空中接口116。
在一个实施例中，基站114a和WTRU102a、102b、102c可以实现多种无线电接入技术。例如，基站114a和WTRU102a、102b、102c可以例如使用双连接(DC)原理一起实现LTE无线电接入和NR无线电接入。因此，WTRU102a、102b、102c所使用的空中接口的特征可在于发送到/来自多种类型的基站(例如eNB和gNB)的多种类型的无线电接入技术和/或传输。
在其它实施例中，基站114a及WTRU102a、102b、102c可实施无线技术，例如IEEE802.11(即无线保真(WiFi)、IEEE802.16(即全球微波存取互操作性(WiMAX))、CDMA2000、CDMA20001X、CDMA2000 EV-DO、国际互联网标准2000(IS-2000)、国际互联网标准95(IS-95)、国际互联网标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进技术的增强型数据速率(EDGE)、GSM EDGE(GERAN)等。
图1A中的基站114b可以是例如无线路由器、家庭节点B、家庭e节点B或接入点，并且可以利用任何合适的RAT来促进局部区域中的无线连接，该局部区域诸如营业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等。在一个实施例中，基站114b和WTRU102c、102d可以实施诸如IEEE802.11的无线电技术以建立无线局域网(WLAN)。在一个实施例中，基站114b和WTRU102c、102d可以实施无线电技术，例如IEEE802.15，以建立无线个人局域网(WPAN)。在又一实施例中，基站114b和WTRU102c、102d可利用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE-A、LTE-A、LTE-A Pro、NR等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以具有到因特网110的直接连接。因此，基站114b可不需要经由CN106/115访问因特网110。
RAN104/113可与CN106/115通信，CN106/115可为任何类型的网络，其经配置以提供语音、数据、应用和/或网际协议语音(VoIP)服务至WTRU102a、102b、102c、102d中的一者或多者。数据可具有变化服务质量(QoS)要求，例如不同处理量要求、时延要求、错误容限要求、可靠性要求、数据处理量要求、移动性要求等。CN106/115可提供呼叫控制、计费服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等，和/或执行高级安全功能(例如用户认证)。尽管在图1A中未示出，但是应当理解，RAN104/113和/或CN106/115可以与采用与RAN104/113相同的RAT或不同的RAT的其它RAN直接或间接地进行通信。例如，除了连接到可以利用NR无线电技术的RAN104/113之外，CN106/115还可以与采用GSM、UMTS、CDMA2000、WiMAX、E-UTRA或WiFi无线电技术的另一RAN(未示出)通信。
CN106/115亦可作为WTRU102a、102b、102c、102d的网关以接入PSTN108、因特网110、和/或其他网络112。PSTN108可以包括提供普通老式电话服务(POTS)的电路交换电话网。因特网110可以包括使用公共通信协议的互连计算机网络和设备的全球系统，所述公共通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络112可以包括由其他服务提供商拥有和/或运营的有线和/或无线通信网络。例如，网络112可以包括连接到一个或多个RAN的另一个CN，所述RAN可以使用与RAN104/113相同的RAT或不同的RAT。
通信系统100中的WTRU102a、102b、102c、102d中的一些或所有可包括多模式能力(例如，WTRU102a、102b、102c、102d可包括多个收发信机，以通过不同无线链接与不同无线网络通信)。例如，图1A所示的WTRU102c可以被配置成与可以使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE802无线电技术的基站114b通信。
图1B是示出示例WTRU102的系统图。如图1B所示，WTRU102可包括处理器118、收发信机120、发射/接收元件122、扬声器/麦克风124、键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或其他外围设备138等等。可以理解的是，WTRU102可以包括前述元件的任何子组合，同时保持与实施例一致。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、任何其它类型的集成电路(IC)、状态机等。处理器118可以执行信号译码、数据处理、功率控制、输入/输出处理和/或任何其他使WTRU102能够在无线环境中操作的功能。处理器118可以耦合到收发信机120，其可以耦合到发射/接收元件122。虽然图1B将处理器118和收发信机120描绘为单独的组件，但将了解，处理器118和收发信机120可一起集成在电子封装或芯片中。
发射/接收元件122可以被配置为通过空中接口116向基站(例如，基站114a)发射信号或从其接收信号。例如，在一个实施例中，发射/接收元件122可以是被配置为发射和/或接收RF信号的天线。在一个实施例中，发射/接收元件122可以是被配置为发射和/或接收例如IR、UV或可见光信号的发射机/检测器。在又一实施例中，发射/接收元件122可经配置以发射和/或接收RF及光信号两者。应当理解，发射/接收元件122可以被配置为发射和/或接收无线信号的任何组合。
尽管发射/接收元件122在图1B中被描述为单个元件，但是WTRU 102可以包括任意数量的发射/接收元件122。更具体地，WTRU 102可以使用MIMO技术。因此，在一个实施方式中，WTRU 102可以包括两个或多个发射/接收元件122(例如多个天线)，用于通过空中接口116发射和接收无线信号。
收发信机120可以被配置为调制将由发射/接收元件122发射的信号，并且解调由发射/接收元件122接收的信号。如上所述，WTRU102可以具有多模式能力。因此，收发信机120可以包括多个收发信机，用于使WTRU102能够经由多个RAT(例如NR和IEEE 802.11)进行通信。
WTRU102的处理器118可被连接到扬声器/麦克风124、键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并可从其接收用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。另外，处理器118可从任何类型的合适存储器访问信息，且将数据存储在所述存储器中，例如不可移除存储器130和/或可移除存储器132。不可移除存储器130可包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或任何其它类型的存储器存储装置。可移除存储器132可以包括用户识别模块(SIM)卡、记忆棒、安全数字(SD)存储卡等。在其他实施方式中，处理器118可以从存储器访问信息并将数据存储在存储器中，所述存储器不是物理地位于WTRU102上，例如位于服务器或家用计算机(未示出)上。
处理器118可以从电源134接收功率，并且可以被配置成分配和/或控制功率给WTRU 102中的其他组件。电源134可以是任何合适的用于为WTRU 102供电的设备。例如，电源134可以包括一个或多个干电池(例如，镍镉、镍锌、镍金属氢化物(NiMH)、锂离子(Li-ion)等)、太阳能电池、燃料电池等。
处理器118也可以耦合到GPS芯片组136，其可以被配置成提供关于WTRU 102的当前位置的位置信息(例如经度和纬度)。除了来自GPS芯片组136的信息之外，或者作为其替代，WTRU 102可以通过空中接口116从基站(例如基站114a、114b)接收位置信息，和/或基于从两个或更多邻近基站接收的信号的定时来确定其位置。应该理解，WTRU 102可以通过任何合适的位置确定方法来获取位置信息，同时保持与实施例一致。
处理器118还可以耦合到其他外围设备138，外围设备138可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，外围设备138可以包括加速度计、电子罗盘、卫星收发信机、数字相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、
Figure BDA0002767107850000121
模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(VR/AR)设备、活动跟踪器等。外围设备138可以包括一个或多个传感器，传感器可以是陀螺仪、加速度计、霍尔效应传感器、磁力计、取向传感器、接近度传感器、温度传感器、时间传感器中的一个或多个；地理定位传感器；高度计、光传感器、触摸传感器、磁力计、气压计、姿态传感器、生物测定传感器和/或湿度传感器。
WTRU102可以包括全双工无线电，对于该全双工无线电，一些或所有信号(例如，与用于UL(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联的信号)的传输和接收可以是并发的和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如用于传输)或下行链路(例如用于接收)的特定子帧相关联的信号)的半双工无线电设备。
鉴于图1A-1B和图1A-1B的相应描述，本文关于以下各项中的一者或一者以上描述的功能中的一者或一者以上或全部可以由一个或多个仿真设备(未示出)执行：WTRU102a-d、基站114a-b和/或这里描述的任何其他设备(一个或多个)。这些仿真设备可以是被配置为仿真这里描述的功能中的一个或多个或全部的一个或多个设备。例如，仿真设备可以用于测试其他设备和/或模拟网络和/或WTRU功能。
仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的一个或多个测试。例如，一个或多个仿真设备可以执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。一个或多个仿真设备可以执行一个或多个或所有功能，同时被临时实现/部署为有线和/或无线通信网络的一部分。为了测试和/或可以使用空中无线通信执行测试的目的，仿真设备可以直接耦合到另一设备。
一个或多个仿真设备可以执行一个或多个功能(包括所有功能)，而不是作为有线和/或无线通信网络的一部分来实现/部署。例如，仿真设备可以在测试实验室和/或未被部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个组件的测试。一个或多个仿真设备可以是测试设备。仿真设备可以使用直接RF耦合和/或经由RF电路(例如，其可以包括一个或多个天线)合和/或无线通信来传送和/或接收数据。
具体实施方式
对于一些实施例，基于点云的内容的细节级别可基于观看位置和视角来动态地调整。在一些实施例中，点云数据的动态调整可以根据原始未被处理的点云特征减少或增加细节级别，从而实现高效的点云数据传输和增强的用户体验。通过根据一些实施例的神经网络幻觉的示例性公开方法可以实现增强的解决方案。根据一些实施例的非均匀点密度方案的使用允许将采样密度与针对活动观看位置的可视化要求相匹配。本文公开的一些实施例可包括一种观看客户端，其将由点云服务器流传输的点云数据与观看客户端从神经网络服务器获得的神经网络组合，以例如实现在宽范围上的细节级别的动态调整。在一些实施例中，点云服务器可以降低原始点云数据的细节级别，而观看客户端可以使用神经网络模型来模拟详细点云元素的恢复。
根据提供点云数据的三维(3D)渲染的一些实施例的示例方法可以包括：设置用于点云数据的视点；请求所述点云数据；响应于接收到所述点云数据，选择所述点云数据内的细节级别将被增加的对象；请求用于所述对象的神经网络模型；响应于接收到用于所述对象的所述神经网络模型，增加用于所述对象的所述细节级别；用来自所述神经网络模型的所述增加的细节数据替换所述接收的点云数据内的对应于所述对象的点；以及渲染点云数据的3D视图。根据示例方法，增加用于对象的细节级别可以包括使产生针对对象的附加细节的幻觉。该方法还可包括在观看客户端处检测所接收的点云数据内的对象。该方法还可包括：在观看客户端处捕获用户导航或头戴式显示器(HMD)的运动；以及至少部分地基于所捕获的用户导航来设置视点。该方法还可以包括在观看客户端处确定该对象需要新模型，并且其中请求用于该对象的神经网络模型包括：响应于确定所述对象需要新模型，请求用于所述对象的神经网络模型。
根据提供点云数据的3D渲染的一些实施例的示例方法可以包括接收点云数据；分割点云数据；检测所述点云数据内的对象；为所述点云内的点分配细节级别标签；响应于从客户端接收到提供所述点云数据的请求；识别与所接收的请求相关联的视点；以及基于视点选择点云的区域以降低分辨率；降低用于所选区域的分辨率；以及将具有降低的分辨率的点云数据和检测到的对象的标识流传输到客户端。根据示例方法，接收点云数据可以包括从传感器接收点云数据。该方法还可以包括：在点云服务器处识别神经网络服务器；以及将神经网络服务器的标识传送到客户端。该方法还可以包括，在点云服务器处，检索神经网络模型；以及将神经网络模型传送到客户端。
一种系统可以包括处理器(例如，一个或多个处理器)和存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行例如根据一些实施例的本文描述的任何方法。在一些实施例中，示例系统可以包括图形处理器。
对虚拟现实(VR)、增强现实(AR)和混合现实(MR)系统的越来越多的采用正日益增长地需要全三维(3D)空间内容，诸如可以利用RGB-D传感器、光场相机以及光检测和测距(LIDAR)系统从现实世界环境(实时或近实时)收集的点云数据。
除了MR驱动现实捕获技术的发展之外，人机交互系统可能变得越来越具有空间意识。使得能够对环境进行结构理解的环境感测技术正越来越多地嵌入智能家庭环境、汽车系统和移动设备。这些空间感知系统可以从环境收集点云数据，以产生可以用作沉浸式体验的内容的大量点云数据。不幸的是，点云的分辨率和传感器准确度可能限制内容可能具有的细节级别，并且因此限制在没有遭受低分辨率伪影的表现的可视化的质量的情况下可以检查所捕获的几何结构的多近的距离。点云数据传输所需的带宽也会限制显示分辨率。然而，在一些情况下，这可以通过基于观看距离动态地调整点云分辨率来减轻。一个在2016年4月7日在暗影(Umbra)上发表的以前可在https：//umbra3d.com/blog/visualization-of-large-point-clouds/获取，题目为“大点云可视化(Visualization of Large PointClouds)”的来自暗影网站的博客文章(可在https：//web.archive.org/web/20160512052944/http：//umbra3d.com/visualization-of-large-point-clouds获取)(最后的访问时间为2019年2月28日)描述了一种用于在暗影优化系统中使用的点云流传输的方法。原始数据捕获被理解为对精细细节的真实分辨率设置上限，然后可以基于点减少利用任何调整来降低该上限。
深度学习神经网络(包括卷积神经网络)已经迅速、广泛地被用于图像分析和计算机视觉。为分析2D图像数据而开发的方法通常可以适于处理空间3D数据。尽管用于对3D数据应用机器学习的早期方法需要将3D数据变换为体积格式(即，体积像素(体素)或二进制空间分割表示)，但是更近期的工作允许神经网络以其固有格式处理点云数据。例如，期刊文章QI(CharlesR等人在2016年在计算机视觉和模式识别(CVPR)的第4期学报1(2)上发表的点网：关于针对3D分类和分割的点集的深度学习(“Qi”))描述了这样的系统。这项最近的工作，例如Qi，被理解为包括了使用神经网络进行3D分析，以进行点云数据分割以及对象检测和识别。
不幸的是，由现实世界物理场景的空间捕获产生的点云数据可能导致高存储器消耗(即使具有低分辨率)和传感器噪声。高存储器消耗可限制复杂场景可传输到正消耗数据的客户端的分辨率。然而，由于一些点云数据可能缺乏拓扑，因此在一些情况下，通过根据视点降低采样密度，点云数据的细节级别可能降低。调整采样密度可以使得能够更有效地传输大点云。但是，一个潜在的负面结果是，当从近距离检查点云场景中的各个元素时，分辨率可能导致观看体验的质量降低。
当从相对较近的距离捕获内容时，内容质量的增加可用于提供更真实的观看体验。在一些实施例中，可以基于视点来调整点云的细节级别，例如，(1)如果观看距离允许，则根据原始未被处理的点云数据降低细节级别，以及(2)使得能够动态模拟(使产生幻觉)增加细节级别。对于一些实施例，可以使用六自由度(6DoF)的观看体验和有效的带宽使用，诸如如果观看距离足够接近对象。
一些实施例实现了例如在两个方向上的点云数据的动态调整，这可以根据原始收集的未被处理的点云特征来降低和增加点云的细节级别。在一些实施例中，可以基于视点动态地调整细节级别，从而实现高效的点云数据传输和非均匀的点密度，使得点云的点密度与一些应用中可用来针对活动视点产生高质量可视化的点密度相匹配。在一些实施例中，观看客户端可以将由点云服务器流传输的点云数据与从神经网络服务器(其可以是不同的或相同的服务器)获得的神经网络组合。在一些实施例中，点云服务器可降低原始点云数据的细节级别以传输至客户端，并且观看客户端可使用观看客户端已接收的一个或多个神经网络来模拟细节级别的增加。结果是在宽范围内对细节级别的动态调整。对于一些实施例，术语“神经网络模型”可以代替本文使用的术语“神经网络”使用。
图2是示出根据一些实施例的用于两个服务器和客户端的示例性接口集的系统接口图。根据该示例，一个服务器202可以是点云服务器，并且另一个服务器210可以是神经网络服务器。在一些实施例中，服务器可以是一致的。两个服务器都连接到因特网110和其他网络112。客户端218也连接到因特网110和其他网络112，从而实现所有三个节点202、210、218之间的通信。每个节点202、210、218包括处理器204、212、220，非暂时性计算机可读存储器存储介质206、214、224，以及包含在存储介质206、214、224内的可执行指令208、216、226，这些指令可由处理器204、212、220执行以实现本文公开的方法或方法的部分。如图所示，对于一些实施例，客户端可以包括用于为显示器(诸如头戴式显示器(HMD)228)渲染3D视频的图形处理器222。任何或所有节点可包括WTRU并通过网络通信，如上文关于图1A-1B所述。
对于一些实施例，系统200可以包括点云服务器202、神经网络服务器210和/或客户端218，其包括一个或多个处理器204、212、220；以及存储指令208、216、226的一个或多个非暂时性计算机可读介质206、214、224，所述指令在由处理器204、212、220执行时操作以执行本文公开的方法。对于一些实施例，节点218可包括一个或多个图形处理器222。对于一些实施例，节点202、210、218可以包括一个或多个传感器。
图3A是示出了可以由一些实施例捕获和处理的场景的示例点云的示意性透视图。场景300包括从具有某一视在(apparent)高度的观看者视点成像的在某一距离处的多个建筑物和一些较近的物体。当观看者视点改变时，例如通过移动到建筑物的下方或更近，到点云内的点的相对角度可改变。点云可以在现实世界场景中被检测，通过用虚拟对象而被生成，或这些或其他适用技术的任何组合。
图3B是示出了可以由一些实施例捕获和处理的对象的示例点云的示意性透视图。图3B是三维点云对象350的二维黑白线图。在三维显示环境内，点云对象具有表示三维坐标的点，在该三维坐标中已经检测到对象的一部分存在。这种检测可以使用例如3D传感器(诸如光检测和测距(LIDAR)、立体视频和RGB-D相机)来进行。点云数据可以包括例如3D位置和辐射图像数据或体素。
图4是示出根据一些实施例的用于一组服务器和客户端的一组示例性接口的系统接口图。服务器(例如，点云内容服务器)402可包括点云内容数据库412、用于处理细节级别的逻辑414、以及服务器管理功能416。在一些实施例中，对细节的处理可以降低用于传输到客户端406(例如，观看客户端406)的分辨率，例如由于带宽限制或由于观看距离足以允许降低而被允许。服务器(例如，神经网络服务器)404可以包括收集的对象模型的数据库424、高和低分辨率训练样本的数据库426、以及神经网络模型的数据库428。神经网络服务器404另外可以包括用于从传感器数据模拟器418、神经网络训练模块420和服务器管理功能422捕获数据的逻辑。服务器402、404都与客户端406通信。
对于一些实施例，为观看者渲染的点云数据可经历来自至少两个不同源的数据构造过程，以减少和/或增加细节级别。源中的一者可以是从点云服务器402流传输到观看客户端406的点云数据408。点云服务器402以空间捕获已经提供的分辨率流传输点云数据408，或者对于一些实施例，为了符合例如带宽约束或观看距离容限而下采样。点云服务器402可以动态地减少细节级别。源中的另一者可以是神经网络410的储存库，其可以用于通过使产生幻觉或推断附加的几何细节来模拟点云数据中的细节的增加级别。在一些实施例中，可以使用可从现有3D对象模型储存库获得的合成数据，在每个对象的基础上训练用于通过幻觉增加细节级别的神经网络。
对于一些实施例，通过优化系统级操作可以获得效率；除了流传输点云数据和降低分辨率(根据需要或允许)之外，在一些实施例中，点云服务器还可以分割点云数据并识别点云内的对象。如果点云服务器向观看客户端提供分割和对象识别信息，则客户端可以请求特定的对应神经网络模型，该特定的对应神经网络模型可以被定制以使添加(或减少)的细节幻觉到该特定几何结构(其可以增加或减少针对对象的细节级别)。该过程允许有效地导航甚至大的点云场景，同时以足够高的细节级别从近距离观看点云的各个元素。在一些实施例中，对应于所选对象的点云数据内的点可以用较低分辨率数据来替换。
图5是根据一些实施例的示出示例过程的消息序列图。在示例消息序列500中，存在三个节点，一个客户端和两个服务器，例如：观看客户端502、点云服务器504和神经网络服务器506。虽然在图6、7和8的描述中分别更详细地解释了三个节点502、504、506中的每一个节点处的内部功能，但是示出了节点502、504、506之间的通信。
点云服务器504处理508点云以允许处理定制的细节级别，考虑例如流约束(时间和带宽)、观看距离以及使用神经网络模型对可允许在观看客户端处快速重构的对象的检测。神经网络服务器506收集510高分辨率3D模型，从模型中仿真低版本捕获版本，并且训练神经网络重构较高的细节级别，以便稍后用于仿真用于类似的低分辨率模型的细节级别的增加。点云服务器和神经网络服务器等待观看客户端502开始会话。
观看客户端502向点服务器发送512对点云的请求以及视点的指示(例如，“从位置观看”)。在一些实施例中，视点可以被指定为原点和指向单位向量。对于一些实施例，可以使用其他规范格式。点云服务器504返回514所选分辨率的点云数据。点云数据可以伴随有检测到的对象的指示。客户端502基于客户端可以用来增加用于某些对象集的观看分辨率的内容，请求516用于所选对象的神经网络模型。对象可以包括由点云服务器识别的对象，并且还可以包括由客户端自身检测的对象。神经网络服务器506返回518可应用的神经网络模型。客户端502可以使用所接收的神经网络模型来增加520细节级别，并且渲染522点云内容以供用户观看。
图6是示出根据一些实施例的由服务器执行的示例过程的流程图。由服务器(例如，诸如图4的点云内容服务器402的点云内容服务器)执行的示例过程600可以包括：602接收点云传感器数据并且处理所述点云传感器数据以获得细节级别信息；604分割点云数据；606检测点云数据内的对象；608为点分配细节级别标签(例如，将标签放入例如点云数据库620中)；610等待观看客户端请求；612接收包括视点的客户端请求；612调整点云数据(使用存储在点云数据库中的数据)并且将调整后的点云数据流传输至客户端；616监视终止流传输的条件(例如，是否已经接收到结束流传输请求)；以及618监视622终止处理的条件(例如，是否已经接收到结束处理请求)。
在一些实施例中，点云服务器可以存储和分发点云数据。点云数据可以包括例如场景的无序点样本、表示为每个点的坐标位置的几何结构，并且还可以包括例如每个点的特性(诸如颜色、亮度、表面法向量以及可应用的任何附加数据)。在一些情况下，这些数据可以是由一些LIDAR系统产生的典型数据。点云可以从多个源获得，例如包括从本地或远程连接的传感器捕获，以及从其他分发源下载。如果点云服务器已经接收到新的点云数据，则点云服务器可以基于客户端特定的细节级别调整来处理数据以使得能够进行分布优化。点云服务器可以将点云数据流传输到观看客户端，使得细节级别(或者对于一些实施例，在一些体积或区域中的点密度)可以取决于数据点距客户端的指定视点的虚拟距离。在启用基于细节级别的流传输的情况下，可通过省略对观看客户端不可见的细节来动态地减少点云数据。根据该示例的结果是流传输比点云服务器已经存储的细节级别更低的细节级别。对于一些实施例，使用观看者的视点选择点云内的三维对象可以包括：如果视点与对象之间的点距离小于阈值则选择对象。对于一些实施例，可以在点云内检测一个或多个对象，并且选择点云内的三维对象可以包括选择所检测的对象中的一个。
在细节级别处理期间，对于一些实施例，点云服务器估计所存储的点云区域的密度并且向每个点分配细节级别标签，使得取决于观看距离，可以避免过采样。也就是说，根据所述实例，移除从指定视点不可见的细节，且可避免对每一最终渲染图像像素的多个点进行采样。根据一些实施例，除了向点分配细节级别标签之外，点云还可以被识别为用于更有效的流传输的片段。例如，一个在2016年4月7日在暗影(Umbra)上发表的以前可在https：//umbra3d.com/blog/visualization-of-large-point-clouds/获取，题目为“大点云可视化(Visualization ofLarge Point Clouds)”，的来自暗影网站的博客文章(可在https：//web.archive.org/web/20160512052944/http：//umbra3d.com/visualization-of-large-point-clouds获取)(最后的访问时间为2019年2月28日)描述了在暗影优化系统中使用的点云流传输的方法。
在一些实施例中，点云服务器还可以分割点云数据以用于流传输和对象检测和识别。点云片段可例如被分配有所检测的对象标签，使得观看客户端可请求对应于那些特定对象标签的神经网络。图6示出了根据一些实施例的可以由点云服务器(诸如点云内容服务器402)执行的示例方法的流程图。在一些实施例中，图6的流程图可以由也执行图7、8和/或9的流程图的设备执行，对于一些实施例，检索神经网络模型可以包括：在点云服务器处请求所述神经网络模型；在所述点云服务器处接收所述神经网络模型；以及将神经网络模型传送到客户端设备。
图7是示出根据一些实施例的由服务器执行的示例过程的流程图。由服务器(例如，神经网络服务器，诸如示例服务器404)执行的示例过程700可以包括：702收集对象的合成和高分辨率3D扫描模型，并718将这些对象存储在数据库中；704从所述3D模型产生高分辨率点云；706基于高分辨率对象来模拟低分辨率扫描结果，并且720存储所模拟的低分辨率扫描结果；708编译以高/低分辨率对为特征的训练数据集，其被收集在对象类别组中，并且722将这些存储为训练集；710使用训练集来训练用于根据低分辨率数据使产生更高的细节级别的幻觉的神经网络模型，并且存储神经网络模型；712等待观看客户端请求；724接收针对神经网络的客户端请求；714从所存储的神经网络模型发送所请求的神经网络；以及716监视726终止该过程的条件。
在一些实施方式中，神经网络服务器可以负责构建神经网络，该神经网络可以用于(例如，模拟或以其他方式调整或生成，例如，动态地模拟、调整和/或生成)使产生针对表示为点云的对象的增加的细节级别的幻觉。可以使用从现有3D模型收集的高分辨率点云模型和在多个3D模型储存库中可用的高分辨率3D扫描来训练神经网络。在一些实施方式中，神经网络服务器收集对象模型并对其进行分类，并且通过创建对象的低分辨率点云版本(以模拟低分辨率3D捕获)来产生训练数据。使用训练数据，可以训练神经网络以使产生针对由训练数据集表示或类似于训练数据集的对象类别的增加的细节级别的幻觉。
对于模型训练，所选对象类别的现有3D模型和高分辨率3D扫描可以从现有3D模型储存库和可用模型和3D扫描数据集被收集到训练数据库中。对于神经网络训练，所收集的数据的低分辨率版本可以通过用产生较低分辨率结果的空间数据捕获方法模拟对象的3D扫描来产生。该过程可以通过以具有有限可见度的较低样本密度对对象进行采样并将模拟的典型传感器噪声添加到样本来完成。例如由空间传感器捕获模拟产生的较低分辨率点云也可以利用到高分辨率数据的链接而被存储在训练数据库中。
为了训练，从空间捕获模拟得到的捕获的高分辨率对象点云和低分辨率对象点云可以用作训练对。来自相同或足够相似的对象的训练对可以被收集到训练集。可以通过合并具有足够相似性的对象类型来确定对象类型的相似性。
根据一些实施方案，用于增加的细节级别幻觉的神经网络模型可以使用卷积神经网络(CNN)架构来构建。经训练的神经网络可以用于产生低分辨率点云输入的高分辨率版本。例如，为了构建CNN神经网络架构并训练模型，可以使用深度学习框架或在深度学习框架之上运行的更高级神经网络API。Liang，Shu等人在2014年第二届3D视觉(3DV)国际会议31-38(2014)上发表的会议论文从单深度帧进行3D面部幻觉(3D Face Hallucinationfrom a Single Depth Frame)描述了例如用于从低分辨率深度帧幻觉高分辨率3D模型的方法。在一些实施例中，如果客户端请求用于增加“头部”或“面部”的细节级别的神经网络模型，则这些方法使用可以从神经网络服务器传输到观看客户端的神经网络模型的类型的示例。用于构造和训练特定对象类别的网络的方法的一些实施例可以利用在至少一些方面类似于例如使产生3D面部的增加的细节级别的幻觉的幻觉技术。
对于一些实施例，低分辨率点云被用作输入。例如，神经网络模型可以被训练以推断表面细节，从而增加输入点云的密度。Yu，Lequan等人于2018年在计算机视觉与模式识别(CVPR)(2018)的第2790-2799页发表的杂志文章PU-Net：点云上采样网络(Point CloudUpsampling Network，)(“Yu”)描述了一种示例技术，该技术可以根据一些实施例被使用，以通过对数据进行上采样来增加点云的分辨率。根据Yu的示例实现，点云服务器过程被理解为学习每个点的多级特征并且经由特征空间中的多分支卷积来扩展点集。根据Yu的示例实现，扩展特征被分成多个特征，这些特征被重构到上采样的点集。
除了在一些实施例中可以使用或利用的某些示例技术之外，对于一些实施例，生成所选对象的细节级别可以包括使产生针对所选对象的附加细节的幻觉。在一些实施例中，对应于所选对象的点云数据内的点可以用更高分辨率的数据来替换。在一些实施例中，观看客户端可捕获用户导航数据(或对于一些实施例，指示用户移动的数据)，并且观看客户端可至少部分地使用用户导航数据将视点设置为渲染数据。对于一些实施例，视点可以通过与用户移动矢量相对应的矢量来调整，使得用户移动矢量是相对于现实世界环境中的原点确定的矢量，并且用户移动矢量被表达为用户导航数据。对于一些实施方式，检索神经网络模型可以包括检索用于所选对象的更新的神经网络模型。对于一些实施例，使产生三维对象的附加细节的幻觉可以包括例如使用神经网络模型推断(或生成)对象的细节数据的级别。例如，可以选择点云数据集合内的点集合，使得所选择的点集合表示三维对象。所选择的点集合可以对应于第一分辨率级别。可以使用神经网络模型对所选择的点进行上采样(或下采样)，以生成与第二分辨率级别相对应的点集合。上采样(或下采样)增加(或减少)点云数据的采样点密度。对于一些实施例，第二分辨率级别可以表示比第一分辨率级别更高的分辨率。对于一些实施例，第二分辨率可以表示比第一分辨率更低的分辨率。
图8是示出根据一些实施例的由客户端执行的示例过程的流程图。可由客户端(例如，诸如图4的观看客户端406等观看客户端)执行的示例性方法800可包括：802从服务器请求点云内容；804捕获用户导航或设备跟踪以确定视点；806向点云服务器发送相对于点云的视点；808接收点云数据，对于一些实施例，其可以相对于视点被调整；810根据用户控制的视点，选择其细节级别可以被增加的对象；812确定对象是否对应于新的神经网络模型(或对于一些实施例，新的对象类型或对象类别)或客户端是否已经具有模型；814响应于确定客户端缺少新模型，从神经网络服务器请求新模型并且接收所请求的神经网络模型；816使用神经网络模型(最近接收的或先前存在的)来增加分辨率并使产生针对所选对象更高的细节级别的幻觉；用使用所述神经网络模型产生的所述高分辨率版本替换流传输的所述点云中的对象片段；818向观看者渲染点云数据；以及820监视822终止处理的指示。
在一些实施例中，由客户端执行的示例过程可以开始于用户启动点云观看应用。如果用户开始应用，则他/她还指示要观看的点云内容。点云内容可以是到驻留在点云服务器上的内容的链接。在一些实施例中，到内容的链接可以是标识点云服务器和特定内容的URL。观看客户端应用可例如由用户显式命令而启动，或者由操作系统基于标识内容类型请求和与特定内容类型相关联的应用来自动启动。观看客户端应用可以是独立程序，可以与web浏览器或社交媒体客户端集成，或者可以是客户端设备操作系统的一部分。
在一些实施例中，除了进行初始点云请求之外，观看客户端还可以向点云服务器连续地发送更新的视点信息(相对于点云)。如前所述，点云服务器例如动态地调整流传输到客户端的点云的细节级别。如果观看者客户端开始该过程，则观看者客户端可以开始设备跟踪，该设备跟踪可以有助于针对VR、MR和AR使用情况的视点调整。例如，如果客户端包括诸如头戴式显示器(HMD)之类的可穿戴显示设备，则当用户的头部移动时，检测HMD位置和/或运动的传感器可以更新视点(例如，响应于用户的头部移动(一个或多个))。对于一些实施例，接收点云数据可以包括从传感器接收点云数据。在一些实施例中，除了设备跟踪之外，用户可以利用一些附加的导航输入来控制相对于点云的视点。对于一些实施例，如果观看客户端最初从点云服务器请求点云数据，则观看客户端可用信号通知默认或特定视点。如果观看客户端开始接收点云数据，则观看客户端可根据用户输入和/或用于渲染所接收的数据的设备跟踪来更新视点。在一些实施例中，渲染可在专用图形处理器上执行，与观看客户端对所接收的点云数据执行的处理并行运行。
如果观看客户端已经接收到点云数据，则观看客户端可识别由点云服务器分配给点集的对象标签。在一些实施例中，客户端可以另外识别对象。使用对象标签，观看客户端可确定哪些对象被表征在点云中并且足够接近以值得更高的分辨率。对于在较近范围观看到的对象，观看器客户端可以从神经网络服务器请求神经网络模型。可以针对用户视点调整神经网络模型。
对于一些实施例，客户端向神经网络服务器发送神经网络请求，该神经网络请求指示对象最紧密地匹配的对象类别。使用所请求的对象类别，神经网络服务器可以向观看客户端发送神经网络以增加细节级别。可以通过向接收的神经网络馈送被标签为对象的一部分的点云的片段来增加所选对象的细节级别。神经网络可以通过(根据训练数据集)使例如在较高点云分辨率的类似对象中观看到的典型细节产生幻觉来以较高分辨率创建对象的新几何结构。为点云而产生幻觉的细节可以是添加到对象的整体形状的典型几何图案。可以基于由神经网络的较低层从在训练期间已经被馈送到网络中的对象中提取的特征来创建细节。理解了某些神经网络产生幻觉细节的能力。
如果使产生几何结构的幻觉，则输出可以是新的点以替换输入点云段。新点可以以具有增加的细节级别的改变的几何结构为特征。如果神经网络用于产生所选对象的高分辨率点云数据，则观看客户端可以用神经网络产生的相应高分辨率点来代替原始数据点。点云数据可以使用高分辨率点来渲染。
对于一些实施例，示例过程可以包括在观看客户端处捕获指示用户移动的数据(或者对于一些实施例，用户导航数据)；以及至少部分地使用指示用户移动的数据(或对于一些实施例，用户导航数据)来设置视点。对于一些实施例，该过程可以包括捕获头戴式显示器(HMD)的运动数据；以及至少部分地使用运动数据来设置视点。对于该过程的某些实施例，检索用于所选对象的神经网络模型可包括：响应于确定观看客户端缺少神经网络模型，从神经网络服务器检索用于所选对象的神经网络模型。
在一些实施例中，点云数据的细节级别可在两个方向上动态地调整，以低于点云数据的全分辨率，同时还能够将细节级别增加到原始的未被处理的点云中存在的细节和采样密度以上。在一些实施例中，点云服务器(其示例在上文描述)使得能够调节点云细节级别以低于原始的未被处理的点云数据的分辨率，而神经网络服务器使得能够进行高于原始的未被处理的点云分辨率的细节级别调节。该方法允许在可检查数据的范围中有很大的变化，允许观看者更自由地导航内容，同时提供一致的观看体验。
对于一些实施例，如果离视点的点距离允许这样的减少，则可以将减少的数据从点云服务器传送到观看客户端。因此，可以针对作为点云捕获的大型环境控制带宽需求，并且可以调整数据的细节级别以供渲染和观看者观看。
在一些实施例中，不是观看客户端搜索合适的神经网络服务器，而是点云服务器可以例如基于点云服务器在所接收的点云上进行的对象检测来识别(例如，合适的)神经网络服务器作为数据预处理的一部分。对于一些实施例，点云服务器将点云流传输到观看客户端，并且还发送客户端可以用来增加细节级别的神经网络(或服务器的标识)。神经网络以及点云数据可根据客户端相对于点云指定的视点来被流传输。在一些实施例中，点云服务器可使用神经网络来增加点云数据的细节级别并流传输增强的点云数据。
在一些实施例中，点云服务器可使用原始点云数据来训练神经网络，以通过从全分辨率点云产生所选对象片段的低分辨率版本来使产生附加细节的幻觉。例如，在点云数据具有急剧变化的采样密度的情况下，可以执行这样的示例方法。这种处理可以减轻一般的分辨率需求，同时留下高分辨率部分以由观看客户端使用神经网络再现。对于一些实施例，一种过程可以包括：在点云服务器处识别神经网络服务器；以及将神经网络服务器的标识发送到客户端设备，其中检索神经网络模型可以包括从神经网络服务器检索神经网络模型。
图9是示出根据一些实施例的示例过程的流程图。对于一些实施例，可以执行过程900，其包括902接收表示一个或多个三维对象的点云数据。过程900可进一步包括904跟踪点云数据的视点。过程900还可以包括906使用视点从一个或多个三维对象中选择所选对象。过程900可以包括908检索用于所选对象的神经网络模型。过程900还可包括910使用神经网络模型生成针对所选对象的细节级别数据，并912在点云数据内用细节级别数据替换对应于所选对象的点。过程900还可包括914渲染点云数据的视图。对于一些实施例，生成针对所选对象的细节级别数据可生成针对所选对象的增加的细节级别数据。
虽然在虚拟现实(VR)的上下文中讨论了根据一些实施例的方法和系统，但是一些实施例也可以应用于混合现实(MR)/增强现实(AR)上下文。此外，尽管本文使用了术语“头戴式显示器(HMD)”，但是对于一些实施例，一些实施例可以应用于能够例如进行VR、AR和/或MR的可穿戴设备(其可以附接到头部或者可以不附接到头部)。
根据一些实施例的示例方法可以包括：接收表示一个或多个三维对象的点云数据；跟踪点云数据的视点；使用视点从一个或多个三维对象中选择所选对象；检索用于所选对象的神经网络模型；使用所述神经网络模型生成针对所述所选对象的细节级别数据；在所述点云数据内用所述细节级别数据替换与所选对象相对应的点；以及渲染点云数据的视图。
在示例方法的一些实施例中，生成针对所选对象的细节级别数据可包括使产生针对所选对象的附件细节的幻觉或推断针对所选对象的附加细节。
在示例方法的一些实施例中，使产生针对所选对象的附件细节的幻觉或推断针对所选对象的附加细节可以增加点云数据的采样密度。
在示例方法的一些实施例中，生成针对所选对象的细节级别数据可以包括使用神经网络来推断由于用于所选对象的有限采样密度而丢失的细节。
在示例方法的一些实施例中，使用神经网络来推断针对所选对象丢失的细节可以增加点云数据的采样密度。
根据一些实施例的示例方法可以进一步包括：选择用于所选对象的训练数据集；以及使用训练数据集生成神经网络模型。
在示例方法的一些实施例中，针对所选对象的细节级别数据可以具有比在点云数据内的被替换的点更低的分辨率。
在示例方法的一些实施例中，针对所选对象的细节级别数据可以具有比在点云数据内的被替换的点更高的分辨率。
在示例方法的一些实施例中，使用视点从一个或多个三维对象中选择所选对象可以包括：响应于确定从一个或多个三维对象拾取的对象与视点之间的点距离小于阈值，将对象选择为所选对象。
根据一些实施例的示例方法可以进一步包括：在观看客户端处检测所述点云数据内的一个或多个对象，其中选择所选对象可包括从所述点云数据内所检测的所述一个或多个对象中选择所选对象。
根据一些实施例的示例方法可以进一步包括：在观看客户端处捕获指示用户移动的数据；以及至少部分地使用指示用户移动的数据来设置视点。
根据一些实施例的示例方法可以进一步包括：捕获头戴式显示器(HMD)的运动数据；以及至少部分地使用运动数据来设置视点。
在示例方法的一些实施例中，检索用于所选对象的神经网络模型可包括：响应于确定观看客户端缺少神经网络模型，从神经网络服务器检索用于所选对象的神经网络模型。
在示例方法的一些实施方式中，检索神经网络模型可以包括检索用于所选对象的更新的神经网络模型。
根据一些实施例的示例方法可以进一步包括：在第一服务器处识别第二服务器；以及向客户端设备传送第二服务器的标识，其中检索神经网络模型可以包括从第二服务器检索神经网络模型。在一些实施例中，第一服务器可以是点云服务器，并且第二服务器可以是神经网络服务器。
在示例方法的一些实施例中，检索神经网络模型可以包括：在点云服务器处请求所述神经网络模型；在所述点云服务器处接收所述神经网络模型；以及将神经网络模型传送到客户端设备。
在示例方法的一些实施例中，接收点云数据可以包括从传感器接收点云数据。
根据一些实施例的示例系统可以包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法中的任何方法。
根据一些实施例的示例系统还可以包括一个或多个图形处理器。
根据一些实施例的示例系统还可以包括一个或多个传感器。
根据一些实施例的另一示例方法可以包括：接收表示一个或多个三维对象的点云数据；跟踪点云数据的视点；使用视点从一个或多个三维对象中选择所选对象；检索用于所选对象的神经网络模型；使用所述神经网络模型生成针对所述所选对象的增加的细节级别数据；在所述点云数据内用所述增加的细节级别数据替换与所述所选对象对应的点；以及渲染点云数据的视图。
根据一些实施例的另一示例系统可以包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法中的任何方法。
根据一些实施例的另一示例方法可以包括：接收表示一个或多个三维对象的点云数据；接收点云数据的视点；使用视点从一个或多个三维对象中选择所选对象；检索用于所选对象的神经网络模型；使用所述神经网络模型生成针对所述所选对象的细节级别数据；以及在所述点云数据内用所述细节级别数据替换与所选对象相对应的点。
根据一些实施例的另一示例系统可以包括：一个或多个处理器；以及存储指令的一个或多个非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法中的任何方法。
根据一些实施例的提供点云数据的三维(3D)渲染的示例方法可以包括：为点云数据设置视点；请求点云数据；响应于接收到所述点云数据，选择所述点云数据内的细节级别将被增加的对象；请求用于所述对象的神经网络模型；响应于接收到所述对象的所述神经网络模型，增加针对所述对象的所述细节级别；用来自所述神经网络模型的所述增加的细节数据替换所接收的点云数据内的对应于所述对象的点；以及渲染点云数据的3D视图。
在示例方法的一些实施例中，增加针对对象的细节级别可以包括使产生针对对象的附加细节的幻觉。
示例方法的一些实施例还可以包括在观看客户端处，检测所接收的点云数据内的对象。
示例方法的一些实施例还可以包括在观看客户端处，捕获用户导航；以及至少部分地基于所捕获的用户导航来设置视点。
示例方法的一些实施例还可以包括：捕获头戴式显示器(HMD)的运动；以及至少部分地基于所捕获的运动来设置视点。
示例方法的一些实施例还可以包括在观看客户端处确定对象需要新模型，其中请求用于对象的神经网络模型包括：响应于确定对象需要新模型，请求用于对象的神经网络模型。
根据一些实施例的示例系统可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述示例方法中的一者。
示例系统的一些实施例还可以包括图形处理器。
根据一些实施例的提供点云数据的三维(3D)渲染的示例方法可以包括：接收点云数据；分割点云数据；检测所述点云数据内的对象；为所述点云内的点节分配细级别标签；响应于从客户端接收到提供所述点云数据的请求；识别与所接收的请求相关联的视点；基于所述视点选择所述点云的区域以降低分辨率；降低用于所选区域的分辨率；以及将具有降低的分辨率的点云数据和检测到的对象的标识流传输到客户端。
在示例方法的一些实施例中，接收点云数据包括从传感器接收点云数据。
示例方法的一些实施例还可以包括：在点云服务器处，识别神经网络服务器；以及将神经网络服务器的标识传送到客户端。
示例方法的一些实施例还可以包括：在点云服务器处，检索神经网络模型；以及将神经网络模型传送到客户端。
根据一些实施例的示例系统可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时可操作以执行上述方法中的一者。
根据一些实施例的示例方法可以包括向客户端呈现对象的低分辨率视图。
根据一些实施例的示例方法可以进一步包括由客户端从服务器请求点云数据，该点云数据标识相对于点云的所选视点。
根据一些实施例的示例方法还可以包括基于到点云数据的视点来选择细节或分辨率可以增加的对象。
根据一些实施例的示例方法还可以包括使得能够产生针对所选对象的添加的细节级别的幻觉。
根据一些实施例的示例方法还可以包括向所接收的神经网络馈送被标签为所选对象的一部分的点云片段，以产生所选对象的更高分辨率版本。
根据一些实施例的示例方法还可以包括用所选对象的更高分辨率版本替换从点云服务器流传输的点云中的对象片段。
根据一些实施例的示例方法还可以包括向用户呈现具有动态调整的细节级别的点云数据。
注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其实现(即，执行、实施等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、软件指令等的形式或包括以上各种指令，并且可以存储在任何适当的非暂时性计算机可读介质或媒介中(诸如通常被称为RAM、ROM等)。
尽管以上以特定的组合描述了特征和元素，但是本领域的普通技术人员将理解，每个特征或元素可以单独使用或与其他特征和元素任意组合使用。另外，本文描述的方法可以在计算机程序、软件或固件中实现，所述计算机程序、软件或固件并入计算机可读介质中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于，只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓冲存储器、半导体存储器设备、诸如内部硬盘和可移除盘等磁介质、磁光介质、以及诸如CD-ROM盘和数字多功能盘(DVD)等光介质。与软件相关联的处理器可以用于实现在WTRU、UE、终端、基站、RNC或任何主机计算机中使用的射频收发信机。

Claims (24)

1.一种方法，包括：
接收表示一个或多个三维对象的点云数据；
跟踪所述点云数据的视点；
使用所述视点从所述一个或多个三维对象中选择所选对象；
检索用于所述所选对象的神经网络模型；
使用所述神经网络模型生成针对所述所选对象的细节级别数据；
在所述点云数据内用所述细节级别数据替换与所述所选对象相对应的点；以及
渲染所述点云数据的视图。
2.根据权利要求1所述的方法，其中生成针对所述所选对象的所述细节级别数据包括使产生针对所述所选对象的附加细节的幻觉。
3.根据权利要求2所述的方法，其中使产生针对所述所选对象的附加细节的幻觉增加所述点云数据的采样密度。
4.根据权利要求1到3中任一项权利要求所述的方法，其中生成针对所述所选对象的所述细节级别数据包括：使用神经网络来推断由于用于所述所选对象的有限采样密度而丢失的细节。
5.根据权利要求4所述的方法，其中使用神经网络来推断所述所选对象丢失的细节增加所述点云数据的采样密度。
6.根据权利要求1至5中任一项所述的方法，还包括：
选择用于所述所选对象的训练数据集；以及
使用所述训练数据集来生成神经网络模型。
7.根据权利要求1至6中任一项所述的方法，其中针对所述所选对象的所述细节级别数据具有比所述点云数据内的被替换的所述点更低的分辨率。
8.根据权利要求1至7中任一项所述的方法，其中针对所述所选对象的所述细节级别数据具有比所述点云数据内的被替换的所述点更高的分辨率。
9.根据权利要求8所述的方法，其中使用所述视点从所述一个或多个三维对象中选择所述所选对象包括：响应于确定所述视点与从所述一个或多个三维对象拾取的对象之间的点距离小于阈值，将所述对象选择为所述所选对象。
10.根据权利要求1至9中任一项所述的方法，还包括：
在观看客户端处，检测所述点云数据内的一个或多个对象，
其中选择所述所选对象包括从所述点云数据内检测到的所述一个或多个对象中选择所述所选对象。
11.根据权利要求1至10中任一项所述的方法，还包括：
在观看客户端处，捕获指示用户移动的数据；以及
至少部分地使用指示用户移动的所述数据来设置所述视点。
12.根据权利要求1至11中任一项所述的方法，还包括：
捕获头戴式显示器(HMD)的运动数据；以及
至少部分地使用所述运动数据来设置所述视点。
13.根据权利要求1至12中任一项所述的方法，其中检索用于所述所选对象的所述神经网络模型包括：响应于确定观看客户端缺少所述神经网络模型，从神经网络服务器检索用于所述所选对象的所述神经网络模型。
14.根据权利要求1至13中任一项所述的方法，其中检索所述神经网络模型包括检索用于所述所选对象的更新的神经网络模型。
15.根据权利要求1至14中任一项所述的方法，还包括：
在第一服务器处，识别第二服务器；以及
向客户端设备传送所述第二服务器的标识，
其中检索所述神经网络模型包括从所述第二服务器检索所述神经网络模型。
16.根据权利要求1至15中任一项所述的方法，其中检索所述神经网络模型包括：
在点云服务器处，请求所述神经网络模型；
在所述点云服务器处，接收所述神经网络模型；以及
将所述神经网络模型传送到客户端设备。
17.根据权利要求1至16中任一项所述的方法，其中接收点云数据包括从传感器接收点云数据。
18.一种系统，包括：
一个或多个处理器；以及
一个或多个非暂时性计算机可读介质，其存储指令，所述指令在由所述处理器执行时可操作以执行根据权利要求1至17中任一项所述的方法。
19.根据权利要求18所述的系统，还包括一个或多个图形处理器。
20.根据权利要求18至19中任一项所述的系统，还包括一个或多个传感器。
21.一种方法，包括：
接收表示一个或多个三维对象的点云数据；
跟踪所述点云数据的视点；
使用所述视点从所述一个或多个三维对象中选择所选对象；
检索用于所述所选对象的神经网络模型；
使用所述神经网络模型生成针对所述所选对象的增加的细节级别数据；
在所述点云数据内用所述增加的细节级别数据替换与所述所选对象对应的点；以及
渲染所述点云数据的视图。
22.一种系统，包括：
一个或多个处理器；以及
一个或多个非暂时性计算机可读介质，其存储指令，所述指令在由所述处理器执行时可操作以执行根据权利要求21所述的方法。
23.一种方法，包括：
接收表示一个或多个三维对象的点云数据；
接收所述点云数据的视点；
使用所述视点从所述一个或多个三维对象中选择所选对象；
检索用于所述所选对象的神经网络模型；
使用所述神经网络模型生成针对所述所选对象的细节级别数据；以及
在所述点云数据内用所述细节级别数据替换与所述所选对象相对应的点。
24.一种系统，包括：
一个或多个处理器；以及
一个或多个非暂时性计算机可读介质，其存储指令，所述指令在由所述处理器执行时可操作以执行根据权利要求23所述的方法。
CN201980031100.1A 2018-03-20 2019-03-12 用于动态调整点云的细节级别系统及方法 Pending CN112106063A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862645618P 2018-03-20 2018-03-20
US62/645,618 2018-03-20
PCT/US2019/021846 WO2019182811A1 (en) 2018-03-20 2019-03-12 System and method for dynamically adjusting level of details of point clouds

Publications (1)

Publication Number Publication Date
CN112106063A true CN112106063A (zh) 2020-12-18

Family

ID=65952085

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980031100.1A Pending CN112106063A (zh) 2018-03-20 2019-03-12 用于动态调整点云的细节级别系统及方法

Country Status (4)

Country Link
US (2) US11328474B2 (zh)
EP (1) EP3769257A1 (zh)
CN (1) CN112106063A (zh)
WO (1) WO2019182811A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106063A (zh) * 2018-03-20 2020-12-18 Pcms控股公司 用于动态调整点云的细节级别系统及方法
CN113273211A (zh) 2018-12-14 2021-08-17 Pcms控股公司 用于对空间数据进行程序化着色的系统和方法
JP6647433B1 (ja) * 2019-02-19 2020-02-14 株式会社メディア工房 点群データ通信システム、点群データ送信装置および点群データ送信方法
US11460581B2 (en) * 2019-06-10 2022-10-04 Toyota Research Institute, Inc. Systems and methods for reducing LiDAR points
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
US11190817B2 (en) * 2020-01-23 2021-11-30 At&T Intellectual Property I, L.P. Method, systems and devices for providing adjusted video content according to viewing distance
EP4101173A1 (en) * 2020-02-06 2022-12-14 PCMS Holdings, Inc. 3d point cloud enhancement with multiple measurements
CN111612891B (zh) * 2020-05-22 2023-08-08 北京京东乾石科技有限公司 模型生成方法、点云数据处理方法、装置、设备及介质
US11934959B2 (en) * 2020-06-01 2024-03-19 Nvidia Corporation Video synthesis using one or more neural networks
US11599745B2 (en) * 2020-06-24 2023-03-07 Denso International America, Inc. System and method for generating synthetic training data
US11508078B2 (en) * 2020-08-05 2022-11-22 Lineage Logistics, LLC Point cloud annotation for a warehouse environment
US11694415B2 (en) 2020-10-28 2023-07-04 Autodesk, Inc. Techniques for training a machine learning model to modify portions of shapes when generating designs for three-dimensional objects
US11468634B2 (en) * 2020-10-28 2022-10-11 Autodesk, Inc. Machine learning techniques for generating designs for three-dimensional objects
US11895170B2 (en) * 2021-03-09 2024-02-06 Cisco Technology, Inc. Synchronicity for virtual reality/augmented reality interactive sessions in wireless networks
US20230388470A1 (en) * 2022-05-31 2023-11-30 Soul Vision Creations Private Limited Neural network training for implicit rendering
CN117409161A (zh) * 2022-07-06 2024-01-16 戴尔产品有限公司 点云处理方法和电子设备
WO2024094745A1 (en) * 2022-11-03 2024-05-10 Koninklijke Philips N.V. Wireless sensing and communication system with matching function for improved interoperability
CN116310226B (zh) * 2023-05-16 2023-08-18 深圳大学 三维对象层级模型生成方法、装置、设备和存储介质

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201546B1 (en) 1998-05-29 2001-03-13 Point Cloud, Inc. Systems and methods for generating three dimensional, textured models
US7583857B2 (en) 2005-08-24 2009-09-01 Siemens Medical Solutions Usa, Inc. System and method for salient region feature based 3D multi modality registration of medical images
US8314791B2 (en) 2007-11-19 2012-11-20 Rdv Systems Ltd. Method and apparatus for determining view impact
WO2010031128A1 (en) 2008-09-19 2010-03-25 The University Of Sydney A method and system of data modelling
US20110115812A1 (en) 2009-11-13 2011-05-19 Harris Corporation Method for colorization of point cloud data based on radiometric imagery
US8525848B2 (en) 2009-11-16 2013-09-03 Autodesk, Inc. Point cloud decimation engine
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8471849B1 (en) 2012-03-19 2013-06-25 Google Inc. Prioritization of display of portions of three-dimensional object models
EA201492098A1 (ru) 2012-05-14 2015-04-30 Лука Россато Кодирование и декодирование на основании смешивания последовательностей выборок с течением времени
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US8848201B1 (en) 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
US20140198097A1 (en) * 2013-01-16 2014-07-17 Microsoft Corporation Continuous and dynamic level of detail for efficient point cloud object rendering
NL2010463C2 (nl) 2013-03-15 2014-09-16 Cyclomedia Technology B V Werkwijze voor het genereren van een panoramabeeld.
US10013507B2 (en) * 2013-07-01 2018-07-03 Here Global B.V. Learning synthetic models for roof style classification using point clouds
US9286717B2 (en) 2013-07-30 2016-03-15 Hewlett-Packard Development Company, L.P. 3D modeling motion parameters
WO2015106799A1 (en) 2014-01-14 2015-07-23 Sandvik Mining And Construction Oy Mine vehicle, mine control system and mapping method
US9619691B2 (en) 2014-03-07 2017-04-11 University Of Southern California Multi-view 3D object recognition from a point cloud and change detection
CN104978549B (zh) 2014-04-03 2019-04-02 北京邮电大学 三维人脸图像特征提取方法和系统
WO2016040153A1 (en) 2014-09-08 2016-03-17 Intel Corporation Environmentally mapped virtualization mechanism
EP3192057A4 (en) 2014-09-10 2018-03-21 Vangogh Imaging Inc. Real-time dynamic three-dimensional adaptive object recognition and model reconstruction
US9412361B1 (en) * 2014-09-30 2016-08-09 Amazon Technologies, Inc. Configuring system operation using image data
WO2016069498A1 (en) 2014-10-26 2016-05-06 Galileo Group, Inc. Temporal processes for aggregating multi dimensional data collection from discrete and distributed collectors using machine-to-machine networks and smartphones to provide enhanced space-time perspective for monitoring changes using algorithmic techniques
US9767381B2 (en) * 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US20170214943A1 (en) 2016-01-22 2017-07-27 Mitsubishi Electric Research Laboratories, Inc. Point Cloud Compression using Prediction and Shape-Adaptive Transforms
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
US9986177B2 (en) 2016-03-09 2018-05-29 Galileo Group, Inc. Spectral enhancements to mobile devices
US10026230B2 (en) 2016-03-30 2018-07-17 Daqri, Llc Augmented point cloud for a visualization system and method
GB2550567A (en) 2016-05-20 2017-11-29 Nokia Technologies Oy Point Cloud Matching Method
US10694210B2 (en) 2016-05-28 2020-06-23 Microsoft Technology Licensing, Llc Scalable point cloud compression with transform, and corresponding decompression
US10282918B2 (en) 2016-09-20 2019-05-07 Siemens Healthcare Gmbh Two-dimensional cinematic medical imaging in color based on deep learning
KR102383427B1 (ko) 2016-12-16 2022-04-07 현대자동차주식회사 자율주행 제어 장치 및 방법
US10699421B1 (en) 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
CN107194983B (zh) 2017-05-16 2018-03-09 华中科技大学 一种基于点云与影像数据的三维可视化方法和系统
US10362296B2 (en) * 2017-08-17 2019-07-23 Microsoft Technology Licensing, Llc Localized depth map generation
CN107862293B (zh) 2017-09-14 2021-05-04 北京航空航天大学 基于对抗生成网络的雷达生成彩色语义图像系统及方法
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10482575B2 (en) * 2017-09-28 2019-11-19 Intel Corporation Super-resolution apparatus and method for virtual and mixed reality
DE102017011562A1 (de) 2017-12-14 2018-05-30 Daimler Ag Verfahren zur Umwandlung eines Rohbilds in ein Farbbild
US10664953B1 (en) * 2018-01-23 2020-05-26 Facebook Technologies, Llc Systems and methods for generating defocus blur effects
EP3518001B1 (en) 2018-01-25 2020-09-16 Aptiv Technologies Limited Method for increasing the reliability of determining the position of a vehicle on the basis of a plurality of detection points
US11128854B2 (en) * 2018-03-13 2021-09-21 Magic Leap, Inc. Image-enhanced depth sensing via depth sensor control
CN112106063A (zh) * 2018-03-20 2020-12-18 Pcms控股公司 用于动态调整点云的细节级别系统及方法
GB202001839D0 (en) * 2020-02-11 2020-03-25 V Nova Int Ltd Use of tiered hierarchical coding for point cloud compression
EP4128040A4 (en) * 2020-04-24 2023-09-13 Shanghai United Imaging Healthcare Co., Ltd. OBJECT RECOGNITION SYSTEMS AND METHODS

Also Published As

Publication number Publication date
US11816786B2 (en) 2023-11-14
US20210035352A1 (en) 2021-02-04
EP3769257A1 (en) 2021-01-27
US11328474B2 (en) 2022-05-10
US20220237856A1 (en) 2022-07-28
WO2019182811A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
US11816786B2 (en) System and method for dynamically adjusting level of details of point clouds
US20220309689A1 (en) System and method for optimizing dynamic point clouds based on prioritized transformations
CN112237005B (zh) 用于全向视频的视点元数据
US11961264B2 (en) System and method for procedurally colorizing spatial data
CN110869980B (zh) 将内容分发和呈现为球形视频和3d资产组合
US11861797B2 (en) Method and apparatus for transmitting 3D XR media data
CN113424549A (zh) 用于利用多个细节级别和自由度的自适应空间内容流传输的系统和方法
EP3559785B1 (en) Systems and methods for selecting spheres of relevance for presenting augmented reality information
Younis et al. Latency-aware hybrid edge cloud framework for mobile augmented reality applications
US11954789B2 (en) System and method for sparse distributed rendering
JP2023532436A (ja) トポロジフレンドリ表現を用いたグラフ条件付きオートエンコーダ（ｇｃａｅ）のための方法、装置、及びシステム
WO2020139766A2 (en) System and method for optimizing spatial content distribution using multiple data systems
WO2017151436A1 (en) System and method for aggregating rgb-d data and creating a virtual environment based on physical locations
US11223815B2 (en) Method and device for processing video
KR20220152736A (ko) 시청자 환경 기반 ar 서비스 제공 방법 및 장치
US20240212220A1 (en) System and method for procedurally colorizing spatial data
Zhang Accelerating Vision Systems on Mobile Devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination