CN113542720A - 用于提供与点云内容相关联的摄像头信息的装置和方法 - Google Patents

Abstract

本公开提供了用于提供与点云内容相关联的摄像头信息的装置和方法。该方法可以包括以V‑PCC输送格式对摄像头信息进行编码；将摄像头信息存储为定时元数据轨道中的元数据样本条目；以及将摄像头信息作为定时元数据轨道中的元数据样本条目发送到用于呈现点云内容的设备。

Description

用于提供与点云内容相关联的摄像头信息的装置和方法

技术领域

本公开的实施例总体涉及摄像、图像捕获和回放，并且具体地涉及用于提供与点云内容相关联的摄像头信息的装置和方法。

背景技术

可以使用多个摄像头来捕获场景中的活动。多个摄像头可以用于实现体积(volumetric)内容捕获，其中场景是从多个视点来记录的。所捕获的图像可以被处理，以创建用于体积内容的高质量三维模型。具体而言，可以在三维场景捕获期间估计三维点云。

一般而言，点云是空间内的一组数据点，其中每个点可以由一个或多个坐标指定。例如，在三维空间中，每个点可以由三个值或坐标指定。通常，三维点云的估计和点云内容的呈现依赖于对多个摄像头捕获的多个视图的处理，因此需要获取有关多个摄像头的摄像头信息。

发明内容

本公开的一方面提供了一种用于提供与点云内容相关联的摄像头信息的装置，包括：通信接口、包括存储器接口的存储器、以及与通信接口和存储器接口耦合的处理电路，其中，处理电路被配置为：以基于视频的点云压缩(V-PCC)输送格式对摄像头信息进行编码，并且将摄像头信息作为定时元数据轨道中的元数据样本条目提供给通信接口，以传输到用于呈现点云内容的设备；并且存储器被配置为将摄像头信息存储为定时元数据轨道中的元数据样本条目。

本公开的一方面提供了一种用于呈现点云内容的装置，该装置包括通信接口和与该通信接口耦合的处理电路，其中，通信接口被配置为从内容服务器接收点云内容和与点云内容相关联的摄像头信息；处理电路被配置为对点云内容和摄像头信息进行解码，并使得解码后的点云内容基于解码后的摄像头信息被呈现，其中，摄像头信息被编码为V-PCC输送格式并且作为定时元数据轨道中的元数据样本条目而被接收。

本公开的一方面提供了一种用于提供与点云内容相关联的摄像头信息的方法，包括：以V-PCC输送格式对摄像头信息进行编码；将摄像头信息存储为定时元数据轨道中的元数据样本条目；以及将摄像头信息作为定时元数据轨道中的元数据样本条目发送到用于呈现点云内容的设备。

本公开的一方面提供了一种用于呈现点云内容的方法，包括：从内容服务器接收点云内容和与点云内容相关联的摄像头信息；对点云内容和摄像头信息进行解码；并且基于解码后的摄像头信息呈现解码后的点云内容，其中，摄像头信息被编码为V-PCC输送格式并且作为定时元数据轨道中的元数据样本条目而被接收。

附图说明

在附图中，将通过示例而非限制的方式说明本公开的实施例，其中相同的参考标号指代相似的元件。

图1示出了根据本公开的一些实施例的使用多个摄像头的示例体积媒体系统的示意图。

图2示出了根据本公开的一些实施例的用于提供与点云内容相关联的摄像头信息的示例过程。

图3示出了根据本公开的一些实施例的用于呈现点云内容的示例过程。

图4是示出根据一些示例实施例的能够从机器可读或者计算机可读介质读取指令并且执行本文所论述的任何一种或多种方法的组件的框图。

具体实施方式

将使用本领域技术人员通常采用的术语来描述说明性实施例的各个方面，以将本公开的实质传达给本领域其他技术人员。然而，对于本领域技术人员易于理解的是，可以使用所描述方面的部分来实践许多替代实施例。出于解释的目的，阐述了具体的数字、材料和配置，以提供对说明性实施例的透彻理解。然而，对于本领域技术人员易于理解的是，可以在没有这些具体细节的情况下实践替代实施例。在其他情况下，可以省略或简化众所周知的特征，以避免模糊说明性实施例。

此外，各种操作将以最有助于理解说明性实施例的方式被描述为多个离散操作；然而，描述的顺序不应被解释为暗示这些操作必须依赖于顺序。特别是，这些操作不需要按照呈现的顺序执行。

本文重复使用短语“在实施例中”、“在一种实施例中”和“在一些实施例中”。该短语通常不是指同一实施例；但是，它可能指同一实施例。除非上下文另有规定，否则术语“包含”、“具有”和“包括”是同义词。短语“A或B”和“A/B”表示“(A)，(B)或(A和B)”。此外，在某对象之前的表述“第一”、“第二”和“第三”等在本文中仅被用作标签，而不意在对该对象施加数字要求。

现在，将在下文中引用附图更完整地描述一些实施例，在附图中示出了本申请的一些但不是全部的实施例。实际上，本申请的各种实施例可以采用许多不同的形式体现，并且不应被解释为限于本文所阐述的实施例；相反，提供了这些实施例，使得本公开将满足适用的法律要求。

如本文所使用的，根据本申请的实施例，术语“数据”、“内容”、“信息”和类似的术语可以互换使用以指代能够被发送、接收和/或存储的数据。因此，使用任何这种术语不应被认为是限制本申请的实施例的精神和范围。

另外，如本文所使用的，术语“电路”是指(a)纯硬件电路实现(例如，采用模拟电路和/或数字电路的实现)；(b)电路和计算机程序产品的组合，该计算机程序产品包括被存储在一个或多个计算机可读存储器上的软件和/或固件指令，电路和计算机程序产品一起工作以使装置执行本文所述的一个或多个功能；(c)电路，诸如，例如微处理器或微处理器的一部分，即使软件或固件在物理上不存在，该电路也需要软件或固件来工作。“电路”的该定义适用于该术语在本文中的所有使用，包括在任何权利要求中的使用。作为另一示例，如本文所使用的，术语“电路”还包括一种实现，该实现包括一个或多个处理器和/或其部分以及伴随的软件和/或固件。作为另一示例，本文中所使用的术语“电路”例如还包括用于移动电话的基带集成电路或应用处理器集成电路、或者在服务器、蜂窝网络设备、其它网络设备和/或其它计算设备中的类似集成电路。

体积视频数据表示三维场景或对象，并且可以被用作增强现实(AR)、虚拟现实(VR)和混合现实(MR)应用的输入。这种数据描述几何(三维空间中的形状、大小和位置)和相应的属性(例如，颜色、不透明度、反射率等)再加上几何和属性在给定时间实例(如二维视频中的帧)处的任何可能的时间变化。体积视频从三维模型中生成，即计算机成像(CGI)，或者使用各种捕获方案(例如，多摄像头、激光扫描、视频和专用深度传感器的组合等等)从现实世界场景中捕获。同样，CGI和现实世界数据的组合也是可能的。用于这种体积数据的典型表示格式是三角形网格、点云或体素。关于场景的时间信息可以采用单独的捕获实例(例如二维视频中的“帧”)或者其他机制(例如作为时间的函数的对象位置)的形式被包括。

点云是一种形式的体积内容。运动图像专家组(MPEG)一直在进行基于视频的点云压缩(V-PCC)的工作，其中点云被投影到二维表面上并使用传统的视频编码工具来压缩。采用相关联的元数据，三维点云可以从二维视频中重建。

可以使用多个摄像头来捕获三维场景中的活动。多个摄像头可以用于实现体积内容捕获，其中场景是从多个视点来记录的。图1示出了根据本公开的一些实施例的使用多个摄像头的示例体积媒体系统的示意图。

如图1中所示，对于体积媒体系统，可以在活动地点121周围放置N个摄像头(例如，三个摄像头110A、110B、110C)，这些摄像头从不同角度捕获活动。在一个实施例中，例如，摄像头110A、110B、110C中的每个摄像头包含单个传感器，该传感器以5120×3072(5K)的帧分辨率、以每像素8位(8bpp)、并以每秒30帧(30fps)捕获原始(RAW)数据。然而，注意本申请的基本原理不限于这些特定配置。

每个摄像头110A、110B、110C被分别连接到图像处理块120A、120B、120C，在一个实施例中，图像处理块120A、120B、120C将5K RAW 8bpp图像转换成5K RGB 24位图像，然后转换成YUV420，并缩小到4080×2448(4K)。5k RAW图像流127A、127B、127C可以被存储在存储数据库130中，以供后续使用(例如，用于如本文所述的图像比较)。在一个实现中，使用30的画面组(GOP)大小和120Mbps的数据速率，将H.264编码应用于4080×2448(4K)图像。所产生的H.264流126A、126B、126C然后通过网络190(例如，互联网)传送到云服务器141。在云141中，使用一个或多个视频解码器140A、140B、140C对输入的H.264 4080×2448@120Mbps流进行解码，以输出NV12 YUV帧(即，30FPS的4:2:0帧)。然而，如上所提及，本申请的基本原理不限于任何特定协议或配置参数集合。

在体积媒体系统中，可以处理由多个摄像头捕获的图像以创建用于体积内容的高质量三维模型。具体地，可以在三维场景捕获期间估计三维点云。通常，三维点云的估计和点云内容的呈现依赖于对多个摄像头捕获的多个视图的处理，因此需要获取有关多个摄像头的摄像头信息。

根据本申请的实施例，提供了用于提供与点云内容相关联的摄像头信息的装置和方法。该装置和方法可以与各种视频格式(包括高效视频编码标准(HEVC或H.265/HEVC)、高级视频编码标准(AVC或H.264/AVC)、即将发布的通用视频编码标准(VVC或H.266/VVC))和/或各种视频和多媒体文件格式(包括国际标准化组织(ISO)基本媒体文件格式(ISO/IEC14496-12，可缩写为ISOBMFF)、运动图像专家组(MPEG)-4文件格式(ISO/IEC 14496-14，也称为MP4格式)、用于NAL(网络抽象层)单元结构视频的文件格式(ISO/IEC 14496-15)和第三代合作伙伴计划(3GPP文件格式)(3GPP技术规范26.244，也称为3GP格式))结合使用。ISOBMFF是衍生上面提及的所有文件格式的基础。

本公开的一些方面涉及容器文件格式，诸如ISOBMFF、MP4格式、ISO/IEC 14496-15和3GPP文件格式。尽管结合ISOBMFF或其衍生格式来描述示例实施例，但是本公开并不限于ISOBMFF，而是针对一种可能的基础来给出描述，在该可能的基础上可以部分或完全实现本公开的示例实施例。

例如，ISOBMFF可以封装V-PCC点云数据。例如，在本文所描述的一些实施例中，基于ISOBMFF的数据封装和信号发送机制可用于针对MPEG V-PCC编码内容的V-PCC数据的封装。

采用ISOBMFF的基本建造块被称为“盒子(box)”。每个盒子具有报头和有效载荷。盒报头采用字节来指示盒子的类型和盒子的大小。盒子可以封住其它盒子，并且ISOBMFF指定在某一类型的盒子内允许哪些盒类型。此外，在每个文件中存在一些盒子可以是强制性的，而其它盒子的存在可以是可选的。另外，对于一些盒类型，在文件中存在超过一个的盒子可以是可允许的。因此，ISOBMFF可被考虑来指定分层盒结构。

根据ISOBMFF，文件包括被封装到盒子中的媒体数据和元数据。每个盒子由四字符代码(4CC)来标识，并且以通知盒子的类型和大小的报头来开始。

根据ISOBMFF来格式化的许多文件以文件类型盒(也称为FileTypeBox或ftyp盒)来开始。ftyp盒包含标记文件的格式的信息。ftyp盒包括一个主要格式(major brand)指示和兼容格式(compatible brand)列表。主要格式标识要用于解析文件的最适合文件格式规范。兼容格式指示文件符合哪些文件格式规范和/或一致点。文件可以符合多个规范。应当列出指示与这些规范兼容的所有格式，以使得只了解兼容格式的子集的读者可以得到文件可被解析的指示。兼容格式还允许特定文件格式规范的文件解析器处理在ftyp盒中包含相同特定文件格式的文件。文件播放器可以检查文件的ftyp盒是否包括它支持的格式，并且只有文件播放器所支持的任何文件格式规范在兼容格式中被列出时才可以解析和播放文件。

在符合ISOBMFF的文件中，媒体数据可以在MediaDataBox(‘mdat’)的一个或多个实例中被提供，并且MovieBox(‘moov’)可用于封住用于定时媒体的元数据。在一些情况下，为了文件可操作，可能需要存在‘mdat’盒和‘moov’盒两者。‘moov’盒可以包括一个或多个轨道，每个轨道可驻留在一个对应的TrackBox(‘trak’)中。每个轨道与处理程序相关联，该处理程序由四字符代码标识并指定轨道类型。视频、音频和图像序列轨道可以被统称为媒体轨道，并且它们包含基本媒体流。其它轨道类型包括提示轨道和定时元数据轨道。

轨道包括样本，诸如音频或视频帧。对于视频轨道，媒体样本可以对应于编码图像或访问单元。媒体轨道是指根据媒体压缩格式(及其对ISOBMFF的封装)而被格式化的样本(也可称为媒体样本)。提示轨道是指提示样本，包含用于构建通过所指示的通信协议进行传输的分组的指南手册(cookbook)指令。定时元数据轨道可以是指描述所提到的媒体的样本和/或提示样本。

‘trak’盒在其盒分层结构中包括SampleTableBox(也称为样本表或样本表盒)。SampleTableBox包含SampleDescriptionBox(样本描述盒)，SampleDescriptionBox给出关于所使用的编码类型的详细信息和该编码所需的任何初始化信息。SampleDescriptionBox包含条目计数以及与条目计数所指示的一样多的样本条目。样本条目的格式是轨道类型特定的，但从通用类别(例如，VisualSampleEntry、AudioSampleEntry)中得出。用于轨道类型特定的样本条目格式的推导的样本条目形式的类型由轨道的媒体处理程序来确定。

如上所述，为了估计三维场景的三维点云并呈现关联的点云内容，可能需要有关用于捕获三维场景中的活动的多个摄像头的摄像头信息。

根据本申请的实施例，与点云内容相关联的摄像头信息可以按V-PCC输送格式(V-PCC carriage format)被编码，并作为定时元数据轨道中的元数据样本条目被提供给用于呈现点云内容的设备。在本申请的一些实施例中，点云内容可以是沉浸式点云媒体内容。

在一个实施例中，用于摄像头信息的元数据样本条目的示例性数据结构可以被定义如下：

样本条目类型：‘6cam’

容器：样本描述盒(‘stsd’)

强制性：否

数量：0或1

在一个实施例中，用于摄像头信息的元数据样本条目可以由类CameraInfoSampleEntry(摄像头信息样本条目)定义，该类包含元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox(摄像头信息配置盒)。CameraInfoConfigurationBox可以描述每个样本中存在的摄像头参数以及用于摄像头参数的恒定字段大小。每个样本可以携带一组摄像头信息参数集值，并且每个摄像头信息参数集可以由V-PCC输送格式的CameraInfoStruct(摄像头信息结构)类来描述。

为了说明的目的，将在下面阐述根据本申请的一些实施例的与类CameraInfoSampleEntry、CameraInfoConfigurationBox和CameraInfoStruct相关联的语法和语义。

如本文中所使用的，对于类CameraInfoSampleEntry和类CameraInfoConfigurationBox，num_cameras表示摄像头的数目；camera_parameter_set_size表示每个样本中携带的摄像头参数集值的数组的大小，其中每个摄像头参数集由CameraInfoStruct描述；camera_pos_flag等于1表示对于参考该样本条目的所有样本，摄像头位置参数存在于第i个摄像头参数集中；camera_ori_flag等于1表示对于参考该样本条目的所有样本，摄像头方向(orientation)参数存在于第i个摄像头参数集中；camera_fov_flag等于1表示对于参考该样本条目的所有样本，摄像头视野参数存在于第i个摄像头参数集中；camera_depth_flag等于1表示对于参考该样本条目的所有样本，摄像头深度参数存在于第i个摄像头参数集中；以及camera_intrinsinc_flag等于1表示对于参考该样本条目的所有样本，固有摄像头参数(intrinsic camera parameter)存在于第i个摄像头参数集中。

对于类CameraInfoStruct，camera_id包含用于标识给定的真实或虚拟摄像头的标识号；camera_pos_present等于1表示存在摄像头位置参数，如果camera_pos_present等于0，则表示不存在摄像头位置参数；camera_ori_present等于1表示存在摄像头方向参数，如果camera_ori_present等于0，则表示不存在摄像头方向参数；camera_fov_present等于1表示存在摄像头视场参数，如果camera_fov_present等于0，则表示不存在摄像头视场参数；camera_depth_present等于1表示存在摄像头深度参数，如果camera_depth_present等于0，则表示不存在摄像头深度参数；camera_intrinsic_present等于1表示存在固有摄像头参数，如果camera_intrinsic_present等于0，则表示不存在固有摄像头参数。

另外，如本文中所使用的，camera_quat_x、camera_quat_y和camera_quat_z分别使用四元数表示来指示摄像头的方向的x、y和z分量。值应为-1到1(包括-1和1)范围内的浮点值。这些值指定旋转的x、y和z分量，即qX、qY和qZ，这些旋转用于使用四元数表示将全局坐标轴转换为摄像头的局部坐标轴。四元数的第四分量qW被计算为qW＝sqrt(1-(qX²+qY²+qZ²))。点(w，x，y，z)表示绕向量(x，y，z)指向的轴旋转2*cos^{-1}(w)＝2*sin^{-1}(sqrt(x^{2}+y^{2}+z^{2}))的角度。

如本文中所使用的，camera_hor_range表示与摄像头相关联的视锥(viewingfrustum)的水平视场，以弧度为单位，并且该值应在0至2π的范围内；camera_ver_range表示与摄像头相关联的视锥的垂直视场，以弧度为单位，其值应在0到π的范围内；camera_near_depth和camera_far_depth表示基于与摄像头相关联的视锥的近平面和远平面的近深度和远深度(或距离)，其值应以2^-16米为单位。

此外，camera_type指示摄像头的投影方法，camera_type等于0指定等角投影(ERP)，camera_type等于1指定透视投影，camera_type等于2指定正投影，并且在3到255的范围内的camera_type值被保留以供ISO/IEC将来使用；projection_plane_width_minus1+1和projection_plane_height_minus1+1分别指定摄像头投影平面的水平和垂直分辨率，以经编码的亮度样本(luma sample)表示；erp_phi_min和erp_phi_max指定ERP投影的经度范围(最小值和最大值)，作为以弧度为单位的浮点，并且erp_phi_min和erp_phi_max应在球坐标系中的-π到π的范围内；erp_theta_min和erp_theta_max指定ERP投影的纬度范围(最小和最大值)，作为以度为单位的浮点，并且erp_theta_min和erp_theta_max应在球坐标系中的-π/2到π/2的范围内；perspective_focal_hor和perspective_focal_ver是浮点值，分别以亮度样本位置单位指定透视投影的焦点的水平和垂直分量；perspective_center_hor和perspective_center_ver是浮点值，分别以亮度样本位置单位指定透视投影的主点(光轴与图像平面的交点)的水平坐标和垂直坐标；以及ortho_width和ortho_height是正浮点值，以米为单位指定三维场景的被捕获部分的水平和垂直尺寸。

如上所述，根据本申请的一些实施例，可以按V-PCC输送格式对摄像头信息进行编码，并将其作为定时元数据轨道中的元数据样本条目提供给用于呈现点云内容的设备(例如，回放设备)。然后，回放设备可以基于诸如摄像头位置和方向之类的摄像头信息来呈现点云内容。

根据以上给出的CameraInfoStruct的示例，摄像头信息可以包括真实摄像头或虚拟摄像头的信息，并且摄像头信息可以包括以下参数中的一个或多个：摄像头位置参数、摄像头方位参数、摄像头视野参数、摄像头深度参数和固有摄像头参数。固有摄像头参数可以包括表示摄像头投影方法的摄像头类型，例如ERP投影、透视投影和正投影；摄像头投影平面的水平和垂直分辨率；以及针对不同投影方法的特定参数。

在本申请的一些实施例中，可以将点云内容编码在ISOBMFF中，并且用于存储摄像头信息的定时元数据轨道可以是用于点云内容的ISOBMFF的定时元数据轨道。在一些替代实施例中，摄像头信息可以存储在与用于点云内容的ISOBMFF的定时元数据轨道不同的另一定时元数据轨道中。另外，定时元数据轨道可以与存储点云内容的媒体样本的V-PCC媒体轨道相关联。

在本申请的一些实施例中，图1或本文中的一些其它附图的电子设备、网络、系统、芯片或组件或其部分或实施方式可以被配置为执行本文中所描述的一个或多个过程、技术或方法或其部分。在图2中描绘了一个这样的过程200，图2示出了根据本公开的一些实施例的用于提供与点云内容相关联的摄像头信息的示例过程。例如，过程200可以包括操作210至230，并且可以由媒体内容服务器或其部分来执行。

具体而言，过程200可以包括在操作210处以V-PCC输送格式对摄像头信息进行编码；在操作220处将摄像头信息存储为定时元数据轨道中的元数据样本条目；以及在操作230处将摄像头信息作为定时元数据轨道中的元数据样本条目发送到用于呈现点云内容的设备。

图3示出了根据本公开的一些实施例的用于呈现点云内容的示例过程300。例如，过程300可以包括操作310至330，并且可以由回放设备或媒体内容服务器或其部分来执行。

具体而言，过程300可以包括在操作310处从内容服务器接收点云内容和与点云内容相关联的摄像头信息；在操作320处对点云内容和摄像头信息进行解码；并且在操作330处基于解码后的摄像头信息呈现解码后的点云内容。这里，摄像头信息被编码为V-PCC输送格式并且作为定时元数据轨道中的元数据样本条目而被接收。

根据本申请的一些实施例，点云内容可以按ISOBMFF被编码，并且定时元数据轨道是用于点云内容的ISOBMFF的定时元数据轨道。定时元数据轨道与存储点云内容的媒体样本的V-PCC媒体轨道相关联。

此外，如上所述，元数据样本条目可以由类CameraInfoSampleEntry来定义，该类CameraInfoSampleEntry包含元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox；并且类CameraInfoConfigurationBox可以描述每个样本中存在的摄像头参数、以及用于摄像头参数的恒定字段大小。每个样本可以携带摄像头信息参数集值的数组，并且每个摄像头信息参数集可以由采用V-PCC输送格式的类CameraInfoStruct来描述。

根据本申请的一些实施例，摄像头信息可以包括真实摄像头或虚拟摄像头的信息。摄像头信息可以包括以下参数中的一个或多个：摄像头位置参数、摄像头方向参数、摄像头视场参数、摄像头深度参数和固有摄像头参数。固有摄像头参数可以包括指示摄像头投影方法的摄像头类型、摄像头投影平面的水平和垂直分辨率、以及针对不同投影方法的特定参数。

图4是示出根据一些示例实施例的能够从机器可读或者计算机可读介质(例如，非暂时性机器可读存储介质)读取指令并且执行本文所论述的任何一种或多种方法的组件的框图。具体地，图4示出了硬件资源400的图解表示方式，其包括一个或多个处理器(或处理器核)410、一个或多个存储器/存储设备420和一个或多个通信资源430，它们每一者可以通过总线440通信地耦合。硬件资源400可以是UE、AN、UPF、NEF、SMF或者AF的一部分。对于利用节点虚拟化(例如，NFV)的实施例，可以执行超管理程序402以提供用于一个或多个网络切片/子切片利用硬件资源400的执行环境。

处理器410(例如，中央处理单元(CPU)、精简指令集计算(RISC)处理器、复杂指令集计算(CISC)处理器、图形处理单元(GPU)、诸如基带处理器之类的数字信号处理器(DSP)、专用集成电路(ASIC)、射频集成电路(RFIC)、另一处理器、或其任何合适的组合)可包括例如处理器412和处理器414。

存储器/存储设备420可以包括主存储器、磁盘存储器或其任何合适的组合。存储器/存储设备420可以包括但不限于任何类型的易失性或非易失性存储器，例如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态存储装置等。

通信资源430可以包括互连或网络接口组件或其他合适的设备，以经由网络408与一个或多个外围设备404或一个或多个数据库406通信。例如，通信资源430可以包括有线通信组件(例如，用于经由通用串行总线(USB)耦合)、蜂窝通信组件、NFC组件、蓝牙组件(例如，蓝牙低功耗)，Wi-Fi组件和其他通信组件。

指令450可以包括软件、程序、应用、小应用程序、app或其他可执行代码，用于使至少任何处理器410执行本文所讨论的任何一种或多种方法。指令450可以完全或部分地驻留在处理器410(例如，处理器的缓冲存储器内)、存储器/存储设备420、或其任何合适的组合中的至少一个内。此外，指令450的任何部分可以被从外围设备404或数据库406的任何组合传送到硬件资源400。因此，处理器410、存储器/存储设备420、外围设备404和数据库406的存储器是计算机可读和机器可读介质的示例。

以下段落描述了各种实施例的示例。

示例1包括一种用于提供与点云内容相关联的摄像头信息的装置，包括：通信接口、包括存储器接口的存储器、以及与所述通信接口和所述存储器接口耦合的处理电路，其中，所述处理电路被配置为：以基于视频的点云压缩V-PCC输送格式对所述摄像头信息进行编码，并且将所述摄像头信息作为定时元数据轨道中的元数据样本条目提供给所述通信接口，以传输到用于呈现所述点云内容的设备；并且所述存储器被配置为将所述摄像头信息存储为所述定时元数据轨道中的所述元数据样本条目。

示例2包括根据示例1所述的装置，其中，所述点云内容以国际标准组织基础媒体文件格式ISOBMFF被编码，并且所述定时元数据轨道是用于所述点云内容的ISOBMFF的定时元数据轨道。

示例3包括根据示例1所述的装置，其中所述定时元数据轨道与存储所述点云内容的媒体样本的V-PCC媒体轨道相关联。

示例4包括根据示例1所述的装置，其中，所述元数据样本条目由类CameraInfoSampleEntry来定义，所述类CameraInfoSampleEntry包含所述元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox；并且所述类CameraInfoConfigurationBox描述每个样本中存在的摄像头参数、以及用于所述摄像头参数的恒定字段大小。

示例5包括根据示例4所述的装置，其中，每个样本携带摄像头信息参数集值的数组，并且每个摄像头信息参数集由采用所述V-PCC输送格式的类CameraInfoStruct来描述。

示例6包括根据示例1至5中的任一项所述的装置，其中，所述摄像头信息包括真实摄像头或虚拟摄像头的信息。

示例7包括根据示例1至5中的任一项所述的装置，其中，所述摄像头信息包括以下参数中的一个或多个：摄像头位置参数、摄像头方向参数、摄像头视场参数、摄像头深度参数和固有摄像头参数。

示例8包括根据示例7所述的装置，其中，所述固有摄像头参数包括指示摄像头投影方法的摄像头类型、摄像头投影平面的水平和垂直分辨率、以及针对不同投影方法的特定参数。

示例9包括一种用于呈现点云内容的装置，该装置包括通信接口和与该通信接口耦合的处理电路，其中，所述通信接口被配置为从内容服务器接收所述点云内容和与所述点云内容相关联的摄像头信息；所述处理电路被配置为对所述点云内容和所述摄像头信息进行解码，并使得解码后的点云内容基于解码后的摄像头信息被呈现，其中，所述摄像头信息被编码为V-PCC输送格式并且作为定时元数据轨道中的元数据样本条目而被接收。

示例10包括根据示例9所述的装置，其中，所述点云内容以国际标准组织基础媒体文件格式ISOBMFF被编码，并且所述定时元数据轨道是用于所述点云内容的ISOBMFF的定时元数据轨道。

示例11包括根据示例9所述的装置，其中所述定时元数据轨道与存储所述点云内容的媒体样本的V-PCC媒体轨道相关联。

示例12包括根据示例9所述的装置，其中，所述元数据样本条目由类CameraInfoSampleEntry来定义，所述类CameraInfoSampleEntry包含所述元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox；并且所述类CameraInfoConfigurationBox描述每个样本中存在的摄像头参数、以及用于所述摄像头参数的恒定字段大小。

示例13包括根据示例12所述的装置，其中，每个样本携带摄像头信息参数集值的数组，并且每个摄像头信息参数集由采用所述V-PCC输送格式的类CameraInfoStruct来描述。

示例14包括根据示例9至13中的任一项所述的装置，其中，所述摄像头信息包括真实摄像头或虚拟摄像头的信息。

示例15包括根据示例9至13中的任一项所述的装置，其中，所述摄像头信息包括以下参数中的一个或多个：摄像头位置参数、摄像头方向参数、摄像头视场参数、摄像头深度参数和固有摄像头参数。

示例16包括根据示例15所述的装置，其中，所述固有摄像头参数包括指示摄像头投影方法的摄像头类型、摄像头投影平面的水平和垂直分辨率、以及针对不同投影方法的特定参数。

示例17包括一种用于提供与点云内容相关联的摄像头信息的方法，包括：以基于视频的点云压缩V-PCC输送格式对所述摄像头信息进行编码；将所述摄像头信息存储为定时元数据轨道中的元数据样本条目；以及将所述摄像头信息作为所述定时元数据轨道中的所述元数据样本条目发送到用于呈现所述点云内容的设备。

示例18包括根据示例17所述的方法，其中，所述点云内容以国际标准组织基础媒体文件格式ISOBMFF被编码，并且所述定时元数据轨道是用于所述点云内容的ISOBMFF的定时元数据轨道。

示例19包括根据示例17所述的方法，其中所述定时元数据轨道与存储所述点云内容的媒体样本的V-PCC媒体轨道相关联。

示例20包括根据示例17所述的方法，其中，所述元数据样本条目由类CameraInfoSampleEntry来定义，所述类CameraInfoSampleEntry包含所述元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox；并且所述类CameraInfoConfigurationBox描述每个样本中存在的摄像头参数、以及用于所述摄像头参数的恒定字段大小。

示例21包括根据示例20所述的方法，其中，每个样本携带摄像头信息参数集值的数组，并且每个摄像头信息参数集由采用所述V-PCC输送格式的类CameraInfoStruct来描述。

示例22根据示例17至21中的任一项所述的方法，其中，所述摄像头信息包括真实摄像头或虚拟摄像头的信息。

示例23包括根据示例17至21中的任一项所述的方法，其中，所述摄像头信息包括以下参数中的一个或多个：摄像头位置参数、摄像头方向参数、摄像头视场参数、摄像头深度参数和固有摄像头参数。

示例24包括根据示例23所述的方法，其中，所述固有摄像头参数包括指示摄像头投影方法的摄像头类型、摄像头投影平面的水平和垂直分辨率、以及针对不同投影方法的特定参数。

示例25包括一种用于呈现点云内容的方法，包括：从内容服务器接收所述点云内容和与所述点云内容相关联的摄像头信息；对所述点云内容和所述摄像头信息进行解码；并且基于解码后的摄像头信息呈现解码后的点云内容，其中，所述摄像头信息被编码为V-PCC输送格式并且作为定时元数据轨道中的元数据样本条目而被接收。

示例26包括根据示例25所述的方法，其中，所述点云内容以国际标准组织基础媒体文件格式ISOBMFF被编码，并且所述定时元数据轨道是用于所述点云内容的ISOBMFF的定时元数据轨道。

示例27包括根据示例25所述的方法，其中所述定时元数据轨道与存储所述点云内容的媒体样本的V-PCC媒体轨道相关联。

示例28包括根据示例25所述的方法，其中，所述元数据样本条目由类CameraInfoSampleEntry来定义，所述类CameraInfoSampleEntry包含所述元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox；并且所述类CameraInfoConfigurationBox描述每个样本中存在的摄像头参数、以及用于所述摄像头参数的恒定字段大小。

示例29包括根据示例28所述的方法，其中，每个样本携带摄像头信息参数集值的数组，并且每个摄像头信息参数集由采用所述V-PCC输送格式的类CameraInfoStruct来描述。

示例30根据示例25至29中的任一项所述的方法，其中，所述摄像头信息包括真实摄像头或虚拟摄像头的信息。

示例31包括根据示例25至29中的任一项所述的方法，其中，所述摄像头信息包括以下参数中的一个或多个：摄像头位置参数、摄像头方向参数、摄像头视场参数、摄像头深度参数和固有摄像头参数。

示例32包括根据示例31所述的方法，其中，所述固有摄像头参数包括指示摄像头投影方法的摄像头类型、摄像头投影平面的水平和垂直分辨率、以及针对不同投影方法的特定参数。

示例33包括一种存储有指令的计算机可读介质，其中，所述指令在被处理电路执行时使得所述处理电路执行根据示例17至32中的任一项所述的方法。

示例34包括一种用于提供与点云内容相关联的摄像头信息的装置，包括：用于以基于视频的点云压缩V-PCC输送格式对所述摄像头信息进行编码的部件；用于将所述摄像头信息存储为定时元数据轨道中的元数据样本条目的部件；以及用于将所述摄像头信息作为所述定时元数据轨道中的所述元数据样本条目发送到用于呈现所述点云内容的设备的部件。

示例35包括根据示例34所述的装置，其中，所述点云内容以国际标准组织基础媒体文件格式ISOBMFF被编码，并且所述定时元数据轨道是用于所述点云内容的ISOBMFF的定时元数据轨道。

示例36包括根据示例34所述的装置，其中所述定时元数据轨道与存储所述点云内容的媒体样本的V-PCC媒体轨道相关联。

示例37包括根据示例34所述的装置，其中，所述元数据样本条目由类CameraInfoSampleEntry来定义，所述类CameraInfoSampleEntry包含所述元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox；并且所述类CameraInfoConfigurationBox描述每个样本中存在的摄像头参数、以及用于所述摄像头参数的恒定字段大小。

示例38包括根据示例37所述的装置，其中，每个样本携带摄像头信息参数集值的数组，并且每个摄像头信息参数集由采用所述V-PCC输送格式的类CameraInfoStruct来描述。

示例39根据示例34至38中的任一项所述的装置，其中，所述摄像头信息包括真实摄像头或虚拟摄像头的信息。

示例40包括根据示例34至38中的任一项所述的装置，其中，所述摄像头信息包括以下参数中的一个或多个：摄像头位置参数、摄像头方向参数、摄像头视场参数、摄像头深度参数和固有摄像头参数。

示例41包括根据示例40所述的装置，其中，所述固有摄像头参数包括指示摄像头投影方法的摄像头类型、摄像头投影平面的水平和垂直分辨率、以及针对不同投影方法的特定参数。

示例42包括一种用于呈现点云内容的装置，包括：用于从内容服务器接收所述点云内容和与所述点云内容相关联的摄像头信息的部件；用于对所述点云内容和所述摄像头信息进行解码的部件；以及用于基于解码后的摄像头信息呈现解码后的点云内容的部件，其中，所述摄像头信息被编码为V-PCC输送格式并且作为定时元数据轨道中的元数据样本条目而被接收。

示例43包括根据示例42所述的装置，其中，所述点云内容以国际标准组织基础媒体文件格式ISOBMFF被编码，并且所述定时元数据轨道是用于所述点云内容的ISOBMFF的定时元数据轨道。

示例44包括根据示例42所述的装置，其中所述定时元数据轨道与存储所述点云内容的媒体样本的V-PCC媒体轨道相关联。

示例45包括根据示例42所述的装置，其中，所述元数据样本条目由类CameraInfoSampleEntry来定义，所述类CameraInfoSampleEntry包含所述元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox；并且所述类CameraInfoConfigurationBox描述每个样本中存在的摄像头参数、以及用于所述摄像头参数的恒定字段大小。

示例46包括根据示例45所述的装置，其中，每个样本携带摄像头信息参数集值的数组，并且每个摄像头信息参数集由采用所述V-PCC输送格式的类CameraInfoStruct来描述。

示例47根据示例42至46中的任一项所述的装置，其中，所述摄像头信息包括真实摄像头或虚拟摄像头的信息。

示例48包括根据示例42至46中的任一项所述的装置，其中，所述摄像头信息包括以下参数中的一个或多个：摄像头位置参数、摄像头方向参数、摄像头视场参数、摄像头深度参数和固有摄像头参数。

示例49包括根据示例48所述的装置，其中，所述固有摄像头参数包括指示摄像头投影方法的摄像头类型、摄像头投影平面的水平和垂直分辨率、以及针对不同投影方法的特定参数。

尽管为了描述的目的在本文中说明和描述了某些实施例，但是在不脱离本公开的范围的情况下，为了实现相同目的而规划的各种替代和/或等同实施例或实现方式可以替代所示出和所描述的实施例。本申请旨在涵盖本文所讨论的实施例的任何改编或变化。因此，易于理解的是，本文描述的实施例仅由所附权利要求及其等同范围限制。

Claims (18)

1.一种用于提供与点云内容相关联的摄像头信息的装置，包括：通信接口、包括存储器接口的存储器、以及与所述通信接口和所述存储器接口耦合的处理电路，

其中，所述处理电路被配置为：

以基于视频的点云压缩V-PCC输送格式对所述摄像头信息进行编码，并且

将所述摄像头信息作为定时元数据轨道中的元数据样本条目提供给所述通信接口，以传输到用于呈现所述点云内容的设备；并且

所述存储器被配置为将所述摄像头信息存储为所述定时元数据轨道中的所述元数据样本条目。

2.根据权利要求1所述的装置，其中，所述点云内容以国际标准组织基础媒体文件格式ISOBMFF被编码，并且所述定时元数据轨道是用于所述点云内容的ISOBMFF的定时元数据轨道。

3.根据权利要求1所述的装置，其中所述定时元数据轨道与存储所述点云内容的媒体样本的V-PCC媒体轨道相关联。

4.根据权利要求1所述的装置，其中，所述元数据样本条目由类CameraInfoSampleEntry来定义，所述类CameraInfoSampleEntry包含所述元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox；并且所述类CameraInfoConfigurationBox描述每个样本中存在的摄像头参数、以及用于所述摄像头参数的恒定字段大小。

5.根据权利要求4所述的装置，其中，每个样本携带摄像头信息参数集值的数组，并且每个摄像头信息参数集由采用所述V-PCC输送格式的类CameraInfoStruct来描述。

6.根据权利要求1至5中的任一项所述的装置，其中，所述摄像头信息包括真实摄像头或虚拟摄像头的信息。

7.根据权利要求1至5中的任一项所述的装置，其中，所述摄像头信息包括以下参数中的一个或多个：摄像头位置参数、摄像头方向参数、摄像头视场参数、摄像头深度参数和固有摄像头参数。

8.根据权利要求7所述的装置，其中，所述固有摄像头参数包括指示摄像头投影方法的摄像头类型、摄像头投影平面的水平和垂直分辨率、以及针对不同投影方法的特定参数。

9.一种用于提供与点云内容相关联的摄像头信息的方法，包括：

以基于视频的点云压缩V-PCC输送格式对所述摄像头信息进行编码；

将所述摄像头信息存储为定时元数据轨道中的元数据样本条目；以及

将所述摄像头信息作为所述定时元数据轨道中的所述元数据样本条目发送到用于呈现所述点云内容的设备。

10.根据权利要求9所述的方法，其中，所述点云内容以国际标准组织基础媒体文件格式ISOBMFF被编码，并且所述定时元数据轨道是用于所述点云内容的ISOBMFF的定时元数据轨道。

11.根据权利要求9所述的方法，其中所述定时元数据轨道与存储所述点云内容的媒体样本的V-PCC媒体轨道相关联。

12.根据权利要求9所述的方法，其中，所述元数据样本条目由类CameraInfoSampleEntry来定义，所述类CameraInfoSampleEntry包含所述元数据样本条目的类型、摄像头的数目、和类CameraInfoConfigurationBox；并且所述类CameraInfoConfigurationBox描述每个样本中存在的摄像头参数、以及用于所述摄像头参数的恒定字段大小。

13.根据权利要求12所述的方法，其中，每个样本携带摄像头信息参数集值的数组，并且每个摄像头信息参数集由采用所述V-PCC输送格式的类CameraInfoStruct来描述。

14.根据权利要求9至13中的任一项所述的方法，其中，所述摄像头信息包括真实摄像头或虚拟摄像头的信息。

15.根据权利要求9至13中的任一项所述的方法，其中，所述摄像头信息包括以下参数中的一个或多个：摄像头位置参数、摄像头方向参数、摄像头视场参数、摄像头深度参数和固有摄像头参数。

16.根据权利要求15所述的方法，其中，所述固有摄像头参数包括指示摄像头投影方法的摄像头类型、摄像头投影平面的水平和垂直分辨率、以及针对不同投影方法的特定参数。

17.一种存储有指令的计算机可读介质，其中，所述指令在被处理电路执行时使得所述处理电路执行根据权利要求9至16中的任一项所述的方法。

18.一种用于提供与点云内容相关联的摄像头信息的装置，包括用于执行根据权利要求9至16中的任一项所述的方法的部件。

Images