CN115103174A - 用于递送体积视频内容的方法和装置 - Google Patents

用于递送体积视频内容的方法和装置 Download PDF

Info

Publication number
CN115103174A
CN115103174A CN202210591114.2A CN202210591114A CN115103174A CN 115103174 A CN115103174 A CN 115103174A CN 202210591114 A CN202210591114 A CN 202210591114A CN 115103174 A CN115103174 A CN 115103174A
Authority
CN
China
Prior art keywords
point cloud
scene
video
video content
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210591114.2A
Other languages
English (en)
Inventor
吕云
赵帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanchang Weiai Information Technology Co ltd
Original Assignee
Nanchang Weiai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanchang Weiai Information Technology Co ltd filed Critical Nanchang Weiai Information Technology Co ltd
Priority to CN202210591114.2A priority Critical patent/CN115103174A/zh
Publication of CN115103174A publication Critical patent/CN115103174A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供用于递送体积视频内容的方法和装置，属于视频传递领域。构建固定场景，通过摄像头进行场景内固态物的识别，实时形成室内场景数模；人体视频的实时捕捉，通过光线分析，形成点云；记录点云空间坐标、色泽、亮度，进行存储，并通过编码器编码传输；接收端接收数据，通过解码器截码，并对点云坐标组合，拟合在对应的场景内，通过动静状态分离递送，并对动态场景进行实时递送的方法，通过对场景的固定设置，单独进行动态内容捕捉，进行动态内容的实时递送，减少编码、解码数据信息，提高整体效率，采用接收端进行IP识别，并形成环境的模拟，提高体积视频的光线补偿。

Description

用于递送体积视频内容的方法和装置
技术领域
本发明提供用于递送体积视频内容的方法和装置，属于视频传递领域。
背景技术
体积视频(也称为6自由度(6DoF)视频)是3DoF视频的替代方案。在观看6DoF视频时，除了旋转之外，用户还可以在观看的内容中平移其头部以及甚至其身体，并体验视差甚至体积。此类视频通过在头部平移期间提供一致的视觉反馈而大大增加了沉浸感和对场景深度的感知，并防止头晕。内容是借助于专用传感器创建的，从而允许同时记录感兴趣场景的颜色和深度。使用与摄影测量技术相结合的彩色相机的装配装备(rig)是执行这种记录的一种方式，即使仍然存在技术困难。
公开号CN114342366A公开的用于用信号通知和解码代表体积视频中导航的限制的信息的方法、设备和数据流，数据流包括与代表体积视频的视频数据相关联的元数据，元数据包括代表观看边界框的数据、代表所述体积视频的3D空间中的曲线路径的数据；以及代表与曲线路径上的点相关联的至少一个观看方向范围的数据，上述传递方式缺少了对光线的考虑，整体解码递送存在光线上的失真。
发明内容
本发明用于递送体积视频内容的方法和装置，提供的一种通过利用加热形成热熔，对铜箔胶带上的胶膜进行切断的截断器。结构简单，使用方便。
本发明用于递送体积视频内容的方法是这样实现的，本发明用于递送体积视频内容的方法步骤如下：
步骤一：构建固定场景，通过摄像头进行场景内固态物的识别，实时形成室内场景数模；
步骤二：人体视频的实时捕捉，通过光线分析，形成点云；
步骤三：记录点云空间坐标、色泽、亮度，进行存储，并通过编码器编码传输；
步骤四：接收端接收数据，通过解码器截码，并对点云坐标组合，拟合在对应的场景内；
步骤五：完成体积视频传输。
所述步骤一、二，分别对固定场景、动态场景进行捕捉，将固定场景进行预存，动态场景通过视频捕捉，生成点云；
所述点云为视频捕捉面采集的图像，通过分析得到的点坐标，同步对点的亮度、色泽进行存储；
所述人体视频和场景视频通过数据编码后，打包发布，同步发布的包括IP地址，及发出端所在地；
所述IP地址用于视频捕捉端的环境、采光、湿度、时间的获取，通过上述数据，视频在解码后，形成自然光的模拟；
所述视频编码器将一个3D场景或3D场景序列作为输入并提供代表该输入的位流，位流存储在存储器中和/或电子数据介质上，并且发布通过网络传输，代表3D场景序列的位流以由解码器从存储器读取和/或从网络接收，解码器由所述位流输入并提供3D场景序列，例如以点云格式；
所述视频编码器对于投影方向重合的点位，取面层点云进行编码传输；
所述IP地址以经纬度设置，解码器解码后，接收端通过经纬度获知当地太阳高度角，形成点云亮度的补充调节；
所述点云包括3D空间中的每个像素的(X,Y,Z,R,G,B，dpi)数据，其中元组(X,Y,Z)对应于深度数据，并且元组(R,G,B，dpi)对应于纹理数据，所述dpi通过编码器调节设置，并形成了不同像素设置，适配接收端设备配置以及捕捉端隐私需求。
有益效果：
一、通过对场景的固定设置，单独进行动态内容捕捉，进行动态内容的实时递送，减少编码、解码数据信息，提高整体效率；
二、采用接收端进行IP识别，并形成环境的模拟，提高体积视频的光线补偿；
三、结构简单，使用方便。
附图说明
图1为本发明用于递送体积视频内容的方法的流程图。
图2为本发明用于递送体积视频内容的方法中像素调节的示意图。
具体实施方式
下面结合附图对本发明进一步说明。
根据图1-2所示：本发明用于递送体积视频内容的方法是这样实现的，本发明用于递送体积视频内容的方法步骤如下：
步骤一：构建固定场景，通过摄像头进行场景内固态物的识别，实时形成室内场景数模；
步骤二：人体视频的实时捕捉，通过光线分析，形成点云；
步骤三：记录点云空间坐标、色泽、亮度，进行存储，并通过编码器编码传输；
步骤四：接收端接收数据，通过解码器截码，并对点云坐标组合，拟合在对应的场景内；
步骤五：完成体积视频传输。
所述步骤一、二，分别对固定场景、动态场景进行捕捉，将固定场景进行预存，动态场景通过视频捕捉，生成点云；
所述点云为视频捕捉面采集的图像，通过分析得到的点坐标，同步对点的亮度、色泽进行存储；
所述人体视频和场景视频通过数据编码后，打包发布，同步发布的包括IP地址，及发出端所在地；
所述IP地址用于视频捕捉端的环境、采光、湿度、时间的获取，通过上述数据，视频在解码后，形成自然光的模拟；
所述视频编码器将一个3D场景或3D场景序列作为输入并提供代表该输入的位流，位流存储在存储器中和/或电子数据介质上，并且发布通过网络传输，代表3D场景序列的位流以由解码器从存储器读取和/或从网络接收，解码器由所述位流输入并提供3D场景序列，例如以点云格式；
所述视频编码器对于投影方向重合的点位，取面层点云进行编码传输；
所述IP地址以经纬度设置，解码器解码后，接收端通过经纬度获知当地太阳高度角，形成点云亮度的补充调节；
所述点云包括3D空间中的每个像素的(X,Y,Z,R,G,B，dpi)数据，其中元组(X,Y,Z)对应于深度数据，并且元组(R,G,B，dpi)对应于纹理数据，所述dpi通过编码器调节设置，并形成了不同像素设置，适配接收端设备配置以及捕捉端隐私需求；
解码器通过点云，进行网格构建，通过网格形成片体，并通过R,G,B参数附着，同步进行像素调节，形成网格调节，达到体积视频传送的目的。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (9)

1.用于递送体积视频内容的方法，其特征在于：递送步骤如下：
步骤一：构建固定场景，通过摄像头进行场景内固态物的识别，实时形成室内场景数模；
步骤二：人体视频的实时捕捉，通过光线分析，形成点云；
步骤三：记录点云空间坐标、色泽、亮度，进行存储，并通过编码器编码传输；
步骤四：接收端接收数据，通过IP地址，结构解码器解码，并对点云坐标组合，拟合在对应的场景内；
步骤五：完成体积视频传输。
2.根据权利要求1所述的用于递送体积视频内容的方法，其特征在于：所述步骤一、二，分别对固定场景、动态场景进行捕捉，将固定场景进行预存，动态场景通过视频捕捉，生成点云。
3.根据权利要求1所述的用于递送体积视频内容的方法，其特征在于：所述点云为视频捕捉面采集的图像，通过分析得到的点坐标，同步对点的亮度、色泽进行存储。
4.根据权利要求1所述的用于递送体积视频内容的方法，其特征在于：所述人体视频和场景视频通过数据编码后，打包发布，同步发布的包括IP地址，及发出端所在地。
5.根据权利要求1所述的用于递送体积视频内容的方法，其特征在于：所述IP地址用于视频捕捉端的环境、采光、湿度、时间的获取，通过上述数据，视频在解码后，形成自然光的模拟。
6.根据权利要求1所述的用于递送体积视频内容的方法，其特征在于：所述热熔板(11)上设置有多个均热圆孔。
7.根据权利要求1所述的用于递送体积视频内容的方法，其特征在于：所述视频编码器将一个3D场景或3D场景序列作为输入并提供代表该输入的位流，位流存储在存储器中和/或电子数据介质上，并且发布通过网络传输，代表3D场景序列的位流以由解码器从存储器读取和/或从网络接收，解码器由所述位流输入并提供3D场景序列，例如以点云格式。
8.根据权利要求1所述的用于递送体积视频内容的方法，其特征在于：所述IP地址以经纬度设置，解码器解码后，接收端通过经纬度获知当地太阳高度角，形成点云亮度的补充调节。
9.根据权利要求1所述的用于递送体积视频内容的方法，其特征在于：所述点云包括3D空间中的每个像素的(X,Y,Z,R,G,B，dpi)数据，其中元组(X,Y,Z)对应于深度数据，并且元组(R,G,B，dpi)对应于纹理数据，所述dpi通过编码器调节设置，并形成了不同像素设置，适配接收端设备配置以及捕捉端隐私需求。
CN202210591114.2A 2022-05-27 2022-05-27 用于递送体积视频内容的方法和装置 Pending CN115103174A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210591114.2A CN115103174A (zh) 2022-05-27 2022-05-27 用于递送体积视频内容的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210591114.2A CN115103174A (zh) 2022-05-27 2022-05-27 用于递送体积视频内容的方法和装置

Publications (1)

Publication Number Publication Date
CN115103174A true CN115103174A (zh) 2022-09-23

Family

ID=83289391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210591114.2A Pending CN115103174A (zh) 2022-05-27 2022-05-27 用于递送体积视频内容的方法和装置

Country Status (1)

Country Link
CN (1) CN115103174A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131581A (zh) * 2016-07-12 2016-11-16 上海摩象网络科技有限公司 混合图像的全景视频制作技术
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
US20180097867A1 (en) * 2015-04-15 2018-04-05 Lytro, Inc. Video compression with adaptive view-dependent lighting removal
CN109345618A (zh) * 2018-09-10 2019-02-15 辽宁省地质勘查院有限责任公司 一种视立体地质图的制作方法
WO2019209838A1 (en) * 2018-04-24 2019-10-31 Interdigital Vc Holdings, Inc. Method, apparatus and stream for volumetric video format
CN111415416A (zh) * 2020-03-31 2020-07-14 武汉大学 一种监控实时视频与场景三维模型融合方法及系统
GB2582251A (en) * 2019-01-31 2020-09-23 Wacey Adam Volumetric communication system
CN111742547A (zh) * 2018-01-19 2020-10-02 交互数字Ce专利控股公司 用于在数据流中编码和从数据流中解码三维场景的方法和装置
CN112425177A (zh) * 2018-07-12 2021-02-26 交互数字Vc控股公司 用于体积视频传输的方法和装置
CN113243112A (zh) * 2018-12-21 2021-08-10 皇家Kpn公司 流式传输体积视频和非体积视频
CN113610980A (zh) * 2021-08-03 2021-11-05 江苏三步科技股份有限公司 基于动作捕捉和三维重建的视频会议方法、终端及系统
WO2022073796A1 (en) * 2020-10-08 2022-04-14 Interdigital Ce Patent Holdings, Sas A method and apparatus for adapting a volumetric video to client devices

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180097867A1 (en) * 2015-04-15 2018-04-05 Lytro, Inc. Video compression with adaptive view-dependent lighting removal
CN106131581A (zh) * 2016-07-12 2016-11-16 上海摩象网络科技有限公司 混合图像的全景视频制作技术
CN106251399A (zh) * 2016-08-30 2016-12-21 广州市绯影信息科技有限公司 一种基于lsd‑slam的实景三维重建方法
CN111742547A (zh) * 2018-01-19 2020-10-02 交互数字Ce专利控股公司 用于在数据流中编码和从数据流中解码三维场景的方法和装置
WO2019209838A1 (en) * 2018-04-24 2019-10-31 Interdigital Vc Holdings, Inc. Method, apparatus and stream for volumetric video format
CN112425177A (zh) * 2018-07-12 2021-02-26 交互数字Vc控股公司 用于体积视频传输的方法和装置
CN109345618A (zh) * 2018-09-10 2019-02-15 辽宁省地质勘查院有限责任公司 一种视立体地质图的制作方法
CN113243112A (zh) * 2018-12-21 2021-08-10 皇家Kpn公司 流式传输体积视频和非体积视频
GB2582251A (en) * 2019-01-31 2020-09-23 Wacey Adam Volumetric communication system
CN111415416A (zh) * 2020-03-31 2020-07-14 武汉大学 一种监控实时视频与场景三维模型融合方法及系统
WO2022073796A1 (en) * 2020-10-08 2022-04-14 Interdigital Ce Patent Holdings, Sas A method and apparatus for adapting a volumetric video to client devices
CN113610980A (zh) * 2021-08-03 2021-11-05 江苏三步科技股份有限公司 基于动作捕捉和三维重建的视频会议方法、终端及系统

Similar Documents

Publication Publication Date Title
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
KR102208129B1 (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
CN109691094B (zh) 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
CN108702528B (zh) 发送360视频的方法、接收360视频的方法、发送360视频的设备和接收360视频的设备
CN110612723B (zh) 发送/接收包括鱼眼视频信息的360度视频的方法及其装置
CN112040092A (zh) 一种实时虚拟场景led拍摄系统及方法
JP4698831B2 (ja) 画像変換および符号化技術
CN107341832B (zh) 一种基于红外定位系统的多视角切换拍摄系统和方法
US6208353B1 (en) Automated cartographic annotation of digital images
US8665375B2 (en) Apparatus and method for tracking the location of a pointing element in a cropped video field
US20060165310A1 (en) Method and apparatus for a virtual scene previewing system
CN109565571B (zh) 标示关注区域的方法与装置
CN111557094A (zh) 用于编码/解码体积式视频的方法、设备和流
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
JP2005500721A5 (zh)
JP2007525054A (ja) ディジタル３ｄ／３６０度カメラシステム
EP3434021B1 (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
CN107155065A (zh) 一种虚拟拍照装置及方法
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
WO2018222498A1 (en) Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
CN116233493A (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
WO2022157105A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and method for operating said system
CN115103174A (zh) 用于递送体积视频内容的方法和装置
WO2023024839A1 (zh) 媒体文件封装与解封装方法、装置、设备及存储介质
US20230086988A1 (en) Method and apparatus for processing multi-view video, device and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220923