CN113037947B - 一种连续动态图像中空间信息的编码方法 - Google Patents
一种连续动态图像中空间信息的编码方法 Download PDFInfo
- Publication number
- CN113037947B CN113037947B CN202110242817.XA CN202110242817A CN113037947B CN 113037947 B CN113037947 B CN 113037947B CN 202110242817 A CN202110242817 A CN 202110242817A CN 113037947 B CN113037947 B CN 113037947B
- Authority
- CN
- China
- Prior art keywords
- data
- camera
- depth
- spatial information
- data packet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 230000001413 cellular effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 15
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 12
- 238000009877 rendering Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种连续动态图像中空间信息的编码方法，包括如下步骤：解析提取空间信息数据、构建空间信息数据包、编码空间信息数据包。通过本发明的编码方法，能够实时记录并存储多个连续动态图像中摄像机物理参数，如镜头、位置和朝向以及空间深度信息，从而将这些编码存储的摄像机参数、空间深度信息，在虚拟仿真、图形视觉增强场景中应用，从而在影视拍摄、广告制作、个人视频VLOG等多个应用场景中，实时植入丰富、一体的图形文字增强效果，改善最终画面显示效果。
Description
技术领域
本发明涉及视频效果虚拟增强合成技术领域，具体涉及一种连续动态图像中空间信息的编码方法。通过该方法，能够实时记录并存储多个连续动态图像中摄像机物理参数，如镜头、位置和朝向以及空间深度信息，从而将这些编码存储的摄像机参数、空间深度信息，在虚拟仿真、图形视觉增强场景中应用。
背景技术
随着图形图像以及虚拟现实技术的不断进步以及众多摄像设备，包括移动终端的投入应用，这样就可以随时进行视频拍摄，随时对周围的事物进行记录。随之而来地，在既有的拍摄画面上增加3D图形、图像、特效、文字等AR虚拟图形图像，增加相关的附属信息就变成了必不可少的需求。
针对这种需求，目前在拍摄画面的同时，通过高精度雷达、微波等设备同时扫描、抓取对应摄像机画面中物体的深度数据，这些深度信息和拍摄画面可以进行逐点逐像素的对应起来，每个深度点值和每个像素的颜色值对应。后期处理时，使用这些深度值作为阈值，控制每帧摄像机画面和三维引擎图形可以进行自动穿插、叠加，进行快速合成，实现真实拍摄图像和计算机三维引擎生成的虚拟图形很好的融合。并且，利用这些视频的空间信息，将摄像机的物理参数、画面深度点值和画面颜色值对应起来，从而根据这些数据，在所拍摄的画面上增加3D 图形、图像、特效、文字以及AR虚拟图形图像等相关的附属信息。
但是，目前的处理技术一般都是通过后期人工在每帧图像上添加上述附属信息，然后再对每帧进行调整、渲染叠加，并没有实时对视频的空间信息数据进行编码存储，因此无法实现实时叠加渲染。如果根据连续且互相关联的画面，根据其中图像内容特征点和透视关系，获得存储摄像机的位置X\Y\Z，旋转角度PAN\TILT\ROLL，镜头ZOOM等相关信息，再根据这些信息，经过三维实时渲染，在视频画面上叠加渲染生成的图形图像，由于具有相同的透视关系，这些计算机生成的图形图像，能很好的背景视频形成完整统一的效果。
发明内容
针对上面提到的技术问题，本发明提出了一种连续动态图像中空间信息的编码方法，目的在于解决用户在视频拍摄过程中，实时记录并存储多个连续动态图像中摄像机物理参数，如镜头、位置以及朝向等空间信息数据。
本发明的一种连续动态图像中空间信息的编码方法包括如下步骤：
解析提取空间信息数据，在视频拍摄的同时，将视频中每帧画面的空间信息数据分别解析和分离出来，形成独立的空间信息数据；
构建空间信息数据包，根据所述空间信息的类别，构建空间信息数据包，存储所述空间信息数据；
编码所述空间信息数据包，利用视频中每帧画面的音频轨道或图像数据，对构建的所述空间信息数据包进行编码，并与所述音频轨道或所述图像数据封装在一起，完成所述空间信息数据包的编码，最终生成具有空间信息的视频画面。
可选择地，所述空间信息包括摄像机物理数据和图像深度信息，所述构建空间信息数据包的步骤包括构建摄像机物理参数数据包子过程和构建图像深度数据包子过程。
其中，所述构建摄像机物理参数数据包子过程步骤为：
提取每帧画面中相关摄像机和镜头的X、Y、Z、PAN、TILT、ROLL、ZOOM 参数信息；
构建摄像机物理参数数据包，并将提取出来的所述摄像机和镜头的参数信息分别填入所述摄像机物理参数数据包的相应字段中；
建立所述摄像机物理参数数据包起始和结束标识，在所述摄像机物理参数数据包头部和尾部分别添加包头字段和包尾字段，作为所述摄像机物理参数数据包签起始和结束标识；
构建冗余数据包，在所述摄像机物理参数数据包标签后面添加一个或多个冗余数据包，与所述摄像机物理参数数据包形成一个摄像机物理参数数据包，其中，所诉和冗余数据包的结构和字段内容与所述摄像机物理参数数据包保持一致。
可选择地，所述构建摄像机物理参数数据包子过程还包括构成摄像机数据序列的步骤，具体为：
将多个所述摄像机物理参数数据包和所述冗余数据包构成摄像机数据单元，再由多个所述摄像机数据单元构成摄像机数据序列，与所述摄像机物理参数数据包类似，所述摄像机数据序列也能够与所述音频轨道或所述图像数据封装在一起。
此外，所述构建图像深度数据包子过程步骤为：
构建视频画面的颜色通道和深度通道，所述颜色通道存储像素颜色数据，所述深度通道存储深度数据；
数据提取和格式转化，提取拍摄过程中每帧画面中图像的深度数据，进行数据格式转化，将所述深度数据进行归一化，使其从浮点型转化为16Bit；
建立对应关系并存储，在每个所述深度数据与存储在所述颜色通道中的每个像素颜色数据之间建立一一对应关系，并将所述像素的颜色数据存入所述颜色通道，同时将所述深度数据存入所述深度通道中。
可选择地，所述深度数据以点方式存储的方式进行存储，所述点方式存储是将所述深度数据紧随每个像素的颜色数据存储，便于对每个像素的颜色数据和深度数据的查找和处理。
可选择地，所述深度数据以行方式存储的方式进行存储，所述行方式存储是将所述颜色数据和所述深度数据以实际行宽间隔交替存储，便于对整行像素的所述颜色数据和所述深度数据的查找和处理。
可选择地，所述深度数据以块方式存储的方式进行存储，所述块方式存储是先存储全部的所述颜色数据，随后存储所述深度数据，便于对像素的所述颜色数据和所述深度数据分开独立地进行查找和处理。
在实际的拍摄过程中，渲染显示每帧画面作为背景，对本发明的编码方法生成的编码后的数据包进行解析，根据解析出对应摄像机相关参数信息，进行透视投影渲染，虚拟空间中加入3D图形、图像、特效、文字等要素，同时解析出来的图形深度信息，包装形成和画面透视关系一致、具有MR穿插混合的视觉效果，经过Alpha通道、深度通道合成，进而改进、增强拍摄时的画面效果。
解码获取每帧视频画面对应的深度通道，根据数据排列标识，获得深度数据，这些数据和视频画面像素一一对应，每一帧画面的深度数据都是独立存储的。基于分层渲染合成方式，使用摄像机参数，在三维空间中放置虚拟的三维图形、文字和视频，进行透视投影渲染，获得带通道的图像数据，形成前景层，然后利用前景层中Alpha通道、深度通道和对应背景视频画面、深度通道进行叠加，完成前景虚拟三维图形和背景视频画面视角统一、且具有前后深度穿插效果的MR 画面。
在影视拍摄、广告制作、个人视频VLOG等多个场景中，前期拍摄的画面可能比较简单，可以经过此类摄像机参数、深度信息存储、使用及后期合成，可以植入丰富、一体的图形增强效果，改善最终画面的艺术及内容表现力。
通过本发明的编码方法，能够将视频中的诸如摄像机的物理参数、画面深度点值和画面颜色值对应起来，进行编码存储，以方便数据归档、保存和利用这些数据，用以后期实时获取拍摄时的摄像机参数，满足视频画面进行虚拟图形渲染、图像效果叠加增强的需求。此外，在对图形图像进行三维实时渲染时，在视频画面上叠加渲染生成的图形图像，由于具有相同的透视关系，这些计算机生成的图形图像能很好的将背景视频形成完整统一的效果。
附图说明
图1所示为根据本发明的一种连续动态图像中空间信息的编码方法的处理流程示意图；
图2所示为根据本发明实施例的构建摄像机物理参数数据包子过程流程示意图；
图3所示为根据本发明实施例的摄像机物理参数数据包结构示意图；
图4所示为根据本发明实施例的包含摄像机物理参数数据包的每帧视频画面的结构示意图；
图5所示为根据本发明实施例的构建图像深度数据包子过程流程示意图；
图6所示为根据本发明实施例的点方式存储深度数据的存储结构示意图；
图7所示为根据本发明实施例的点方式存储深度数据的存储结构示意图；
图8所示为根据本发明实施例的点方式存储深度数据的存储结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，下面所描述的实施例仅是本发明的实施例，其仅用于更加清楚地对本发明进行解释和说明，并不能以此来限定本发明的保护范围。
参考图1，图1所示为根据本发明的一种连续动态图像中空间信息的编码方法处理流程示意图，包括如下步骤：
S101，解析提取空间信息数据，在视频拍摄的同时，将视频中每帧画面的空间信息数据分别解析和分离出来，形成独立的空间信息数据；
S102，构建空间信息数据包，根据所述空间信息的类别，构建空间信息数据包，存储所述空间信息数据；
S103，编码所述空间信息数据包，利用视频中每帧画面的音频轨道或图像数据，对构建的所述空间信息数据包进行编码，并与所述音频轨道或所述图像数据封装在一起，完成所述空间信息数据包的编码，最终生成具有空间信息的视频画面。
具体来说，本发明的所述空间信息包括摄像机物理数据和图像深度信息，与之相对应，所述构建空间信息数据包的步骤包括构建摄像机物理参数数据包子过程和构建图像深度数据包子过程。
其中，上面提到的所述摄像机物理参数包括：位置X\Y\Z、旋转角度 PAN\TILT\ROLL以及镜头ZOOM参数，作为附属信息，每一帧画面均有一组摄像机参数与之对应。摄像机X位置，为水平向右的坐标位置，其单位是mm；摄像机Y位置，是垂直向上的坐标位置，其单位是mm；摄像机Z位置，是水平向外的坐标位置，其单位是mm；摄像机PAN旋转角，是摄像机围绕Y轴旋转角度，其单位是度，0度是YZ的坐标面，范围-180.0度～+180.0度，右手逆时针为正值；摄像机TILT旋转角，是摄像机围绕X轴旋转角度，其单位是度，0度 XZ的坐标面，范围-90.0度～+90.0度，右手逆时针为正值；摄像机ROLL旋转角，是摄像机围绕Z轴旋转角度，其单位是度，0度YZ的坐标面，范围-180.0 度～+180.0度，右手逆时针为正值；摄像机ZOOM的参数，是摄像机垂直视口张角，其单位是度，范围0.0度～+180.0度。以上为视频画面中，能够包含的摄像机或镜头的物理属性参数。
参考图2，图2所示为根据本发明实施例的构建摄像机物理参数数据包子过程流程示意图，具体步骤为：
S201，提取每帧画面中相关摄像机和镜头的X、Y、Z、PAN、TILT、ROLL、 ZOOM参数信息；
S202，构建摄像机物理参数数据包，并将提取出来的所述摄像机和镜头的参数信息分别填入所述摄像机物理参数数据包的相应字段中；
S203，建立所述摄像机物理参数数据包起始和结束标识，在所述摄像机物理参数数据包头部和尾部分别添加包头字段和包尾字段，作为所述摄像机物理参数数据包签起始和结束标识；
S204，构建冗余数据包，在所述摄像机物理参数数据包标签后面添加一个或多个冗余数据包，与所述摄像机物理参数数据包形成一个摄像机物理参数数据包，其中，所诉和冗余数据包的结构和字段内容与所述摄像机物理参数数据包保持一致。
通过上述步骤，所生成的摄像机物理参数数据包结构如图3所示。
此外，可选择地，所述构建摄像机物理参数数据包子过程还包括构成摄像机数据序列的步骤，具体为：
将多个所述摄像机物理参数数据包和所述冗余数据包构成摄像机数据单元，再由多个所述摄像机数据单元构成摄像机数据序列，与所述摄像机物理参数数据包类似，所述摄像机数据序列也能够与所述音频轨道或所述图像数据封装在一起。
参考图4，图4所示为根据本发明实施例的包含有摄像机物理参数数据包的每帧视频画面的结构示意图，其中每秒的音频采样点中包含对应制式画面数量的连续的摄像机数据包。此处以每秒50帧为例：音频数据的处理以无压缩为最佳，压缩比过大会导致数据轻微失真；通过解码器可以解码、分析获得对应的摄像机物理参数；视音频数据和摄像机物理参数可以统一封装为一个文件。
在图4所示的每帧视频画面的结构示意图中，每帧视频画面中存有摄像机信息数据的音频通道，根据摄像机物理参数数据包的开始和结束标识，解析获得摄像机的参数，这些参数和每一帧视频画面独立对应，每一帧画面的摄像机参数都是独立存储的。其中，所述摄像机数据序列由一个或多个摄像机数据单元构成；所述摄像机数据单元由一个或多个摄像机物理参数数据包构成。
参考图5，图5所示为根据本发明实施例的构建图像深度数据包子过程流程示意图，具体步骤为：
S301，构建视频画面的颜色通道和深度通道，所述颜色通道存储像素颜色数据，所述深度通道存储深度数据；
S302，数据提取和格式转化，提取拍摄过程中每帧画面中图像的深度数据，进行数据格式转化，将所述深度数据进行归一化，使其从浮点型转化为16Bit；
S303，建立对应关系并存储，在每个所述深度数据与存储在所述颜色通道中的每个像素颜色数据之间建立一一对应关系，并将所述像素的颜色数据存入所述颜色通道，同时将所述深度数据存入所述深度通道中。
本发明通过构建的颜色通道和深度通道，将所述深度数据和图像的颜色数据一起进行存储，形成颜色通道+深度通道的独立存储方式，最终生成可播放的图像序列。对于所述深度数据，为保障深度数据精度，每个像素的深度数据为 16Bit。利用视频画面的附加通道来存储深度信息，将浮点型的深度信息进行归一化转化为16Bit的数据存储。
参考图6-8，下面以视频画面中的视频数据YUYV422和8Bite字长的存储方式以及深度数据采取16Bit存储方式为例，阐述存储所述深度数据的三种存储方式：点方式存储、行方式存储、块方式存储。
点方式存储
参考图6，图6所示为根据本发明实施例的点方式存储深度数据的存储结构示意图。所述点方式存储是将所述深度数据紧随每个像素的颜色数据存储，便于对每个像素的颜色数据和深度数据的查找和处理。
行方式存储
参考图7，图7所示为根据本发明实施例的行方式存储深度数据的存储结构示意图。所述行方式存储是将所述颜色数据和所述深度数据以实际行宽间隔交替存储，便于对整行像素的所述颜色数据和所述深度数据的查找和处理。
块方式存储
参考图8，图8所示为根据本发明实施例的行方式存储深度数据的存储结构示意图。所述块方式存储是先存储全部的所述颜色数据，随后存储所述深度数据，便于对像素的所述颜色数据和所述深度数据分开独立地进行查找和处理。
在实际的拍摄过程中，渲染显示每帧画面作为背景，对本发明的编码方法生成的编码后的数据包进行解析，根据解析出对应摄像机相关参数信息，进行透视投影渲染，虚拟空间中加入3D图形、图像、特效、文字等要素，同时解析出来的图形深度信息，包装形成和画面透视关系一致、具有MR穿插混合的视觉效果，经过Alpha通道、深度通道合成，进而改进、增强拍摄时的画面效果。
解码获取每帧视频画面对应的深度通道，根据数据排列标识，获得深度数据，这些数据和视频画面像素一一对应，每一帧画面的深度数据都是独立存储的。基于分层渲染合成方式，使用摄像机参数，在三维空间中放置虚拟的三维图形、文字和视频，进行透视投影渲染，获得带通道的图像数据，形成前景层，然后利用前景层中Alpha通道、深度通道和对应背景视频画面、深度通道进行叠加，完成前景虚拟三维图形和背景视频画面视角统一、且具有前后深度穿插效果的MR 画面。
在影视拍摄、广告制作、个人视频VLOG等多个场景中，前期拍摄的画面可能比较简单，可以经过此类摄像机参数、深度信息存储、使用及后期合成，可以植入丰富、一体的图形增强效果，改善最终画面的艺术及内容表现力。
以上对本发明的具体实施方式进行了详细的描述，但本领域内的技术人员根据本发明的公开的技术方案，可以对本发明进行各种变形和修改，但所做的各种修改不脱离本发明的思路和范围，皆属于本发明权利要求的范围之内。
Claims (7)
1.一种连续动态图像中空间信息的编码方法，其特征在于，该方法包括如下步骤：
解析提取空间信息数据，在视频拍摄的同时，将视频中每帧画面的空间信息数据分别解析和分离出来，形成独立的空间信息数据；
构建空间信息数据包，根据所述空间信息的类别，构建空间信息数据包，存储所述空间信息数据；
编码所述空间信息数据包，利用视频中每帧画面的音频轨道或图像数据，对构建的所述空间信息数据包进行编码，并与所述音频轨道或所述图像数据封装在一起，完成所述空间信息数据包的编码；
所述空间信息包括摄像机物理数据和图像深度信息，所述构建空间信息数据包的步骤包括构建摄像机物理参数数据包子过程和构建图像深度数据包子过程；
所述构建摄像机物理参数数据包子过程步骤为：
提取每帧画面中相关摄像机和镜头的X、Y、Z、PAN、TILT、ROLL、ZOOM参数信息；
构建摄像机物理参数数据包，并将提取出来的所述摄像机和镜头的参数信息分别填入所述摄像机物理参数数据包的相应字段中；
建立所述摄像机物理参数数据包起始和结束标识，在所述摄像机物理参数数据包头部和尾部分别添加包头字段和包尾字段，作为所述摄像机物理参数数据包签起始和结束标识；
添加冗余数据包，在所述摄像机物理参数数据包标签后面添加一个或多个冗余数据包，与所述摄像机物理参数数据包形成一个摄像机物理参数数据包，其中，所诉和冗余数据包的结构和字段内容与所述摄像机物理参数数据包保持一致。
2.根据权利要求1所述的方法，其特征在于，所述构建摄像机物理参数数据包子过程还包括构成摄像机数据序列的步骤，具体为：
将多个所述摄像机物理参数数据包和所述冗余数据包构成摄像机数据单元，再由多个所述摄像机数据单元构成摄像机数据序列，与所述摄像机物理参数数据包类似，所述摄像机数据序列也能够与所述音频轨道或所述图像数据封装在一起。
3.根据权利要求1所述的方法，其特征在于，所述构建图像深度数据包子过程步骤为：
构建视频画面的颜色通道和深度通道，所述颜色通道存储像素颜色数据，所述深度通道存储深度数据；
数据提取和格式转化，提取拍摄过程中每帧画面中图像的深度数据，进行数据格式转化，将所述深度数据进行归一化，使其从浮点型转化为16Bit；
建立对应关系并存储，在每个所述深度数据与存储在所述颜色通道中的每个像素颜色数据之间建立一一对应关系，并将所述像素的颜色数据存入所述颜色通道，同时将所述深度数据存入所述深度通道中。
4.根据权利要求3所述的方法，其特征在于，所述深度数据以点方式存储的方式进行存储，所述点方式存储是将所述深度数据紧随每个像素的颜色数据存储，便于对每个像素的颜色数据和深度数据的查找和处理。
5.根据权利要求3所述的方法，其特征在于，所述深度数据以行方式存储的方式进行存储，所述行方式存储是将所述颜色数据和所述深度数据以实际行宽间隔交替存储，便于对整行像素的所述颜色数据和所述深度数据的查找和处理。
6.根据权利要求3所述的方法，其特征在于，所述深度数据以块方式存储的方式进行存储，所述块方式存储是先存储全部的所述颜色数据，随后存储所述深度数据，便于对像素的所述颜色数据和所述深度数据分开独立地进行查找和处理。
7.根据权利要求1所述的方法，其特征在于，该方法应用在摄像设备的影视拍摄、广告制作、个人视频VLOG的多个场景拍摄过程中；
其中，所述摄像设备包括摄像机、照相机和手机。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242817.XA CN113037947B (zh) | 2021-03-05 | 2021-03-05 | 一种连续动态图像中空间信息的编码方法 |
| US17/924,205 US11889220B2 (en) | 2021-03-05 | 2021-03-10 | Method for coding space information in continuous dynamic images |
| PCT/CN2021/079946 WO2022183517A1 (zh) | 2021-03-05 | 2021-03-10 | 一种连续动态图像中空间信息的编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110242817.XA CN113037947B (zh) | 2021-03-05 | 2021-03-05 | 一种连续动态图像中空间信息的编码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113037947A CN113037947A (zh) | 2021-06-25 |
| CN113037947B true CN113037947B (zh) | 2022-06-17 |
Family
ID=76467722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110242817.XA Active CN113037947B (zh) | 2021-03-05 | 2021-03-05 | 一种连续动态图像中空间信息的编码方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11889220B2 (zh) |
| CN (1) | CN113037947B (zh) |
| WO (1) | WO2022183517A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12114067B2 (en) * | 2022-01-06 | 2024-10-08 | Htc Corporation | Data processing system, data processing method, and computer readable storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101651841A (zh) * | 2008-08-13 | 2010-02-17 | 华为技术有限公司 | 一种立体视频通讯的实现方法、系统和设备 |
| CN101668219A (zh) * | 2008-09-02 | 2010-03-10 | 深圳华为通信技术有限公司 | 3d视频通信方法、发送设备和系统 |
| CN105933689A (zh) * | 2015-02-27 | 2016-09-07 | 三星电子株式会社 | 图像处理方法和支持该方法的电子设备 |
| CN107948466A (zh) * | 2017-11-23 | 2018-04-20 | 北京德火新媒体技术有限公司 | 一种用于视频节目制作的三维场景构建方法及系统 |
| WO2019066191A1 (ko) * | 2017-09-28 | 2019-04-04 | 엘지전자 주식회사 | 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치 |
| WO2019226865A1 (en) * | 2018-05-25 | 2019-11-28 | Magic Leap, Inc. | Compression of dynamic unstructured point clouds |
| WO2020162542A1 (ja) * | 2019-02-06 | 2020-08-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、および、三次元データ復号装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7606313B2 (en) * | 2004-01-15 | 2009-10-20 | Ittiam Systems (P) Ltd. | System, method, and apparatus for error concealment in coded video signals |
| CN101409788B (zh) * | 2008-12-05 | 2011-06-15 | 中国电信股份有限公司 | 应用于移动视频监控的云镜控制方法、系统和设备 |
| US10341632B2 (en) * | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
| US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
| US20190333541A1 (en) * | 2016-11-14 | 2019-10-31 | Lightcraft Technology Llc | Integrated virtual scene preview system |
| US20190358547A1 (en) * | 2016-11-14 | 2019-11-28 | Lightcraft Technology Llc | Spectator virtual reality system |
| CN106960027B (zh) * | 2017-03-20 | 2019-06-25 | 武汉大学 | 空间信息辅助的无人机视频大数据多时相关联分析方法 |
| CN111669567B (zh) * | 2019-03-07 | 2024-03-29 | 阿里巴巴集团控股有限公司 | 多角度自由视角视频数据生成方法及装置、介质、服务器 |
| US11037365B2 (en) * | 2019-03-07 | 2021-06-15 | Alibaba Group Holding Limited | Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data |
-
2021
- 2021-03-05 CN CN202110242817.XA patent/CN113037947B/zh active Active
- 2021-03-10 US US17/924,205 patent/US11889220B2/en active Active
- 2021-03-10 WO PCT/CN2021/079946 patent/WO2022183517A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101651841A (zh) * | 2008-08-13 | 2010-02-17 | 华为技术有限公司 | 一种立体视频通讯的实现方法、系统和设备 |
| CN101668219A (zh) * | 2008-09-02 | 2010-03-10 | 深圳华为通信技术有限公司 | 3d视频通信方法、发送设备和系统 |
| CN105933689A (zh) * | 2015-02-27 | 2016-09-07 | 三星电子株式会社 | 图像处理方法和支持该方法的电子设备 |
| WO2019066191A1 (ko) * | 2017-09-28 | 2019-04-04 | 엘지전자 주식회사 | 스티칭 및 리프로젝션 관련 메타데이터를 이용한 6dof 비디오를 송수신하는 방법 및 그 장치 |
| CN107948466A (zh) * | 2017-11-23 | 2018-04-20 | 北京德火新媒体技术有限公司 | 一种用于视频节目制作的三维场景构建方法及系统 |
| WO2019226865A1 (en) * | 2018-05-25 | 2019-11-28 | Magic Leap, Inc. | Compression of dynamic unstructured point clouds |
| WO2020162542A1 (ja) * | 2019-02-06 | 2020-08-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、および、三次元データ復号装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230239422A1 (en) | 2023-07-27 |
| WO2022183517A1 (zh) | 2022-09-09 |
| US11889220B2 (en) | 2024-01-30 |
| CN113037947A (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107454468B (zh) | 对沉浸式视频进行格式化的方法、装置和流 | |
| CN112219398B (zh) | 用于深度编码和解码的方法和装置 | |
| US20180192063A1 (en) | Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions | |
| US20220116659A1 (en) | A method, an apparatus and a computer program product for volumetric video | |
| US20040032980A1 (en) | Image conversion and encoding techniques | |
| EP2559270B1 (en) | Method and apparatus for generating and playing animation message | |
| JP7177034B2 (ja) | レガシー及び没入型レンダリングデバイスのために没入型ビデオをフォーマットする方法、装置、及びストリーム | |
| US11968349B2 (en) | Method and apparatus for encoding and decoding of multiple-viewpoint 3DoF+ content | |
| US20230362409A1 (en) | A method and apparatus for signaling depth of multi-plane images-based volumetric video | |
| CN113906761A (zh) | 利用修补补片对3d场景进行编码和渲染的方法和装置 | |
| CN113037947B (zh) | 一种连续动态图像中空间信息的编码方法 | |
| WO2020200829A1 (en) | A method and apparatus for encoding and decoding volumetric video | |
| CN111510643B (zh) | 全景图和特写图的拼接系统及方法 | |
| EP4005202B1 (en) | A method and apparatus for delivering a volumetric video content | |
| US11196977B2 (en) | Unified coding of 3D objects and scenes | |
| TW202126036A (zh) | 具有輔助修補之容積視訊 | |
| CN111726598B (zh) | 图像处理方法和装置 | |
| WO2020185529A1 (en) | A method and apparatus for encoding and decoding volumetric video | |
| US20230032599A1 (en) | Methods and apparatuses for encoding, decoding and rendering 6dof content from 3dof+ composed elements | |
| WO2023194109A1 (en) | Depth-color alignment with assistance metadata for transcoding of volumetric video | |
| WO2023227582A1 (en) | Decoder side depth and color alignment with the assistance of metadata for the transcoding of volumetric video | |
| JPH10234035A (ja) | 画像符号化復号化方法および装置 | |
| WO2024013036A1 (en) | Method, device, and computer program for extrapolation regions in region tracks | |
| CN118511529A (zh) | 用于多平面图像的渐进编码和解码的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |