CN113497943A - 一种深度信息的量化和编码方法 - Google Patents
一种深度信息的量化和编码方法 Download PDFInfo
- Publication number
- CN113497943A CN113497943A CN202110906923.3A CN202110906923A CN113497943A CN 113497943 A CN113497943 A CN 113497943A CN 202110906923 A CN202110906923 A CN 202110906923A CN 113497943 A CN113497943 A CN 113497943A
- Authority
- CN
- China
- Prior art keywords
- depth information
- video
- yuv
- data
- stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013139 quantization Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000000694 effects Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009877 rendering Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种深度信息的量化和编码方法。它具体包括如下步骤：用开启激光雷达的设备拍摄带有深度信息的视频；将深度信息量化为颜色编码数据；选择一条视频轨道，并在meta data中标记这条视频轨道用于存储深度信息；将量化后的颜色编码数据压缩为视频流保存在视频轨道中，并且在meta data中为该视频流做特定标记；读取meta data找到带标记的视频轨道，之后找到带特定标记的深度信息编码的那个视频流；将深度信息编码的那个视频流解码为颜色编码数据；将颜色编码数据量化还原为深度信息。本发明的有益效果是：能够在支持该颜色编码格式的设备上进行渲染；将深度信息量化后的数据编码成视频码流，以便在普通设备上传输和解码。
Description
技术领域
本发明涉及图像编解码相关技术领域，尤其是指一种深度信息的量化和编码方法。
背景技术
随着激光雷达在部分高端手机上的应用，手机拍摄的照片或视频可以附带拍摄者到物体间的距离即深度信息；但对于深度信息，现有的技术缺乏统一跨平台的深度信息编解码、保存和渲染方法。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种支持深度信息渲染的深度信息的量化和编码方法。
为了实现上述目的，本发明采用以下技术方案：
一种深度信息的量化和编码方法，具体包括如下步骤：
（1）用开启激光雷达的设备拍摄带有深度信息的视频；
（2）将深度信息量化为颜色编码数据yuv，量化公式为：yuv = k * D * R，其中k为根据深度信息有效范围和yuv取值范围计算的量化因子，D表示深度信息值，R表示yuv取值范围；深度信息有效范围是指激光雷达能够感知的距离设备的距离，量化因子就是把深度信息重映射到另一个范围数值的计算比例，深度信息值是指实际物体到拍摄者之间的距离，yuv取值范围是指一单位yuv在计算机存储时候能表示的数值范围；
（3）选择一条视频轨道，并在meta data中标记这条视频轨道用于存储深度信息；视频轨道用来存储数字化的视频信息，meta data是用来描述视频文件属性信息的；
（4）将量化后的颜色编码数据压缩为视频流保存在视频轨道中，并且在meta data中为该视频流做特定标记；
（5）读取meta data找到带标记的视频轨道，之后找到带特定标记的深度信息编码的那个视频流；
（6）将深度信息编码的那个视频流解码为颜色编码数据；
（7）将颜色编码数据量化还原为深度信息，量化还原公式为：D = 1/k * 1/R *yuv。
上述深度信息的量化和编解码方法是将深度信息以特定量化标准量化为颜色编码数据，按视频压缩标准编码为视频流保存，解码为颜色编码数据，量化还原为深度信息，可应用于深度信息的保存，在不同设备间传递、渲染，利用深度信息和视频信息做特效等场景。深度信息的量化能将深度信息在有限精度损失的情况下，将深度信息转换为颜色编码数据，以现有的颜色编码格式编码，能够在支持该颜色编码格式的设备上进行渲染。其中：深度信息的量化方法，使用不同的量化策略（如均匀量化和非均匀量化），将深度信息转换为通用的颜色编码格式（如yuv）数据。深度信息的编码方法，将深度信息量化后的数据编码成视频码流，以便在普通设备上传输和解码。
作为优选，在步骤（1）中，具体为：打开设备的激光雷达功能，用设备上的摄像头录制一段视频，获取视频中拍摄到的物体的实时深度信息。
作为优选，在步骤（2）中，具体为：对实时获取到的深度信息中，距离拍摄者0 ~5m之间的深度信息量化为颜色编码格式数据，量化后的yuv数据直接渲染到屏幕上。
作为优选，在步骤（4）中，具体为：用HEVC视频编码格式将量化后的yuv数据压缩进stream 1视频流，导出通用的mp4 视频文件，该视频中包含了录制的视频流stream 0和深度信息视频流 stream 1，完成深度信息量化后的编码和保存。
作为优选，在步骤（5）中，具体为：获取mp4视频文件的meta data信息，读取到标记深度信息的视频轨道，之后确定stream 1为深度信息视频流。
作为优选，在步骤（7）中，具体为：根据获取到的深度信息，在stream 0视频流中加入不同的特效，丰富影视特效的立体创作。
本发明的有益效果是：可应用于深度信息的保存，在不同设备间传递、渲染，利用深度信息和视频信息做特效等场景；能够在支持该颜色编码格式的设备上进行渲染；将深度信息量化后的数据编码成视频码流，以便在普通设备上传输和解码。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种深度信息的量化和编码方法，利用特定的量化策略，将深度信息量化成通用的颜色编码数据，用标准的视频压缩技术压缩成视频，实现在不同操作系统和硬件的设备上完成深度信息的解析、渲染等功能。为了提高深度信息的量化的精度和编码的泛用性，该方法选用10Bit YUV 420 颜色编码格式。在压缩为视频流时，为了提高影像质量和减小视频文件大小，采用了HEVC标准进行压缩。以iPhone 12 Pro Max上利用深度信息对视频中不同深度的物体添加特效为例，给出本文深度信息量化和编解码的一个具体实施示例，具体包括如下步骤：
（1）用开启激光雷达的设备拍摄带有深度信息的视频；具体为：打开设备iPhone的激光雷达功能，用设备上的后置摄像头录制一段视频，获取视频中拍摄到的物体的实时深度信息。
（2）将深度信息量化为颜色编码数据yuv，量化公式为：yuv = k * D * R，其中k为根据深度信息有效范围和yuv取值范围计算的量化因子，D表示深度信息值，R表示yuv取值范围；具体为：对实时获取到的深度信息中，距离拍摄者0 ~5m之间的深度信息量化为颜色编码格式数据，即用量化公式量化为10Bit YUV 420 颜色编码格式数据，最大精度损失为1 / (2^10) * 5，约为0.00483m，量化后的yuv数据直接渲染到屏幕上，表现为离拍摄者越近，亮度越低，离拍摄者越远，亮度越高。
其中：深度信息有效范围是指激光雷达能够感知的距离设备的距离，比如最远能感知到5米，那么拍摄完成的照片或者视频，所有点的值都在0~5米之间，表示该点上的物体到拍摄者之间的距离。量化因子就是把上述深度信息重映射到另一个范围数值的计算比例，比如在线性量化的时候，举个例子yuv = 100 * 深度信息。100就是量化因子，就可以通过量化因子计算yuv=100的时候，实际的深度信息就是1米。计算公式会有不同，这个因子保证我能把信息还原。深度信息值如上所述，是指实际物体到拍摄者之间的距离，通过激光雷达设备检测到的，由于设备能感知的距离有限，会有一个有效范围。yuv取值范围是指一单位yuv在计算机存储时候能表示的最大数值，比如10 bit yuv，能表示的最大值是2的10次方，即范围为0~1024。
（3）选择一条视频轨道，并在meta data中标记这条视频轨道用于存储深度信息；
其中：关于视频轨道的描述，比如一个有声音的视频文件，会有一到多条视频轨道，一到多条音频轨道，即分别用来存储数字化的图像信息和声音信息。meta data是用来描述视频或音频文件属性信息的，比如视频的分别率是1920 * 1080，视频标题，时长，歌手名等等信息往往都会记录在meta data里。因为通过步骤（2）已经把深度信息转换成了yuv信息，yuv是一种颜色编码方法，是一种影像处理种很常用的格式，视频流实际存储的是yuv，只不过能在步骤（7）里面把yuv还原成深度信息。
（4）将量化后的颜色编码数据压缩为视频流保存在视频轨道中，并且在meta data中为该视频流做特定标记；具体为：用HEVC视频编码格式将量化后的yuv数据压缩进stream1视频流，导出通用的mp4 视频文件，该视频中包含了录制的视频流stream 0和深度信息视频流 stream 1，完成深度信息量化后的编码和保存，可用于在不同设备间分享。
如上所述，meta data用于记录一些文件的数据信息，比如可以在其中标记，depthtrack：stream 1，在解码的时候就知道深度信息是存储在stream 1里的。
（5）读取meta data找到带标记的视频轨道，之后找到带特定标记的深度信息编码的那个视频流；具体为：获取mp4视频文件的meta data信息，读取到标记深度信息的视频轨道，之后确定stream 1为深度信息视频流，此步骤可以在不同设备中进行。
（6）将深度信息编码的那个视频流解码为颜色编码数据；即将stream 1解码为10Bit YUV 420 颜色编码格式数据。
（7）将颜色编码数据量化还原为深度信息，量化还原公式为：D = 1/k * 1/R *yuv；具体为：根据获取到的深度信息，在stream 0视频流中加入不同的特效，丰富影视特效的立体创作。
即有了深度信息，视频中周围环境和视频拍摄者之间的距离都能够读取到，让视频拍摄者真正融入视频环境中，影视特效创作者可以根据这些信息进行特效创作，让特效更加立体，逼真。
上述深度信息的量化和编解码方法是将深度信息以特定量化标准量化为颜色编码数据，按视频压缩标准编码为视频流保存，解码为颜色编码数据，量化还原为深度信息，可应用于深度信息的保存，在不同设备间传递、渲染，利用深度信息和视频信息做特效等场景。深度信息的量化能将深度信息在有限精度损失的情况下，将深度信息转换为颜色编码数据，以现有的颜色编码格式编码，能够在支持该颜色编码格式的设备上进行渲染。其中：深度信息的量化方法，使用不同的量化策略（如均匀量化和非均匀量化），将深度信息转换为通用的颜色编码格式（如yuv）数据。深度信息的编码方法，将深度信息量化后的数据编码成视频码流，以便在普通设备上传输和解码。
Claims (6)
1.一种深度信息的量化和编码方法，其特征是，具体包括如下步骤：
（1）用开启激光雷达的设备拍摄带有深度信息的视频；
（2）将深度信息量化为颜色编码数据yuv，量化公式为：yuv = k * D * R，其中k为根据深度信息有效范围和yuv取值范围计算的量化因子，D表示深度信息值，R表示yuv取值范围；深度信息有效范围是指激光雷达能够感知的距离设备的距离，量化因子就是把深度信息重映射到另一个范围数值的计算比例，深度信息值是指实际物体到拍摄者之间的距离，yuv取值范围是指一单位yuv在计算机存储时候能表示的数值范围；
（3）选择一条视频轨道，并在meta data中标记这条视频轨道用于存储深度信息；视频轨道用来存储数字化的视频信息，meta data是用来描述视频文件属性信息的；
（4）将量化后的颜色编码数据压缩为视频流保存在视频轨道中，并且在meta data中为该视频流做特定标记；
（5）读取meta data找到带标记的视频轨道，之后找到带特定标记的深度信息编码的那个视频流；
（6）将深度信息编码的那个视频流解码为颜色编码数据；
（7）将颜色编码数据量化还原为深度信息，量化还原公式为：D = 1/k * 1/R * yuv。
2.根据权利要求1所述的一种深度信息的量化和编码方法，其特征是，在步骤（1）中，具体为：打开设备的激光雷达功能，用设备上的摄像头录制一段视频，获取视频中拍摄到的物体的实时深度信息。
3.根据权利要求2所述的一种深度信息的量化和编码方法，其特征是，在步骤（2）中，具体为：对实时获取到的深度信息中，距离拍摄者0 ~5m之间的深度信息量化为颜色编码格式数据，量化后的yuv数据直接渲染到屏幕上。
4.根据权利要求3所述的一种深度信息的量化和编码方法，其特征是，在步骤（4）中，具体为：用HEVC视频编码格式将量化后的yuv数据压缩进stream 1视频流，导出通用的mp4 视频文件，该视频中包含了录制的视频流stream 0和深度信息视频流 stream 1，完成深度信息量化后的编码和保存。
5.根据权利要求4所述的一种深度信息的量化和编码方法，其特征是，在步骤（5）中，具体为：获取mp4视频文件的meta data信息，读取到标记深度信息的视频轨道，之后确定stream 1为深度信息视频流。
6.根据权利要求5所述的一种深度信息的量化和编码方法，其特征是，在步骤（7）中，具体为：根据获取到的深度信息，在stream 0视频流中加入不同的特效，丰富影视特效的立体创作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110906923.3A CN113497943B (zh) | 2021-08-09 | 2021-08-09 | 一种深度信息的量化和编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110906923.3A CN113497943B (zh) | 2021-08-09 | 2021-08-09 | 一种深度信息的量化和编码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113497943A true CN113497943A (zh) | 2021-10-12 |
| CN113497943B CN113497943B (zh) | 2024-06-11 |
Family
ID=77996742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110906923.3A Active CN113497943B (zh) | 2021-08-09 | 2021-08-09 | 一种深度信息的量化和编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113497943B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1829326A (zh) * | 2005-03-04 | 2006-09-06 | 三星电子株式会社 | 色彩空间可伸缩性视频编码和解码方法及其设备 |
| US20110122225A1 (en) * | 2009-11-23 | 2011-05-26 | General Instrument Corporation | Depth Coding as an Additional Channel to Video Sequence |
| US20140192153A1 (en) * | 2013-01-04 | 2014-07-10 | Qualcomm Incorporated | Signaling of spatial resolution of depth views in multiview coding file format |
| CN104244008A (zh) * | 2014-09-12 | 2014-12-24 | 宁波大学 | 一种深度视频编码方法 |
| CN104429063A (zh) * | 2012-07-09 | 2015-03-18 | Lg电子株式会社 | 增强3d音频/视频处理装置和方法 |
| CN104851109A (zh) * | 2015-06-10 | 2015-08-19 | 宁波盈芯信息科技有限公司 | 一种高灰阶深度图像的表示方法 |
-
2021
- 2021-08-09 CN CN202110906923.3A patent/CN113497943B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1829326A (zh) * | 2005-03-04 | 2006-09-06 | 三星电子株式会社 | 色彩空间可伸缩性视频编码和解码方法及其设备 |
| US20110122225A1 (en) * | 2009-11-23 | 2011-05-26 | General Instrument Corporation | Depth Coding as an Additional Channel to Video Sequence |
| CN104429063A (zh) * | 2012-07-09 | 2015-03-18 | Lg电子株式会社 | 增强3d音频/视频处理装置和方法 |
| US20140192153A1 (en) * | 2013-01-04 | 2014-07-10 | Qualcomm Incorporated | Signaling of spatial resolution of depth views in multiview coding file format |
| CN104244008A (zh) * | 2014-09-12 | 2014-12-24 | 宁波大学 | 一种深度视频编码方法 |
| CN104851109A (zh) * | 2015-06-10 | 2015-08-19 | 宁波盈芯信息科技有限公司 | 一种高灰阶深度图像的表示方法 |
Non-Patent Citations (1)
| Title |
|---|
| 胡跃辉 等: "一种用于固态体积式真三维显示的片源编码的改进方法", 液晶与显示, no. 04, pages 69 - 74 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113497943B (zh) | 2024-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11070893B2 (en) | Method and apparatus for encoding media data comprising generated content | |
| CN105794216B (zh) | 图像处理设备和图像处理方法 | |
| CN112219398B (zh) | 用于深度编码和解码的方法和装置 | |
| CA2558392C (en) | Method, devices, system and software product for compressed-domain video editing | |
| CN103039087A (zh) | 发信号通知用于串流视频数据的随机存取点 | |
| KR100513056B1 (ko) | 영상 컨텐츠의 적응 변환 장치 및 그 방법 | |
| CA2740119C (en) | System and method for storing multi-source multimedia presentations | |
| US20130287366A1 (en) | Identifying parameter sets in video files | |
| CN115379189B (zh) | 一种点云媒体的数据处理方法及相关设备 | |
| KR101008525B1 (ko) | 디지털 비디오 시퀀스 인코딩 방법, 인코더용 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체, 컴퓨터용 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체, 디지털 비디오 시퀀스를 인코딩하는 인코더 및 비디오 통신 시스템 | |
| CN103081488A (zh) | 发信号通知用于特技模式视频表示的视频样本 | |
| US11004237B2 (en) | Palette coding for color compression of point clouds | |
| JP2022525599A (ja) | 点群コーディングのためのパッチデータユニットのコーディングおよび復号 | |
| CN116250011A (zh) | 用于对动画3d对象的至少一个属性进行编码/解码的方法和装置 | |
| JP2006074391A (ja) | ファイル記録方法および記録装置 | |
| CN113497943B (zh) | 一种深度信息的量化和编码方法 | |
| US7437007B1 (en) | Region-of-interest editing of a video stream in the compressed domain | |
| KR20230173678A (ko) | 장기 패치 엔터티 메모리가 있는 볼류메트릭 비디오 | |
| CN106028058A (zh) | 多媒体数据录制方法及装置 | |
| EP4270968A1 (en) | Media file generation/reception method and device for signaling subpicture id information, and computer-readable recording medium in which media file is stored | |
| US20240205409A1 (en) | Method and device for generating/receiving media file on basis of eos sample group, and method for transmitting media file | |
| JP5574632B2 (ja) | 情報処理装置及び情報処理装置の制御方法 | |
| CN117337570A (zh) | 有长期分块实体存储器的体积视频 | |
| CN118509633A (zh) | 视频转码方法、装置、电子设备和存储介质 | |
| KR100944540B1 (ko) | 프레임 스키핑을 이용한 부호화 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |