CN110784706B - 信息处理方法、编码装置、解码装置、系统及存储介质 - Google Patents
信息处理方法、编码装置、解码装置、系统及存储介质 Download PDFInfo
- Publication number
- CN110784706B CN110784706B CN201911074390.6A CN201911074390A CN110784706B CN 110784706 B CN110784706 B CN 110784706B CN 201911074390 A CN201911074390 A CN 201911074390A CN 110784706 B CN110784706 B CN 110784706B
- Authority
- CN
- China
- Prior art keywords
- information
- structured light
- video
- coding
- decoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 55
- 238000003672 processing method Methods 0.000 title claims abstract description 32
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims description 40
- 230000008030 elimination Effects 0.000 claims description 12
- 238000003379 elimination reaction Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 27
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种信息处理方法、编码装置、解码装置、系统及存储介质，应用于编码装置的信息处理方法包括：采集结构光信息和视频帧；结构光信息和视频帧一一对应；对结构光信息和视频帧进行联合编码或独立编码，得到编码信息；编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；将编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于编码信息进行图像处理。
Description
技术领域
本申请实施例涉及结构光技术，尤其涉及一种信息处理方法、编码装置、解码装置、系统及存储介质。
背景技术
目前，在传输视频信号时，为了提高传输速度，先利用编码器，对图像传感器采集到的二维图像和深度传感器采集到的深度图像进行视频编码，形成视频编码信息，将视频编码信息发送至解码器，解码器从视频编码信息中解码得到二维图像和深度图像，再对二维图像和深度图像进行处理，生成立体图像；可以知道，相关技术在编码端仅仅获取深度图像，对其进行编码和传输，进而在解码端利用深度图像对二维图像进行立体化，没有考虑到深度传感器生成深度图像过程中产生的冗余信息，没有发挥冗余信息的作用，降低了信息利用率。
发明内容
本申请提供一种信息处理方法、编码装置、解码装置、系统及存储介质，能够提高信息的利用率。
本申请的技术方案是这样实现的：
本申请实施例提供一种信息处理方法，应用于编码装置，所述方法包括：
采集结构光信息和视频帧；所述结构光信息和所述视频帧一一对应；
对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
将所述编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述编码信息进行图像处理。
上述方案中，所述采集结构光信息和视频帧，包括：
在预设时段内，采集所述视频帧；
在所述预设时段内，采集相位信息；
获取参考信息，所述参考信息表征距离和相位的映射关系；
基于所述相位信息和所述参考信息，得到所述结构光信息。
上述方案中，所述基于所述相位信息和所述参考信息，得到所述结构光信息，包括：
对所述相位信息和所述参考信息进行匹配，得到第一深度图像和第一冗余数据；所述第一冗余数据为生成深度图像时产生的其他数据；
将所述第一深度图像和所述第一冗余数据，作为所述结构光信息。
上述方案中，所述基于所述相位信息和所述参考信息，得到所述结构光信息，包括：
对所述相位信息进行预处理，得到预处理后的相位信息；
基于所述预处理后的相位信息和所述参考信息，得到所述结构光信息。
上述方案中，所述基于所述预处理后的相位信息和所述参考信息，得到所述结构光信息，包括：
对所述预处理后的相位信息和所述参考信息进行匹配，得到第二深度图像和第二冗余数据；所述第二冗余数据为生成深度图像时产生的其他数据；
将所述第二深度图像和所述第二冗余数据，作为所述结构光信息。
上述方案中，所述编码信息为结构光编码信息和视频编码信息；所述对所述结构光信息和所述视频帧进行独立编码，得到编码信息，包括：
对所述结构光信息进行编码，得到所述结构光编码信息；
对所述视频帧进行编码，得到所述视频编码信息。
上述方案中，所述对所述结构光信息进行编码，得到所述结构光编码信息，包括：
利用所述结构光信息的相位相关性、所述结构光信息的空间相关性、所述结构光信息的时间相关性、预设深度范围或者所述结构光信息的频域相关性，对所述结构光信息进行冗余消除，得到消除后的结构光信息；
对所述消除后的结构光信息进行编码，得到所述结构光编码信息。
上述方案中，在所述对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息之后，所述方法还包括：
利用编码二进制数据之间的相关性，对所述编码信息消除比特冗余，得到消除后的编码信息；
将所述消除后的编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述消除后的编码信息进行图像处理。
上述方案中，所述编码信息为混合编码信息；所述对所述结构光信息和所述视频帧进行联合编码，得到编码信息，包括：
对所述结构光信息进行编码，得到结构光编码信息；
对所述视频帧进行编码，得到视频编码信息；
将所述结构光编码信息合并至所述视频编码信息的预设位置处，得到所述混合编码信息。
本申请实施例提供一种信息处理方法，应用于解码装置，所述方法包括：
当接收到携带有编码信息的码流时，对所述码流进行联合解码或独立解码，得到所述结构光信息和所述视频帧；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
利用所述结构光信息，对所述视频帧进行处理，得到目标图像帧，并将所述目标图像帧合成视频。
上述方案中，所述码流为视频编码信息码流和结构光编码信息码流；所述对所述码流进行独立解码，得到所述结构光信息和所述视频帧，包括：
对所述视频编码信息码流进行解码，得到所述视频帧；
对所述结构光编码信息码流进行解码，得到所述结构光信息。
上述方案中，所述码流为混合编码信息码流；所述对所述码流进行联合解码，得到所述结构光信息和所述视频帧，包括：
对所述混合编码信息码流进行解码，得到所述视频帧和所述结构光信息。
上述方案中，所述利用所述结构光信息，对所述视频帧进行处理，得到目标图像帧，包括：
利用所述结构光信息调整所述视频帧的景深，得到所述景深图像帧；
将所述景深图像帧，作为所述目标图像帧。
上述方案中，所述利用所述结构光信息，对所述视频帧进行处理，得到目标图像帧，包括：
当所述结构光信息为相位信息时，利用所述相位信息，对所述视频帧进行去模糊，得到去模糊图像帧；
将所述去模糊图像帧，作为所述目标图像帧。
上述方案中，在所述对所述码流进行联合解码或独立解码，得到所述结构光信息和所述视频帧之后，所述方法还包括：
对所述结构光信息进行恢复，生成深度图像帧。
本申请实施例提供一种编码装置，所述编码装置包括：结构光模组、图像传感器和编码器；
所述结构光模组，用于采集结构光信息
所述图像传感器，用于采集视频帧；所述结构光信息和所述视频帧一一对应；
所述编码器，用于对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；以及将所述编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述编码信息进行图像处理。
上述方案中，所述结构光模组包括结构光传感器；
所述图像传感器，还用于在预设时段内，采集所述视频帧；
所述结构光传感器，用于在所述预设时段内，采集相位信息；
所述结构光模组，还用于获取参考信息，所述参考信息表征距离和相位的映射关系；以及基于所述相位信息和所述参考信息，得到所述结构光信息。
上述方案中，所述结构光模组，还用于对所述相位信息和所述参考信息进行匹配，得到第一深度图像和第一冗余数据；所述第一冗余数据为生成深度图像时产生的其他数据；以及将所述第一深度图像和所述第一冗余数据，作为所述结构光信息。
上述方案中，所述结构光模组，还用于对所述相位信息进行预处理，得到预处理后的相位信息；以及基于所述预处理后的相位信息和所述参考信息，得到所述结构光信息。
上述方案中，所述结构光模组，还用于对所述预处理后的相位信息和所述参考信息进行匹配，得到第二深度图像和第二冗余数据；所述第二冗余数据为生成深度图像时产生的其他数据；以及将所述第二深度图像和所述第二冗余数据，作为所述结构光信息。
上述方案中，所述编码信息为结构光编码信息和视频编码信息；所述编码器包括结构光编码器和视频编码器；其中，
所述结构光编码器，用于对所述结构光信息进行编码，得到所述结构光编码信息；
所述视频编码器，用于对所述视频帧进行编码，得到所述视频编码信息。
上述方案中，所述结构光模组，还用于利用所述结构光信息的相位相关性、所述结构光信息的空间相关性、所述结构光信息的时间相关性、预设深度范围或者所述结构光信息的频域相关性，对所述结构光信息进行冗余消除，得到消除后的结构光信息；
所述结构光编码器，还用于对所述消除后的结构光信息进行编码，得到所述结构光编码信息。
上述方案中，所述编码器，还用于在所述对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息之后，利用编码二进制数据之间的相关性，对所述编码信息消除比特冗余，得到消除后的编码信息；以及将所述消除后的编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述消除后的编码信息进行图像处理。
上述方案中，所述编码信息为混合编码信息；所述编码器包括视频编码器；
所述视频编码器，用于对所述结构光信息进行编码，得到结构光编码信息；及对所述视频帧进行编码，得到视频编码信息；以及将所述结构光编码信息合并至所述视频编码信息的预设位置处，得到所述混合编码信息。
本申请实施例提供一种解码装置，所述解码装置包括：图像处理器和解码器；
所述解码器，用于当接收到携带有编码信息的码流时，对所述码流进行联合解码或独立解码，得到所述结构光信息和所述视频帧；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
所述图像处理器，用于利用所述结构光信息，对所述视频帧进行处理，得到目标图像帧，并将所述目标图像帧合成视频。
上述方案中，所述码流为视频编码信息码流和结构光编码信息码流；所述解码器包括视频解码器和结构光解码器；
所述视频解码器，用于对所述视频编码信息码流进行解码，得到所述视频帧；
所述结构光解码器，用于对所述结构光编码信息码流进行解码，得到所述结构光信息。
上述方案中，所述码流为混合编码信息码流；所述解码器包括视频解码器；
所述视频解码器，用于对所述混合编码信息码流进行解码，得到所述视频帧和所述结构光信息。
上述方案中，所述图像处理器，还用于利用所述结构光信息调整所述视频帧的景深，得到所述景深图像帧；以及将所述景深图像帧，作为所述目标图像帧。
上述方案中，所述图像处理器，还用于当所述结构光信息为相位信息时，利用所述相位信息，对所述视频帧进行去模糊，得到去模糊图像帧；以及将所述去模糊图像帧，作为所述目标图像帧。
上述方案中，所述解码装置还包括深度图像生成器；
所述深度图像生成器，用于在所述对所述码流进行联合解码或独立解码，得到所述结构光信息和所述视频帧之后，对所述结构光信息进行恢复，生成深度图像帧。
上述方案中，所述解码器包括视频解码器，所述解码装置还包括深度图像生成器；
所述深度图像生成器和所述图像处理器独立于所述视频解码器，所述视频解码器连接所述深度图像生成器和所述图像处理器；或者，所述深度图像生成器和所述图像处理器集成于所述视频解码器中；或者，所述深度图像生成器集成于所述视频解码器中，所述图像处理器独立于所述视频解码器，所述视频解码器连接所述图像处理器；或者，所述图像处理器集成于所述视频解码器中，所述深度图像生成器独立于所述视频解码器，所述视频解码器连接所述深度图像生成器。
上述方案中，所述解码器包括结构光解码器和视频解码器，所述解码装置还包括深度图像生成器；
所述深度图像生成器独立于所述结构光解码器，所述图像处理器独立于所述视频解码器，所述结构光解码器连接所述深度图像生成器和所述图像处理器，所述视频解码器连接所述图像处理器；或者，所述深度图像生成器集成于所述结构光解码器中，所述图像处理器独立于所述视频解码器，所述结构光解码器和所述视频解码器连接所述图像处理器；或者，所述深度图像生成器独立于所述结构光解码器，所述图像处理器集成于所述视频解码器中，所述结构光解码器连接所述深度图像生成器和所述视频解码器；或者，所述深度图像生成器集成于所述视频解码器中，所述图像处理器集成于所述结构光解码器中，所述结构光解码器连接所述视频解码器。
本申请实施例提供一种信息处理系统，所述系统包括：编码装置和解码装置，所述编码装置包括结构光模组、图像传感器和编码器，所述解码装置包括图像处理器和解码器；
所述结构光模组，用于采集结构光信息；
所述图像传感器，用于采集视频帧；所述结构光信息和所述视频帧一一对应；
所述编码器，用于对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；以及将所述编码信息写入码流，并将所述码流发送至所述解码装置；
所述解码器，用于当接收到所述码流时，对所述码流进行联合解码或独立解码，得到所述结构光信息和所述视频帧；
所述图像处理器，用于利用所述结构光信息，对所述视频帧进行处理，得到目标图像帧，并将所述目标图像帧合成视频。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个第一处理器执行，以实现如上述任意一种应用于编码装置的信息处理方法。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个第二处理器执行，以实现如上述任意一种应用于解码装置的信息处理方法。
本申请实施例提供了一种信息处理方法、编码装置、解码装置、系统及存储介质，应用于编码装置的信息处理方法包括：采集结构光信息和视频帧；所述结构光信息和所述视频帧一一对应；对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；将所述编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述编码信息进行图像处理。由于直接采用结构光信息进行编码，得到表征结构光信息的编码信息，将该编码信息发送给解码装置，如此，解码装置可以从编码信息中解码出结构光信息和视频帧，进而，解码装置不仅可以利用结构光信息，恢复得到深度图像，还可以利用结构光信息，对视频帧进行图像处理，提高了信息利用率。
附图说明
图1为本申请实施例提供的一种应用于编码装置的信息处理方法的流程示意图；
图2为本申请实施例提供的另一种应用于编码装置的信息处理方法的流程示意图；
图3为本申请实施例提供的一种应用于解码装置的信息处理方法的流程示意图；
图4为本申请实施例提供的另一种应用于解码装置的信息处理方法的流程示意图；
图5为本申请实施例提供的一种应用于编码装置和解码装置的信息处理方法的流程示意图；
图6为本申请实施例提供的一种编码装置的结构示意图一；
图7为本申请实施例提供的一种编码装置的结构示意图二；
图8(a)为本申请实施例提供的一种解码装置的结构示意图一；
图8(b)为本申请实施例提供的一种解码装置的结构示意图二；
图8(c)为本申请实施例提供的一种解码装置的结构示意图三；
图8(d)为本申请实施例提供的一种解码装置的结构示意图四；
图9(a)为本申请实施例提供的一种解码装置的结构示意图五；
图9(b)为本申请实施例提供的一种解码装置的结构示意图六；
图9(c)为本申请实施例提供的一种解码装置的结构示意图七；
图9(d)为本申请实施例提供的一种解码装置的结构示意图八；
图10(a)为本申请实施例提供的一种信息处理系统的结构示意图一；
图10(b)为本申请实施例提供的一种信息处理系统的结构示意图二；
图10(c)为本申请实施例提供的一种信息处理系统的结构示意图三；
图10(d)为本申请实施例提供的一种信息处理系统的结构示意图四；
图11(a)为本申请实施例提供的一种信息处理系统的结构示意图五；
图11(b)为本申请实施例提供的一种信息处理系统的结构示意图六；
图11(c)为本申请实施例提供的一种信息处理系统的结构示意图七；
图11(d)为本申请实施例提供的一种信息处理系统的结构示意图八。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
本申请实施例提供了一种信息处理方法，应用于编码装置中，如图1所示，信息处理方法包括：
S101、采集结构光信息和视频帧；结构光信息和视频帧一一对应；
编码装置在预设时长内，同时采集结构光信息和视频帧；其中，视频帧是指在预设时长内采集的多帧图像，由多帧图像构成预设时长的视频；一帧图像对应一个结构光信息。
在一些实施例中，编码装置在预设时段内，采集视频帧；在预设时段内，采集相位信息；获取参考信息，参考信息表征距离和相位的映射关系；基于相位信息和参考信息，得到结构光信息。
编码装置中的图像传感器采集视频帧，与此同时，编码装置中的结构光模组采集相位信息；结构光模组获取参考信息，基于相位信息和参考信息，生成结构光信息；其中，参考信息为结构光模组中已定义的距离和相位编码的映射信息，其长期保持不变。
示例性地，相位信息可以为结构光模组获取到的散斑、激光条纹、格雷码、正弦条纹等，具体的相位信息可根据实际情况确定，本申请实施例对此不做限定。
在一些实施例中，结构光模组将相位信息和参考信息，作为结构光信息。
进一步地，结构光模组获取参考信息后，可以将相位信息、参考信息和结构光传感器对应的属性参数，作为结构光信息。
在一些实施例中，编码装置对相位信息和参考信息进行匹配，得到第一深度图像和第一冗余数据；第一冗余数据为生成深度图像时产生的其他数据；将第一深度图像和第一冗余数据，作为结构光信息。
编码装置中的结构光模组对每个相位信息和参考信息进行匹配，得到第一深度图像和第一冗余数据；将第一深度图像和第一冗余数据，作为结构光信息；其中，第一深度图像可以为当前采集时刻的采集对象对应的深度图像信息。
在一些实施例中，编码装置对相位信息进行预处理，得到预处理后的相位信息；基于预处理后的相位信息和参考信息，得到结构光信息。
编码装置中的结构光模组对相位信息进行预处理，得到预处理后的相位信息；可以将预处理后的相位信息和参考信息，作为结构光信息；还可以对预处理后的相位信息和参考信息进行处理，得到结构光信息。
在一些实施例中，预处理可以为滤波、去噪、信号放大、相位校准等方式中的一种处理方式，还可以为滤波、去噪、信号放大、相位校准等方式中的至少两种处理方式，具体的预处理可根据实际情况确定，本申请实施例对此不做限定。
在一些实施例中，编码装置对预处理后的相位信息和参考信息进行匹配，得到第二深度图像和第二冗余数据；第二冗余数据为生成深度图像时产生的其他数据；将第二深度图像和第二冗余数据，作为结构光信息。
S102、对结构光信息和视频帧进行联合编码或独立编码，得到编码信息；编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
编码装置中的编码器对结构光信息和视频帧进行联合编码，得到表征与结构光信息和视频帧对应的编码信息，即混合编码信息；或者，对结构光信息和视频帧进行独立编码，得到结构光信息和视频帧各自对应的信息，即结构光编码信息和视频编码信息。
在一些实施例中，编码装置中的视频编码器，利用视频帧和结构光信息的相关性，对结构光信息中每个结构光信息和视频帧中与之对应的一个视频帧进行联合编码，得到一个混合编码信息，进而得到由所有混合编码信息组成的混合编码信息。
在一些实施例中，编码信息为混合编码信息；编码装置对结构光信息进行编码，得到结构光编码信息；对视频帧进行编码，得到视频编码信息；将结构光编码信息合并至视频编码信息的预设位置处，得到混合编码信息。
编码装置中的编码器包括视频编码器，视频编码器利用结构光信息的空间相关性或时间相关性等，对结构光信息进行编码，得到结构光编码信息；对视频帧进行编码，得到视频帧编码信息；再将结构光编码信息和视频帧编码信息进行合并，得到混合编码信息。
在一些实施例中，预设位置可以为图像信息头、序列信息头、附加参数集或其他任意位置。
示例性地，编码装置中的视频编码器，对每一个结构光信息进行编码，得到一个结构光编码信息；再对与之对应的每一个视频帧进行编码，得到一个视频帧编码信息，然后，将这一个结构光编码信息合并至这一个视频帧编码信息的图像信息头，得到一个混合编码信息；进而得到由所有混合编码信息组成的混合编码信息；其中，视频编码信息由所有视频帧编码信息组成。
示例性地，编码装置中的视频编码器，对结构光信息进行编码，得到结构光编码信息；对视频帧进行编码，得到视频编码信息；将结构光编码信息合并至视频编码信息的序列信息头，得到混合编码信息。
需要说明的是，由于包含结构光编码信息的混合编码信息具有可解耦性或独立性，采用视频图像的标准编解码协议的解码装置接收到该混合编码信息后，可以从该混合编码信息中仅提取出视频帧，不提取结构光信息；也可以从该混合编码信息中仅提取出结构光信息，不提取视频帧；本申请实施例不做限制。
在一些实施例中，编码信息为结构光编码信息和视频编码信息；编码装置对结构光信息进行编码，得到结构光编码信息；对视频帧进行编码，得到视频编码信息。
编码装置中的编码器包括结构光编码器和视频编码器，结构光编码器利用结构光信息的空间相关性或时间相关性等，对结构光信息进行编码，得到结构光编码信息；视频编码器对视频帧进行编码，得到视频编码信息。
具体地，视频编码器采用视频编解码协议，对视频帧进行编码，得到视频编码信息；视频编解码协议可以为H.264、H.265、H.266、VP9或AV1等。
具体地，结构光编码器采用行业标准或特定组织的特定标准，对结构光信息进行编码，得到结构光编码信息。
在一些实施例中，编码装置可以对所有结构光信息都进行编码；或者，仅对视频帧中的指定视频帧对应的结构光信息进行编码，不对视频帧中的非指定视频帧对应的结构光信息进行编码；或者，仅对视频帧中每个视频帧的指定图像位置对应的结构光信息进行编码，不对视频帧中每个视频帧的非指定图像位置对应的结构光信息进行编码；本申请实施例不做限制。
在一些实施例中，编码装置利用结构光信息的相位相关性、结构光信息的空间相关性、结构光信息的时间相关性、预设深度范围或者结构光信息的频域相关性，对结构光信息进行冗余消除，得到消除后的结构光信息；对消除后的结构光信息进行编码，得到结构光编码信息。
编码装置为了压缩编码信息的大小，在对结构光信息进行编码的过程中，执行消除冗余的操作，再对消除后的结构光信息进行编码，得到结构光编码信息。
示例性地，编码装置中的结构光模组确定结构光信息为至少两个相位信息时，利用至少两个相位信息之间的相位相关性，对至少两个相位信息进行冗余消除，得到消除后的结构光信息；
或者，确定结构光信息不是至少两个相位信息时，利用结构光信息的空间相关性，对结构光信息进行冗余消除，得到消除后的结构光信息；
或者，利用结构光信息的时间相关性，对结构光信息进行冗余消除，得到消除后的结构光信息；
或者，利用预设深度范围，对结构光信息进行冗余消除，得到消除后的结构光信息；
或者，对结构光信息进行频域转换，得到频域信息；利用频域相关性，对频域信息进行冗余消除，得到消除后的结构光信息。
需要说明的是，预设深度范围为结构光传感器能够采集到结构光信息的范围。
在一些实施例中，解码装置从至少一个视点，采集结构光信息和视频帧；从至少一个视点中确定间隔视点，将与间隔视点对应的结构光信息，作为间隔结构光信息；对间隔结构光信息和视频帧进行联合编码或独立编码，得到间隔编码信息，并将间隔编码信息发送至解码装置，以使得解码装置基于间隔编码信息进行图像处理。
编码装置针对多个视点，考虑到在同一时刻，从同一个场景的多个视点采集到的多个结构光信息，存在很强的相关性，为了减少传输的编码信息，可以只对多个视点中的间隔视点对应的结构光信息进行编码并发送；解码装置得到间隔视点的结构光信息后，可以用多个视点中的间隔视点的结构光信息，生成多个视点中除了间隔视点的其他视点的结构光信息。
示例性地，对于3维高性能视频编码(3D HEVC，3 Dimension High EfficiencyVideo Coding)，编码装置往往采集多个视点的结构光信息和视频帧，可以对多个视点中间隔视点的结构光信息和多个视点的视频帧进行独立编码或联合编码，得到间隔编码信息，间隔编码信息为与间隔视点的结构光信息和多个视点的视频帧对应的信息，或者为间隔视点的结构光信息对应的信息和多个视点的视频帧对应的信息。
示例性地，针对同一个场景的3个视点，3个视点中的间隔视点为左右两个视点，3个视点中的其他视点为中间视点。
S103、将编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于编码信息进行图像处理。
编码装置将编码信息写入码流，将该码流发送至解码装置。
示例性地，编码装置中的视频编码器将混合编码信息写入混合码流，将混合码流发送至解码装置。
示例性地，编码装置中的视频编码器将视频编码信息写入视频编码码流，并将视频编码码流发送至解码装置；编码装置中的结构光编码器将结构光编码信息写入结构光编码信息码流，并将结构光编码信息码流发送至解码装置。
在一些实施例中，如图2所示的一种信息处理方法的流程图，在步骤S102之后，信息处理方法还包括：
S201、利用编码二进制数据之间的相关性，对编码信息消除比特冗余，得到消除后的编码信息；
编码装置为了压缩编码信息的大小，在得到编码信息后，再执行比热冗余的消除操作，得到消除后的编码信息。
示例性地，编码装置中的结构光编码器在得到结构光编码信息后，对结构光编码信息消除比特冗余，得到消除后的结构光编码信息；编码装置中的视频编码器在得到视频编码信息后，对视频编码信息消除比特冗余，得到消除后的视频编码信息；消除后的结构光编码信息和消除后的视频编码信息就是消除后的编码信息。
示例性地，编码装置中的视频编码器在得到混合编码信息后，对混合编码信息消除比特冗余，得到消除后的编码信息。
S202、将消除后的编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于消除后的编码信息进行图像处理。
编码装置中的视频编码器将消除后的编码信息写入混合码流，将混合码流发送至解码装置；或者，编码装置中的视频编码器将消除后的视频编码信息写入视频编码码流，并将视频编码码流发送至解码装置；编码装置中的结构光编码器将消除后的结构光编码信息写入结构光编码信息码流，并将结构光编码信息码流发送至解码装置。
可以理解的是，解码装置直接采用结构光信息进行编码，得到表征结构光信息的编码信息，将该编码信息发送给解码装置，如此，解码装置可以从编码信息中解码出结构光信息和视频帧，进而，解码装置不仅可以利用结构光信息，恢复得到深度图像，还可以利用结构光信息，对视频帧进行图像处理，提高了信息利用率。
本申请实施例还提供了一种信息处理方法，应用于解码装置中，如图3所示，信息处理方法包括：
S301、当接收到携带有编码信息的码流时，对码流进行联合解码或独立解码，得到结构光信息和视频帧；编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
解码装置中的解码器接收到码流后，根据码流，执行联合解码或独立解码，得到结构光信息和视频帧。
在一些实施例中，码流为混合编码信息码流；解码装置对混合编码信息码流进行解码，得到视频帧和结构光信息。
解码装置中的解码器包括视频解码器，视频解码器对混合编码信息进行解码，得到结构光信息和视频帧。
在一些实施例中，码流为视频编码信息码流和结构光编码信息码流；解码装置对视频编码信息码流进行解码，得到视频帧；对结构光编码信息码流进行解码，得到结构光信息。
解码装置中的解码器包括视频解码器和结构光解码器，视频解码器对视频编码信息进行解码，得到视频帧；结构光解码器对结构光编码信息进行解码，得到结构光信息。
S302、利用结构光信息，对视频帧进行处理，得到目标图像帧，并将目标图像帧合成视频。
解码装置在结构光辅助功能开启时，利用结构光信息中每个结构光信息，对视频帧中与之对应的每个视频帧进行处理，得到一个目标图像帧，进而得到所有的目标图像帧，并由所有目标图像帧合成视频，显示视频。
在一些实施例中，解码装置按照默认解码要求，利用结构光信息，对视频帧进行相应地处理；或者，接收解码指令，响应于解码指令，利用结构光信息，对视频帧进行相应地处理；其中，解码指令可以为景深设置指令、图像增强指令等。
在一些实施例中，解码装置利用结构光信息调整视频帧的景深，得到景深图像；将景深图像帧，作为目标图像帧。
解码装置中的图像处理器接收到景深设置指令时，响应于景深设置指令，利用结构光信息中每个结构光信息，对视频帧中与之对应的每个视频帧进行景深调整，得到景深图像。
需要说明的是，这里可以直接利用结构光信息作用于视频帧，生成具有景深的图像，而不需要将利用结构光信息生成的深度图像和视频帧进行叠加，生成具有景深的图像。
在一些实施例中，解码装置利用相位信息，对视频帧进行去模糊，得到去模糊图像；将去模糊图像帧，作为目标图像帧。
解码装置中的图像处理器解析每个相位信息，得到解析结果，利用解析结果，对与之对应的每个视频帧进行去模糊，得到去模糊图像。
示例性地，在高动态范围(HDR，High Dynamic Range)视频中，每一帧HDR图像是对1幅长曝光图像和1幅短曝光图像进行融合得到的，在当前时刻，针对同一个场景，控制图像传感器拍摄长曝光图像和短曝光图像，并控制结构光传感器拍摄相位图像，将相位图像作为结构光信息；对相位图像和长曝光图像进行联合编码或独立编码，得到一个编码信息，对相位图像和短曝光图像进行联合编码或独立编码，得到另一个编码信息；将这两个编码信息传输至解码装置；解码装置从这两个编码信息中解码出长曝光图像、短曝光图像和相位图像；再利用相位图像，对长曝光图像和短曝光图像分别进行去模糊，得到去模糊后的长曝光图像和去模糊后的短曝光图像；对去模糊后的长曝光图像和去模糊后的短曝光图像进行融合，得到一帧更为清晰的HDR图像。
在一些实施例中，解码装置对间隔编码信息进行独立解码或联合解码，得到间隔视点的结构光信息和至少一个视点的视频帧；对间隔视点的结构光信息进行差值，得到至少一个视点中除了间隔视点的其他视点的结构光信息；利用间隔视点的结构光信息、其他视点的结构光信息，对至少一个视点的视频帧进行处理，得到目标图像帧。
示例性地，至少一帧为针对同一个场景的3个视点，3个视点中的间隔视点为左右两个视点，可以对左右两个视点的结构光信息进行差值，得到中间视点的结构光信息。
在一些实施例中，如图4所示的一种信息处理方法的流程图，在步骤S301之后，信息处理方法还包括：
S303、对结构光信息进行恢复，生成深度图像帧。
解码装置中的深度图像生成器对结构光信息中每个结构光信息进行处理，得到深度图像帧。
在一些实施例中，信息处理系统包括编码装置和解码装置，应用于信息处理系统的信息处理方法，如图5所示的一种信息处理方法的流程图，信息处理方法包括：
S401、编码装置采集结构光信息和视频帧；结构光信息和视频帧一一对应；
S402、编码装置对结构光信息和视频帧进行联合编码或独立编码，得到编码信息；编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
S403、编码装置将编码信息写入码流，并将码流发送至解码装置；
S404、解码装置在接收到携带有编码信息的码流时，对码流进行联合解码或独立解码，得到结构光信息和视频帧；
S405、解码装置利用结构光信息，对视频帧进行处理，得到目标图像帧，并将目标图像帧合成视频。
可以理解的是，解码装置接收表征结构光信息的编码信息，如此，解码装置可以从编码信息中解码出结构光信息和视频帧，进而，解码装置不仅可以利用结构光信息，恢复得到深度图像，还可以利用结构光信息，对视频帧进行景深调整和去模糊等优化处理，提高了信息利用率，并且优化处理后得到的目标图像帧相较于视频帧，图像效果更佳，也就是说，还提高了图像质量。
本申请实施例还提供了一种编码装置，如图6所示，编码装置6包括：结构光模组61、图像传感器62和编码器60；
结构光模组61，用于采集结构光信息；
图像传感器62，用于采集视频帧；结构光信息和视频帧一一对应；
编码器60，用于对结构光信息和视频帧进行联合编码或独立编码，得到编码信息；编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；以及将编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于编码信息进行图像处理。
在一些实施例中，结构光模组61包括结构光传感器611；
图像传感器62，还用于在预设时段内，采集视频帧；
结构光传感器611，用于在预设时段内，采集相位信息；
结构光模组61，还用于获取参考信息，参考信息表征距离和相位的映射关系；以及基于相位信息和参考信息，得到结构光信息。
在一些实施例中，结构光模组61，还用于对相位信息和参考信息进行匹配，得到第一深度图像和第一冗余数据；第一冗余数据为生成深度图像时产生的其他数据；以及将第一深度图像和第一冗余数据，作为结构光信息。
在一些实施例中，结构光模组61，还用于对相位信息进行预处理，得到预处理后的相位信息；以及基于预处理后的相位信息和参考信息，得到结构光信息。
在一些实施例中，结构光模组61，还用于对预处理后的相位信息和参考信息进行匹配，得到第二深度图像和第二冗余数据；第二冗余数据为生成深度图像时产生的其他数据；以及将第二深度图像和第二冗余数据，作为结构光信息。
在一些实施例中，编码信息为结构光编码信息和视频编码信息；编码器60为结构光编码器63和视频编码器64；其中，
结构光编码器，用于对结构光信息进行编码，得到结构光编码信息；
视频编码器，用于对视频帧进行编码，得到视频编码信息。
在一些实施例中，结构光模组61，还用于利用结构光信息的相位相关性、结构光信息的空间相关性、结构光信息的时间相关性、预设深度范围或者结构光信息的频域相关性，对结构光信息进行冗余消除，得到消除后的结构光信息；
结构光编码器，还用于对消除后的结构光信息进行编码，得到结构光编码信息。
在一些实施例中，编码器60，还用于在对结构光信息和视频帧进行联合编码或独立编码，得到编码信息之后，利用编码二进制数据之间的相关性，对编码信息消除比特冗余，得到消除后的编码信息；以及将消除后的编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于消除后的编码信息进行图像处理。
在一些实施例中，编码信息为混合编码信息；如图7所示的另一种编码装置的结构示意图，编码器60包括视频编码器71；
视频编码器71，用于对结构光信息进行编码，得到结构光编码信息；及对视频帧进行编码，得到视频编码信息；以及将结构光编码信息合并至视频编码信息的预设位置处，得到混合编码信息。
本申请实施例提供了一种计算机可读存储介质，应用于编码装置，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个第一处理器执行，程序被第一处理器执行时实现如应用于编码装置的信息处理方法。
本申请实施例还提供了一种解码装置，解码装置包括：图像处理器和解码器；
解码器，用于当接收到携带有编码信息的码流时，对码流进行联合解码或独立解码，得到结构光信息和视频帧；编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
图像处理器，用于利用结构光信息，对视频帧进行处理，得到目标图像帧，并将目标图像帧合成视频。
在一些实施例中，码流为视频编码信息码流和结构光编码信息码流；解码器包括视频解码器和结构光解码器；
视频解码器，用于对视频编码信息码流进行解码，得到视频帧；
结构光解码器，用于对结构光编码信息码流进行解码，得到结构光信息。
在一些实施例中，码流为混合编码信息码流；解码器包括视频解码器；
视频解码器，用于对混合编码信息码流进行解码，得到视频帧和结构光信息。
在一些实施例中，图像处理器，还用于利用结构光信息调整视频帧的景深，得到景深图像帧；以及将景深图像帧，作为目标图像帧。
在一些实施例中，图像处理器，还用于当结构光信息为相位信息时，利用相位信息，对视频帧进行去模糊，得到去模糊图像帧；以及将去模糊图像帧，作为目标图像帧。
在一些实施例中，解码装置还包括深度图像生成器；
深度图像生成器，用于在对码流进行联合解码或独立解码，得到结构光信息和视频帧之后，对结构光信息进行恢复，生成深度图像帧。
在一些实施例中，解码器包括视频解码器，解码装置还包括深度图像生成器；
深度图像生成器和图像处理器独立于视频解码器，视频解码器连接深度图像生成器和图像处理器；或者，深度图像生成器和图像处理器集成于视频解码器中；或者，深度图像生成器集成于视频解码器中，图像处理器独立于视频解码器，视频解码器连接图像处理器；或者，图像处理器集成于视频解码器中，深度图像生成器独立于视频解码器，视频解码器连接深度图像生成器。
示例性地，如图8(a)所示的一种解码装置的结构示意图，解码装置18包括图像处理器181，还包括视频解码器182和深度图像生成器183；深度图像生成器183和图像处理器181都独立于视频解码器182，视频解码器182连接深度图像生成器183和图像处理器181；其中，视频解码器182对混合编码信息进行处理，输出结构光信息和视频帧，视频解码器182将结构光信息传输至深度图像生成器183，深度图像生成器183利用结构光信息，恢复得到深度图像帧；视频解码器182将视频帧和结构光信息送入图像处理器181，图像处理器181利用结构光信息对视频帧进行处理，输出目标图像帧。
示例性地，如图8(b)所示的一种解码装置的结构示意图，解码装置28包括图像处理器281，还包括视频解码器282和深度图像生成器283；深度图像生成器283和图像处理器281都集成于视频解码器282中；其中，视频解码器282对混合编码信息进行处理，直接输出深度图像帧和/或目标图像帧。
示例性地，如图8(c)所示的一种解码装置的结构示意图，解码装置38包括图像处理器381，还包括视频解码器382和深度图像生成器383；深度图像生成器383集成于视频解码器382中，图像处理器381独立于视频解码器382，视频解码器382连接图像处理器381；其中，视频解码器382对混合编码信息进行处理，输出深度图像帧、结构光信息和视频帧，视频解码器382再将视频帧和结构光信息送入图像处理器381；图像处理器381利用结构光信息对视频帧进行处理，输出目标图像帧。
示例性地，如图8(d)所示的一种解码装置的结构示意图，解码装置48包括图像处理器481，还包括视频解码器482和深度图像生成器483；图像处理器481集成于视频解码器482中，深度图像生成器483独立于视频解码器482，视频解码器482连接深度图像生成器483；其中，视频解码器482对混合编码信息进行处理，输出结构光信息和目标图像帧，视频解码器482再将结构光信息送入深度图像生成器483；深度图像生成器483对结构光信息进行恢复，输出深度图像帧。
在一些实施例中，解码器包括结构光解码器和视频解码器，解码装置还包括深度图像生成器；
深度图像生成器独立于结构光解码器，图像处理器独立于视频解码器，结构光解码器连接深度图像生成器和图像处理器，视频解码器连接图像处理器；或者，深度图像生成器集成于结构光解码器中，图像处理器独立于视频解码器，结构光解码器和视频解码器连接图像处理器；或者，深度图像生成器独立于结构光解码器，图像处理器集成于视频解码器中，结构光解码器连接深度图像生成器和视频解码器；或者，深度图像生成器集成于视频解码器中，图像处理器集成于结构光解码器中，结构光解码器连接视频解码器。
示例性地，如图9(a)所示的一种解码装置的结构示意图，解码装置19包括图像处理器191，还包括结构光解码器192、视频解码器193和深度图像生成器194；深度图像生成器194独立于结构光解码器192，图像处理器191独立于视频解码器193，结构光解码器192连接深度图像生成器194和图像处理器191，视频解码器193连接图像处理器191；其中，视频解码器193对视频编码信息进行处理，输出视频帧，结构光解码器192对结构光编码信息进行处理，输出结构光信息；视频解码器193将视频帧传输至图像处理器191，结构光解码器192将结构光信息传输至深度图像生成器194和图像处理器191，深度图像生成器194输出深度图像帧，图像处理器191输出目标图像帧。
示例性地，如图9(b)所示的一种解码装置的结构示意图，解码装置29包括图像处理器291，还包括结构光解码器292、视频解码器293和深度图像生成器294；深度图像生成器294集成于结构光解码器292中，图像处理器291独立于视频解码器293，结构光解码器292和视频解码器293连接图像处理器291；其中，视频解码器293对视频编码信息进行处理，输出视频帧，结构光解码器292对结构光编码信息进行处理，输出结构光信息和深度图像帧；视频解码器293将视频帧传输至图像处理器291，结构光解码器292将结构光信息传输至图像处理器291，图像处理器291输出目标图像帧。
示例性地，如图9(c)所示的一种解码装置的结构示意图，解码装置39包括图像处理器391，还包括结构光解码器392、视频解码器393和深度图像生成器394；深度图像生成器394独立于结构光解码器392，图像处理器391集成于视频解码器393中，结构光解码器392连接深度图像生成器394和视频解码器393；其中，结构光解码器392对结构光编码信息进行处理，输出结构光信息；结构光解码器392将结构光信息传输至深度图像生成器394和视频解码器393，深度图像生成器394输出深度图像帧，视频解码器393基于结构光信息和视频编码信息，输出目标图像帧。
示例性地，如图9(d)所示的一种解码装置的结构示意图，解码装置49包括图像处理器491，还包括结构光解码器492、视频解码器493和深度图像生成器494；深度图像生成器494集成于结构光解码器492中，图像处理器491集成于视频解码器493中，结构光解码器492连接视频解码器493；其中，结构光解码器492对结构光编码信息进行处理，输出结构光信息和深度图像帧；结构光解码器492将结构光信息传输至视频解码器493，视频解码器493基于视频编码信息和结构光信息，输出目标图像帧。
本申请实施例提供了一种计算机可读存储介质，应用于解码装置，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个第二处理器执行，程序被第二处理器执行时实现如应用于解码装置的信息处理方法。
本申请实施例还提供了一种信息处理系统，信息处理系统包括：编码装置和解码装置，编码装置包括结构光模组、图像传感器和编码器，解码装置包括图像处理器和解码器；
结构光模组，用于采集结构光信息；
图像传感器，用于采集视频帧；结构光信息和视频帧一一对应；
编码器，用于对结构光信息和视频帧进行联合编码或独立编码，得到编码信息；编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；以及将编码信息写入码流，并将码流发送至解码装置；
解码器，用于当接收到码流时，对码流进行联合解码或独立解码，得到结构光信息和视频帧；
图像处理器，用于利用结构光信息，对视频帧进行处理，得到目标图像帧，并将目标图像帧合成视频。
示例性地，如图10(a)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置7和解码装置18。
示例性地，如图10(b)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置7和解码装置28。
示例性地，如图10(c)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置7和解码装置38。
示例性地，如图10(d)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置7和解码装置48。
示例性地，如图11(a)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置6和解码装置19。
示例性地，如图11(b)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置6和解码装置29。
示例性地，如图11(c)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置6和解码装置39。
示例性地，如图11(d)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置6和解码装置49。
需要说明的是，信息处理系统中的结构光编码器对结构光信息进行编码，得到多个结构光编码信息时，可以利用一个结构光解码器对多个结构光信息进行编码，生成多个结构光编码信息，将多个结构光编码信息写入多路码流；或者，多个结构光编码器对多个结构光信息进行编码，生成多个结构光编码信息，将多个结构光编码信息写入多路码流或一路码流；或者，当结构光信息为第一(第二)深度图像和第一(第二)冗余数据时，由同一个结构光编码器或多个结构光编码器，对深度图像进行编码，得到深度图像编码信息，并将深度图像编码信息写入一路码流，对冗余数据进行编码，得到冗余数据编码信息，并将冗余数据编码信息写入另一路码流；相应地，可以由一个结构光解码器解析多路的码流，或多个结构光解码器解析一路码流，或多个结构光解码器解析多路码流，具体的可根据实际情况确定，本申请实施例对此不做限定。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、系统或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、系统和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (29)
1.一种信息处理方法，应用于编码装置，其特征在于，所述方法包括：
采集结构光信息和视频帧；所述结构光信息和所述视频帧一一对应；所述采集结构光信息和视频帧，包括：在预设时段内，采集所述视频帧；在所述预设时段内，采集相位信息；获取参考信息，所述参考信息表征距离和相位的映射关系；对所述相位信息和所述参考信息进行匹配，得到深度图像和冗余数据，所述深度图像为当前采集时刻的采集对象对应的深度图像信息，所述冗余数据是生成深度图像时产生的其他数据，将所述深度图像和所述冗余数据作为所述结构光信息；
对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
将所述编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述编码信息进行图像处理。
2.根据权利要求1所述的方法，其特征在于，所述对所述相位信息和所述参考信息进行匹配，得到深度图像和冗余数据，包括：
对所述相位信息进行预处理，得到预处理后的相位信息；
对所述预处理后的相位信息和所述参考信息进行匹配，得到深度图像和冗余数据。
3.根据权利要求1或2所述的方法，其特征在于，所述编码信息为结构光编码信息和视频编码信息；所述对所述结构光信息和所述视频帧进行独立编码，得到编码信息，包括：
对所述结构光信息进行编码，得到所述结构光编码信息；
对所述视频帧进行编码，得到所述视频编码信息。
4.根据权利要求3所述的方法，其特征在于，所述对所述结构光信息进行编码，得到所述结构光编码信息，包括：
利用所述结构光信息的相位相关性、所述结构光信息的空间相关性、所述结构光信息的时间相关性、预设深度范围或者所述结构光信息的频域相关性，对所述结构光信息进行冗余消除，得到消除后的结构光信息；
对所述消除后的结构光信息进行编码，得到所述结构光编码信息。
5.根据权利要求4所述的方法，其特征在于，在所述对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息之后，所述方法还包括：
利用编码二进制数据之间的相关性，对所述编码信息消除比特冗余，得到消除后的编码信息；
将所述消除后的编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述消除后的编码信息进行图像处理。
6.根据权利要求4所述的方法，其特征在于，所述编码信息为混合编码信息；所述对所述结构光信息和所述视频帧进行联合编码，得到编码信息，包括：
对所述结构光信息进行编码，得到结构光编码信息；
对所述视频帧进行编码，得到视频编码信息；
将所述结构光编码信息合并至所述视频编码信息的预设位置处，得到所述混合编码信息。
7.一种信息处理方法，应用于权利要求1的所述编码装置对应的解码装置，其特征在于，所述方法包括：
当接收到携带有编码信息的码流时，对所述码流进行联合解码或独立解码，得到结构光信息和视频帧；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
利用所述结构光信息，对所述视频帧进行景深调整或图像增强处理，得到目标图像帧，并将所述目标图像帧合成视频。
8.根据权利要求7所述的方法，其特征在于，所述码流为视频编码信息码流和结构光编码信息码流；所述对所述码流进行独立解码，得到所述结构光信息和所述视频帧，包括：
对所述视频编码信息码流进行解码，得到所述视频帧；
对所述结构光编码信息码流进行解码，得到所述结构光信息。
9.根据权利要求7所述的方法，其特征在于，所述码流为混合编码信息码流；所述对所述码流进行联合解码，得到所述结构光信息和所述视频帧，包括：
对所述混合编码信息码流进行解码，得到所述视频帧和所述结构光信息。
10.根据权利要求7至9任一项所述的方法，其特征在于，所述利用所述结构光信息，对所述视频帧进行景深调整，得到目标图像帧，包括：
利用所述结构光信息调整所述视频帧的景深，得到所述景深图像帧；
将所述景深图像帧，作为所述目标图像帧。
11.根据权利要求7至9任一项所述的方法，其特征在于，所述利用所述结构光信息，对所述视频帧进行图像增强处理，得到目标图像帧，包括：
当所述结构光信息为相位信息时，利用所述相位信息，对所述视频帧进行去模糊，得到去模糊图像帧；
将所述去模糊图像帧，作为所述目标图像帧。
12.根据权利要求7至9任一项所述的方法，其特征在于，在所述对所述码流进行联合解码或独立解码，得到所述结构光信息和所述视频帧之后，所述方法还包括：
对所述结构光信息进行恢复，生成深度图像帧。
13.一种编码装置，其特征在于，所述编码装置包括：结构光模组、图像传感器和编码器；
所述结构光模组，用于采集结构光信息；所述结构光模组包括结构光传感器；所述结构光传感器，用于在预设时段内，采集相位信息；所述结构光模组，还用于获取参考信息，所述参考信息表征距离和相位的映射关系；对所述相位信息和所述参考信息进行匹配，得到深度图像和冗余数据，所述深度图像为当前采集时刻的采集对象对应的深度图像信息，所述冗余数据是生成深度图像时产生的其他数据，将所述深度图像和所述冗余数据作为所述结构光信息；
所述图像传感器，用于在预设时段内，采集视频帧；所述结构光信息和所述视频帧一一对应；
所述编码器，用于对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；以及将所述编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述编码信息进行图像处理。
14.根据权利要求13所述的装置，其特征在于，
所述结构光模组，还用于对所述相位信息进行预处理，得到预处理后的相位信息；以及对所述预处理后的相位信息和所述参考信息进行匹配，得到所述深度图像和冗余数据。
15.根据权利要求13或14所述的装置，其特征在于，所述编码信息为结构光编码信息和视频编码信息；所述编码器包括结构光编码器和视频编码器；其中，
所述结构光编码器，用于对所述结构光信息进行编码，得到所述结构光编码信息；
所述视频编码器，用于对所述视频帧进行编码，得到所述视频编码信息。
16.根据权利要求15所述的装置，其特征在于，
所述结构光模组，还用于利用所述结构光信息的相位相关性、所述结构光信息的空间相关性、所述结构光信息的时间相关性、预设深度范围或者所述结构光信息的频域相关性，对所述结构光信息进行冗余消除，得到消除后的结构光信息；
所述结构光编码器，还用于对所述消除后的结构光信息进行编码，得到所述结构光编码信息。
17.根据权利要求16所述的装置，其特征在于，
所述编码器，还用于在所述对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息之后，利用编码二进制数据之间的相关性，对所述编码信息消除比特冗余，得到消除后的编码信息；以及将所述消除后的编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述消除后的编码信息进行图像处理。
18.根据权利要求16所述的装置，其特征在于，所述编码信息为混合编码信息；所述编码器包括视频编码器；
所述视频编码器，用于对所述结构光信息进行编码，得到结构光编码信息；及对所述视频帧进行编码，得到视频编码信息；以及将所述结构光编码信息合并至所述视频编码信息的预设位置处，得到所述混合编码信息。
19.一种解码装置，用于解析权利要求13的所述编码装置发送的所述码流，其特征在于，所述解码装置包括：图像处理器和解码器；
所述解码器，用于当接收到携带有编码信息的码流时，对所述码流进行联合解码或独立解码，得到结构光信息和视频帧；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；
所述图像处理器，用于利用所述结构光信息，对所述视频帧进行景深调整或图像增强处理，得到目标图像帧，并将所述目标图像帧合成视频。
20.根据权利要求19所述的装置，其特征在于，所述码流为视频编码信息码流和结构光编码信息码流；所述解码器包括视频解码器和结构光解码器；
所述视频解码器，用于对所述视频编码信息码流进行解码，得到所述视频帧；
所述结构光解码器，用于对所述结构光编码信息码流进行解码，得到所述结构光信息。
21.根据权利要求19所述的装置，其特征在于，所述码流为混合编码信息码流；所述解码器包括视频解码器；
所述视频解码器，用于对所述混合编码信息码流进行解码，得到所述视频帧和所述结构光信息。
22.根据权利要求19至21任一项所述的装置，其特征在于，
所述图像处理器，还用于利用所述结构光信息调整所述视频帧的景深，得到所述景深图像帧；以及将所述景深图像帧，作为所述目标图像帧。
23.根据权利要求19至21任一项所述的装置，其特征在于，
所述图像处理器，还用于当所述结构光信息为相位信息时，利用所述相位信息，对所述视频帧进行去模糊，得到去模糊图像帧；以及将所述去模糊图像帧，作为所述目标图像帧。
24.根据权利要求19至21任一项所述的装置，其特征在于，所述解码装置还包括深度图像生成器；
所述深度图像生成器，用于在所述对所述码流进行联合解码或独立解码，得到所述结构光信息和所述视频帧之后，对所述结构光信息进行恢复，生成深度图像帧。
25.根据权利要求19所述的装置，其特征在于，所述解码器包括视频解码器，所述解码装置还包括深度图像生成器；
所述深度图像生成器和所述图像处理器独立于所述视频解码器，所述视频解码器连接所述深度图像生成器和所述图像处理器；或者，所述深度图像生成器和所述图像处理器集成于所述视频解码器中；或者，所述深度图像生成器集成于所述视频解码器中，所述图像处理器独立于所述视频解码器，所述视频解码器连接所述图像处理器；或者，所述图像处理器集成于所述视频解码器中，所述深度图像生成器独立于所述视频解码器，所述视频解码器连接所述深度图像生成器。
26.根据权利要求19所述的装置，其特征在于，所述解码器包括结构光解码器和视频解码器，所述解码装置还包括深度图像生成器；
所述深度图像生成器独立于所述结构光解码器，所述图像处理器独立于所述视频解码器，所述结构光解码器连接所述深度图像生成器和所述图像处理器，所述视频解码器连接所述图像处理器；或者，所述深度图像生成器集成于所述结构光解码器中，所述图像处理器独立于所述视频解码器，所述结构光解码器和所述视频解码器连接所述图像处理器；或者，所述深度图像生成器独立于所述结构光解码器，所述图像处理器集成于所述视频解码器中，所述结构光解码器连接所述深度图像生成器和所述视频解码器；或者，所述深度图像生成器集成于所述视频解码器中，所述图像处理器集成于所述结构光解码器中，所述结构光解码器连接所述视频解码器。
27.一种信息处理系统，其特征在于，所述系统包括：编码装置和解码装置，所述编码装置包括结构光模组、图像传感器和编码器，所述解码装置包括图像处理器和解码器；
所述结构光模组，用于采集结构光信息；所述结构光模组包括结构光传感器；所述结构光传感器，用于在预设时段内，采集相位信息；所述结构光模组，还用于获取参考信息，所述参考信息表征距离和相位的映射关系；对所述相位信息和所述参考信息进行匹配，得到深度图像和冗余数据，所述深度图像为当前采集时刻的采集对象对应的深度图像信息，所述冗余数据是生成深度图像时产生的其他数据，将所述深度图像和所述冗余数据作为所述结构光信息；
所述图像传感器，用于在预设时间段内，采集视频帧；所述结构光信息和所述视频帧一一对应；
所述编码器，用于对所述结构光信息和所述视频帧进行联合编码或独立编码，得到编码信息；所述编码信息表征与结构光信息和视频帧对应的信息、或者表征结构光信息和视频帧各自对应的信息；以及将所述编码信息写入码流，并将所述码流发送至所述解码装置；
所述解码器，用于当接收到所述码流时，对所述码流进行联合解码或独立解码，得到所述结构光信息和所述视频帧；
所述图像处理器，用于利用所述结构光信息，对所述视频帧进行景深调整或图像增强处理，得到目标图像帧，并将所述目标图像帧合成视频。
28.一种计算机可读存储介质，应用于编码装置，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个第一处理器执行，以实现如权利要求1-6任一项所述的方法。
29.一种计算机可读存储介质，应用于解码装置，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个第二处理器执行，以实现如权利要求7-12任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911074390.6A CN110784706B (zh) | 2019-11-06 | 2019-11-06 | 信息处理方法、编码装置、解码装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911074390.6A CN110784706B (zh) | 2019-11-06 | 2019-11-06 | 信息处理方法、编码装置、解码装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110784706A CN110784706A (zh) | 2020-02-11 |
| CN110784706B true CN110784706B (zh) | 2021-08-31 |
Family
ID=69389354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911074390.6A Active CN110784706B (zh) | 2019-11-06 | 2019-11-06 | 信息处理方法、编码装置、解码装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110784706B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
| CN103796004A (zh) * | 2014-02-13 | 2014-05-14 | 西安交通大学 | 一种主动结构光的双目深度感知方法 |
| US8774559B2 (en) * | 2009-01-19 | 2014-07-08 | Sharp Laboratories Of America, Inc. | Stereoscopic dynamic range image sequence |
| US9219905B1 (en) * | 2012-08-31 | 2015-12-22 | Integrity Applications Incorporated | Systems and methodologies related to formatting data for 3-D viewing |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10360717B1 (en) * | 2017-12-29 | 2019-07-23 | Intel Corporation | Method and apparatus for subdividing shader workloads in a graphics processor for efficient machine configuration |
-
2019
- 2019-11-06 CN CN201911074390.6A patent/CN110784706B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8774559B2 (en) * | 2009-01-19 | 2014-07-08 | Sharp Laboratories Of America, Inc. | Stereoscopic dynamic range image sequence |
| CN102833487A (zh) * | 2012-08-08 | 2012-12-19 | 中国科学院自动化研究所 | 面向视觉计算的光场成像装置和方法 |
| US9219905B1 (en) * | 2012-08-31 | 2015-12-22 | Integrity Applications Incorporated | Systems and methodologies related to formatting data for 3-D viewing |
| CN103796004A (zh) * | 2014-02-13 | 2014-05-14 | 西安交通大学 | 一种主动结构光的双目深度感知方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110784706A (zh) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2009092233A1 (zh) | 多视角摄像及图像处理装置、系统及方法与解码处理方法 | |
| KR20130091323A (ko) | 스테레오스코픽 및 멀티-뷰 이미지들의 송신, 프로세싱 및 렌더링을 위한 시스템 및 방법 | |
| WO1997004404A1 (en) | Multi-viewpoint digital video encoding | |
| KR20120118779A (ko) | 전처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 부호화 방법 및 그 장치, 후처리 필터링을 수반한 계층 간 예측을 수행하는 비디오 복호화 방법 및 그 장치 | |
| ITTO20121073A1 (it) | Apparato e metodo per la generazione e la ricostruzione di un flusso video | |
| CN110784706B (zh) | 信息处理方法、编码装置、解码装置、系统及存储介质 | |
| EP2415023A1 (en) | System and format for encoding data and three-dimensional rendering | |
| WO2021087819A1 (zh) | 信息处理方法、终端设备及存储介质 | |
| JP2000308089A (ja) | 立体画像符号化装置および復号化装置 | |
| CN114175626B (zh) | 信息处理方法、编码装置、解码装置、系统及存储介质 | |
| AU2017204215B2 (en) | A method and a device for encoding a signal representative of a light-field content | |
| CN110784722B (zh) | 编解码方法、编解码装置、编解码系统及存储介质 | |
| AU2011284087A1 (en) | Image processing apparatus and method and program | |
| KR100898700B1 (ko) | 다중 시점의 영상을 이용한 초고해상도 방송 시스템 및방법 | |
| KR100566100B1 (ko) | 3차원 다시점 멀티미디어 처리용 적응형 다중화/역다중화장치 및 그 방법 | |
| CN112788325B (zh) | 一种图像处理方法、编码装置、解码装置及存储介质 | |
| CN110809152A (zh) | 信息处理方法、编码装置、解码装置、系统及存储介质 | |
| US20130050424A1 (en) | Image processing apparatus and image processing method | |
| KR100656783B1 (ko) | 양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한양안식 입체 영상 렌더링 장치 및 그 방법 | |
| KR101289269B1 (ko) | 영상 시스템에서 영상 디스플레이 장치 및 방법 | |
| JP2019083405A (ja) | 復号装置、伝送装置、復号方法、伝送装置の制御方法、およびプログラム | |
| WO2021087810A1 (zh) | 信息处理方法和系统、编码装置、解码装置及存储介质 | |
| KR102094848B1 (ko) | (초)다시점 미디어의 라이브 스트리밍 방법 및 장치 | |
| JP7382186B2 (ja) | 符号化装置、復号装置、及びプログラム | |
| GB2620655A (en) | Image processing using residual frames and differential frames |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |