CN114175626B - 信息处理方法、编码装置、解码装置、系统及存储介质 - Google Patents

信息处理方法、编码装置、解码装置、系统及存储介质 Download PDF

Info

Publication number
CN114175626B
CN114175626B CN201980098950.3A CN201980098950A CN114175626B CN 114175626 B CN114175626 B CN 114175626B CN 201980098950 A CN201980098950 A CN 201980098950A CN 114175626 B CN114175626 B CN 114175626B
Authority
CN
China
Prior art keywords
information
depth
depth information
video
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980098950.3A
Other languages
English (en)
Other versions
CN114175626A (zh
Inventor
贾玉虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN114175626A publication Critical patent/CN114175626A/zh
Application granted granted Critical
Publication of CN114175626B publication Critical patent/CN114175626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请实施例公开了一种信息处理方法、编码装置、解码装置、系统及存储介质，应用于编码装置的信息处理方法包括：采集深度信息和视频帧；对深度信息和视频帧进行联合编码或独立编码，得到编码信息；将编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于编码信息进行图像处理。

Description

信息处理方法、编码装置、解码装置、系统及存储介质
技术领域
本申请实施例涉及图像处理技术，尤其涉及一种信息处理方法、编码装置、解码装置、系统及存储介质。
背景技术
目前，在传输视频信号时，为了提高传输速度，先利用编码器，对图像传感器采集到的二维图像和深度相机采集到的深度图像进行视频编码，形成视频编码信息，将视频编码信息发送至解码器，解码器从视频编码信息中解码得到二维图像和深度图像；可以知道，相关技术在编码端仅仅获取深度图像，对其进行编码和传输，进而在解码端利用深度图像对二维图像进行立体化，但是深度相机实际获得的信息量是远远大于深度图像所呈现的信息量，相关技术只编码传输了深度图像，降低了信息利用率。
发明内容
本申请提供一种信息处理方法、编码装置、解码装置、系统及存储介质，能够提高信息的利用率。
本申请实施例的技术方案可以如下实现：
本申请实施例提供一种信息处理方法，应用于编码装置，所述方法包括：
采集深度信息和视频帧；
对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息；
将所述编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述编码信息进行图像处理。
上述方案中，所述采集深度信息和视频帧，包括：
在预设时长内，采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息；
将所述初始深度信息，作为所述深度信息。
上述方案中，所述采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，所述方法还包括：
对所述初始深度信息进行相位校准，得到相位信息；
将所述相位信息，作为所述深度信息。
上述方案中，所述采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，所述方法还包括：
对所述初始深度信息进行深度图像生成，得到冗余信息；所述冗余信息为生成深度图像的过程中产生的除了深度图像之外的其他信息；
将所述冗余信息，作为所述深度信息。
上述方案中，所述编码信息为混合编码信息；所述对所述深度信息和所述视频帧进行联合编码，得到编码信息，包括：
利用所述深度信息和所述视频帧的相关性，对所述深度信息和所述视频帧进行联合编码，得到所述混合编码信息；
或者，对所述视频帧进行编码，得到视频编码信息；对所述深度信息进行编码，得到深度编码信息；将所述深度编码信息合并至所述视频编码信息中的预设位置处，得到所述混合编码信息。
上述方案中，所述编码信息为深度编码信息和视频编码信息；所述对所述深度信息和所述视频帧进行联合编码，得到编码信息，包括：
对所述深度信息进行编码，得到所述深度编码信息；
对所述视频帧进行编码，得到所述视频编码信息。
上述方案中，所述对所述深度信息进行编码，得到深度编码信息；或者，所述对所述深度信息进行编码，得到所述深度编码信息，包括：
对所述深度信息进行缩减处理，得到缩减后的深度信息；所述缩减后的深度信息的数据量小于所述深度信息的数据量；
对所述缩减后的深度信息进行编码，得到所述深度编码信息。
上述方案中，所述对所述深度信息进行缩减处理，得到缩减后的深度信息，包括：
从所述视频帧中确定部分视频帧，并从所述深度信息中确定与所述部分视频帧对应的部分深度信息；
或者，从所述视频帧中确定部分图像位置，并从所述深度信息中确定与所述部分图像位置对应的部分深度信息；
将所述部分深度信息，作为所述缩减后的深度信息。
上述方案中，所述对所述深度信息进行缩减处理，得到缩减后的深度信息，包括：
利用所述深度信息的相位相关性、所述深度信息的空间相关性、所述深度信息的时间相关性、预设深度范围或者所述深度信息的频域相关性，对所述深度信息进行冗余消除，得到消除后的深度信息；
将所述消除后的深度信息，作为所述缩减后的深度信息。
上述方案中，所述利用所述深度信息的相位相关性、所述深度信息的空间相关性、所述深度信息的时间相关性、预设深度范围或者所述深度信息的频域相关性，对所述深度信息进行冗余肖除，得到消除后的深度信息，包括：
当所述深度信息为至少两个相位信息时，利用所述至少两个相位信息之间的相位相关性，对所述至少两个相位信息进行冗余消除，得到所述消除后的深度信息；
或者，当所述深度信息不是所述至少两个相位信息时，利用所述深度信息的空间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述深度信息的时间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述预设深度范围，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，对所述深度信息进行频域转换，得到频域信息；利用所述频域相关性，对所述频域信息进行冗余消除，得到所述消除后的深度信息。
上述方案中，在所述对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息之后，所述方法还包括：
利用编码二进制数据之间的相关性，对所述编码信息消除比特冗余，得到消除后的编码信息；
将所述消除后的编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述消除后的编码信息进行图像处理。
本申请实施例提供一种信息处理方法，应用于解码装置，所述方法包括：
当接收到携带有编码信息的码流时，对所述码流进行联合解码或独立解码，得到所述深度信息和所述视频帧；
利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，并将所述目标图像帧合成视频。
上述方案中，所述利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，包括：
利用所述深度信息调整所述视频帧的景深，得到所述景深图像帧；
将所述景深图像帧，作为所述目标图像帧。
上述方案中，所述利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，包括：
当所述深度信息为相位信息时，利用所述相位信息，对所述视频帧进行去模糊，得到去模糊图像帧；
将所述去模糊图像帧，作为所述目标图像帧。
上述方案中，在所述对所述码流进行联合解码或独立解码，得到所述深度信息和所述视频帧之后，所述方法还包括：
对所述深度信息进行恢复，生成深度图像帧。
本申请实施例提供一种编码装置，所述编码装置包括：深度信息模组、图像传感器和编码器；
所述深度信息模组，用于采集深度信息；
所述图像传感器，用于采集视频帧；
所述编码器，用于对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息；以及将所述编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述编码信息进行图像处理。
上述方案中，所述深度信息模组包括深度信息传感器；
所述图像传感器，还用于在预设时长内，采集所述视频帧；
所述深度信息传感器，用于在所述预设时长内，通过飞行时间模组或双目视觉模组采集初始深度信息；以及将所述初始深度信息，作为所述深度信息。
上述方案中，所述深度信息模组，还用于在所述采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，对所述初始深度信息进行相位校准，得到相位信息；以及将所述相位信息，作为所述深度信息。
上述方案中，所述深度信息模组，还用于在所述采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，对所述初始深度信息进行深度图像生成，得到冗余信息；所述冗余信息为生成深度图像的过程中产生的除了深度图像之外的其他信息；以及将所述冗余信息，作为所述深度信息。
上述方案中，所述编码信息为混合编码信息；所述编码器包括视频编码器；
所述视频编码器，用于利用所述深度信息和所述视频帧的相关性，对所述深度信息和所述视频帧进行联合编码，得到所述混合编码信息；
或者，对所述视频帧进行编码，得到视频编码信息；对所述深度信息进行编码，得到深度编码信息；将所述深度编码信息合并至所述视频编码信息中的预设位置处，得到所述混合编码信息。
上述方案中，所述视频编码器，还用于对所述深度信息进行缩减处理，得到缩减后的深度信息；所述缩减后的深度信息的数据量小于所述深度信息的数据量；以及对所述缩减后的深度信息进行编码，得到所述深度编码信息。
上述方案中，所述视频编码器，还用于从所述视频帧中确定部分视频帧，并从所述深度信息中确定与所述部分视频帧对应的部分深度信息；
或者，从所述视频帧中确定部分图像位置，并从所述深度信息中确定与所述部分图像位置对应的部分深度信息；
以及将所述部分深度信息，作为所述缩减后的深度信息。
上述方案中，所述视频编码器，还用于利用所述深度信息的相位相关性、所述深度信息的空间相关性、所述深度信息的时间相关性、预设深度范围或者所述深度信息的频域相关性，对所述深度信息进行冗余消除，得到消除后的深度信息；以及将所述消除后的深度信息，作为所述缩减后的深度信息。
上述方案中，所述视频编码器，还用于当所述深度信息为至少两个相位信息时，利用所述至少两个相位信息之间的相位相关性，对所述至少两个相位信息进行冗余消除，得到所述消除后的深度信息；
或者，当所述深度信息不是所述至少两个相位信息时，利用所述深度信息的空间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述深度信息的时间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述预设深度范围，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，对所述深度信息进行频域转换，得到频域信息；利用所述频域相关性，对所述频域信息进行冗余消除，得到所述消除后的深度信息。
上述方案中，所述编码信息为深度编码信息和视频编码信息；所述编码器包括深度信息编码器和视频编码器；其中，
所述深度信息编码器，用于对所述深度信息进行编码，得到所述深度编码信息；
所述视频编码器，用于对所述视频帧进行编码，得到所述视频编码信息。
上述方案中，所述深度信息编码器，还用于对所述深度信息进行缩减处理，得到缩减后的深度信息；所述缩减后的深度信息的数据量小于所述深度信息的数据量；以及对所述缩减后的深度信息进行编码，得到所述深度编码信息。
上述方案中，所述深度信息编码器，还用于从所述视频帧中确定部分视频帧，并从所述深度信息中确定与所述部分视频帧对应的部分深度信息；
或者，从所述视频帧中确定部分图像位置，并从所述深度信息中确定与所述部分图像位置对应的部分深度信息；
以及将所述部分深度信息，作为所述缩减后的深度信息。
上述方案中，所述深度信息编码器，还用于利用所述深度信息的相位相关性、所述深度信息的空间相关性、所述深度信息的时间相关性、预设深度范围或者所述深度信息的频域相关性，对所述深度信息进行冗余消除，得到消除后的深度信息；以及将所述消除后的深度信息，作为所述缩减后的深度信息。
上述方案中，所述深度信息编码器，还用于当所述深度信息为至少两个相位信息时，利用所述至少两个相位信息之间的相位相关性，对所述至少两个相位信息进行冗余消除，得到所述消除后的深度信息；
或者，当所述深度信息不是所述至少两个相位信息时，利用所述深度信息的空间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述深度信息的时间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述预设深度范围，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，对所述深度信息进行频域转换，得到频域信息；利用所述频域相关性，对所述频域信息进行冗余消除，得到所述消除后的深度信息。
上述方案中，所述编码器，还用于在所述对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息之后，利用编码二进制数据之间的相关性，对所述编码信息消除比特冗余，得到消除后的编码信息；以及将所述消除后的编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述消除后的编码信息进行图像处理。
本申请实施例提供一种解码装置，所述解码装置包括：图像处理器和解码器；
所述解码器，用于当接收到携带有编码信息的码流时，对所述码流进行联合解码或独立解码，得到所述深度信息和所述视频帧；
所述图像处理器，用于利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，并将所述目标图像帧合成视频。
上述方案中，所述图像处理器，还用于利用所述深度信息调整所述视频帧的景深，得到所述景深图像帧；以及将所述景深图像帧，作为所述目标图像帧。
上述方案中，所述图像处理器，还用于当所述深度信息为相位信息时，利用所述相位信息，对所述视频帧进行去模糊，得到去模糊图像帧；以及将所述去模糊图像帧，作为所述目标图像帧。
上述方案中，所述解码装置还包括深度图像生成器；
所述深度图像生成器，用于在所述对所述码流进行联合解码或独立解码，得到所述深度信息和所述视频帧之后，对所述深度信息进行恢复，生成深度图像帧。
上述方案中，所述解码器包括视频解码器，所述解码装置还包括深度图像生成器；
所述深度图像生成器和所述图像处理器独立于所述视频解码器，所述视频解码器连接所述深度图像生成器和所述图像处理器；或者，所述深度图像生成器和所述图像处理器集成于所述视频解码器中；或者，所述深度图像生成器集成于所述视频解码器中，所述图像处理器独立于所述视频解码器，所述视频解码器连接所述图像处理器；或者，所述图像处理器集成于所述视频解码器中，所述深度图像生成器独立于所述视频解码器，所述视频解码器连接所述深度图像生成器。
上述方案中，所述解码器包括深度信息解码器和视频解码器，所述解码装置还包括深度图像生成器；
所述深度图像生成器独立于所述深度信息解码器，所述图像处理器独立于所述视频解码器，所述深度信息解码器连接所述深度图像生成器和所述图像处理器，所述视频解码器连接所述图像处理器；或者，所述深度图像生成器集成于所述深度信息解码器中，所述图像处理器独立于所述视频解码器，所述深度信息解码器和所述视频解码器连接所述图像处理器；或者，所述深度图像生成器独立于所述深度信息解码器，所述图像处理器集成于所述视频解码器中，所述深度信息解码器连接所述深度图像生成器和所述视频解码器；或者，所述深度图像生成器集成于所述视频解码器中，所述图像处理器集成于所述深度信息解码器中，所述深度信息解码器连接所述视频解码器。
本申请实施例提供一种信息处理系统，所述系统包括：编码装置和解码装置，所述编码装置包括深度信息模组、图像传感器和编码器，所述解码装置包括图像处理器和解码器；
所述深度信息模组，用于采集深度信息；
所述图像传感器，用于采集视频帧；
所述编码器，用于对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息；以及将所述编码信息写入码流，并将所述码流发送至所述解码装置；
所述解码器，用于当接收到所述码流时，对所述码流进行联合解码或独立解码，得到所述深度信息和所述视频帧；
所述图像处理器，用于利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，并将所述目标图像帧合成视频。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个第一处理器执行，以实现如上述任意一种应用于编码装置的信息处理方法。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个第二处理器执行，以实现如上述任意一种应用于解码装置的信息处理方法。
附图说明
图1为本申请实施例提供的一种应用于编码装置的信息处理方法的流程示意图；
图2为本申请实施例提供的另一种应用于编码装置的信息处理方法的流程示意图；
图3为本申请实施例提供的一种应用于解码装置的信息处理方法的流程示意图；
图4为本申请实施例提供的另一种应用于解码装置的信息处理方法的流程示意图；
图5为本申请实施例提供的一种应用于编码装置和解码装置的信息处理方法的流程示意图；
图6为本申请实施例提供的一种编码装置的结构示意图一；
图7为本申请实施例提供的一种编码装置的结构示意图二；
图8(a)为本申请实施例提供的一种解码装置的结构示意图一；
图8(b)为本申请实施例提供的一种解码装置的结构示意图二；
图8(c)为本申请实施例提供的一种解码装置的结构示意图三；
图8(d)为本申请实施例提供的一种解码装置的结构示意图四；
图9(a)为本申请实施例提供的一种解码装置的结构示意图五；
图9(b)为本申请实施例提供的一种解码装置的结构示意图六；
图9(c)为本申请实施例提供的一种解码装置的结构示意图七；
图9(d)为本申请实施例提供的一种解码装置的结构示意图八；
图10(a)为本申请实施例提供的一种信息处理系统的结构示意图一；
图10(b)为本申请实施例提供的一种信息处理系统的结构示意图二；
图10(c)为本申请实施例提供的一种信息处理系统的结构示意图三；
图10(d)为本申请实施例提供的一种信息处理系统的结构示意图四；
图11(a)为本申请实施例提供的一种信息处理系统的结构示意图五；
图11(b)为本申请实施例提供的一种信息处理系统的结构示意图六；
图11(c)为本申请实施例提供的一种信息处理系统的结构示意图七；
图11(d)为本申请实施例提供的一种信息处理系统的结构示意图八。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
可以理解的是，此处所描述的具体实施例仅仅用于解释相关申请，而非对该申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关申请相关的部分。
本申请实施例提供了一种信息处理方法，应用于编码装置中，如图1所示，信息处理方法包括：
S101、采集深度信息和视频帧；
编码装置在预设时长内，同时采集深度信息和视频帧；其中，视频帧是指在预设时长内采集的多帧图像，由多帧图像构成预设时长的视频。
需要说明的是，每一帧深度信息都对应视频帧中的一帧图像。
在一些实施例中，编码装置在预设时长内，采集视频帧，并通过飞行时间模组、双目视觉模组或者其他深度信息采集模块来采集初始深度信息；将采集到的初始深度信息作为深度信息。
编码装置利用图像传感器采集视频帧，与此同时，利用深度信息模组采集初始深度信息；将采集到的初始深度信息作为深度信息；其中，深度信息模组包括飞行时间(TOF，Time ofFlight)模组或双目视觉模组。
示例性地，TOF模组为TOF摄像头，当利用TOF摄像头采集初始深度信息时，深度信息模组将原始电荷图像和/或传感器属性参数(如温度等)，确定为初始深度信息，其中，原始电荷图像的获取过程可以为：在两种不同的发射信号频率下，通过控制积分时间，深度信息模组采样得到不同相位的共多组信号，进行光电转换后，再将这多组信号进行比特量化，以生成多张原始电荷图像。
示例性地，双目视觉模组为双目摄像头，当利用双目摄像头获取目标对象对应的初始深度信息时，深度信息模组利用双目摄像头拍摄得到的两幅图像，根据两幅图像的位姿将计算得到视差等信息，深度信息模组将视差信息、摄像头参数等作为初始深度信息。
在一些实施例中，编码装置在采集视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，对初始深度信息进行相位校准，得到相位信息；并将校准后的相位信息作为深度信息。
编码装置中的深度信息模组对初始深度信息进行相位校准，得到相位信息；或对初始深度信息进行其他处理，生成其他信息，将其他信息作为深度信息。
示例性地，相位信息可以为深度信息模组获取到的散斑、激光条纹、格雷码、正弦条纹等，具体的相位信息可根据实际情况确定，本申请实施例对此不做限定。
在一些实施例中，编码装置在采集视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，对初始深度信息进行深度图像生成，得到冗余信息；冗余信息为生成深度图像的过程中产生的除了深度图像之外的其他信息；将冗余信息，作为深度信息。
编码装置中的深度信息模组利用初始深度信息生成深度图像，获取生成深度图像的过程中产生的除了深度图像的其他信息，即冗余信息。
示例性地，当利用TOF摄像头获取到原始电荷图像之后，深度信息模组将原始电荷图像生成2幅过程深度数据和1幅背景数据，并将这2幅过程深度数据和1幅背景数据作为目标对象的深度信息。
S102、对深度信息和视频帧进行联合编码或独立编码，得到编码信息；
编码装置中的编码器对深度信息和视频帧进行联合编码，得到表征与深度信息和视频帧对应的信息，即混合编码信息；或者，对深度信息和视频帧进行独立编码，得到表征深度信息和视频帧各自对应的信息，即深度编码信息和视频编码信息。
在一些实施例中，编码装置中的视频编码器，利用视频帧和深度信息的相关性，对深度信息中每个深度信息和视频帧中与之对应的一个视频帧进行联合编码，得到一个混合编码信息，进而得到由所有混合编码信息组成的混合编码信息。
在一些实施例中，编码信息为混合编码信息；编码装置利用所述深度信息和所述视频帧的相关性，对所述深度信息和所述视频帧进行联合编码，得到所述混合编码信息；或者，对视频帧进行编码，得到视频编码信息，对深度信息进行编码，得到深度编码信息，将深度编码信息合并至视频编码信息的预设位置处，得到混合编码信息。
编码装置中的编码器包括视频编码器，视频编码器利用深度信息的空间相关性或时间相关性等，对深度信息进行编码，得到深度编码信息；对视频帧进行编码，得到视频帧编码信息；再将深度编码信息和视频帧编码信息进行合并，得到混合编码信息。
在一些实施例中，预设位置可以为图像信息头、序列信息头、附加参数集或其他任意位置。
示例性地，编码装置中的视频编码器，对每一个深度信息进行编码，得到一个深度编码信息；再对与之对应的每一个视频帧进行编码，得到一个视频帧编码信息，然后，将这一个深度编码信息合并至这一个视频帧编码信息的图像信息头，得到一个混合编码信息；进而得到由所有混合编码信息组成的混合编码信息；其中，视频编码信息由所有视频帧编码信息组成。
示例性地，编码装置中的视频编码器，对深度信息进行编码，得到深度编码信息；对视频帧进行编码，得到视频编码信息；将深度编码信息合并至视频编码信息的序列信息头，得到混合编码信息。
需要说明的是，由于包含深度编码信息的混合编码信息具有可解耦性或独立性，采用视频图像的标准编解码协议的解码装置接收到该混合编码信息后，可以从该混合编码信息中仅提取出视频帧，不提取深度信息；也可以从该混合编码信息中仅提取出深度信息，不提取视频帧；本申请实施例不做限制。
在一些实施例中，编码信息为深度编码信息和视频编码信息；编码装置对深度信息进行编码，得到深度编码信息；对视频帧进行编码，得到视频编码信息。
编码装置中的编码器包括深度信息编码器和视频编码器，深度信息编码器利用深度信息的空间相关性或时间相关性等，对深度信息进行编码，得到深度编码信息；视频编码器对视频帧进行编码，得到视频编码信息。
具体地，视频编码器采用视频编解码协议，对视频帧进行编码，得到视频编码信息；视频编解码协议可以为H.264、H.265、H.266、VP9或AV1等。
具体地，深度信息编码器采用行业标准或特定组织的特定标准，对深度信息进行编码，得到深度编码信息。
在一些实施例中，编码装置对深度信息进行缩减处理，得到缩减后的深度信息；缩减后的深度信息的数据量小于深度信息的数据量；对缩减后的深度信息进行编码，得到深度编码信息。
编码装置中的编码器对深度信息进行缩减处理，使得缩减后的深度信息的数据量小于深度信息的数据量，减小了深度信息的编码工作量。
在一些实施例中，编码装置从视频帧中确定部分视频帧，并从深度信息中确定与部分视频帧对应的部分深度信息；或者，从视频帧中确定部分图像位置，并从深度信息中确定与部分图像位置对应的部分深度信息；将部分深度信息，作为深度编码信息。
编码装置可以对所有深度信息都进行编码；或者，仅对视频帧中的部分视频帧对应的深度信息进行编码，不对视频帧中的非部分视频帧对应的深度信息进行编码；或者，仅对视频帧中每个视频帧的部分图像位置对应的深度信息进行编码，不对视频帧中每个视频帧的非部分图像位置对应的深度信息进行编码；本申请实施例不做限制。
在一些实施例中，编码装置利用深度信息的相位相关性、深度信息的空间相关性、深度信息的时间相关性、预设深度范围或者深度信息的频域相关性，对深度信息进行冗余消除，得到消除后的深度信息；将消除后的深度信息，作为缩减后的深度信息。
编码装置为了压缩编码信息的大小，在对深度信息进行编码的过程中，执行消除冗余的操作，再对消除后的深度信息进行编码，得到深度编码信息。
示例性地，编码装置中的深度信息模组确定深度信息为至少两个相位信息时，利用至少两个相位信息之间的相位相关性，对至少两个相位信息进行冗余消除，得到消除后的深度信息；
或者，确定深度信息不是至少两个相位信息时，利用深度信息的空间相关性，对深度信息进行冗余消除，得到消除后的深度信息；
或者，利用深度信息的时间相关性，对深度信息进行冗余消除，得到消除后的深度信息；
或者，利用预设深度范围，对深度信息进行冗余消除，得到消除后的深度信息；
或者，对深度信息进行频域转换，得到频域信息；利用频域相关性，对频域信息进行冗余消除，得到消除后的深度信息。
需要说明的是，预设深度范围为深度信息传感器能够采集到深度信息的范围。
在一些实施例中，解码装置从至少一个视点，采集深度信息和视频帧；从至少一个视点中确定间隔视点，将与间隔视点对应的深度信息，作为间隔深度信息；对间隔深度信息和视频帧进行联合编码或独立编码，得到间隔编码信息，并将间隔编码信息发送至解码装置，以使得解码装置基于间隔编码信息进行图像处理；其中，视点表征拍摄角度。
编码装置针对多个视点，考虑到在同一时刻，从同一个场景的多个视点采集到的多个深度信息，如相位信息或电荷图像，存在很强的相关性，为了减少传输的编码信息，可以只对多个视点中的间隔视点对应的深度信息进行编码并发送；解码装置得到间隔视点的深度信息后，可以用多个视点中的间隔视点的深度信息，生成多个视点中除了间隔视点的其他视点的深度信息。
示例性地，对于3维高性能视频编码(3D HEVC，3 Dimension High EfficiencyVideo Coding)，编码装置往往采集多个视点的深度信息和视频帧，可以对多个视点中间隔视点的深度信息和多个视点的视频帧进行独立编码或联合编码，得到间隔编码信息，间隔编码信息为与间隔视点的深度信息和多个视点的视频帧对应的信息，或者为间隔视点的深度信息对应的信息和多个视点的视频帧对应的信息。
示例性地，针对同一个场景的3个视点，3个视点中的间隔视点为左右两个视点，3个视点中的其他视点为中间视点。
S103、将编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于编码信息进行图像处理。
编码装置将编码信息写入码流，将该码流发送至解码装置。
示例性地，编码装置中的视频编码器将混合编码信息写入混合码流，将混合码流发送至解码装置。
示例性地，编码装置中的视频编码器将视频编码信息写入视频编码码流，并将视频编码码流发送至解码装置；编码装置中的深度信息编码器将深度编码信息写入深度编码信息码流，并将深度编码信息码流发送至解码装置。
在一些实施例中，如图2所示的一种信息处理方法的流程图，在步骤S102之后，信息处理方法还包括：
S201、利用编码二进制数据之间的相关性，对编码信息消除比特冗余，得到消除后的编码信息；
编码装置为了压缩编码信息的大小，在得到编码信息后，再执行比热冗余的消除操作，得到消除后的编码信息。
示例性地，编码装置中的深度信息编码器在得到深度编码信息后，对深度编码信息消除比特冗余，得到消除后的深度编码信息；编码装置中的视频编码器在得到视频编码信息后，对视频编码信息消除比特冗余，得到消除后的视频编码信息；消除后的深度编码信息和消除后的视频编码信息就是消除后的编码信息。
示例性地，编码装置中的视频编码器在得到混合编码信息后，对混合编码信息消除比特冗余，得到消除后的编码信息。
S202、将消除后的编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于消除后的编码信息进行图像处理。
编码装置中的视频编码器将消除后的编码信息写入混合码流，将混合码流发送至解码装置；或者，编码装置中的视频编码器将消除后的视频编码信息写入视频编码码流，并将视频编码码流发送至解码装置；编码装置中的深度信息编码器将消除后的深度编码信息写入深度编码信息码流，并将深度编码信息码流发送至解码装置。
可以理解的是，解码装置直接采用深度信息进行编码，得到表征深度信息的编码信息，将该编码信息发送给解码装置，如此，解码装置可以从编码信息中解码出深度信息和视频帧，进而，解码装置不仅可以利用深度信息，恢复得到深度图像，还可以利用深度信息，对视频帧进行图像处理，提高了信息利用率。
本申请实施例还提供了一种信息处理方法，应用于解码装置中，如图3所示，信息处理方法包括：
S301、当接收到携带有编码信息的码流时，对码流进行联合解码或独立解码，得到深度信息和视频帧；
解码装置中的解码器接收到码流后，对码流执行联合解码或独立解码，得到深度信息和视频帧。
在一些实施例中，解码装置还可能接收到携带有消除后的编码信息的码流，对携带有消除后的编码信息的码流进行联合解码或独立解码，得到深度信息和视频帧。
在一些实施例中，码流为混合编码信息码流；解码装置对混合编码信息码流进行解码，得到视频帧和深度信息。
解码装置中的解码器包括视频解码器，视频解码器对混合编码信息进行解码，得到深度信息和视频帧。
在一些实施例中，码流为视频编码信息码流和深度编码信息码流；解码装置对视频编码信息码流进行解码，得到视频帧；对深度编码信息码流进行解码，得到深度信息。
解码装置中的解码器包括视频解码器和深度信息解码器，视频解码器对视频编码信息进行解码，得到视频帧；深度信息解码器对深度编码信息进行解码，得到深度信息。
S302、利用深度信息，对视频帧进行图像处理，得到目标图像帧，并将目标图像帧合成视频。
解码装置可以在深度辅助功能开启时，利用深度信息中每个深度信息，对视频帧中与之对应的每个视频帧进行图像处理，得到一个目标图像帧，进而得到所有的目标图像帧，并由所有目标图像帧合成视频，显示视频。
在一些实施例中，解码装置按照默认解码要求，利用深度信息，对视频帧进行相应地处理；或者，接收解码指令，响应于解码指令，利用深度信息，对视频帧进行相应地处理；其中，解码指令可以为景深设置指令、图像增强指令或背景虚化指令等。
在一些实施例中，解码装置利用深度信息调整视频帧的景深，得到景深图像；将景深图像帧，作为目标图像帧。
解码装置中的图像处理器接收到景深设置指令时，响应于景深设置指令，利用深度信息中每个深度信息，对视频帧中与之对应的每个视频帧进行景深调整，得到景深图像。
需要说明的是，这里可以直接利用深度信息作用于视频帧，生成具有景深的图像，而不需要将利用深度信息生成的深度图像和视频帧进行叠加，生成具有景深的图像。
在一些实施例中，解码装置在深度信息为相位信息时，利用相位信息，对视频帧进行去模糊，得到去模糊图像；将去模糊图像帧，作为目标图像帧。
解码装置中的图像处理器收到图像增强指令时，响应于图像增强指令，解析每个相位信息，得到解析结果，利用解析结果，对与之对应的每个视频帧进行去模糊，得到去模糊图像。
在一些实施例中，解码装置在深度信息为相位信息时，利用相位信息，对视频帧进行虚化前景或后景处理，得到虚化的图像帧；将虚化的图像帧，作为目标图像帧。
解码装置中的图像处理器接收到背景虚化指令、且确定深度信息为相位信息时，响应于背景虚化指令，利用深度信息中每个深度信息，对视频帧中与之对应的每个视频帧进行虚化前景或后景处理，得到虚化的图像。
在一些实施例中，解码装置在深度信息为电荷信息时，利用电荷信息判断拍摄场景中的噪声和外部可见光，从而有助于进行视频帧的去噪和白平衡调节，生成质量更高的视频展示给用户，提高用户的图像视频体验。
在一些实施例中，解码装置对间隔编码信息进行独立解码或联合解码，得到间隔视点的深度信息和至少一个视点的视频帧；对间隔视点的深度信息进行差值，得到至少一个视点中除了间隔视点的其他视点的深度信息；利用间隔视点的深度信息、其他视点的深度信息，对至少一个视点的视频帧进行图像处理，得到目标图像帧。
示例性地，至少一帧为针对同一个场景的3个视点，3个视点中的间隔视点为左右两个视点，可以对左右两个视点的深度信息进行差值，得到中间视点的深度信息。
在一些实施例中，如图4所示的一种信息处理方法的流程图，在步骤S301之后，信息处理方法还包括：
S303、对深度信息进行恢复，生成深度图像帧。
解码装置中的深度图像生成器对深度信息中每个深度信息进行处理，得到深度图像帧。
在一些实施例中，当深度信息为相位信息时，对于因运动造成的图像模糊，利用预设时长内的多个时间点下采集的多个相位信息，进行运动估计，来恢复得到一幅深度图像，该幅深度图像更加清晰；其中，一幅深度图像是多个时间点中的一个时间点对应的深度图像；多个时间点可以为连续的时间点。
可以理解的是，对于需要不同时间点下采集的多个相位信息来恢复一幅深度图像的情况，本申请实施例由于是对预设时长内的相位信息进行编码发送，不是对深度图像进行编码发送，解码装置可以从码流中解码得到预设时长内的相位信息，再利用从预设时长内的相位信息中获取多个时间点对应的多个相位信息，实现对一幅深度图像的恢复。
在一些实施例中，信息处理系统包括编码装置和解码装置，应用于信息处理系统的信息处理方法，如图5所示的一种信息处理方法的流程图，信息处理方法包括：
S401、编码装置采集深度信息和视频帧；
S402、编码装置对深度信息和视频帧进行联合编码或独立编码，得到编码信息；编码信息表征与深度信息和视频帧对应的信息、或者表征深度信息和视频帧各自对应的信息；
S403、编码装置将编码信息写入码流，并将码流发送至解码装置；
S404、解码装置当接收到携带有编码信息的码流时，对码流进行联合解码或独立解码，得到深度信息和视频帧；
S405、解码装置利用深度信息，对视频帧进行图像处理，得到目标图像帧，并将目标图像帧合成视频。
可以理解的是，解码装置接收表征深度信息的编码信息，如此，解码装置可以从编码信息中解码出深度信息和视频帧，进而，解码装置不仅可以利用深度信息，恢复得到深度图像，还可以利用深度信息，对视频帧进行景深调整和去模糊等优化处理，提高了信息利用率，并且优化处理后得到的目标图像帧相较于视频帧，图像效果更佳，也就是说，还提高了图像质量。
本申请实施例还提供了一种编码装置，如图6所示，编码装置6包括：深度信息模组61、图像传感器62和编码器60；
深度信息模组61，用于采集深度信息；
图像传感器62，用于采集视频帧；
编码器60，用于对深度信息和视频帧进行联合编码或独立编码，得到编码信息；以及将编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于编码信息进行图像处理。
在一些实施例中，深度信息模组61包括深度信息传感器611；
图像传感器62，还用于在预设时长内，采集视频帧；
深度信息传感器611，用于在所述预设时长内，通过飞行时间模组或双目视觉模组采集初始深度信息；以及将所述初始深度信息，作为所述深度信息。
在一些实施例中，深度信息模组61，还用于在所述采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，对所述初始深度信息进行相位校准，得到相位信息；以及将所述相位信息，作为所述深度信息。
在一些实施例中，深度信息模组61，还用于在所述采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，对所述初始深度信息进行深度图像生成，得到冗余信息；所述冗余信息为生成深度图像的过程中产生的除了深度图像之外的其他信息；以及将所述冗余信息，作为所述深度信息。
在一些实施例中，编码信息为深度编码信息和视频编码信息；编码器60包括深度信息编码器63和视频编码器64；其中，
深度信息编码器63，用于对深度信息进行编码，得到深度编码信息；
视频编码器64，用于对视频帧进行编码，得到视频编码信息。
在一些实施例中，深度信息编码器63，还用于对深度信息进行缩减处理，得到缩减后的深度信息；缩减后的深度信息的数据量小于深度信息的数据量；以及对缩减后的深度信息进行编码，得到深度编码信息。
在一些实施例中，深度信息编码器63，还用于从视频帧中确定部分视频帧，并从深度信息中确定与部分视频帧对应的部分深度信息；
或者，从视频帧中确定部分图像位置，并从深度信息中确定与部分图像位置对应的部分深度信息；
以及将部分深度信息，作为缩减后的深度信息。
在一些实施例中，深度信息编码器63，还用于利用深度信息的相位相关性、深度信息的空间相关性、深度信息的时间相关性、预设深度范围或者深度信息的频域相关性，对深度信息进行冗余消除，得到消除后的深度信息；以及将消除后的深度信息，作为缩减后的深度信息。
在一些实施例中，深度信息编码器63，还用于当深度信息为至少两个相位信息时，利用至少两个相位信息之间的相位相关性，对至少两个相位信息进行冗余消除，得到消除后的深度信息；
或者，当深度信息不是至少两个相位信息时，利用深度信息的空间相关性，对深度信息进行冗余消除，得到消除后的深度信息；
或者，利用深度信息的时间相关性，对深度信息进行冗余消除，得到消除后的深度信息；
或者，利用预设深度范围，对深度信息进行冗余消除，得到消除后的深度信息；
或者，对深度信息进行频域转换，得到频域信息；利用频域相关性，对频域信息进行冗余消除，得到消除后的深度信息。
在一些实施例中，编码信息为混合编码信息；如图7所示的另一种编码装置的结构示意图，编码器60包括视频编码器71；
视频编码器71，用于利用深度信息和视频帧的相关性，对深度信息和视频帧进行联合编码，得到混合编码信息；
或者，对视频帧进行编码，得到视频编码信息；对深度信息进行编码，得到深度编码信息；将深度编码信息合并至视频编码信息中的预设位置处，得到混合编码信息。
在一些实施例中，视频编码器71，还用于对深度信息进行缩减处理，得到缩减后的深度信息；缩减后的深度信息的数据量小于深度信息的数据量；以及对缩减后的深度信息进行编码，得到深度编码信息。
在一些实施例中，视频编码器71，还用于从视频帧中确定部分视频帧，并从深度信息中确定与部分视频帧对应的部分深度信息；
或者，从视频帧中确定部分图像位置，并从深度信息中确定与部分图像位置对应的部分深度信息；
以及将部分深度信息，作为缩减后的深度信息。
在一些实施例中，视频编码器71，还用于利用深度信息的相位相关性、深度信息的空间相关性、深度信息的时间相关性、预设深度范围或者深度信息的频域相关性，对深度信息进行冗余消除，得到消除后的深度信息；以及将消除后的深度信息，作为缩减后的深度信息。
在一些实施例中，视频编码器71，还用于当深度信息为至少两个相位信息时，利用至少两个相位信息之间的相位相关性，对至少两个相位信息进行冗余消除，得到消除后的深度信息；
或者，当深度信息不是至少两个相位信息时，利用深度信息的空间相关性，对深度信息进行冗余消除，得到消除后的深度信息；
或者，利用深度信息的时间相关性，对深度信息进行冗余消除，得到消除后的深度信息；
或者，利用预设深度范围，对深度信息进行冗余消除，得到消除后的深度信息；
或者，对深度信息进行频域转换，得到频域信息；利用频域相关性，对频域信息进行冗余消除，得到消除后的深度信息。
在一些实施例中，编码器60，还用于在对深度信息和视频帧进行联合编码或独立编码，得到编码信息之后，利用编码二进制数据之间的相关性，对编码信息消除比特冗余，得到消除后的编码信息；以及将消除后的编码信息写入码流，并将码流发送至解码装置，以使得解码装置基于消除后的编码信息进行图像处理。
本申请实施例提供了一种计算机可读存储介质，应用于编码装置，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个第一处理器执行，程序被第一处理器执行时实现如应用于编码装置的信息处理方法。
本申请实施例还提供了一种解码装置，解码装置包括：图像处理器和解码器；
解码器，用于当接收到携带有编码信息的码流时，对码流进行联合解码或独立解码，得到深度信息和视频帧；
图像处理器，用于利用深度信息，对视频帧进行图像处理，得到目标图像帧，并将目标图像帧合成视频。
在一些实施例中，码流为视频编码信息码流和深度编码信息码流；解码器包括视频解码器和深度信息解码器；
视频解码器，用于对视频编码信息码流进行解码，得到视频帧；
深度信息解码器，用于对深度编码信息码流进行解码，得到深度信息。
在一些实施例中，码流为混合编码信息码流；解码器包括视频解码器；
视频解码器，用于对混合编码信息码流进行解码，得到视频帧和深度信息。
在一些实施例中，图像处理器，还用于利用深度信息调整视频帧的景深，得到景深图像帧；以及将景深图像帧，作为目标图像帧。
在一些实施例中，图像处理器，还用于当深度信息为相位信息时，利用相位信息，对视频帧进行去模糊，得到去模糊图像帧；以及将去模糊图像帧，作为目标图像帧。
在一些实施例中，解码装置还包括深度图像生成器；
深度图像生成器，用于在对码流进行联合解码或独立解码，得到深度信息和视频帧之后，对深度信息进行恢复，生成深度图像帧。
在一些实施例中，解码器包括视频解码器，解码装置还包括深度图像生成器；
深度图像生成器和图像处理器独立于视频解码器，视频解码器连接深度图像生成器和图像处理器；或者，深度图像生成器和图像处理器集成于视频解码器中；或者，深度图像生成器集成于视频解码器中，图像处理器独立于视频解码器，视频解码器连接图像处理器；或者，图像处理器集成于视频解码器中，深度图像生成器独立于视频解码器，视频解码器连接深度图像生成器。
示例性地，如图8(a)所示的一种解码装置的结构示意图，解码装置18包括图像处理器181，还包括视频解码器182和深度图像生成器183；深度图像生成器183和图像处理器181都独立于视频解码器182，视频解码器182连接深度图像生成器183和图像处理器181；其中，视频解码器182对混合编码信息进行处理，输出深度信息和视频帧，视频解码器182将深度信息传输至深度图像生成器183，深度图像生成器183对深度信息进行恢复，输出深度图像帧；视频解码器182将视频帧和深度信息送入图像处理器181，图像处理器181利用深度信息对视频帧进行图像处理，输出目标图像帧。
示例性地，如图8(b)所示的一种解码装置的结构示意图，解码装置28包括图像处理器281，还包括视频解码器282和深度图像生成器283；深度图像生成器283和图像处理器281都集成于视频解码器282中；其中，视频解码器282对混合编码信息进行处理，直接输出深度图像帧和/或目标图像帧。
示例性地，如图8(c)所示的一种解码装置的结构示意图，解码装置38包括图像处理器381，还包括视频解码器382和深度图像生成器383；深度图像生成器383集成于视频解码器382中，图像处理器381独立于视频解码器382，视频解码器382连接图像处理器381；其中，视频解码器382对混合编码信息进行处理，输出深度图像帧、深度信息和视频帧，视频解码器382再将视频帧和深度信息送入图像处理器381；图像处理器381利用深度信息对视频帧进行图像处理，输出目标图像帧。
示例性地，如图8(d)所示的一种解码装置的结构示意图，解码装置48包括图像处理器481，还包括视频解码器482和深度图像生成器483；图像处理器481集成于视频解码器482中，深度图像生成器483独立于视频解码器482，视频解码器482连接深度图像生成器483；其中，视频解码器482对混合编码信息进行处理，输出深度信息和目标图像帧，视频解码器482再将深度信息送入深度图像生成器483；深度图像生成器483对深度信息进行恢复，输出深度图像帧。
在一些实施例中，解码器包括深度信息解码器和视频解码器，解码装置还包括深度图像生成器；
深度图像生成器独立于深度信息解码器，图像处理器独立于视频解码器，深度信息解码器连接深度图像生成器和图像处理器，视频解码器连接图像处理器；或者，深度图像生成器集成于深度信息解码器中，图像处理器独立于视频解码器，深度信息解码器和视频解码器连接图像处理器；或者，深度图像生成器独立于深度信息解码器，图像处理器集成于视频解码器中，深度信息解码器连接深度图像生成器和视频解码器；或者，深度图像生成器集成于视频解码器中，图像处理器集成于深度信息解码器中，深度信息解码器连接视频解码器。
示例性地，如图9(a)所示的一种解码装置的结构示意图，解码装置19包括图像处理器191，还包括深度信息解码器192、视频解码器193和深度图像生成器194；深度图像生成器194独立于深度信息解码器192，图像处理器191独立于视频解码器193，深度信息解码器192连接深度图像生成器194和图像处理器191，视频解码器193连接图像处理器191；其中，视频解码器193对视频编码信息进行处理，输出视频帧，深度信息解码器192对深度编码信息进行处理，输出深度信息；视频解码器193将视频帧传输至图像处理器191，深度信息解码器192将深度信息传输至深度图像生成器194和图像处理器191，深度图像生成器194输出深度图像帧，图像处理器191输出目标图像帧。
示例性地，如图9(b)所示的一种解码装置的结构示意图，解码装置29包括图像处理器291，还包括深度信息解码器292、视频解码器293和深度图像生成器294；深度图像生成器294集成于深度信息解码器292中，图像处理器291独立于视频解码器293，深度信息解码器292和视频解码器293连接图像处理器291；其中，视频解码器293对视频编码信息进行处理，输出视频帧，深度信息解码器292对深度编码信息进行处理，输出深度信息和深度图像帧；视频解码器293将视频帧传输至图像处理器291，深度信息解码器292将深度信息传输至图像处理器291，图像处理器291输出目标图像帧。
示例性地，如图9(c)所示的一种解码装置的结构示意图，解码装置39包括图像处理器391，还包括深度信息解码器392、视频解码器393和深度图像生成器394；深度图像生成器394独立于深度信息解码器392，图像处理器391集成于视频解码器393中，深度信息解码器392连接深度图像生成器394和视频解码器393；其中，深度信息解码器392对深度编码信息进行处理，输出深度信息；深度信息解码器392将深度信息传输至深度图像生成器394和视频解码器393，深度图像生成器394输出深度图像帧，视频解码器393基于视频编码信息和深度信息，输出目标图像帧。
示例性地，如图9(d)所示的一种解码装置的结构示意图，解码装置49包括图像处理器491，还包括深度信息解码器492、视频解码器493和深度图像生成器494；深度图像生成器494集成于深度信息解码器492中，图像处理器491集成于视频解码器493中，深度信息解码器492连接视频解码器493；其中，深度信息解码器492对深度编码信息进行处理，输出深度信息和深度图像帧；深度信息解码器492将深度信息传输至视频解码器493，视频解码器493基于视频编码信息和深度信息，输出目标图像帧。
本申请实施例提供了一种计算机可读存储介质，应用于解码装置，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个第二处理器执行，程序被第二处理器执行时实现如应用于解码装置的信息处理方法。
本申请实施例还提供了一种信息处理系统，信息处理系统包括：编码装置和解码装置，编码装置包括深度信息模组、图像传感器和编码器，解码装置包括图像处理器和解码器；
深度信息模组，用于采集深度信息；
图像传感器，用于采集视频帧；
编码器，用于对深度信息和视频帧进行联合编码或独立编码，得到编码信息；以及将编码信息写入码流，并将码流发送至解码装置；
解码器，用于当接收到码流时，对码流进行联合解码或独立解码，得到深度信息和视频帧；
图像处理器，用于利用深度信息，对视频帧进行图像处理，得到目标图像帧，并将目标图像帧合成视频。
示例性地，如图10(a)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置7和解码装置18；编码装置7包括视频编码器71，解码装置18包括图像处理器181、视频解码器182和深度图像生成器183；其中，视频编码器71将混合编码信息发送至视频解码器182；视频解码器182对该混合编码信息进行处理，输出深度信息和视频帧；深度图像生成器183对该深度信息进行恢复，输出深度图像帧；图像处理器181利用深度信息对该视频帧进行图像处理，输出目标图像帧。
示例性地，如图10(b)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置7和解码装置28；编码装置7包括视频编码器71，解码装置28包括视频解码器282，视频解码器282包括深度图像生成器283和图像处理器281；其中，视频编码器71将混合编码信息发送至视频解码器282；视频解码器282对该混合编码信息进行处理，直接输出深度图像帧和目标图像帧。
示例性地，如图10(c)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置7和解码装置38；编码装置7包括视频编码器71，解码装置38包括图像处理器381和视频解码器382，视频解码器382包括深度图像生成器383；其中，视频编码器71将混合编码信息发送至视频解码器382；视频解码器382对该混合编码信息进行处理，输出深度图像帧、深度信息和视频帧；图像处理器381利用该深度信息对该视频帧进行图像处理，输出目标图像帧。
示例性地，如图10(d)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置7和解码装置48；编码装置7包括视频编码器71，解码装置48包括视频解码器482和深度图像生成器483，视频解码器482包括图像处理器481；其中，视频编码器71将混合编码信息发送至视频解码器482；视频解码器482对该混合编码信息进行处理，输出深度信息和目标图像帧，深度图像生成器483对该深度信息进行恢复，输出深度图像帧。
示例性地，如图11(a)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置6和解码装置19；编码装置6包括深度信息编码器63和视频编码器64；解码装置19包括图像处理器191、深度信息解码器192、视频解码器193和深度图像生成器194；其中，深度信息编码器63将深度编码信息发送至深度信息解码器192，视频编码器64将视频编码信息发送至视频解码器193；深度信息解码器192对该深度编码信息进行解码，输出深度信息；视频解码器193对该视频编码信息进行解码，输出视频帧；深度图像生成器194对该深度信息进行处理，输出深度图像帧；图像处理器191利用该深度信息对该视频帧进行图像处理，输出目标图像帧。
示例性地，如图11(b)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置6和解码装置29，编码装置6包括深度信息编码器63和视频编码器64；解码装置29包括图像处理器291、深度信息解码器292和视频解码器293，深度信息解码器292包括深度图像生成器294；其中，深度信息编码器63将深度编码信息发送至深度信息解码器292，视频编码器64将视频编码信息发送至视频解码器293；深度信息解码器292对该深度编码信息进行处理，输出深度图像帧和深度信息；视频解码器293对该视频编码信息进行解码，输出视频帧；图像处理器291利用深度信息对视频帧进行图像处理，输出目标图像帧。
示例性地，如图11(c)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置6和解码装置39，编码装置6包括深度信息编码器63和视频编码器64；解码装置39包括深度信息解码器392、视频解码器393和深度图像生成器394，视频解码器393包括图像处理器391；其中，深度信息编码器63将深度编码信息发送至深度信息解码器392，视频编码器64将视频编码信息发送至视频解码器393；深度信息解码器392对该深度编码信息进行解码，输出深度信息；视频解码器393对该视频编码信息和该深度信息进行处理，输出目标图像帧；深度图像生成器394对该深度信息进行恢复，输出深度图像帧。
示例性地，如图11(d)所示的一种信息处理系统的结构示意图，信息处理系统包括编码装置6和解码装置49，编码装置6包括深度信息编码器63和视频编码器64；解码装置49包括深度信息解码器492和视频解码器493，深度信息解码器492包括深度图像生成器494，视频解码器493包括图像处理器491；其中，深度信息编码器63将深度编码信息发送至深度信息解码器492，视频编码器64将视频编码信息发送至视频解码器493；深度信息解码器492对该深度编码信息进行处理，输出深度图像帧和深度信息；视频解码器493对该视频编码信息和该深度信息进行处理，输出目标图像帧。
需要说明的是，信息处理系统中的深度信息编码器对深度信息进行编码，得到多个深度编码信息时，可以利用一个深度信息解码器对多个深度信息进行编码，生成多个深度编码信息，将多个深度编码信息写入多路码流；或者，多个深度信息编码器对多个深度信息进行编码，生成多个深度编码信息，将多个深度编码信息写入多路码流或一路码流；或者，当由深度信息生成深度图像和冗余信息时，由同一个深度信息编码器或多个深度信息编码器，对深度图像进行编码，得到深度图像编码信息，并将深度图像编码信息写入一路码流，再对冗余信息进行编码，得到冗余信息编码信息，并将冗余信息编码信息写入另一路码流；相应地，可以由一个深度信息解码器解析多路的码流，或多个深度信息解码器解析一路码流，或多个深度信息解码器解析多路码流，具体的可根据实际情况确定，本申请实施例对此不做限定。
本领域内的技术人员应明白，本申请的实施例可提供为方法、装置、系统或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、系统和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
工业实用性
本申请实施例采用上述技术实现方案，直接采用深度信息进行编码，得到表征深度信息的编码信息，将该编码信息发送给解码装置，如此，解码装置可以从编码信息中解码出深度信息和视频帧，进而，解码装置不仅可以利用深度信息，恢复得到深度图像，还可以利用深度信息，对视频帧进行图像处理，提高了信息利用率。

Claims (29)

1.一种信息处理方法，应用于编码装置，其中，所述方法包括：
采集深度信息和视频帧；
所述采集深度信息和视频帧，包括：
在预设时长内，采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息；
对所述初始深度信息进行深度图像生成，得到冗余信息；所述冗余信息为生成深度图像的过程中产生的除了深度图像之外的其他信息；
将所述冗余信息，作为所述深度信息；
对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息，其中，对同一个场景的多个视点中的间隔视点对应的深度信息进行编码并发送；
将所述编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述编码信息进行图像处理。
2.根据权利要求1所述的方法，其中，所述编码信息为混合编码信息；所述对所述深度信息和所述视频帧进行联合编码，得到编码信息，包括：
利用所述深度信息和所述视频帧的相关性，对所述深度信息和所述视频帧进行联合编码，得到所述混合编码信息；
或者，对所述视频帧进行编码，得到视频编码信息；对所述深度信息进行编码，得到深度编码信息；将所述深度编码信息合并至所述视频编码信息中的预设位置处，得到所述混合编码信息。
3.根据权利要求1所述的方法，其中，所述编码信息为深度编码信息和视频编码信息；所述对所述深度信息和所述视频帧进行联合编码，得到编码信息，包括：
对所述深度信息进行编码，得到所述深度编码信息；
对所述视频帧进行编码，得到所述视频编码信息。
4.根据权利要求2或3所述的方法，其中，所述对所述深度信息进行编码，得到深度编码信息；或者，所述对所述深度信息进行编码，得到所述深度编码信息，包括：
对所述深度信息进行缩减处理，得到缩减后的深度信息；所述缩减后的深度信息的数据量小于所述深度信息的数据量；
对所述缩减后的深度信息进行编码，得到所述深度编码信息。
5.根据权利要求4所述的方法，其中，所述对所述深度信息进行缩减处理，得到缩减后的深度信息，包括：
从所述视频帧中确定部分视频帧，并从所述深度信息中确定与所述部分视频帧对应的部分深度信息；
或者，从所述视频帧中确定部分图像位置，并从所述深度信息中确定与所述部分图像位置对应的部分深度信息；
将所述部分深度信息，作为所述缩减后的深度信息。
6.根据权利要求4所述的方法，其中，所述对所述深度信息进行缩减处理，得到缩减后的深度信息，包括：
利用所述深度信息的相位相关性、所述深度信息的空间相关性、所述深度信息的时间相关性、预设深度范围或者所述深度信息的频域相关性，对所述深度信息进行冗余消除，得到消除后的深度信息；
将所述消除后的深度信息，作为所述缩减后的深度信息。
7.根据权利要求6所述的方法，其中，所述利用所述深度信息的相位相关性、所述深度信息的空间相关性、所述深度信息的时间相关性、预设深度范围或者所述深度信息的频域相关性，对所述深度信息进行冗余消除，得到消除后的深度信息，包括：
当所述深度信息为至少两个相位信息时，利用所述至少两个相位信息之间的相位相关性，对所述至少两个相位信息进行冗余消除，得到所述消除后的深度信息；
或者，当所述深度信息不是所述至少两个相位信息时，利用所述深度信息的空间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述深度信息的时间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述预设深度范围，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，对所述深度信息进行频域转换，得到频域信息；利用所述频域相关性，对所述频域信息进行冗余消除，得到所述消除后的深度信息。
8.根据权利要求1所述的方法，其中，在所述对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息之后，所述方法还包括：
利用编码二进制数据之间的相关性，对所述编码信息消除比特冗余，得到消除后的编码信息；
将所述消除后的编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述消除后的编码信息进行图像处理。
9.一种信息处理方法，应用于解码装置，其中，所述方法包括：
当接收到携带有编码信息的码流时，对所述码流进行联合解码或独立解码，得到深度信息和视频帧，其中，所述编码信息为对所述视频帧和同一个场景的多个视点中的间隔视点对应的深度信息进行编码并发送的信息，其中，所述深度信息为在预设时长内，采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息后，对所述初始深度信息进行深度图像生成，得到的冗余信息；所述冗余信息为生成深度图像的过程中产生的除了深度图像之外的其他信息；
利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，并将所述目标图像帧合成视频。
10.根据权利要求9所述的方法，其中，所述利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，包括：
利用所述深度信息调整所述视频帧的景深，得到景深图像帧；
将所述景深图像帧，作为所述目标图像帧。
11.根据权利要求9所述的方法，其中，所述利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，包括：
当所述深度信息为相位信息时，利用所述相位信息，对所述视频帧进行去模糊，得到去模糊图像帧；
将所述去模糊图像帧，作为所述目标图像帧。
12.根据权利要求9所述的方法，其中，在所述对所述码流进行联合解码或独立解码，得到所述深度信息和所述视频帧之后，所述方法还包括：
对所述深度信息进行恢复，生成深度图像帧。
13.一种编码装置，其中，所述编码装置包括：深度信息模组、图像传感器和编码器；
所述深度信息模组，用于采集深度信息；
所述图像传感器，用于采集视频帧；
所述深度信息模组，还用于在所述采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，对所述初始深度信息进行深度图像生成，得到冗余信息；所述冗余信息为生成深度图像的过程中产生的除了深度图像之外的其他信息；以及将所述冗余信息，作为所述深度信息；
所述编码器，用于对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息，其中，对同一个场景的多个视点中的间隔视点对应的深度信息进行编码并发送；以及将所述编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述编码信息进行图像处理。
14.根据权利要求13所述的装置，其中，所述编码信息为混合编码信息；所述编码器包括视频编码器；
所述视频编码器，用于利用所述深度信息和所述视频帧的相关性，对所述深度信息和所述视频帧进行联合编码，得到所述混合编码信息；
或者，对所述视频帧进行编码，得到视频编码信息；对所述深度信息进行编码，得到深度编码信息；将所述深度编码信息合并至所述视频编码信息中的预设位置处，得到所述混合编码信息。
15.根据权利要求14所述的装置，其中，
所述视频编码器，还用于对所述深度信息进行缩减处理，得到缩减后的深度信息；所述缩减后的深度信息的数据量小于所述深度信息的数据量；以及对所述缩减后的深度信息进行编码，得到所述深度编码信息。
16.根据权利要求15所述的装置，其中，
所述视频编码器，还用于从所述视频帧中确定部分视频帧，并从所述深度信息中确定与所述部分视频帧对应的部分深度信息；
或者，从所述视频帧中确定部分图像位置，并从所述深度信息中确定与所述部分图像位置对应的部分深度信息；
以及将所述部分深度信息，作为所述缩减后的深度信息。
17.根据权利要求15所述的装置，其中，
所述视频编码器，还用于利用所述深度信息的相位相关性、所述深度信息的空间相关性、所述深度信息的时间相关性、预设深度范围或者所述深度信息的频域相关性，对所述深度信息进行冗余消除，得到消除后的深度信息；以及将所述消除后的深度信息，作为所述缩减后的深度信息。
18.根据权利要求17所述的装置，其中，
所述视频编码器，还用于当所述深度信息为至少两个相位信息时，利用所述至少两个相位信息之间的相位相关性，对所述至少两个相位信息进行冗余消除，得到所述消除后的深度信息；
或者，当所述深度信息不是所述至少两个相位信息时，利用所述深度信息的空间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述深度信息的时间相关性，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，利用所述预设深度范围，对所述深度信息进行冗余消除，得到所述消除后的深度信息；
或者，对所述深度信息进行频域转换，得到频域信息；利用所述频域相关性，对所述频域信息进行冗余消除，得到所述消除后的深度信息。
19.根据权利要求13所述的装置，其中，所述编码信息为深度编码信息和视频编码信息；所述编码器包括深度信息编码器和视频编码器；其中，
所述深度信息编码器，用于对所述深度信息进行编码，得到所述深度编码信息；
所述视频编码器，用于对所述视频帧进行编码，得到所述视频编码信息。
20.根据权利要求13所述的装置，其中，
所述编码器，还用于在所述对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息之后，利用编码二进制数据之间的相关性，对所述编码信息消除比特冗余，得到消除后的编码信息；以及将所述消除后的编码信息写入码流，并将所述码流发送至解码装置，以使得所述解码装置基于所述消除后的编码信息进行图像处理。
21.一种解码装置，其中，所述解码装置包括：图像处理器和解码器；
所述解码器，用于当接收到携带有编码信息的码流时，对所述码流进行联合解码或独立解码，得到深度信息和视频帧，其中，所述编码信息为对所述视频帧和同一个场景的多个视点中的间隔视点对应的深度信息进行编码并发送的信息，其中，所述深度信息为在预设时长内，采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息后，对所述初始深度信息进行深度图像生成，得到的冗余信息；所述冗余信息为生成深度图像的过程中产生的除了深度图像之外的其他信息；
所述图像处理器，用于利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，并将所述目标图像帧合成视频。
22.根据权利要求21所述的装置，其中，
所述图像处理器，还用于利用所述深度信息调整所述视频帧的景深，得到景深图像帧；以及将所述景深图像帧，作为所述目标图像帧。
23.根据权利要求21所述的装置，其中，
所述图像处理器，还用于当所述深度信息为相位信息时，利用所述相位信息，对所述视频帧进行去模糊，得到去模糊图像帧；以及将所述去模糊图像帧，作为所述目标图像帧。
24.根据权利要求21所述的装置，其中，所述解码装置还包括深度图像生成器；
所述深度图像生成器，用于在所述对所述码流进行联合解码或独立解码，得到所述深度信息和所述视频帧之后，对所述深度信息进行恢复，生成深度图像帧。
25.根据权利要求21所述的装置，其中，所述解码器包括视频解码器，所述解码装置还包括深度图像生成器；
所述深度图像生成器和所述图像处理器独立于所述视频解码器，所述视频解码器连接所述深度图像生成器和所述图像处理器；或者，所述深度图像生成器和所述图像处理器集成于所述视频解码器中；或者，所述深度图像生成器集成于所述视频解码器中，所述图像处理器独立于所述视频解码器，所述视频解码器连接所述图像处理器；或者，所述图像处理器集成于所述视频解码器中，所述深度图像生成器独立于所述视频解码器，所述视频解码器连接所述深度图像生成器。
26.根据权利要求21所述的装置，其中，所述解码器包括深度信息解码器和视频解码器，所述解码装置还包括深度图像生成器；
所述深度图像生成器独立于所述深度信息解码器，所述图像处理器独立于所述视频解码器，所述深度信息解码器连接所述深度图像生成器和所述图像处理器，所述视频解码器连接所述图像处理器；或者，所述深度图像生成器集成于所述深度信息解码器中，所述图像处理器独立于所述视频解码器，所述深度信息解码器和所述视频解码器连接所述图像处理器；或者，所述深度图像生成器独立于所述深度信息解码器，所述图像处理器集成于所述视频解码器中，所述深度信息解码器连接所述深度图像生成器和所述视频解码器；或者，所述深度图像生成器集成于所述视频解码器中，所述图像处理器集成于所述深度信息解码器中，所述深度信息解码器连接所述视频解码器。
27.一种信息处理系统，其中，所述系统包括：编码装置和解码装置，所述编码装置包括深度信息模组、图像传感器和编码器，所述解码装置包括图像处理器和解码器；
所述深度信息模组，用于采集深度信息；
所述图像传感器，用于采集视频帧；
所述深度信息模组，还用于在所述采集所述视频帧，并通过飞行时间模组或双目视觉模组采集初始深度信息之后，对所述初始深度信息进行深度图像生成，得到冗余信息；所述冗余信息为生成深度图像的过程中产生的除了深度图像之外的其他信息；以及将所述冗余信息，作为所述深度信息；
所述编码器，用于对所述深度信息和所述视频帧进行联合编码或独立编码，得到编码信息；以及将所述编码信息写入码流，并将所述码流发送至所述解码装置；
所述解码器，用于当接收到所述码流时，对所述码流进行联合解码或独立解码，得到所述深度信息和所述视频帧；
所述图像处理器，用于利用所述深度信息，对所述视频帧进行图像处理，得到目标图像帧，并将所述目标图像帧合成视频。
28.一种计算机可读存储介质，应用于编码装置，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个第一处理器执行，以实现如权利要求1-8任一项所述的方法。
29.一种计算机可读存储介质，应用于解码装置，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个第二处理器执行，以实现如权利要求9-12任一项所述的方法。
CN201980098950.3A 2019-11-06 2019-11-06 信息处理方法、编码装置、解码装置、系统及存储介质 Active CN114175626B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/115935 WO2021087800A1 (zh) 2019-11-06 2019-11-06 信息处理方法、编码装置、解码装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114175626A CN114175626A (zh) 2022-03-11
CN114175626B true CN114175626B (zh) 2024-04-02

Family

ID=75849193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980098950.3A Active CN114175626B (zh) 2019-11-06 2019-11-06 信息处理方法、编码装置、解码装置、系统及存储介质

Country Status (3)

Country Link
US (1) US20220230361A1 (zh)
CN (1) CN114175626B (zh)
WO (1) WO2021087800A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616322A (zh) * 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及系统
CN102257818A (zh) * 2008-10-17 2011-11-23 诺基亚公司 3d视频编码中运动向量的共享
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序
CN102792699A (zh) * 2009-11-23 2012-11-21 通用仪表公司 作为到视频序列的附加通道的深度代码化
CN104604236A (zh) * 2012-07-02 2015-05-06 诺基亚公司 用于视频编码的方法和装置
CN105847777A (zh) * 2016-03-24 2016-08-10 湖南拓视觉信息技术有限公司 一种传输三维深度图像的方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6959114B2 (en) * 2001-02-28 2005-10-25 Samsung Electronics Co., Ltd. Encoding method and apparatus of deformation information of 3D object
US9351028B2 (en) * 2011-07-14 2016-05-24 Qualcomm Incorporated Wireless 3D streaming server
US11002856B2 (en) * 2015-08-07 2021-05-11 King Abdullah University Of Science And Technology Doppler time-of-flight imaging
DE112018000795T5 (de) * 2017-02-13 2019-12-12 Sony Corporation Bildverarbeitungsvorrichtung und bildverarbeitungsverfahren
EP3457688A1 (en) * 2017-09-15 2019-03-20 Thomson Licensing Methods and devices for encoding and decoding three degrees of freedom and volumetric compatible video stream
CN108053435A (zh) * 2017-11-29 2018-05-18 深圳奥比中光科技有限公司 基于手持移动设备的动态实时三维重建方法和系统
CN109889809A (zh) * 2019-04-12 2019-06-14 深圳市光微科技有限公司 深度相机模组、深度相机、深度图获取方法以及深度相机模组形成方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101616322A (zh) * 2008-06-24 2009-12-30 深圳华为通信技术有限公司 立体视频编解码方法、装置及系统
CN102257818A (zh) * 2008-10-17 2011-11-23 诺基亚公司 3d视频编码中运动向量的共享
CN102265617A (zh) * 2008-12-26 2011-11-30 日本胜利株式会社 图像编码装置、图像编码方法及其程序、以及图像解码装置、图像解码方法及其程序
CN102792699A (zh) * 2009-11-23 2012-11-21 通用仪表公司 作为到视频序列的附加通道的深度代码化
CN104604236A (zh) * 2012-07-02 2015-05-06 诺基亚公司 用于视频编码的方法和装置
CN105847777A (zh) * 2016-03-24 2016-08-10 湖南拓视觉信息技术有限公司 一种传输三维深度图像的方法及装置

Also Published As

Publication number Publication date
US20220230361A1 (en) 2022-07-21
CN114175626A (zh) 2022-03-11
WO2021087800A1 (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
KR101158491B1 (ko) 다시점 영상 부호화, 복호화 방법 및 그 장치.
CN101253774B (zh) 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法
EP2932711B1 (en) Apparatus and method for generating and rebuilding a video stream
WO2009092233A1 (zh) 多视角摄像及图像处理装置、系统及方法与解码处理方法
WO2009052730A1 (en) Video encoding decoding method and device and video codec
US8798356B2 (en) Apparatus and method for encoding and decoding multi-view image
KR20130011994A (ko) 송신 장치, 수신 장치 및 그 송수신 방법
WO2010113086A1 (en) System and format for encoding data and three-dimensional rendering
CN102325254B (zh) 一种立体视频的编、解码方法及装置
JP2015019326A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
CN114391259B (zh) 信息处理方法、终端设备及存储介质
CN114175626B (zh) 信息处理方法、编码装置、解码装置、系统及存储介质
JP7171169B2 (ja) ライトフィールド・コンテンツを表す信号を符号化する方法および装置
CN110784706B (zh) 信息处理方法、编码装置、解码装置、系统及存储介质
CN110809152A (zh) 信息处理方法、编码装置、解码装置、系统及存储介质
CN110784722B (zh) 编解码方法、编解码装置、编解码系统及存储介质
KR20120019662A (ko) 전송될 동영상의 전처리 방법 및 이를 이용한 동영상 전송시스템.
KR101289269B1 (ko) 영상 시스템에서 영상 디스플레이 장치 및 방법
CN112788325B (zh) 一种图像处理方法、编码装置、解码装置及存储介质
KR20130084227A (ko) 화상 처리 장치 및 화상 처리 방법
WO2021087810A1 (zh) 信息处理方法和系统、编码装置、解码装置及存储介质
TWI526044B (zh) 處理信號之方法及其系統
CN111225218A (zh) 信息处理方法、编码装置、解码装置、系统及存储介质
JP7382186B2 (ja) 符号化装置、復号装置、及びプログラム
KR102094848B1 (ko) (초)다시점 미디어의 라이브 스트리밍 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant