CN110798674B - 图像深度值获取方法、装置、设备、编解码器及存储介质 - Google Patents

图像深度值获取方法、装置、设备、编解码器及存储介质 Download PDF

Info

Publication number
CN110798674B
CN110798674B CN201810866888.5A CN201810866888A CN110798674B CN 110798674 B CN110798674 B CN 110798674B CN 201810866888 A CN201810866888 A CN 201810866888A CN 110798674 B CN110798674 B CN 110798674B
Authority
CN
China
Prior art keywords
pixel point
reference pixel
value
depth value
relevance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810866888.5A
Other languages
English (en)
Other versions
CN110798674A (zh
Inventor
宋剑军
曾幸
王宁
胡祥斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201810866888.5A priority Critical patent/CN110798674B/zh
Priority to PCT/CN2019/096237 priority patent/WO2020024792A1/zh
Publication of CN110798674A publication Critical patent/CN110798674A/zh
Application granted granted Critical
Publication of CN110798674B publication Critical patent/CN110798674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Abstract

本发明实施例提供一种图像深度值获取方法、装置、设备、编码器及存储介质，针对当前视点图像帧中待预测单元内的每一已知像素点，获取已知像素点的特征信息及其在该图像帧中的各第一参考像素点的第一特征信息，基于第一特征信息及已知像素点的特征信息，计算各第一参考像素点与已知像素点关联性之权重值；根据关联性之权重值，从各第一参考像素点中选择出与已知像素点的关联性满足第一预设条件的第一目标参考像素点，将第一目标参考像素点的深度值作为该已知像素点的最终深度值；已知像素点为当前视点图像帧中待预测单元内，根据视点间的视差，能够被其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点；避免引入新的深度值。

Description

图像深度值获取方法、装置、设备、编解码器及存储介质
技术领域
本发明涉及多视点视频编解码领域，尤其涉及一种图像深度值获取方法、装置、设备、编解码器及存储介质。
背景技术
多视点视频是由摄像机阵列从不同角度拍摄同一场景得到的一组视频信息，与单个视点信息相比，多视点视频能够获取场景物体的三维信息，从而更加生动地再现立体场景。在现有的多视点编码方案中，基于视点合成的多视点编码方案充分利用了多视点视频数据的相关性以及隐含的关于场景的三维信息，提供了一种高效灵活、视点伸缩性强的多视点编码思想，受到了国内学者越来越广泛的关注。
多视点视频+深度图的编解码格式包含了大量数据，数据间存在很多冗余信息，根据可用数据的相关性，可以分为空域相关性、时域相关性、深度-纹理域相关性和视点间域相关性。
空域相关性是相同视点相同帧内相邻位置像素间的相关性，从两个像素点在平面空间的距离邻近性出发，认为像素点之间的相关性随着其欧式空间距离的增大而减小。
时域相关性是相同视点不同帧内相同位置像素间的相关性，从两个像素点在不同时刻的差异出发，认为像素点之间的相关性随着其时刻差异的增大而减小。
深度-纹理相关性是相同时刻相同视点深度图和纹理图对应位置深度信息和纹理信息之间的相关性，从两个深度图像素点对应纹理图像素值深度值的相似性出发，认为像素点纹理信息之间的相关性随着像素点深度值差异的增大而减小。
视点间相关性是是相同时刻不同视点的深度信息和纹理信息之间的相关性，从两个像素点在相同时刻不同视点的差异出发，认为像素点之间的相关性随着其视点差异的增大而减小。
单个视点利用运动矢量(motion vector，MV)来进行帧间预测，由合并(merge)技术和高级运动矢量预测(advanced motion vector prediction，AMVP)技术获取。多视点视频+深度图的编解码算法的帧间预测，除了利用MV之外，还可以利用视差矢量(disparityvector，DV)，它由相邻块视差矢量(Disparity vector from neighbouring blocks，NBDV)技术和基于深度方向邻域块的视差矢量(Depth oriented neighbouring block baseddisparity vector，DoNBDV)技术获取。
目前深度图编码基本采用多视点编码框架，编码框架结构将多个视点分为了一个基本视点和多个非基本视点的图像。基本视点纹理图和深度图均采用标准的单视点编码方法独立编码，非基本视点纹理图和深度图需要依赖于基本视点信息，这样更好的利用了视点间相关性，极大地提高了编码效率。在实际编码过程中，在当前视点的场景中某个物体，它的深度信息和这个物体在其他视点中深度信息不一定完全一致，因此深度图视点间/帧间预测极有可能会引入了新的深度值，这样会明显地降低编码性能。
发明内容
本发明实施例提供的图像深度值获取方法、装置、设备、编解码器及存储介质，主要解决的技术问题是：现有深度值获取方案，针对当前视点而言，存在引入新的深度值，进而导致编码性能降低的问题。
为解决上述技术问题，本发明实施例提供一种图像深度值获取方法，针对当前视点图像帧中待预测单元内的每一已知像素点，其深度值的获取过程包括：
获取所述已知像素点在所述图像帧中的各第一参考像素点的第一特征信息，以及所述已知像素点的特征信息；
基于所述第一特征信息以及所述已知像素点的特征信息，计算各所述第一参考像素点与所述已知像素点关联性之权重值；
根据所述关联性之权重值，从所述各第一参考像素点中选择出与所述已知像素点的关联性满足第一预设条件的第一目标参考像素点，将所述第一目标参考像素点的深度值作为所述已知像素点的最终深度值；
所述已知像素点为所述当前视点图像帧中待预测单元内，根据所述当前视点与其他视点之间的视差，能够被所述其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点。
本发明实施例还提供一种图像深度值获取装置，包括：
第一获取单元，用于针对当前视点图像帧中待预测单元内的每一已知像素点，获取所述已知像素点在所述图像帧中的各第一参考像素点的第一特征信息，以及所述已知像素点的特征信息；
计算单元，用于基于所述第一特征信息以及所述已知像素点的特征信息，计算各所述第一参考像素点与所述已知像素点关联性之权重值；
选择单元，用于根据所述关联性之权重值，从所述各第一参考像素点中选择出与所述已知像素点的关联性满足第一预设条件的第一目标参考像素点，将所述第一目标参考像素点的深度值作为所述已知像素点的最终深度值；
所述已知像素点为所述当前视点图像帧中待预测单元内，根据所述当前视点与其他视点之间的视差，能够被所述其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点。
本发明实施例还提供一种图像深度值获取设备，包括：
信息获取单元，用于针对当前视点图像帧中待预测单元内的每一已知像素点，获取所述已知像素点在所述图像帧中的各第一参考像素点的第一特征信息，以及所述已知像素点的特征信息；
处理单元，用于基于所述第一特征信息以及所述已知像素点的特征信息，计算各所述第一参考像素点与所述已知像素点关联性之权重值；并根据所述关联性之权重值，从所述各第一参考像素点中选择出与所述已知像素点的关联性满足第一预设条件的第一目标参考像素点，将所述第一目标参考像素点的深度值作为所述已知像素点的最终深度值；
所述已知像素点为所述当前视点图像帧中待预测单元内，根据所述当前视点与其他视点之间的视差，能够被所述其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点。
本发明实施例还提供一种编解码器，所述编解码器包括处理器、存储器及通信总线；
所述通信总线用于实现处理器和存储器之间的连接通信；
所述处理器用于执行存储器中存储的一个或者多个程序，以实现如上任一项所述的图像深度值获取方法的步骤。
本发明实施例还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的图像深度值获取方法的步骤。
本发明的有益效果是：
根据本发明实施例提供的图像深度值获取方法、装置、设备、编解码器及存储介质，针对当前视点图像帧中待预测单元内的每一已知像素点，其深度值的获取过程包括：获取已知像素点在该图像帧中的各第一参考像素点的第一特征信息，以及已知像素点的特征信息；基于第一特征信息以及已知像素点的特征信息，计算各第一参考像素点与已知像素点关联性之权重值；根据关联性之权重值，从各第一参考像素点中选择出与已知像素点的关联性满足第一预设条件的第一目标参考像素点，将第一目标参考像素点的深度值作为该已知像素点的最终深度值；已知像素点为当前视点图像帧中待预测单元内，根据当前视点与其他视点之间的视差，能够被其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点；通过已知像素点与其自身所在图像帧中的各第一参考像素点之间关联性之权重值，选择相应第一参考像素点的深度值作为该已知像素点的最终深度值，因此可以避免引入新的深度值，进而可以达到提升编码性能的效果。
本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。
附图说明
图1为本发明实施例一的图像深度值获取方法流程示意图；
图2为本发明实施例二的图像深度值获取方法流程示意图；
图3为本发明实施例二的当前视点图像帧和其他视点图像帧的示意图；
图4为本发明实施例二的图像深度值获取方法细化流程示意图；
图5为本发明实施例二的已知像素点和第二参考像素点的示意图；
图6为本发明实施例二的未知像素点的示意图；
图7为本发明实施例三的图像深度值获取装置结构示意图一；
图8为本发明实施例三的图像深度值获取装置结构示意图二；
图9为本发明实施例三的图像深度值获取装置结构示意图三；
图10为本发明实施例四的图像深度值获取设备结构示意图；
图11为本发明实施例五的编解码器结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一：
为了解决现有深度图编码过程中，其像素点深度值的获取可能存在引入新的深度值，进而导致编码性能降低的问题，本发明实施例提供一种图像深度值获取方法，针对当前视点图像帧中待预测单元内的每一已知像素点，获取已知像素点的特征信息以及该已知像素点所在图像帧中各第一参考像素点的第一特征信息，基于该已知像素点的特征信息以及该第一特征信息，得到两者之间的关联性之权重值，从而选择相应的第一参考像素点作为第一目标参考像素点，也即将该第一目标参考像素点的深度值作为该已知像素点的最终深度值，实现该已知像素点的预测编码过程，且在编码过程中，不会引入相对于该已知像素点所在视点图像帧外的深度值，也即不会引入新的深度值，因此有利于提升编码性能。
请参见图1，图1为本发明实施例提供的一种图像深度值获取方法流程示意图，包括：
S12：获取已知像素点在该当前视点图像帧中的各第一参考像素点的第一特征信息，以及已知像素点的特征信息。
其中，第一特征信息包括第一参考像素点的纹理信息以及在其所属视点图像帧内的坐标位置信息，已知像素点的特征信息包括该已知像素点的纹理信息以及其所属视点图像帧内的坐标位置信息。
S14：基于第一特征信息以及该已知像素点的特征信息，计算各第一参考像素点与该已知像素点关联性之权重值。
可选的，第一参考像素点与该已知像素点关联性之权重值包括第一权重值；计算各第一参考像素点与该已知像素点关联性之权重值包括：计算第一参考像素点与该已知像素点之间纹理信息的相关性，以及计算第一参考像素点与已知像素点之间所属视点图像帧的坐标位置信息的相关性，根据纹理信息的相关性以及所属视点图像帧的坐标位置信息的相关性，得到第一参考像素点与该已知像素点关联性之所述第一权重值。
应当理解，计算第一参考像素点与该已知像素点之间纹理信息的相关性，可以通过能够表示像素点之间纹理信息相似性的核函数计算；第一参考像素点与已知像素点之间坐标位置信息的相关性，可以通过能够表示像素点之间坐标位置信息相似性的核函数进行计算。当然，也可以采用现有其他任意方式计算，只有能够计算出各第一参考像素点与已知像素点之间纹理信息、以及坐标位置信息的相关性，进而得到两者关联性之第一权重值即可。
S16：根据该关联性之权重值，从各第一参考像素点中选择出与该已知像素点的关联性满足第一预设条件的第一目标参考像素点，将第一目标参考像素点的深度值作为该已知像素点的最终深度值。
还需说明的是，已知像素点为当前视点图像帧中待预测单元内，根据当前视点与其他视点之间的视差，能够被其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点。
根据第一参考像素点与该已知像素点之间纹理信息的相关性、以及坐标位置信息的相关性，所得到的两者之间的关联性之第一权重值可以反映两者之间的关联性，当第一权重值越大，则可以说明两者越相关或者说相似。本实施例中，根据该第一权重值，按照第一预设条件，从各个第一参考像素点中选择出与该已知像素点之间相关性最大或者最相似的，作为第一目标参考像素点。
可选的，选择各第一参考像素点中与已知像素点的关联性之第一权重值最大的第一参考像素点，作为第一目标参考像素点；或，根据各第一参考像素点中与该已知像素点的关联性之第一权重值，计算各第一参考像素点深度值的加权平均值，并计算各第一参考像素点深度值与加权平均值之间差值的绝对值，将绝对值最小的深度值所对应的第一参考像素点作为第一目标参考像素点。
进而将该第一目标参考像素点的深度值作为该已知像素点的最终深度值，实现该已知像素点的深度值编码过程。当完成该已知像素点的深度值编码过程后，继续执行该当前视点图像帧其他已知像素点的深度值编码过程，直到完成该当前视点图像帧中所有已知像素点的深度值编码过程。应当理解，各已知像素点的深度值编码过程可以是并行处理的，也可以是串行处理的，本实施例对此不作限制。
实施例二：
本发明实施例提供一种图像深度值获取方法，与第一实施例不同的是，本实施例需要首先获取已知像素点的初始深度值，并通过其所属视点图像帧(也即是该当前视点图像帧)内的各第一参考像素点的第一特征信息，对其初始深度值进行修正替换，从各第一参考像素点中选择出与该已知像素点的关联性满足第一预设条件的第一目标参考像素点，然后将该第一目标参考像素点的深度值作为该已知像素点的最终深度值，避免在深度值编码过程中引入新的深度值，从而提高编码性能。
请参见图2，为本发明实施例一提供的图像深度值获取方法流程示意图，包括如下步骤：
S22：获取当前视点图像帧中待预测单元内的已知像素点的特征信息，包括初始深度值、纹理信息以及其所属视点图像帧内的坐标位置信息。
待预测单元为其所属视点图像帧中的部分图像区域，待预测单元的确定方式可以采用现有方式，例如将当前视点图像帧划分为多个矩形区域，选择其中一个矩形区域作为该待预测单元。
待预测单元内可能存在已知像素点，也可能存在未知像素点，其中已知像素点为当前视点图像帧中待预测单元内，根据当前视点与其他视点之间的视差，能够被其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点；对应的，若不能被该其他视点图像帧中预设参考图像区域内的像素点所投影匹配的像素点，也即该其他视点图像帧中预设参考图像区域内不存在像素点，能够根据相应的视差与待预测单元内的该像素点投影匹配，则该不能被投影匹配的像素点则为未知像素点。本实施例的方案主要针对已知像素点，对于未知像素点，则通过对该当前视点图像帧内的所有已知像素点进行深度值编码之后，结合相应深度值已编码的已知像素点的特征信息实现对未知像素点深度值的编码。
本实施例中，初始深度值是通过其他视点图像帧已编码深度信息进行获取的，主要是利用视点间相关性、纹理-深度相关性得到的。将预设参考图像区域内深度值已编码的像素点作为第二参考像素点，获取各第二参考像素点的第二特征信息，利用第二特征信息，计算各第二参考像素点与已知像素点之间的关联性之第二权重值，从各第二参考像素点中选择出与已知像素点的关联性满足第二预设条件的第二目标参考像素点，将第二目标参考像素点的深度值作为该已知像素点的初始深度值。
其中，预设参考图像区域可以是其他视点图像帧中，与该待预测单元坐标位置对应的图像区域，请参见图3，视点10表示当前视点，阴影区域101表示待预测单元，视点20表示其他视点，图像区域201表示与该待预测单元101坐标位置对应的区域，也即是预设参考图像区域。
在本发明的其他示例中，预设参考区域还可以包括扩展图像区域，继续参见图3，预设参考图像区域除包括图像区域201外，还可以包括该图像区域相邻范围内的其他图像区域，也即扩展图像区域，其中预设相邻范围可以根据实际情况灵活设置。例如，对于当前视点和各其他视点为一维水平方向排列的情况，此时两个视点间垂直视差矢量为零，预设相邻范围可以设置为相邻左右两个图像单元202和203，相当于扩展图像区域，也即预设参考图像区域同时包括图像区域201、202和203。
第二参考像素点的第二特征信息包括纹理信息、所属视点位置信息；其中利用第二特征信息，计算各第二参考像素点与已知像素点之间的关联性之第二权重值包括：
计算第二参考像素点与已知像素点之间纹理信息的相关性，以及各第二参考像素点与已知像素点之间所属视点位置信息的相关性，根据所述纹理信息的相关性与所述所属视点位置信息的相关性得到第二参考像素点与已知像素点关联性之第二权重值。
这里需要获取第二参考像素点的纹理信息、所属视点位置信息，其中纹理信息可以包括纹理值，纹理值包含像素点亮度值、色度值等。所属视点位置信息，应当理解，不同视点也即从不同位置拍摄场景中的物体，视点位置信息可以通过对应摄像机拍摄位置确定。本领域技术人员应当明白的是，在对深度图进行编码之前，相应纹理图的纹理信息和所属视点位置信息是可以通过现有方式获取到的，而这也并不是本方案的重点，因此本实施例对其具体获取方式不做阐述。
计算第二参考像素点与已知像素点之间纹理信息的相关性，当然首先也需要获取该已知像素点的纹理信息，从而计算两者纹理信息之间的相关性；同样的，计算第二参考像素点与已知像素点之间所属视点位置信息的相关性，也需要获取该已知像素点所属视点位置信息，从而计算两者所属视点位置信息的相关性，也即视点间视差的相关性。
各第二参考像素点与该已知像素点之间关联性之第二权重值，通过两者之间纹理信息之间的相关性，以及视点间视差的相关性确定，通常两者之间纹理信息之间的相关性越大，视点间视差的相关性越大，则可以表明两者关联性之权重值越大，也即两者越相关。
选择关联性之第二权重值满足第二预设条件的第二参考像素点作为第二目标参考像素点，并将该第二目标参考像素点的深度值作为该已知像素点的初始深度值，也即根据视点间相关性、纹理-深度域相关性完成了对该已知像素点初始深度值的预测过程。
本实施例中，第二预设条件包括如下两种方式：
一、选择各第二参考像素点中，与该已知像素点的关联性之第二权重值最大的第二参考像素点，作为第二目标参考像素点。以将该第二目标参考像素点的深度值作为该已知像素点的初始深度值。
例如，对于已知像素点M1，第二参考像素点包括K1、K2、K3三个像素点，且第二参考像素点K1与该已知像素点M1关联性之权重值为G1，第二参考像素点K2与该已知像素点M1关联性之权重值为G2，第二参考像素点K3与该已知像素点M1关联性之权重值为G3，若G1＞G2＞G3，即第二参考像素点K1与该已知像素点M1关联性之第二权重值最大，此时选择第二参考像素点K1作为第二目标参考像素点，将该K1的深度值作为该已知像素点M1的初始深度值。
二、根据各第二参考像素点分别与已知像素点的关联性之第二权重值，计算各第二参考像素点深度值的加权平均值，并计算各第二参考像素点深度值与加权平均值之间差值的绝对值，将绝对值最小的深度值所对应的第二参考像素点作为第二目标参考像素点。以将该第二目标参考像素点的深度值作为该已知像素点的初始深度值。
例如，同样以上述示例进行说明，对于已知像素点M1，第二参考像素点包括K1、K2、K3三个像素点，且第二参考像素点K1与该已知像素点M1关联性之权重值为G1，第二参考像素点K2与该已知像素点M1关联性之权重值为G2，第二参考像素点K3与该已知像素点M1关联性之权重值为G3，计算各第二参考像素点K1、K2、K3深度值的加权平均值，例如为P，则P＝(D1*G1+D2*G2+D3*G3)/(G1+G2+G3)，并分别计算D1、D2、D3分别与该加权平均值P之间的差值的绝对值，分别为|D1-P|、|D2-P|、|D3-P|，比较|D1-P|、|D2-P|、|D3-P|中的最小值，也即比较三个参考像素点中的深度值与该加权平均值更接近，将与该加权平均值数值最接近的第二参考像素点作为第二目标参考像素点，将该第二目标参考像素点的深度值作为该已知像素点M1的初始深度值。例如，|D1-P|＜|D2-P|＜|D3-P|，则将K1作为M1的第二目标参考像素点，将D1作为M1的初始深度值。
S24：获取已知像素点在该图像帧中的各第一参考像素点的第一特征信息。
这里所述该图像帧也即是该已知像素点所属图像帧，这里为该当前视点图像帧。当前视点图像帧中，可以将所有已编码的像素点作为该第一参考像素点，当然也可以选择其中部分已编码的像素点作为该第一参考像素点。应当理解，第一参考像素点的数量可以决定最终编码的效果，所选择的第一参考像素点数量较多，则最终深度值编码的效果越好，但计算复杂度增加，相反，则编码效果较差，但计算复杂度会降低。
第一特征信息可以包括其深度值、纹理信息以及所属视点图像帧内的坐标位置信息。
应当明白的是，步骤S22与步骤S24并不存在特定的执行时序，可以先执行步骤S22，再执行步骤S24，反之同样可行。
S26：根据该已知像素点的特征信息和第一参考像素点的第一特征信息，计算各第一参考像素点与该已知像素点关联性之第三权重值。
在获取到相应各第一参考像素点的深度值、纹理信息以及所属视点图像帧(也即是当前视点图像帧)内的坐标位置信息，以及该已知像素点的初始深度值、纹理信息以及所属视点图像帧内的坐标位置信息之后。从而根据该已知像素点的特征信息(包括初始深度值、纹理信息、所属视点图像帧内的坐标位置信息)，与各第一参考像素点的第一特征信息(第一参考像素点的深度值、纹理信息以及所属视点图像帧内的坐标位置信息)，计算各第一参考像素点与该已知像素点关联性之第三权重值。
首先，可以计算第一参考像素点与已知像素点之间深度值的相关性，并计算第一参考像素点与已知像素点之间纹理信息的相关性，以及计算第一参考像素点与已知像素点之间所属视点图像帧的坐标位置信息的相关性；然后根据深度值的相关性、纹理信息的相关性以及所属视点图像帧的坐标位置信息的相关性，得到第一参考像素点与已知像素点关联性之第三权重值。其中，各第一参考像素点与已知像素点关联性之第三权重值，与两者之间深度值的相关性、纹理信息的相关性以及所属视点图像帧的坐标位置信息的相关性成正相关，也即深度值的相关性、纹理信息的相关性以及所属视点图像帧的坐标位置信息的相关性越大，则两者的关联性之第三权重值越大，表明两者越相似。
S28：从各第一参考像素点中选择出与已知像素点的关联性满足第一预设条件的第一目标参考像素点，将第一目标参考像素点的深度值作为已知像素点的最终深度值。
本实施例中，各第一参考像素点与已知像素点的关联性大小，可以直接通过该关联性之第三权重值大小表征，也可以通过第一参考像素点的深度值与深度值的加权平均值的关系确定。选择关联性满足第一预设条件的第一参考像素点，也即第一目标参考像素点，将该第一目标参考像素点的深度值作为该已知像素点的最终深度值。
第一预设条件包括如下两种方式：
一、选择各第一参考像素点中与已知像素点的关联性之第三权重值最大的第一参考像素点，作为第一目标参考像素点；以将该第一目标参考像素点的深度值作为该已知像素点的最终深度值。
二、根据各第一参考像素点中与已知像素点的关联性之第三权重值，计算各第一参考像素点深度值的加权平均值，并计算各第一参考像素点深度值与该加权平均值之间差值的绝对值，将绝对值最小的深度值所对应的第一参考像素点作为第一目标参考像素点。
需要说明的是，当前视点图像帧中待预测单元内可能存在多个已知像素点，此时，针对每一已知像素点，均可以执行上述步骤S22-S28的步骤，各已知像素点之间，可以是串行处理，也可以是并行处理，本实施例对此并不做限制。
当前视点图像帧中待预测单元内还可能存在未知像素点，为了实现对该待预测单元内的全部像素点进行深度值编码，在本发明的其他示例中，还可以结合已知像素点已编码的最终深度值，以及当前视点图像帧中其他已编码像素点，对该未知像素点的深度值进行预测获取，以提高对未知像素点的编码效果，包括：
获取各第三参考像素点的第三特征信息，该第三参考像素点包括各深度值已编码的已知像素点和/或第一参考像素点，计算各第三参考像素点与该未知像素点之间的关联性之第四权重值，从各第三参考像素点中选择出与该未知像素点的关联性满足第三预设条件的第三目标参考像素点，将第三目标参考像素点的深度值作为该未知像素点的深度值。
其中未知像素点为，在当前视点图像帧中，根据当前视点与其他视点之间的视差，判断不能被其他视点图像帧中预测参考图像区域内的任意一个像素点所投影匹配的像素点。
这里，已知像素点也可以作为该未知像素点的参考点，但是该已知像素点应当是深度值已编码的，也即其最终深度值是确定的，当然还应当包括获取已知像素点的纹理信息以及在当前视点图像帧中的坐标位置信息。在步骤S22-S28中，作为已知像素点的参考点的第一参考像素点，也可以作为该未知像素点的参考点，以得到该未知像素点的深度值，实现对整个待预测单元内的全部像素点的深度值编码，提升编码性能。
在本发明的其他示例中，可以同时将已编码的已知像素点和第一参考像素点，作为该未知像素点的参考点，即第三参考像素点，以实现深度值的编码预测，也可以选择其中的已编码的已知像素点、第一参考像素点的其中之一或其中部分。
第三特征信息包括第三参考像素点的纹理信息、该像素点所属视点图像帧(当前视点)内的坐标位置信息，根据第三参考像素点的第三特征信息，计算与该未知像素点之间的关联性之第四权重值。可选的，计算第三参考像素点与该未知像素点之间纹理信息的相关性，以及第三参考像素点与该未知像素点之间坐标位置信息的相关性；然后根据两者之间纹理信息的相关性、以及坐标位置信息的相关性，计算得到两者之间关联性之第四权重值；再根据该关联性之第四权重值，确定第三参考像素点与该未知像素点之间的关联性。
该关联性可以通过该第四权重值表征，将该关联性之第四权重值中最大的权重值对应的第三参考像素点，作为第三目标参考像素点，从而将第三目标参考像素点的深度值作为该未知像素点的深度值。
该关联性也可以通过该第三参考像素点的深度值与该关联性之第四权重值的关系确定，包括计算各第三参考像素点深度值的加权平均值，然后计算各第三参考像素点深度值与该加权平均值之间差值的绝对值，将该绝对值最小的深度值所对应的第三参考像素点，作为第三目标参考像素点。
为了更好地理解本发明，下面结合具体的示例对本发明的图像深度值获取方案进行详细说明，以两个视点为例，并以此可推广到多视点，请参见图4，包括如下步骤：
步骤S402：确定当前视点图像帧中的待预测单元。
待预测单元的选取可以采用任由任意方式，在此不做限制，本实施例中，可以参见图3，视点10表示当前视点，待预测单元为图中阴影区域101。应当理解，本发明图像单元的划分(包括单元格的大小以及单元格形状等)并不限于图3所示，可以采用任意方式。
步骤S404：选取与该待预测单元对应的参考图像区域。
其中，参考图像区域属于其他视点图像帧(也即排除该当前视点图像帧)，继续参见图3，这里以其他视点为视点20进行说明。该其他视点图像帧与该当前视点图像帧可以是基于同一时刻的，也可以是不同时刻的。参考图像区域在其对应视点图像帧中的坐标位置，与该待预测单元在该当前视点图像帧中的坐标位置对应，该待预测单元在该当前视点图像帧中的坐标位置为(2，2)，也即位于第二排第二列，对应的参考图像区域为视点图像帧内坐标位置为(2，2)的图像区域。应当理解的是，各视点图像帧的图像单元划分方式应当是相同的。
在其他示例中，参考图像区域还可以包括该对应位置(2，2)预设相邻范围内的扩展图像区域，例如(1，2)和(3，2)，甚至与对应位置(2，2)相邻的8个图像单元。以此保证更多的第二参考像素点参与预测，提升编码效果。
步骤S406：基于当前视点与其他视点之间的视差，将该其他视点图像帧中参考图像区域内的第二参考像素点进行投影，根据投影结果确定待预测单元内的已知像素点和未知像素点。
首先，需要将参考图像区域内的已编码像素点作为第二参考像素点，获取各第二参考像素点的图像深度值，以及相机的焦距、视点10与视点20之间的基线距离，从而计算视点10与视点20之间的视差矢量。假设，相机拍摄为一维平行排列，可得视点10与视点20之间在垂直方向视差矢量为零，水平方向视差矢量计算公式如下：
Figure BDA0001751160590000141
其中，d表示视点20相对于视点10的水平视差矢量，f表示相机的焦距(视点10和视点20所使用相机参数通常相同)，l表示两个视点之间的基线距离，z表示第二参考像素点的深度值；
Figure BDA0001751160590000142
为下取整函数，如果视点20像素点投影到视点10位置是分像素位置，通过d+0.5之和向下取整，相当于进行四舍五入，选择水平方向最邻近的整像素位置投影。
根据投影结果确定待预测单元内的已知像素点和未知像素点，如图5所示，视点20存在2个像素点，ps,2和ps,3，投影到视点10待预测单元同一位置像素点位置qw,2；对于待预测单元内的qw,1，在视点20参考图像区域内存在一个像素点ps,1与之匹配；对于待预测单元内的qu，参见图6，在视点20参考图像区域内不存在与之投影匹配的像素点；此时，可以确定qw,2和qw,1为已知像素点，qu为未知像素点。
步骤S408：获取各已知像素点的初始深度值。
对于已知像素点qw,2，由于存在两个第二参考像素点ps,2和ps,3，为了选择更相关的深度值，利用深度-纹理相关性和视点间相关性建立双边高斯滤波器，权重值越大，认为相关性越大，选择相关性最大的第二参考像素点的深度值，作为其初始深度值，具体计算公式如下：
Figure BDA0001751160590000151
其中，ps表示第二参考像素点集合，qw,2表示视点10已知像素点，
Figure BDA0001751160590000152
为描述像素点纹理信息相似性的核函数，
Figure BDA0001751160590000153
和
Figure BDA0001751160590000154
分别表示两个像素在对应位置的纹理值，
Figure BDA0001751160590000155
为描述像素点视点间视差距离相似性的核函数，
Figure BDA0001751160590000156
和
Figure BDA0001751160590000157
分别表示两个像素点所属视点坐标位置信息，qw,2属于视点10，ps属于视点20。fT(·)和fV(·)随着相关性增大而增大，为了避免出现零值，引入高斯权重，具体计算公式如下：
Figure BDA0001751160590000158
Figure BDA0001751160590000159
其中，σT和σV分别表示纹理信息和视点间视差的高斯滤波强度，σT和σV可以取值为1，可以根据对各视点特征信息进行数学统计得到，作用是平衡在相关性判决时对相关性的影响。当前已知像素点qw,2深度值填充选择第二参考像素点中权重值最大的像素的深度值作为初始深度值，如下式。
Figure BDA00017511605900001510
Figure BDA00017511605900001511
对于已知像素点qw,1，其初始深度值的获取过程与上述qw,2初始深度值获取过程相同，在此不再赘述。但是由于qw,1只有一个第二参考像素点与之投影匹配，此时可以直接将该唯一的第二参考像素点ps,1的深度值，作为qw,1的初始深度值。
步骤S410：选择已知像素点在当前视点图像帧中的第一参考像素点，并获取各第一参考像素点的第一特征信息。
第一特征信息包括所述第一参考像素点的深度值、纹理信息以及在其所属视点图像帧内的坐标位置信息，已知像素点的特征信息包括该已知像素点的初始深度值、纹理信息以及其所属视点图像帧内的坐标位置信息。
步骤S412：根据已知像素点的特征信息，以及各第一参考像素点的第一特征信息，计算各第一参考像素点与该已知像素点之间关联性之第三权重值。
为了避免已知像素点获取初始深度值可能存在引入新的深度值，导致编码性能下降的问题，通过获取第一参考像素点的第一特征信息，其中第一特征信息包括深度值、纹理信息以及所属视点图像帧内的坐标位置信息。利用深度-纹理域相关性和空域相关性建立三边高斯滤波器，权重越大认为相关性越大，选择相关性最大的深度值替代初始深度值，具体计算公式如下：
Figure BDA0001751160590000161
qs∈{qs,1,qs,2,qs,3,qs,4}
其中，qs表示第一参考像素点集合，理论上越多越准确，选取四个像素点为例，qw,2表示已知像素点，
Figure BDA0001751160590000162
反映像素深度信息相似性的核函数，
Figure BDA0001751160590000163
和
Figure BDA0001751160590000164
为两个像素点对应深度值，
Figure BDA0001751160590000165
为根据步骤S408获取到的初始深度值。
Figure BDA0001751160590000166
反映像素纹理信息相似性的核函数，
Figure BDA0001751160590000167
和
Figure BDA0001751160590000168
为两个像素点对应纹理值。
Figure BDA0001751160590000169
反映像素点在空间距离相关性的核函数。
Figure BDA00017511605900001610
和
Figure BDA00017511605900001611
随着像素间的相关性增大而增大，其中，
Figure BDA00017511605900001612
具体公式参照上述过程，
Figure BDA00017511605900001613
具体计算公式如下：
Figure BDA00017511605900001614
Figure BDA00017511605900001615
其中，σD表示深度信息的高斯滤波强度，σL表示像素点空间距离的高斯滤波强度，用来平衡相互之间相关性对权重的影响。σD和σL取值可以为1，已知像素点位置qw,2相邻四个已知参考像素，计算每个第一参考像素点与该已知像素点qw,2之间关联性之权重值。
步骤S414：根据各关联性之第三权重值，选择第一目标参考像素点，将该第一目标参考像素点的深度值作为该已知像素点的最终深度值。
选择第三权重值最大的第一参考像素点作为第一目标参考像素点，将第一目标参考像素点的深度值赋予该已知像素点qw,2最终深度值，如下式。
Figure BDA0001751160590000171
Figure BDA0001751160590000172
步骤S416：获取未知像素点的深度值。
在对当前视点待预测单元内的各已知像素点深度值编码完成后，获取该待预测单元内的未知像素点。这里为qu，请参见图6。
首先，要在当前视点图像帧中确定第三参考像素点，其可以包括深度值以完成编码的已知像素点和在该待预测单元相邻范围内的第一参考像素点。然后获取第三参考像素点的第三特征信息，包括纹理信息、该像素点所属视点(当前视点)内的坐标位置信息，根据第三参考像素点的第三特征信息，计算与该未知像素点之间的关联性之第四权重值。利用深度-纹理相关性和空域相关性建立双边高斯滤波器，权重越大认为相关性越大，得到当前视点未知像素点深度的深度值，具体计算公式如下：
Figure BDA0001751160590000173
qr∈{qs,1,qs,2,qs,3,qs,4,qw,1,qw,2}；
其中，未知深度像素是qu，qr表示第三参考像素点集合。
Figure BDA0001751160590000174
反映像素纹理信息相似性的核函数，
Figure BDA0001751160590000175
和
Figure BDA0001751160590000176
为两个深度像素点对应纹理值。fL(qu,qr)反映像素点在空间距离相关性的核函数，两者相关性随着像素间的距离减小而增大，
Figure BDA0001751160590000177
和fL(qu,qr)具体公式参照上述说明，计算各个第三参考像素点与该未知像素点关联性之第四权重值，选择第四权重值最大的第三参考像素点的深度值作为未知像素点的深度值，如下式。
Figure BDA0001751160590000178
Figure BDA0001751160590000179
至此完成当前视点图像帧内预测单元各像素点深度值的预测过程。
本发明实施例提供的图像深度值获取方法，针对当前视点图像帧中待预测单元内的每一已知像素点，其深度值的获取过程包括：获取已知像素点的特征信息，并获取已知像素点在图像帧中的各第一参考像素点的第一特征信息；根据已知像素点的特征信息和第一参考像素点的第一特征信息，计算第一参考像素点与该已知像素点关联性之第三权重值，从各第一参考像素点中选择出与已知像素点的关联性满足第一预设条件的第一目标参考像素点，将第一目标参考像素点的深度值作为已知像素点的最终深度值；已知像素点为当前视点图像帧中待预测单元内，根据当前视点与其他视点之间的视差，能够被其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点；通过已知像素点自身所在图像帧中的各第一参考像素点的第一特征信息，对该已知像素点的初始深度值进行修正替换，避免引入新的深度值，进而可以达到提升编码性能的效果。
实施例三：
本发明实施例在实施例一和/或实施例二的基础上，提供一种图像深度值获取装置，用于实现如实施例一和/或实施例二所述的图像深度值获取方法。
请参见图7，该图像深度值获取装置70包括第一获取单元71，用于针对当前视点图像帧中待预测单元内的每一已知像素点，获取已知像素点在该当前视点图像帧中的各第一参考像素点的第一特征信息，以及该已知像素点的特征信息；计算单元72，用于基于第一特征信息以及该已知像素点的特征信息，计算各第一参考像素点与该已知像素点关联性之权重值；选择单元73，用于根据所述关联性之权重值，从各第一参考像素点中选择出与已知像素点的关联性满足第一预设条件的第一目标参考像素点，将第一目标参考像素点的深度值作为该已知像素点的最终深度值。其中已知像素点为当前视点图像帧中待预测单元内，根据当前视点与其他视点之间的视差，能够被其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点。
本实施例中，第一特征信息包括第一参考像素点的纹理信息以及在其所属视点图像帧内的坐标位置信息，已知像素点的特征信息包括该已知像素点的纹理信息以及其所属视点图像帧内的坐标位置信息。
可选的，第一参考像素点与该已知像素点关联性之权重值包括第一权重值；请参见图8，本发明的其他示例中，计算单元72还可以包括第一计算子单元721、第二计算子单元722以及第三计算子单元723：第一计算子单元721用于计算第一参考像素点与该已知像素点之间纹理信息的相关性，第二计算子单元722用于计算第一参考像素点与已知像素点之间所属视点图像帧的坐标位置信息的相关性，第三计算子单元723用于根据纹理信息的相关性以及所属视点图像帧的坐标位置信息的相关性，计算得到第一参考像素点与该已知像素点关联性之所述第一权重值。
还需说明的是，已知像素点为当前视点图像帧中待预测单元内，根据当前视点与其他视点之间的视差，能够被其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点。
计算单元72计算得到的两者之间的关联性之第一权重值可以反映两者之间的关联性，当第一权重值越大，则可以说明两者越相关或者说相似。本实施例中，选择单元73用于根据该第一权重值，按照第一预设条件，从各个第一参考像素点中选择出与该已知像素点之间相关性最大或者最相似的，作为第一目标参考像素点。
其中，选择单元73包括第一选择子单元731或第二选择子单元732，以及确定单元733，请参见图9，其中第一选择子单731用于选择各第一参考像素点中与已知像素点的关联性之第一权重值最大的第一参考像素点，作为第一目标参考像素点。第二选择子单元732包括第一计算模块732a、第二计算模块732b以及比较模块732c，第一计算模块732a用于根据第一参考像素点中与该已知像素点的关联性之第一权重值，计算第一参考像素点深度值的加权平均值；第二计算模块732b用于计算第一参考像素点深度值与该加权平均值之间差值的绝对值；比较模块732c用于将绝对值最小的深度值所对应的第一参考像素点作为第一目标参考像素点；确定单元733用于将该第一目标参考像素点的深度值作为该已知像素点的最终深度值。
实施例四：
本发明实施例在实施例一和/或实施例二的基础上，提供一种图像深度值获取设备，用于实现上述实施例一和/或实施例二所述的图像深度值获取方法，请参见图10，该图像深度值获取设备100包括：
信息获取单元101，用于针对当前视点图像帧中待预测单元内的每一已知像素点，获取已知像素点在该当前视点图像帧中的各第一参考像素点的第一特征信息，以及该已知像素点的特征信息；处理单元102，用于基于第一特征信息以及已知像素点的特征信息，计算各第一参考像素点与已知像素点关联性之权重值；并根据关联性之权重值，从各第一参考像素点中选择出与已知像素点的关联性满足第一预设条件的第一目标参考像素点，将第一目标参考像素点的深度值作为已知像素点的最终深度值；其中已知像素点为当前视点图像帧中待预测单元内，根据当前视点与其他视点之间的视差，能够被其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点。
可选的，第一特征信息包括第一参考像素点的深度值、纹理信息以及在其所属视点图像帧内的坐标位置信息；已知像素点的特征信息包括该已知像素点的初始深度值、纹理信息以及其所属视点图像帧内的坐标位置信息；第一参考像素点与所述已知像素点关联性之权重值包括第三权重值，处理单元102还用于计算第一参考像素点与已知像素点之间深度值的相关性，并计算第一参考像素点与已知像素点之间纹理信息的相关性，以及计算第一参考像素点与已知像素点之间所属视点图像帧的坐标位置信息的相关性，根据深度值的相关性、纹理信息的相关性以及所属视点图像帧的坐标位置信息的相关性，得到第一参考像素点与已知像素点关联性之第三权重值。
可选的，处理单元102还用于选择各第一参考像素点中与已知像素点的关联性之第三权重值最大的第一参考像素点，作为第一目标参考像素点；
或，处理单元102还用于根据各第一参考像素点中与已知像素点的关联性之第三权重值，计算各第一参考像素点深度值的加权平均值，并计算各第二参考像素点深度值与加权平均值之间差值的绝对值，将绝对值最小的深度值所对应的第一参考像素点作为第一目标参考像素点。
需要说明的是，本实施例中信息获取单元101与处理单元102，可以通过视频编解码器实施，或者其他硬件单元实施。
实施例五：
本发明实施例在实施例一和/或实施例二的基础上，提供一种编解码器，参见图11，该编解码器110包括处理器111、存储器112及通信总线113；
通信总线113用于实现处理器111和存储器112之间的连接通信；
处理器111用于执行存储器112中存储的一个或者多个程序，以实现如实施例一和/或实施例二所述的图像深度值获取方法的步骤。以实现多视点图像帧深度值的编码过程。具体过程请参见上述实施例一和/或实施例二的描述，在此不再赘述。
本发明实施例还提供一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如实施例一所述的图像深度值获取方法的步骤。具体过程请参见上述实施例一和/或实施例二的描述，在此不再赘述。
显然，本领域的技术人员应该明白，上述本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (18)

1.一种图像深度值获取方法，针对当前视点图像帧中待预测单元内的每一已知像素点，其深度值的获取过程包括：
获取所述已知像素点在所述图像帧中的各第一参考像素点的第一特征信息，以及所述已知像素点的特征信息；
基于所述第一特征信息以及所述已知像素点的特征信息，计算各所述第一参考像素点与所述已知像素点关联性之权重值；
根据所述关联性之权重值，从所述各第一参考像素点中选择出与所述已知像素点的关联性满足第一预设条件的第一目标参考像素点，将所述第一目标参考像素点的深度值作为所述已知像素点的最终深度值；
所述已知像素点为所述当前视点图像帧中待预测单元内，根据所述当前视点与其他视点之间的视差，能够被所述其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点；
其中，所述第一特征信息包括所述第一参考像素点的深度值，所述已知像素点的特征信息包括该已知像素点的初始深度值；
所述初始深度值的获取过程包括：
将所述预设参考图像区域内深度值已编码的像素点作为第二参考像素点；
获取各所述第二参考像素点的第二特征信息；
利用所述第二特征信息，计算各所述第二参考像素点与所述已知像素点之间的关联性之第二权重值，从各所述第二参考像素点中选择出与所述已知像素点的关联性满足第二预设条件的第二目标参考像素点，将所述第二目标参考像素点的深度值作为所述已知像素点的所述初始深度值。
2.如权利要求1所述的图像深度值获取方法，其特征在于，所述第一特征信息包括所述第一参考像素点的纹理信息以及在其所属视点图像帧内的坐标位置信息，所述已知像素点的特征信息包括该已知像素点的纹理信息以及其所属视点图像帧内的坐标位置信息。
3.如权利要求2所述的图像深度值获取方法，其特征在于，所述第一参考像素点与所述已知像素点关联性之权重值包括第一权重值，所述基于所述第一特征信息以及所述已知像素点的特征信息，计算各所述第一参考像素点与所述已知像素点关联性之权重值包括：
计算所述第一参考像素点与所述已知像素点之间纹理信息的相关性，以及计算所述第一参考像素点与所述已知像素点之间所属视点图像帧的坐标位置信息的相关性，根据所述纹理信息的相关性以及所述所属视点图像帧的坐标位置信息的相关性，得到所述第一参考像素点与所述已知像素点关联性之所述第一权重值。
4.如权利要求3所述的图像深度值获取方法，其特征在于，所述根据所述关联性之权重值，从所述各第一参考像素点中选择出与所述已知像素点的关联性满足第一预设条件的第一目标参考像素点包括：
选择各所述第一参考像素点中与所述已知像素点的关联性之第一权重值最大的第一参考像素点，作为所述第一目标参考像素点；
或，根据各所述第一参考像素点中与所述已知像素点的关联性之第一权重值，计算各所述第一参考像素点深度值的加权平均值，并计算各所述第一参考像素点深度值与所述加权平均值之间差值的绝对值，将所述绝对值最小的深度值所对应的第一参考像素点作为所述第一目标参考像素点。
5.如权利要求1所述的图像深度值获取方法，其特征在于，所述第二预设条件包括：
选择各所述第二参考像素点中，与所述已知像素点的关联性之第二权重值最大的第二参考像素点，作为所述第二目标参考像素点；
或，根据各所述第二参考像素点分别与所述已知像素点的关联性之第二权重值，计算各所述第二参考像素点深度值的加权平均值，并计算各所述第二参考像素点深度值与所述加权平均值之间差值的绝对值，将所述绝对值最小的深度值所对应的第二参考像素点作为所述第二目标参考像素点。
6.如权利要求1所述的图像深度值获取方法，其特征在于，所述第二特征信息包括所述第二参考像素点的纹理信息、所属视点位置信息；所述利用所述第二特征信息，计算各所述第二参考像素点与所述已知像素点之间的关联性之第二权重值包括：
计算所述第二参考像素点与所述已知像素点之间纹理信息的相关性，以及各所述第二参考像素点与所述已知像素点之间所属视点位置信息的相关性，根据所述纹理信息的相关性与所述所属视点位置信息的相关性得到所述第二参考像素点与所述已知像素点关联性之第二权重值。
7.如权利要求1所述的图像深度值获取方法，其特征在于，所述预设参考图像区域为在所述其他视点图像帧中与所述待预测单元坐标位置对应的图像区域；或，所述预设参考图像区域包括在所述其他视点图像帧中与所述待预测单元坐标位置对应的图像区域，以及在所述图像区域的预设相邻范围内的扩展图像区域。
8.如权利要求5-7任一项所述的图像深度值获取方法，其特征在于，所述第一参考像素点与所述已知像素点关联性之权重值包括第三权重值，所述基于所述第一特征信息以及所述已知像素点的特征信息，计算各所述第一参考像素点与所述已知像素点关联性之权重值包括：
计算所述第一参考像素点与所述已知像素点之间深度值的相关性，并计算所述第一参考像素点与所述已知像素点之间纹理信息的相关性，以及计算所述第一参考像素点与所述已知像素点之间所属视点图像帧的坐标位置信息的相关性，根据所述深度值的相关性、所述纹理信息的相关性以及所述所属视点图像帧的坐标位置信息的相关性，得到所述第一参考像素点与所述已知像素点关联性之所述第三权重值。
9.如权利要求8所述的图像深度值获取方法，其特征在于，所述第一参考像素点与所述已知像素点关联性之第三权重值通过如下公式计算得到：
Figure FDA0003430312840000021
Figure FDA0003430312840000022
其所属视点图像帧内的坐标位置。
10.如权利要求8所述的图像深度值获取方法，其特征在于，所述第一预设条件包括：
选择各所述第一参考像素点中与所述已知像素点的关联性之第三权重值最大的第一参考像素点，作为所述第一目标参考像素点；
或，根据各所述第一参考像素点中与所述已知像素点的关联性之第三权重值，计算各所述第一参考像素点深度值的加权平均值，并计算各所述第一参考像素点深度值与所述加权平均值之间差值的绝对值，将所述绝对值最小的深度值所对应的第一参考像素点作为所述第一目标参考像素点。
11.如权利要求8所述的图像深度值获取方法，其特征在于，所述图像深度值获取方法还包括：
在所述当前视点图像帧中，根据所述当前视点与其他视点之间的视差，判断不能被所述其他视点图像帧中预测参考图像区域内的任意一个像素点所投影匹配的像素点，作为未知像素点；
获取第三参考像素点的第三特征信息，计算各所述第三参考像素点，与所述未知像素点之间的关联性之第四权重值，从各所述第三参考像素点中选择出与所述未知像素点的关联性满足第三预设条件的第三目标参考像素点，将所述第三目标参考像素点的深度值作为所述未知像素点的深度值；所述第三参考像素点包括所述当前视点图像 帧中深度值已编码的已知像素点和/或所述第一参考像素点。
12.如权利要求11所述的图像深度值获取方法，其特征在于，所述第三预设条件包括：
选择各所述第三参考像素点中，与所述未知像素点的关联性之第四权重值最大的第三参考像素点，作为所述第三目标参考像素点；
或，根据各所述第三参考像素点分别与所述已知像素点的关联性之第四权重值，计算各所述第三参考像素点深度值的加权平均值，并计算各所述第三参考像素点深度值与所述加权平均值之间差值的绝对值，将所述绝对值最小的深度值所对应的第三参考像素点作为所述第三目标参考像素点。
13.一种图像深度值获取装置，包括：
第一获取单元，用于针对当前视点图像帧中待预测单元内的每一已知像素点，获取所述已知像素点在所述图像帧中的各第一参考像素点的第一特征信息，以及所述已知像素点的特征信息；
计算单元，用于基于所述第一特征信息以及所述已知像素点的特征信息，计算各所述第一参考像素点与所述已知像素点关联性之权重值；
选择单元，用于根据所述关联性之权重值，从所述各第一参考像素点中选择出与所述已知像素点的关联性满足第一预设条件的第一目标参考像素点，将所述第一目标参考像素点的深度值作为所述已知像素点的最终深度值；
所述已知像素点为所述当前视点图像帧中待预测单元内，根据所述当前视点与其他视点之间的视差，能够被所述其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点；
其中，所述第一特征信息包括所述第一参考像素点的深度值，所述已知像素点的特征信息包括该已知像素点的初始深度值；
所述第一获取单元还用于将所述预设参考图像区域内深度值已编码的像素点作为第二参考像素点；
获取各所述第二参考像素点的第二特征信息；
利用所述第二特征信息，计算各所述第二参考像素点与所述已知像素点之间的关联性之第二权重值，从各所述第二参考像素点中选择出与所述已知像素点的关联性满足第二预设条件的第二目标参考像素点，将所述第二目标参考像素点的深度值作为所述已知像素点的所述初始深度值。
14.一种图像深度值获取设备，包括：
信息获取单元，用于针对当前视点图像帧中待预测单元内的每一已知像素点，获取所述已知像素点在所述图像帧中的各第一参考像素点的第一特征信息，以及所述已知像素点的特征信息；
处理单元，用于基于所述第一特征信息以及所述已知像素点的特征信息，计算各所述第一参考像素点与所述已知像素点关联性之权重值；并根据所述关联性之权重值，从所述各第一参考像素点中选择出与所述已知像素点的关联性满足第一预设条件的第一目标参考像素点，将所述第一目标参考像素点的深度值作为所述已知像素点的最终深度值；
所述已知像素点为所述当前视点图像帧中待预测单元内，根据所述当前视点与其他视点之间的视差，能够被所述其他视点图像帧中预设参考图像区域内的至少一个像素点所投影匹配的像素点；
其中，所述第一特征信息包括所述第一参考像素点的深度值，所述已知像素点的特征信息包括该已知像素点的初始深度值；
所述信息获取单元还用于将所述预设参考图像区域内深度值已编码的像素点作为第二参考像素点；
获取各所述第二参考像素点的第二特征信息；
利用所述第二特征信息，计算各所述第二参考像素点与所述已知像素点之间的关联性之第二权重值，从各所述第二参考像素点中选择出与所述已知像素点的关联性满足第二预设条件的第二目标参考像素点，将所述第二目标参考像素点的深度值作为所述已知像素点的所述初始深度值。
15.如权利要求14所述的图像深度值获取设备，其特征在于，所述第一特征信息还包括纹理信息以及在其所属视点图像帧内的坐标位置信息；所述已知像素点的特征信息包括该已知像素点的初始深度值、纹理信息以及其所属视点图像帧内的坐标位置信息；所述第一参考像素点与所述已知像素点关联性之权重值包括第三权重值，所述处理单元还用于计算所述第一参考像素点与所述已知像素点之间深度值的相关性，并计算所述第一参考像素点与所述已知像素点之间纹理信息的相关性，以及计算所述第一参考像素点与所述已知像素点之间所属视点图像帧的坐标位置信息的相关性，根据所述深度值的相关性、所述纹理信息的相关性以及所述所属视点图像帧的坐标位置信息的相关性，得到所述第一参考像素点与所述已知像素点关联性之所述第三权重值。
16.如权利要求15所述的图像深度值获取设备，其特征在于，所述处理单元还用于选择各所述第一参考像素点中与所述已知像素点的关联性之第三权重值最大的第一参考像素点，作为所述第一目标参考像素点；
或，根据各所述第一参考像素点中与所述已知像素点的关联性之第三权重值，计算各所述第一参考像素点深度值的加权平均值，并计算各所述第一参考像素点深度值与所述加权平均值之间差值的绝对值，将所述绝对值最小的深度值所对应的第一参考像素点作为所述第一目标参考像素点。
17.一种编解码器，其特征在于，所述编解码器包括处理器、存储器及通信总线；
所述通信总线用于实现处理器和存储器之间的连接通信；
所述处理器用于执行存储器中存储的一个或者多个程序，以实现如权利要求1至12中任一项所述的图像深度值获取方法的步骤。
18.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至12中任一项所述的图像深度值获取方法的步骤。
CN201810866888.5A 2018-08-01 2018-08-01 图像深度值获取方法、装置、设备、编解码器及存储介质 Active CN110798674B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810866888.5A CN110798674B (zh) 2018-08-01 2018-08-01 图像深度值获取方法、装置、设备、编解码器及存储介质
PCT/CN2019/096237 WO2020024792A1 (zh) 2018-08-01 2019-07-16 图像深度值获取方法、装置、设备、编解码器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810866888.5A CN110798674B (zh) 2018-08-01 2018-08-01 图像深度值获取方法、装置、设备、编解码器及存储介质

Publications (2)

Publication Number Publication Date
CN110798674A CN110798674A (zh) 2020-02-14
CN110798674B true CN110798674B (zh) 2022-04-08

Family

ID=69230947

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810866888.5A Active CN110798674B (zh) 2018-08-01 2018-08-01 图像深度值获取方法、装置、设备、编解码器及存储介质

Country Status (2)

Country Link
CN (1) CN110798674B (zh)
WO (1) WO2020024792A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496509A (zh) * 2020-03-18 2021-10-12 广州极飞科技股份有限公司 深度图像帧的生成方法、装置、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6057136B2 (ja) * 2011-03-18 2017-01-11 ソニー株式会社 画像処理装置および画像処理方法
US20140044347A1 (en) * 2011-04-25 2014-02-13 Sharp Kabushiki Kaisha Mage coding apparatus, image coding method, image coding program, image decoding apparatus, image decoding method, and image decoding program
JP5706291B2 (ja) * 2011-10-12 2015-04-22 日本電信電話株式会社 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
WO2014031795A1 (en) * 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US9514522B2 (en) * 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
CN102881018B (zh) * 2012-09-27 2014-10-29 清华大学深圳研究生院 一种图像深度图生成方法
CN104284195B (zh) * 2014-10-11 2018-12-25 华为技术有限公司 三维视频中的深度图预测方法、装置、编码器和解码器
EP3304488B1 (en) * 2015-07-03 2019-05-01 Huawei Technologies Co., Ltd. An image processing apparatus and method
US20170064279A1 (en) * 2015-09-01 2017-03-02 National Taiwan University Multi-view 3d video method and system

Also Published As

Publication number Publication date
WO2020024792A1 (zh) 2020-02-06
CN110798674A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
JP7335315B2 (ja) 画像予測方法および関連装置
EP3177015B1 (en) Image prediction method and related device
CN110249628B (zh) 用于预测分区的视频编码器和解码器
JP6158929B2 (ja) 画像処理装置、方法及びコンピュータプログラム
US9525858B2 (en) Depth or disparity map upscaling
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
CN111527752B (zh) 图像编码和解码的方法和装置以及存储比特流的记录介质
US20110317766A1 (en) Apparatus and method of depth coding using prediction mode
Stefanoski et al. Automatic view synthesis by image-domain-warping
US10085039B2 (en) Method and apparatus of virtual depth values in 3D video coding
CN108886598A (zh) 全景立体视频系统的压缩方法和装置
US9992494B2 (en) Method of depth based block partitioning
US11323702B2 (en) Apparatus and a method for associating a video block partitioning pattern to a video coding block
US8867826B2 (en) Disparity estimation for misaligned stereo image pairs
EP2839664A1 (en) Method and apparatus of inter-view sub-partition prediction in 3d video coding
CN102291579B (zh) 一种快速的多目立体视频分形压缩与解压缩方法
CN102685532A (zh) 自由视点四维空间视频编码系统的编码方法
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
CN101222647B (zh) 多视角视频图像的场景全局深度估计方法
JP5986657B2 (ja) 簡易化した深度ベースのブロック分割の方法
EP2903283B1 (en) Prediction image generation method and device
CN110798674B (zh) 图像深度值获取方法、装置、设备、编解码器及存储介质
US20130287289A1 (en) Synthetic Reference Picture Generation
US20120206442A1 (en) Method for Generating Virtual Images of Scenes Using Trellis Structures
CN103916652B (zh) 视差矢量生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant