CN111260544B - 数据处理方法及装置、电子设备和计算机存储介质 - Google Patents
数据处理方法及装置、电子设备和计算机存储介质 Download PDFInfo
- Publication number
- CN111260544B CN111260544B CN202010064997.2A CN202010064997A CN111260544B CN 111260544 B CN111260544 B CN 111260544B CN 202010064997 A CN202010064997 A CN 202010064997A CN 111260544 B CN111260544 B CN 111260544B
- Authority
- CN
- China
- Prior art keywords
- frame image
- depth value
- projection
- pixel
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims description 57
- 230000009466 transformation Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
本公开实施例公开了一种数据处理方法及装置、电子设备和计算机存储介质，其中，方法包括：基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，其中，所述参考帧图像包括所述深度视频流中除所述待处理帧图像外的至少一帧图像；将所述投影区域中参考像素投影到所述待处理帧图像中，根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。本公开实施例可以满足移动设备对于深度补偿实时性的要求。
Description
技术领域
本公开涉及计算机视觉技术，尤其是一种数据处理方法及装置、电子设备和计算机存储介质。
背景技术
深度数据是增强现实(Augmented Reality，简称AR)领域的一个重要输入数据，在移动设备的增强现实等应用中发挥着重要的作用。移动设备要实现虚拟物体和真实场景的遮挡、视线求交、阴影投射、交互碰撞等功能，通常需要获取图像中足够多的深度数据。由于目前移动设备中使用的深度传感器受到硬件条件及其深度获取原理等限制，通常不能完全获取图像中所有的深度数据，即存在着深度数据缺失的问题。因此深度补偿在移动设备的增强现实领域有着广泛的需求。
发明内容
本公开实施例提供一种数据处理的技术方案。
根据本公开实施例的一个方面，提供一种数据处理方法，包括：
基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，其中，所述参考帧图像包括所述深度视频流中除所述待处理帧图像外的至少一帧图像；
将所述投影区域中深度值未缺失的参考像素投影到所述待处理帧图像中，根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。
可选地，在本公开上述任一方法实施例中，所述基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，包括：
将所述预设的深度值范围中的最小预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第一投影边界；
将所述预设的深度值范围中的最大预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第二投影边界；
根据所述第一投影边界和所述第二投影边界，得到所述目标像素在所述参考帧图像中的所述投影区域。
本实施例通过分别将预设的深度值范围中的最小预设深度值和最大预设深度值赋予目标像素，可以根据具有最小预设深度值目标像素和具有最大预设深度值的目标像素在参考帧图像中确定一个投影区域，使该投影区域包含具有所有可能的深度值的目标像素在参考帧图像中的投影，在进行深度补偿时，只需要对该投影区域中的像素进行处理就可以满足深度补偿的要求，获得目标像素的补偿深度值，可以极大地减小深度补偿的数据处理量，缩短深度补偿的处理时间，满足移动设备对于深度补偿实时性的要求。
可选地，在本公开上述任一方法实施例中，所述投影区域为投影极线段。
本实施例中投影区域为投影极线段，只需要对该投影极线段中的像素进行搜索，就可以获得满足深度补偿的要求的目标像素的补偿深度值，可以极大地减小深度补偿的数据处理量，缩短深度补偿的处理时间，满足移动设备对于深度补偿实时性的要求。
可选地，在本公开上述任一方法实施例中，所述基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，包括：
将所述最小预设深度值作为所述目标像素的深度值，基于视频采集设备的内部参数和位姿信息，确定所述目标像素在所述参考帧图像中的第一投影像素；
将所述最大预设深度值作为所述目标像素的深度值，基于所述视频采集设备的内部参数和位姿信息，对所述目标像素在所述待处理帧图像中的坐标进行坐标变换处理，确定所述目标像素在所述参考帧图像中的第二投影像素；
连接所述第一投影像素和所述第二投影像素，得到所述目标像素在所述参考帧图像中的所述投影极线段。
本实施例通过分别将最小预设深度值和最大预设深度值赋予目标像素，根据对极几何的原理在参考帧图像中得到目标像素的投影极线段，使该投影极线段包含具有所有可能的深度值的目标像素在参考帧图像中的投影，在进行深度补偿时，只需要对该投影极线段中的像素进行搜索，就可以获得满足深度补偿的要求的目标像素的补偿深度值，可以极大地减小深度补偿的数据处理量，缩短深度补偿的处理时间，满足移动设备对于深度补偿实时性的要求。
可选地，在本公开上述任一方法实施例中，所述基于最小预设深度值和最大预设深度值，确定深度视频流中的待处理帧图像中深度值缺失的目标像素，在所述深度视频流中的参考帧图像中的投影区域，还包括：
根据所述待处理帧图像中场景的深度范围，确定所述最小预设深度值和所述最大预设深度值。
本实施例可以根据待处理帧图像中场景的深度范围，确定最小预设深度值和最大预设深度值，以便将最小预设深度值和最大预设深度值分别赋予目标像素，并通过将具有最小预设深度值的目标像素和具有最大预设深度值的目标像素分别投影到参考帧图像中，在参考帧图像中得到与目标像素相匹配的投影区域。
可选地，在本公开上述任一方法实施例中，所述将所述投影区域中深度值未缺失的参考像素投影到所述待处理帧图像中，根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值，包括：
将每个所述参考像素投影到所述待处理帧图像中，得到每个所述参考像素在所述待处理帧图像中的第三投影像素，和每个所述参考像素在所述待处理帧图像中的投影深度值；
基于所述第三投影像素，确定所述投影区域中投影到所述目标像素的参考像素；
根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。
本实施例通过将参考帧图像中参考像素投影到待处理帧图像中，利用参考帧图像中的像素在待处理帧图像中的投影深度值对待处理帧图像中深度值缺失的目标像素进行深度补偿，由于在深度补偿过程中并未引入其它深度估计的操作，可以保证补偿深度值的准确性，使补偿深度值与原始深度值的精度保持一致，特别适用于弱纹理的情况。另外，由于所得到的补偿深度值为视频采集设备的坐标系中的z轴坐标值，而不是像素的偏移量，因此可以有效避免额外的三角化反求操作，使整个深度补偿过程更为直接方便。
可选地，在本公开上述任一方法实施例中，所述将每个所述参考像素投影到所述待处理帧图像中，得到每个所述参考像素在所述待处理帧图像中的第三投影像素，和每个所述参考像素在所述待处理帧图像中的投影深度值，包括：
基于所述视频采集设备的内部参数和位姿信息，对每个参考像素在所述参考帧图像中的坐标进行坐标变换处理，得到所述第三投影像素的坐标和所述投影深度值；
所述基于所述第三投影像素，确定所述投影区域中投影到所述目标像素的参考像素，包括：
根据所述第三投影像素的坐标和所述目标像素的坐标，得到所述投影区域中投影到所述目标像素的参考像素。
本实施例可以基于视频采集设备的内部参数和位姿信息，对每个参考像素在参考帧图像中的坐标进行坐标变换处理，得到第三投影像素的坐标和投影深度值，然根据第三投影像素的坐标和目标像素的坐标，得到投影区域中投影到目标像素的参考像素，提高参考像素在待处理帧图像中的投影深度值的计算准确性和计算效率，从而有助于快速、准确的得到目标像素的补偿深度值。
可选地，在本公开上述任一方法实施例中，所述基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域之前，还包括：
选取所述深度视频流中位于所述待处理帧图像之前、且与所述待处理帧图像相邻的至少一帧图像，作为所述参考帧图像。
本实施例选取深度视频流中位于待处理帧图像之前且与待处理帧图像相邻的至少一帧图像，作为参考帧图像，使参考帧图像的深度数据更加接近待处理帧图像的深度数据，以提高深度补偿的准确定。
可选地，在本公开上述任一方法实施例中，所述根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值，包括：
选取投影到所述目标像素的参考像素的投影深度值中最小的投影深度值，作为所述目标像素的补偿深度值。
本实施例选取投影到目标像素的参考像素的投影深度值中最小的投影深度值，作为目标像素的补偿深度值，由于多个投影深度值中最小的投影深度值，表示该位置与视频采集设备的距离最近，且未被其他投影点遮挡，因此在多个投影深度值中选取最小的投影深度值作为补偿深度值的可信度较高。
可选地，在本公开上述任一方法实施例中，所述选取所述深度视频流中位于所述待处理帧图像之前、且与所述待处理帧图像相邻的至少一帧图像，作为所述参考帧图像之前，还包括：
对所述深度视频流中的每一帧图像中像素的深度值进行逐像素检测，确定所述待处理帧图像。
本实施例对深度视频流中的每一帧图像中像素的深度值进行逐像素检测，根据检测到的像素的深度值来确定待处理帧图像，可以将存在深度值缺失的任意一帧图像作为待处理帧图像。基于本公开实施例进行深度补偿。
根据本公开实施例的另一个方面，提供一种数据处理装置，包括：
第一确定模块，用于基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，其中，所述参考帧图像包括所述深度视频流中除所述待处理帧图像外的至少一帧图像；
投影模块，用于将所述投影区域中深度值未缺失的参考像素投影到所述待处理帧图像中；
获取模块，用于根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。
可选地，在本公开上述任一装置实施例中，所述第一确定模块包括：
第一确定单元，用于将所述预设的深度值范围中的最小预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第一投影边界；
第二确定单元，用于将所述预设的深度值范围中的最大预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第二投影边界；
第一获取单元，用于根据所述第一投影边界和所述第二投影边界，得到所述目标像素在所述参考帧图像中的所述投影区域。
可选地，在本公开上述任一装置实施例中，所述投影区域为投影极线段。
可选地，在本公开上述任一装置实施例中，所述第一确定单元，具体用于：将所述最小预设深度值作为所述目标像素的深度值，基于视频采集设备的内部参数和位姿信息，确定所述目标像素在所述参考帧图像中的第一投影像素；
所述第二确定单元，具体用于将所述最大预设深度值作为所述目标像素的深度值，基于所述视频采集设备的内部参数和位姿信息，对所述目标像素在所述待处理帧图像中的坐标进行坐标变换处理，确定所述目标像素在所述参考帧图像中的第二投影像素；
所述获取单元，具体用于连接所述第一投影像素和所述第二投影像素，得到所述目标像素在所述参考帧图像中的所述投影极线段。
可选地，在本公开上述任一装置实施例中，所述第一确定模块还包括：
第三确定单元，用于根据所述待处理帧图像中场景的深度范围，确定所述最小预设深度值和所述最大预设深度值。
可选地，在本公开上述任一装置实施例中，所述投影模块，具体用于：将每个所述参考像素投影到所述待处理帧图像中，得到每个所述参考像素在所述待处理帧图像中的第三投影像素，和每个所述参考像素在所述待处理帧图像中的投影深度值；
所述获取模块包括：
第四确定单元，用于基于所述第三投影像素，确定所述投影区域中投影到所述目标像素的参考像素；
第二获取单元，用于根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。
可选地，在本公开上述任一装置实施例中，所述投影模块，具体用于：基于所述视频采集设备的内部参数和位姿信息，对每个参考像素在所述参考帧图像中的坐标进行坐标变换处理，得到所述第三投影像素的坐标和所述投影深度值；
所述第四确定单元，具体用于根据所述第三投影像素的坐标和所述目标像素的坐标，得到所述投影区域中投影到所述目标像素的参考像素。
可选地，在本公开上述任一装置实施例中，还包括：
选取模块，用于选取所述深度视频流中位于所述待处理帧图像之前、且与所述待处理帧图像相邻的至少一帧图像，作为所述参考帧图像。
可选地，在本公开上述任一装置实施例中，所述第二获取单元，具体用于选取投影到所述目标像素的参考像素的投影深度值中最小的投影深度值，作为所述目标像素的补偿深度值。
可选地，在本公开上述任一装置实施例中，还包括：
第二确定模块，用于对所述深度视频流中的每一帧图像中像素的深度值进行逐像素检测，确定所述待处理帧图像。
根据本公开实施例的再一个方面，提供的一种电子设备，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成本公开上述任一实施例所述的方法。
根据本公开实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现本公开上述任一实施例所述方法的指令。
根据本公开实施例的再一个方面，提供的一种计算机存储介质，用于存储计算机可读指令，所述指令被执行时实现本公开上述任一实施例所述的方法。
基于本公开上述实施例提供的数据处理方法及装置、电子设备和计算机存储介质，利用预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，然后，将该投影区域中深度值未缺失的参考像素投影到待处理帧图像中，进而，根据投影到所述目标像素的参考像素在待处理帧图像中的投影深度值，来得到所述目标像素的补偿深度值，从而实现对目标像素的深度补偿，可以极大地减小深度补偿的数据处理量，缩短深度补偿的处理时间，满足移动设备对于深度补偿的实时性要求。
下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本公开的实施例，并且连同描述一起用于解释本公开的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
图1为本公开一些实施例的数据处理方法的流程图；
图2为本公开一些实施例中基于预设的深度值范围确定目标像素在参考帧图像中的投影区域的流程图；
图3为本公开一些实施例中基于预设的深度值范围确定目标像素在参考帧图像中的投影极线段的流程图；
图4为本公开一些实施例中根据投影区域中参考像素对目标像素进行深度补偿的流程图；
图5为采用本公开实施例提供的数据处理方法进行深度补偿的一个示例的示意图；
图6为本公开一些实施例的数据处理装置的结构示意图；
图7为本公开另一些实施例的数据处理装置的结构示意图；
图8为本公开一些应用实施例提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本公开实施例可以应用于计算机系统/服务器，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统、车载设备和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、第三程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
图1为本公开一些实施例的数据处理方法的流程图。该方法可以由终端设备执行，例如：照相机、摄像机、手机、平板电脑、车载电脑、智能穿戴设备等终端设备。如图1所示，该实施例的数据处理方法包括：
102，基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素，在参考帧图像中的投影区域。
在本公开实施例中，所述深度视频流可以包括多帧图像，其中的每一帧图像为深度视频流对应的视频中每一帧图像的深度图。可选地，所述深度视频流可以通过对视频中的图像进行深度估计得到，例如，通过立体匹配等方法对图像进行深度估计，或者可以通过深度摄像头等类似设备进行视频采集的过程中针对采集的每一帧图像得到，例如，通过飞行时间(Time of Flight，简称TOF)摄像头等进行视频采集，本公开实施例对深度视频流的获得方式不做限定。
在本公开实施例中，待处理帧图像可以为深度视频流的多帧图像中存在深度值缺失的任意一帧图像，本公开实施例对待处理帧图像在深度视频流中的位置不作限定。可选地，可以通过对深度视频流中的每一帧图像中的像素的深度值进行逐像素检测，来确定所述待处理帧图像，但本公开实施例对此不作限定。例如，在实际应用中，通常在获得图像对应的深度图时，深度图中缺失深度值的像素会被赋予一个特殊的数值，这个特殊的数值通常为零值或者一个非常大的数值，即无效深度值，在确定待处理帧图像时，可以对深度视频流中的每一帧图像中的像素的深度值进行逐像素检测，根据检测到的像素的深度值是否为这个特殊的数值，来判断像素的深度值是否为无效深度值，从而确定图像中是否存在深度值的缺失。
在本公开实施例中，参考帧图像可以为所述深度视频流的多帧图像中除待处理帧图像外的至少一帧图像。可选地，可以选取深度视频流中位于待处理帧图像之前的至少一帧图像作为参考帧图像，或者可以选取深度视频流中位于待处理帧图像之后的至少一帧图像作为参考帧图像，又或者可以选取深度视频流中位于待处理帧图像之前的至少一帧图像和位于待处理帧图像之后的至少一帧图像，作为参考帧图像，本公开实施例对参考帧图像在深度视频流中的位置不作限定。在一个可选的例子中，可以选取深度视频流中位于待处理帧图像之前且与待处理帧图像相邻的至少一帧图像，作为参考帧图像，使参考帧图像的深度数据更加接近待处理帧图像的深度数据，以提高深度补偿的准确定。
在本公开实施例中，参考帧图像的数量可以根据实际应用的需求确定，本公开实施例对参考帧图像的数量不作限定。例如，在数据处理速度较快的情况下，可以选取深度视频流中的较多帧图像作为参考帧图像，以提高深度补偿的鲁棒性。在一个可选的例子中，可以选取深度视频流中的3至6帧图像作为参考帧图像，可以在保证深度补偿实时性的情况下同时实现深度补偿的鲁棒性。可选地，参考帧图像可以包括深度视频流中存在深度数据缺失的图像，也可以不包括深度视频流中存在深度数据缺失的图像，本公开实施例对此不作限定。
在本公开实施例中，预设的深度值范围可以根据待处理帧图像中场景的深度范围来确定。可选地，可以根据待处理帧图像和参考帧图像得到待处理帧图像中场景的深度范围，或者可以根据待处理图像和深度视频流中包括参考帧图像在内的所有该场景的相关帧图像得到待处理帧图像中场景的深度值范围，本公开实施例对预设深度值范围的方法不作限定。
在本公开实施例中，预设的深度值范围可以由最小预设深度值和最大预设深度值确定，预设的深度值范围可以包括大于或等于最小预设深度值、且小于或等于最大预设深度值的深度值。可选地，可以将最小预设深度值和最大预设深度值分别赋予目标像素，即作为目标像素的深度值，并通过将具有最小预设深度值的目标像素和具有最大预设深度值的目标像素分别投影到参考帧图像中，可以在参考帧图像中得到与目标像素相匹配的投影区域，例如，该投影区域可以为参考帧图像中的一条线段(称为：投影极线段)，本公开实施例对投影区域的形式和确定投影区域的方法不做限定。
在一个可选的例子中，所述参考帧图像包括深度视频流中二帧以上的图像，可以基于最小预设深度值和最大预设深度值，确定待处理帧图像中深度值缺失的目标像素，在参考帧图像的每一帧图像中的投影区域。
104，将投影区域中深度值未缺失的参考像素投影到待处理帧图像中，根据投影到目标像素的深度值未缺失的像素在待处理帧图像中的投影深度值，得到目标像素的补偿深度值。
可选地，可以将参考像素(即投影区域中每个深度值未缺失的像素)投影到待处理帧图像中，根据每个参考像素在待处理帧图像中的投影位置，确定投影区域中投影到目标像素的的参考像素，从而可以根据投影到目标像素的参考像素在待处理帧图像中的投影深度值，得到目标像素的补偿深度值，但本公开实施例对此不作限定。
可选地，可以通过对投影区域中像素的深度值进行逐像素检测，来确定投影区域中深度值未缺失的像素，但本公开实施例对此不作限定。例如，可以对投影区域中像素的深度值进行逐像素检测，根据深度图中缺失深度值的像素是否被赋予的特殊的数值(通常这个特殊的数值为零值或者一个非常大的数值)，来判断像素的深度值是否缺失，从而确定投影区域中深度值未缺失的参考像素。
在一个可选的例子中，所述参考帧图像包括深度视频流中二帧以上的图像，可以将参考帧图像的每一帧图像中的投影区域中深度值未缺失的像素投影到待处理帧图像中，根据投影到目标像素的深度值未缺失的像素在待处理帧图像中的投影深度值，得到目标像素的补偿深度值。
基于本公开实施例提供的数据处理方法，基于预设的深度值范围，确定待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，然后，将该投影区域中深度值未缺失的参考像素投影到待处理帧图像中，进而，根据投影到目标像素的参考像素在待处理帧图像中的投影深度值，来得到目标像素的补偿深度值，利用预设的深度值范围确定目标像素在参考帧图像中的投影区域，通过对该投影区域中的像素进行处理来实现对目标像素的深度补偿，可以极大地减小深度补偿的数据处理量，缩短深度补偿的处理时间，满足移动设备对于深度补偿的实时性要求。
图2为本公开一些实施例中基于预设的深度值范围确定目标像素在参考帧图像中的投影区域的流程图，图3为本公开一些实施例中基于预设的深度值范围确定目标像素在参考帧图像中的投影极线段的流程图。下面将结合图2和图3所示的例子，详细描述基于预设的深度值范围确定目标像素在参考帧图像中的投影区域的流程。如图2所示，该实施例包括：
202，将预设的深度值范围中的最小预设深度值作为目标像素的深度值，确定目标像素在参考帧图像中的第一投影边界。
可选地，可以将预设的深度值范围中的最小深度值(即最小预设深度值)赋予目标像素，即作为目标像素的深度值，根据预设的投影函数，对具有该最小预设深度值的目标像素的坐标进行处理，可以在参考帧图像中得到第一投影边界。在一个可选的例子中，该第一投影边界为一个投影点。本公开实施例对第一投影边界的形式不做限定。
204，将预设的深度值范围中的最大预设深度值作为目标像素的深度值，确定目标像素在参考帧图像中的第二投影边界。
可选地，可以将预设的深度值范围中的最大深度值(即最大预设深度值)赋予目标像素，即作为目标像素的深度值，根据预设的投影函数，对具有该最大预设深度值的目标像素的坐标进行处理，可以在参考帧图像中得到第二投影边界。在一个可选的例子中，该第二投影边界为一个投影点。本公开实施例对第二投影边界的形式不做限定。
206，根据第一投影边界和第二投影边界，得到目标像素在参考帧图像中的投影区域。
可选地，可以通过连接第一投影边界和第二投影边界，在参考帧图像中确定目标像素的投影区域。在一个可选的例子中，当该第一投影边界和该第二投影边界分别为一个投影点时，该投影区域为一条线段，可以称为投影极线段。但本公开实施例对投影区域的形式不做限定。
本公开实施例通过分别将预设的深度值范围中的最小预设深度值和最大预设深度值赋予目标像素，可以根据具有最小预设深度值目标像素和具有最大预设深度值的目标像素在参考帧图像中确定一个投影区域，使该投影区域包含具有所有可能的深度值的目标像素在参考帧图像中的投影，在进行深度补偿时，只需要对该投影区域中的像素进行处理就可以满足深度补偿的要求，获得目标像素的补偿深度值，可以极大地减小深度补偿的数据处理量，缩短深度补偿的处理时间，满足移动设备对于深度补偿实时性的要求。
当目标像素在参考帧图像中的投影区域为根据对极几何原理得到投影极线段时，基于最小预设深度值和最大预设深度值确定目标像素在参考帧图像中的投影极线段的流程如图3所示，该实施例包括：
302，将最小预设深度值作为目标像素的深度值，基于视频采集设备的内部参数和位姿信息，确定目标像素在参考帧图像中的第一投影像素。
可选地，可以将最小预设深度值作为目标像素的深度值，基于视频采集设备的内部参数和位姿信息，对目标像素在待处理帧图像中的坐标进行坐标变换处理，得到第一投影像素在参考帧图像中的坐标。本公开实施例对确定目标像素在参考帧图像中的第一投影像素的实现方式不作限定。
在一个可选的例子中，可以将最小预设深度值作为目标像素的深度值，并将最小预设深度值作为目标像素在获得待处理帧图像时视频采集设备的坐标系中的三维坐标中的一个维度的坐标，根据视频采集设备的内部参数，对目标像素在待处理帧图像中的坐标进行坐标变换处理，得到目标像素在获得待处理帧图像时视频采集设备的坐标系中的坐标；然后，根据视频采集设备在获得待处理帧图像时的位姿信息，对目标像素在获得待处理帧图像时视频采集设备的坐标系中的坐标进行坐标变换处理，得到目标像素在世界坐标系中的坐标；之后，根据视频采集设备在获得参考帧图像时的位姿信息，对目标像素在世界坐标系中的坐标进行坐标变换处理，得到目标像素在获得参考帧图像时视频采集设备的坐标系中的坐标，最后，根据视频采集设备的内部参数，对目标像素在获得参考帧图像时视频采集设备的坐标系中的坐标进行坐标变换处理，得到目标像素在参考帧图像中的坐标，即第一投影像素在参考帧图像中的坐标。
304，将最大预设深度值作为目标像素的深度值，基于视频采集设备的内部参数和位姿信息，确定目标像素在参考帧图像中的第二投影像素。
可选地，可以将最大预设深度值作为目标像素的深度值，基于视频采集设备的内部参数和位姿信息，对目标像素在待处理帧图像中的坐标进行坐标变换处理，得到第二投影像素在参考帧图像中的坐标。本公开实施例对确定目标像素在参考帧图像中的第二投影像素的实现方式不作限定。
在一个可选的例子中，可以将所述最大预设深度值作为目标像素的深度值，并将最大预设深度值作为目标像素在获得待处理帧图像时视频采集设备的坐标系中的三维坐标中的一个维度的坐标，根据视频采集设备的内部参数，对目标像素在待处理帧图像中的坐标进行坐标变换处理，得到目标像素在获得待处理帧图像时视频采集设备的坐标系中的坐标；然后，根据视频采集设备在获得待处理帧图像时的位姿信息，对目标像素在获得待处理帧图像时视频采集设备的坐标系中的坐标进行坐标变换处理，得到目标像素在世界坐标系中的坐标；之后，根据视频采集设备在获得参考帧图像时的位姿信息，对目标像素在世界坐标系中的坐标进行坐标变换处理，得到目标像素在获得参考帧图像时视频采集设备的坐标系中的坐标，最后，根据视频采集设备的内部参数，对目标像素在获得参考帧图像时视频采集设备的坐标系中的坐标进行坐标变换处理，得到目标像素在参考帧图像中的坐标，即第二投影像素在参考帧图像中的坐标。
可选地，视频采集设备的位姿信息，可以预先通过将采集该深度视频流对应的视频中第一帧图像时视频采集设备的坐标系作为世界坐标系，根据同一个特征点在第一帧图像与待处理帧图像对应的视频图像中的坐标，来确定视频采集设备在获得待处理帧图像时的位姿信息，以及根据同一个特征点在第一帧图像与参考帧图像对应的视频图像中的坐标，来确定视频采集设备在获得参考帧图像时的位姿信息。在一个可选的例子中，可以根据即时定位与地图构建(Simultaneous Localization and Mapping，简称SLAM)算法，得到视频采集设备在获得待处理帧图像时的位姿信息和视频采集设备在获得参考帧图像时的位姿信息。
306，连接第一投影像素和第二投影像素，得到目标像素在参考帧图像中的投影极线段。
本实施例通过分别将最小预设深度值和最大预设深度值赋予目标像素，根据对极几何的原理在参考帧图像中得到目标像素的投影极线段，使该投影极线段包含具有所有可能的深度值的目标像素在参考帧图像中的投影，在进行深度补偿时，只需要对该投影极线段中的像素进行搜索，就可以获得满足深度补偿的要求的目标像素的补偿深度值，可以极大地减小深度补偿的数据处理量，缩短深度补偿的处理时间，满足移动设备对于深度补偿实时性的要求。
图4为本公开一些实施例中根据投影区域中参考像素对目标像素进行深度补偿的流程图。下面将结合图4所示的例子，详细描述根据投影区域中参考像素对目标像素进行深度补偿的流程。如图4所示，该实施例包括：
402，将投影区域中每个参考像素投影到待处理帧图像中，得到每个参考像素在待处理帧图像中的第三投影像素，和每个参考像素在待处理帧图像中的投影深度值。
可选地，可以根据目标像素在参考帧图像中的投影区域，对投影区域中每个参考像素的坐标进行处理，可以得到投影区域中每个参考像素在待处理帧图像中的第三投影像素的坐标和投影深度值。本公开实施例对确定投影区域中参考像素在待处理帧图像中的第三投影像素和投影深度值的实现方式不作限定。在一个可选的例子中，可以基于视频采集设备的内部参数和位姿信息，对投影区域中每个参考像素在参考帧图像中的坐标进行坐标变换处理，得到第三投影像素的坐标和投影深度值。
404，基于第三投影像素，确定投影区域中投影到目标像素的参考像素。
可选地，可以根据第三投影像素的坐标和目标像素的坐标，得到投影区域中投影到目标像素的参考像素。本公开实施例对基于第三投影像素确定投影区域中投影到目标像素的参考像素的实现方式不作限定。
406，根据投影到目标像素的参考像素在待处理帧图像中的投影深度值，得到目标像素的补偿深度值。
可选地，当参考帧图像为深度视频流中的一帧图像时，可以将投影区域中投影到目标像素的参考像素在待处理帧图像中的投影深度值，作为目标像素的补偿深度值；当参考帧图像为深度视频流中二帧以上的图像时，可以选取投影到目标像素的参考像素的投影深度值中最小的投影深度值，作为目标像素的补偿深度值，由于多个投影深度值中最小的投影深度值，表示该位置与视频采集设备的距离最近，且未被其他投影点遮挡，因此在多个投影深度值中选取最小的投影深度值作为补偿深度值的可信度较高。
本实施例通过将参考帧图像中参考像素投影到待处理帧图像中，利用参考帧图像中的像素在待处理帧图像中的投影深度值对待处理帧图像中深度值缺失的目标像素进行深度补偿，由于在深度补偿过程中并未引入其它深度估计的操作，可以保证补偿深度值的准确性，使补偿深度值与原始深度值的精度保持一致，特别适用于弱纹理的情况。另外，由于所得到的补偿深度值为视频采集设备的坐标系中的z轴坐标值，而不是像素的偏移量，因此可以有效避免额外的三角化反求操作，使整个深度补偿过程更为直接方便。
在一个可选的例子中，对于深度视频流中存在深度数据缺失的待处理帧图像It，选取度视频流中位于待处理帧图像It之前且与待处理帧图像It相邻的k帧图像，作为参考帧图像，其中k为整数，且3≤k≤6；
对于深度视频流中待处理帧图像It中深度值缺失的目标像素xt，确定最小预设深度值dmin＝0.15，最大预设深度值dmax＝2.5，其中，深度值单位为米；
将最小预设深度值dmin赋予目标像素xt，根据视频采集设备的内部参数和位姿信息，可以确定目标像素xt在参考帧图像It-1中的第一投影像素其实现的公式如下：
p＝(ut*dmin,vt*dmin,dmin) (公式1)
其中，(ut,vt)为xt在图像It中的二维像素坐标；为视频采集设备的内部参数，其中fx和fy分别为视频采集设备的横向焦距和纵向焦距，cx和cy分别为图像光心位置的像素坐标；Rt-1和Tt-1分别为视频采集设备在获得图像It-1时的位姿信息，其中Rt-1为3*3的旋转矩阵，Tt-1为3*1的平移向量，表达了世界坐标系与视频采集设备的坐标系之间的转换关系；同理，Rt和Tt分别为视频采集设备在获得图像It时的位姿信息。
类似地，将最大预设深度值dmax赋予目标像素xt，利用上述(公式1)、(公式2)和(公式3)，根据视频采集设备的内部参数和位姿信息，可以确定目标像素xt在参考帧图像It-1中的第二投影像素
连接第一投影像素和第二投影像素/>可以得到图像It-1中的一条投影极线段，记为Lt-1。
重复上述得到投影极线段的操作，可以分别在k帧参考帧图像中，得到k条投影极线段{Lt-k,…,Lt-1}。
选取投影极线段Lt-1，对于投影极线段Lt-1中每个深度值未缺失的像素xt-1,根据其深度值Dt-1(xt-1)，将它投影到待处理帧图像It中，若其投影位置落在目标像素xt，则将该投影标记为有效投影，并记录此时像素在待处理帧图像It中的投影深度值其实现的公式如下：
p＝(ut-1*Dt-1(xt-1),vt-1*Dt-1(xt-1),Dt-1(xt-1)) (公式4)
其中，(ut-1,vt-1)为xt-1在图像It-1中的二维像素坐标，
重复上述投影极线段投影到待处理帧图像It中的操作，分别将k条投影极线段中所有的参考像素投影到待处理帧图像It中，记录有效投影并选取有效投影中最小的投影深度值作为目标像素的xt的补偿深度值d(xt)，其实现的公式如下：
图5为采用本公开实施例提供的数据处理方法进行深度补偿的一个示例的示意图。如图5所示，在图(a)中，It为深度视频流中的待处理帧图像，It-1…It-k为深度视频流中的参考帧图像，X为待处理帧图像It中存在深度值缺失的像素的区域；在图(b)中，Lt-1为根据本公开实施例提供的数据处理方法在参考帧图像I1-1中得到的投影极线段；在图(c)中，X′为根据本公开实施例提供的数据处理方法对待处理帧图像It中的X区域进行深度补偿后的区域，I′t为深度补偿后的待处理帧图像。从图(a)和图(c)中X与X′的对比可以看出，在经过深度补偿后，图像It中缺失的深度数据得到了恢复。
本公开实施例提供的方法可以应用于三维建模、增强现实、图像处理、拍照、游戏、动画、影视、电子商务、教育、房产、家居装修等多个领域。在一个应用场景中，利用补偿后的深度图像，可以更好的实现增强现实的一系列效果，包括但不限于虚拟物体和真实场景的几何一致性融合、遮挡一致性融合、光照一致性融合、物理一致性融合等。
图6为本公开一些实施例的数据处理装置的结构示意图。本公开实施例的数据处理装置可用于实现本公开上述各实施例的数据处理方法。如图6所示，该实施例中，数据处理装置包括：第一确定模块，投影模块和获取模块。其中：
第一确定模块，用于基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，其中，所述参考帧图像包括所述深度视频流中除所述待处理帧图像外的至少一帧图像。
投影模块，用于将所述投影区域中深度值未缺失的参考像素投影到所述待处理帧图像中。
获取模块，用于根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。
基于本公开上述实施例提供的数据处理装置，利用预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，然后，将该投影区域中深度值未缺失的参考像素投影到待处理帧图像中，进而，根据投影到所述目标像素的参考像素在待处理帧图像中的投影深度值，来得到所述目标像素的补偿深度值，从而实现对目标像素的深度补偿，可以极大地减小深度补偿的数据处理量，缩短深度补偿的处理时间，满足移动设备对于深度补偿的实时性要求。
可选地，在其中一些可能的实现方式中，所述第一确定模块包括：第一确定单元，用于将所述预设的深度值范围中的最小预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第一投影边界；第二确定单元，用于将所述预设的深度值范围中的最大预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第二投影边界；第一获取单元，用于根据所述第一投影边界和所述第二投影边界，得到所述目标像素在所述参考帧图像中的所述投影区域。
在一个可选的例子中，所述投影区域为投影极线段。
在一个可选的例子中，所述第一确定单元，具体用于：将所述最小预设深度值作为所述目标像素的深度值，基于视频采集设备的内部参数和位姿信息，确定所述目标像素在所述参考帧图像中的第一投影像素。相应地，所述第二确定单元，具体用于将所述最大预设深度值作为所述目标像素的深度值，基于所述视频采集设备的内部参数和位姿信息，对所述目标像素在所述待处理帧图像中的坐标进行坐标变换处理，确定所述目标像素在所述参考帧图像中的第二投影像素。所述获取单元，具体用于连接所述第一投影像素和所述第二投影像素，得到所述目标像素在所述参考帧图像中的所述投影极线段。
另外，在另一个可选的例子中，所述第一确定模块还可以包括：第三确定单元，用于根据所述待处理帧图像中场景的深度范围，确定所述最小预设深度值和所述最大预设深度值。
在一个可选的例子中，所述投影模块，具体用于：将每个所述参考像素投影到所述待处理帧图像中，得到每个所述参考像素在所述待处理帧图像中的第三投影像素，和每个所述参考像素在所述待处理帧图像中的投影深度值。相应地，该实施例中，所述获取模块包括：第四确定单元，用于基于所述第三投影像素，确定所述投影区域中投影到所述目标像素的参考像素；第二获取单元，用于根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。
在一个可选的例子中，所述投影模块，具体用于：基于所述视频采集设备的内部参数和位姿信息，对每个参考像素在所述参考帧图像中的坐标进行坐标变换处理，得到所述第三投影像素的坐标和所述投影深度值；
所述第四确定单元，具体用于根据所述第三投影像素的坐标和所述目标像素的坐标，得到所述投影区域中投影到所述目标像素的参考像素。
图7为本公开另一些实施例的数据处理装置的结构示意图。如图7所示，与图6所示的实施例相比，该实施例的数据处理装置还可以包括：选取模块，用于选取所述深度视频流中位于所述待处理帧图像之前、且与所述待处理帧图像相邻的至少一帧图像，作为所述参考帧图像。
在一个可选的例子中，所述第二获取单元，具体用于选取投影到所述目标像素的参考像素的投影深度值中最小的投影深度值，作为所述目标像素的补偿深度值。
另外，再参见图7，本公开实施例的数据处理装置还可以包括：第二确定模块，用于对所述深度视频流中的每一帧图像中像素的深度值进行逐像素检测，确定所述待处理帧图像。
另外，本公开实施例还提供了一种电子设备，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成本公开任一实施例所述的数据处理方法。
本公开实施例提供的电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。图8为本公开电子设备一个应用实施例的结构示意图。下面参考图8，其示出了适于用来实现本公开实施例的终端设备或服务器的电子设备的结构示意图。如图8所示，该电子设备包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)，和/或一个或多个图像处理器(GPU)等，处理器可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。通信部可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，处理器可与只读存储器和/或随机访问存储器中通信以执行可执行指令，通过总线与通信部相连、并经通信部与其他目标设备通信，从而完成本公开实施例提供的任一数据处理方法对应的操作，例如，基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，其中，所述参考帧图像包括所述深度视频流中除所述待处理帧图像外的至少一帧图像；将所述投影区域中深度值未缺失的参考像素投影到所述待处理帧图像中，根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。
此外，在RAM中，还可存储有装置操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。在有RAM的情况下，ROM为可选模块。RAM存储可执行指令，或在运行时向ROM中写入可执行指令，可执行指令使处理器执行本公开上述任一方法对应的操作。输入/输出(I/O)接口也连接至总线。通信部可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。
需要说明的，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本公开公开的保护范围。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本公开任一实施例提供的数据处理方法步骤对应的指令。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被CPU执行时，执行本公开的方法中限定的上述功能。
另外，本公开实施例还提供了一种计算机程序，包括计算机指令，当计算机指令在设备的处理器中运行时，实现本公开上述任一实施例的数据处理方法。
另外，本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本公开上述任一实施例的数据c处理方法。
应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。
还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
可能以许多方式来实现本公开的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。
Claims (16)
1.一种数据处理方法，其特征在于，包括：
基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，其中，所述参考帧图像包括所述深度视频流中除所述待处理帧图像外的至少一帧图像；
将所述投影区域中深度值未缺失的参考像素投影到所述待处理帧图像中，根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值；
其中，所述基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，包括：
将所述预设的深度值范围中的最小预设深度值作为所述目标像素的深度值，基于视频采集设备的内部参数和位姿信息，确定所述目标像素在所述参考帧图像中的第一投影像素；将所述预设的深度值范围中的最大预设深度值作为所述目标像素的深度值，基于所述视频采集设备的内部参数和位姿信息，对所述目标像素在所述待处理帧图像中的坐标进行坐标变换处理，确定所述目标像素在所述参考帧图像中的第二投影像素；连接所述第一投影像素和所述第二投影像素，得到所述目标像素在所述参考帧图像中的投影极线段，其中，所述投影区域为所述投影极线段。
2.根据权利要求1所述的方法，其特征在于，所述基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，包括：
将所述预设的深度值范围中的最小预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第一投影边界；
将所述预设的深度值范围中的最大预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第二投影边界；
根据所述第一投影边界和所述第二投影边界，得到所述目标像素在所述参考帧图像中的所述投影区域。
3.根据权利要求1或2所述的方法，其特征在于，所述基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，还包括：
根据所述待处理帧图像中场景的深度范围，确定所述最小预设深度值和所述最大预设深度值。
4.根据权利要求1或2所述的方法，其特征在于，所述将所述投影区域中深度值未缺失的参考像素投影到所述待处理帧图像中，根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值，包括：
将每个所述参考像素投影到所述待处理帧图像中，得到每个所述参考像素在所述待处理帧图像中的第三投影像素，和每个所述参考像素在所述待处理帧图像中的投影深度值；
基于所述第三投影像素，确定所述投影区域中投影到所述目标像素的参考像素；
根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。
5.根据权利要求4所述的方法，其特征在于，所述将每个所述参考像素投影到所述待处理帧图像中，得到每个所述参考像素在所述待处理帧图像中的第三投影像素，和每个所述参考像素在所述待处理帧图像中的投影深度值，包括：
基于所述视频采集设备的内部参数和位姿信息，对每个参考像素在所述参考帧图像中的坐标进行坐标变换处理，得到所述第三投影像素的坐标和所述投影深度值；
所述基于所述第三投影像素，确定所述投影区域中投影到所述目标像素的参考像素，包括：
根据所述第三投影像素的坐标和所述目标像素的坐标，得到所述投影区域中投影到所述目标像素的参考像素。
6.根据权利要求4所述的方法，其特征在于，所述基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域之前，还包括：
选取所述深度视频流中位于所述待处理帧图像之前、且与所述待处理帧图像相邻的至少一帧图像，作为所述参考帧图像。
7.根据权利要求6所述的方法，其特征在于，所述根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值，包括：
选取投影到所述目标像素的参考像素的投影深度值中最小的投影深度值，作为所述目标像素的补偿深度值。
8.根据权利要求6所述的方法，其特征在于，所述选取所述深度视频流中位于所述待处理帧图像之前、且与所述待处理帧图像相邻的至少一帧图像，作为所述参考帧图像之前，还包括：
对所述深度视频流中的每一帧图像中像素的深度值进行逐像素检测，确定所述待处理帧图像。
9.一种数据处理装置，其特征在于，包括：
第一确定模块，用于基于预设的深度值范围，确定深度视频流中的待处理帧图像中深度值缺失的目标像素在参考帧图像中的投影区域，其中，所述参考帧图像包括所述深度视频流中除所述待处理帧图像外的至少一帧图像；
投影模块，用于将所述投影区域中深度值未缺失的参考像素投影到所述待处理帧图像中；
获取模块，用于根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值；
其中，所述第一确定模块具体用于：将所述预设的深度值范围中的最小预设深度值作为所述目标像素的深度值，基于视频采集设备的内部参数和位姿信息，确定所述目标像素在所述参考帧图像中的第一投影像素；将所述预设的深度值范围中的最大预设深度值作为所述目标像素的深度值，基于所述视频采集设备的内部参数和位姿信息，对所述目标像素在所述待处理帧图像中的坐标进行坐标变换处理，确定所述目标像素在所述参考帧图像中的第二投影像素；连接所述第一投影像素和所述第二投影像素，得到所述目标像素在所述参考帧图像中的投影极线段，其中，所述投影区域为所述投影极线段。
10.根据权利要求9所述的装置，其特征在于，所述第一确定模块包括：
第一确定单元，用于将所述预设的深度值范围中的最小预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第一投影边界；
第二确定单元，用于将所述预设的深度值范围中的最大预设深度值作为所述目标像素的深度值，确定所述目标像素在所述参考帧图像中的第二投影边界；
第一获取单元，用于根据所述第一投影边界和所述第二投影边界，得到所述目标像素在所述参考帧图像中的所述投影区域。
11.根据权利要求10所述的装置，其特征在于，所述第一确定模块还包括：
第三确定单元，用于根据所述待处理帧图像中场景的深度范围，确定所述最小预设深度值和所述最大预设深度值。
12.根据权利要求9所述的装置，其特征在于，所述投影模块，具体用于：将每个所述参考像素投影到所述待处理帧图像中，得到每个所述参考像素在所述待处理帧图像中的第三投影像素，和每个所述参考像素在所述待处理帧图像中的投影深度值；
所述获取模块包括：
第四确定单元，用于基于所述第三投影像素，确定所述投影区域中投影到所述目标像素的参考像素；
第二获取单元，用于根据投影到所述目标像素的所述参考像素在所述待处理帧图像中的投影深度值，得到所述目标像素的补偿深度值。
13.根据权利要求12所述的装置，其特征在于，所述投影模块，具体用于：基于所述视频采集设备的内部参数和位姿信息，对每个参考像素在所述参考帧图像中的坐标进行坐标变换处理，得到所述第三投影像素的坐标和所述投影深度值；
所述第四确定单元，具体用于根据所述第三投影像素的坐标和所述目标像素的坐标，得到所述投影区域中投影到所述目标像素的参考像素。
14.根据权利要求12或13所述的装置，其特征在于，所述第二获取单元，具体用于选取投影到所述目标像素的参考像素的投影深度值中最小的投影深度值，作为所述目标像素的补偿深度值。
15.一种电子设备，其特征在于，包括：
存储器，用于存储可执行指令；以及
处理器，用于执行所述可执行指令从而完成权利要求1-8任一所述的方法。
16.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时实现权利要求1-8任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010064997.2A CN111260544B (zh) | 2020-01-20 | 2020-01-20 | 数据处理方法及装置、电子设备和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010064997.2A CN111260544B (zh) | 2020-01-20 | 2020-01-20 | 数据处理方法及装置、电子设备和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260544A CN111260544A (zh) | 2020-06-09 |
| CN111260544B true CN111260544B (zh) | 2023-11-03 |
Family
ID=70954312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010064997.2A Active CN111260544B (zh) | 2020-01-20 | 2020-01-20 | 数据处理方法及装置、电子设备和计算机存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260544B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658242A (zh) * | 2021-08-23 | 2021-11-16 | 深圳市慧鲤科技有限公司 | 深度估计方法、装置、计算机设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104159093A (zh) * | 2014-08-29 | 2014-11-19 | 杭州道玄影视科技有限公司 | 运动拍摄的静态场景视频的时域一致性空洞区域修补方法 |
| CN105069751A (zh) * | 2015-07-17 | 2015-11-18 | 江西欧酷智能科技有限公司 | 一种深度图像缺失数据的插值方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI478095B (zh) * | 2012-02-07 | 2015-03-21 | Nat Univ Chung Cheng | Check the depth of mismatch and compensation depth error of the perspective synthesis method |
| KR101913321B1 (ko) * | 2012-05-10 | 2018-10-30 | 삼성전자주식회사 | 깊이 센서 기반 반사 객체의 형상 취득 방법 및 장치 |
| IN2015DN03752A (zh) * | 2012-11-12 | 2015-10-02 | Ericsson Telefon Ab L M | |
| US10783656B2 (en) * | 2018-05-18 | 2020-09-22 | Zebra Technologies Corporation | System and method of determining a location for placement of a package |
-
2020
- 2020-01-20 CN CN202010064997.2A patent/CN111260544B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104159093A (zh) * | 2014-08-29 | 2014-11-19 | 杭州道玄影视科技有限公司 | 运动拍摄的静态场景视频的时域一致性空洞区域修补方法 |
| CN105069751A (zh) * | 2015-07-17 | 2015-11-18 | 江西欧酷智能科技有限公司 | 一种深度图像缺失数据的插值方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260544A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11270460B2 (en) | Method and apparatus for determining pose of image capturing device, and storage medium | |
| KR102319177B1 (ko) | 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체 | |
| US10977818B2 (en) | Machine learning based model localization system | |
| US9420265B2 (en) | Tracking poses of 3D camera using points and planes | |
| WO2019149206A1 (zh) | 深度估计方法和装置、电子设备、程序和介质 | |
| US20210004979A1 (en) | Depth from motion for augmented reality for handheld user devices | |
| Klein et al. | Full-3D Edge Tracking with a Particle Filter. | |
| WO2017041731A1 (en) | Markerless multi-user multi-object augmented reality on mobile devices | |
| US20030012410A1 (en) | Tracking and pose estimation for augmented reality using real features | |
| WO2018228436A1 (zh) | 双视角图像校准及图像处理方法、装置、存储介质和电子设备 | |
| Meilland et al. | A unified rolling shutter and motion blur model for 3D visual registration | |
| CN112184603B (zh) | 一种点云融合方法、装置、电子设备和计算机存储介质 | |
| GB2567245A (en) | Methods and apparatuses for depth rectification processing | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| CN109902675B (zh) | 物体的位姿获取方法、场景重构的方法和装置 | |
| CN111192308B (zh) | 图像处理方法及装置、电子设备和计算机存储介质 | |
| CN111260544B (zh) | 数据处理方法及装置、电子设备和计算机存储介质 | |
| JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
| CN112085842A (zh) | 深度值确定方法及装置、电子设备和存储介质 | |
| WO2023076913A1 (en) | Methods, storage media, and systems for generating a three-dimensional line segment | |
| Favorskaya et al. | Warping techniques in video stabilization | |
| US11417063B2 (en) | Determining a three-dimensional representation of a scene | |
| Russo et al. | Blurring prediction in monocular slam | |
| JP6341540B2 (ja) | 情報端末装置、方法及びプログラム | |
| Feng et al. | Foreground-aware dense depth estimation for 360 images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |