CN111862183A - 深度图像处理方法和系统、电子设备及存储介质 - Google Patents
深度图像处理方法和系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111862183A CN111862183A CN202010626718.7A CN202010626718A CN111862183A CN 111862183 A CN111862183 A CN 111862183A CN 202010626718 A CN202010626718 A CN 202010626718A CN 111862183 A CN111862183 A CN 111862183A
- Authority
- CN
- China
- Prior art keywords
- depth information
- original
- depth
- interpolation
- original depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 89
- 230000008859 change Effects 0.000 claims description 52
- 238000013507 mapping Methods 0.000 claims description 45
- 230000004927 fusion Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 23
- 230000002123 temporal effect Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000002366 time-of-flight method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000009828 non-uniform distribution Methods 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本申请涉及一种深度图像处理方法，包括：获取原始深度信息图像集合，所述原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像；确定原始深度信息图像对应的插值参数，基于插值参数对原始深度信息图像进行插值生成插值深度信息图像；根据原始深度信息图像生成对应的至少两帧原始深度图，根据插值深度信息图像生成对应的插值深度图；基于原始深度图和插值深度图生成对应的深度图视频。本申请还公开了一种深度图像处理系统、电子设备以及计算机可读存储介质。本申请可灵活输出动态帧率的深度图视频。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种深度图像处理方法和系统、电子设备以及计算机可读存储介质。
背景技术
近年来，随着计算机技术的快速发展，智能设备在对物体进行拍摄的时候，不仅能够采集物体的色彩信息，还能够采集物体的深度信息，通过深度信息可以对图像的色彩信息进行更精确地处理。通过图像处理的方法采集深度信息的方法有多种，例如双目测距法、结构光法、飞行时间法等。
在一些应用场景需要提高深度摄像头输出深度图视频的帧率，传统的方法通过增加采集深度模组的深度图采集频率，不仅导致深度图采集模组的成本急剧增加，而且也会导致器件功耗的增大。
发明内容
本申请实施例提供一种深度图像处理方法和系统、电子设备以及计算机可读存储介质，在更低功耗的情况下，针对深度摄像头采集得到的原始深度信息进行插值，形成更多的深度图像，可灵活输出动态帧率的深度图视频。
一种深度图像处理方法，包括：
获取原始深度信息图像集合，所述原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像；
确定所述原始深度信息图像对应的插值参数，基于所述插值参数对所述原始深度信息图像进行插值生成插值深度信息图像；
根据所述原始深度信息图像生成对应的至少两帧原始深度图，根据所述插值深度信息图像生成对应的插值深度图；
基于所述原始深度图和插值深度图生成对应的深度图视频。
一种深度图像处理系统，包括：
获取模块，用于获取原始深度信息图像集合，所述原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像；
插值模块，用于确定所述原始深度信息图像对应的插值参数，基于所述插值参数对所述原始深度信息图像进行插值生成插值深度信息图像；
深度图生成模块，用于根据所述原始深度信息图像生成对应的至少两帧原始深度图，根据所述插值深度信息图像生成对应的插值深度图；
深度图视频生成模块，用于基于所述原始深度图和插值深度图生成对应的深度图视频。
一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
获取原始深度信息图像集合，所述原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像；
确定所述原始深度信息图像对应的插值参数，基于所述插值参数对所述原始深度信息图像进行插值生成插值深度信息图像；
根据所述原始深度信息图像生成对应的至少两帧原始深度图，根据所述插值深度信息图像生成对应的插值深度图；
基于所述原始深度图和插值深度图生成对应的深度图视频。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
获取原始深度信息图像集合，所述原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像；
确定所述原始深度信息图像对应的插值参数，基于所述插值参数对所述原始深度信息图像进行插值生成插值深度信息图像；
根据所述原始深度信息图像生成对应的至少两帧原始深度图，根据所述插值深度信息图像生成对应的插值深度图；
基于所述原始深度图和插值深度图生成对应的深度图视频。
上述深度图像处理方法、系统、电子设备以及计算机可读存储介质，获取原始深度信息图像集合，原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像，确定原始深度信息图像对应的插值参数，基于插值参数对原始深度信息图像进行插值生成插值深度信息图像，根据原始深度信息图像生成对应的至少两帧原始深度图，根据插值深度信息图像生成对应的插值深度图，基于原始深度图和插值深度图生成对应的深度图视频，对原始深度信息图像进行插帧，使得原始深度信息得到充分利用，保证了深度图的图像质量，且插值参数可灵活设置，无需增加采集深度模组的深度图采集频率，在更低功耗的情况下，实现高帧率，可变帧率，灵活控制深度图输出帧率，可灵活输出动态帧率的深度图视频。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中深度图像处理方法的应用环境图；
图2为一个实施例中深度图像处理方法的流程示意图；
图3为一个实施例中原始深度信息转化的示意图；
图4为另一个实施例中确定原始深度信息图像对应的插值参数的示意图；
图5为一个实施例中生成插值深度图的示意图；
图6为一个实施例中基于插值参数对原始深度信息图像进行插值生成插值深度信息图像的示意图；
图7为一个实施例中前向运动矢量和后向运动矢量的示意图；
图7A为一个实施例中修正后的前向运动矢量和后向运动矢量的示意图；
图8为一个实施例中插值块的映射运动矢量的示意图；
图9为一个实施例中深度图像处理系统的示意图；
图10为另一个实施例中深度图像处理系统的示意图；
图11为再一个实施例中深度图像处理系统的示意图；
图12为一个实施例中深度图像处理系统的结构框图；
图13为一个实施例中电子设备的内部结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中深度图像处理方法的应用环境图。如图1所示，该应用环境包括终端110和服务器120，终端110获取原始深度信息图像集合，原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像，将包括原始深度信息图像集合的图像处理请求发送至服务器120，服务器120确定原始深度信息图像对应的插值参数，基于插值参数对原始深度信息图像进行插值生成插值深度信息图像，根据原始深度信息图像生成对应的至少两帧原始深度图，根据插值深度信息图像生成对应的插值深度图，基于原始深度图和插值深度图生成对应的深度图视频，服务器120将深度图视频返回终端110。其中终端110可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、车载电脑、穿戴式设备等终端设备。终端设备包括TOF摄像头，TOF摄像头通过向场景发射近红外光；接收反射的近红外线，通过计算反射的近红外线时间差或相位差，获取场景的原始深度信息，将场景的轮廓以不同颜色代表不同距离，以获取深度图像。其中服务器120可以为一个服务器或服务器集群。
在一些实施例中，深度图像处理方法可以应用于终端110，由终端110直接执行上述步骤生成深度图视频。
图2为一个实施例中深度图像处理方法的流程图。图2所示的深度图像处理方法可应用于上述终端110或服务器120中，包括：
步骤202，获取原始深度信息图像集合，原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像。
其中，原始深度信息图像是包括深度信息的原始图像，是还未形成深度图之前的图像。在一个实施例中，通过TOF摄像头采集原始深度信息图像，TOF摄像头包括一个信号发射器，一个信号接收器，信号发射器可以是LED、激光等发射元件，发射例如850nm的调制红外光，物体经过反射后，由信号接收器接收到反射的红外光。由于发射和接收的都是调制波，TOF摄像头可以计算发射和接收的相位差，通过换算得到深度值，即摄像头与物体的深度距离。原始深度信息图像可以是信号接收器接收到的原始电荷信息图像，也可以是对原始电荷信息图像经过处理后得到的2相位，4相位图像或多相位图像。还可以是对原始电荷信息图像按预设顺序进行重排得到的处理图像，其中预设顺序可以为时间顺序、位置顺序，或指定的顺序，上述的重排方式可以是正序，逆序或乱序。
具体地，原始深度信息图像集合中的原始深度信息图像，可以是终端实时拍摄的图像，也可以是预先配置的图像，如网络中下载的原始深度信息图像，或通过深度图生成工具生成原始深度信息图像等，原始深度信息图像集合中的图像的分辨率可以相同或不同，当原始深度信息图像集合中的图像的分辨率不同时，可经过处理形成分辨率相同的图像。原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像，如原始深度信息图像集合中包括原始深度信息图像A1、A2、A3、A4和B1、B2、B3、B4，其中A1、A2、A3、A4用于生成第一深度图，B1、B2、B3、B4用于生成第二深度图。
在一个实施例中，步骤202包括：获取一维原始深度信息，将一维原始深度信息转化为初始二维深度信息图像，多个不同的初始二维深度信息图像组成原始深度信息图像集合。
具体地，一维原始深度信息是成一维形式的原始深度信息，可以是激光摄像头接收到的激光波信号，将一维原始深度信息，采用一定的顺序，排列生成二维图像，如将CMOS上按行采集得到的电信号，按列排布形成二维电荷图像。其中一定的顺序可以为时间顺序、位置顺序，或指定的顺序。激光摄像头实际采集图像时，可以控制不同快门在不同的时间进行开关，然后形成不同的接收信号，从而通过多个快门开关采集不同的图像来计算得到深度图像，如通过四个快门来控制接收激光波信号的，快门1、快门2、快门3、快门4接收到的激光波信号分别为Q1、Q2、Q3、Q4，分别转化为初始二维深度信息图像，得到A1、A2和B1、B2，其中A1、A2用于生成一个深度图，B1、B2用于生成另一个深度图。
本实施例中，可以通过自定义的算法将一维原始深度信息转化为初始二维深度信息图像，组成原始深度信息图像集合，将采集得到的最原始的一维信息自动转化为与需求匹配的原始深度信息图像。
在一个实施例中，将一维原始深度信息转化为初始二维深度信息图像之后还包括：将初始二维深度信息图像进行信息重排，得到变换二维深度信息图像，基于初始二维深度信息图像和变换二维深度信息图像进行图像融合得到融合二维深度信息图像，融合二维深度信息图像组成原始深度信息图像集合。
具体地，将已经形成的初始二维深度信息图像，按照一定顺序进行重排，生成变换二维深度信息图像，如将相位图像，进行逆序重排。其中一定顺序可以是正序，逆序或乱序。还可以进行三维信息的重组，按时间轴顺序，将得到的一系列二维深度信息图像，包括初始二维深度信息图像和变换二维深度信息图像，按照一定顺序进行图像融合操作后，生成融合二维深度信息图像，图像融合操作可以为像素级加权映射，但不限于此。融合二维深度信息图像组成原始深度信息图像集合。可以理解，在一些实施例中，原始深度信息图像集合可以为初始二维深度信息图像、变换二维深度信息图像、融合二维深度信息图像混合组成。
本实施例中，通过对初始二维深度信息图像进行重排，和基于初始二维深度信息图像和变换二维深度信息图像进行图像融合，将融合得到的融合二维深度信息图像组成原始深度信息图像集合，经过变化和融合使得原始深度图像信息的利用更全面，便于后续输出更接近真实的深度图像。
如图3所示，为一个具体的实施例中将一维原始深度信息转化为初始二维深度信息图像，将初始二维深度信息图像进行重组形成新的变换二维深度信息图像，将初始二维深度信息图像和变换二维深度信息图像进行图像融合得到融合二维深度信息图像的示意图。
步骤204，确定原始深度信息图像对应的插值参数，基于插值参数对原始深度信息图像进行插值生成插值深度信息图像。
其中，插值参数是用于确定插值过程，影响插值图像结果的参数，根据输入的信息和输出的要求，确定待插帧的帧数，插帧方式，待插帧所在的插值相位等。对于不同的插值算法可以为不同的插值参数。如对于模型类的插值算法，插值参数可以是模型参数，对于受到时间影响的插值算法，插值参数可以是插值时间信息，对于受到光照影响的插值算法，插值参数可以是光照信息，对于存在权重的插值算法，插值参数可以是插值权重信息等。
在一个实施例中，插值参数包括插值时间相位，插值时间相位是指将两帧图像的变化幅度等分为N份，其中每一份表示一个相位，其中N可以自定义。其中变化幅度可以是前景变化幅度、背景变化幅度或特定区域的变化幅度。插值时间相位可以为非均匀插值时间相位，也可以为均匀插值时间相位。两帧图像间可以存在一个或多个插值时间相位，每个插值时间相位对应一个插值图像。可以根据变化幅度的剧烈程度确定两帧图像间插值时间相位的数量，也可以根据功耗的要求结合变化幅度的剧烈程度确定两帧图像间插值时间相位的数量。
具体地，插值图像是根据一帧或两帧待插值图像采用插值算法进行插值得到的图像，待插值图像是得到插值图像的参考图像，在本实施例中，原始深度信息图像是待插值图像，插值深度信息图像是插值图像。在一个实施例中，插值方法为复制，即插值图像为简单的对上一帧或下一帧的复制。在高帧率深度图视频的低功耗场景中，插值方式可以采用复制模式，以达到节省功耗的目的。在一个实施例中，插值图像具有渐变属性，即在两帧待插值图像之间的所有插值图像，按照时间相位信息，插值图像中的前景和背景区域可逐渐的变化，所述的变化包括，物体的平移，缩放和姿态的变化或其它变化。在一个实施例中，插值方法包括MEMC(Motion Estimate and Motion Compensation，运动估计和运动补偿)，光流法，神经网络或其他任意FRC(Frame Rate Conversion，帧率转换)技术。在一个实施例中，基于插值时间相位对原始深度信息图像集合中的图像进行多次插值时，每次插值选择对应的插值方法，多个插值图像可以是通过不同的插值方法生成的。如原始深度信息图像包括第一深度图对应的A1、A2和第二深度图对应的B1、B2，其中A1和B1是时间匹配的图像帧，A2和B2是时间匹配的图像帧，可以基于A1和B1通过第一插值时间相位插值得到插值深度信息图像a1，基于A2和B2通过第一插值时间相位插值得到插值深度信息图像b1。可以理解，也可以基于A1和B1通过多个不同的插值时间相位插值得到多个插值深度信息图像ai，基于A2和B2通过多个不同的插值时间相位插值得到插值深度信息图像bi，相同插值时间相位的ai和bi用于生成对应的插值深度图。
步骤206，根据原始深度信息图像生成对应的至少两帧原始深度图，根据插值深度信息图像生成对应的插值深度图。
具体地，原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像，所以通过深度图生成模块，可生成对应的至少两帧原始深度图。根据上一个步骤得到的插值深度信息图像可以生成对应的插值深度图，插值深度图的数量与插值参数对应，可以为一个或多个。如根据原始深度信息图像A1、A2生成原始深度图P1，根据原始深度信息图像B1、B2生成原始深度图T1,根据插值深度信息图像a1和插值深度信息图像b1生成插值深度图Y1，根据插值深度信息图像a2和插值深度信息图像b2生成插值深度图Y2。
步骤208，基于原始深度图和插值深度图生成对应的深度图视频。
具体地，可以将原始深度图和插值深度图按自定义的顺序排序组合形成深度图视频，其中自定义的顺序可以为时间顺序或其它顺序。可以先将原始深度图和插值深度图按预设方式组合形成深度图视频再输出，也可以先输出原始深度图和插值深度图，便于第三方按自定义的方式组合形成深度图视频。由于插值参数可自定义，则生成的插值深度图的方式和数量都可自定义，可根据需要改变插值深度图的数量，从而输出帧率可变的深度图视频。可以对深度图视频进行编码传输，也可以播放展示深度图视频。
本实施例中的深度图像处理方法，获取原始深度信息图像集合，原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像，确定原始深度信息图像对应的插值参数，基于插值参数对原始深度信息图像进行插值生成插值深度信息图像，根据原始深度信息图像生成对应的至少两帧原始深度图，根据插值深度信息图像生成对应的插值深度图，基于原始深度图和插值深度图生成对应的深度图视频，对原始深度信息图像进行插帧，使得原始深度信息得到充分利用，保证了深度图的图像质量，且插值参数可灵活设置，无需增加采集深度模组的深度图采集频率，在更低功耗的情况下，实现高帧率，可变帧率，灵活控制深度图输出帧率，可灵活输出动态帧率的深度图视频。
在一个实施例中，如图4所示，步骤204中确定原始深度信息图像对应的插值参数包括：步骤204A，确定插值深度图的目标数量。
具体地，插值深度图的目标数量决定了深度图视频的目标帧率，可以为根据目标帧率确定或人工配置的固定数量或根据原始深度信息图像的图像特征确定的动态数量，其中图像特征包括场景的变化剧烈程度、主体的运动剧烈程度等。可以将以上几种方式进行结合确定插值深度图的目标数量，如原始深度信息图像A1和B1之间的插值深度图的目标数量为固定值，原始深度信息图像B1和C1之间的插值深度图的目标数量为根据B1和C1的前景变化剧烈程度确定的目标数量。
步骤204B，根据目标数量确定各个原始深度信息图像之间的待插帧的数量，确定各个待插帧对应的时间相位。
具体地，各个原始深度信息图像之间的待插帧的数量之和就是插值深度图的目标数量，待插帧可以均匀分配在各个原始深度信息图像之间，也可以非均匀分配在各个原始深度信息图像之间。插值深度图的目标数量为2N，均匀分配是指各个原始深度信息图像之间的待插帧数量一致，且时间相位均匀变化，实现图像间的均匀变化，如原始深度信息图像A1和B1之间的待插帧数量为N，原始深度信息图像B1和C1之间的待插帧数量也为N，且将A1和B1、B1和C1之间的间隔等间距划分为N份，每一份为一个插值时间相位。非均匀分配是指原始深度信息图像之间的待插帧数量不一致，实现图像间的非均匀变化，如原始深度信息图像A1和B1之间的待插帧数量为2N/3，原始深度信息图像B1和C1之间的待插帧数量为4N/3。每个待插帧对应的插值时间相位可以是均匀的也可以是非均匀的。均匀的是指图像间的间隔等间距划分的插值时间相位数量与待插帧数量一致，非均匀是指图像间的间隔等间距划分的插值时间相位数量大于待插帧数量，将待插帧在指定的插值时间相位进行插帧。
本实施例中，通过灵活设置插值深度图的目标数量、各个原始深度信息图像之间的待插帧的数量和各个待插帧对应的时间相位，实现根据需要的灵活插帧，提高了插帧与需求的一致性。
在一个实施例中，步骤204A确定插值深度图的目标数量包括以下方式中的至少一种：
方式一：获取原始深度信息图像集合中的原始深度信息图像对应的原始深度图数量，获取目标帧率，根据目标帧率和原始深度图数量确定插值深度图的目标数量。
具体地，如输出需要以120Hz进行显示，即目标帧率为120Hz，此时输入只有30Hz，则待插帧的帧数为输入帧数量，即原始深度图数量的3倍，总输出帧数为输入帧数量的4倍。则需要在各个匹配的原始深度信息图像之间插值3个插值深度图。
方式二：确定原始深度信息图像集合对应的主体运动度和/或场景变化度，根据主体运动度和/或场景变化度确定所述插值深度图的目标数量，插值深度图的目标数量与主体运动度和/或场景变化度成正比关系。
其中，主体一般为发生形状，姿态，颜色或位置变化的区域，但不限于此。主体可以是指各种对象，如人、花、猫、狗、牛、蓝天、白云等。主体运动度可以根据同一主体在不同图像中的位置变化进行度量。场景是图像中的各个图像元素形成的场景，任一图像元素的变化都可引起场景变化。
具体地，检测原始深度信息图像集合对应的视频中主体的运动度或场景的变化度，变化的程度越强，插帧的数量越多，反之越少。可以以视频为单位进行检测，整体上确定插值深度图的目标数量，也可以将视频进行分段，检测各个分段对应的主体运动度和/或场景变化度，为各个分段确定对应的插值深度图的目标数量。变化的程度越强，插帧的数量越多，表示需要经过多个插值图像才能从前一个图像过渡至后一个图像，实现了图像过渡的平稳性，而变化的程度越弱，插帧的数量越少，则表示如果变化不大，通过较少的图像就能从前一个图像过渡至后一个图像，无需插入多个图像帧，避免浪费资源。
可以理解，在一些实施例中，还可以通过接收用户指令，人工指定插值深度图的目标数量。以上各种方式可以进行组合确定插值深度图的目标数量，且不限于以上各种方式。
本实施例中，通过目标帧率和原始深度图数量确定插值深度图的目标数量或根据主体运动度和/或场景变化度确定所述插值深度图的目标数量，实现插帧数量的自适应确定，提高了深度图视频生成的灵活性。
在一个实施例中，步骤204B包括以下方式中的至少一种：
方式一：将目标数量均匀分配至各个原始深度信息图像之间，为各个待插帧确定均匀插值时间相位。
具体地，将目标数量均匀分配至各个原始深度信息图像之间，计算每两个原始深度信息图像之间待插帧的帧数量，并按照均匀时间相位，进行等相位插帧。如总输出帧数为输入帧数量的4倍，则每两个原始深度信息图像之间待插帧的帧数量为3，将每两个原始深度信息图像之间的间隔等间距划分为3份，每一份为一个时间相位，按时间顺序，在每个相位进行插帧。
方式二：根据原始深度信息图像间的场景变化度将目标数量进行非均匀分配，原始深度信息图像间的场景变化度与原始深度信息图像间的待插帧的数量成正比关系，根据原始深度信息图像间的待插帧的数量为各个待插帧确定插值时间相位。
具体地，根据输出的目标帧数和每两个原始深度信息图像之间的场景变化程度，进行非均匀插帧，变化剧烈的两个原始深度信息图像之间多插帧，变化缓慢的两个原始深度信息图像之间少插帧，甚至不插帧。具体的插帧数量，可以对场景变化度进行量化，根据场景变化度的大小计算对应的插帧数量。根据原始深度信息图像间的待插帧的数量为各个待插帧确定插值时间相位，每个待插帧对应一个插值时间相位。如目标帧数为2N，输入帧数为N，则待插帧为N，可以在一些原始深度信息图像之间插入多帧，在一些原始深度信息图像之间插入一帧，在一些原始深度信息图像之间不插帧。如A1和B1之间插入3帧，B1和C1之间插入1帧，C1和D1之间不插帧，从而使得整体上目标帧数为输入帧数的2倍。且A1和B1之间插入3帧时可以进行均匀插值时间相位或非均匀插值时间相位插帧。
方式三：基于功耗和原始深度信息图像间的场景变化度将目标数量进行非均匀分配，原始深度信息图像间的场景变化度与原始深度信息图像间的待插帧的数量成反比关系，根据原始深度信息图像间的待插帧的数量为各个待插帧确定插值时间相位。
具体地，存在功耗要求时，场景变化度剧烈的两个原始深度信息图像之间少插帧，甚至不插帧，场景变化度缓慢的两个原始深度信息图像之间多插帧，因为变化剧烈的原始深度信息图像之间进行插帧时功耗大，所以少插帧，减少功耗。具体的插帧数量，可以对场景变化度进行量化，并根据场景变化度与功耗之间的关联关系计算各个原始深度信息图像之间待插帧的数量。根据原始深度信息图像间的待插帧的数量为各个待插帧确定插值时间相位，每个待插帧对应一个插值时间相位。
本实施例中，可以通过不同的方式根据需求为各个待插帧确定插值时间相位，提高了插值时间相位确定的灵活性。
在一个实例中，根据原始深度信息图像间的待插帧的数量为各个待插帧确定插值时间相位包括：将原始深度信息图像间的各个待插帧确定均匀插值时间相位或非均匀插值时间相位。
具体地，相位信息是指将两帧原始帧之间的间隔等间距划分为N份，每一份为一个时间相位；均匀插值时间相位是指等相位进行插帧，即待插帧数量为N，按时间顺序，在每个相位进行插帧。非均匀插值时间相位是指非等相位进行插帧，即N大于待插帧数量，待插帧在设定的时间相位进行插帧。
本实施例中，当待插帧的数量确定时，可以灵活的为各个待插帧确定均匀插值时间相位或非均匀插值时间相位。
在一个实施例中，原始深度信息图像包括第一原始深度图对应的N个第一原始深度信息图像Pi和第二原始深度图对应的N个第二原始深度信息图像Ti，所述1≤i≤N，N为大于1的整数，步骤204包括：获取时间匹配的第一原始深度信息图像Pi和第二原始深度信息图像Ti，生成对应的插值深度信息图像Ri。
具体地，第一原始深度图按时间顺序依次对应第一原始深度信息图像P1、P2……PN，第二原始深度图按时间顺序依次对应第二原始深度信息图像T1、T2……TN，其中P1与T1、P2与T2……PN与TN是时间匹配的图像依次两两形成待插值图像，进行插值生成插值深度信息图像R1、R2……RN。
步骤206包括：根据N个第一原始深度信息图像Pi生成所述第一原始深度图，根据N个第二原始深度信息图像Ti生成第二原始深度图；根据N个插值深度信息图像Ri生成对应的插值深度图。
具体地，根据P1、P2……PN生成第一原始深度图，根据T1、T2……TN生成第二原始深度图，根据R1、R2……RN生成对应的插值深度图。则可将第一原始深度图、插值深度图、第二原始深度图按顺序形成深度图视频。如图5所示为生成对应的插值深度图的示意图。
本实施例中，每个深度图都由多个原始深度信息图像，或多个插值深度信息图像生成，通过对多个时间匹配的两两原始深度信息图像进行插值形成多个插值深度信息图像，从而通过多个插值深度信息图像生成插值深度图，充分利用了原始深度信息，生成高质量的插值深度图。
在一个具体的实施例中，采样连续调制的TOF方法，在两种不同的发射信号频率下，通过控制积分时间，传感器采样得到不同相位的共8组信号，进行光电转换后，再将这八组信号进行10比特量化，以生成8张原始电荷图像，这8张原始电荷图像可生成一幅深度图像。采用2倍帧率的方式进行插值，即需要在原本两幅深度图中插值形成一幅新的深度图，即在8张原始电荷图像后，插值产生新的8张原始电荷图像，插值产生的新的8张原始电荷图像生成插值深度图，最终实现两倍于原始帧率的视频输出。
在一个实施例中，步骤208包括以下方式中的至少一种：。
方式一：将原始深度图和插值深度图按预设规则排序生成对应的深度图视频，输出深度图视频。
具体地，将原始深度图和插值深度图按预设规则排序，然后再输出深度图视频，可以规范统一深度图视频的生成规则，使得生成的深度图视频满足统一的预设规则。
方式二：分别输出原始深度图和插值深度图，根据第三方规则从原始深度图和插值深度图中获取目标图像并排序，将排序后的目标图像生成深度图视频。
具体地，根据第三方规则将输出的所有原始深度图和插值深度图，进行重新的排序编辑，还可以筛选目标图像，只对目标图像进行排序，可以实现不同播放顺序的深度视频，提高了深度视频生成的灵活性。
在一个实施例中，如图6所示，步骤204中基于插值参数对原始深度信息图像进行插值生成插值深度信息图像包括：
步骤204C，从原始深度信息图像中确定前向图像和后向图像，确定前向图像和后向图像对应的目标插值时间相位。
具体地，目标插值时间相位为对前向图像和后向图像之间的间隔等间距分为N份，将其中的一份作为目标插值时间相位，如划分为10份，将3/10作为目标插值时间相位。
步骤204D，对前向图像和后向图像进行前向运动估计得到前向运动矢量，对前向图像和后向图像进行后向运动估计得到后向运动矢量。
具体地，对前向图像和后向图像进行分块，块大小可自定义，按块进行遍历，寻找前向图像中每个块在后向图像中的最佳匹配块，以确定前向图像每个块相对于后向图像的运动矢量，得到前向运动矢量。按块进行遍历，寻找后向图像中每个块在前向图像中的最佳匹配块，以确定后向图像每个块相对于前向图像的运动矢量，得到后向运动矢量。如图7所示，为一个实施例中前向运动矢量和后向运动矢量的示意图。在一个实施例中，可以对前向运动矢量和后向运动矢量进行修正，修正时可参考邻近块的运动矢量。如图7A所示，为一个实施例中修正后的前向运动矢量和后向运动矢量示意图。
步骤204E，根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到插值深度信息图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量。
具体地，前向映射运动矢量用于表示插值块相对于前向图像的运动矢量，后向映射运动矢量用于表示插值块相对于后向图像的运动矢量。如前向运动矢量是将前向图像中的块映射到后向图像中，在将第一前向运动矢量对应的前向图像中的块映射到后向图像的过程中会穿过插值深度信息图像，穿过插值深度信息图像中的第一插值块，则第一前向运动矢量是第一插值块对应的目标运动矢量，将第一插值块对应的目标运动矢量根据目标插值时间相位进行双向映射，得到第一插值块对应的前向映射运动矢量和后向映射运动矢量。如第一前向运动矢量为(3，-9)，目标插值时间相位为1/3，则进行映射和校正后，得到第一插值块对应的前向映射运动矢量和后向映射运动矢量分别为(1，-3)和(-1，3)。
同样，后向运动矢量是将后向图像中的块映射到前向图像中，在将第一后向运动矢量对应的后向图像中的块映射到前向图像的过程中会穿过插值深度信息图像，穿过插值深度信息图像中的第二插值块，则第一后向运动矢量是第二插值块对应的目标运动矢量，将第二插值块对应的目标运动矢量根据目标插值时间相位进行双向映射，得到第二插值块对应的前向映射运动矢量和后向映射运动矢量。如第二后向运动矢量为(-3，9)，目标插值时间相位为1/3，则进行映射和校正后，得到第二插值块对应的前向映射运动矢量和后向映射运动矢量分别为(1，-3)和(-1，3)。如图8所示，为前向映射运动矢量和后向映射运动矢量的示意图。
如果一个插值块有多个前向运动矢量和多个后面运动矢量穿过，则所有穿过的运动矢量进行映射和校正后得到的前向映射运动矢量和后向映射运动矢量，都作为这个插值块对应的候选的前向映射运动矢量和后向映射运动矢量。可以从候选的前向映射运动矢量和后向映射运动矢量中确定这个插值块对应的目标前向映射运动矢量和目标后向映射运动矢量，具体的筛选方法可自定义，如通过计算前向映射运动矢量和后向映射运动矢量对应的匹配块的匹配误差得到。
步骤204F，根据前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值，根据各个插值块生成插值深度信息图像。
具体地，通过前向映射运动矢量得到插值块在前向图像中的第一插值像素值，通过后向映射运动矢量得到插值块在后向图像中的第二插值像素值，通过对第一插值像素值和第二插值像素值进行加权得到插值块的插值像素值，其中加权系数的确定可自定义，从而最终生成插值深度信息图像。
本实施例中，通过前向运动估计和后面运动估计分别计算得到前向运动矢量和后向运动矢量，并根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到各个插值块对应的前向映射运动矢量和后向映射运动矢量，能提高插值块运动矢量确定的准确性，提高插值深度信息图像的生成质量。
在一个具体的实施例中，提供一种深度图像处理方法，通过如图9所示的第一系统生成深度图视频，第一系统包括信号发射器、信号接收器、插帧模块、深度图像生成器，具体过程如下：
1、将信号接收器得到的用于生成至少两帧深度图所需的原始深度信息图像组成的原始深度信息图像集合，送入插帧模块，得到根据不同时间相位插值生成的插值深度信息图像。
2、按照时间顺序将原始深度信息图像、插值深度信息图像送入深度图生成器，生成对应的至少两帧原始深度图和插值深度图，将原始深度图和插值深度图按预设顺序排序形成可变帧率的动态深度图视频并输出。
本实施例中，只需要一个插帧模块和一个深度图生成器配合就可对原始深度信息图像进行插帧，使得原始深度信息得到充分利用，保证了深度图的图像质量，且插值参数可灵活设置，无需增加采集深度模组的深度图采集频率，在更低功耗的情况下，实现高帧率，可变帧率，灵活控制深度图输出帧率，可灵活输出动态帧率的深度图视频。
在一个具体的实施例中，提供一种深度图像处理方法，通过如图10所示的第二系统生成深度图视频，第二系统包括信号发射器、信号接收器、插帧模块、第一深度图像生成器、第二深度图像生成器、深度视频生成器，具体过程如下：
1、将信号接收器得到的用于生成至少两帧深度图所需的原始深度信息图像组成的原始深度信息图像集合，分两路分别送入插帧模块和第一深度图像生成器。
2、第一深度图像生成器根据原始深度信息图像生成对应的至少两帧原始深度图，插帧模块得到根据不同时间相位插值生成的插值深度信息图像，将插值深度信息图像输入第二深度图像生成器生成对应的插值深度图。
3、原始深度图和插值深度图输入深度视频生成器中按时间顺序形成可变帧率的深度图视频。
本实施例中，生成原始深度图和生成插值深度图可并行处理，提高了深度图视频生成的效率，且通过深度视频生成器对深度图视频的生成进行了统一，使得在原始深度信息得到充分利用，保证深度图的图像质量，且插值参数可灵活设置，无需增加采集深度模组的深度图采集频率，在更低功耗的情况下，实现高帧率，可变帧率，灵活控制深度图输出帧率，可高效灵活输出的动态帧率的统一规则的深度图视频。
在一个具体的实施例中，提供一种深度图像处理方法，通过如图11所示的第三系统生成深度图视频，第三系统包括信号发射器、信号接收器、插帧模块、第一深度图像生成器和第二深度图像生成器，具体过程如下：
1、将信号接收器得到的用于生成至少两帧深度图所需的原始深度信息图像组成的原始深度信息图像集合，分两路分别送入插帧模块和第一深度图像生成器。
2、第一深度图像生成器根据原始深度信息图像生成对应的至少两帧原始深度图并输出，插帧模块得到根据不同时间相位插值生成的插值深度信息图像，将插值深度信息图像输入第二深度图像生成器生成对应的插值深度图并输出，两路输出图像由第三方进行排序，形成可变帧率的深度图视频。
本实施例中，生成原始深度图和生成插值深度图可并行处理，提高了深度图视频生成的效率，且可由第三方按自定义的规则对输出的原始深度图和插值深度图进行排序灵活生成可变帧率的深度图视频。
应该理解的是，虽然图2、图4、图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4、图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图12为一个实施例的深度图像处理系统400的结构框图。如图12所示，一种深度图像处理系统400，包括：获取模块402、插值模块404、深度图生成模块406和深度图视频生成模块408。其中：
获取模块402，用于获取原始深度信息图像集合，原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像。
插值模块404，用于确定原始深度信息图像对应的插值参数，基于插值参数对所述原始深度信息图像进行插值生成插值深度信息图像。
深度图生成模块406，用于根据所述原始深度信息图像生成对应的至少两帧原始深度图，根据所述插值深度信息图像生成对应的插值深度图。
深度图视频生成模块408，用于基于原始深度图和插值深度图生成对应的深度图视频。
本实施中的深度图像处理系统400，获取原始深度信息图像集合，原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像，确定原始深度信息图像对应的插值参数，基于插值参数对原始深度信息图像进行插值生成插值深度信息图像，根据原始深度信息图像生成对应的至少两帧原始深度图，根据插值深度信息图像生成对应的插值深度图，基于原始深度图和插值深度图生成对应的深度图视频，对原始深度信息图像进行插帧，使得原始深度信息得到充分利用，保证了深度图的图像质量，且插值参数可灵活设置，无需增加采集深度模组的深度图采集频率，在更低功耗的情况下，实现高帧率，可变帧率，灵活控制深度图输出帧率，可灵活输出动态帧率的深度图视频。
在一个实施例中，获取模块402将原始深度信息图像集合输入至插值模块404，插值模块404将原始深度信息图像集合和生成的插值深度信息图像输入深度图生成模块406。
本实施中的深度图像处理系统400，只需要一个插值模块404和一个深度图生成模块406配合就可对原始深度信息图像进行插帧，使得原始深度信息得到充分利用，保证了深度图的图像质量，且插值参数可灵活设置，无需增加采集深度模组的深度图采集频率，在更低功耗的情况下，实现高帧率，可变帧率，灵活控制深度图输出帧率，可灵活输出动态帧率的深度图视频。
在一个实施例中，深度图生成模块406包括第一深度图生成单元和第二深度图生成单元，获取模块402将原始深度信息图像集合输入至第一深度图生成单元，第一深度图生成单元用于根据原始深度信息图像生成对应的至少两帧原始深度图，插值模块404将插值深度信息图像输入第二深度图生成单元，第二深度图生成单元用于根据插值深度信息图像生成对应的插值深度图。
本实施中的深度图像处理系统400，生成原始深度图和生成插值深度图可并行处理，提高了深度图视频生成的效率，使得在原始深度信息得到充分利用，保证深度图的图像质量，且插值参数可灵活设置，无需增加采集深度模组的深度图采集频率，在更低功耗的情况下，实现高帧率，可变帧率，灵活控制深度图输出帧率，可高效灵活输出的动态帧率的统一规则的深度图视频。
在一个实施例中，第一深度图生成单元将至少两帧原始深度图输入至深度图视频生成模块，第二深度图生成单元将插值深度图输入至深度图视频生成模块，深度图视频生成模块用于将原始深度图和插值深度图按预设规则排序生成对应的深度图视频，输出深度图视频。
本实施例中，通过深度图视频生成模块对深度图视频的生成进行了统一。
在一个实施例中，第一深度图生成单元输出至少两帧原始深度图，述第二深度图生成单元输出所述插值深度图，深度图视频生成模块还用于根据第三方规则从所述原始深度图和所述插值深度图中获取目标图像并排序，将排序后的目标图像生成深度图视频。
本实施例中，可由第三方按自定义的规则对输出的原始深度图和插值深度图进行排序灵活生成可变帧率的深度图视频。
在一个实施例中，获取模块402还用于获取一维原始深度信息，将一维原始深度信息转化为初始二维深度信息图像，多个不同的初始二维深度信息图像组成所述原始深度信息图像集合。
本实施例中，可以通过自定义的算法将一维原始深度信息转化为初始二维深度信息图像，组成原始深度信息图像集合，将采集得到的最原始的一维信息自动转化为与需求匹配的原始深度信息图像。
在一个实施例中，获取模块402还用于将初始二维深度信息图像进行信息重排，得到变换二维深度信息图像；基于初始二维深度信息图像和变换二维深度信息图像进行图像融合得到融合二维深度信息图像；融合二维深度信息图像组成所述原始深度信息图像集合。
本实施例中，通过对初始二维深度信息图像进行重排，和基于初始二维深度信息图像和变换二维深度信息图像进行图像融合，将融合得到的融合二维深度信息图像组成原始深度信息图像集合，经过变化和融合使得原始深度图像信息的利用更全面，便于后续输出更接近真实的深度图像。
在一个实施例中，插值模块404还用于确定插值深度图的目标数量，根据目标数量确定各个原始深度信息图像之间的待插帧的数量，确定各个待插帧对应的时间相位。
本实施例中，通过灵活设置插值深度图的目标数量、各个原始深度信息图像之间的待插帧的数量和各个待插帧对应的时间相位，实现根据需要的灵活插帧，提高了插帧与需求的一致性。
在一个实施例中，插值模块404还用于通过以下方式中的至少一种确定插值深度图的目标数量：获取原始深度信息图像集合中的原始深度信息图像对应的原始深度图数量获取目标帧率，根据目标帧率和所述原始深度图数量确定插值深度图的目标数量；确定原始深度信息图像集合对应的主体运动度和/或场景变化度，根据主体运动度和/或场景变化度确定所述插值深度图的目标数量，插值深度图的目标数量与主体运动度和/或场景变化度成正比关系。
本实施例中，通过目标帧率和原始深度图数量确定插值深度图的目标数量或根据主体运动度和/或场景变化度确定所述插值深度图的目标数量，实现插帧数量的自适应确定，提高了深度图视频生成的灵活性。
在一个实施例中，插值模块404还用于根据目标数量确定各个原始深度信息图像之间的待插帧的数量，确定各个待插帧对应的时间相位通过以下方式中的至少一种：将目标数量均匀分配至各个原始深度信息图像之间，为各个待插帧确定均匀插值时间相位；根据原始深度信息图像间的场景变化度将所述目标数量进行非均匀分配，原始深度信息图像间的场景变化度与原始深度信息图像间的待插帧的数量成正比关系，根据原始深度信息图像间的待插帧的数量为所述各个待插帧确定插值时间相位；基于功耗和原始深度信息图像间的场景变化度将所述目标数量进行非均匀分配，原始深度信息图像间的场景变化度与原始深度信息图像间的待插帧的数量成反比关系，根据原始深度信息图像间的待插帧的数量为所述各个待插帧确定插值时间相位。
本实施例中，可以通过不同的方式根据需求为各个待插帧确定插值时间相位，提高了插值时间相位确定的灵活性。
在一个实施例中，插值模块404还用于将原始深度信息图像间的各个待插帧确定均匀插值时间相位或非均匀插值时间相位。
本实施例中，当待插帧的数量确定时，可以灵活的为各个待插帧确定均匀插值时间相位或非均匀插值时间相位。
在一个实施例中，原始深度信息图像包括第一原始深度图对应的N个第一原始深度信息图像Pi和第二原始深度图对应的N个第二原始深度信息图像Ti，所述1≤i≤N，N为大于1的整数，插值模块404还用于获取时间匹配的第一原始深度信息图像Pi和第二原始深度信息图像Ti，生成对应的插值深度信息图像Ri；
深度图生成模块406还用于根据N个第一原始深度信息图像Pi生成第一原始深度图；根据N个第二原始深度信息图像Ti生成第二原始深度图；根据N个插值深度信息图像Ri生成对应的插值深度图。
本实施例中，每个深度图都由多个原始深度信息图像，或多个插值深度信息图像生成，通过对多个时间匹配的两两原始深度信息图像进行插值形成多个插值深度信息图像，从而通过多个插值深度信息图像生成插值深度图，充分利用了原始深度信息，生成高质量的插值深度图。
在一个实施例中，深度图视频生成模块408基于原始深度图和插值深度图生成对应的深度图视频包括以下方式中的至少一种：将原始深度图和插值深度图按预设规则排序生成对应的深度图视频，输出所述深度图视频；分别输出原始深度图和所述插值深度图，根据第三方规则从所述原始深度图和所述插值深度图中获取目标图像并排序，将排序后的目标图像生成深度图视频。
本实施例中，可以灵活选择生成深度图视频的方式，可以规范统一深度图视频的生成规则，使得生成的深度图视频满足统一的预设规则，也可以根据第三方规则实现不同播放顺序的深度视频，提高了深度视频生成的灵活性。
在一个实施例中，插值模块404还用于从原始深度信息图像中确定前向图像和后向图像，确定前向图像和后向图像对应的目标插值时间相位；对前向图像和后向图像进行前向运动估计得到前向运动矢量；对前向图像和后向图像进行后向运动估计得到后向运动矢量；根据目标插值时间相位对所述前向运动矢量和后向运动矢量进行映射和校正，得到插值深度信息图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量；根据前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值；根据各个插值块生成插值深度信息图像。
本实施例中，通过前向运动估计和后面运动估计分别计算得到前向运动矢量和后向运动矢量，并根据目标插值时间相位对前向运动矢量和后向运动矢量进行映射和校正，得到各个插值块对应的前向映射运动矢量和后向映射运动矢量，能提高插值块运动矢量确定的准确性，提高插值深度信息图像的生成质量。
关于深度图像处理系统的具体限定可以参见上文中对于深度图像处理方法的限定，在此不再赘述。上述深度图像处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图13为一个实施例中电子设备的内部结构示意图。如图13所示，该电子设备包括通过系统总线连接的处理器、存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以上各个实施例所提供的深度图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、服务器等。
本申请实施例中提供的深度图像处理系统中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行深度图像处理方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行深度图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (17)
1.一种深度图像处理方法，其特征在于，包括：
获取原始深度信息图像集合，所述原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像；
确定所述原始深度信息图像对应的插值参数，基于所述插值参数对所述原始深度信息图像进行插值生成插值深度信息图像；
根据所述原始深度信息图像生成对应的至少两帧原始深度图，根据所述插值深度信息图像生成对应的插值深度图；
基于所述原始深度图和插值深度图生成对应的深度图视频。
2.根据权利要求1所述的方法，其特征在于，所述获取原始深度信息图像集合包括：
获取一维原始深度信息；
将所述一维原始深度信息转化为初始二维深度信息图像；
多个不同的初始二维深度信息图像组成所述原始深度信息图像集合。
3.根据权利要求2所述的方法，其特征在于，所述将所述一维原始深度信息转化为初始二维深度信息图像之后，还包括：
将所述初始二维深度信息图像进行信息重排，得到变换二维深度信息图像；
基于所述初始二维深度信息图像和变换二维深度信息图像进行图像融合得到融合二维深度信息图像；
所述融合二维深度信息图像组成所述原始深度信息图像集合。
4.根据权利要求1所述的方法，其特征在于，所述确定所述原始深度信息图像对应的插值参数包括：
确定插值深度图的目标数量；
根据所述目标数量确定各个原始深度信息图像之间的待插帧的数量；
确定各个待插帧对应的时间相位。
5.根据权利要求4所述的方法，其特征在于，所述确定插值深度图的目标数量包括以下方式中的至少一种：
获取原始深度信息图像集合中的原始深度信息图像对应的原始深度图数量，获取目标帧率，根据目标帧率和所述原始深度图数量确定所述插值深度图的目标数量；
确定所述原始深度信息图像集合对应的主体运动度和/或场景变化度，根据所述主体运动度和/或场景变化度确定所述插值深度图的目标数量，所述插值深度图的目标数量与主体运动度和/或场景变化度成正比关系。
6.根据权利要求4所述的方法，其特征在于，根据所述目标数量确定各个原始深度信息图像之间的待插帧的数量，确定各个待插帧对应的时间相位包括以下方式中的至少一种：
将所述目标数量均匀分配至各个原始深度信息图像之间，为所述各个待插帧确定均匀插值时间相位；
根据原始深度信息图像间的场景变化度将所述目标数量进行非均匀分配，原始深度信息图像间的场景变化度与原始深度信息图像间的待插帧的数量成正比关系，根据原始深度信息图像间的待插帧的数量为所述各个待插帧确定插值时间相位；
基于功耗和原始深度信息图像间的场景变化度将所述目标数量进行非均匀分配，原始深度信息图像间的场景变化度与原始深度信息图像间的待插帧的数量成反比关系，根据原始深度信息图像间的待插帧的数量为所述各个待插帧确定插值时间相位。
7.根据权利要求6所述的方法，其特征在于，所述根据原始深度信息图像间的待插帧的数量为所述各个待插帧确定插值时间相位包括：
将原始深度信息图像间的各个待插帧确定均匀插值时间相位或非均匀插值时间相位。
8.根据权利要求1所述的方法，其特征在于，所述原始深度信息图像包括第一原始深度图对应的N个第一原始深度信息图像Pi和第二原始深度图对应的N个第二原始深度信息图像Ti，所述1≤i≤N，N为大于1的整数，所述确定所述原始深度信息图像对应的插值参数，基于所述插值参数对所述原始深度信息图像进行插值生成插值深度信息图像包括：
获取时间匹配的第一原始深度信息图像Pi和第二原始深度信息图像Ti，生成对应的插值深度信息图像Ri；
所述根据所述原始深度信息图像生成对应的至少两帧原始深度图，根据所述插值深度信息图像生成对应的插值深度图包括：
根据所述N个第一原始深度信息图像Pi生成所述第一原始深度图；
根据所述N个第二原始深度信息图像Ti生成所述第二原始深度图；
根据N个所述插值深度信息图像Ri生成对应的插值深度图。
9.根据权利要求1至8中任一项所述的方法，其特征在于，所述基于所述原始深度图和插值深度图生成对应的深度图视频包括以下方式中的至少一种：
将所述原始深度图和插值深度图按预设规则排序生成对应的深度图视频，输出所述深度图视频；
分别输出所述原始深度图和所述插值深度图，根据第三方规则从所述原始深度图和所述插值深度图中获取目标图像并排序，将排序后的目标图像生成所述深度图视频。
10.根据权利要求1至8中任一项所述的方法，其特征在于，所述基于所述插值参数对所述原始深度信息图像进行插值生成插值深度信息图像，包括：
从所述原始深度信息图像中确定前向图像和后向图像，确定所述前向图像和后向图像对应的目标插值时间相位；
对所述前向图像和后向图像进行前向运动估计得到前向运动矢量；
对所述前向图像和后向图像进行后向运动估计得到后向运动矢量；
根据所述目标插值时间相位对所述前向运动矢量和后向运动矢量进行映射和校正，得到插值深度信息图像中各个插值块对应的前向映射运动矢量和后向映射运动矢量；
根据所述前向映射运动矢量和后向映射运动矢量得到各个插值块对应的插值像素值；
根据各个插值块生成插值深度信息图像。
11.一种深度图像处理系统，其特征在于，包括：
获取模块，用于获取原始深度信息图像集合，所述原始深度信息图像集合中包括用于生成至少两帧深度图所需的原始深度信息图像；
插值模块，用于确定所述原始深度信息图像对应的插值参数，基于所述插值参数对所述原始深度信息图像进行插值生成插值深度信息图像；
深度图生成模块，用于根据所述原始深度信息图像生成对应的至少两帧原始深度图，根据所述插值深度信息图像生成对应的插值深度图；
深度图视频生成模块，用于基于所述原始深度图和插值深度图生成对应的深度图视频。
12.根据权利要求11中所述的系统，其特征在于，所述获取模块将原始深度信息图像集合输入至插值模块，所述插值模块将所述原始深度信息图像集合和生成的所述插值深度信息图像输入所述深度图生成模块。
13.根据权利要求11中所述的系统，其特征在于，所述深度图生成模块包括第一深度图生成单元和第二深度图生成单元，所述获取模块将原始深度信息图像集合输入至第一深度图生成单元，所述第一深度图生成单元用于根据所述原始深度信息图像生成对应的至少两帧原始深度图，所述插值模块将所述插值深度信息图像输入所述第二深度图生成单元，所述第二深度图生成单元用于根据所述插值深度信息图像生成对应的插值深度图。
14.根据权利要求13中所述的系统，其特征在于，所述第一深度图生成单元将至少两帧原始深度图输入至深度图视频生成模块，所述第二深度图生成单元将插值深度图输入至所述深度图视频生成模块，所述深度图视频生成模块用于将所述原始深度图和插值深度图按预设规则排序生成对应的深度图视频，输出所述深度图视频。
15.根据权利要求13中所述的系统，其特征在于，所述第一深度图生成单元输出所述至少两帧原始深度图，所述第二深度图生成单元输出所述插值深度图，深度图视频生成模块还用于根据第三方规则从所述原始深度图和所述插值深度图中获取目标图像并排序，将排序后的目标图像生成所述深度图视频。
16.一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至10中任一项所述方法的步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010626718.7A CN111862183A (zh) | 2020-07-02 | 2020-07-02 | 深度图像处理方法和系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010626718.7A CN111862183A (zh) | 2020-07-02 | 2020-07-02 | 深度图像处理方法和系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111862183A true CN111862183A (zh) | 2020-10-30 |
Family
ID=72989050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010626718.7A Pending CN111862183A (zh) | 2020-07-02 | 2020-07-02 | 深度图像处理方法和系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862183A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112596843A (zh) * | 2020-12-29 | 2021-04-02 | 北京元心科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120293627A1 (en) * | 2010-10-27 | 2012-11-22 | Yasunori Ishii | 3d image interpolation device, 3d imaging apparatus, and 3d image interpolation method |
| CN103581646A (zh) * | 2012-07-31 | 2014-02-12 | 三星电子株式会社 | 将二维图像转换成三维图像的方法及其显示装置 |
| US20160381341A1 (en) * | 2015-06-24 | 2016-12-29 | Intel Corporation | View interpolation for visual storytelling |
| CN106780383A (zh) * | 2016-12-13 | 2017-05-31 | 长春理工大学 | Tof相机的深度图像增强方法 |
-
2020
- 2020-07-02 CN CN202010626718.7A patent/CN111862183A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120293627A1 (en) * | 2010-10-27 | 2012-11-22 | Yasunori Ishii | 3d image interpolation device, 3d imaging apparatus, and 3d image interpolation method |
| CN103581646A (zh) * | 2012-07-31 | 2014-02-12 | 三星电子株式会社 | 将二维图像转换成三维图像的方法及其显示装置 |
| US20160381341A1 (en) * | 2015-06-24 | 2016-12-29 | Intel Corporation | View interpolation for visual storytelling |
| CN106780383A (zh) * | 2016-12-13 | 2017-05-31 | 长春理工大学 | Tof相机的深度图像增强方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王阳: "基于深度学习的单目室内场景深度估计与重建", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 8, 15 August 2019 (2019-08-15), pages 138 - 1146 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112596843A (zh) * | 2020-12-29 | 2021-04-02 | 北京元心科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN112596843B (zh) * | 2020-12-29 | 2023-07-25 | 北京元心科技有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113034380B (zh) | 基于改进可变形卷积校正的视频时空超分辨率方法和装置 | |
| CN100414969C (zh) | 用于改进具有高照明差的照片质量的装置和方法 | |
| CN108875900B (zh) | 视频图像处理方法和装置、神经网络训练方法、存储介质 | |
| KR20200044652A (ko) | 영상의 주관적 품질을 평가하는 방법 및 장치 | |
| CN114549731A (zh) | 视角图像的生成方法、装置、电子设备及存储介质 | |
| JP7345654B2 (ja) | ビデオコーディングのための変形可能な畳み込みによる予測フレーム生成 | |
| CN111028137A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| Wan et al. | Learning dense and continuous optical flow from an event camera | |
| CN112906609B (zh) | 基于双路交叉注意力网络的视频重要区域预测方法和装置 | |
| CN111586321B (zh) | 视频生成方法、装置、电子设备和计算机可读存储介质 | |
| CN111862183A (zh) | 深度图像处理方法和系统、电子设备及存储介质 | |
| CN114640885A (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| Koloda et al. | Frequency-selective mesh-to-grid resampling for image communication | |
| CN111614911B (zh) | 图像生成方法和装置、电子设备及存储介质 | |
| Mafijur Rahman et al. | A low complexity lossless Bayer CFA image compression | |
| CN112541972B (zh) | 一种视点图像处理方法及相关设备 | |
| CN112200817A (zh) | 基于图像的天空区域分割和特效处理方法、装置及设备 | |
| KR101979584B1 (ko) | 디인터레이싱 방법 및 장치 | |
| CN114885144B (zh) | 基于数据融合的高帧率3d视频生成方法及装置 | |
| EP4224860A1 (en) | Processing a time-varying signal using an artificial neural network for latency compensation | |
| CN114663307B (zh) | 基于不确定性网络的集成图像去噪系统 | |
| CN115205159A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| KR20210018348A (ko) | 라이트 필드 코딩 및 디코딩을 위한 예측 | |
| CN105100595A (zh) | 摄像设备及其控制方法 | |
| CN115187487A (zh) | 图像处理方法及装置、电子设备、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |