CN110599532A - 图像的深度估计模型优化、深度估计处理方法及装置 - Google Patents

图像的深度估计模型优化、深度估计处理方法及装置 Download PDF

Info

Publication number
CN110599532A
CN110599532A CN201910883574.0A CN201910883574A CN110599532A CN 110599532 A CN110599532 A CN 110599532A CN 201910883574 A CN201910883574 A CN 201910883574A CN 110599532 A CN110599532 A CN 110599532A
Authority
CN
China
Prior art keywords
sample image
depth
estimation model
depth estimation
image set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910883574.0A
Other languages
English (en)
Inventor
曾光
李骈臻
张长定
叶志鸿
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Technology Co Ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201910883574.0A priority Critical patent/CN110599532A/zh
Publication of CN110599532A publication Critical patent/CN110599532A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Abstract

本申请提供一种图像的深度估计模型优化、深度估计处理方法及装置，涉及图像处理技术领域。其中，该方法通过获取由标注有任意两个像素点的相对深度关系的第一样本图像所构成的第一样本图像集合、以及标注有每个像素点深度值的RGB图像所构成的第二样本图像集合，并根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，可以使得对预设深度估计模型进行优化训练时，标注成本更低的第一样本图像可以减少标注成本较高的RGBD图像在所采用的训练数据中的占比，从而可以降低对训练数据的标注成本。

Description

图像的深度估计模型优化、深度估计处理方法及装置
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像的深度估计模型优化、深度估计处理方法及装置。
背景技术
二维图像的深度估计是许多应用中的基本任务，包括图像虚化，场景理解和重建等。其中，深度估计的目标是为图像中的每个像素分配观察者与该像素所表示的场景点之间的距离。
现有技术中，对图像进行深度估计的方法通常为：根据样本图像和样本图像对应的深度图，对卷积神经网络(Convolutional Neural Networks，CNN)进行训练，得到预测模型；然后，获取大量样本图像的红绿蓝(Red GreenBlue，RGB)图像，并人工标注RGB图像中每个像素点的深度值，使用标注有每个像素点深度值的RGB图像对预测模型进行优化训练，进而可以采用优化训练后的预测模型对目标图像进行深度估计，获取目标图像中每个像素点的深度值。
但是，现有的图像深度估计方法中，在对预测模型进行优化训练时，对大量RGB图像中像素点的深度值进行人工标注的过程，会产生较高的标注成本。
发明内容
本申请提供一种图像的深度估计模型优化、深度估计处理方法及装置，可以以较低的成本实现对图像的深度估计模型进行优化。
第一方面，本申请实施例提供一种图像的深度估计模型优化方法，包括：
获取第一样本图像集合和第二样本图像集合，第一样本图像集合包括：第一样本图像，第一样本图像标注有任意两个像素点的相对深度关系；第二样本图像集合包括：第二样本图像，第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像；
根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
可选地，上述根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，包括：
采用预设深度估计模型，分别获取第一样本图像集合中第一样本图像对应的第一预测结果、第二样本图像集合中第二样本图像对应的第二预测结果；
根据第一样本图像中任意两个像素点的相对深度关系、以及第一预测结果，计算获取第一样本图像中任意两个像素点与第一预测结果中相对应的两个像素点之间的深度值相对损失；
根据第二样本图像中各像素点的深度值与第二预测结果，计算获取第二样本图像中像素点与第二预测结果中像素点之间的深度值均方差损失；
根据深度值相对损失、深度值均方差损失以及预设算法，优化预设深度估计模型，获取优化的深度估计模型。
可选地，该方法还包括：
获取第三样本图像集合，第三样本图像集合包括：第三样本图像，第三样本图像为分割出目标内容的分割图像，且第三样本图像标注有目标内容的区域位置信息；
相应地，上述根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，包括：
根据第一样本图像集合、第二样本图像集合以及第三样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
可选地，上述根据第一样本图像集合、第二样本图像集合以及第三样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，包括：
采用预设深度估计模型，分别获取第一样本图像集合中第一样本图像对应的第一预测结果、第二样本图像集合中第二样本图像对应的第二预测结果、第三样本图像集合中第三样本图像对应的第三预测结果；
根据第一样本图像中任意两个像素点的相对深度关系、以及第一预测结果，计算获取第一样本图像中任意两个像素点与第一预测结果中相对应的两个像素点之间的深度值相对损失；
根据第二样本图像中各所述像素点的深度值与第二预测结果，计算获取第二样本图像中像素点与第二预测结果中像素点之间的深度值均方差损失；
根据第三样本图像中目标内容的区域位置信息与第三预测结果，计算获取第三样本图像与第三预测结果之间的交叉熵损失；
根据深度值相对损失、深度值均方差损失、交叉熵损失以及预设算法，优化预设深度估计模型，获取优化的深度估计模型。
第二方面，本申请实施例还提供一种图像的深度估计处理方法，包括：
获取待处理图像；
采用优化后的深度估计模型对待处理图像进行深度估计处理，获取待处理图像的深度图，深度图包括待处理图像中各像素点的深度值；其中，优化后的深度估计模型通过第一样本图像集合和第二样本图像集合对预设深度估计模型优化训练获取，所述第一样本图像集合包括：第一样本图像，第一样本图像标注有任意两个像素点的相对深度关系；第二样本图像集合包括：第二样本图像，第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像。
可选地，优化后的深度估计模型由预设深度估计模型与第一样本图像得到的深度值相对损失、预设深度估计模型与第二样本图像得到的深度值均方差损失，优化训练获取。
可选地，优化后的深度估计模型通过第一样本图像集合、第二样本图像集合以及第三样本图像集合对预设深度估计模型优化训练获取，第三样本图像集合包括：第三样本图像，第三样本图像为分割出目标内容的分割图像，且第三样本图像标注有目标内容的区域位置信息。
可选地，上述采用优化后的深度估计模型对待处理图像进行深度估计处理，获取待处理图像的深度图之后，该方法还包括：
对待处理图像的深度图进行联合双边滤波处理，得到优化后的深度图。
第三方面，本申请实施例提供一种图像的深度估计模型优化装置，包括：
第一获取模块，用于获取第一样本图像集合和第二样本图像集合，第一样本图像集合包括：第一样本图像，第一样本图像标注有任意两个像素点的相对深度关系；第二样本图像集合包括：第二样本图像，第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像；
优化模块，用于根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
可选地，优化模块，具体用于采用预设深度估计模型，分别获取第一样本图像集合中第一样本图像对应的第一预测结果、第二样本图像集合中第二样本图像对应的第二预测结果；
根据第一样本图像中任意两个像素点的相对深度关系、以及第一预测结果，计算获取第一样本图像中任意两个像素点与第一预测结果中相对应的两个像素点之间的深度值相对损失；
根据第二样本图像中各像素点的深度值与第二预测结果，计算获取第二样本图像中像素点与第二预测结果中像素点之间的深度值均方差损失；
根据深度值相对损失、深度值均方差损失以及预设算法，优化预设深度估计模型，获取优化的深度估计模型。
可选地，该装置还包括：
第二获取模块，用于获取第三样本图像集合，第三样本图像集合包括：第三样本图像，第三样本图像为分割出目标内容的分割图像，且第三样本图像标注有目标内容的区域位置信息；
相应地，优化模块，用于根据第一样本图像集合、第二样本图像集合以及第三样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
可选地，优化模块，具体用于采用预设深度估计模型，分别获取第一样本图像集合中第一样本图像对应的第一预测结果、第二样本图像集合中第二样本图像对应的第二预测结果、第三样本图像集合中第三样本图像对应的第三预测结果；
根据第一样本图像中任意两个像素点的相对深度关系、以及第一预测结果，计算获取第一样本图像中任意两个像素点与第一预测结果中相对应的两个像素点之间的深度值相对损失；
根据第二样本图像中各像素点的深度值与第二预测结果，计算获取第二样本图像中像素点与第二预测结果中像素点之间的深度值均方差损失；
根据第三样本图像中目标内容的区域位置信息与第三预测结果，计算获取第三样本图像与第三预测结果之间的交叉熵损失；
根据深度值相对损失、深度值均方差损失、交叉熵损失以及预设算法，优化预设深度估计模型，获取优化的深度估计模型。
第四方面，本申请实施例还提供一种图像的深度估计处理装置，包括：
获取模块，用于获取待处理图像；
深度估计模块，用于采用优化后的深度估计模型对待处理图像进行深度估计处理，获取待处理图像的深度图，深度图包括待处理图像中各像素点的深度值；其中，优化后的深度估计模型通过第一样本图像集合和第二样本图像集合对预设深度估计模型优化训练获取，第一样本图像集合包括：第一样本图像，第一样本图像标注有任意两个像素点的相对深度关系；第二样本图像集合包括：第二样本图像，第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像。
可选地，优化后的深度估计模型由预设深度估计模型与第一样本图像得到的深度值相对损失、预设深度估计模型与第二样本图像得到的深度值均方差损失，优化训练获取。
可选地，优化后的深度估计模型通过第一样本图像集合、第二样本图像集合以及第三样本图像集合对预设深度估计模型优化训练获取，第三样本图像集合包括：第三样本图像，第三样本图像为分割出目标内容的分割图像，且第三样本图像标注有目标内容的区域位置信息。
可选地，该装置还包括：滤波处理模块，用于在深度估计模块采用优化后的深度估计模型对待处理图像进行深度估计处理，获取待处理图像的深度图之后，对待处理图像的深度图进行联合双边滤波处理，得到优化后的深度图。
第五方面，本申请实施例提供一种电子设备，包括：处理器、存储介质和总线，存储介质存储有处理器可执行的机器可读指令，当电子设备运行时，处理器与存储介质之间通过总线通信，处理器执行机器可读指令，以执行如第一方面或第二方面所述的方法。
第六方面，本申请实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如第一方面或第二方面所述的方法。
本申请的有益效果是：
本申请实施例中，通过获取由标注有任意两个像素点的相对深度关系的第一样本图像所构成的第一样本图像集合、以及标注有每个像素点深度值的RGB图像所构成的第二样本图像集合，并根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，可以使得对预设深度估计模型进行优化训练时，标注成本更低的第一样本图像可以减少标注成本较高的RGBD图像在所采用的训练数据中的占比，从而可以降低对训练数据的标注成本。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例提供的图像的深度估计模型优化方法的流程示意图；
图2示出了本申请实施例提供的图像的深度估计模型优化方法的另一流程示意图；
图3示出了本申请实施例提供的图像的深度估计模型优化方法的又一流程示意图；
图4示出了本申请实施例提供的图像的深度估计处理方法的流程示意图；
图5示出了本申请实施例提供的图像的深度估计模型优化装置的结构示意图；
图6示出了本申请实施例提供的图像的深度估计模型优化装置的另一结构示意图；
图7示出了本申请实施例提供的图像的深度估计处理装置的结构示意图；
图8示出了本申请实施例提供的图像的深度估计处理装置的另一结构示意图；
图9示出了本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本申请实施例提供一种图像的深度估计模型优化方法，通过该方法可以以较低的成本对深度估计模型进行优化，优化后的深度估计模型可以更精准地获取到待处理图像的深度估计结果。该方法可以应用于服务器、计算机等具备数据处理能力的设备，本申请对此不作限制。
图1示出了本申请实施例提供的图像的深度估计模型优化方法的流程示意图。
如图1所示，该图像的深度估计模型优化方法，可以包括：
S101、获取第一样本图像集合和第二样本图像集合。
其中，第一样本图像集合包括：第一样本图像，第一样本图像标注有任意两个像素点的相对深度关系。第二样本图像集合包括：第二样本图像，第二样本图像为标注有每个像素点深度值的红绿蓝(Red GreenBlue，RGB)图像。
可选地，第一样本图像为相对深度图，可以通过在图像中任意选择两个像素点，并标注出两个像素点之间的相对深度关系而得到。例如，对于图像中的像素点i和像素点j，当像素点i的深度值大于像素点j的深度值时，相对深度关系可以表示为“1”；当像素点i的深度值小于像素点j的深度值时，相对深度关系则可以表示为“-1”；当像素点i和j的深度值相同时，可以重新选择其他深度值不同的像素点进行标注，或者也可以标注相对深度关系为“1”。
可选地，第二样本图像为红绿蓝深度(Red GreenBlue Depth，RGBD)图像，可以通过在RGB图像上将每个像素点的深度值均进行标注而得到，即RGBD图像中标注有的所有点像素点的深度值。例如，可以通过具有多个摄像头的终端(如：双摄手机)进行拍摄，得到多张RGB图像，由于多个摄像头的位置不相同，导致拍摄到的多张RGB图像中每两张都可能存在差异，可以通过计算不同RGB图像的差异可以估计出图像中各像素点的深度信息，然后对RGB图像中各像素点的深度值进行标注，从而得到RGBD图像。
S102、根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
其中，预设深度估计模型可以是基于卷积神经网络(Convolutional NeuralNetworks，CNN)，将样本图像作为CNN的输入，将样本图像对应的深度图作为CNN的输出，对CNN进行训练而得到。得到该预设深度估计模型后，将图像输入该预设深度估计模型，该预设深度估计模型即可预测出输入的图像对应的深度图。
可选地，可以根据上述第一样本图像集合和第二样本图像集合对预设深度估计模型进行优化训练。例如，可以分别将第一样本图像集合中的第一样本图像、以及第二样本图像集合中的第二样本图像输入预设深度估计模型，预设深度估计模型可以分别输出第一样本图像对应的第一深度图和第二样本图像对应的第二深度图。第一深度图和第二深度图中包含有图像中各像素点对应的深度值，根据第一样本图像中标注的2个像素点之间的相对深度关系和第一深度图中对应的2个像素点的深度值，可以确定该预设深度估计模型预测的第一深度图与第一样本图像的实际深度图相比所产生的损失；根据第二样本图像中各像素点的深度值与第二深度图中各像素点的深度值之间的差异，可以确定该预设深度估计模型预测的第二深度图与第二样本图像的实际深度图相比所产生的损失；根据前述损失，可以反向对预设深度估计模型的参数进行优化，提高预设深度估计模型的预测精度，从而可以获取到优化后的深度估计模型。
在上述对预设深度估计模型进行优化训练的过程中，在训练数据中加入了第一样本图像(相对深度图)，可以使得第二样本图像(RGBD图像)的占比可以相对减少。第一样本图像可以对任意2个像素点进行标注，而第二样本图像需要对图像中的每个像素点都进行标注，所以通过在训练数据中加入第一样本图像而使得第二样本图像的占比减少，可以由于第一样本图像的标注过程更加简单而适当降低对训练数据的标注成本。
可选地，本申请部分实施方式中，对预设深度估计模型进行优化训练所使用的训练数据中，可以包括大量的第一样本图像和少量的第二样本图像，其中，大量的第一样本图像可以作为第二样本图像的补充训练数据，与第二样本图像一起实现对预设深度估计模型的优化，优化后的深度估计模型可以更加稳健，预测结果可以更加精确。
由上所述，本申请实施例通过获取由标注有任意两个像素点的相对深度关系的第一样本图像所构成的第一样本图像集合、以及标注有每个像素点深度值的RGB图像所构成的第二样本图像集合，并根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，可以使得对预设深度估计模型进行优化训练时，标注成本更低的第一样本图像以减少标注成本较高的RGBD图像在所采用的训练数据中的占比，从而可以降低对训练数据的标注成本。
图2示出了本申请实施例提供的图像的深度估计模型优化方法的另一流程示意图。
可选地，如图2所示，上述根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，可以包括：
S201、采用预设深度估计模型，分别获取第一样本图像集合中第一样本图像对应的第一预测结果、第二样本图像集合中第二样本图像对应的第二预测结果。
如上所述，可以将第一样本图像输入预设深度估计模型，预设深度估计模型可以输出第一样本图像对应的第一深度图作为第一预测结果；将第二样本图像输入预设深度估计模型后，预设深度估计模型可以输出第二样本图像对应的第二深度图作为第二预测结果。第一预测结果(第一深度图)中包含有第一样本图像中每个像素点的深度值，第二预测结果(第二深度图)中包含有第二样本图像中每个像素点的深度值。
S202、根据第一样本图像中任意两个像素点的相对深度关系、以及第一预测结果，计算获取第一样本图像中任意两个像素点与第一预测结果中相对应的两个像素点之间的深度值相对损失。
可选地，可以根据第一样本图像中任意两个像素点的相对深度关系、以及第一样本图像对应的第一深度图中相对应的两个像素点的深度值，计算预设深度估计模型所输出的第一深度图与第一样本图像中对应的两个像素点之间的深度值相对损失。
例如，若第一样本图像中存在任意两个像素点i和j，且像素点i的深度值大于像素点j的深度值，则第一样本图像中标注的像素点i和j之间的相对深度关系为“1”。预设深度估计模型所输出的第一深度图中的像素点i和j与第一样本图像中的像素点i和j之间的深度值相对损失的计算公式可以如下：
其中，Lrelatively表示深度值相对损失；i和j表示第一样本图像中标注的2个像素点；di表示第一样本图像对应的第一深度图中像素点i的深度值；dj表示第一样本图像对应的第一深度图中像素点j的深度值；r表示像素点i和像素点j之间的相对深度关系(r等于1或-1)；log为对数函数。
S203、根据第二样本图像中各像素点的深度值与第二预测结果，计算获取第二样本图像中像素点与第二预测结果中像素点之间的深度值均方差损失。
可选地，可以根据第二样本图像(RGBD图像)中标注的各像素点的深度值、以及第二样本图像对应的第二预测结果(第二深度图)中包含的各像素点的深度值，计算第二深度图与第二样本图像中所有像素点之间的深度值均方差损失。
例如，均方差损失计算公式可以如下：
其中，LMSE表示深度值均方差损失；n表示第二深度图或第二样本图像中所有像素点的个数；i表示第二深度图或第二样本图像中的像素点；di表示第二深度图中像素点i的深度值；表示第二样本图像中像素点i的深度值。
S204、根据深度值相对损失、深度值均方差损失以及预设算法，优化预设深度估计模型，获取优化的深度估计模型。
可选地，可以根据上述步骤S202计算获取到的深度值相对损失、以及步骤S203获取到的深度值均方差损失，并采用预设算法，对预设深度估计模型进行优化，从而得到优化的深度估计模型。
可选地，预设算法可以是：计算深度值相对损失与深度值均方差损失的和，例如，若L1表示深度值相对损失与深度值均方差损失的和，则
L1＝LMsE+Lrelatively；
然后根据深度值相对损失与深度值均方差损失的和，采用误差反向传播算法(error BackPropagation，BP)计算出预设深度估计模型中各参数的梯度；最后根据预设深度估计模型中各参数的梯度采用梯度下降算法对预设深度估计模型的网络参数进行更新，进而得到优化后的深度估计模型。使用优化后的深度估计模型对待处理图像进行预测时，可以得到更精确的深度估计结果。
其中，BP算法可以用于多层神经网络训练，当正向传播时，输入样本从输入层进入神经网络，经隐层逐层传递至输出层，如果输出层的实际输出与期望输出(导师信号)不同，则转至误差反向传播；如果输出层的实际输出与期望输出(导师信号)相同，结束学习算法。当反向传播时，将输出误差(期望输出与实际输出之差)按原通路反传计算，通过隐层反向，直至输入层，在反传过程中将误差分摊给各层的各个单元，获得各层各单元的误差信号，并将其作为修正各单元权值的根据。这一计算过程可以使用梯度下降法迭代完成，在不停地调整各层神经元的权值和阈值后，可以使误差信号减小到最低限度，即可以使得预设深度估计模型的前后预测深度值损失明显降低，从而得到优化后的深度估计模型。
可选地，该图像的深度估计模型优化方法，还可以包括：
获取第三样本图像集合，第三样本图像集合包括：第三样本图像，第三样本图像为分割出目标内容的分割图像，且第三样本图像标注有目标内容的区域位置信息。
其中，目标内容可以是人、车辆、建筑等，第三图像为包含有前述目标内容的图像，且第三图像中标注有目标内容的区域位置信息。例如，第三样本图像可以是人像图像，人像图像中标注有人像对应的像素所在的区域。
相应地，上述根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，包括：
根据第一样本图像集合、第二样本图像集合以及第三样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
如前述实施例中所述，对于第一样本图像集合和第二样本图像集合，预设深度估计模型可以输出第一样本图像对应的第一深度图、第二样本图像对应的第二深度图，并计算得到第一深度图与第一样本图像的实际深度图相比所产生的损失、第二深度图与第二样本图像的实际深度图相比所产生的损失。
可选地，在前述实施例的基础上，预设深度估计模型还可以是将包含有目标内容的样本图像作为CNN的输入，将样本图像对应的目标分割图作为CNN的输出，对CNN进行训练而得到。将第三样本图像输入该预设深度估计模型，该预设深度估计模型即可预测出第三样本图像对应的目标分割图，根据目标分割图中分割出的目标内容的区域位置信息和第三样本图像中标注的目标内容的区域位置信息，可以计算目标分割图相对于第三样本图像的实际分割图而产生的损失。
在对预设深度估计模型进行优化训练的过程，还可以将第三样本图像加入训练数据，使得预设深度估计模型对待处理图像的目标分割效果更佳，从而获取到优化的深度估计模型。也即，可以根据第一样本图像、第二样本图像和第三样本图像三种数据分别输入预设深度估计模型前后所产生的损失，反向对预设深度估计模型的参数进行优化，从而进一步提高预设深度估计模型的预测精度，获取到优化后的深度估计模型。此时，优化后的深度估计模型不仅可以更精确地输出待处理图像对应的深度图，还可以输出待处理图像对应的目标分割图，实现对待处理图像较好的分割效果。
图3示出了本申请实施例提供的图像的深度估计模型优化方法的又一流程示意图。
可选地，如图3所示，上述根据第一样本图像集合、第二样本图像集合以及第三样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，可以包括：
S301、采用预设深度估计模型，分别获取第一样本图像集合中第一样本图像对应的第一预测结果、第二样本图像集合中第二样本图像对应的第二预测结果、第三样本图像集合中第三样本图像对应的第三预测结果。
如上所述，第一预测结果可以是第一样本图像对应的第一深度图；第二预测结果可以是第二样本图像对应的第二深度图；第三预测结果可以是第三样本图像对应的目标分割图。
S302、根据第一样本图像中任意两个像素点的相对深度关系、以及第一预测结果，计算获取第一样本图像中任意两个像素点与第一预测结果中相对应的两个像素点之间的深度值相对损失。
S303、根据第二样本图像中各像素点的深度值与第二预测结果，计算获取第二样本图像中像素点与第二预测结果中像素点之间的深度值均方差损失。
上述步骤S302和S303的具体实现过程与前述实施例中所述的步骤S202和S203相同，在此不再赘述。
S304、根据第三样本图像中目标内容的区域位置信息与第三预测结果，计算获取第三样本图像与第三预测结果之间的交叉熵损失。
其中，交叉熵损失可以用于度量两个概率分布间的差异性信息。第三样本图像与第三预测结果(目标分割图)之间的交叉熵损失可以通过如下公式进行计算：
其中，LCE表示交叉熵损失，y表示第三样本图像中标注的目标内容的区域位置信息；表示目标分割图中包含的目标内容的区域位置信息。
S305、根据深度值相对损失、深度值均方差损失、交叉熵损失以及预设算法，优化预设深度估计模型，获取优化的深度估计模型。
可选地，当训练数据还包括第三样本图像时，预设算法还可以是：计算深度值相对损失、深度值均方差损失、以及交叉熵损失的和，例如，若L2表示深度值相对损失与深度值均方差损失的和，则
L2＝LMSE+Lrelatively+LCE；
然后可以L2，采用BP算法计算出预设深度估计模型中各参数的梯度；并根据预设深度估计模型中各参数的梯度采用梯度下降算法对预设深度估计模型的网络参数进行更新，进而得到优化后的深度估计模型。
本申请实施例还提供一种图像的深度估计处理方法，通过该方法可以以实现对待处理图像的深度估计。该方法可以应用于具备数据处理能力的服务器、计算机等，也可以应用于手机、笔记本电脑等移动终端，本申请对此不作限制。
图4示出了本申请实施例提供的图像的深度估计处理方法的流程示意图。
如图4所示，该图像的深度估计处理方法，可以包括：
S401、获取待处理图像。
例如，待处理图像可以是通过电脑摄像头、网络监控摄像头、摄像机、手机等设备拍摄所获取的照片，照片可以是人像照片、不同类型的环境照片等。
S402、采用优化后的深度估计模型对待处理图像进行深度估计处理，获取待处理图像的深度图。
优化后的深度估计模型通过第一样本图像集合和第二样本图像集合对预设深度估计模型优化训练获取，第一样本图像集合包括：第一样本图像，第一样本图像标注有任意两个像素点的相对深度关系；第二样本图像集合包括：第二样本图像，第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像。
可选地，将待处理图像输入优化后的深度估计模型后，优化后的深度估计模型可以输出待处理图像对应的深度图，深度图中包括有待处理图像中各像素点的深度值。
本申请部分实施方式中，优化后的深度估计模型可以由预设深度估计模型与第一样本图像得到的深度值相对损失、预设深度估计模型与第二样本图像得到的深度值均方差损失，优化训练获取。
本申请其他实施方式中，优化后的深度估计模型也可以通过第一样本图像集合、第二样本图像集合以及第三样本图像集合对预设深度估计模型优化训练获取，第三样本图像集合包括：第三样本图像，第三样本图像为分割出目标内容的分割图像，且第三样本图像标注有目标内容的区域位置信息。
由于该图像的深度估计处理方法中，对待处理图像进行深度估计时，所使用的优化后的深度估计模型，是按照前述方法实施例中所述的图像的深度估计模型优化方法训练所获取的，所以，具有前述方法实施例中所述的全部有益效果，在此不再赘述。
另外，相对于现有技术中使用仅仅基于RGBD图像进行训练获取的深度估计模型对待处理图像进行预测的方法而言，本申请实施例使用基于RGBD图像和相对深度图两种数据进行训练获取的深度估计模型，对待处理图像进行预测，可以具有更精确的预测结果。
可选地，上述采用优化后的深度估计模型对待处理图像进行深度估计处理，获取待处理图像的深度图之后，该方法还包括：
对待处理图像的深度图进行联合双边滤波处理，得到优化后的深度图。
可选地，可以采用公式：
对待处理图像对应的深度图进行联合双边滤波处理；
其中，I表示所述待处理图像对应的深度图；表示所述待处理图像对应的RGB图像；p和q分别表示像素在I中的坐标；Iq表示I中q位置的像素值；表示中p位置的像素值；表示中q位置的像素值；J表示对所述待处理图像对应的深度图进行联合双边滤波处理后的深度图；Jp对所述待处理图像对应的深度图进行联合双边滤波处理后的深度图中p位置的像素值；f和g均为权重分布函数。
可选地，f和g均为高斯函数。
通过如上所述的方法对待处理图像的深度图进行联合双边滤波处理，可以消除或减少深度图中物体边缘可能出现的模糊、毛边等现象的发生，使得深度图中物体的边缘更加贴合，即，可以得到优化后的深度图。
基于前述方法实施例中所述的图像的深度估计模型优化方法，本申请实施例还对应提供一种图像的深度估计模型优化装置，图5示出了本申请实施例提供的图像的深度估计模型优化装置的结构示意图。
如图5所示，该图像的深度估计模型优化装置，可以包括：第一获取模块11和优化模块12。
第一获取模块11用于获取第一样本图像集合和第二样本图像集合。第一样本图像集合包括：第一样本图像，第一样本图像标注有任意两个像素点的相对深度关系；第二样本图像集合包括：第二样本图像，第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像。优化模块12用于根据第一样本图像集合和第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
可选地，优化模块12具体用于采用预设深度估计模型，分别获取第一样本图像集合中第一样本图像对应的第一预测结果、第二样本图像集合中第二样本图像对应的第二预测结果；根据第一样本图像中任意两个像素点的相对深度关系、以及第一预测结果，计算获取第一样本图像中任意两个像素点与第一预测结果中相对应的两个像素点之间的深度值相对损失；根据第二样本图像中各像素点的深度值与第二预测结果，计算获取第二样本图像中像素点与第二预测结果中像素点之间的深度值均方差损失；根据深度值相对损失、深度值均方差损失以及预设算法，优化预设深度估计模型，获取优化的深度估计模型。
图6示出了本申请实施例提供的图像的深度估计模型优化装置的另一结构示意图。
可选地，如图6所示，该图像的深度估计模型优化装置，还可以包括：第二获取模块13，用于获取第三样本图像集合。第三样本图像集合包括：第三样本图像，第三样本图像为分割出目标内容的分割图像，且第三样本图像标注有目标内容的区域位置信息。
相应地，优化模块12用于根据第一样本图像集合、第二样本图像集合以及第三样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
可选地，优化模块12具体用于采用预设深度估计模型，分别获取第一样本图像集合中第一样本图像对应的第一预测结果、第二样本图像集合中第二样本图像对应的第二预测结果、第三样本图像集合中第三样本图像对应的第三预测结果；根据第一样本图像中任意两个像素点的相对深度关系、以及第一预测结果，计算获取第一样本图像中任意两个像素点与第一预测结果中相对应的两个像素点之间的深度值相对损失；根据第二样本图像中各像素点的深度值与第二预测结果，计算获取第二样本图像中像素点与第二预测结果中像素点之间的深度值均方差损失；根据第三样本图像中目标内容的区域位置信息与第三预测结果，计算获取第三样本图像与第三预测结果之间的交叉熵损失；根据深度值相对损失、深度值均方差损失、交叉熵损失以及预设算法，优化预设深度估计模型，获取优化的深度估计模型。
基于前述方法实施例中所述的图像的深度估计处理方法，本申请实施例还对应提供一种图像的深度估计处理装置，图7示出了本申请实施例提供的图像的深度估计处理装置的结构示意图。
如图7所示，该图像的深度估计处理装置，可以包括：获取模块21和深度估计模块22。
获取模块21用于获取待处理图像；深度估计模块22用于采用优化后的深度估计模型对待处理图像进行深度估计处理，获取待处理图像的深度图，深度图包括待处理图像中各像素点的深度值；其中，优化后的深度估计模型通过第一样本图像集合和第二样本图像集合对预设深度估计模型优化训练获取，第一样本图像集合包括：第一样本图像，第一样本图像标注有任意两个像素点的相对深度关系；第二样本图像集合包括：第二样本图像，第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像。
可选地，优化后的深度估计模型由预设深度估计模型与第一样本图像得到的深度值相对损失、预设深度估计模型与第二样本图像得到的深度值均方差损失，优化训练获取。
可选地，优化后的深度估计模型通过第一样本图像集合、第二样本图像集合以及第三样本图像集合对预设深度估计模型优化训练获取，第三样本图像集合包括：第三样本图像，第三样本图像为分割出目标内容的分割图像，且第三样本图像标注有目标内容的区域位置信息。
图8示出了本申请实施例提供的图像的深度估计处理装置的另一结构示意图。
可选地，如图8所示，该图像的深度估计处理装置装置，还可以包括：滤波处理模块23，用于在深度估计模块22采用优化后的深度估计模型对待处理图像进行深度估计处理，获取待处理图像的深度图之后，对待处理图像的深度图进行联合双边滤波处理，得到优化后的深度图。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中方法的对应过程，本申请中不再赘述。
本申请实施例提供一种电子设备，图9示出了本申请实施例提供的电子设备的结构示意图。
如图9所示，该电子设备可以包括：处理器31、存储介质32和总线(图中未标出)，存储介质32存储有处理器31可执行的机器可读指令，当电子设备运行时，处理器31与存储介质32之间通过总线通信，处理器31执行机器可读指令，以执行如前述方法实施例中所述的图像的深度估计模型优化方法、或图像的深度估计处理方法。具体实现方式和技术效果类似，在此不再赘述。
本申请实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器运行时执行如前述方法实施例中所述的图像的深度估计模型优化方法、或图像的深度估计处理方法。具体实现方式和技术效果类似，在此同样不再赘述。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种图像的深度估计模型优化方法，其特征在于，包括：
获取第一样本图像集合和第二样本图像集合，所述第一样本图像集合包括：第一样本图像，所述第一样本图像标注有任意两个像素点的相对深度关系；所述第二样本图像集合包括：第二样本图像，所述第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像；
根据所述第一样本图像集合和所述第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一样本图像集合和所述第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，包括：
采用所述预设深度估计模型，分别获取所述第一样本图像集合中第一样本图像对应的第一预测结果、所述第二样本图像集合中第二样本图像对应的第二预测结果；
根据所述第一样本图像中任意两个像素点的相对深度关系、以及所述第一预测结果，计算获取所述第一样本图像中任意两个像素点与所述第一预测结果中相对应的两个像素点之间的深度值相对损失；
根据所述第二样本图像中各所述像素点的深度值与所述第二预测结果，计算获取所述第二样本图像中像素点与所述第二预测结果中像素点之间的深度值均方差损失；
根据所述深度值相对损失、所述深度值均方差损失以及预设算法，优化所述预设深度估计模型，获取优化的深度估计模型。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第三样本图像集合，所述第三样本图像集合包括：第三样本图像，所述第三样本图像为分割出目标内容的分割图像，且所述第三样本图像标注有所述目标内容的区域位置信息；
相应地，所述根据所述第一样本图像集合和所述第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，包括：
根据所述第一样本图像集合、所述第二样本图像集合以及第三样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一样本图像集合、所述第二样本图像集合以及第三样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型，包括：
采用所述预设深度估计模型，分别获取所述第一样本图像集合中第一样本图像对应的第一预测结果、所述第二样本图像集合中第二样本图像对应的第二预测结果、所述第三样本图像集合中第三样本图像对应的第三预测结果；
根据所述第一样本图像中任意两个像素点的相对深度关系、以及所述第一预测结果，计算获取所述第一样本图像中任意两个像素点与所述第一预测结果中相对应的两个像素点之间的深度值相对损失；
根据所述第二样本图像中各所述像素点的深度值与所述第二预测结果，计算获取所述第二样本图像中像素点与所述第二预测结果中像素点之间的深度值均方差损失；
根据所述第三样本图像中所述目标内容的区域位置信息与所述第三预测结果，计算获取所述第三样本图像与所述第三预测结果之间的交叉熵损失；
根据所述深度值相对损失、所述深度值均方差损失、所述交叉熵损失以及预设算法，优化所述预设深度估计模型，获取优化的深度估计模型。
5.一种图像的深度估计处理方法，其特征在于，包括：
获取待处理图像；
采用优化后的深度估计模型对所述待处理图像进行深度估计处理，获取所述待处理图像的深度图，所述深度图包括所述待处理图像中各像素点的深度值；其中，所述优化后的深度估计模型通过第一样本图像集合和第二样本图像集合对预设深度估计模型优化训练获取，所述第一样本图像集合包括：第一样本图像，所述第一样本图像标注有任意两个像素点的相对深度关系；所述第二样本图像集合包括：第二样本图像，所述第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像。
6.根据权利要求5所述的方法，其特征在于，所述优化后的深度估计模型由所述预设深度估计模型与所述第一样本图像得到的深度值相对损失、所述预设深度估计模型与所述第二样本图像得到的深度值均方差损失，优化训练获取。
7.根据权利要求5所述的方法，其特征在于，所述优化后的深度估计模型通过第一样本图像集合、第二样本图像集合以及第三样本图像集合对预设深度估计模型优化训练获取，所述第三样本图像集合包括：第三样本图像，所述第三样本图像为分割出目标内容的分割图像，且所述第三样本图像标注有所述目标内容的区域位置信息。
8.根据权利要求5-7任一项所述的方法，其特征在于，所述采用优化后的深度估计模型对所述待处理图像进行深度估计处理，获取所述待处理图像的深度图之后，还包括：
对所述待处理图像的深度图进行联合双边滤波处理，得到优化后的深度图。
9.一种图像的深度估计模型优化装置，其特征在于，包括：
第一获取模块，用于获取第一样本图像集合和第二样本图像集合，所述第一样本图像集合包括：第一样本图像，所述第一样本图像标注有任意两个像素点的相对深度关系；所述第二样本图像集合包括：第二样本图像，所述第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像；
优化模块，用于根据所述第一样本图像集合和所述第二样本图像集合，优化训练预设深度估计模型，获取优化的深度估计模型。
10.一种图像的深度估计处理装置，其特征在于，包括：
获取模块，用于获取待处理图像；
深度估计模块，用于采用优化后的深度估计模型对所述待处理图像进行深度估计处理，获取所述待处理图像的深度图，所述深度图包括所述待处理图像中各像素点的深度值；其中，所述优化后的深度估计模型通过第一样本图像集合和第二样本图像集合对预设深度估计模型优化训练获取，所述第一样本图像集合包括：第一样本图像，所述第一样本图像标注有任意两个像素点的相对深度关系；所述第二样本图像集合包括：第二样本图像，所述第二样本图像为标注有每个像素点深度值的红绿蓝RGB图像。
11.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过所述总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1-8任一项所述的方法。
12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-8任一项所述的方法。
CN201910883574.0A 2019-09-18 2019-09-18 图像的深度估计模型优化、深度估计处理方法及装置 Pending CN110599532A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910883574.0A CN110599532A (zh) 2019-09-18 2019-09-18 图像的深度估计模型优化、深度估计处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910883574.0A CN110599532A (zh) 2019-09-18 2019-09-18 图像的深度估计模型优化、深度估计处理方法及装置

Publications (1)

Publication Number Publication Date
CN110599532A true CN110599532A (zh) 2019-12-20

Family

ID=68860950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910883574.0A Pending CN110599532A (zh) 2019-09-18 2019-09-18 图像的深度估计模型优化、深度估计处理方法及装置

Country Status (1)

Country Link
CN (1) CN110599532A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN112991416A (zh) * 2021-04-13 2021-06-18 Oppo广东移动通信有限公司 深度估计方法、模型训练方法、装置、设备及存储介质
CN113643343A (zh) * 2020-04-27 2021-11-12 北京达佳互联信息技术有限公司 深度估计模型的训练方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473743A (zh) * 2013-09-12 2013-12-25 清华大学深圳研究生院 一种获取图像深度信息的方法
CN105069808A (zh) * 2015-08-31 2015-11-18 四川虹微技术有限公司 基于图像分割的视频图像深度估计方法
CN107204010A (zh) * 2017-04-28 2017-09-26 中国科学院计算技术研究所 一种单目图像深度估计方法与系统
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN109003297A (zh) * 2018-07-18 2018-12-14 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN109191514A (zh) * 2018-10-23 2019-01-11 北京字节跳动网络技术有限公司 用于生成深度检测模型的方法和装置
CN110189372A (zh) * 2019-05-30 2019-08-30 北京百度网讯科技有限公司 深度图模型训练方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473743A (zh) * 2013-09-12 2013-12-25 清华大学深圳研究生院 一种获取图像深度信息的方法
CN105069808A (zh) * 2015-08-31 2015-11-18 四川虹微技术有限公司 基于图像分割的视频图像深度估计方法
CN107204010A (zh) * 2017-04-28 2017-09-26 中国科学院计算技术研究所 一种单目图像深度估计方法与系统
CN107767413A (zh) * 2017-09-20 2018-03-06 华南理工大学 一种基于卷积神经网络的图像深度估计方法
CN109003297A (zh) * 2018-07-18 2018-12-14 亮风台（上海）信息科技有限公司 一种单目深度估计方法、装置、终端和存储介质
CN109191514A (zh) * 2018-10-23 2019-01-11 北京字节跳动网络技术有限公司 用于生成深度检测模型的方法和装置
CN110189372A (zh) * 2019-05-30 2019-08-30 北京百度网讯科技有限公司 深度图模型训练方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
WEIFENG CHEN等: "Single-Image Depth Perception in the Wild", 《ARXIV:1604.03901V2 [CS.CV]》 *
YIRAN WU等: "Size to Depth: A New Perspective for Single Image Estimation", 《ARXIV:1801.04461V1 [CS.CV] 》 *
张骁迪: "图像分割及其在图像深度估计中的应用", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
隋铭明: "单幅近景图像空间信息提取及误差分析", 《中国优秀博硕士学位论文全文数据库(博士) 基础科学辑》 *
高建: "单幅图像深度估计的弱监督学习方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105462A (zh) * 2019-12-30 2020-05-05 联想(北京)有限公司 位姿确定方法及装置、增强现实设备和可读存储介质
CN113643343A (zh) * 2020-04-27 2021-11-12 北京达佳互联信息技术有限公司 深度估计模型的训练方法、装置、电子设备及存储介质
CN112991416A (zh) * 2021-04-13 2021-06-18 Oppo广东移动通信有限公司 深度估计方法、模型训练方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN109508681B (zh) 生成人体关键点检测模型的方法和装置
CN102682446B (zh) 使用自适应联合双边滤波器生成稠密深度图的设备和方法
WO2015121535A1 (en) Method, apparatus and computer program product for image-driven cost volume aggregation
CN110599532A (zh) 图像的深度估计模型优化、深度估计处理方法及装置
US20190164259A1 (en) Method and apparatus for removing turbid objects in an image
CN111311482B (zh) 背景虚化方法、装置、终端设备及存储介质
CN104166968A (zh) 一种图像去雾的方法、装置及移动终端
CN112634343A (zh) 图像深度估计模型的训练方法、图像深度信息的处理方法
CN110796664A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111553302B (zh) 关键帧选取方法、装置、设备及计算机可读存储介质
CN110751157B (zh) 图像显著性分割、图像显著性模型训练方法及装置
US10467737B2 (en) Method and device for adjusting grayscale values of image
CN111383254A (zh) 一种深度信息获取方法、系统及终端设备
CN106657948A (zh) 低照度Bayer图像的增强方法及增强装置
CN110363837B (zh) 游戏中纹理图像的处理方法及装置、电子设备、存储介质
CN113469147B (zh) 答题卡识别方法、装置、电子设备以及存储介质
CN109615620B (zh) 图像压缩度识别方法、装置、设备及计算机可读存储介质
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
EP2991036B1 (en) Method, apparatus and computer program product for disparity estimation of foreground objects in images
CN113888509A (zh) 一种图像清晰度的评价方法、装置、设备及存储介质
CN111611835A (zh) 一种船只检测方法及装置
CN110298809B (zh) 一种图像去雾方法及装置
CN110363723B (zh) 改进图像边界效果的图像处理方法及装置
CN110647898B (zh) 图像处理方法、装置、电子设备及计算机存储介质
Wang et al. An airlight estimation method for image dehazing based on gray projection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191220