CN115423719A - 深度图像估计方法、装置、电器设备以及存储介质 - Google Patents

Abstract

本发明公开了一种深度图像估计方法、装置、电器设备以及存储介质，其中，深度图像估计方法应用于嵌入式神经网络处理器，方法包括：获取双目相机采集到的第一图像和第二图像；分别对第一图像和第二图像的有效区域进行截取，得到第一有效图像和第二有效图像；利用预先训练好的轻量级图像校正网络模型对第一有效图像的行和第二有效图像的行进行对准校正，得到第一校正图像和第二校正图像；利用预先训练好的轻量级深度估计网络模型对第一校正图像和第二校正图像进行深度估计，得到深度图像。该方法降低了计算的复杂度，减少了计算量以及计算耗时，保证了深度估计方法的实时性。

Description

深度图像估计方法、装置、电器设备以及存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种深度图像估计方法、装置、电器设备以及存储介质。

背景技术

相关技术中，传统的双目深度估计方法流程如下：对双目相机采集到的左图像和右图像进行校正；对校正后的左图像和右图像经过块匹配计算视差图；根据视差图计算深度图像。传统的双目深度估计方法的估计过程在CPU(Central Processing Unit，中央处理器)上运行。

由于图像校正、视差图计算以及视差图转深度图过程计算量较大，所以传统深度估计方法的耗时较长。尤其是当传统深度估计方法在算力较弱的边缘端(例如扫地机、智能门锁)的嵌入式开发板的CPU上运行时，由于计算速度较慢，很难保证传统深度估计方法的实时性，并且CPU在做图像类的并行计算时任务效率较低。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种深度图像估计方法，通过截取第一图像和第二图像的有效区域，降低了计算的复杂度，减少了计算量，并且预先训练好的轻量级图像校正网络模型和轻量级深度估计网络模型计算速度快，减少了计算耗时，以及深度图像估计方法运行在嵌入式神经网络处理器中，进一步提升计算速度，保证了深度估计方法的实时性。

本发明的第二个目的在于提出一种计算机可读存储介质。

本发明的第三个目的在于提出一种电器设备。

本发明的第四个目的在于提出一种深度图像估计装置。

为达上述目的，根据本发明第一方面实施例提出了一种深度图像估计方法，应用于嵌入式神经网络处理器，方法包括：获取双目相机采集到的第一图像和第二图像；分别对第一图像和第二图像的有效区域进行截取，得到第一有效图像和第二有效图像；利用预先训练好的轻量级图像校正网络模型对第一有效图像的行和第二有效图像的行进行对准校正，得到第一校正图像和第二校正图像；利用预先训练好的轻量级深度估计网络模型对第一校正图像和第二校正图像进行深度估计，得到深度图像。

根据本发明实施例的深度图像估计方法，获取双目相机采集到的第一图像和第二图像，分别截取第一图像和第二图像的有效区域得到第一有效图像和第二有效图像，并利用预先训练好的轻量级图像校正网络模型对第一有效图像和第二有效图像进行校正，得到第一校正图像和第二校正图像，然后利用预先训练好的轻量级深度估计网络模型对第一校正图像和第二校正图像进行深度估计，得到深度图像，其中，深度图像估计方法应用于嵌入式神经网络处理器。由此，通过截取第一图像和第二图像的有效区域，降低了深度图像计算的复杂度，减少了计算量，轻量级图像校正网络模型和轻量级深度估计网络模型的计算速度较快，减少了深度图像的计算耗时；并且，深度图像估计方法运行在嵌入式神经网络处理器中，嵌入式神经网络处理器为“数据驱动并行计算”的架构，进一步提升计算速度，保证了深度估计方法的实时性。

根据本发明的一个实施例，获取双目相机采集到的第一图像和第二图像之前，方法还包括：分别对预先训练好的图像校正网络模型和深度估计网络模型进行网络剪裁，获得轻量级图像校正网络模型和轻量级深度估计网络模型。

根据本发明的一个实施例，在获得轻量级图像校正网络模型和轻量级深度估计网络模型之后，方法还包括：利用第一目标样本集对轻量级图像校正网络模型进行训练，获得预先训练好的轻量级图像校正网络模型，其中，第一目标样本集包括由第一有效图像和第二有效图像组成的多个有效图像组、第一目标校正图像和第二目标校正图像，第一目标校正图像和第二目标校正图像通过预先训练好的图像校正网络模型获得；利用第二目标样本集对轻量级深度估计网络模型进行训练，获得预先训练好的轻量级深度估计网络模型，其中，第二目标样本集包括由第一校正图像和第二校正图像组成的多个校正图像组、目标深度图像，目标深度图像根据第一图像与第二图像之间的视差图进行深度估计得到。

根据本发明的一个实施例，利用第一目标样本集对轻量级图像校正网络模型进行训练，包括：以多个有效图像组为输入、第一目标校正图像和第二目标校正图像为图像校正标签，对轻量级图像校正网络模型的参数进行训练，直至轻量级图像校正网络模型输出的图像校正结果与图像校正标签之间的误差满足第一预设误差条件。

根据本发明的一个实施例，利用第二目标样本集对轻量级深度估计网络模型进行训练，包括：以多个校正图像组为输入、目标深度图像为深度图像标签，对轻量级深度估计网络模型的参数进行训练，直至轻量级深度估计网络模型输出的深度图像估计结果与深度图像标签之间的误差满足第二预设误差条件。

根据本发明的一个实施例，在对轻量级图像校正网络模型和轻量级深度估计网络模型进行训练之后，方法还包括：分别对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型进行模型格式转换，以使转换后的轻量级图像校正网络模型和轻量级深度估计网络模型适于在嵌入式神经网络处理器上运行。

根据本发明的一个实施例，在分别对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型进行模型格式转换之前，方法还包括：对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型的模型参数进行int8量化处理。

根据本发明的一个实施例，分别对第一图像和第二图像的有效区域进行截取，包括：确定有效区域的边界坐标；从第一图像和第二图像中截取边界坐标的连线框定的区域，以得到第一有效图像和第二有效图像，其中，边界坐标的连线框定的区域为有效区域。

为达上述目的，根据本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有深度图像估计程序，该深度图像估计程序被处理器处理时，执行前述任一实施例的深度图像估计方法。

根据本发明实施例的计算机可读存储介质，通过执行上述深度图像估计方法的计算机程序，通过截取第一图像和第二图像的有效区域，降低了计算的复杂度，减少了计算量，并且预先训练好的轻量级图像校正网络模型和轻量级深度估计网络模型计算速度快，减少了计算耗时，以及深度图像估计方法运行在嵌入式神经网络处理器中，进一步提升计算速度，保证了深度估计方法的实时性。

为达上述目的，根据本发明第三方面实施例提出了一种电器设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的深度图像估计程序，处理器深度图像估计程序时，实现前述任一实施例的深度图像估计方法。

根据本发明实施例的电器设备，通过处理器执行上述深度图像估计方法的程序，通过截取第一图像和第二图像的有效区域，降低了计算的复杂度，减少了计算量，并且预先训练好的轻量级图像校正网络模型和轻量级深度估计网络模型计算速度快，减少了计算耗时，以及深度图像估计方法运行在嵌入式神经网络处理器中，进一步提升计算速度，保证了深度估计方法的实时性。

为达上述目的，根据本发明第四方面实施例提出了一种深度图像估计装置，应用于嵌入式神经网络处理器，装置包括：获取模块，用于获取双目相机采集到的第一图像和第二图像；截取模块，用于分别对第一图像和第二图像的有效区域进行截取，得到第一有效图像和第二有效图像；校正模块，用于利用预先训练好的轻量级图像校正网络模型对第一有效图像的行和第二有效图像的行进行对准校正，得到第一校正图像和第二校正图像；估计模块，用于利用预先训练好的轻量级深度估计网络模型对第一校正图像和第二校正图像进行深度估计，得到深度图像。

根据本发明实施例的深度图像估计装置，通过获取模块获取双目相机采集到的第一图像和第二图像，通过截取模块分别截取第一图像和第二图像的有效区域得到第一有效图像和第二有效图像，并通过校正模块利用预先训练好的轻量级图像校正网络模型对第一有效图像和第二有效图像进行校正，得到第一校正图像和第二校正图像，然后通过估计模块利用预先训练好的轻量级深度估计网络模型对第一校正图像和第二校正图像进行深度估计，得到深度图像。由此，通过截取第一图像和第二图像的有效区域，降低了深度图像计算的复杂度，减少了计算量，轻量级图像校正网络模型和轻量级深度估计网络模型的计算速度较快，减少了深度图像的计算耗时；并且，深度图像估计方法运行在嵌入式神经网络处理器中，嵌入式神经网络处理器为“数据驱动并行计算”的架构，进一步提升计算速度，保证了深度估计方法的实时性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1是根据本发明第一个实施例的深度图像估计方法的流程示意图；

图2是根据本发明第二个实施例的深度图像估计方法的流程示意图；

图3是根据本发明一个实施例的轻量级图像校正网络模型和轻量级深度估计网络模型的训练的流程示意图；

图4是根据本发明一个实施例的深度图像估计的流程示意图；

图5是根据本发明一个实施例的电器设备的系统示意图；

图6是根据本发明一个实施例的深度图像估计装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的深度图像估计方法、装置、电器设备以及存储介质。

本发明实施例的深度图像估计方法应用于嵌入式神经网络处理器。

因为嵌入式神经网络处理器采用“数据驱动并行计算”的架构，所以处理视频、图像类的海量多媒体数据所需的时间较短。因此，本实施例的深度图像估计方法应用于嵌入式神经网络处理器，可以提升深度图像估计的计算速度。

图1是根据本发明第一个实施例的深度图像估计方法的流程示意图。如图1所示，深度图像估计方法包括：

S101，获取双目相机采集到的第一图像和第二图像。

具体地，双目相机为边缘端(例如扫地机、智能门锁)的摄像头，第一图像和第二图像分别为左摄像头采集到的场景数据和右摄像头采集到的场景数据。

S102，分别对第一图像和第二图像的有效区域进行截取，得到第一有效图像和第二有效图像。

具体地，截取第一图像和第二图像的有效区域，在后续图像校正和深度图像估计过程中，只对有效区域进行校正和深度估计，降低了深度图像计算的复杂度，从而减少了计算量。

在一些实施例中，分别对第一图像和第二图像的有效区域进行截取，包括：确定有效区域的边界坐标；从第一图像和第二图像中截取边界坐标的连线框定的区域，以得到第一有效图像和第二有效图像，其中，边界坐标的连线框定的区域为有效区域。

举例来说，当第一图像和第二图像为扫地机采集到的图像，有效区域是扫地机采集到的图像中实现范围最好的区域，例如图像中的中间区域，所以可以确定中间区域的边界坐标，然后截取边界坐标的连线框定的区域，得到第一有效图像和第二有效图像。

在一种可选的实施例中，当第一图像和第二图像为智能门锁采集到的图像时，有效区域是人脸所在的区域，此时可以采用图像识别网络识别出人脸所在的区域，并确定区域的边界左边，然后从第一图像和第二图像中截取有效区域。

S103，利用预先训练好的轻量级图像校正网络模型对第一有效图像的行和第二有效图像的行进行对准校正，得到第一校正图像和第二校正图像。

因为左摄像头和右摄像头是球形形状，所以双目相机拍摄到的图像是凸状的，图像中的物体会发生形变，因此，需要先对第一有效图像的行和第二有效图像的行进行对准校正，使第一有效图像的行和第二有效图像的行对齐，使得后续得到的深度图像更加准确。

在本实施例中，图像校正网络模型是轻量级网络模型，轻量级网络模型的计算速度快，减少了图像校正所需的时长，并且第一有效图像和第二有效图像为有效区域的图像，进一步减少了图像校正的耗时。

S104，利用预先训练好的轻量级深度估计网络模型对第一校正图像和第二校正图像进行深度估计，得到深度图像。

具体地，轻量级深度估计网络模型的计算速度快，减少了深度图像估计所需的时长，并第一校正图像和第二校正图像为有效区域的校正图像，计算量较少，进一步减少了深度图像估计的耗时。

在上述实施例中，通过截取第一图像和第二图像的有效区域，降低了计算的复杂度，减少了计算量，并轻量级图像校正网络模型和轻量级深度估计网络模的计算速度块，减少了计算耗时，并且深度图像估计方法运行在嵌入式神经网络处理器中，进一步提升计算速度，保证了深度估计方法的实时性。

在一些实施例中，获取双目相机采集到的第一图像和第二图像之前，方法还包括：分别对预先训练好的图像校正网络模型和深度估计网络模型进行网络剪裁，获得轻量级图像校正网络模型和轻量级深度估计网络模型。

具体地，通过对预先训练好的图像校正网络模型和深度估计网络模型进行网络剪裁，减少了图像校正网络模型和深度估计网络模型的参数量，使得计算速度加快。

需要说明的是，预先训练好的图像校正网络模型和深度估计网络模型包括但不限于MobileNet(一种轻量深度神经网络)或ShuffleNet(一种轻量深度神经网络)，具体这里并不做限制。

在一种具体的实施例中，分别对预先训练好的图像校正网络模型和深度估计网络模型进行网络剪裁，包括：分别对预先训练好的图像校正网络模型和深度估计网络模型的网络层以及卷积通道进行剪裁。

具体地，通过图像校正网络模型和深度估计网络模型中的每个网络层模块的输出值，确定网络模型中冗余的网络层，将冗余的网络层进行剪裁；通过对图像校正网络模型和深度估计网络模型进行稀疏约束训练，确定各网络层的卷积通道的剪裁比例，根据剪裁比例进行卷积通道的剪裁。

在一些实施例中，如图2所示，在获得轻量级图像校正网络模型和轻量级深度估计网络模型之后，方法还包括：

S201，利用第一目标样本集对轻量级图像校正网络模型进行训练，获得预先训练好的轻量级图像校正网络模型，其中，第一目标样本集包括由第一有效图像和第二有效图像组成的多个有效图像组、第一目标校正图像和第二目标校正图像，第一目标校正图像和第二目标校正图像通过预先训练好的图像校正网络模型获得。

在一些实施例中，利用第一目标样本集对轻量级图像校正网络模型进行训练，包括：以多个有效图像组为输入、第一目标校正图像和第二目标校正图像为图像校正标签，对轻量级图像校正网络模型的参数进行训练，直至轻量级图像校正网络模型输出的图像校正结果与图像校正标签之间的误差满足第一预设误差条件。

具体地，因为剪裁后的图像校正网络模型和深度估计网络模型可能会产生较大误差，因此，需要对轻量级图像校正网络模型和轻量级深度估计网络模型进行训练。以预先训练好的图像校正网络模型得到的第一目标校正图像和第二目标校正图像为标签，多个有效图像组为输入对轻量级图像校正网络模型的参数进行调整，使得轻量级图像校正网络模型输出的图像校正结果与图像校正标签之间的误差减小，直至满足第一预设误差条件。

S202，利用第二目标样本集对轻量级深度估计网络模型进行训练，获得预先训练好的轻量级深度估计网络模型，其中，第二目标样本集包括由第一校正图像和第二校正图像组成的多个校正图像组、目标深度图像，目标深度图像根据第一图像与第二图像之间的视差图进行深度估计得到。

在一些实施例中，利用第二目标样本集对轻量级深度估计网络模型进行训练，包括：以多个校正图像组为输入、目标深度图像为深度图像标签，对轻量级深度估计网络模型的参数进行训练，直至轻量级深度估计网络模型输出的深度图像估计结果与深度图像标签之间的误差满足第二预设误差条件。

具体地，以传统深度图像估计方法得到的目标深度图像为标签，多个校正图像组为输入对轻量级深度估计网络模型的参数进行调整，使得轻量级深度估计网络模型输出的深度图像估计结果与深度图像标签之间的误差减小，直至满足第二预设误差条件。以传统深度图像估计方法得到的目标深度图像为标签可以进一步提升轻量级深度估计网络模型的精度，使得轻量级深度估计网络模型更加准确。

在该实施例中，通过对轻量级图像校正网络模型和轻量级深度估计网络模型进行训练，提高了轻量级图像校正网络模型和轻量级深度估计网络模型的精度，使得到的深度图像更加准确。

在一些实施例中，在对轻量级图像校正网络模型和轻量级深度估计网络模型进行训练之后，方法还包括：分别对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型进行模型格式转换，以使转换后的轻量级图像校正网络模型和轻量级深度估计网络模型适于在嵌入式神经网络处理器上运行。

具体地，因为训练好的模型不适配嵌入式神经网络处理器，因此先将训练好的轻量级图像校正网络模型和轻量级深度估计网络模型转换为ONNX(Open Neural NetworkExchange，开放神经网络交换)模型，因为ONNX模型支持多种推理框架。然后将转换后的轻量级图像校正网络模型和轻量级深度估计网络模型转换为嵌入式神经网络处理器支持的推理框架，例如NCNN(一种推理框架)、TNN(一种推理框架)，实现了将训练好的模型应用到嵌入式神经网络处理器上。

在一些实施例中，在分别对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型进行模型格式转换之前，方法还包括：对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型的模型参数进行int8量化处理。

也就是说，为了进一步加快轻量级图像校正网络模型和轻量级深度估计网络模型的计算速度，将训练好的轻量级图像校正网络模型和轻量级深度估计网络模型的模型参数从float32调整为int8，使得模型的参数量进一步减小。

在一种可选的实施方式中，如果对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型的模型参数进行int8量化处理后，轻量级图像校正网络模型和轻量级深度估计网络模型的输出结果误差较大，可以对量化处理后的轻量级图像校正网络模型和轻量级深度估计网络模型再次进行训练，以调整量化处理后的轻量级图像校正网络模型和轻量级深度估计网络模型的模型参数。

在上述实施例中，通过对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型的模型参数进行int8量化处理，使得模型的参数量进一步减小，从而进一步加快模型的计算速度。

在一种可选的实施方式中，可以根据不同嵌入式神经网络处理器的算例大小调整轻量级图像校正网络模型和轻量级深度估计网络模型的参数量，以调整轻量级图像校正网络模型和轻量级深度估计网络模型的计算速度和计算精度。

下面将结合具体的实施方式进一步详述本申请的技术方案：

如图3和图4所示，深度图像估计方法可包括两部分，分别为轻量级图像校正网络模型和轻量级深度估计网络模型的训练和深度图像估计。

如图3所示，轻量级图像校正网络模型和轻量级深度估计网络模型的训练可包括：

S301，分别对预先训练好的图像校正网络模型和深度估计网络模型的网络层以及卷积通道进行剪裁，得到轻量级图像校正网络模型和轻量级深度估计网络模型。

S302，以第一有效图像和第二有效图像组成的多个有效图像组为输入、通过预先训练好的图像校正网络模型获得的第一目标校正图像和第二目标校正图像为图像校正标签，对轻量级图像校正网络模型的参数进行训练，直至轻量级图像校正网络模型输出的图像校正结果与图像校正标签之间的误差小于第一误差。

S303，以第一校正图像和第二校正图像组成的多个校正图像组为输入、根据传统深度估计方法得到的目标深度图像为深度图像标签，对轻量级深度估计网络模型的参数进行训练，直至轻量级深度估计网络模型输出的深度图像估计结果与深度图像标签之间的误差小于第二误差。

S304，对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型的模型参数进行int8量化处理。

S305，将训练好的轻量级图像校正网络模型和轻量级深度估计网络模型转换为ONNX模型，将转换后的轻量级图像校正网络模型和轻量级深度估计网络模型转换为嵌入式神经网络处理器支持的推理框架，得到预先训练好的轻量级图像校正网络模型和轻量级深度估计网络模型。

本实施例的轻量级图像校正网络模型和轻量级深度估计网络模型的训练方法，通过截取第一图像和第二图像的有效区域，降低了计算的复杂度，减少了计算量；并且，通过对预先训练好的图像校正网络模型和深度估计网络模型进行网络裁剪以及int8量化，降低图像校正网络模型和深度估计网络模型的参数量，使得轻量级图像校正网络模型和轻量级深度估计网络模型的计算速度加快；以及，将轻量级图像校正网络模型和轻量级深度估计网络模型转换为嵌入式神经网络处理器支持的推理框架，以使得轻量级图像校正网络模型和轻量级深度估计网络模型在嵌入式神经网络处理器运行，使得轻量级图像校正网络模型和轻量级深度估计网络模型的计算速度进一步加快，保证了深度图像估计算法的实时性。

如图4所示，深度图像估计可包括：

S401，获取双目相机采集到的第一图像和第二图像，并截取第一图像和第二图像的有效区域，得到第一有效图像和第二有效图像。

S402，将第一有效图像和第二有效图像输入至预先训练好的轻量级图像校正网络模型进行对准校正，以将第一有效图像的行和第二有效图像的行对齐，得到第一校正图像和第二校正图像。

S403，将第一校正图像和第二校正图像输入至预先训练好的轻量级深度估计网络模型进行深度估计，得到深度图像。

本实施例的深度图像估计方法，采用上述训练好的轻量级图像校正网络模型和轻量级深度估计网络模型，可以快速得到深度图像，保证了深度图像估计算法的实时性。

综上所述，根据本发明实施例的深度图像估计方法，获取双目相机采集到的第一图像和第二图像，分别截取第一图像和第二图像的有效区域得到第一有效图像和第二有效图像，并利用预先训练好的轻量级图像校正网络模型对第一有效图像和第二有效图像进行校正，得到第一校正图像和第二校正图像，然后利用预先训练好的轻量级深度估计网络模型对第一校正图像和第二校正图像进行深度估计，得到深度图像，其中，深度图像估计方法应用于嵌入式神经网络处理器。由此，通过截取第一图像和第二图像的有效区域，降低了深度图像计算的复杂度，减少了计算量，轻量级图像校正网络模型和轻量级深度估计网络模型的计算速度较快，减少了深度图像的计算耗时；并且，深度图像估计方法运行在嵌入式神经网络处理器中，嵌入式神经网络处理器为“数据驱动并行计算”的架构，进一步提升计算速度，保证了深度估计方法的实时性。

对应上述实施例，本发明的实施例还提出了一种计算机可读存储介质，其上存储有深度图像估计程序，该深度图像估计程序被处理器处理时，执行前述任一实施例的深度图像估计方法。

根据本发明实施例的计算机可读存储介质，通过执行上述深度图像估计方法的计算机程序，通过截取第一图像和第二图像的有效区域，降低了计算的复杂度，减少了计算量，并且预先训练好的轻量级图像校正网络模型和轻量级深度估计网络模型计算速度快，减少了计算耗时，以及深度图像估计方法运行在嵌入式神经网络处理器中，进一步提升计算速度，保证了深度估计方法的实时性。

对应上述实施例，本发明的实施例还提出了一种电器设备。

如图5所示，电器设备100包括存储器110、处理器120及存储在存储器110上并可在处理器120上运行的深度图像估计程序，处理器120深度图像估计程序时，实现前述任一实施例的深度图像估计方法。

根据本发明实施例的电器设备，通过处理器执行上述深度图像估计方法的程序，通过截取第一图像和第二图像的有效区域，降低了计算的复杂度，减少了计算量，并且预先训练好的轻量级图像校正网络模型和轻量级深度估计网络模型计算速度快，减少了计算耗时，以及深度图像估计方法运行在嵌入式神经网络处理器中，进一步提升计算速度，保证了深度估计方法的实时性。

对应上述实施例，本发明的实施例还提出了一种深度图像估计装置，应用于嵌入式神经网络处理器。

如图6所示，装置包括：获取模块10、截取模块20、矫正模块和估计模块40。

其中，获取模块10用于获取双目相机采集到的第一图像和第二图像；截取模块20用于分别对第一图像和第二图像的有效区域进行截取，得到第一有效图像和第二有效图像；校正模块30用于利用预先训练好的轻量级图像校正网络模型对第一有效图像的行和第二有效图像的行进行对准校正，得到第一校正图像和第二校正图像；估计模块40用于利用预先训练好的轻量级深度估计网络模型对第一校正图像和第二校正图像进行深度估计，得到深度图像。

在一些实施例中，装置还包括剪裁模块，剪裁模块用于:获取双目相机采集到的第一图像和第二图像之前，分别对预先训练好的图像校正网络模型和深度估计网络模型进行网络剪裁，获得轻量级图像校正网络模型和轻量级深度估计网络模型。

在一些实施例中，装置还包括训练模块，训练模块用于：在获得轻量级图像校正网络模型和轻量级深度估计网络模型之后，利用第一目标样本集对轻量级图像校正网络模型进行训练，获得预先训练好的轻量级图像校正网络模型，其中，第一目标样本集包括由第一有效图像和第二有效图像组成的多个有效图像组、第一目标校正图像和第二目标校正图像，第一目标校正图像和第二目标校正图像通过预先训练好的图像校正网络模型获得；利用第二目标样本集对轻量级深度估计网络模型进行训练，获得预先训练好的轻量级深度估计网络模型，其中，第二目标样本集包括由第一校正图像和第二校正图像组成的多个校正图像组、目标深度图像，目标深度图像根据第一图像与第二图像之间的视差图进行深度估计得到。

在一些实施例中，训练模块还用于：以多个有效图像组为输入、第一目标校正图像和第二目标校正图像为图像校正标签，对轻量级图像校正网络模型的参数进行训练，直至轻量级图像校正网络模型输出的图像校正结果与图像校正标签之间的误差满足第一预设误差条件。

在一些实施例中，训练模块还用于：以多个校正图像组为输入、目标深度图像为深度图像标签，对轻量级深度估计网络模型的参数进行训练，直至轻量级深度估计网络模型输出的深度图像估计结果与深度图像标签之间的误差满足第二预设误差条件。

在一些实施例中，剪裁模块还用于：分别对预先训练好的图像校正网络模型和深度估计网络模型的网络层以及卷积通道进行剪裁。

在一些实施例中，装置还包括转换模块，转换模块用于在对轻量级图像校正网络模型和轻量级深度估计网络模型进行训练之后，分别对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型进行模型格式转换，以使转换后的轻量级图像校正网络模型和轻量级深度估计网络模型适于在嵌入式神经网络处理器上运行。

在一些实施例中，装置还包括量化模块，量化模块用于在分别对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型进行模型格式转换之前，对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型的模型参数进行int8量化处理。

在一些实施例中，截取模块20还用于：确定有效区域的边界坐标；从第一图像和第二图像中截取边界坐标的连线框定的区域，以得到第一有效图像和第二有效图像，其中，边界坐标的连线框定的区域为有效区域。

需要说明的是，关于深度图像估计装置未披露的细节，请参考关于深度图像估计方法所披露的细节，具体这里不再赘述。

根据本发明实施例的深度图像估计装置，通过获取模块获取双目相机采集到的第一图像和第二图像，通过截取模块分别截取第一图像和第二图像的有效区域得到第一有效图像和第二有效图像，并通过校正模块利用预先训练好的轻量级图像校正网络模型对第一有效图像和第二有效图像进行校正，得到第一校正图像和第二校正图像，然后通过估计模块利用预先训练好的轻量级深度估计网络模型对第一校正图像和第二校正图像进行深度估计，得到深度图像。由此，通过截取第一图像和第二图像的有效区域，降低了深度图像计算的复杂度，减少了计算量，轻量级图像校正网络模型和轻量级深度估计网络模型的计算速度较快，减少了深度图像的计算耗时；并且，深度图像估计方法运行在嵌入式神经网络处理器中，嵌入式神经网络处理器为“数据驱动并行计算”的架构，进一步提升计算速度，保证了深度估计方法的实时性。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

此外，本发明实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本发明实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本发明的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种深度图像估计方法，其特征在于，应用于嵌入式神经网络处理器，所述方法包括：

获取双目相机采集到的第一图像和第二图像；

分别对所述第一图像和所述第二图像的有效区域进行截取，得到第一有效图像和第二有效图像；

利用预先训练好的轻量级图像校正网络模型对所述第一有效图像的行和所述第二有效图像的行进行对准校正，得到第一校正图像和第二校正图像；

利用预先训练好的轻量级深度估计网络模型对所述第一校正图像和所述第二校正图像进行深度估计，得到深度图像。

2.根据权利要求1所述的方法，其特征在于，获取双目相机采集到的第一图像和第二图像之前，所述方法还包括：

分别对预先训练好的图像校正网络模型和深度估计网络模型进行网络剪裁，获得轻量级图像校正网络模型和轻量级深度估计网络模型。

3.根据权利要求2所述的方法，其特征在于，在获得轻量级图像校正网络模型和轻量级深度估计网络模型之后，所述方法还包括：

利用第一目标样本集对所述轻量级图像校正网络模型进行训练，获得预先训练好的轻量级图像校正网络模型，其中，所述第一目标样本集包括由所述第一有效图像和第二有效图像组成的多个有效图像组、第一目标校正图像和第二目标校正图像，所述第一目标校正图像和第二目标校正图像通过预先训练好的图像校正网络模型获得；

利用第二目标样本集对所述轻量级深度估计网络模型进行训练，获得预先训练好的轻量级深度估计网络模型，其中，所述第二目标样本集包括由所述第一校正图像和第二校正图像组成的多个校正图像组、目标深度图像，所述目标深度图像根据所述第一图像与所述第二图像之间的视差图进行深度估计得到。

4.根据权利要求3所述的方法，其特征在于，利用第一目标样本集对所述轻量级图像校正网络模型进行训练，包括：

以所述多个有效图像组为输入、所述第一目标校正图像和第二目标校正图像为图像校正标签，对所述轻量级图像校正网络模型的参数进行训练，直至所述轻量级图像校正网络模型输出的图像校正结果与所述图像校正标签之间的误差满足第一预设误差条件。

5.根据权利要求3所述的方法，其特征在于，利用第二目标样本集对所述轻量级深度估计网络模型进行训练，包括：

以所述多个校正图像组为输入、所述目标深度图像为深度图像标签，对所述轻量级深度估计网络模型的参数进行训练，直至所述轻量级深度估计网络模型输出的深度图像估计结果与所述深度图像标签之间的误差满足第二预设误差条件。

6.根据权利要求3所述的方法，其特征在于，在对所述轻量级图像校正网络模型和所述轻量级深度估计网络模型进行训练之后，所述方法还包括：

分别对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型进行模型格式转换，以使转换后的轻量级图像校正网络模型和轻量级深度估计网络模型适于在所述嵌入式神经网络处理器上运行。

7.根据权利要求6所述的方法，其特征在于，在分别对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型进行模型格式转换之前，所述方法还包括：

对训练好的轻量级图像校正网络模型和轻量级深度估计网络模型的模型参数进行int8量化处理。

8.根据权利要求1-7中任一项所述的方法，其特征在于，分别对所述第一图像和所述第二图像的有效区域进行截取，包括：

确定所述有效区域的边界坐标；

从所述第一图像和所述第二图像中截取所述边界坐标的连线框定的区域，以得到所述第一有效图像和第二有效图像，其中，所述边界坐标的连线框定的区域为所述有效区域。

9.一种计算机可读存储介质，其特征在于，其上存储有深度图像估计程序，该深度图像估计方法被处理器执行时实现根据权利要求1-8中任一项所述的深度图像估计方法。

10.一种电器设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的深度图像估计程序，所述处理器执行所述程序时，实现根据权利要求1-8中任一项所述的深度图像估计方法。

11.一种深度图像估计装置，其特征在于，应用于嵌入式神经网络处理器，所述装置包括：

获取模块，用于获取双目相机采集到的第一图像和第二图像；

截取模块，用于分别对所述第一图像和所述第二图像的有效区域进行截取，得到第一有效图像和第二有效图像；

校正模块，用于利用预先训练好的轻量级图像校正网络模型对所述第一有效图像的行和所述第二有效图像的行进行对准校正，得到第一校正图像和第二校正图像；

估计模块，用于利用预先训练好的轻量级深度估计网络模型对所述第一校正图像和所述第二校正图像进行深度估计，得到深度图像。

Images