CN113392795A - 联合检测模型训练、联合检测方法、装置、设备及介质 - Google Patents

Abstract

本公开提供了一种联合检测模型训练、联合检测方法、装置、设备及介质，涉及计算机技术领域，具体涉及人工智能领域、计算机视觉技术、深度学习技术，可应用于图像处理、自动驾驶等领域，包括：获取联合检测模型的图像训练数据；对所述图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果；根据所述目标检测结果对所述目标检测对象进行深度估计，得到所述目标检测对象的3D关键点预测信息；根据所述3D关键点预测信息进行模型训练。本公开实施例能够实现目标检测和深度估计的联合训练和应用，提高联合检测模型的训练效率和检测效率。

Description

联合检测模型训练、联合检测方法、装置、设备及介质

技术领域

本公开涉及计算机技术领域，具体涉及人工智能领域、计算机视觉技术、深度学习技术，可应用于图像处理、自动驾驶等领域。

背景技术

计算机视觉作为人工智能领域的一种重要分支，可以利用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像，试图能够从图像或者多维数据中获取信息，其应用极为广泛。

发明内容

本公开实施例提供了一种联合检测模型训练、联合检测方法、装置、设备及介质，能够实现目标检测和深度估计的联合训练和应用，提高联合检测模型的训练效率和检测效率。

第一方面，本公开实施例提供了一种联合检测模型训练方法，包括：

获取联合检测模型的图像训练数据；

对所述图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果；

根据所述目标检测结果对所述目标检测对象进行深度估计，得到所述目标检测对象的3D关键点预测信息；

根据所述3D关键点预测信息进行模型训练。

第二方面，本公开实施例提供了一种联合检测方法，包括：

获取待检测图像数据；

将所述待检测图像数据输入至联合检测模型中，得到目标检测对象的3D关键点检测信息；

其中，所述联合检测模型通过第一方面所述的联合检测模型训练方法训练得到。

第三方面，本公开实施例提供了一种联合检测模型训练装置，包括：

图像训练数据获取模块，用于获取联合检测模型的图像训练数据；

目标检测结果获取模块，用于对所述图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果；

3D关键点预测信息获取模块，用于根据所述目标检测结果对所述目标检测对象进行深度估计，得到所述目标检测对象的3D关键点预测信息；

模型训练模块，用于根据所述3D关键点预测信息进行模型训练。

第四方面，本公开实施例提供了一种目标检测装置，包括：

待检测图像数据获取模块，用于获取待检测图像数据；

3D关键点检测信息获取模块，用于将所述待检测图像数据输入至联合检测模型中，得到目标检测对象的3D关键点检测信息；

其中，所述联合检测模型通过第一方面实施例所述的联合检测模型训练方法训练得到。

第五方面，本公开实施例提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面实施例所提供的联合检测模型训练方法或第二方面实施例所提供的联合检测方法。

第六方面，本公开实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行第一方面实施例所提供的联合检测模型训练方法或第二方面实施例所提供的联合检测方法。

第七方面，本公开实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面实施例所提供的联合检测模型训练方法或第二方面实施例所提供的联合检测方法。

本公开实施例通过对获取的图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果，再根据目标检测结果对目标检测对象进行深度估计，得到目标检测对象的3D关键点预测信息，从而根据3D关键点预测信息进行模型训练，解决现有目标检测和深度估计无法进行联合训练和应用等问题，能够实现目标检测和深度估计的联合训练和应用，提高联合检测模型的训练效率和检测效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开实施例提供的一种联合检测模型训练方法的流程图；

图2是本公开实施例提供的一种联合检测模型训练方法的流程图；

图3是本公开实施例提供的一种联合检测模型的网络结构的效果示意图；

图4是本公开实施例提供的一种联合检测模型训练方法的流程图；

图5是本公开实施例提供的一种自监督形式的联合检测模型的网络结构示意图；

图6是本公开实施例提供的一种联合检测模型训练方法的流程图；

图7是本公开实施例提供的一种弱监督形式的联合检测模型的网络结构示意图；

图8是本公开实施例提供的一种联合检测模型训练方法的流程图；

图9是本公开实施例提供的一种联合检测模型训练装置的结构图；

图10是本公开实施例提供的一种目标检测装置的结构图；

图11是用来实现本公开实施例的联合检测模型训练方法或联合检测的电子设备的结构示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

目标检测技术是一项基本的计算机视觉任务，属于一种人工智能技术，其主要目的是检测图片中目标对象所在的位置，并为该位置的目标分配一个类别标签。目前随着深度学习技术的突破，目标检测技术也得到了极大的进步，主流的目标检测网络包括anchor-based方法和anchor-free方法。其中，anchor-based方法典型的包括Faster-RCNN和RetinaNet等，anchor-free方法典型的包括CenterNet和CornerNet等。

深度估计是从2D图像估计深度是场景重建和理解任务的关键步骤，在计算机视觉领域属于3D重建的一部分，同样属于一种人工智能技术。基于深度学习的图像深度估计方法主要是通过各种卷积结构提取图像特征，生成图像的深度图，由此获得图像每个像素点的深度信息。

目前，目标检测和深度估计通常作为两个独立的任务分别执行。然而，在实际应用中，目标检测和深度估计通常会联立应用。例如，在自动驾驶领域，需要同时利用目标检测和深度估计结果来实现POI(Point of Interest，兴趣点)的自动化生产流程。

在一个示例中，图1是本公开实施例提供的一种联合检测模型训练方法的流程图，本实施例可适用于对目标检测和深度估计的联合检测模型进行联合训练的情况，该方法可以由联合检测模型训练装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。相应的，如图1所示，该方法包括如下操作：

S110、获取联合检测模型的图像训练数据。

其中，图像训练数据可以是用于对联合检测模型进行训练的图像数据。可选的，图像训练数据可以是多个单帧图像，也可以是某一视频流的连续帧图像，本公开实施例对此并不进行限制。示例性的，若图像训练数据为视频流的连续帧图像，则视频流可以是需要利用联合检测模型进行联合检测的视频流类型，该视频流可以包括多帧连续图像，本公开实施例并不对视频流的类型和内容进行限定。在本公开实施例中，联合检测模型可以同时包括目标检测模型和深度估计模型。

在本公开实施例中，在对联合检测模型训练之前，可以首先获取联合检测模型的图像训练数据输入至联合检测模型。示例性的，图像训练数据可以是视频流的连续帧图像，该视频流可以是一段车载影像，可以利用车载影像训练联合检测模型，以通过联合检测模型对车载影像中的目标对象，如招牌或车辆等进行联合检测。或者，视频流还可以是一段监控影像，可以利用监控影像训练联合检测模型，以通过联合检测模型对监控影像中的目标对象，如行人或车辆等进行联合检测。

所谓联合检测也即对图像训练数据中包括的目标对象先进行目标检测，再根据目标检测结果对目标对象进行深度估计。

S120、对图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果。

其中，目标检测对象也即图像训练数据中需要被检测的目标对象，如招牌、行人或车辆等，可以是静态的对象，也即是动态的对象，本公开实施例并不对目标检测对象的类型进行限定。目标检测结果可以是对图像训练数据进行目标检测得到的结果，例如可以是目标检测对象的关键点的2D坐标。

相应的，在联合检测模型获取到图像训练数据之后，即可利用目标检测模型对图像训练数据包括的目标检测对象进行目标检测，得到目标检测对象对应的目标检测结果。

S130、根据目标检测结果对目标检测对象进行深度估计，得到目标检测对象的3D关键点预测信息。

其中，3D关键点预测信息可以是目标检测对象中某些关键点的3D预测信息，也即目标检测对象的深度估计结果，例如可以是目标检测对象的关键点的3D坐标。

进一步的，在联合检测模型得到图像训练数据的目标检测结果之后，可以以目标检测结果为依据，在目标检测结果的基础上，利用深度估计模型对目标检测对象进行深度估计，从而得到目标检测对象的3D关键点预测信息。

需要说明的是，在本公开实施例中，目标检测和深度估计两个任务彼此之间不是相互独立进行的，而是存在先后依存关系的。具体的，需要首先进行目标检测，在得到目标检测结果之后，需要利用目标检测结果进行深度估计。也即，联合检测模型不是利用原始的图像训练数据分别进行目标检测和深度估计，再对目标检测结果和深度估计结果进行融合。这样设置的好处是：可以利用目标检测结果进一步执行深度估计操作，从而提高深度估计的准确率，进而提高模型检测的准确率。

S140、根据3D关键点预测信息进行模型训练。

在本公开实施例中，联合检测模型获取到连续帧图像中目标检测对象的3D关键点预测信息之后，即可利用3D关键点预测信息进行模型训练过程。可选的，模型训练过程可以是无监督或有监督方式的训练过程，有监督方式可以是弱监督或自监督等方式，本公开实施例并不对模型训练过程的学习类型进行限制。

由此可见，联合检测模型可以将目标检测模型和深度估计模型进行深度耦合，将目标检测任务和图像深度估计任务统一集成到一个模型中，能够提高联合检测模型的生产效率。具体的，在训练的过程中，通过对联合检测模型进行训练可以实现对目标检测任务和图像深度估计任务进行深度耦合的联合训练，从而提高了联合检测模型的训练效率。联合检测模型训练成功后，可以同时实现目标检测和深度估计，从而提高联合检测模型的检测效率。

在本公开的一个可选实施例中，图像训练数据中的目标检测对象可以包括招牌；3D关键点预测信息可以包括招牌的3D顶点预测信息。

影像中的招牌检测是进行POI自动化生产流程的第一个步骤，如何精准的提取影像中的招牌对后续的生产流程至关重要，而招牌的深度信息估计是构建POI高精坐标的必要步骤。因此，可以将联合检测模型应用在招牌检测的应用场景中，以对图像中包括的招牌进行目标检测，在检测到招牌之后，再对招牌的顶点(如上下左右四个顶点)进行深度估计，得到招牌的3D顶点预测信息。

本公开实施例通过对获取的图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果，再根据目标检测结果对目标检测对象进行深度估计，得到目标检测对象的3D关键点预测信息，从而根据3D关键点预测信息进行模型训练，解决现有目标检测和深度估计无法进行联合训练和应用等问题，能够实现目标检测和深度估计的联合训练和应用，提高联合检测模型的训练效率和检测效率。

在一个示例中，图2是本公开实施例提供的一种联合检测模型训练方法的流程图，本公开实施例在上述各实施例的技术方案的基础上，进行了优化改进，给出了目标检测、深度估计以及联合检测模型训练方式的多种具体可选的实现方式。

在本公开实施例中，联合检测模型可以包括2D关键点预测子网络和3D关键点预测子网络。

其中，2D关键点预测子网络可以是进行目标检测的网络，3D关键点预测子网络可以是根据目标检测结果进行深度估计的网络，本公开实施例并不对2D关键点预测子网络和3D关键点预测子网络的具体网络结构进行限定。

相应的，如图2所示的一种联合检测模型训练方法，包括：

S210、获取联合检测模型的图像训练数据。

S220、通过2D关键点预测子网络对图像训练数据进行目标检测，得到目标检测对象的2D关键点预测信息。

其中，2D关键点预测信息可以是目标检测对象中某些关键点的2D预测信息。示例性的，假设目标检测对象为招牌时，2D关键点预测信息可以是招牌上下左右四个顶点的2D预测信息。

图3是本公开实施例提供的一种联合检测模型的网络结构的效果示意图，如图3所示，联合检测模型可以包括2D关键点预测子网络和3D关键点预测子网络两个主要的网络结构。相应的，联合检测模型可以通过2D关键点预测子网络对图像训练数据进行目标检测，得到目标检测对象的2D关键点预测信息作为目标检测对象的目标检测结果。

在本公开的一个可选实施例中，如图3所示，2D关键点预测子网络还可以进一步细分为2D关键点估计子网络和2D关键点修正子网络。

其中，2D关键点估计子网络可以用于初步预测2D关键点，2D关键点修正子网络可以用于对2D关键点估计子网络初步预测的2D关键点进行修正，得到精准的2D预测信息。

相应的，步骤S220可以包括：

S221、通过2D关键点估计子网络对图像训练数据进行目标检测，得到目标检测对象的2D关键点初始预测信息。

其中，2D关键点初始预测信息也即2D关键点估计子网络对图像训练数据初步进行目标检测所得到的2D关键点预测信息。

S222、通过2D关键点修正子网络根据2D关键点历史预测信息对2D关键点初始预测信息进行修正，得到2D关键点预测信息。

其中，2D关键点历史预测信息可以是2D关键点修正子网络在对图像训练数据进行训练过程中历史生成的2D关键点预测信息。

在本公开实施例中，联合检测模型可以首先通过2D关键点估计子网络对图像训练数据进行初始的目标检测，得到目标检测对象的2D关键点初始预测信息。进一步的，联合检测模型还可以通过2D关键点修正子网络根据2D关键点历史预测信息对2D关键点初始预测信息进行修正，得到2D关键点预测信息。

示例性的，2D关键点修正子网络可以包括LSTM(Long Short-Term Memory，长短期记忆网络)模块，对图像训练数据的信息进行捕捉，并利用历史2D关键点位置信息对当前图像的2D关键点初始预测信息进行精细化修正，得到最终的2D关键点预测信息。

上述技术方案，通过引入2D关键点修正子网络对2D关键点初始预测信息进行修正，可以尽量修正目标检测对象的关键点在二维图像上的坐标，在精确的2D关键点基础上实现对目标检测对象的关键点深度的预估。

S230、通过3D关键点预测子网络根据2D关键点预测信息进行深度估计，得到目标检测对象的3D关键点预测信息。

相应的，联合检测模型可以通过3D关键点预测子网络根据2D关键点预测信息进行深度估计，得到目标检测对象的3D关键点预测信息。

上述技术方案，通过利用2D关键点预测子网络对图像训练数据进行目标检测，将2D关键点预测结果作为目标检测结果，并在目标检测结果的基础上对目标检测对象进行深度估计，以对联合检测模型进行训练，可以提高联合检测模型的训练效率。

在本公开的一个可选实施例中，3D关键点预测子网络可以包括映射模块，通过3D关键点预测子网络根据2D关键点预测信息进行深度估计，可以包括：通过映射模块根据2D关键点预测信息进行深度估计，得到目标检测对象的3D关键点预测信息。

其中，映射模块可以用于将2D关键点预测信息进行2D-3D的映射，以将2D关键点预测信息映射为3D关键点预测信息。

在本公开实施例中，可选的，可以利用3D关键点预测子网络包括的映射模块将2D关键点预测信息转换为3D关键点预测信息，以实现根据2D关键点预测信息对目标检测对象进行深度估计，从而得到目标检测对象的3D关键点预测信息。这样设置的好处是：可以利用2D关键点预测信息快速实现深度估计，从而提高深度估计算法的执行效率。

在本公开的一个可选实施例中，映射模块可以通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法以及对抗生成网络中的任意一种方式实现。

在本公开的一个可选实施例中，根据3D关键点预测信息进行模型训练，可以包括：根据3D关键点预测信息和监督数据进行模型训练。

其中，监督数据可以是对联合检测模型进行监督训练所使用的数据，可以是自监督类型的数据，也可以是弱监督类型的数据，本公开实施例并不对监督数据的类型进行限定。

通过根据3D关键点预测信息和监督数据对联合检测模型进行有监督形式的模型训练，相对于无监督形式的模型训练，可以显著提高联合检测模型的准确率。

相应的，联合检测模型的自监督学习过程可以包括下述操作：

S240、对3D关键点预测信息进行转换得到的2D关键点转换信息。

其中，2D关键点转换信息可以是对3D关键点预测信息进行3D-2D转换得到的2D关键点信息。

在本公开实施例中，在联合检测模型对目标检测对象预测得到3D关键点预测信息之后，可以进一步对3D关键点预测信息进行3D-2D转换，得到的2D关键点转换信息。

在本公开的一个可选实施例中，3D关键点预测子网络还可以包括投影模块。对3D关键点预测信息进行转换得到的2D关键点转换信息，可以包括：通过投影模块对3D关键点预测信息进行转换得到2D关键点转换信息。

其中，投影模块可以用于对3D关键点预测信息进行3D-2D的投影转换，从而得到2D关键点转换信息。

在本公开实施例中，可选的，可以利用3D关键点预测子网络包括的投影模块将3D关键点预测信息投影转换为2D关键点转换信息，以根据转换结果实现自监督的训练方式，从而提高联合检测模型的训练准确率和训练效率。

在本公开的一个可选实施例中，投影模块可以通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法、对抗生成网络以及特征降维方法中的任意一种方式实现。

S250、对2D关键点转换信息和原始2D关键点信息进行对比，得到关键点预测对比结果。

其中，原始2D关键点信息可以是2D关键点预测子网络预测得到的2D关键点预测信息，也可以是图像训练数据中包括的2D关键点标注信息，可以用于评价2D关键点转换信息的准确率，以确定联合检测模型的训练效果，本公开实施例并不对原始2D关键点信息的信息类型进行限定。关键点预测对比结果可以是2D关键点转换信息和原始2D关键点信息

相应的，联合检测模型得到2D关键点转换信息之后，可以进一步对2D关键点转换信息和原始2D关键点信息进行对比，得到关键点预测对比结果，以判断联合检测模型的检测精度。

示例性的，联合检测模型可以对2D关键点转换信息和2D关键点预测信息进行对比，以采用自监督的方式进行模型训练。或者，联合检测模型还可以对2D关键点转换信息和图像训练数据中包括的2D关键点标注信息进行对比，以采用全监督的方式进行模型训练。

S260、判断关键点预测对比结果是否满足模型训练终止条件。若是，则执行S270，否则，返回执行S210。

其中，模型训练终止条件可以用于判断联合检测模型的训练过程是否可以终止。可选的，模型训练终止条件可以是损失函数收敛或趋于稳定等，本公开实施例并不对模型训练终止条件的具体条件内容进行限定。

S270、终止训练过程，得到训练完成的联合检测模型。

相应的，当关键点预测对比结果满足模型训练终止条件时，可以确定联合检测模型训练成功，可以得到训练完成的联合检测模型，以对待检测的图像进行联合检测。

上述技术方案，通过根据3D关键点预测信息和监督数据利用自监督或全监督的方式进行模型训练，可以提高联合检测模型的训练准确率和训练效率。

在一个示例中，图4是本公开实施例提供的一种联合检测模型训练方法的流程图，本公开实施例在上述各实施例的技术方案的基础上，进行了优化改进，给出了联合检测模型的其中一种可选的网络结构形式。

可选的，联合检测模型中2D关键点预测子网络包括的2D关键点估计子网络可以为全监督学习网络。

相应的，如图4所示的一种联合检测模型训练方法，包括：

S310、获取视频流的2D关键点标注连续帧图像。

其中，2D关键点标注连续帧图像可以是带有2D关键点标注信息的连续帧图像。需要说明的是，视频流中包括目标检测对象的每帧图像都需要包括2D关键点标注信息。示例性的，假设目标检测对象为招牌，则2D关键点标注信息可以是招牌的四个顶点的标注信息。

S320、通过2D关键点估计子网络对2D关键点标注连续帧图像采用全监督的学习方式进行目标检测的预训练。

在本公开实施例中，可选的，可以将包括连续帧图像的视频流作为图像训练数据。2D关键点预测子网络包括的2D关键点估计子网络可以为全监督学习网络，在对联合检测模型进行训练之前，可以首先获取视频流的2D关键点标注连续帧图像，以根据视频流的2D关键点标注连续帧图像对2D关键点估计子网络采用全监督的方式进行预训练，以使2D关键点估计子网络训练至收敛，从而提升并巩固2D关键点估计子网络的目标检测能力。

现有技术中，由于2D图片或视频对现实世界深度信息的压缩，导致处理的影像数据深度信息丢失，因此在利用全监督的方式训练深度估计网络时，往往需要利用包括3D标注信息。事实上，3D标注的成本要远高于2D标注成本，尤其是针对这种现实世界场景更是需要大量的标注数据以保证模型的泛化性能。

本公开实施例仅需要利用包括2D标注信息的连续帧图像对2D关键点估计子网络进行预训练，后续对联合检测模型的训练过程中即可采用不包括2D标注信息的连续帧图像对整个联合检测模型进行训练，可以大幅减低数据标注成本，从而提高模型的训练效率。

同时，现有技术中对视频流的连续帧图像进行目标检测和深度估计时，往往需要对视频流进行抽帧处理，并对抽帧获取的图像进行目标检测和深度估计。虽然图像抽帧方式会显著降低运算量和对算法算力的要求，但是会截断图像中原本应存在的目标检测对象，导致数据可用性降低。以车载影像的POI生产流程为例说明，将招牌作为目标检测对象时，通过对车载设备的关键帧抽取得到的图片，会截断图像中原本应存在的招牌，造成整体生产流程的召回降低。

本公开实施例无需对视频流进行抽帧处理，可以直接对视频流数据进程目标检测和深度估计，从而提升数据的可用性。以车载影像的POI生产流程为例说明，将招牌作为目标检测对象时，对没有抽帧处理的视频流进行目标检测和深度估计，可以有效提高生产流程的效率与POI的召回率。

S330、在确定2D关键点估计子网络预训练成功的情况下，固定2D关键点估计子网络的梯度参数。

相应的，当2D关键点估计子网络预训练成功时，可以固定2D关键点估计子网络的梯度参数，也即在后续联合检测模型的训练过程中，2D关键点估计子网络的梯度参数被冻结不再发生变化。这样设置的好处是：在输入为视频流的连续帧图像的情况下，能够保证联合检测模型中目标检测的准确率，确保网络尽量准确的输出图像中目标检测对象的2D关键点坐标，以供后续网络继续学习目标检测对象的深度信息。

S340、获取联合检测模型的图像训练数据。

需要说明的是，2D关键点估计子网络预训练阶段使用的图像数据需要包括2D标注信息，但用于训练联合检测模型的图像训练数据不需要包括2D标注信息，从而进一步降低联合检测模型的标注成本和训练成本。

S350、通过2D关键点估计子网络对连续帧图像进行目标检测，得到目标检测对象的2D关键点初始预测信息。

S360、通过2D关键点修正子网络根据2D关键点历史预测信息对2D关键点初始预测信息进行修正，得到2D关键点预测信息。

S370、通过3D关键点预测子网络根据2D关键点预测信息进行深度估计，得到目标检测对象的3D关键点预测信息。

S380、根据3D关键点预测信息和自监督数据进行模型训练。

图5是本公开实施例提供的一种自监督形式的联合检测模型的网络结构示意图。在一个具体的例子中，如图5所示，联合检测模型可以利用视频流的连续帧图像作为图像训练数据进行有监督的训练。在对联合检测模型进行训练之前，联合检测模型的2D关键点估计子网络(2D keypoints network)可以首先进行预训练过程。以招牌作为目标检测对象为例说明，预训练过程可以使用带有2D关键点标注招牌的数据训练2D关键点估计子网络使得网络能对视频流中的连续帧图像中招牌的四个关键点的2D坐标进行预测。由于招牌2D坐标预测与3D坐标预测所需的特征不同，因此采用这种阶段性训练的方法，通过预训练过程先将2D关键点估计子网络训练收敛，同时冻结2D关键点估计子网络的梯度传递，再对联合检测模型的其他子网络进行整体训练。2D关键点估计子网络的目的是在输入为视频流的连续帧的情况下，确保网络尽量准确的输出图像中招牌的2D关键点坐标，以供后续网络继续学习招牌的深度信息。可选的，2D关键点估计子网络可以由骨干网(backone)构成，本公开实施例并不对骨干网的具体网络类型进行限定。骨干网通过对视频流进行向量卷积运算(Conv.)，可以得到视频流中招牌的2D关键点预测信息(2D keypoints)，2D关键点预测信息是一种2D关键点的heatmap(热图)。

相应的，2D关键点修正子网络(2D refine network)可以利用视频流中的连续帧图像具有时间连续性的特点，即连续帧之间目标移动较小，因此利用LSTM模块对视频流的信息进行捕捉，借助历史2D关键点位置信息对当前帧2D关键点的位置预测做精细化修正，得到精确的招牌2D关键点预测信息(refined 2D keypoints)。2D关键点修正子网络的作用是尽量修正招牌关键点在二维图像上的坐标，在精确的2D关键点基础上实现对招牌关键点深度的预估。

相应的，3D关键点预测子网络(3D keypoints network)可以通过精确的招牌2D关键点预测信息得到招牌在3D空间的关键点坐标，得到招牌的3D关键点预测信息(3Dkeypoints)。同理，3D关键点预测信息也可以是一种3D关键点的heatmap。3D关键点预测子网络包含两个主要模块分别是2D到3D的映射模块(2D-3D module)与3D到2D的投影模块(3D-2D module)。对于2D到3D的映射模块，输入是修正的图像2D关键点heatmap，输出是图像3D关键点heatmap。对于3D到2D的投影模块，输入预测的图像3D关键点heatmap，输出投影得到的2D关键点heatmap。

其中，投影模块输出的2D关键点heatmap可以与2D关键点估计子网络预测得到的2D关键点初始预测信息进行对比，以判断模型的训练情况。

在图5中，2D GT表示2D平面坐标标注数据，3D GT表示3D空间坐标标注数据。在对联合检测模型训练的过程中，可以利用2D GT采用全监督的方式对22D关键点预测子网络进行优化。和/或，如果存在3D GT，则也可以利用3D GT的全监督信息继续优化联合检测模型。

上述联合检测模型可以在不更改数据源的情况下仅利用2D的标注信息便可以使用一个网络实现对于目标检测对象关键点的2D位置和深度信息的预测。同时，联合检测模型的网络结构简单，未引入过多计算量，可稳定应用于视频流数据，提高生产流程的召回率上限，大幅降低运行成本和数据标注成本。

上述技术方案，通过采用全监督的方式预先训练2D关键点估计子网络，以在2D关键点估计子网络预训练完成后，直接利用2D关键点估计子网络作为联合检测模型的部分子网络继续对联合检测模型进行训练，可以额降低联合检测模型训练过程中的数据标注成本，提高联合检测模型的训练效率和模型精度，使得联合检测模型在不增加额外计算消耗的情况下稳定处理视频流数据，从而提高目标检测对象的检测效率和检测精度。

在一个示例中，图6是本公开实施例提供的一种联合检测模型训练方法的流程图，本公开实施例在上述各实施例的技术方案的基础上，进行了优化改进，给出了联合检测模型的其中一种可选的网络结构形式。

可选的，联合检测模型中2D关键点预测子网络包括的2D关键点估计子网络可以为弱监督学习网络。

相应的，如图6所示的一种联合检测模型训练方法，包括：

S410、获取联合检测模型的图像训练数据。

其中，图像训练数据为连续帧图像，连续帧图像的首帧图像可以包括2D关键点标注信息。

在本公开实施例中，2D关键点估计子网络可以为弱监督学习网络，也即，联合检测模型中的2D关键点估计子网络采用弱监督的方式进行训练。具体的，2D关键点估计子网络无需预先进行预训练过程，可以直接利用图像训练数据对联合检测模型进行整体的训练过程。

S420、通过2D关键点估计子网络对当前帧图像进行目标检测，得到当前帧图像目标检测结果。

其中，当前帧图像也即联合检测模型当前训练过程所利用的图像。当前帧图像目标检测结果可以是2D关键点估计子网络对当前帧图像进行目标检测得到的目标检测结果。

S430、将当前帧图像目标检测结果作为当前帧图像的下一帧图像的弱监督信息，并根据弱监督信息对下一帧图像进行目标检测。

具体的，2D关键点估计子网络可以通过连续帧图像的第一帧图像包括的2D关键点标注信息按照顺序依次得到后续每帧图像的弱监督信息，以通过弱监督信息对2D关键点估计子网络进行训练优化。

示例性的，2D关键点估计子网络对包括2D关键点标注信息的第一帧图像进行目标检测，得到第一帧图像的目标检测结果。进一步的，利用第一帧图像包括的2D关键点标注信息对第一帧图像的目标检测结果进行对比，以判断2D关键点估计子网络的检测精度。相应的，2D关键点估计子网络对第二帧图像进行目标检测，得到第二帧图像的目标检测结果。进一步的，利用第一帧图像的目标检测结果对第二帧图像的目标检测结果进行对比，以判断2D关键点估计子网络的检测精度，以此类推，直至完成对所有图像的目标检测。

可以理解的是，由于弱监督方式的2D关键点估计子网络需要连通联合检测模型的其他子网络一同训练，因此弱监督方式的2D关键点估计子网络的梯度参数在联合检测模型的训练过程中不会被固定，而是随着联合检测模型整体网络的梯度流优化。

另外还需说明的是，弱监督方式的2D关键点估计子网络可以采用全监督方式的2D关键点估计子网络结合偏移模块的方式构成。也即，弱监督方式的2D关键点估计子网络可以以预训练完成的2D关键点估计子网络为基础，在2D关键点估计子网络生成2D关键点初始预测信息之前通过偏移模块学习连续帧图像之间2D关键点的偏移量，从而实现弱监督的网络优化过程。这样设置的好处是：在联合检测模型的训练初始阶段即可保证目标检测得到的2D关键点初始预测信息的准确性，从而进一步提高联合检测模型的训练效率和模型精度。

由此可见，联合检测模型采用弱监督方式的2D关键点估计子网络进行目标检测，可以进一步降低训练所需的标注数量，借助连续图像帧的时间连续性，仅需对一个连续帧图像标注第一帧图像的2D关键点位置，便可以得到每帧图片的3D关键点预测信息。

图7是本公开实施例提供的一种弱监督形式的联合检测模型的网络结构示意图。在一个具体的例子中，如图7所示，联合检测模型可以利用视频流的连续帧图像作为图像训练数据进行弱监督的训练。结合图5和图7可以了解，弱监督形式的联合检测模型与自监督形式的联合检测模型的网络结构大致相同。不同的是自监督的方式会使用视频流中逐帧的2D关键点位置标注信息预先训练2D关键点估计子网络。在弱监督形式的联合检测模型中，2D关键点估计子网络不需采用包括2D关键点位置标注数据预先训练，可以借助连续视频帧的时间连续性，仅需对一个连续帧图像标注第一帧图像的目标检测对象的2D关键点位置，便可以得到每帧图像的3D关键点预测信息，从而进一步降低训练所需的标注数量。需要说明的是，弱监督形式的联合检测模型中的2D关键点估计子网络可以是预先通过全监督方式训练完成的网络，也可以是未经训练的网络，本公开实施例对此并不进行限制。

如图7所示，以招牌作为目标检测对象为例说明。由于仅需连续视频流的第一帧图像的招牌2D关键点坐标标注信息。因此，在2D关键点估计子网络生成2D关键点heatmap之前加入一个偏移模块(offset module)，学习视频流各图像帧之间2D关键点的偏移量，具体是利用偏移模块对2D关键点的偏移特征与初始卷积得到的2D关键点的特征进行融合叠加，得到最终的2D关键点初始预测信息。这样通过第一帧图像的监督信息，便可以得到后续帧图像关键点的弱监督信息，从而循环指导联合检测模型训练。另外一处不同的是，在弱监督方式中由于没有预训练2D关键点估计子网络，因此2D关键点估计子网络的梯度在联合检测模型的训练过程中并不会被冻结，而是会随着整体网络的梯度流优化。

由此可见，联合检测模型采用弱监督训练方式进一步降低了数据的标注成本，使网络具备更大规模数据的训练能力。

S440、通过2D关键点修正子网络根据2D关键点历史预测信息对2D关键点初始预测信息进行修正，得到2D关键点预测信息。

S450、通过3D关键点预测子网络根据2D关键点预测信息进行深度估计，得到目标检测对象的3D关键点预测信息。

S460、根据3D关键点预测信息和自监督数据进行模型训练。

上述技术方案，通过采用弱监督方式的2D关键点估计子网络构建联合检测模型，可以进一步降低模型的数据标注成本，从而提高联合检测模型的训练效率和模型精度。

在一个示例中，图8是本公开实施例提供的一种联合检测模型训练方法的流程图，本实施例可适用于利用联合检测模型对目标检测对象进行联合检测的情况，该方法可以由联合检测装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。相应的，如图8所示，该方法包括如下操作：

S510、获取待检测图像数据。

其中，待检测图像数据可以是包括目标检测对象的图像数据。

S520、将待检测图像数据输入至联合检测模型中，得到目标检测对象的3D关键点检测信息。

其中，联合检测模型通过上述任一的联合检测模型训练方法训练得到。

在本公开实施例中，在获取到待检测图像数据之后，可以将待检测图像数据输入至上述任一的联合检测模型训练方法训练得到的联合检测模型中，以通过联合检测模型对待检测图像数据进行联合检测，得到目标检测对象的3D关键点检测信息。

具体的，联合检测模型可以首先利用2D关键点预测子网络对待检测图像数据进行目标检测，得到目标检测对象的2D关键点预测信息。进一步的，联合检测模型通过3D关键点预测子网络根据2D关键点预测信息进行深度估计，从而得到目标检测对象的3D关键点预测信息。

由此可见，在本公开实施例中，针对待检测图像数据的目标检测和深度估计两个任务彼此之间不是相互独立进行的，而是存在先后依存关系的。具体的，需要首先进行目标检测，在得到目标检测结果之后，需要利用目标检测结果进行深度估计。也即，联合检测模型不是对待检测图像数据分别进行目标检测和深度估计，再对目标检测结果和深度估计结果进行融合。这样设置的好处是：可以利用目标检测结果进一步执行深度估计操作，从而提高深度估计的准确率，进而提高模型检测的准确率。

本公开实施例通过利用联合检测模型对待检测图像数据进行联合检测，可以得到目标检测对象的3D关键点检测信息，解决现有目标检测和深度估计无法进行联合应用的问题，能够实现目标检测和深度估计的联合应用，提高联合检测模型的检测效率。

本公开的技术方案中，所涉及用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本公开的保护范围。

在一个示例中，图9是本公开实施例提供的一种联合检测模型训练装置的结构图，本公开实施例可适用于对目标检测和深度估计的联合检测模型进行联合训练的情况，该装置通过软件和/或硬件实现，并具体配置于电子设备中。该电子设备可以是计算机设备或服务器设备等。

如图9所示的一种联合检测模型训练装置600，包括：图像训练数据获取模块610、目标检测结果获取模块620、3D关键点预测信息获取模块630和模型训练模块640。其中，

图像训练数据获取模块610，用于获取联合检测模型的图像训练数据；

目标检测结果获取模块620，用于对图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果；

3D关键点预测信息获取模块630，用于根据目标检测结果对目标检测对象进行深度估计，得到目标检测对象的3D关键点预测信息；

模型训练模块640，用于根据3D关键点预测信息进行模型训练。

本公开实施例通过对获取的图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果，再根据目标检测结果对目标检测对象进行深度估计，得到目标检测对象的3D关键点预测信息，从而根据3D关键点预测信息进行模型训练，解决现有目标检测和深度估计无法进行联合训练和应用等问题，能够实现目标检测和深度估计的联合训练和应用，提高联合检测模型的训练效率和检测效率。

可选的，2D关键点预测子网络包括2D关键点估计子网络和2D关键点修正子网络；目标检测结果获取模块620具体用于：通过2D关键点预测子网络对图像训练数据进行目标检测，得到目标检测对象的2D关键点预测信息；3D关键点预测信息获取模块630具体用于：通过3D关键点预测子网络根据2D关键点预测信息进行深度估计，得到目标检测对象的3D关键点预测信息。

可选的，2D关键点预测子网络包括2D关键点估计子网络和2D关键点修正子网络；2D关键点估计子网络用于：对图像训练数据进行目标检测，得到目标检测对象的2D关键点初始预测信息；2D关键点修正子网络用于：根据2D关键点历史预测信息对2D关键点初始预测信息进行修正，得到2D关键点预测信息。

可选的，2D关键点估计子网络为全监督学习网络；联合检测模型训练装置还可以包括：2D关键点标注连续帧图像获取模块，用于获取视频流的2D关键点标注连续帧图像；预训练模块，用于通过2D关键点估计子网络对2D关键点标注连续帧图像采用全监督的学习方式进行目标检测的预训练；梯度参数固定模块，用于在确定2D关键点估计子网络预训练成功的情况下，固定2D关键点估计子网络的梯度参数。

可选的，2D关键点估计子网络为弱监督学习网络；图像训练数据为连续帧图像，连续帧图像的首帧图像包括2D关键点标注信息；2D关键点估计子网络具体用于：对当前帧图像进行目标检测，得到当前帧图像目标检测结果；将当前帧图像目标检测结果作为当前帧图像的下一帧图像的弱监督信息，并根据弱监督信息对下一帧图像进行目标检测。

可选的，3D关键点预测子网络包括映射模块和投影模块；3D关键点预测信息获取模块630具体用于：通过映射模块根据2D关键点预测信息进行深度估计，得到目标检测对象的3D关键点预测信息；投影模块用于对3D关键点预测信息进行转换得到2D关键点转换信息。

可选的，映射模块通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法以及对抗生成网络中的任意一种方式实现；投影模块通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法、对抗生成网络以及特征降维方法中的任意一种方式实现。

可选的，模型训练模块640具体用于：根据3D关键点预测信息和监督数据进行模型训练。

可选的，监督数据包括原始2D关键点信息；模型训练模块640具体用于：对3D关键点预测信息进行转换得到的2D关键点转换信息；对2D关键点转换信息和原始2D关键点信息进行对比，得到关键点预测对比结果；在确定关键点预测对比结果不满足模型训练终止条件的情况下，返回执行获取联合检测模型的图像训练数据的操作，以持续对联合检测模型进行训练，直至确定关键点预测对比结果满足模型训练终止条件。

可选的，目标检测对象包括招牌；3D关键点预测信息包括招牌的3D顶点预测信息。

上述联合检测模型训练装置可执行本公开任意实施例所提供的联合检测模型训练方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本公开任意实施例提供的联合检测模型训练方法。

在一个示例中，图10是本公开实施例提供的一种目标检测装置的结构图，本公开实施例可适用于利用联合检测模型对目标检测对象进行联合检测的情况，该装置通过软件和/或硬件实现，并具体配置于电子设备中。该电子设备可以是计算机设备或服务器设备等。

如图10所示的一种联合检测装置700，包括：待检测图像数据获取模块710和3D关键点检测信息获取模块720。其中，

待检测图像数据获取模块710，用于获取待检测图像数据；

3D关键点检测信息获取模块720，用于将待检测图像数据输入至联合检测模型中，得到目标检测对象的3D关键点检测信息；

其中，联合检测模型通过上述任一的联合检测模型训练方法训练得到。

本公开实施例通过利用联合检测模型对待检测图像数据进行联合检测，可以得到目标检测对象的3D关键点检测信息，解决现有目标检测和深度估计无法进行联合应用的问题，能够实现目标检测和深度估计的联合应用，提高联合检测模型的检测效率。

上述联合检测装置可执行本公开任意实施例所提供的联合检测方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本公开任意实施例提供的联合检测方法。

在一个示例中，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如联合检测模型训练方法或联合检测方法。例如，在一些实施例中，联合检测模型训练方法或联合检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的联合检测模型训练方法或联合检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行联合检测模型训练方法或联合检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器还可以分布式系统的服务器，或者是结合了区块链的服务器。

本公开实施例通过对获取的图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果，再根据目标检测结果对目标检测对象进行深度估计，得到目标检测对象的3D关键点预测信息，从而根据3D关键点预测信息进行模型训练，解决现有目标检测和深度估计无法进行联合训练和应用等问题，能够实现目标检测和深度估计的联合训练和应用，提高联合检测模型的训练效率和检测效率。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (25)

1.一种联合检测模型训练方法，包括：

获取联合检测模型的图像训练数据；

对所述图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果；

根据所述目标检测结果对所述目标检测对象进行深度估计，得到所述目标检测对象的3D关键点预测信息；

根据所述3D关键点预测信息进行模型训练。

2.根据权利要求1所述的方法，其中，所述联合检测模型包括2D关键点预测子网络和3D关键点预测子网络；

所述对所述图像训练数据包括的目标检测对象进行目标检测，包括：

通过所述2D关键点预测子网络对所述图像训练数据进行目标检测，得到所述目标检测对象的2D关键点预测信息；

所述根据所述目标检测结果对所述目标检测对象进行深度估计，包括：

通过所述3D关键点预测子网络根据所述2D关键点预测信息进行深度估计，得到所述目标检测对象的3D关键点预测信息。

3.根据权利要求2所述的方法，其中，所述2D关键点预测子网络包括2D关键点估计子网络和2D关键点修正子网络；

所述通过所述2D关键点预测子网络对所述图像训练数据进行目标检测，包括：

通过所述2D关键点估计子网络对所述图像训练数据进行目标检测，得到所述目标检测对象的2D关键点初始预测信息；

通过所述2D关键点修正子网络根据2D关键点历史预测信息对所述2D关键点初始预测信息进行修正，得到所述2D关键点预测信息。

4.根据权利要求3所述的方法，所述2D关键点估计子网络为全监督学习网络；所述方法还包括：

获取视频流的2D关键点标注连续帧图像；

通过所述2D关键点估计子网络对所述2D关键点标注连续帧图像采用全监督的学习方式进行目标检测的预训练；

在确定所述2D关键点估计子网络预训练成功的情况下，固定所述2D关键点估计子网络的梯度参数。

5.根据权利要求3所述的方法，所述2D关键点估计子网络为弱监督学习网络；所述图像训练数据为连续帧图像，所述连续帧图像的首帧图像包括2D关键点标注信息；

所述通过所述2D关键点估计子网络对所述连续帧图像进行目标检测，包括：

通过所述2D关键点估计子网络对当前帧图像进行目标检测，得到当前帧图像目标检测结果；

将所述当前帧图像目标检测结果作为所述当前帧图像的下一帧图像的弱监督信息，并根据所述弱监督信息对所述下一帧图像进行目标检测。

6.根据权利要求2所述的方法，其中，所述3D关键点预测子网络包括映射模块和投影模块；

所述通过所述3D关键点预测子网络根据所述2D关键点预测信息进行深度估计，包括：

通过所述映射模块根据所述2D关键点预测信息进行深度估计，得到所述目标检测对象的3D关键点预测信息；

所述投影模块用于对所述3D关键点预测信息进行转换得到2D关键点转换信息。

7.根据权利要求6所述的方法，其中，所述映射模块通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法以及对抗生成网络中的任意一种方式实现；

所述投影模块通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法、对抗生成网络以及特征降维方法中的任意一种方式实现。

8.根据权利要求1-7任一所述的方法，其中，所述根据所述3D关键点预测信息进行模型训练，包括：

根据所述3D关键点预测信息和监督数据进行模型训练。

9.根据权利要求8所述的方法，其中，所述监督数据包括原始2D关键点信息；

所述根据所述3D关键点预测信息和监督数据进行模型训练，包括：

对所述3D关键点预测信息进行转换得到的2D关键点转换信息；

对所述2D关键点转换信息和所述原始2D关键点信息进行对比，得到关键点预测对比结果；

在确定所述关键点预测对比结果不满足模型训练终止条件的情况下，返回执行获取联合检测模型的图像训练数据的操作，以持续对联合检测模型进行训练，直至确定所述关键点预测对比结果满足所述模型训练终止条件。

10.根据权利要求1-9任一所述的方法，所述目标检测对象包括招牌；所述3D关键点预测信息包括所述招牌的3D顶点预测信息。

11.一种联合检测方法，包括：

获取待检测图像数据；

将所述待检测图像数据输入至联合检测模型中，得到目标检测对象的3D关键点检测信息；

其中，所述联合检测模型通过权利要求1-10任一所述的联合检测模型训练方法训练得到。

12.一种联合检测模型训练装置，包括：

图像训练数据获取模块，用于获取联合检测模型的图像训练数据；

目标检测结果获取模块，用于对所述图像训练数据包括的目标检测对象进行目标检测，得到目标检测结果；

3D关键点预测信息获取模块，用于根据所述目标检测结果对所述目标检测对象进行深度估计，得到所述目标检测对象的3D关键点预测信息；

模型训练模块，用于根据所述3D关键点预测信息进行模型训练。

13.根据权利要求12所述的装置，其中，所述联合检测模型包括2D关键点预测子网络和3D关键点预测子网络；

所述目标检测结果获取模块具体用于：通过所述2D关键点预测子网络对所述图像训练数据进行目标检测，得到所述目标检测对象的2D关键点预测信息；

所述3D关键点预测信息获取模块具体用于：通过所述3D关键点预测子网络根据所述2D关键点预测信息进行深度估计，得到所述目标检测对象的3D关键点预测信息。

14.根据权利要求13所述的装置，其中，所述2D关键点预测子网络包括2D关键点估计子网络和2D关键点修正子网络；

所述2D关键点估计子网络用于：对所述图像训练数据进行目标检测，得到所述目标检测对象的2D关键点初始预测信息；

所述2D关键点修正子网络用于：根据2D关键点历史预测信息对所述2D关键点初始预测信息进行修正，得到所述2D关键点预测信息。

15.根据权利要求14所述的装置，其中，所述2D关键点估计子网络为全监督学习网络；所述装置还包括：

2D关键点标注连续帧图像获取模块，用于获取视频流的2D关键点标注连续帧图像；

预训练模块，用于通过所述2D关键点估计子网络对所述2D关键点标注连续帧图像采用全监督的学习方式进行目标检测的预训练；

梯度参数固定模块，用于在确定所述2D关键点估计子网络预训练成功的情况下，固定所述2D关键点估计子网络的梯度参数。

16.根据权利要求14所述的装置，其中，所述2D关键点估计子网络为弱监督学习网络；所述图像训练数据为连续帧图像，所述连续帧图像的首帧图像包括2D关键点标注信息；

所述2D关键点估计子网络具体用于：

对当前帧图像进行目标检测，得到当前帧图像目标检测结果；

将所述当前帧图像目标检测结果作为所述当前帧图像的下一帧图像的弱监督信息，并根据所述弱监督信息对所述下一帧图像进行目标检测。

17.根据权利要求13所述的装置，其中，所述3D关键点预测子网络包括映射模块和投影模块；

所述3D关键点预测信息获取模块具体用于：通过所述映射模块根据所述2D关键点预测信息进行深度估计，得到所述目标检测对象的3D关键点预测信息；

所述投影模块用于对所述3D关键点预测信息进行转换得到2D关键点转换信息。

18.根据权利要求17所述的装置，其中，所述映射模块通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法以及对抗生成网络中的任意一种方式实现；

所述投影模块通过基于卷积特征回归关键点热图方法、基于关键点坐标的全连接层直接回归方法、对抗生成网络以及特征降维方法中的任意一种方式实现。

19.根据权利要求12-18任一所述的装置，其中，所述模型训练模块具体用于：

根据所述3D关键点预测信息和监督数据进行模型训练。

20.根据权利要求12-19任一所述的装置，其中，所述监督数据包括原始2D关键点信息；所述模型训练模块具体用于：

对所述3D关键点预测信息进行转换得到的2D关键点转换信息；

对所述2D关键点转换信息和所述原始2D关键点信息进行对比，得到关键点预测对比结果；

在确定所述关键点预测对比结果不满足模型训练终止条件的情况下，返回执行获取联合检测模型的图像训练数据的操作，以持续对联合检测模型进行训练，直至确定所述关键点预测对比结果满足所述模型训练终止条件。

21.根据权利要求12-20任一所述的装置，其中，所述目标检测对象包括招牌；所述3D关键点预测信息包括所述招牌的3D顶点预测信息。

22.一种目标检测装置，包括：

待检测图像数据获取模块，用于获取待检测图像数据；

3D关键点检测信息获取模块，用于将所述待检测图像数据输入至联合检测模型中，得到目标检测对象的3D关键点检测信息；

其中，所述联合检测模型通过权利要求1-10任一所述的联合检测模型训练方法训练得到。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的联合检测模型训练方法或权利要求11所述的联合检测方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1-10中任一项所述的联合检测模型训练方法或权利要求11所述的联合检测方法。

25.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的联合检测模型训练方法或权利要求11所述的联合检测方法。

Images