CN109816704B - 物体的三维信息获取方法和装置 - Google Patents

Abstract

本发明提出一种物体的三维信息获取方法和装置，其中，方法包括：根据图像提取物体的二维关键点，并在每个候选三维模型中确定与二维关键点匹配的三维关键点；并根据三维关键点和二维关键点确定每个候选三维模型的多个第一参考姿态位置；获取在多个第一参考姿态位置下每个候选三维模型和物体的多个重投影误差值，并确定重投影误差值最小的第一目标姿态位置和第一目标三维模型；根据第一目标姿态位置和第一目标三维模型获取物体的三维信息。由此，提高了二维图像中物体三维信息的获取效率和精确度，保证了获取物体的三维信息的获取方式的鲁棒性。

Description

物体的三维信息获取方法和装置

技术领域

本发明涉及三维信息技术领域，尤其涉及一种物体的三维信息获取方法和装置。

背景技术

物体的三维信息获取，特别是动态物体的三维信息获取是非常有挑战性的问题。由于物体的三维信息可以提供与彩色信息互补的约束，同时可以反映物体与当前摄像机之间的距离，因此物体的三维信息获取在当前人工智能领域受到了越来越多的关注。

相关技术中，利用物体的彩色图像与辅助的深度图像估计图像中物体的三维信息，即同时获取物体的彩色图像以及深度图像，利用彩色图像以及辅助的深度图像进行物体的三维信息估计，获取二维图像中物体三维信息。然而这种深度信息的获取方式中，由于深度信息的计算量较大，通常获取深度信息的角度较低，辅助的深度图像往往质量较差，存在大量缺失，且容易受到环境光等因素的影响，精度难以保证，因此，导致物体的三维信息的获取精度不高，鲁棒性较差。

发明内容

本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种物体的三维信息获取方法，以提高了二维图像中物体三维信息的获取效率和精确度，保证了获取物体的三维信息的获取方式的鲁棒性。本发明的第二个目的在于提出一种物体的三维信息获取装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种物体的三维信息获取方法，包括以下步骤：获取包含待识别的物体的图像，根据所述图像提取所述物体的二维关键点，并确定与所述图像匹配的候选三维模型集合；对所述候选三维模型集合的每个候选三维模型确定与所述二维关键点匹配的三维关键点，并根据所述三维关键点和所述二维关键点确定所述每个候选三维模型的多个第一参考姿态位置；获取所述每个候选三维模型在对应的所述多个第一参考姿态位置下和所述物体的多个重投影误差，并确定所述候选三维模型集合对应的第一重投影误差值集合；确定所述第一重投影误差值集合中的最小重投影误差值对应的第一目标姿态位置和第一目标三维模型；根据所述第一目标姿态位置和所述第一目标三维模型获取所述物体的三维信息。

另外，本发明实施例的物体的三维信息获取方法，还具有如下附加的技术特征：

可选地，在所述根据所述三维关键点和所述二维关键点确定所述每个候选三维模型的多个第一参考姿态位置之前，还包括：确定所述二维关键点满足预设约束充分条件。

可选地，所述确定所述二维关键点满足预设约束充分条件，包括：确定所述二维关键点不存在于所述物体的同一平面上。

可选地，还包括：若确定所述二维关键点不满足所述预设约束充分条件，则根据预设的提取策略提取所述图像中的参考物体的参考图像；根据所述参考图像确定所述物体的地面约束信息，并根据所述地面约束信息、所述二维关键点和所述每个候选三维模型的所述三维关键点确定所述每个候选三维模型的多个第二参考姿态位置；获取所述每个候选三维模型在对应的所述多个第二参考姿态位置下和所述物体的多个重投影误差值；确定所述候选三维模型集合中的多个候选三维模型对应的第二重投影误差值集合，并确定所述第二重投影误差值集合中的最小重投影误差值对应的第二目标姿态位置和第二目标三维模型；根据所述第二目标姿态位置和所述第二目标三维模型获取所述物体的三维信息。

可选地，所述若确定所述二维关键点不满足所述预设约束充分条件则根据预设的提取策略提取所述图像中的参考物体的参考图像，包括：若所述二维关键点存在于所述物体的同一平面上，则识别所述图像中多个参考候选物体的参考候选图像；识别所述多个参考候选图像中每个参考候选图像的二维关键点；确定所述二维关键点不在所述参考候选物体的同一平面上的参考候选物体为所述参考物体。

可选地，当所述参考物体为多个时，所述提取所述图像中的参考物体的参考图像包括：计算所述每个参考物体对应的二维关键点的平均值，以获取所述每个参考物体的参考中心点；计算所述物体的所述二维关键点的平均值，获取所述物体的物体中心点；计算所述物品参考中心点与每个参考中心点之间的距离绝对值；比较多个所述参考物体对应的多个距离绝对值的大小，确定最小距离绝对值对应的目标参考物体，并提取所述目标参考物体的所述参考图像。

可选地，所述根据所述参考图像确定所述物体的地面约束信息，并根据所述地面约束信息、所述二维关键点和所述每个候选三维模型的所述三维关键点确定所述每个候选三维模型的多个第二参考姿态位置，包括：获取所述参考图像在竖直方向上的高度数据和在水平方向上的水平姿态数据；根据预设估算算法和所述水平姿态数据确定所述物体的多个水平姿态估算数据；根据所述二维关键点和所述每个候选三维模型的所述三维关键点的对应关系确定与所述多个水平姿态估算数据中每个水平姿态估算数据对应的法向量旋转角度；根据所述多个水平姿态估算数据和与所述每个水平姿态估算数据对应的所述法向旋转角度确定所述每个候选三维模型的多个第二参考姿态位置。

可选地，所述根据预设算法和所述水平姿态数据确定所述物体的多个水平姿态估算数据，包括：获取所述参考图像的第一位置信息和所述图像的第二位置信息，根据所述第一位置信息和所述第二位置信息确定搜索方向；将所述水平姿态数据作为最小二乘初值，根据所述最小二乘法沿所述搜索方向对所述最小二乘初值进行估算确定所述多个水平姿态估算值。

可选地，所述获取所述每个候选三维模型在对应的所述多个第二参考姿态位置下和所述物体的多个重投影误差值，包括：确定所述每个候选三维模型在所述对应的所述多个第二参考姿态位置中每个第二参考姿态位置的所述法向旋转角度；获取在所述法向旋转角度下所述每个候选三维模型与所述物体的重投影误差。

本发明第二方面实施例提出了一种物体的三维信息获取装置，包括：第一提取模块，用于获取包含待识别的物体的图像，根据所述图像提取所述物体的二维关键点；第一确定模块，用于确定与所述图像匹配的候选三维模型集合；第二确定模块，用于对所述候选三维模型集合的每个候选三维模型确定与所述二维关键点匹配的三维关键点；第三确定模块，用于根据所述三维关键点和所述二维关键点确定所述每个候选三维模型的多个第一参考姿态位置；第四确定模块，用于获取所述每个候选三维模型在对应的所述多个第一参考姿态位置下和所述物体的多个重投影误差，并确定所述候选三维模型集合对应的第一重投影误差值集合；第五确定模块，用于确定所述第一重投影误差值集合中的最小重投影误差值对应的第一目标姿态位置和第一目标三维模型；第一获取模块，用于根据所述第一目标姿态位置和所述第一目标三维模型获取所述物体的三维信息。

另外，本发明实施例的物体的三维信息获取装置，还具有如下附加的技术特征：

可选地，所述第三确定模块还用于：判断所述二维关键点是否存在于所述物体的同一平面上。

可选地，所述第三确定模块，具体用于确定所述二维关键点存在于所述物体的同一平面上。

可选地，还包括：第二提取模块，用于在确定所述二维关键点不满足所述预设约束充分条件时，根据预设的提取策略提取所述图像中的参考物体的参考图像；第六确定模块，用于根据所述参考图像确定所述物体的地面约束信息，并根据所述地面约束信息、所述二维关键点和所述每个候选三维模型的所述三维关键点确定所述每个候选三维模型的多个第二参考姿态位置；第二获取模块，用于获取所述每个候选三维模型在对应的所述多个第二参考姿态位置下和所述物体的多个重投影误差值；第七确定模块，用于确定所述候选三维模型集合中的多个候选三维模型对应的第二重投影误差值集合，并确定所述第二重投影误差值集合中的最小重投影误差值对应的第二目标姿态位置和第二目标三维模型；所述第一获取模块，还用于根据所述第一目标姿态位置和所述第一目标三维模型获取所述物体的三维信息。

本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如第一方面实施例所述的物体的三维信息获取方法。

本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面实施例所述的物体的三维信息获取方法。

本发明实施例提供的技术方案可以包含如下的有益效果：

获取包含待识别的物体的图像，根据图像提取物体的二维关键点，并确定与图像匹配的候选三维模型集合，对候选三维模型集合的每个候选三维模型确定与二维关键点匹配的三维关键点，并根据三维关键点和二维关键点确定每个候选三维模型的多个第一参考姿态位置，获取每个候选三维模型在对应的多个第一参考姿态位置下和物体的多个重投影误差，并确定候选三维模型集合对应的第一重投影误差值集合，进而，确定第一重投影误差值集合中的最小重投影误差值对应的第一目标姿态位置和第一目标三维模型，最后，根据第一目标姿态位置和第一目标三维模型获取物体的三维信息。由此，提高了二维图像中，物体三维信息的获取效率和精确度，保证了获取物体的三维信息的获取方式的鲁棒性。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的物体的三维信息获取方法的流程图；

图2是根据本发明一个实施例的二维关键点获取方法的流程图；

图3是根据本发明另一个实施例的物体的三维信息获取方法的流程图；

图4是根据本发明一个具体实施例的物体的三维信息获取方法的流程图；

图5是根据本发明又一个具体实施例的物体的三维信息获取方法的流程图；

图6是根据本发明一个具体实施例的物体的三维信息获取效果示意图；

图7是根据本发明一个实施例的物体的三维信息获取装置的结构示意图；

图8是根据本发明另一个实施例的物体的三维信息获取装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的物体的三维信息获取方法和装置。其中，本发明实施例的物体的三维信息获取方法和装置可以应用于移动物体和非移动物体的三维信息获取场景中，比如，可应用在自动驾驶汽车的感知领域，可以基于感应到的汽车的三维信息的获取可以提供更好的训练数据集，提升自动驾驶汽车的感知算法的准确度和鲁棒性。

针对背景技术中提到的，现有技术中物体的三维信息获取精度不高且鲁棒性较差的技术问题，本发明提出了一种可以获取二维图像中物体的三维信息的方法，在该方法中，通过图像中物体的二维的关键点与对应的预先设置的三维模型中的三维关键点匹配，可以计算三维模型与图像中二维物体的相对位置关系，即姿态关系，进而获得二维图像中物体的三维信息，包括二维图像中物体的深度、对应的姿态以及物体的二维和三维的包围盒等信息。

具体而言，图1是根据本发明一个实施例的物体的三维信息获取方法的流程图，如图 1所示，该方法包括：

步骤101，获取包含待识别的物体的图像，根据图像提取物体的二维关键点，并确定与图像匹配的候选三维模型集合。

其中，包含待识别的物体的图像可以为一张图像也可以为同一个摄像模组同时拍摄的针对同一个物体的多张图像，待识别的物体可以为一个也可以为多个。另外，应当理解的是，为了提高三维信息的获取效率，本发明的实施例所提到的关键点可以理解为具有语义信息的点，比如当物体为车时，关键点对应于车牌的四个角点，车轮胎中心点，车门把手点等。

具体地，提取物体的二维关键点，进而，确定与图像匹配的候选三维模型集合，其中，候选三维模型集合包括多个与图像匹配的候选三维模型，比如，当前图像为车辆的图像，则候选三维模型集合中包含了大量车辆三维模型，其中，在不同的应用场景下，获取候选三维模型集合的方式不同，作为一种可能的实现方式，预先在三维模型数据库中存储三维模型对应的物体标识，进而，提取图像中物体标识，其中，物体标识通常可以对应出物体的唯一性等，比如，对于车辆而言，物体标识可以包括车的型号信息、形状信息等。作为另一种可能的实现方式，预先标注三维模型中的候选三维关键点信息，该候选三维关键点信息与二维关键点对应，均可以包括具有语义的关键点，由此，当识别出二维关键点后，可以基于预先标注的二维关键点语义匹配出包含同样语义的三维模型作为候选三维模型，比如，识别出的关键点为车把手，则所有将包含车把手三维关键点的三维模型作为候选三维模型，多个满足条件的候选三维模型共同构建出候选三维模型集合。

其中，根据应用场景的不同，提取图像中物体的二维关键点的方法不同，作为一种可能的实施例，如图2所示，在输入图像中，可以使用物体检测算法获取物体的位置和所在掩膜(mask)，进而，根据掩膜(mask)获取物体对应的子图像，再使用二维关键点检测方法检测二维关键点，二维关键点检测方法以每个二维物体的图像作为输入，获得可观测二维关键点的位置。当然，为了避免模型输出的误差，最后还可由用户检查所检测的二维关键点的准确性，剔除检测错误。作为另一种可能的实现方式，还可以由人工标注二维关键点。

步骤102，对候选三维模型集合的每个候选三维模型确定与二维关键点匹配的三维关键点，并根据三维关键点和二维关键点确定每个候选三维模型的多个第一参考姿态位置。

正如以上描述的，可以基于预先标注的关键点的语义信息等确定每个候选三维模型与二维关键点匹配的三维关键点，当然，还可以基于图像特征识别与二维关键点匹配的三维关键点，比如，二维关键点为车灯拐角位置，则识别的三维关键点根据三维模型的模型特征识别出车灯拐角位置。

当然，为了提高三维关键点的确定效率，在本发明的一个实施例中，可以预先标注好三维模型中的三维关键点，对于不同的物体，根据其结构复杂程度等的不同，可以标注不同数量的关键点。

进而，根据三维关键点和二维关键点确定每个候选模型的多个第一姿态参考位置，即本发明根据二维关键点与对应的三维模型的三维关键点使用PnP算法直接求解三维模型与二维物体的可能的相对位置关系，即6个自由度的参数，进而基于可能的相对位置关系确定多个第一参考姿态位置。

步骤103，获取每个候选三维模型在对应的多个第一参考姿态位置下和物体的多个重投影误差，并确定候选三维模型集合对应的第一重投影误差值集合。

步骤104，确定第一重投影误差值集合中的最小重投影误差值对应的第一目标姿态位置和第一目标三维模型。

具体地，不难理解的是，若候选三维模型的姿态位置与物体对应的三维信息接近一致时，候选三维模型与物体的重投影误差较小，因而，在本实施例中，可以获取在各个候选三维模型在对应的多个第一参考姿态位置下和物体的多个重投影误差值，生成包含多个重投影误差的第一重投影误差值集合，其中，第一重投影误差值集合中包含上述多个重投影误差值，并确定第一重投影误差值集合中最小重投影误差值对应的第一目标姿态位置和第一目标三维模型。

步骤105，根据第一目标姿态位置和第一目标三维模型获取物体的三维信息。

具体地，在确定第一目标姿态位置和第一目标三维模型后，可以根据第一目标姿态位置和第一目标三维模型获取物体的三维信息，该三维信息包括物体的深度信息、第一目标三维模型的姿态(包括旋转角度和平移参数)以及相应的二维和三维的包围盒。

在实际执行过程中，对于图像中可观测二维关键点数量较多的物体，可直接利用上述二维关键点与三维关键点的匹配计算对应二维物体与三维模型的相对位置关系，进而获取物体的三维信息。对于图像中可观测关键点数量较少的物体，此时约束较少，直接利用上述方法获取的三维信息可能精度较差，因而，在本发明的一个实施例中，还需要在根据三维关键点和二维关键点确定每个候选三维模型的多个第一参考姿态位置之前，确定二维关键点满足预设约束充分条件，其中，预设约束充分条件用于判断当前二维关键点信息和候选三维模型求解物体的三维信息的难度，在不同的场景中，预设约束充分条件可以不同，作为一种可能的实现方式，判断二维关键点是否满足预设约束充分条件为判断二维关键点是否存在于物体的同一平面上，比如，预先标注不同的二维关键点所属的平面位置，基于二维关键点与所属平面位置的识别确定二维关键点是否存在于物体的同一平面上。

即基于预设约束充分条件确定当前二维关键点是否满足可以精确求解出三维信息的要求，若是，则优先采用上述方法获取物体的三维模型，若否，则本发明利用地面的约束(三维物体模型仅能沿地面移动和旋转，以场景中可观测二维关键点较多的参考物体获得的与三维模型的姿态关系获取地面约束)，极大的降低了需要求解的三维物体模型的姿态参数的自由度，使参数的自由度由6个降为3个，从而有效的估计二维图像中物体三维信息，保证了三维信息获取的鲁棒性和精确性。

具体而言，在本发明的一个实施例中，如图3所示，在上述步骤根据三维关键点和二维关键点确定每个候选三维模型的多个第一参考姿态位置之前，还包括：

步骤201，若确定二维关键点不满足预设约束充分条件则根据预设的提取策略提取图像中的参考物体的参考图像。

不难理解的是，由于光照即遮挡等环境因素的影响，物体中可检测到的二维关键点的数量是难以保证的，当获取的二维关键点的数量相对较多且分布在物体的至少两个平面上时，则认为针对该物体约束充分，针对目标模型和当前的二维图像信息可以较为准确的求解出物体的三维信息；反之，当获取的二维关键点的数量相对较少且分布在物体的一个平面上时，则认为针对该物体约束不充分，针对目标模型和当前的二维图像信息求解物体的三维信息时，待求解的参数较多，计算困难，难以求解出对应的三维信息，也就是说，此情况下的约束不足，存在多解的情况，因此如果直接使用检测的可观测二维关键点与对应的候选三维模型的三维关键点进行求解，会导致姿态关系求解失败。

因而，在本发明的实施例中，为了根据是否约束充分的条件匹配不同的三维信息的获取方式，需要首先判断二维关键点是否满足预设约束充分条件，具体地，当判断二维关键点不满足预设约束充分条件时，根据预设的提取策略提取图像中物体的参考图像，以便于根据参考图像推导出物体图像的某些参数信息，减少图像获取三维信息时待求解的参数数量。

在不同的场景中，预设的提取策略不同，作为一种可能的实现方式，以预设约束充分条件，包括判断二维关键点是否存在于物体的同一平面上为例进行说明，若二维关键点存在于物体的同一平面上，则识别图像中多个参考候选物体的参考候选图像，即识别图像中其他物体的图像，识别多个参考候选图像中每个参考候选图像的二维关键点，并且确定出二维关键点不在参考候选物体的同一平面上的参考候选物体为参考物体，也就是说，确定图像中其他约束充分的参考物体的参考图像，以便于基于参考物体的参考图像求解物体获取三维信息所需要的参数。

当然，考虑到在实际执行过程中，可能会存在多个约束充分的参考物体，因而，为了进一步提高物体的三维信息的确定的准确性，在多个约束充分的参考物体中选择距离物体最近的参考物体作为最终参考物体，以减小确定有关参数的误差。

在本实施例中，获取多个参考物体中每个参考物体对应的多个二维关键点，计算每个参考物体对应的二维关键点的平均值，以获取每个参考物体的参考中心点，计算物体的二维关键点的平均值，获取物体的物体中心点，计算物品参考中心点与每个参考中心点之间的距离绝对值，比较多个参考物体对应的多个距离绝对值的大小，确定最小距离绝对值对应的目标参考物体，并提取目标参考物体的参考图像作为最终的参考图像。

步骤202，根据参考图像确定物体的地面约束信息，并根据地面约束信息和每个候选三维模型的三维关键点确定每个候选三维模型的多个第二参考姿态位置。

具体地，三维物体在空间中存在6个自由度的运动，分别为沿世界坐标系三个轴的旋转(旋转自由度)和沿世界坐标系三个轴的平移(平移自由度)。通过6个自由度的参数控制(平移和旋转模型)，可以将模型旋转和平移至合适的位置，通过摄像机的投影成像，可以完成三维模型与二维图像中的对应物体的匹配，这6个参数即三维模型与当前摄像机之间的相对位置关系，即物体姿态，由于图像中的物体和参考物体都处于同一个地面上，地面信息约束可以控制三维物体模型只能在地面上进行平移和旋转，从而降低了三维物体在空间中的运动自由度参数，由于三维模型只能沿地面法向旋转，这可以将旋转参数由3个减为1个，同时，由于三维模型仅能沿地面移动，因此平移参数由3个减为2个。

也可以理解，在本发明的实施例中，根据参考图像确定物体的地面约束信息，该地面约束信息包括上述提及的地面的高度，即三维模型姿态中的法向量的高度，进而，根据该地面约束信息可以确定每个候选三维模型所在的高度，根据二维关键点和三维关键点的对应关系，可以大致确定出每个候选三维模型的估算位置，由于在估算位置确定后，在每个估算位置下每个候选三维模型具有多个可能的法向旋转角度，因而，根据每个估算位置的不同旋转角度可以确定出每个候选三维模型的多个第二参考姿态位置。

根据应用场景的不同，获取第二参考姿态位置的方式不同，作为一种可能的实现方式，如图4所示，步骤202包括：

步骤301，获取参考图像在竖直方向上的高度数据和在水平方向上的水平姿态数据。

可以识别参考图像对应的参考三维模型，基于参考图像的三维模型与参考图像的重投影误差发现参考三维模型的最优姿态位置，基于该最优姿态位置确定该参考图像所在地面的高度数据以及水平方向上的水平姿态数据，比如，X轴数据和Y轴的数据。

步骤302，根据预设估算算法和水平姿态数据确定物体的多个水平姿态估算数据。

应当理解的是，参考图像与物体所在同一个地面上，即水平姿态数据具有一定的可估算性质，因而，可以会根据预设估算算法和水平姿态数据确定物体的多个水平姿态估算数据，包括物体的X轴和Y轴的数据。

在本实施例中，获取参考图像的第一位置信息和图像的第二位置信息，比如，获取参考图像的中心坐标和图像的中心坐标，根据第一位置信息和第二位置信息确定搜索方向，比如，根据两个中心坐标的坐标差值确定搜索方向，进而，将水平姿态数据作为最小二乘初值，根据最小二乘法沿搜索方向对最小二乘初值进行估算确定多个水平姿态估算值，具体而言，假设空间的坐标分别为X轴，Y轴和Z轴，其中X轴和Y轴表示地面的坐标轴， Z轴方向表示地面高度，根据搜索方向沿空间中的X和Y轴设定网格坐标，每个网格坐标即为最小二乘优化方法中X和Y方向的初值，该每个初始可以理解为物体的水平姿态估算值，由于图像中所有的物体均处于同一平面，当前最小二乘方法Z轴方向的初值设为参照物体求解的相对位置关系中Z方向的值(地面高度值)。

步骤303，根据二维关键点和每个候选三维模型的三维关键点的对应关系确定与多个水平姿态估算数据中每个水平姿态估算数据对应的法向量旋转角度。

由于物体仅可以在地面上移动，因此，本发明的实施例中，由于地面高度已经确定，因而，仅需要设置沿地面法向旋转角度初值，根据水平姿态数据和二维信息和三维信息的对应关系，可以大致确定出物体与每个候选三维模型的的相对位置关系，根据该相对位置关系可以估计地面旋转角度，该角度的范围为-180度至180度之间的某个角度，当然，为了提高物体的三维信息的确定效率，也可以直接设置间隔角度为beta，beta可设置为0至180度间的任意角度值，基于该间隔值确定出每个第二参考姿态位置中的地面旋转角度。

步骤304，根据多个水平姿态估算数据和与每个水平姿态估算数据对应的法向旋转角度确定每个候选三维模型的多个第二参考姿态位置。

具体地，在水平姿态估算数据确定后，可以根据多个水平姿态估算数据和与每个水平姿态估算数据对应的法向旋转角度确定每个候选三维模型的多个第二参考姿态位置。

步骤203，获取每个候选三维模型在对应的多个第二参考姿态位置下和物体的多个重投影误差值。

步骤204，确定候选三维模型集合中的多个候选三维模型对应的第二重投影误差值集合，并确定第二重投影误差值集合中的最小重投影误差值对应的第二目标姿态位置和第二目标三维模型。

具体地，不难理解的是，若候选三维模型的姿态位置与物体对应的三维信息接近一致时，候选三维模型与物体的重投影误差较小，因而，在本实施例中，可以获取在各个候选三维模型在对应的多个第二参考姿态位置下和物体的多个重投影误差值，生成包含多个重投影误差的第二重投影误差值集合，其中，第二重投影误差值集合中包含上述多个重投影误差值，并确定第二重投影误差值集合中最小重投影误差值对应的第二目标姿态位置和第二目标三维模型。

在本发明的一个实施例中，确定每个候选参考三维模型在对应的多个第二参考姿态位置中每个第二参考姿态位置的法向旋转角度，获取在法向旋转角度下每个候选三维模型与物体的重投影误差。

步骤205，根据第二目标姿态位置和第二目标三维模型获取物体的三维信息。

具体地，在确定第二目标姿态位置和第二目标三维模型后，可以根据第二目标姿态位置和第二目标三维模型获取物体的三维信息，该三维信息包括物体的深度信息、第二目标三维模型的姿态(包括旋转角度和平移参数)以及相应的二维和三维的包围盒。

由此，在本发明的实施例中，由于光照或遮挡等因素的影响，导致二维图像中物体的可观测二维关键点较少时(比如，分布于物体的一个平面上)，由于需要求解的参数较多，直接用PnP等算法求解会导致匹配失败。为此，本发明寻找与当前待求解物体最接近的可观测二维关键点较多的参考物体，把其设置为参考物体，跟据参考物体求解的姿态位置可以求解地面法向参数以及地面的高度，然后根据地面参数提供的约束，减少当前物体需要求解的姿态位置的参数，同时利用参考物体的参数，对当前的空间进行网格划分，设置最小二乘等优化方法的初值，估算当前二维图像物体与三维模型的姿态关系，进而获得二维物体的三维信息。因此即使二维物体仅有较少的可观测二维关键点(仅分布于一个物体的面上)，本发明也可有效的获取二维物体与三维模型的姿态关系，进而保证了物体的三维信息获取方式的鲁棒性和稳定性。因此，本发明实施例的物体的三维信息获取方法，如图5 所示，利用关键点检测算法检测图像中的二维物体的关键点，首先根据检测到的二维关键点是都满足预设约束充分条件，即检测可观测关键点是否分布于物体的两个或多个面上，在可观测关键点分布于物体的两个或多个面上时，认为物体是约束充分的物体，在此情况下，通过检测的可观测二维关键点与对应的三维模型的三维关键点建立对应关系，求解三维模型与二维物体的相对位置关系，进而获得二维物体的三维信息。

当图像中物体的可观测二维关键点分布于物体的某一个面上，此情况下认为二维的物体约束不充，存在多解的情况，因此如果直接使用检测的可观测二维关键点与对应的候选三维模型的三维关键点进行求解，会导致姿态关系求解失败。为了有效处理这种情况，本发明寻找与当前待求解物体最接近的可观测二维关键点较多的物体，把其设置为参考物体，跟据参考物体获取的姿态求解地面法向参数以及地面的高度(地面约束信息)，然后根据地面约束信息，减少当前物体需要求解的姿态的参数。同时利用参靠物体的地面约束信息，对当前的空间进行网格划分，设置最小二乘等优化方法的初值，求解当前二维图像物体与候选三维模型的姿态关系，进而获得二维物体的三维信息。因此即使二维物体仅有较少的可观测二维关键点(仅分布于一个物体的面上)，本发明也可有效的获取二维物体与三维模型的姿态关系，进而保证了算法的鲁棒性和稳定性。在一个可能的实际应用场景中，如图6所示，针对某街景图像，可以较为真实的根据街景的二维图像得到对应的三维图像。需要说明的是，在如图6所示的需要获取的三维信息的物体较多时，为了保证三维信息效果的呈现速度，可以优先处理约束充分的物体的三维信息的获取，其次再对约束不充分的物体的三维信息进行获取。

综上，本发明实施例的物体的三维信息获取方法，获取包含待识别的物体的图像，根据图像提取物体的二维关键点，并确定与图像匹配的候选三维模型集合，对候选三维模型集合的每个候选三维模型确定与二维关键点匹配的三维关键点，并根据三维关键点和二维关键点确定每个候选三维模型的多个第一参考姿态位置，获取每个候选三维模型在对应的多个第一参考姿态位置下和物体的多个重投影误差，并确定候选三维模型集合对应的第一重投影误差值集合，进而，确定第一重投影误差值集合中的最小重投影误差值对应的第一目标姿态位置和第一目标三维模型，最后，根据第一目标姿态位置和第一目标三维模型获取物体的三维信息。由此，提高了二维图像中，物体三维信息的获取效率和精确度，保证了获取物体的三维信息的获取方式的鲁棒性。

为了实现上述实施例，本发明还提出了一种物体的三维信息获取装置。图7是根据本发明一个实施例的物体的三维信息获取装置的结构示意图，如图7所示，该物体的三维信息获取装置包括：第一提取模块10、第一确定模块20、第二确定模块30、第三确定模块 40、第四确定模块50、第五确定模块60、第一获取模块70，其中，

第一提取模块10，用于获取包含待识别的物体的图像，根据图像提取物体的二维关键点。

第一确定模块20，用于确定与图像匹配的候选三维模型集合。

第二确定模块30，用于对候选三维模型集合的每个候选三维模型确定与二维关键点匹配的三维关键点。

第三确定模块40，用于根据三维关键点和二维关键点确定每个候选三维模型的多个第一参考姿态位置。

在本发明的一个实施例中，第三确定模块40还用于判断二维关键点是否存在于物体的同一平面上。

在本实施例中，第三确定模块40具体用于确定二维关键点存在于物体的同一平面上。

第四确定模块50，用于获取每个候选三维模型在对应的多个第一参考姿态位置下和物体的多个重投影误差，并确定候选三维模型集合对应的第一重投影误差值集合。

第五确定模块60，用于确定第一重投影误差值集合中的最小重投影误差值对应的第一目标姿态位置和第一目标三维模型。

第一获取模块70，用于根据第一目标姿态位置和第一目标三维模型获取物体的三维信息。

在本发明的一个实施例中，如图8所示，在如图7所示的基础上，还包括：第二提取模块80、第六确定模块90、第二获取模块100、第七确定模块110，其中，第二提取模块 80，用于在确定二维关键点不满足预设约束充分条件时，根据预设的提取策略提取图像中的参考物体的参考图像。

第六确定模块90，用于根据参考图像确定物体的地面约束信息，并根据地面约束信息、二维关键点和每个候选三维模型的三维关键点确定每个候选三维模型的多个第二参考姿态位置。

第二获取模块100，用于获取每个候选三维模型在对应的多个第二参考姿态位置下和物体的多个重投影误差值。

第七确定模块110，用于确定候选三维模型集合中的多个候选三维模型对应的第二重投影误差值集合，并确定第二重投影误差值集合中的最小重投影误差值对应的第二目标姿态位置和第二目标三维模型；

第一获取模块70，还用于根据第一目标姿态位置和第一目标三维模型获取物体的三维信息。

需要说明的是，前述对物体的三维信息获取方法实施例的解释说明也适用于该实施例的物体的三维信息获取装置，此处不再赘述。

综上，本发明实施例的物体的三维信息获取装置，获取包含待识别的物体的图像，根据图像提取物体的二维关键点，并确定与图像匹配的候选三维模型集合，对候选三维模型集合的每个候选三维模型确定与二维关键点匹配的三维关键点，并根据三维关键点和二维关键点确定每个候选三维模型的多个第一参考姿态位置，获取每个候选三维模型在对应的多个第一参考姿态位置下和物体的多个重投影误差，并确定候选三维模型集合对应的第一重投影误差值集合，进而，确定第一重投影误差值集合中的最小重投影误差值对应的第一目标姿态位置和第一目标三维模型，最后，根据第一目标姿态位置和第一目标三维模型获取物体的三维信息。由此，提高了二维图像中，物体三维信息的获取效率和精确度，保证了获取物体的三维信息的获取方式的鲁棒性。

为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如前述实施例所描述的物体的三维信息获取方法。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述方法实施例所描述的物体的三维信息获取方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (11)

1.一种物体的三维信息获取方法，其特征在于，包括以下步骤：

获取包含待识别的物体的图像，根据所述图像提取所述物体的二维关键点，并确定与所述图像匹配的候选三维模型集合；

对所述候选三维模型集合的每个候选三维模型确定与所述二维关键点匹配的三维关键点，确定所述二维关键点满足预设约束充分条件，并根据所述三维关键点和所述二维关键点确定所述每个候选三维模型的多个第一参考姿态位置，获取所述每个候选三维模型在对应的所述多个第一参考姿态位置下和所述物体的多个重投影误差，并确定所述候选三维模型集合对应的第一重投影误差值集合；

确定所述第一重投影误差值集合中的最小重投影误差值对应的第一目标姿态位置和第一目标三维模型；

根据所述第一目标姿态位置和所述第一目标三维模型获取所述物体的三维信息；

若确定所述二维关键点不满足所述预设约束充分条件，则根据预设的提取策略提取所述图像中的参考物体的参考图像；

根据所述参考图像确定所述物体的地面约束信息，并根据所述地面约束信息、所述二维关键点和所述每个候选三维模型的所述三维关键点确定所述每个候选三维模型的多个第二参考姿态位置；

获取所述每个候选三维模型在对应的所述多个第二参考姿态位置下和所述物体的多个重投影误差值；

确定所述候选三维模型集合中的多个候选三维模型对应的第二重投影误差值集合，并确定所述第二重投影误差值集合中的最小重投影误差值对应的第二目标姿态位置和第二目标三维模型；

根据所述第二目标姿态位置和所述第二目标三维模型获取所述物体的三维信息。

2.如权利要求1所述的方法，其特征在于，所述确定所述二维关键点满足预设约束充分条件，包括：

确定所述二维关键点的数量相对较多且不存在于所述物体的同一平面上。

3.如权利要求1所述的方法，其特征在于，所述若确定所述二维关键点不满足所述预设约束充分条件则根据预设的提取策略提取所述图像中的参考物体的参考图像，包括：

若所述二维关键点存在于所述物体的同一平面上，则识别所述图像中多个参考候选物体的参考候选图像；

识别所述多个参考候选图像中每个参考候选图像的二维关键点；

确定所述二维关键点不在所述参考候选物体的同一平面上的参考候选物体为所述参考物体。

4.如权利要求3所述的方法，其特征在于，当所述参考物体为多个时，所述提取所述图像中的参考物体的参考图像包括：

计算所述每个参考物体对应的二维关键点的平均值，以获取所述每个参考物体的参考中心点；

计算所述物体的所述二维关键点的平均值，获取所述物体的物体中心点；

计算所述物体中心点与每个参考中心点之间的距离绝对值；

比较多个所述参考物体对应的多个距离绝对值的大小，确定最小距离绝对值对应的目标参考物体，并提取所述目标参考物体的所述参考图像。

5.如权利要求1所述的方法，其特征在于，所述根据所述参考图像确定所述物体的地面约束信息，并根据所述地面约束信息、所述二维关键点和所述每个候选三维模型的所述三维关键点确定所述每个候选三维模型的多个第二参考姿态位置，包括：

获取所述参考图像在竖直方向上的高度数据和在水平方向上的水平姿态数据；

根据预设估算算法和所述水平姿态数据确定所述物体的多个水平姿态估算数据；

根据所述二维关键点和所述每个候选三维模型的所述三维关键点的对应关系确定与所述多个水平姿态估算数据中每个水平姿态估算数据对应的法向量旋转角度；

根据所述多个水平姿态估算数据和与所述每个水平姿态估算数据对应的所述法向旋转角度确定所述每个候选三维模型的多个第二参考姿态位置。

6.如权利要求5所述的方法，其特征在于，所述根据预设估算算法和所述水平姿态数据确定所述物体的多个水平姿态估算数据，包括：

获取所述参考图像的第一位置信息和所述图像的第二位置信息，根据所述第一位置信息和所述第二位置信息确定搜索方向；

将所述水平姿态数据作为最小二乘初值，根据所述最小二乘法沿所述搜索方向对所述最小二乘初值进行估算确定所述多个水平姿态估算值。

7.如权利要求5所述的方法，其特征在于，所述获取所述每个候选三维模型在对应的所述多个第二参考姿态位置下和所述物体的多个重投影误差值，包括：

确定所述每个候选三维模型在所述对应的所述多个第二参考姿态位置中每个第二参考姿态位置的所述法向旋转角度；

获取在所述法向旋转角度下所述每个候选三维模型与所述物体的重投影误差。

8.一种物体的三维信息获取装置，其特征在于，包括：

第一提取模块，用于获取包含待识别的物体的图像，根据所述图像提取所述物体的二维关键点；

第一确定模块，用于确定与所述图像匹配的候选三维模型集合；

第二确定模块，用于对所述候选三维模型集合的每个候选三维模型确定与所述二维关键点匹配的三维关键点；

第三确定模块，用于确定所述二维关键点满足预设约束充分条件，根据所述三维关键点和所述二维关键点确定所述每个候选三维模型的多个第一参考姿态位置；

第四确定模块，用于获取所述每个候选三维模型在对应的所述多个第一参考姿态位置下和所述物体的多个重投影误差，并确定所述候选三维模型集合对应的第一重投影误差值集合；

第五确定模块，用于确定所述第一重投影误差值集合中的最小重投影误差值对应的第一目标姿态位置和第一目标三维模型；

第一获取模块，用于根据所述第一目标姿态位置和所述第一目标三维模型获取所述物体的三维信息；

第二提取模块，用于在所述第三确定模块确定所述二维关键点不满足所述预设约束充分条件时，根据预设的提取策略提取所述图像中的参考物体的参考图像；

第六确定模块，用于根据所述参考图像确定所述物体的地面约束信息，并根据所述地面约束信息、所述二维关键点和所述每个候选三维模型的所述三维关键点确定所述每个候选三维模型的多个第二参考姿态位置；

第二获取模块，用于获取所述每个候选三维模型在对应的所述多个第二参考姿态位置下和所述物体的多个重投影误差值；

第七确定模块，用于确定所述候选三维模型集合中的多个候选三维模型对应的第二重投影误差值集合，并确定所述第二重投影误差值集合中的最小重投影误差值对应的第二目标姿态位置和第二目标三维模型；

所述第一获取模块，还用于根据所述第一目标姿态位置和所述第一目标三维模型获取所述物体的三维信息。

9.如权利要求8所述的装置，其特征在于，所述第三确定模块，具体用于确定所述二维关键点的数量相对较多且不存在于所述物体的同一平面上。

10.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7任一所述的物体的三维信息获取方法。

11.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一所述的物体的三维信息获取方法。

Images