CN111079619A - 用于检测图像中的目标对象的方法和装置 - Google Patents

用于检测图像中的目标对象的方法和装置 Download PDF

Info

Publication number
CN111079619A
CN111079619A CN201911259327.XA CN201911259327A CN111079619A CN 111079619 A CN111079619 A CN 111079619A CN 201911259327 A CN201911259327 A CN 201911259327A CN 111079619 A CN111079619 A CN 111079619A
Authority
CN
China
Prior art keywords
target object
dimensional
bounding box
surrounding frame
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911259327.XA
Other languages
English (en)
Other versions
CN111079619B (zh
Inventor
叶晓青
谭啸
张伟
孙昊
丁二锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201911259327.XA priority Critical patent/CN111079619B/zh
Publication of CN111079619A publication Critical patent/CN111079619A/zh
Priority to US16/894,123 priority patent/US11776155B2/en
Application granted granted Critical
Publication of CN111079619B publication Critical patent/CN111079619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

本公开涉及人工智能领域。本公开的实施例提供了用于检测图像中的目标对象的方法和装置。该方法包括：利用预先训练的神经网络执行如下预测操作：检测二维图像中的目标对象，确定目标对象的二维包围框；确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系；方法还包括：根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定目标对象的三维投影包围框。该方法提升了目标对象位置检测的准确性。

Description

用于检测图像中的目标对象的方法和装置
技术领域
本公开的实施例涉及计算机技术领域，具体涉及人工智能技术领域，尤其涉及用于检测图像中的目标对象的方法和装置。
背景技术
道路场景中，交通参与者的位置检测可以为智慧交通、自动驾驶、智能城市系统等提供有效的帮助。目前，道路场景下的三维目标检测方法主要基于双目相机或雷达获取三维数据，这种方法对深度估计算法的精度要求较高，计算复杂度高，并且成本也较高。另外，雷达生成的点云在远处较为稀疏，检测精度较低。
发明内容
本公开的实施例提出了用于检测图像中的目标对象的方法和装置、用于检测目标对象的神经网络的训练方法和装置、电子设备和计算机可读介质。
第一方面，本公开的实施例提供了一种用于检测图像中的目标对象的方法，包括：利用预先训练的神经网络执行如下预测操作：检测二维图像中的目标对象，确定目标对象的二维包围框；确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系；方法还包括：根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定目标对象的三维投影包围框。
在一些实施例中，上述确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系，包括：确定与目标对象对应的预设参数组中各参数的取值；其中，预设参数组包括至少两个第一参数对和至少四个第二参数；每个第一参数对分别表征三维包围框的一个顶点与二维包围框的相对位置，且第一参数对中的两个参数分别表征：三维包围框上的一个顶点与二维包围框在高度方向的两个顶点的相对位置和与二维包围框在宽度方向的两个顶点的相对位置；每个第二参数分别表征三维投影包围框的一个顶点在二维包围框的宽度或高度方向上与二维包围框在相同方向上的两个顶点之间的相对位置，且任一第一参数对和任一第二参数表征三维投影包围框的不同顶点相对于二维包围框的位置。
在一些实施例中，上述确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系，还包括：从预设的至少两个姿态类型中确定目标对象的姿态类型，其中，目标对象的姿态类型与目标对象的三维投影包围框的顶点中被目标对象遮挡的顶点的数量相关；根据目标对象的姿态类型确定目标对象对应的预设参数组。
在一些实施例中，上述目标对象的姿态类型还与目标对象的朝向相关；以及上述根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定目标对象的三维投影包围框，包括：基于二维包围框的顶点坐标、预设参数组中的参数的取值、以及目标对象的姿态类型，确定三维投影包围框的部分顶点的坐标；基于确定出的三维投影包围框的部分顶点的坐标，以及三维投影包围框与对应的三维包围框之间的投影几何关系，计算出三维投影包围框的其他顶点的坐标。
在一些实施例中，上述预测操作还包括：对目标对象进行分类，确定目标对象的类别。
第二方面，本公开的实施例提供了一种用于检测目标对象的神经网络的训练方法，包括：获取样本数据，样本数据包括已标注所包含的目标对象的三维投影包围框的样本图像，其中，三维投影包围框是对应的三维包围框在样本图像中的投影；基于样本数据，对用于检测目标对象的神经网络进行多次迭代训练；其中，迭代训练包括：利用当前的用于检测目标对象的神经网络执行如下操作：对样本图像中的目标对象进行检测得到目标对象的二维包围框的检测结果，以及确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系；根据样本图像中的目标对象的二维包围框的检测结果以及样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定样本图像中的目标对象的三维投影包围框的检测结果；基于样本图像中的目标对象的三维投影包围框的检测结果与样本图像中标注的目标对象的三维投影包围框之间的差异更新用于检测目标对象的神经网络的参数。
在一些实施例中，上述用于检测目标对象的神经网络包括二维回归分支和三维回归分支，二维回归分支输出样本图像中的目标对象的二维包围框的检测结果，三维回归分支确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
在一些实施例中，上述用于检测目标对象的神经网络还包括三维分类分支；上述迭代训练还包括：采用三维分类分支确定目标对象的姿态类型，目标对象的姿态类型与目标对象的三维投影包围框的顶点中被目标对象遮挡的顶点的数量和/或目标对象的朝向相关；以及上述三维回归分支根据目标对象的姿态类型确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
在一些实施例中，上述样本数据还包括样本图像中目标对象的类别标注信息，用于检测目标对象的神经网络还包括二维分类分支；上述迭代训练还包括：利用二维分类分支对目标对象进行分类，基于目标对象的分类结果与目标对象的类别标注信息之间的差异更新用于检测目标对象的神经网络的参数。
第三方面，本公开的实施例提供了一种用于检测图像中的目标对象的装置，包括：预测单元，被配置为利用预先训练的神经网络执行如下预测操作：检测二维图像中的目标对象，确定目标对象的二维包围框；确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系；确定单元，被配置为根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定目标对象的三维投影包围框。
在一些实施例中，上述预测单元被配置为按照如下方式确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系：确定与目标对象对应的预设参数组中各参数的取值；其中，预设参数组包括至少两个第一参数对和至少四个第二参数；每个第一参数对分别表征三维包围框的一个顶点与二维包围框的相对位置，且第一参数对中的两个参数分别表征：三维包围框上的一个顶点与二维包围框在高度方向的两个顶点的相对位置和与二维包围框在宽度方向的两个顶点的相对位置；每个第二参数分别表征三维投影包围框的一个顶点在二维包围框的宽度或高度方向上与二维包围框在相同方向上的两个顶点之间的相对位置，且任一第一参数对和任一第二参数表征三维投影包围框的不同顶点相对于二维包围框的位置。
在一些实施例中，上述预测单元还被配置为：从预设的至少两个姿态类型中确定目标对象的姿态类型，其中，目标对象的姿态类型与目标对象的三维投影包围框的顶点中被目标对象遮挡的顶点的数量相关；根据目标对象的姿态类型确定目标对象对应的预设参数组。
在一些实施例中，上述目标对象的姿态类型还与目标对象的朝向相关；以及上述确定单元被配置为根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，按照如下方式确定目标对象的三维投影包围框：基于二维包围框的顶点坐标、预设参数组中的参数的取值、以及目标对象的姿态类型，确定三维投影包围框的部分顶点的坐标；基于确定出的三维投影包围框的部分顶点的坐标，以及三维投影包围框与对应的三维包围框之间的投影几何关系，计算出三维投影包围框的其他顶点的坐标。
在一些实施例中，上述预测操作还包括：对目标对象进行分类，确定目标对象的类别。
第四方面，本公开的实施例提供了一种用于检测目标对象的神经网络的训练装置，包括：获取单元，被配置为获取样本数据，样本数据包括已标注所包含的目标对象的三维投影包围框的样本图像，其中，三维投影包围框是对应的三维包围框在样本图像中的投影；训练单元，被配置为基于样本数据，对用于检测目标对象的神经网络进行多次迭代训练；其中，迭代训练包括：利用当前的用于检测目标对象的神经网络执行如下操作：对样本图像中的目标对象进行检测得到目标对象的二维包围框的检测结果，以及确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系；根据样本图像中的目标对象的二维包围框的检测结果以及样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定样本图像中的目标对象的三维投影包围框的检测结果；基于样本图像中的目标对象的三维投影包围框的检测结果与样本图像中标注的目标对象的三维投影包围框之间的差异更新用于检测目标对象的神经网络的参数。
在一些实施例中，上述用于检测目标对象的神经网络包括二维回归分支和三维回归分支，二维回归分支输出样本图像中的目标对象的二维包围框的检测结果，三维回归分支确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
在一些实施例中，上述用于检测目标对象的神经网络还包括三维分类分支；上述迭代训练还包括：采用三维分类分支确定目标对象的姿态类型，目标对象的姿态类型与目标对象的三维投影包围框的顶点中被目标对象遮挡的顶点的数量和/或目标对象的朝向相关；以及上述三维回归分支根据目标对象的姿态类型确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
在一些实施例中，上述样本数据还包括样本图像中目标对象的类别标注信息，用于检测目标对象的神经网络还包括二维分类分支；上述迭代训练还包括：利用二维分类分支对目标对象进行分类，基于目标对象的分类结果与目标对象的类别标注信息之间的差异更新用于检测目标对象的神经网络的参数。
第五方面，本公开的实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面提供的用于检测图像中的目标对象的方法或实现如第二方面提供的用于检测目标对象的神经网络的训练方法。
第六方面，本公开的实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现第一方面提供的用于检测图像中的目标对象的方法或实现如第二方面提供的用于检测目标对象的神经网络的训练方法。
本公开的上述实施例的用于检测图像中的目标对象的方法和装置、电子设备和计算机可读介质，通过首先利用预先训练的神经网络执行如下预测操作：检测二维图像中的目标对象，确定目标对象的二维包围框；确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系；然后根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定目标对象的三维投影包围框，可以利用已训练的神经网络快速地得出更准确的三维位置检测结果，且对于不同距离的目标对象的检测精度一致，解决了远端的目标对象检测精度低的问题。
本公开的上述实施例的用于检测目标对象的神经网络的训练方法和装置，电子设备和计算机可读介质，通过获取样本数据，样本数据包括已标注所包含的目标对象的三维投影包围框的样本图像，其中，三维投影包围框是对应的三维包围框在样本图像中的投影；基于样本数据，对用于检测目标对象的神经网络进行多次迭代训练；其中，迭代训练包括：利用当前的用于检测目标对象的神经网络执行如下操作：对样本图像中的目标对象进行检测得到目标对象的二维包围框的检测结果，以及确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系；根据样本图像中的目标对象的二维包围框的检测结果以及样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定样本图像中的目标对象的三维投影包围框的检测结果；基于样本图像中的目标对象的三维投影包围框的检测结果与样本图像中标注的目标对象的三维投影包围框之间的差异更新用于检测目标对象的神经网络的参数，利用了目标对象的二维包围框与三维投影包围框的位置约束关系来训练神经网络，使得神经网络能够更准确地学习到更准确的位置信息，有利于提升用于检测目标对象的神经网络的精确度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：
图1是本公开的实施例可以应用于其中的示例性系统架构图；
图2是根据本公开的用于检测图像中的目标对象的方法的一个实施例的流程图；
图3a、图3b、图3c是目标对象的二维包围框与三维投影包围框之间的相对位置关系示意图；
图4是根据三维投影包围框中已知顶点的坐标求解其他顶点坐标的原理示意图；
图5是根据本公开的用于检测目标对象的神经网络的训练方法的一个实施例的流程图；
图6是根据本公开的用于检测目标对象的神经网络的训练方法中的一次迭代训练的流程示意图；
图7是本公开的用于检测图像中的目标对象的装置的一个实施例的结构示意图；
图8是本公开的用于检测图像中的目标对象的神经网络的训练装置的一个实施例的结构示意图；
图9是适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的用于检测图像中的目标对象的方法或用于检测图像中的目标对象的装置的示例性系统架构100。
图1示出了可以应用本公开的用于检测图像中的目标对象的方法或用于检测图像中的目标对象的装置的示例性系统架构100。
如图1所示，系统架构100可以包括如图1所示，系统架构100可以包括图像采集设备101、终端设备102、无人驾驶车辆103，网络104和服务器105。网络104用以在图像采集设备101、终端设备102、无人驾驶车辆103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
图像采集设备101、终端设备102、自动驾驶车辆103通过网络104与服务器105交互，以接收或发送数据。图像采集设备101可以是用于采集图像的设备，例如监控摄像头、自动驾驶车辆的车载摄像头，等等。终端设备102可以是与采集图像的设备连接的终端，例如车载终端、手机或便携式电脑等等移动设备、台式计算机，等等。自动驾驶车辆103可以安装有车载摄像头，并且具有车载处理单元，其中车载处理单元可以获取车载摄像头采集的图像。
上述图像采集设备101、终端设备102可以是硬件，也可以是软件。当图像采集设备101、终端设备102为硬件时，可以是各种电子设备。当图像采集设备101、终端设备102为软件时，可以安装在各种电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是运行目标对象检测服务的服务器。服务器105可以从图像采集设备101、终端设备102、自动驾驶车辆103收集图像数据，对图像数据进行目标检测。或者服务器105可以基于收集到的图像数据训练用于检测目标对象的神经网络。
在实践中，服务器105可以直接与图像采集设备101(例如道路监控摄像头)连接或响应于用户110的指示与图像采集设备101连接来获取实时采集的图像数据，运行用于检测目标对象的神经网络，得到目标对象的检测结果。或者，终端设备102或自动驾驶车辆103可以主动地或根据用户110的指示向服务器105发送二维图像以及目标检测请求，服务器105可以接收图像以及目标检测请求，对图像中的目标对象进行检测，然后将检测结果返回终端设备102或自动驾驶车辆103。自动驾驶车辆103可以根据接收到的检测结果进行驾驶决策。
需要说明的是，本公开的实施例所提供的用于检测图像中的目标对象的方法和用于检测目标对象的神经网络的训练方法一般由服务器105执行，相应地，用于检测图像中的目标对象的装置和用于检测目标对象的神经网络的训练装置一般设置于服务器105中。
在一些场景中，服务器105可以从数据库、存储器或其他设备获取待检测的二维图像，这时，示例性系统架构100可以不存在图像采集设备101、终端设备102、自动驾驶车辆103。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
在一些场景中，上述终端设备102、自动驾驶车辆103可以具有数据处理能力，终端设备102、自动驾驶车辆103可以在本地对图像进行目标对象检测，也即本公开的实施例所提供的用于检测图像中的目标对象的方法可以由终端设备102或自动驾驶车辆103执行，相应地，用于检测图像中的目标对象的装置可以设置于终端设备102或自动驾驶车辆103中，这时，示例性的系统架构100可以不存在服务器105。
应该理解，图1中的图像采集设备、终端设备、自动驾驶车辆、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的图像采集设备、终端设备、自动驾驶车辆、网络和服务器。
继续参考图2，其示出了根据本公开的用于检测图像中的目标对象的方法的一个实施例的流程200。该用于检测图像中的目标对象的方法，包括以下步骤：
步骤201，利用预先训练的神经网络执行预测操作。
在本实施例中，首先可以获取预先训练的神经网络，该预先训练的神经网络是用于执行目标对象检测任务的神经网络，可以预先基于样本数据训练得出。上述用于检测图像中的目标对象的方法的执行主体可以运行该预先的神经网络，以使神经网络执行目标对象的检测。
上述预测操作包括：检测二维图像中的目标对象，确定目标对象的二维包围框；以及确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系。
神经网络的训练中可以预先指定对应的训练任务或训练目标。在本实施例中，可以指定神经网络的训练任务或训练目标为预测图像中的目标对象的二维包围框以及二维包围框与三维投影包围框之间的相对位置约束关系。则经过训练之后，神经网络可以执行相应的预测任务。
在这里，目标对象可以是人、动物、植物、物体或标志等实体对象。作为示例，道路场景中，二维图像中的目标对象可以包括车辆、行人、或交通标志等。在实践中，一幅二维图像可以包含多个目标对象，可以分别对每个目标对象进行检测，也可以指定目标对象的类别，仅对指定类别的目标对象进行检测。例如指定目标对象为车辆类，则仅对二维图像中的车辆进行检测。
目标对象的二维包围框是包围目标对象的最小矩形框。三维包围框是三维空间中的最小长方体包围框。三维投影包围框是三维包围框在二维图像中的投影，也即将三维包围框的八个顶点投影至二维的二维图像中之后按序连接形成的投影框。
二维包围框和三维投影包围框都是由目标对象的边界位置确定的。同一目标对象的二维包围框与三维投影包围框之间存在一定的相对位置约束关系，例如，目标对象的二维包围框与三维投影包围框的面积差异在一定的范围内，二维包围框的顶点与三维包围框的顶点之间的距离约束，二维包围框的顶点坐标与三维投影包围框的顶点坐标之间的比例关系，根据二维包围框计算出的目标对象的中心点与根据三维投影包围框计算出的目标对象的中心点之间的距离约束，等等。
上述预先训练的神经网络可以首先对二维图像进行特征提取，根据提取出的特征对目标对象进行分割，并采用回归的方法确定出目标对象的二维包围框。上述预先训练的神经网络还可以根据提取出的特征对二维包围框与三维投影包围框之间的相对位置约束关系进行预测，可选地，在提取出特征并获得目标对象的二维包围框之后，根据提取出的特征和二维包围框，采用分类或回归的方式得出目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
可选地，可以基于标注了同一目标对象的二维包围框和三维投影包围框的图像训练上述神经网络，则神经网络可以学习到图像中同一目标对象的二维包围框和三维投影包围框之间的相对位置约束关系，在应用于检测二维图像中的目标对象时，神经网络可以根据二维图像的特征确定目标对象的二维包围框和三维投影包围框的相对位置约束关系。
在这里，上述相对位置约束关系可以包括二维包围框的若干个顶点的坐标与三维投影包围框的若干个顶点的坐标之间所满足的比例关系，或者二维包围框的和三维投影包围框的中心点坐标之间的距离关系，或者二维包围框的若干条边界分别与三维投影包围框的若干条边界之间夹角之间的关系，等等。
请参考图3a，图3b以及图3c，其分别示出了二维图像中同一目标对象的二维包围框和三维投影包围框的相对位置关系的三种情形的示例。其中矩形实线框为二维包围框，虚线框为三维投影包围框。
图3a中，三维投影包围框的八个顶点中，A0、A4、A2、A6、A1、A7在二维投影包围框内或落在二维投影包围框的边界上，其余两个顶点A3、A5在二维投影包围框之外，并且只有一个顶点A7在二维图像中被目标对象遮挡。图3B中，三维投影包围框的八个顶点中，B0、B4、B2、B6、B1、B7在二维投影包围框内或落在二维投影包围框的边界上，其余两个顶点B3、B5在二维投影包围框之外，并且只有一个顶点B7在二维图像中被目标对象遮挡。图3a和图3b中的箭头方向是目标对象的朝向，可以看出，图3a和图3b中同一目标对象的二维包围框的顶点和三维投影包围框的顶点之间的相对位置关系类似，但是目标对象的朝向差异较大。
图3c中，三维投影包围框的八个顶点中，C0、C4、C2、C1、C6、C7在二维投影包围框内或落在二维投影包围框的边界上，其余两个顶点C3、C5在二维投影包围框之外，并且有两个顶点C6、C7在二维图像中被目标对象遮挡。
从图3a、图3b、图3c可以看出，二维包围框与三维投影包围框的顶点之间的相对位置(即目标对象的二维包围框与三维投影包围框之间的相对位置约束关系的一个示例)可以随着目标对象的形状、姿态的变化而变化。对应地，上述预先训练的神经网络可以提取出二维包围框与三维投影包围框的顶点之间的相对位置关系。
在本实施例的一些可选的实现方式中，上述预测操作还可以包括：对目标对象进行分类，确定目标对象的类别。上述预先训练的神经网络还可以识别目标对象的类别，从而提供更丰富的检测结果。
作为示例中，在道路场景中，可以识别出车辆的类型，例如卡车、小轿车、电动车，等等。该类型信息可以帮助道路上的自动驾驶车辆明确障碍物类型，从而更精准地进行驾驶决策。
步骤202，根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定目标对象的三维投影包围框。
上述用于检测图像中的目标对象的方法的执行主体可以根据神经网络预测出的目标对象的二维包围框，以及目标对象的二维包围框三维投影包围框之间的相对位置约束关系，直接计算或拟合得出目标对象的三维投影包围框，得到二维图像中目标对象的三维位置检测结果。
具体来说，以目标对象的二维包围框与三维投影包围框之间的相对位置约束关系为二者的顶点之间的距离约束为例，在确定二维包围框之后，可以获得二维包围框的各顶点的坐标，然后根据该距离约束通过拟合或回归计算出三维投影包围框中对应的各顶点的坐标。
本公开的上述实施例提供的用于检测图像中的目标对象的方法，通过首先利用预先训练的神经网络执行如下预测操作：检测二维图像中的目标对象，确定目标对象的二维包围框，以及确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系；之后根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定目标对象的三维投影包围框，实现了目标对象的三维位置的快速、准确检测，且对于不同距离的目标对象的检测精度一致，解决了远端的目标对象检测精度低的问题。由于在检测时利用了二维包围框与三维投影包围框之间的相对位置约束，能够提升检测结果的精度。
在本实施例的一些可选的实现方式中，上述神经网络可以通过执行如下操作来确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系：确定与目标对象对应的预设参数组中各参数的取值；其中，预设参数组包括至少两个第一参数对和至少四个第二参数；每个第一参数对分别表征三维包围框的一个顶点与二维包围框的相对位置，且第一参数对中的两个参数分别表征：三维包围框上的一个顶点与二维包围框在高度方向的两个顶点的相对位置和与二维包围框在宽度方向的两个顶点的相对位置；每个第二参数分别表征三维投影包围框的一个顶点在二维包围框的高度或宽度方向上与二维包围框在相同方向上的两个顶点之间的相对位置，且任一第一参数对和任一第二参数表征三维投影包围框的不同顶点相对于二维包围框的位置。
具体来说，可以采用包含至少八个参数的预设参数组来表征二维包围框与三维投影包围框之间的相对位置约束关系。假设二维包围框的左上角顶点和右下角顶点的坐标分别为(x1，y1)，(x2，y2)，宽度W2d＝x2-x1，高度H2d＝y2-y1。三维投影包围框中编号为m(图3a中顶点A1、A2、A3、A4、A5、A6、A7的编号依次为1、2、3、4、5、6、7；图3b中顶点B1、B2、B3、B4、B5、B6、B7的编号依次为1、2、3、4、5、6、7)的顶点坐标表示为B3d(m)，B3d(m).x和B3d(m).x分别表示该顶点的横坐标(在宽度方向上的坐标)和纵坐标(在高度方向上的坐标)，m＝0，1，2，3，4，5，6，7。以图3a所示的情形为例，对应的预设参数组L1＝{L1(0)，L1(1)，L1(2)，L1(3)，…，}至少包含以下八个参数：
Figure BDA0002311175790000141
Figure BDA0002311175790000142
Figure BDA0002311175790000143
Figure BDA0002311175790000144
Figure BDA0002311175790000145
上述八个参数中，包括表征三维包围框的顶点B3d(3)相对于二维包围框的左上角顶点和右下角顶点的相对位置的第一参数对L1(4)和L1(5)、表征三维包围框的顶点B3d(5)相对于二维包围框的左上角顶点和右下角顶点的相对位置的第一参数对L1(6)和L1(7)。其中，L1(4)和L1(5)分别表征顶点B3d(3)与二维包围框在高度方向上的两个顶点的相对位置，L1(4)具体表示为顶点B3d(3)在高度方向上与二维包围框的左上角顶点的之间距离和二维包围框总高度的比值，L1(5)具体表示为顶点B3d(3)在宽度方向上与二维包围框的左上角顶点的之间距离和二维包围框总宽度的比例值。
上述八个参数中，还包括表征三维包围框的顶点B3d(0)、B3d(1)、B3d(6)、B3d(2)在高度方向上与二维包围框在高度方向上的两个顶点之间的相对位置，具体表示为顶点B3d(0)、B3d(1)、B3d(6)、B3d(2)在高度方向上与二维包围框的左上角顶点之间的距离和二维包围框的总高度之间的比例值。
在目标对象的三维投影包围框中有且仅有两个顶点被目标对象遮挡的二维图像中(如图3a和图3b所示的情形)，可以利用上述公式(1)-(5)的八个参数来表示目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。可选地，预设参数组还可以包括其他表征二维包围框与三维投影包围框之间的相对位置关系的参数，例如三维投影包围框的其他顶点与二维包围框的左上角顶点或右下角顶点之间的距离与二维包围框的高度或宽度的比例值。则上述预先训练的神经网络可以预测出预设参数组中各参数的取值。
通过采用神经网络对表征二维包围框与三维投影包围框之间的相对位置约束关系的预设参数组的取值进行预测，可以有效地利用二维包围框与三维投影包围框之间的潜在位置关系，更准确地检测出三维投影包围框的位置。
并且，上述方法最少对八个参数进行预测即可实现二维包围框与三维投影包围框之间的相对位置约束关系的预测，后续可以根据该至少八个参数的参数值计算出三维包围框的各个顶点的坐标，相较于目前的直接对三维投影包围框的8个顶点的16维坐标值进行预测的方法，有效减少了需要预测的数据维数，减少了神经网络的冗余计算，从而能够帮助提升目标对象的检测效率。
进一步可选地，在确定与目标对象对应的预设参数组中各参数的取值之前，还可以从预设的至少两个姿态类型中确定目标对象的姿态类型，然后根据目标对象的姿态类型确定目标对象对应的预设参数组，其中，目标对象的姿态类型与目标对象的三维投影包围框的顶点中被目标对象遮挡的顶点的数量相关。
为了在保证预设参数组中的参数可完整、准确的表征二维包围框与三维投影包围框之间的相对位置约束关系的情况下尽可能地减少预设参数组的数量，可以预先对各种姿态类型的目标对象所对应的参数组进行设置。在这里，目标对象的姿态类型可以是预先设定的，可以按照目标对象的三维投影包围框的顶点中被目标对象遮挡的顶点的数量来分类，例如将图3a和图3b所示的被遮挡的顶点数量为1的情形作为一个姿态类型，将图3c所示的被遮挡的顶点数量为2的情形作为另一个姿态类型。
例如，图3a和图3b所示的情形为：三维投影包围框的顶点中有一个顶点被目标对象遮挡(分别为顶点A7和B7)。图3a和图3b中目标对象的姿态类型均可以采用上述公式(1)-(5)表示的一组参数作为对应的预设参数组。
图3c所示的情形为：三维投影包围框的顶点中有两个顶点被目标对象遮挡(顶点C7和C6)。可以设置图3c中的目标对象的姿态类型对应的预设参数组L2＝{L2(0)，L2(1)，L2(2)，L2(3)，…，}至少包括以下公式(6)-(10)的一组参数：
Figure BDA0002311175790000161
Figure BDA0002311175790000162
Figure BDA0002311175790000163
Figure BDA0002311175790000164
Figure BDA0002311175790000165
在这里，B3d(m)表示三维投影包围框中编号为m的顶点(图3c中顶点C1、C2、C3、C4、C5、C6、C7的编号依次为1、2、3、4、5、6、7)，B3d(m).x和B3d(m).y分别表示该顶点的横坐标和纵坐标。
通过对目标对象的姿态进行分类，可以针对性地预测能更准确表达不同姿态类型的目标对象的二维包围框与三维投影包围框之间相对位置约束关系的预设参数组中参数的取值，从而提升目标对象的三维投影包围框检测结果的准确性。
进一步地，目标对象的姿态类型还可以与目标对象的朝向相关，例如图3a和图3b中目标对象的朝向不同，则其对应的目标对象的姿态类型不同。图3a和图3b的情形均采用上述公式(1)-(5)表示的参数组来表征二维包围框和三维包围框之间的相对位置约束关系，但是当目标对象的姿态类型由图3a所示的情形发生微小扰动变成图3b所示的情形时，上述参数L1(6)的取值将会从一个接近于0的较小值逐渐变成0，然后突变为接近于1的较大值。则上述神经网络在训练中无法很好地区分图3a和图3b的情形下L1(6)的取值应当取较大的值还是取较小的值，也即会在神经网络的学习中带来歧义性，使得训练得到的神经网络的可靠性受到影响。
上述实现方式中，通过根据目标对象的朝向对目标对象的姿态类型作区分，其中图3a中目标对象的姿态类型对应的参数L1(6)的取值不大于0.5，图3b中目标对象的姿态类型对应的参数L1(6)的取值大于0.5。这样，可以有效避免神经网络训练中产生的歧义性，使得神经网络能够学习到更可靠的参数值预测逻辑，从而更加准确地对预设参数组中的各参数的取值进行预测。
在此情况下，可以继续按照如下方式确定目标对象的三维投影包围框：
首先，基于二维包围框的顶点坐标、预设参数组中的参数的取值、以及目标对象的姿态类型，确定三维投影包围框的部分顶点的坐标。
具体地，可以根据神经网络确定出的目标对象的姿态类型(图3a、图3b、图3c所示的三种姿态类型中的一种)，确定目标对象对应的预设参数组为上述L1或L2。然后根据对应的公式(1)-(5)或公式(6)-(10)计算出对应的顶点的横纵坐标。
以图3a所示的姿态类型为例，在神经网络可以预测出参数组L1中各参数的取值之后，可以根据二维包围框的顶点坐标(x1，y1)和(x2，y2)，计算出三维投影包围框的顶点A3(B3d(3).x，B3d(3).y)、A5(B3d(5).x，B3d(5).y))的横纵坐标值，以及顶点A0、A1、A2、A6的纵坐标值B3d(0).y、B3d(1).y、B3d(2).y、B3d(6).y。并且，二维包围框与三维投影包围框的左右两条边界是重合的，这样就可以得到顶点A0、A1、A2、A6的横坐标值，由此得到了六个顶点的坐标。
然后，可以基于确定出的三维投影包围框的部分顶点的坐标，以及三维投影包围框与对应的三维包围框之间的投影几何关系，计算出三维投影包围框的其他顶点的坐标。
根据投影几何原理，三维世界中的平行线在二维图像中将交于同一点，该点为对应改组平行线的消失点。在确定出上述六个顶点的坐标之后，通过求解消失点可计算出三维包围框的其余两个顶点的坐标。
如图4所示，真实世界中l//03与l//12，l//47以及l//56相交于消失点(VP)，则可求解出顶点A1与A7的纵坐标。
这样，可以计算出三维投影包围框的所有顶点的坐标，实现了基于二维图像对目标对象三维位置的准确检测。
本公开的实施例还提供了用于检测目标对象的神经网络的训练方法。请参考图5，其示出了用于检测目标对象的神经网络的训练方法的一个实施例的流程500。该流程500包括以下步骤：
步骤501，获取样本数据，样本数据包括已标注所包含的目标对象的三维投影包围框的样本图像。
在本实施例中，用于检测目标对象的神经网络的训练方法的执行主体(例如图1所示的服务器)可以从图像采集设备、数据库、或其他电子设备获取大量的样本图像，并获取对样本图像中目标对象的二维包围框和三维投影包围框的标注数据。其中，三维投影包围框是对应的三维包围框在样本图像中的投影。
步骤502，基于样本数据，对用于检测目标对象的神经网络进行多次迭代训练。
可以构建用于检测目标对象的神经网络，初始化其参数，然后执行多次迭代训练，在每一次迭代训练中更新用于检测目标对象的神经网络的参数。
迭代训练包括步骤5021、步骤5022以及步骤5023。
在步骤5021中，利用当前的用于检测目标对象的神经网络执行如下操作：对样本图像中的目标对象进行检测得到目标对象的二维包围框的检测结果，以及确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
可以利用当前的用于检测目标对象的神经网络提取样本图像的特征，基于提取出的图像特征来检测目标对象的二维包围框的位置，并确定目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
目标对象的二维包围框与三维投影包围框之间的相对位置约束关系可以包括二维包围框的若干个顶点的坐标与三维投影包围框的若干个顶点的坐标之间所满足的比例关系，或者二维包围框的和三维投影包围框的中心点坐标之间的距离关系，或者二维包围框的若干条边界分别与三维投影包围框的若干条边界之间夹角之间的关系，等等。
在一些可选的实现方式中，可以预先设定参数组，该预设参数组可以包括至少两个第一参数对和至少四个第二参数，其中第一参数对分别表征三维包围框的一个顶点与二维包围框的相对位置，且第一参数对中的两个参数分别表征：三维包围框上的一个顶点与二维包围框在高度方向的两个顶点的相对位置和与二维包围框在宽度方向的两个顶点的相对位置；每个第二参数分别表征三维投影包围框的一个顶点在二维包围框的宽度或高度方向上与二维包围框在相同方向上的两个顶点之间的相对位置，且任一第一参数对和任一第二参数表征三维投影包围框的不同顶点相对于二维包围框的位置。
具体地，预设参数组可以是由上述实施例中公式(1)-(5)表示的一组参数L1，或者是由上述实施例中公式(6)-(10)表示的一组参数L1。其中参数组L1对应图3a和图3b所示的目标对象的姿态类型，参数组L2对应图3c所示的目标对象的姿态类型。
则在步骤5021中，可以采用当前的用于检测目标对象的神经网络预测上述参数组L1或L2中各参数的取值。
进一步地，还可以采用当前的用于检测目标对象的神经网络预测目标对象的姿态类型。其中，目标对象的姿态类型与目标对象的三维投影包围框中被遮挡的顶点的数量相关，例如图3a和图3c对应不同的姿态类型，分别对应参数组L1和参数组L2。这样，通过区分不同的姿态类型，对应预测不同的参数组中参数的取值，使得神经网络能够更准确地学习到二维包围框与三维投影包围框之间的相对位置关系。
可选地，目标对象的姿态类型还可以与目标对象的朝向相关，例如图3a和图3b对应不同的姿态类型。这样，用于检测目标对象的神经网络在迭代训练过程中不会因为参数组中一些参数的取值突变而无法准确得出二维包围框与三维投影包围框之间的相对位置关系，从而避免训练数据的歧义性对神经网络的可靠性造成影响。
在步骤5022中，根据样本图像中的目标对象的二维包围框的检测结果以及样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定样本图像中的目标对象的三维投影包围框的检测结果。
可以采用如上述步骤202类似的方法，根据样本图像中的目标对象的二维包围框的顶点坐标、预测出的二维包围框与三维投影包围框之间的相对位置关系，计算出样本图像中的目标对象的三维投影包围框的各顶点坐标，由此得出当前的用于检测目标对象的神经网络对目标对象的三维投影包围框的检测结果。
接着，在步骤5023中，基于样本图像中的目标对象的三维投影包围框的检测结果与样本图像中标注的目标对象的三维投影包围框之间的差异更新用于检测目标对象的神经网络的参数。
可以基于用于检测目标对象的神经网络对目标对象的三维投影包围框的检测结果与样本图像中标注的目标对象的三维投影包围框之间的差异构建损失函数，基于损失函数，通过反向传播，采用梯度下降的方法更新当前的用于检测目标对象的神经网络的参数。下一次的迭代训练中可以基于更新参数后的用于检测目标对象的神经网络进行训练。
通过执行多次迭代训练操作，用于检测目标对象的神经网络的参数不断优化更新，在上述损失函数达到预设的收敛条件时，例如损失函数的值小于预设值、或最近几次迭代中变化率小于预设的值时，可以停止迭代训练；或者，在迭代训练的执行次数达到预设的最大迭代次数时，可以停止训练，这时得到训练完成的用于检测目标对象的神经网络。
上述实施例的用于检测目标对象的神经网络的训练方法，通过在用于检测目标对象的神经网络进行迭代训练过程中，获取神经网络对样本图像中目标对象的二维包围框的检测结果，以及样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，使得神经网络能够学习到更准确的位置信息，解决了深度神经网络难以学习不同的包围框之间相对位置关系的问题，从而提升了用于检测目标对象的神经网络的准确度。
在一些可选的实现方式中，用于检测目标对象的神经网络包括二维回归分支和三维回归分支，二维回归分支输出样本图像中的目标对象的二维包围框的检测结果，三维回归分支确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
可选地，上述用于检测目标对象的神经网络还包括特征提取分支。上述特征提取分支可以实现为卷积层、池化层、全连接层或其中任意二者以上的组合。二维回归分支和三维回归分支也可以实现为包括卷积层、池化层或全连接层中至少一者的网络结构，还可以包括激活层。
上述特征提取层提取出图像的特征之后分别输入二维回归分支和三维回归分支进行进一步处理，分别得出样本图像中的目标对象的二维包围框的检测结果，以及样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
在本实施例的一些可选的实现方式中，上述用于检测目标对象的神经网络还可以包括三维分类分支。三维分类分支用于确定样本图像中目标对象的姿态类型，其也可以实现为包括卷积层、池化层或全连接层中至少一者的网络结构，还可以包括激活层。其中，姿态类型可以是预先设定的，可以与目标对象的三维投影包围框的顶点中被目标对象遮挡的顶点的数量和/或目标对象的朝向相关。例如，姿态类型可以包括如图3a、图3b、图3c示出的三种。
这时，上述迭代训练还可以包括以下步骤：采用三维分类分支确定目标对象的姿态类型。上述三维回归分支还可以进一步基于三维分类分支的分类结果确定三维回归分支根据目标对象的姿态类型确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。在确定样本图像中目标对象的姿态类型之后，三维回归分支可以选择与该目标对象的姿态类型对应的上述预设参数组进行参数值的预测。这样，通过三维分类分支对目标对象的姿态分类进而确定三维回归分支预测的参数组，减少了三维回归分支需要预测的参数数量，进一步减少了冗余的计算。
在本实施例的一些可选的实现方式中，上述样本数据还包括样本图像中目标对象的类别标注信息，用于检测目标对象的神经网络还包括二维分类分支；以及上述迭代训练还包括：利用二维分类分支对目标对象进行分类，基于目标对象的分类结果与目标对象的类别标注信息之间的差异更新用于检测目标对象的神经网络的参数。
上述损失函数还可以包括表征目标对象的分类结果与目标对象的类别标注信息之间的差异的项，这样，可以将目标对象的分类和目标对象的二维、三维位置检测作为联合训练任务对用于检测目标对象的神经网络进行训练，使得训练得到的用于检测目标对象的神经网络不仅可以检测目标对象的二维和三维位置，还可以提供目标对象的类别信息。
请参考图6，其示出了根据本公开的用于检测目标对象的神经网络在检测目标对象时执行的方法的流程示意图。
如图6所示，首先由特征提取网络提取样本图像image的特征，提取出的特征分别输入2d分支和3d分支进行处理。其中2d分支包括二维分类分支和二维检测分支，其中二维分类分支用于对图像image中的目标对象进行分类，二维检测分支用于检测图像image中的目标对象的位置，输出二维包围框。3d分支包括姿态分类分支和比例值回归分支。其中，姿态分类分支用于对图像image中的目标对象的姿态进行分类，比例值回归分支用于对图像image中的目标对象对应的表征二维包围框与三维投影框之间的相对位置约束关系的预设参数组进行预测。之后，根据二维检测分支、姿态分类分支和比例值回归分支的结果可以恢复三维投影包围框。
进一步参考图7，作为对上述用于检测图像中的目标对象的方法的实现，本公开提供了一种用于检测图像中的目标对象的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例的用于检测图像中的目标对象的装置700包括预测单元701和确定单元702。其中，预测单元701被配置为利用预先训练的神经网络执行如下预测操作：检测二维图像中的目标对象，确定目标对象的二维包围框；确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系。确定单元702被配置为根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定目标对象的三维投影包围框。
在一些实施例中，上述预测单元701被配置为按照如下方式确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系：确定与目标对象对应的预设参数组中各参数的取值；其中，预设参数组包括至少两个第一参数对和至少四个第二参数；每个第一参数对分别表征三维包围框的一个顶点与二维包围框的相对位置，且第一参数对中的两个参数分别表征：三维包围框上的一个顶点与二维包围框在高度方向的两个顶点的相对位置和与二维包围框在宽度方向的两个顶点的相对位置；每个第二参数分别表征三维投影包围框的一个顶点在二维包围框的宽度或高度方向上与二维包围框在相同方向上的两个顶点之间的相对位置，且任一第一参数对和任一第二参数表征三维投影包围框的不同顶点相对于二维包围框的位置。
在一些实施例中，上述预测单元701还被配置为：从预设的至少两个姿态类型中确定目标对象的姿态类型，其中，目标对象的姿态类型与目标对象的三维投影包围框的顶点中被目标对象遮挡的顶点的数量相关；根据目标对象的姿态类型确定目标对象对应的预设参数组。
在一些实施例中，上述目标对象的姿态类型还与目标对象的朝向相关；以及上述确定单元702被配置为根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，按照如下方式确定目标对象的三维投影包围框：基于二维包围框的顶点坐标、预设参数组中的参数的取值、以及目标对象的姿态类型，确定三维投影包围框的部分顶点的坐标；基于确定出的三维投影包围框的部分顶点的坐标，以及三维投影包围框与对应的三维包围框之间的投影几何关系，计算出三维投影包围框的其他顶点的坐标。
在一些实施例中，上述预测操作还包括：对目标对象进行分类，确定目标对象的类别。
进一步参考图8，作为对上述用于检测目标对象的神经网络的训练方法的实现，本公开提供了一种用于检测目标对象的神经网络的训练装置的一个实施例，该装置实施例与图5所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图8所示，本实施例的用于检测图像中的目标对象的装置800包括获取单元801和训练单元802。其中，获取单元801被配置为获取样本数据，样本数据包括已标注所包含的目标对象的三维投影包围框的样本图像，其中，三维投影包围框是对应的三维包围框在样本图像中的投影；训练单元802被配置为基于样本数据，对用于检测目标对象的神经网络进行多次迭代训练；其中，迭代训练包括：利用当前的用于检测目标对象的神经网络执行如下操作：对样本图像中的目标对象进行检测得到目标对象的二维包围框的检测结果，以及确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系；根据样本图像中的目标对象的二维包围框的检测结果以及样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定样本图像中的目标对象的三维投影包围框的检测结果；基于样本图像中的目标对象的三维投影包围框的检测结果与样本图像中标注的目标对象的三维投影包围框之间的差异更新用于检测目标对象的神经网络的参数。
在一些实施例中，上述用于检测目标对象的神经网络包括二维回归分支和三维回归分支，二维回归分支输出样本图像中的目标对象的二维包围框的检测结果，三维回归分支确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
在一些实施例中，上述用于检测目标对象的神经网络还包括三维分类分支；上述迭代训练还包括：采用三维分类分支确定目标对象的姿态类型，目标对象的姿态类型与目标对象的三维投影包围框的顶点中被目标对象遮挡的顶点的数量和/或目标对象的朝向相关；以及上述三维回归分支根据目标对象的姿态类型确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
在一些实施例中，上述样本数据还包括样本图像中目标对象的类别标注信息，用于检测目标对象的神经网络还包括二维分类分支；上述迭代训练还包括：利用二维分类分支对目标对象进行分类，基于目标对象的分类结果与目标对象的类别标注信息之间的差异更新用于检测目标对象的神经网络的参数。
上述装置700和装置800中的各单元分别与参考图2和图5描述的方法中的步骤相对应。由此，上文针对用于检测图像中的目标对象的方法描述的操作、特征及所能达到的技术效果同样适用于装置700、装置800及其中包含的单元，在此不再赘述。
下面参考图9，其示出了适于用来实现本公开的实施例的电子设备(例如图1所示的服务器)900的结构示意图。图9示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900可以包括处理装置(例如中央处理器、图形处理器等)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储装置908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有电子设备900操作所需的各种程序和数据。处理装置901、ROM 902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
通常，以下装置可以连接至I/O接口905：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置906；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置907；包括例如硬盘等的存储装置908；以及通信装置909。通信装置909可以允许电子设备900与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备900，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图9中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置909从网络上被下载和安装，或者从存储装置908被安装，或者从ROM 902被安装。在该计算机程序被处理装置901执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：利用预先训练的神经网络执行如下预测操作：检测二维图像中的目标对象，确定目标对象的二维包围框，确定目标对象的二维包围框与将目标对象的三维包围框投影至二维图像中得到的三维投影包围框之间的相对位置约束关系；根据目标对象的二维包围框以及目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定目标对象的三维投影包围框。
或者，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取样本数据，样本数据包括已标注所包含的目标对象的三维投影包围框的样本图像，其中，三维投影包围框是对应的三维包围框在样本图像中的投影；基于样本数据，对用于检测目标对象的神经网络进行多次迭代训练；其中，迭代训练包括：利用当前的用于检测目标对象的神经网络执行如下操作：对样本图像中的目标对象进行检测得到目标对象的二维包围框的检测结果，以及确定样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系；根据样本图像中的目标对象的二维包围框的检测结果以及样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定样本图像中的目标对象的三维投影包围框的检测结果；基于样本图像中的目标对象的三维投影包围框的检测结果与样本图像中标注的目标对象的三维投影包围框之间的差异更新用于检测目标对象的神经网络的参数。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括预测单元和确定单元，或者一种处理器包括获取单元和训练单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取样本数据的单元”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (20)

1.一种用于检测图像中的目标对象的方法，包括：
利用预先训练的神经网络执行如下预测操作：
检测二维图像中的目标对象，确定所述目标对象的二维包围框；
确定所述目标对象的二维包围框与将所述目标对象的三维包围框投影至所述二维图像中得到的三维投影包围框之间的相对位置约束关系；
所述方法还包括：
根据所述目标对象的二维包围框以及所述目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定所述目标对象的三维投影包围框。
2.根据权利要求1所述的方法，其中，所述确定所述目标对象的二维包围框与将所述目标对象的三维包围框投影至所述二维图像中得到的三维投影包围框之间的相对位置约束关系，包括：
确定与所述目标对象对应的预设参数组中各参数的取值；
其中，所述预设参数组包括至少两个第一参数对和至少四个第二参数；
每个所述第一参数对分别表征所述三维包围框的一个顶点与所述二维包围框的相对位置，且所述第一参数对中的两个参数分别表征：所述三维包围框上的一个顶点与所述二维包围框在高度方向的两个顶点的相对位置和与所述二维包围框在宽度方向的两个顶点的相对位置；
每个第二参数分别表征所述三维投影包围框的一个顶点在所述二维包围框的宽度或高度方向上与所述二维包围框在相同方向上的两个顶点之间的相对位置，且任一所述第一参数对和任一所述第二参数表征所述三维投影包围框的不同顶点相对于所述二维包围框的位置。
3.根据权利要求2所述的方法，其中，所述确定所述目标对象的二维包围框与将所述目标对象的三维包围框投影至所述二维图像中得到的三维投影包围框之间的相对位置约束关系，还包括：
从预设的至少两个姿态类型中确定所述目标对象的姿态类型，其中，所述目标对象的姿态类型与所述目标对象的三维投影包围框的顶点中被所述目标对象遮挡的顶点的数量相关；
根据所述目标对象的姿态类型确定所述目标对象对应的预设参数组。
4.根据权利要求3所述的方法，其中，所述目标对象的姿态类型还与所述目标对象的朝向相关；以及
所述根据所述目标对象的二维包围框以及所述目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定所述目标对象的三维投影包围框，包括：
基于所述二维包围框的顶点坐标、所述预设参数组中的参数的取值、以及所述目标对象的姿态类型，确定所述三维投影包围框的部分顶点的坐标；
基于确定出的所述三维投影包围框的部分顶点的坐标，以及所述三维投影包围框与对应的三维包围框之间的投影几何关系，计算出所述三维投影包围框的其他顶点的坐标。
5.根据权利要求1-4任一项所述的方法，其中，所述预测操作还包括：
对所述目标对象进行分类，确定所述目标对象的类别。
6.一种用于检测目标对象的神经网络的训练方法，包括：
获取样本数据，所述样本数据包括已标注所包含的目标对象的三维投影包围框的样本图像，其中，所述三维投影包围框是对应的三维包围框在样本图像中的投影；
基于样本数据，对所述用于检测目标对象的神经网络进行多次迭代训练；
其中，所述迭代训练包括：
利用当前的用于检测目标对象的神经网络执行如下操作：对样本图像中的目标对象进行检测得到所述目标对象的二维包围框的检测结果，以及确定所述样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系；
根据所述样本图像中的目标对象的二维包围框的检测结果以及所述样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定所述样本图像中的目标对象的三维投影包围框的检测结果；
基于所述样本图像中的目标对象的三维投影包围框的检测结果与所述样本图像中标注的目标对象的三维投影包围框之间的差异更新所述用于检测目标对象的神经网络的参数。
7.根据权利要求6所述的方法，其中，所述用于检测目标对象的神经网络包括二维回归分支和三维回归分支，所述二维回归分支输出样本图像中的目标对象的二维包围框的检测结果，所述三维回归分支确定所述样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
8.根据权利要求7所述的方法，其中，所述用于检测目标对象的神经网络还包括三维分类分支；
所述迭代训练还包括：
采用所述三维分类分支确定所述目标对象的姿态类型，所述目标对象的姿态类型与所述目标对象的三维投影包围框的顶点中被所述目标对象遮挡的顶点的数量和/或所述目标对象的朝向相关；以及
所述三维回归分支根据所述目标对象的姿态类型确定所述样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
9.根据权利要求7或8所述的方法，其中，所述样本数据还包括样本图像中目标对象的类别标注信息，所述用于检测目标对象的神经网络还包括二维分类分支；
所述迭代训练还包括：
利用所述二维分类分支对所述目标对象进行分类，基于所述目标对象的分类结果与目标对象的类别标注信息之间的差异更新所述用于检测目标对象的神经网络的参数。
10.一种用于检测图像中的目标对象的装置，包括：
预测单元，被配置为利用预先训练的神经网络执行如下预测操作：
检测二维图像中的目标对象，确定所述目标对象的二维包围框；
确定所述目标对象的二维包围框与将所述目标对象的三维包围框投影至所述二维图像中得到的三维投影包围框之间的相对位置约束关系；
确定单元，被配置为根据所述目标对象的二维包围框以及所述目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定所述目标对象的三维投影包围框。
11.根据权利要求10所述的装置，其中，所述预测单元被配置为按照如下方式确定所述目标对象的二维包围框与将所述目标对象的三维包围框投影至所述二维图像中得到的三维投影包围框之间的相对位置约束关系：
确定与所述目标对象对应的预设参数组中各参数的取值；
其中，所述预设参数组包括至少两个第一参数对和至少四个第二参数；
每个所述第一参数对分别表征所述三维包围框的一个顶点与所述二维包围框的相对位置，且所述第一参数对中的两个参数分别表征：所述三维包围框上的一个顶点与所述二维包围框在高度方向的两个顶点的相对位置和与所述二维包围框在宽度方向的两个顶点的相对位置；
每个第二参数分别表征所述三维投影包围框的一个顶点在所述二维包围框的宽度或高度方向上与所述二维包围框在相同方向上的两个顶点之间的相对位置，且任一所述第一参数对和任一所述第二参数表征所述三维投影包围框的不同顶点相对于所述二维包围框的位置。
12.根据权利要求11所述的装置，其中，所述预测单元还被配置为：
从预设的至少两个姿态类型中确定所述目标对象的姿态类型，其中，所述目标对象的姿态类型与所述目标对象的三维投影包围框的顶点中被所述目标对象遮挡的顶点的数量相关；
根据所述目标对象的姿态类型确定所述目标对象对应的预设参数组。
13.根据权利要求12所述的装置，其中，所述目标对象的姿态类型还与所述目标对象的朝向相关；以及
所述确定单元被配置为根据所述目标对象的二维包围框以及所述目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，按照如下方式确定所述目标对象的三维投影包围框：
基于所述二维包围框的顶点坐标、所述预设参数组中的参数的取值、以及所述目标对象的姿态类型，确定所述三维投影包围框的部分顶点的坐标；
基于确定出的所述三维投影包围框的部分顶点的坐标，以及所述三维投影包围框与对应的三维包围框之间的投影几何关系，计算出所述三维投影包围框的其他顶点的坐标。
14.根据权利要求10-13任一项所述的装置，其中，所述预测操作还包括：
对所述目标对象进行分类，确定所述目标对象的类别。
15.一种用于检测目标对象的神经网络的训练装置，包括：
获取单元，被配置为获取样本数据，所述样本数据包括已标注所包含的目标对象的三维投影包围框的样本图像，其中，所述三维投影包围框是对应的三维包围框在样本图像中的投影；
训练单元，被配置为基于样本数据，对所述用于检测目标对象的神经网络进行多次迭代训练；
其中，所述迭代训练包括：
利用当前的用于检测目标对象的神经网络执行如下操作：对样本图像中的目标对象进行检测得到所述目标对象的二维包围框的检测结果，以及确定所述样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系；
根据所述样本图像中的目标对象的二维包围框的检测结果以及所述样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系，确定所述样本图像中的目标对象的三维投影包围框的检测结果；
基于所述样本图像中的目标对象的三维投影包围框的检测结果与所述样本图像中标注的目标对象的三维投影包围框之间的差异更新所述用于检测目标对象的神经网络的参数。
16.根据权利要求15所述的装置，其中，所述用于检测目标对象的神经网络包括二维回归分支和三维回归分支，所述二维回归分支输出样本图像中的目标对象的二维包围框的检测结果，所述三维回归分支确定所述样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
17.根据权利要求16所述的装置，其中，所述用于检测目标对象的神经网络还包括三维分类分支；
所述迭代训练还包括：
采用所述三维分类分支确定所述目标对象的姿态类型，所述目标对象的姿态类型与所述目标对象的三维投影包围框的顶点中被所述目标对象遮挡的顶点的数量和/或所述目标对象的朝向相关；以及
所述三维回归分支根据所述目标对象的姿态类型确定所述样本图像中的目标对象的二维包围框与三维投影包围框之间的相对位置约束关系。
18.根据权利要求16或17所述的装置，其中，所述样本数据还包括样本图像中目标对象的类别标注信息，所述用于检测目标对象的神经网络还包括二维分类分支；
所述迭代训练还包括：
利用所述二维分类分支对所述目标对象进行分类，基于所述目标对象的分类结果与目标对象的类别标注信息之间的差异更新所述用于检测目标对象的神经网络的参数。
19.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
20.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN201911259327.XA 2019-12-10 2019-12-10 用于检测图像中的目标对象的方法和装置 Active CN111079619B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911259327.XA CN111079619B (zh) 2019-12-10 2019-12-10 用于检测图像中的目标对象的方法和装置
US16/894,123 US11776155B2 (en) 2019-12-10 2020-06-05 Method and apparatus for detecting target object in image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911259327.XA CN111079619B (zh) 2019-12-10 2019-12-10 用于检测图像中的目标对象的方法和装置

Publications (2)

Publication Number Publication Date
CN111079619A true CN111079619A (zh) 2020-04-28
CN111079619B CN111079619B (zh) 2023-04-18

Family

ID=70313628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911259327.XA Active CN111079619B (zh) 2019-12-10 2019-12-10 用于检测图像中的目标对象的方法和装置

Country Status (2)

Country Link
US (1) US11776155B2 (zh)
CN (1) CN111079619B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652113A (zh) * 2020-05-29 2020-09-11 北京百度网讯科技有限公司 障碍物检测方法、装置、设备以及存储介质
CN111784767A (zh) * 2020-06-08 2020-10-16 珠海格力电器股份有限公司 一种确定目标位置方法及设备
CN112509126A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 三维物体检测的方法、装置、设备及存储介质
CN112926395A (zh) * 2021-01-27 2021-06-08 上海商汤临港智能科技有限公司 目标检测方法、装置、计算机设备及存储介质
US20210209341A1 (en) * 2020-05-15 2021-07-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Three-dimensional object detection method, electronic device and readable storage medium
WO2022016368A1 (zh) * 2020-07-21 2022-01-27 深圳市大疆创新科技有限公司 3d框标注方法、设备及计算机可读存储介质
CN115082886A (zh) * 2022-07-04 2022-09-20 小米汽车科技有限公司 目标检测的方法、装置、存储介质、芯片及车辆
WO2024001804A1 (zh) * 2022-06-28 2024-01-04 安徽蔚来智驾科技有限公司 三维目标检测方法、计算机设备、存储介质及车辆

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508118B2 (en) * 2020-07-13 2022-11-22 Fujitsu Limited Provisioning real-time three-dimensional maps for autonomous vehicles
US20220358333A1 (en) * 2021-05-07 2022-11-10 Ford Global Technologies, Llc Automatic annotation using ground truth data for machine learning models
CN113706633B (zh) * 2021-09-02 2023-08-29 广州小鹏自动驾驶科技有限公司 一种目标对象的三维信息确定方法和装置
CN115035192B (zh) * 2022-06-21 2023-04-14 北京远舢智能科技有限公司 一种烟叶布料车和传送带的位置确定方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060132487A1 (en) * 2004-11-30 2006-06-22 Jason Sada Method of analyzing moving objects using a vanishing point algorithm
CN108961395A (zh) * 2018-07-03 2018-12-07 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN109816704A (zh) * 2019-01-28 2019-05-28 北京百度网讯科技有限公司 物体的三维信息获取方法和装置
CN109872366A (zh) * 2019-02-25 2019-06-11 清华大学 基于深度拟合程度评估网络的物体三维位置检测方法和装置
CN110119679A (zh) * 2019-04-02 2019-08-13 北京百度网讯科技有限公司 物体三维信息估计方法及装置、计算机设备、存储介质
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842163B2 (en) * 2011-06-07 2014-09-23 International Business Machines Corporation Estimation of object properties in 3D world
US10824862B2 (en) * 2017-11-14 2020-11-03 Nuro, Inc. Three-dimensional object detection for autonomous robotic systems using image proposals
US10817752B2 (en) * 2018-05-31 2020-10-27 Toyota Research Institute, Inc. Virtually boosted training
US10839234B2 (en) * 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060132487A1 (en) * 2004-11-30 2006-06-22 Jason Sada Method of analyzing moving objects using a vanishing point algorithm
CN110310315A (zh) * 2018-03-21 2019-10-08 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置
CN108961395A (zh) * 2018-07-03 2018-12-07 上海亦我信息技术有限公司 一种基于拍照重建三维空间场景的方法
CN109816704A (zh) * 2019-01-28 2019-05-28 北京百度网讯科技有限公司 物体的三维信息获取方法和装置
CN109872366A (zh) * 2019-02-25 2019-06-11 清华大学 基于深度拟合程度评估网络的物体三维位置检测方法和装置
CN110119679A (zh) * 2019-04-02 2019-08-13 北京百度网讯科技有限公司 物体三维信息估计方法及装置、计算机设备、存储介质

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210209341A1 (en) * 2020-05-15 2021-07-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Three-dimensional object detection method, electronic device and readable storage medium
US11587338B2 (en) * 2020-05-15 2023-02-21 Beijing Baidu Netcom Science And Technology Co., Ltd. Three-dimensional object detection method, electronic device and readable storage medium
EP3859661A3 (en) * 2020-05-15 2022-03-02 Beijing Baidu Netcom Science And Technology Co. Ltd. Three-dimensional object detection method, electronic device and readable storage medium
JP7228623B2 (ja) 2020-05-29 2023-02-24 阿波▲羅▼智▲聯▼（北京）科技有限公司 障害物検出方法、装置、設備、記憶媒体、及びプログラム
JP2021121970A (ja) * 2020-05-29 2021-08-26 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 障害物検出方法、装置、設備、記憶媒体、及びプログラム
EP3836017A3 (en) * 2020-05-29 2021-10-13 Beijing Baidu Netcom Science And Technology Co. Ltd. Obstacle detection method and device, apparatus, and storage medium
CN111652113A (zh) * 2020-05-29 2020-09-11 北京百度网讯科技有限公司 障碍物检测方法、装置、设备以及存储介质
US11688177B2 (en) 2020-05-29 2023-06-27 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Obstacle detection method and device, apparatus, and storage medium
CN111784767A (zh) * 2020-06-08 2020-10-16 珠海格力电器股份有限公司 一种确定目标位置方法及设备
WO2022016368A1 (zh) * 2020-07-21 2022-01-27 深圳市大疆创新科技有限公司 3d框标注方法、设备及计算机可读存储介质
EP3905124A3 (en) * 2020-12-18 2022-01-05 Beijing Baidu Netcom Science Technology Co., Ltd. Three-dimensional object detecting method, apparatus, device, and storage medium
CN112509126A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 三维物体检测的方法、装置、设备及存储介质
CN112926395A (zh) * 2021-01-27 2021-06-08 上海商汤临港智能科技有限公司 目标检测方法、装置、计算机设备及存储介质
WO2024001804A1 (zh) * 2022-06-28 2024-01-04 安徽蔚来智驾科技有限公司 三维目标检测方法、计算机设备、存储介质及车辆
CN115082886A (zh) * 2022-07-04 2022-09-20 小米汽车科技有限公司 目标检测的方法、装置、存储介质、芯片及车辆
CN115082886B (zh) * 2022-07-04 2023-09-29 小米汽车科技有限公司 目标检测的方法、装置、存储介质、芯片及车辆

Also Published As

Publication number Publication date
CN111079619B (zh) 2023-04-18
US20210174537A1 (en) 2021-06-10
US11776155B2 (en) 2023-10-03

Similar Documents

Publication Publication Date Title
CN111079619B (zh) 用于检测图像中的目标对象的方法和装置
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
US11618438B2 (en) Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
CN110687549B (zh) 障碍物检测方法和装置
CN111860155B (zh) 一种车道线的检测方法及相关设备
JP2021089724A (ja) 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け
WO2017132636A1 (en) Systems and methods for extracting information about objects from scene information
EP3274964B1 (en) Automatic connection of images using visual features
CN113377888B (zh) 训练目标检测模型和检测目标的方法
CN111174782B (zh) 位姿估计方法、装置、电子设备及计算机可读存储介质
CN112740268A (zh) 目标检测方法和装置
EP3640846B1 (en) Method and apparatus to train image recognition model, and image recognition method and apparatus
CN110717918B (zh) 行人检测方法和装置
KR20200075727A (ko) 깊이 맵 산출 방법 및 장치
CN115273002A (zh) 一种图像处理方法、装置、存储介质及计算机程序产品
CN112668596B (zh) 三维物体识别方法及装置、识别模型训练方法及装置
CN115393423A (zh) 目标检测方法和装置
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN114140497A (zh) 目标车辆3d实时追踪方法及系统
CN116868239A (zh) 静态占用跟踪
CN114140512A (zh) 一种图像处理方法以及相关设备
CN115147564A (zh) 一种三维模型构建方法、神经网络训练方法以及装置
Kuriakose et al. Distance estimation methods for smartphone-based navigation support systems
CN113963027B (zh) 不确定性检测模型的训练、不确定性的检测方法及装置
CN115507873B (zh) 基于公交车尾红绿灯的路径规划方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant