CN108510590A - 一种生成三维边界框的方法及装置 - Google Patents

一种生成三维边界框的方法及装置 Download PDF

Info

Publication number
CN108510590A
CN108510590A CN201710101696.0A CN201710101696A CN108510590A CN 108510590 A CN108510590 A CN 108510590A CN 201710101696 A CN201710101696 A CN 201710101696A CN 108510590 A CN108510590 A CN 108510590A
Authority
CN
China
Prior art keywords
vertex
straight line
target object
remaining
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710101696.0A
Other languages
English (en)
Inventor
陈利虎
李倢姝
郑贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Future Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Future Technology Co Ltd filed Critical Beijing Tusimple Future Technology Co Ltd
Priority to CN201710101696.0A priority Critical patent/CN108510590A/zh
Publication of CN108510590A publication Critical patent/CN108510590A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Abstract

本发明公开一种生成三维边界框的方法和装置,以解决现有技术中二维边界框提供的目标对象信息不全面的技术问题。方法包括:获取待标定图片中目标对象的顶点信息,该顶点信息中包含多个构成所述目标对象的三维边界框的长、宽、高的已知顶点以及该已知顶点在目标对象中的位置信息;根据已知顶点确定构成所述三维边界框的剩余顶点;根据已知顶点的位置信息,确定剩余顶点在目标对象中的位置信息;根据所述已知顶点和剩余顶点及其位置信息,生成所述目标对象的三维边界框。采用本发明技术方案生成的三维边界框能够体现目标对象的体面信息,为后续提高目标检测的准确性提供依据。

Description

一种生成三维边界框的方法及装置
技术领域
本发明涉及计算机领域,特别涉及一种生成三维边界框的方法及装置。
背景技术
目前,在一些特定领域需要对拍摄得到的图片中的目标对象进行标注,例如:在自动驾驶领域,需要对车辆、行人、三轮车、自行车、电动车、摩托车等进行标注,在安防、安全监控等领域需要对行人进行标注。目前,对目标对象进行标注主要采用二维边界框(如矩形框)的方式进行标注,如图1所示。该种通过2D边界框的标定方式,只能识别目标对象二维边界,但是并不能体现该目标对象的详细信息(例如目标对象的不同体面等),从而使得该标注结果不能为后续的算法(例如目标检测)提供准确的依据,从而导致计算结果准确性较低。
发明内容
鉴于上述问题,本发明提供一种生成三维边界框的方法及装置,以解决现有技术中二维边界框提供的目标对象信息不全面的技术问题。
本发明实施例,一方面,提供一种生成三维边界框的方法,方法包括:
获取待标定图片中目标对象的顶点信息,该顶点信息中包含多个构成所述目标对象的三维边界框的长、宽、高的已知顶点以及该已知顶点在目标对象中的位置信息;
根据所述多个已知顶点确定构成所述三维边界框的剩余顶点;
根据已知顶点的位置信息,确定剩余顶点在目标对象中的位置信息;
根据所述已知顶点和剩余顶点及其位置信息,生成所述目标对象的三维边界框。
本发明实施例第二方面,提供一种生成三维边界框的装置,该装置包括:
获取单元,用于获取待标定图片中目标对象的顶点信息,该顶点信息中包含多个构成所述目标对象的三维边界框的长、宽、高的已知顶点以及该已知顶点在目标对象中的位置信息;
顶点确定单元,用于根据所述多个已知顶点确定构成所述三维边界框的剩余顶点;
位置信息确定单元,用于根据已知顶点的位置信息,确定剩余顶点在目标对象中的位置信息;
生成单元,用于根据所述已知顶点和剩余顶点及其位置信息,生成所述目标对象的三维边界框。
本发明技术方案,一方面,能够根据目标对象在待标定图片中呈现的可视体面获取构成用于标定目标对象的三维边界框的已知顶点,并根据该已知顶点生成三维边界框的剩余顶点,从而能够根据已知顶点和剩余顶点生成适合目标对象尺寸的三维边界框;另一方面,构成三维边界框的顶点具有表示其在目标对象中的位置信息,从而使得生成的三维边界框能够体现目标对象的体面信息,例如目标对象的正面、背面、侧面等,为后续提高目标检测的准确性提供依据。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。
图1为现有技术中标注二维边界框的示意图;
图2为本发明实施例中生成三维边界框的方法流程图之一;
图3为本发明实施例中确定出剩余顶点的位置信息的示意图;
图4为本发明实施例中生成三维边界框的方法流程图之二;
图5为本发明实施例中生成消失点的示意图;
图6A~图6C为本发明实施例中根据已知顶点生成消失点以及剩余顶点的示意图之一;
图7A~图7C为本发明实施例中根据已知顶点生成消失点以及剩余顶点的示意图之二;
图8A~图8C为本发明实施例中根据已知顶点生成消失点以及剩余顶点的示意图之三;
图9为本发明实施例中生成三维边界框的装置的结构示意图之一;
图10为本发明实施例中生成三维边界框的装置的结构示意图之二。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
平行的直线都消失无穷远同一点,此点即为消失点。视平线一般可以等同为地平线,它在你目能所及的最远处,一切景物“消失”的地方。凡是平行的直线都消失于无穷远处的同一个点,消失于视平线上的点的直线都是水平直线。
实施例一
参见图2,为本发明实施例中一种生成三维边界框的方法流程图,该方法包括:
步骤S100、获取待标定图片中目标对象的顶点信息,该顶点信息中包含多个构成所述目标对象的三维边界框的长、宽、高的已知顶点以及已知顶点在目标对象中的位置信息。
本发明实施例中的三维边界框由八个顶点构成。
本发明实施例中,前述步骤S100可以通过但不仅限于以下方式实现:
方式1、接收标定人员在待标定图片中标定出的目标对象的已知顶点以及赋予该已知顶点在目标对象中的位置信息。
已知顶点在目标对象中的位置信息,可以通过标定人员人工赋予,也可以通过计算机根据标定人员标定已知顶点的操作信息赋予位置信息。以目标对象为车辆进行说明,该车辆的三维边界框的8个顶点在车辆上的位置包括:车头左上角、车头右上角、车头左下角、车头右下角、车尾左上角、车尾右上角、车尾左下角、车位右下角等,用于表述该位置的位置信息的形式可以多种多样,本申请不做严格限定,例如位置信息可以是文字描述,也可以是用于表示前述位置的字母或数字标识,例如车头左上角、车头右上角、车头左下角、车头右下角、车尾左上角、车尾右下角分别用数字0、1、2、3、4、5、6、7表示,仅仅是一个示例,本领域技术人员可以根据实际需求灵活设置。其中车头左上角、车头右上角、车头左下角、车头右下角构成车头体面;车头左上角、车头左下角、车尾左上角、车尾左下角构成车辆左侧体面;车头右上角、车头右下角、车尾右上角、车尾右下角构成车辆的右侧体面;车尾左上角、车尾左下角、车尾右上角、车尾右下角构成车辆的车尾体面;车头左下角、车头右下角、车尾左下角、车尾右下角构成车辆的底面;车头左上角、车头右上角、车尾左上角、车尾右上角构成车辆的顶面。
实例1、由标定人员人工赋予已知顶点在目标对象中的位置。标定人员在每标定一个已知顶点时,为该已知顶点加上位置信息。
实例2、预先设置有目标对象在图片中呈现的各种视角与已知顶点的标定顺序的第一对应关系,以及预先设置有已知顶点的标定顺序与已知顶点在目标对象中的位置信息的第二对应关系。当标定人员对当前目标对象进行标定时,根据该目标对象在待标定图片中的视角,从所述第一对应关系中确定标定顺序,并按照该标定顺序标定目标对象的已知顶点,并将已知顶点反馈给计算机程序模块,由计算机程序模块从第二对应关系中确定本次标定的已知顶点的位置信息。
方式2、由预置的计算机程序模块识别出待标定图片中的目标对象,并识别该目标对象中符合标定已知顶点的位置点,将该位置点确定为目标对象的已知顶点,并通过前述方式1中由标定人员人工赋予或通过计算机程序模块赋予已知顶点在目标对象中的位置信息。在此不再赘述。
步骤S200、根据所述多个已知顶点确定构成所述三维边界框的剩余顶点。
步骤S300、根据已知顶点的位置信息,确定剩余顶点在目标对象中的位置信息。
本发明实施例中,可以预先设置有已知顶点标定顺序与剩余顶点确定顺序及其位置信息的第三对应关系。根据前述第一对应关系确定已知顶点标定顺序之后,从第三对应关系中确定出与该已知顶点标定顺序对应的剩余顶点确定顺序,并按照该剩余顶点确定顺序依次确定待标定对象的三维边界框的剩余顶点及其位置信息。如图3所示,假设根据第一关系确定已知顶点标定顺序为车尾右上角、车尾右下角、车尾左下角和车头右下角,即分别对应已知顶点1、已知顶点2、已知顶点3和已知顶点4;从第三对应关系中确定出与已知顶点标定顺序对应的剩余顶点确定顺序为车头右上角、车尾左上角、车头左下角和车头左上角,即对应的第一剩余顶点5、第二剩余顶点6、第三剩余顶点7和第四剩余顶点8。图3仅仅是个示例,并不局限于以上方式,本领域技术人员还可以根据实际需要灵活设置。
另外,本发明实施例,还可以由标定人员根据已知顶点的位置信息,人工赋予剩余顶点的位置信息,在计算机程序标定出剩余顶点后,由标定人员为该剩余顶点赋予位置信息。
步骤S400、根据所述已知顶点和剩余顶点及其位置信息,生成所述目标对象的三维边界框。
优选地,为进一步提高确定待标定图片中各个目标对象的消失点的效率,本发明实施例,还可以在前述步骤S100之前或者在步骤S100和步骤S200之间还可以包括步骤100A,如图4所示为在步骤S100之前包括步骤S100A:
步骤S100A、确定待标定图片的视平线。
此时,前述步骤S200具体实现可如下:
步骤A1、根据所述多个已知顶点确定目标对象在所述视平线上的消失点;
步骤A2、根据所述多个已知顶点与消失点计算得到构成所述三维边界框的剩余顶点。
优选地,在实际应用中,道路两侧往往沿路设置有较为固定且整齐的静态物体,例如马路牙子、路灯、防护栏等,车辆在沿着道路行驶的过程中拍摄前方图片,而在这些图片中可以看到位于一侧的静态物体沿着道路方向延伸直至消失,而往往这些静态物体消失的点能够体现道路上目标对象的消失点,因此,本发明实施例可以借助这些静态物体确定视平线。前述步骤S100A可以但不仅限于以下方式实现:
步骤B1、根据待标定图片中沿着道路布置的参照物,生成两条分别向道路消失方向延伸的直线;
步骤B2、将该两条直线的交点作为消失点,并将经过该消失点且平行于待标定图片的宽边的直线作为视平线。
利用两点成线的原理,从位于同一道路同一侧的同类参照物上(例如路灯、马路牙子或防护栏等等)选取两个点,根据该两个点生成向道路消失方向延伸的直线。如图5所示,为根据两条道路的同一侧的路灯生成两条直线,将经过该两条直线的交点且平行于待标定图片的宽边的直线作为视平线。
本发明实施例,还可以是得到待标定图片时,由计算机程序模块预先根据待标定图片的长边的长度L与预置比例值k(其中k是大于0且小于1的值,一般情况下取0.4~0.6),例如L与k的乘积得到D,将待标定图片的中心点向上或向下纵向移动到距离待标定图片宽边为D的位置,绘制经过该位置且平行于待标定图片的宽边的直线,将该直线确定为初始视平线。后续在得到步骤B2所示的交点时,再将该初始视平线向上或向下纵向移动到该交点即得到视平线。
本领域技术人员还可以根据拍摄所述待标定图片的摄像机的参数、摄像机与道路之间的关系等确定待标定图片的视平线。
优选地,假设多个已知顶点为构成三维边界框的高边的第一顶点和第二顶点、宽边的第二顶点和第三顶点、长边的第二顶点和第四顶点,则本发明实施例的步骤A1,具体实现可如下:
步骤A11、判断所述第二顶点和第三顶点构成的第一直线与所述视平线是否平行;
步骤A12、若平行,则第二顶点和第四顶点构成的第二直线与所述视平线的交点确定为所述目标对象的消失点;
步骤A13、若不平行,则将所述第一直线与所述视平线的交点、所述第二直线与所述视平线的交点,确定为所述目标对象的消失点。
优选地,本发明前述步骤A2具体实现可如下:
步骤A21、分别作连接已知顶点与各消失点的第三直线;
步骤A22、分别作经过第三顶点、第四顶点且平行于第一顶点与第二顶点构成的直线的第四直线;
步骤A23、根据所述第三直线之间的交点、第三直线与第四直线之间的交点,确定构成所述三维边界框的剩余顶点。
优选地,前述步骤A23具体实现可如下:
若第一直线与视平线不平行,则:从第三直线与第四直线的交点中确定出第一剩余顶点和第二剩余顶点;从第三直线之间的交点中确定出第三剩余顶点;从第一剩余顶点与消失点构成的直线和第二剩余顶点与消失点构成的直线的交点中,确定出第四剩余顶点;
或者,若第一直线与视平线平行,则:从第三直线与第四直线的交点中确定出第一剩余顶点;作经过第一顶点且平行于第一直线的第五直线,并从第五直线与第四直线的交点中确定第二剩余顶点;作经过第四顶点且平行于第一直线的第六直线,并将第六直线与第三直线的交点中确定出第三剩余顶点;作经过第三剩余顶点且平行于第一顶点和第二顶点构成的直线的第七直线,从第七直线与第二剩余顶点与消失点构成的直线的交点中确定为第四剩余顶点。
为便于本领域技术人员对本发明技术方案的理解,下面结合两个具体示例对本方案进行详细的描述,该示例中的目标对象为车辆,其他目标对象的原理类似,不再一一列举。
如图6A~图6C所示,为第一直线与视平线不平行时,计算得到消失点以及根据已知顶点和消失点得到剩余顶点的示意图。
如图6A所示,假设已知顶点1(即第一已知顶点)、已知顶点2(即第二已知顶点)和已知顶点3(即第三已知顶点)以及已知顶点4(即第四已知顶点),该四个已知顶点在车辆的位置分别为车尾右上角、车尾右下角、车尾左下角、车头右下角。已知顶点1和已知顶点2构成三维边界框的高边,已知顶点2和已知顶点3构成三维边界框的宽边,已知顶点2和已知顶点4构成三维边界框的长边。绘制经过已知顶点2和已知顶点4的直线L6,以及绘制经过已知顶点2和已知顶点3的直线L1,分别将L1和视平线的交点P1以及将L6与视平线的交点P2确定为目标车辆的消失点。
如图6B所示,绘制经过已知顶点1和消失点P1的直线L2,绘制已知顶点4和消失点P1的直线L3,绘制已知顶点1和消失点P2的直线L4,绘制已知顶点3和消失点P2的直线L5,绘制经过已知顶点3且平行于经过已知顶点1和已知顶点2的直线的直线m1,绘制经过已知顶点4且平行于已知顶点1和已知顶点2的直线的直线m2。将直线m2与直线L4的交点确定为第一剩余顶点5;将直线m1与直线L2的交点确定为第二剩余顶点6;将直线L3与直线L5的交点确定为第三剩余顶点7;绘制经过第一剩余顶点5与消失点P1的直线k1,绘制第二剩余顶点6与消失点P2的直线k2,并将直线k1和直线k2的交点确定为第四剩余顶点8;
根据所述已知顶点1、已知顶点2、已知顶点3和已知顶点4的位置信息,确定第一剩余顶点5的位置为车头右上角、第二剩余顶点6的位置为车尾左上角、第三剩余顶点7的位置为车头左下角、第四剩余顶点8的位置为车头左上角。
根据所述已知顶点1、已知顶点2、已知顶点3和已知顶点4、第一剩余顶点5、第二剩余顶点6、第三剩余顶点7和第四剩余顶点8,绘制目标车辆的三维边界框,如图6C所示。
如图7A~图7B所示,为第一直线与视平线平行时,计算得到消失点以及根据已知顶点和消失点得到剩余顶点的示意图。
如图7A所示,假设已知顶点1(即第一顶点)、已知顶点2(即第二顶点)和已知顶点3(即第三顶点)以及已知顶点4(即第四顶点),该四个已知顶点在车辆的位置分别为车尾右上角、车尾右下角、车尾左下角、车头右下角。已知顶点1和已知顶点2构成三维边界框的高边,已知顶点2和已知顶点3构成三维边界框的宽边,已知顶点2和已知顶点4构成三维边界框的长边。绘制经过已知顶点2和已知顶点4的直线L2,将直线L2和视平线的交点P确定为目标车辆的消失点。
如图7B所示,绘制经过已知顶点1与消失点P的直线L1,绘制经过已知顶点3与消失点P的直线L3,绘制经过已知顶点3且平行于已知顶点1和已知顶点2的直线的直线k1,绘制经过已知顶点4且平行于已知顶点1和已知顶点2的直线的直线k2。将直线L1与直线k2的交点确定为第一剩余顶点5。绘制经过已知顶点1且平行于经过已知顶点2和已知顶点3的直线(即第一直线)的直线m1,将直线m1与直线k1的交点确定为第二剩余顶点6。绘制经过已知顶点4且平行于第一直线的直线m2,并将直线m2与直线L3的交点确定为第三剩余顶点7。绘制经过第二剩余顶点6和消失点P的直线L6,绘制经过第三剩余顶点7且平行于已知顶点1和已知顶点2的直线的直线k3,将直线L6与直线k3的交点确定为第四剩余点8。
根据所述已知顶点1、已知顶点2、已知顶点3和已知顶点4的位置信息,确定第一剩余顶点5的位置为车头右上角、第二剩余顶点6的位置为车尾左上角、第三剩余顶点7的位置为车头左下角、第四剩余顶点8的位置为车头左上角。
根据所述已知顶点1、已知顶点2、已知顶点3和已知顶点4、第一剩余顶点5、第二剩余顶点6、第三剩余顶点7和第四剩余顶点8,绘制目标车辆的三维边界框,如图7C所示。
优选地,针对一些特殊情况,例如待标定图片中的目标对象处于上坡的情况,目标对象的垂直轴与相机的垂直轴不平行,无法确定视平线,因此,针对该种特殊情况,本发明实施例还提供另外一种确定目标对象的三维边界框的方式,由标定人员按照预置的标定方案(例如从左到右依次标定构成三维边界框的高边的6个顶点;或者从右到左依次标定构成三维边界框的6个顶点),标定目标车辆的三维边界框的6个已知顶点;根据该6个已知顶点生成3个消失点;根据6个已知顶点和3消失点确定三维边界框的2个剩余顶点;根据该6个已知顶点和2个剩余顶点得到目标车辆的三维边界框。具体实现可如图8A~图8C所示:
步骤C1、从左到右标定构成目标车辆的三维边界框的三条高边的6个已知顶点,即已知顶点1、已知顶点2、已知顶点3、已知顶点4、已知顶点5和已知顶点6,如图8A所示;
步骤C2、将已知顶点1和已知顶点3构成的直线L1与已知顶点2和已知顶点4构成的直线L2的交点作为第一消失点P1;将已知顶点1和已知顶点2构成的直线L3与已知顶点3和已知顶点4构成的直线L4的交点作为第二消失点P2;将已知顶点3和已知顶点5构成的直线L5与已知顶点4和已知顶点6构成的直线L6的交点作为第三消失点P3;
步骤C3、将已知顶点2与消失点P3构成的直线k1与已知顶点6与消失点P1构成的直线k2的交点作为第一剩余顶点7,将已知顶点1与消失点P3构成的直线k3与已知顶点5与消失点1构成的直线k4的交点作为第二剩余顶点8;如图8B所示;
步骤C4、根据已知顶点1~6、第一剩余顶点7和第二剩余顶点8,构成如图8C所示的三维边界框。
实施例二
基于前述生成三维边界框的方法相同的构思,本发明实施例二还提供一种生成三维边界框的装置,如图9所示,为本发明实施例中生成三维边界框的装置,该装置包括:
获取单元91,用于获取待标定图片中目标对象的顶点信息,该顶点信息中包含多个构成所述目标对象的三维边界框的长、宽、高的已知顶点以及该已知顶点在目标对象中的位置信息;
顶点确定单元92,用于根据所述多个已知顶点确定构成所述三维边界框的剩余顶点;
位置信息确定单元93,用于根据已知顶点的位置信息,确定剩余顶点在目标对象中的位置信息;
生成单元94,用于根据所述已知顶点和剩余顶点及其位置信息,生成所述目标对象的三维边界框。
优选地,前述图9所示的装置,还可以包含视平线确定单元90,如图10所示:
视平线确定单元90,用于确定所述待标定图片的视平线;
所述顶点确定单元92,具体包括:
第一确定子单元921,用于根据所述多个已知顶点确定目标对象在所述视平线上的消失点;
第二确定子单元922,用于根据所述多个已知顶点与消失点计算得到构成所述三维边界框的剩余顶点。
优选地,所述视平线确定单元90,具体用于:
根据待标定图片中位于道路两侧且沿着道路布置的同一类参照物,生成道路两侧分别向道路消失方向延伸的直线;
将该两条直线的交点作为消失点,并将经过该消失点且平行于待标定图片的宽边的直线作为视平线。
优选地,所述多个已知顶点包含:构成所述三维边界框的高边的第一顶点和第二顶点、宽边的第二顶点和第三顶点、长边的第二顶点和第四顶点;
第一确定子单元921,具体用于:判断所述第二顶点和第三顶点构成的第一直线与所述视平线是否平行;若平行,则第二顶点和第四顶点构成的第二直线与所述视平线的交点确定为所述目标对象的消失点;若不平行,则将所述第一直线与所述视平线的交点、所述第二直线与所述视平线的交点,确定为所述目标对象的消失点。
第二确定子单元922,具体用于:
分别作连接已知顶点与各消失点的第三直线;
分别作经过第三顶点、第四顶点且平行于第一顶点与第二顶点构成的直线的第四直线;
根据所述第三直线之间的交点、第三直线与第四直线之间的交点,确定构成所述三维边界框的剩余顶点。
本发明实施例中,第二确定子单元922
根据所述第三直线之间的交点、第三直线与第四直线之间的交点,确定构成所述三维边界框的剩余顶点,具体包括:
若第一直线与视平线不平行,则:从第三直线与第四直线的交点中确定出第一剩余顶点和第二剩余顶点;从第三直线之间的交点中确定出第三剩余顶点;从第一剩余顶点与消失点构成的直线和第二剩余顶点与消失点构成的直线的交点中,确定出第四剩余顶点;
或者,若第一直线与视平线平行,则:从第三直线与第四直线的交点中确定出第一剩余顶点;作经过第一顶点且平行于第一直线的第五直线,并从第五直线与第四直线的交点中确定第二剩余顶点;作经过第四顶点且平行于第一直线的第六直线,并将第六直线与第三直线的交点中确定出第三剩余顶点;作经过第三剩余顶点且平行于第一顶点和第二顶点构成的直线的第七直线,从第七直线与第二剩余顶点与消失点构成的直线的交点中确定为第四剩余顶点。
本发明技术方案,一方面,能够根据目标对象在待标定图片中呈现的可视体面获取构成用于标定目标对象的三维边界框的已知顶点,并根据该已知顶点生成三维边界框的剩余顶点,从而能够根据已知顶点和剩余顶点生成适合目标对象的三维边界框;另一方面,构成三维边界框的顶点具有表示其在目标对象中的位置信息,从而使得生成的三维边界框能够体现目标对象的体面信息,例如目标对象的正面、背面、侧面等,为后续提高目标检测的准确性提供依据。以上是本发明的核心思想,为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明实施例中技术方案作进一步详细的说明。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种生成三维边界框的方法,其特征在于,包括:
获取待标定图片中目标对象的顶点信息,该顶点信息中包含多个构成所述目标对象的三维边界框的长、宽、高的已知顶点以及该已知顶点在目标对象中的位置信息;
根据所述多个已知顶点确定构成所述三维边界框的剩余顶点;
根据已知顶点的位置信息,确定剩余顶点在目标对象中的位置信息;
根据所述已知顶点和剩余顶点及其位置信息,生成所述目标对象的三维边界框。
2.根据权利要求1所述的方法,其特征在于,在获取待标定图片中目标对象的顶点信息之前,还包括:确定所述待标定图片的视平线;
根据所述多个已知顶点确定构成所述三维边界框的剩余顶点,具体包括:根据所述多个已知顶点确定目标对象在所述视平线上的消失点,并根据所述多个已知顶点与消失点计算得到构成所述三维边界框的剩余顶点。
3.根据权利要求2所述的方法,其特征在于,确定所述待标定图片的视平线,具体包括:
根据待标定图片中沿着道路布置的参照物,生成两条分别向道路消失方向延伸的直线;
将该两条直线的交点作为消失点,并将经过该消失点且平行于待标定图片的宽边的直线作为视平线。
4.根据权利要求3所述的方法,其特征在于,所述参照物包含以下一种或多种:路灯、防护栏、马路牙子。
5.根据权利要求2所述的方法,其特征在于,所述多个已知顶点包含:构成所述三维边界框的高边的第一顶点和第二顶点、宽边的第二顶点和第三顶点、长边的第二顶点和第四顶点;
根据所述多个已知顶点确定目标对象在所述视平线上的消失点,具体包括:
判断所述第二顶点和第三顶点构成的第一直线与所述视平线是否平行;
若平行,则第二顶点和第四顶点构成的第二直线与所述视平线的交点确定为所述目标对象的消失点;
若不平行,则将所述第一直线与所述视平线的交点、所述第二直线与所述视平线的交点,确定为所述目标对象的消失点。
6.根据权利要求5所述的方法,其特征在于,根据所述多个已知顶点与消失点计算得到构成所述三维边界框的剩余顶点,具体包括:
分别作连接已知顶点与各消失点的第三直线;
分别作经过第三顶点、第四顶点且平行于第一顶点与第二顶点构成的直线的第四直线;
根据所述第三直线之间的交点、第三直线与第四直线之间的交点,确定构成所述三维边界框的剩余顶点。
7.根据权利要求6所述的方法,其特征在于,根据所述第三直线之间的交点、第三直线与第四直线之间的交点,确定构成所述三维边界框的剩余顶点,具体包括:
若第一直线与视平线不平行,则:从第三直线与第四直线的交点中确定出第一剩余顶点和第二剩余顶点;从第三直线之间的交点中确定出第三剩余顶点;从第一剩余顶点与消失点构成的直线和第二剩余顶点与消失点构成的直线的交点中,确定出第四剩余顶点;
或者,若第一直线与视平线平行,则:从第三直线与第四直线的交点中确定出第一剩余顶点;作经过第一顶点且平行于第一直线的第五直线,并从第五直线与第四直线的交点中确定第二剩余顶点;作经过第四顶点且平行于第一直线的第六直线,并将第六直线与第三直线的交点中确定出第三剩余顶点;作经过第三剩余顶点且平行于第一顶点和第二顶点构成的直线的第七直线,从第七直线与第二剩余顶点与消失点构成的直线的交点中确定为第四剩余顶点。
8.一种生成三维边界框的装置,其特征在于,包括:
获取单元,用于获取待标定图片中目标对象的顶点信息,该顶点信息中包含多个构成所述目标对象的三维边界框的长、宽、高的已知顶点以及该已知顶点在目标对象中的位置信息;
顶点确定单元,用于根据所述多个已知顶点确定构成所述三维边界框的剩余顶点;
位置信息确定单元,用于根据已知顶点的位置信息,确定剩余顶点在目标对象中的位置信息;
生成单元,用于根据所述已知顶点和剩余顶点及其位置信息,生成所述目标对象的三维边界框。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
视平线确定单元,用于确定所述待标定图片的视平线;
所述顶点确定单元,具体包括:
第一确定子单元,用于根据所述多个已知顶点确定目标对象在所述视平线上的消失点;
第二确定子单元,用于根据所述多个已知顶点与消失点计算得到构成所述三维边界框的剩余顶点。
10.根据权利要求9所述的装置,其特征在于,所述视平线确定单元,具体用于:
根据待标定图片中沿着道路布置的参照物,生成两条分别向道路消失方向延伸的直线;
将该两条直线的交点作为消失点,并将经过该消失点且平行于待标定图片的宽边的直线作为视平线。
11.根据权利要求9所述的装置,其特征在于,所述多个已知顶点包含:构成所述三维边界框的高边的第一顶点和第二顶点、宽边的第二顶点和第三顶点、长边的第二顶点和第四顶点;
第一确定子单元,具体用于:判断所述第二顶点和第三顶点构成的第一直线与所述视平线是否平行;若平行,则第二顶点和第四顶点构成的第二直线与所述视平线的交点确定为所述目标对象的消失点;若不平行,则将所述第一直线与所述视平线的交点、所述第二直线与所述视平线的交点,确定为所述目标对象的消失点。
12.根据权利要求11所述的装置,其特征在于,第二确定子单元,具体用于:
分别作连接已知顶点与各消失点的第三直线;
分别作经过第三顶点、第四顶点且平行于第一顶点与第二顶点构成的直线的第四直线;
根据所述第三直线之间的交点、第三直线与第四直线之间的交点,确定构成所述三维边界框的剩余顶点。
CN201710101696.0A 2017-02-24 2017-02-24 一种生成三维边界框的方法及装置 Pending CN108510590A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710101696.0A CN108510590A (zh) 2017-02-24 2017-02-24 一种生成三维边界框的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710101696.0A CN108510590A (zh) 2017-02-24 2017-02-24 一种生成三维边界框的方法及装置

Publications (1)

Publication Number Publication Date
CN108510590A true CN108510590A (zh) 2018-09-07

Family

ID=63372871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710101696.0A Pending CN108510590A (zh) 2017-02-24 2017-02-24 一种生成三维边界框的方法及装置

Country Status (1)

Country Link
CN (1) CN108510590A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298370A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置
CN110390258A (zh) * 2019-06-05 2019-10-29 东南大学 图像目标三维信息标注方法
CN110555407A (zh) * 2019-09-02 2019-12-10 东风汽车有限公司 路面车辆空间识别方法及电子设备
CN110909620A (zh) * 2019-10-30 2020-03-24 北京迈格威科技有限公司 车辆检测方法、装置、电子设备及存储介质
CN111079523A (zh) * 2019-11-05 2020-04-28 北京迈格威科技有限公司 物体检测方法、装置、计算机设备和存储介质
CN111079523B (zh) * 2019-11-05 2024-05-14 北京迈格威科技有限公司 物体检测方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595415A (zh) * 1998-12-19 2005-03-16 世嘉股份有限公司 图象生成装置和图象生成方法
CN102103746A (zh) * 2009-12-21 2011-06-22 云南大学 利用正四面体求解圆环点标定摄像机内参数的方法
CN103578133A (zh) * 2012-08-03 2014-02-12 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1595415A (zh) * 1998-12-19 2005-03-16 世嘉股份有限公司 图象生成装置和图象生成方法
CN102103746A (zh) * 2009-12-21 2011-06-22 云南大学 利用正四面体求解圆环点标定摄像机内参数的方法
CN103578133A (zh) * 2012-08-03 2014-02-12 浙江大华技术股份有限公司 一种将二维图像信息进行三维重建的方法和设备
US20160093052A1 (en) * 2014-09-26 2016-03-31 Neusoft Corporation Method and apparatus for detecting obstacle based on monocular camera

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杜海滨等著: "《产品设计与实训》", 31 January 2008, 东方出版中心 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298370A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 网络模型训练方法、装置及物体位姿确定方法、装置
CN110390258A (zh) * 2019-06-05 2019-10-29 东南大学 图像目标三维信息标注方法
CN110555407A (zh) * 2019-09-02 2019-12-10 东风汽车有限公司 路面车辆空间识别方法及电子设备
CN110555407B (zh) * 2019-09-02 2022-03-08 东风汽车有限公司 路面车辆空间识别方法及电子设备
CN110909620A (zh) * 2019-10-30 2020-03-24 北京迈格威科技有限公司 车辆检测方法、装置、电子设备及存储介质
CN111079523A (zh) * 2019-11-05 2020-04-28 北京迈格威科技有限公司 物体检测方法、装置、计算机设备和存储介质
CN111079523B (zh) * 2019-11-05 2024-05-14 北京迈格威科技有限公司 物体检测方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN108510590A (zh) 一种生成三维边界框的方法及装置
CN105608693B (zh) 车载全景环视的标定系统及方法
EP2973422B1 (en) Overlaying two-dimensional map data on a three-dimensional scene
CN104034269B (zh) 一种单目视觉测量方法与装置
CN103258329B (zh) 一种基于圆球一维特性的摄像机标定方法
CN105913478A (zh) 360度全景显示方法、显示模块及移动终端
CN103927748B (zh) 一种基于多矩形图像距离转换模型的坐标标定方法
CN101796849A (zh) 用于使视差栅栏屏对准屏幕的方法
CN102750397A (zh) 一种自动生成三维场景彩色施工图的系统
CN107808412A (zh) 一种基于低成本的三维热源环境模型确定环境信息方法
CN108765495A (zh) 一种基于双目视觉检测技术的快速标定方法及系统
CN107038755A (zh) 矢量数据叠加dsm自动批量生成三维模型的方法
CN110489897A (zh) 一种基于bim和gis的三维施工场布vr全景沙盘制作方法
CN106780704B (zh) 基于可见性重用的三维场景直接光照效果近似绘制方法
CN112215308A (zh) 一种吊装物体单阶检测方法、装置、电子设备及存储介质
CN106528736A (zh) 一种拖拽页面组件时显示对齐线的方法及装置
CN101383051B (zh) 一种基于图像重投影的视图合成方法
CN103260008B (zh) 一种影像位置到实际位置的射影转换方法
WO2009119026A1 (ja) プレゼンテーションシステム
CN103605680A (zh) 一种数据库地图的功能实现方法
CN104615604B (zh) 一种对多图层路网数据层次描画的方法及装置
CN102663665B (zh) 具有自适应深度的立体图像图文标签的显示和编辑方法
CN104867170B (zh) 公交线路密度分布图绘制方法及系统
CN104504677B (zh) 一种基于可变视角的图像生成方法
CN110285831A (zh) 一种网格结构光投射器标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200324

Address after: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant after: BEIJING TUSEN ZHITU TECHNOLOGY Co.,Ltd.

Address before: 101300, No. two, 1 road, Shunyi Park, Zhongguancun science and Technology Park, Beijing, Shunyi District

Applicant before: BEIJING TUSEN WEILAI TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180907

RJ01 Rejection of invention patent application after publication