CN109188457B - 物体检测框的生成方法、装置、设备、存储介质及车辆 - Google Patents

物体检测框的生成方法、装置、设备、存储介质及车辆 Download PDF

Info

Publication number
CN109188457B
CN109188457B CN201811043506.5A CN201811043506A CN109188457B CN 109188457 B CN109188457 B CN 109188457B CN 201811043506 A CN201811043506 A CN 201811043506A CN 109188457 B CN109188457 B CN 109188457B
Authority
CN
China
Prior art keywords
point cloud
cloud data
detection frame
detection
data frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811043506.5A
Other languages
English (en)
Other versions
CN109188457A (zh
Inventor
林坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811043506.5A priority Critical patent/CN109188457B/zh
Publication of CN109188457A publication Critical patent/CN109188457A/zh
Priority to JP2019154622A priority patent/JP6892484B2/ja
Priority to EP19195678.8A priority patent/EP3620817A1/en
Priority to US16/562,090 priority patent/US11415672B2/en
Application granted granted Critical
Publication of CN109188457B publication Critical patent/CN109188457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明实施例公开了一种物体检测框的生成方法、装置、设备、存储介质及车辆。该方法包括：获取设定时间段内雷达设备采集到的点云数据帧的集合；从所述集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息；对于所述集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息；根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息。本发明实施例提供的基于点云数据的物体检测框的生成方法，对第一时刻之前的第二点云数据帧的检测框信息进行后向校验，可以提高生成物体检测框的准确性。

Description

物体检测框的生成方法、装置、设备、存储介质及车辆
技术领域
本发明实施例涉及无人车技术领域，尤其涉及一种物体检测框的生成方法、装置、设备、存储介质及车辆。
背景技术
在无人车上安装有激光雷达，激光雷达采集到点云数据帧后，需要通过人工标注的方式得到点云数据帧中目标物体的检测框，根据标注的检测框可以获知检测框的中心点的3D位置坐标、长、宽和高，以及检测框内的点云个数。
人工标注检测框的难度较大，人力成本高，数据集的可扩展性差。目前出现了目标物体的自动检测算法，比如CNNSeg算法，使用该算法可以自动得到目标物体的检测框，然而自动检测算法的准确度有待提高。
发明内容
本发明实施例提供一种基于点云数据的物体检测框的生成方法、装置、设备、存储介质及车辆，以提高在点云数据帧中自动生成目标物体检测框的准确度。
第一方面，本发明实施例提供了一种基于点云数据的物体检测框的生成方法，所述方法包括：
获取设定时间段内雷达设备采集到的点云数据帧的集合；
从所述集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息；
对于所述集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息；
根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息。
第二方面，本发明实施例还提供了一种基于点云数据的物体检测框的生成装置，所述装置包括：
点云数据帧集合获取模块，用于获取设定时间段内雷达设备采集到的点云数据帧的集合；
第一检测框信息获取模块，用于从所述集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息；
有效检测框信息确定模块，用于对于所述集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息；
最终检测框信息确定模块，用于根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例所述的基于点云数据的物体检测框的生成方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所述的基于点云数据的物体检测框的生成方法。
第五方面，本发明实施例还提供了一种车辆，包括车体，还包括第三方面所述的电子设备，以及设置在车体上的雷达设备。
本发明实施例，首先获取设定时间段内雷达设备采集到的点云数据帧的集合，然后从集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息，再然后对于集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息，最后根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息。本发明实施例提供的基于点云数据的物体检测框的生成方法，利用无人车距离目标物体最近的第一时刻对应的第一点云数据帧中目标物体的检测框信息，对第一时刻之前的第二点云数据帧的检测框信息进行后向校验，可以提高生成物体检测框的准确性。
附图说明
图1是本发明实施例一中的一种基于点云数据的物体检测框的生成方法的流程图；
图2是本发明实施例一中的另一种基于点云数据的物体检测框的生成方法的流程图；
图3是本发明实施例二中的一种基于点云数据的物体检测框的生成装置的结构示意图；
图4是本发明实施例三中的一种电子设备的结构示意图；
图5是本发明实施例四中的一种车辆的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种基于点云数据的物体检测框的生成方法的流程图，本实施例可适用于无人车系统中基于点云数据生成物体检测框的情况，该方法可以由基于点云数据的物体检测框的生成装置来执行，该装置可由硬件和/或软件组成，并一般可集成在具有基于点云数据的物体检测框的生成功能的设备中，该设备可以是移动终端或者车载设备等电子设备。如图1所示，该方法具体包括如下步骤：
S110，获取设定时间段内雷达设备采集到的点云数据帧的集合。
其中，点云数据可以是由雷达设备扫描获得的，每一个点包含有三维坐标信息，在一些应用场景下还可以包含颜色(Red Green Blue，RGB)信息或者反射强度信息。雷达设备每扫描一次，获得一个点云数据帧。雷达设备包括激光雷达等。
本实施例中，无人车在行驶过程中，雷达设备以一定的周期对车前方的物体进行扫描，在设定时间段内雷达设备扫描多次，从而获得点云数据帧集合。
S120，从集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息。
其中，第一检测框信息可以包括第一检测框的中心点的3D位置坐标、第一检测框的长、第一检测框的宽、第一检测框的高、以及第一检测框内的点云个数。本实施例中，由于车辆处于行驶状态，每一时刻与目标物体的距离都不同，通过分析雷达设备采集到的点云数据帧中包含的信息，可以获得当前时刻无人车与目标物体的距离。
可选的，从集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，可通过下述方式实施：获取集合中各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息，根据检测框信息确定对应点云数据帧中目标物体与无人车的距离；选取最小距离对应的点云数据帧，作为无人车距离目标物体最近的第一时刻对应的第一点云数据帧。
其中，点云数据帧中可以是包含多个物体，每个物体对应一个检测框，物体位于其对应的检测框内。采用自动检测算法可以获取到目标物体的检测框信息，通过检测框信息可以获得点云数据帧中目标物体与无人车的距离。在集合中的每个点云数据帧，是雷达设备在不同时刻采集获得的，则目标物体与无人车的距离也不相同，选择目标物体与无人车距离最小的点云数据帧，确定为无人车距离目标物体最近的第一时刻对应的第一点云数据帧。
可选的，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息，可通过下述方式实施：对以第一时刻为中心的第一子时间段内各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息进行归一化处理，得到目标物体对应的第一检测框信息。
其中，第一子时间段位于设定时间段内，并且第一子时间段的起始时刻与设定时间段的起始时刻不重合。假设设定时间段为[t1，t2]，第一时刻为t3，t3位于t1和t2之间，则第一子时间段可以设置为[t3-Δt，t3+Δt]，且t3-Δt与t1不重合，即t3-Δt在t1与t3之间。
具体的，在获得第一子时间段内的各点云数据帧后，采用自动检测算法获取各点云数据帧中目标物体分别对应的检测框信息，然后对各检测框信息进行归一化处理，得到目标物体对应的第一检测框信息。
可选的，对以第一时刻为中心的第一子时间段内各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息进行归一化处理，可通过下述方式实施：计算以第一时刻为中心的第一子时间段内各点云数据帧对应的加权系数；将第一子时间段内各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息与相应加权系数进行相乘；将各相乘结果进行相加，得到检测框信息的归一化处理结果值。
其中，第一子时间段内各点云数据帧对应的加权系数可以通过下述公式计算：
Figure BDA0001792682110000061
其中，Pi表示第一子时间段内第i个点云数据帧的加权系数，di表示第一子时间段内第i个点云数据帧中目标物体与无人车的距离，n表示在第一子时间段内有n个点云数据帧。
检测框信息可以包括检测框的中心点的3D位置坐标、检测框的长、检测框的宽、检测框的高、以及检测框内的点云个数。在对检测框信息进行归一化处理时，可以是对检测框信息中的3D位置坐标、检测框的长、检测框的宽、检测框的高、以及检测框内的点云个数分别进行归一化处理。例如，以检测框的长为例，将第一子时间段内各点云数据帧中目标物体的检测框的长与相应加权系数进行相乘，然后将各相乘结果进行相加，得到检测框的长的归一化处理结果值；示例性的，假设Li为第一子时间段内第i个点云数据帧中目标物体的检测框的长，则检测框的长的归一化处理结果值的计算公式为：L＝P1*L1+P2*L2+……PnLn，其中，L表示检测框的长的归一化处理结果值，n表示在第一子时间段内有n个点云数据帧，Pi表示第一子时间段内第i个点云数据帧的加权系数。检测框信息中的3D位置坐标、检测框的宽、检测框的高、以及检测框内的点云个数的归一化处理结果值的计算方式和检测框的长的类似，此处不再赘述。
S130，对于集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息。
其中，第二时刻可以是设定时间段的起始时刻到第一子时间段的起始时刻内的任意时刻，在上述实施例中，设定时间段为[t1，t2]，第一子时间段为[t3-Δt，t3+Δt]，则第二时刻为时间段[t1，t3-Δt]内的任意一个时刻。第一检测框信息是否是有效检测框信息可以理解为第一检测框信息是否可以作为第二点云数据中目标物体的检测框信息。具体的，在获得第一检测框信息后，分别判断第一检测检测框信息相对于每一个第二点云数据帧是否有效。
可选的，对于集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息，可通过下述方式实施：对于从设定时间段的起始时刻至第一子时间段的起始时刻构成的第二子时间段中的各第二点云数据帧，计算第一检测框信息的置信度，若计算出的置信度大于设定阈值，则确定第一检测框信息对于当前第二点云数据帧是有效检测框信息，否则，确定第一检测框信息对于当前第二点云数据帧不是有效检测框信息。
其中，置信度的设定阈值可以设置为0.7-0.8之间的任意值，优选的，设置为0.75。
可选的，计算第一检测框信息的置信度，可通过下述方式实施：获取当前第二点云数据帧中通过自动检测算法得到的各检测框，查找各检测框中与第一检测框有交集并且交集的体积超过设定阈值的检测框，作为候选框；以各候选框与第一检测框的重叠度(IOU)值的大小为权重，对所有候选框的中心位置进行加权平均，得到当前第二点云数据帧对应的中心坐标；统计所有候选框所框住的点云中落入第一检测框的点云个数，将统计个数进行累加得到当前第二点云数据帧对应的点云总数；根据所述中心坐标和所述点云总数，计算当前第二点云数据帧对应的第一检测框信息的置信度。
其中，各检测框为点云数据帧中包括的各个物体分别对应的检测框。交集的体积超过设定阈值可以是各检测框与第一检测框的交集的体积超过第一检测框体积的设定比例，优选的，设定比例设置为30％。IOU值的计算公式如下：IOU值＝(两个框的交集的体积/两个框的并集的体积)*100％。示例性的，假设当前第二点云数据帧中确定出3个候选框，中心位置坐标分别为(x1,y1,z1)、(x2,y2,z2)和(x3,y3,z3)，IOU值分别为IOU1、IOU2和IOU3，则第二点云数据帧的中心坐标为:
Figure BDA0001792682110000081
当前第二点云数据帧对应的第一检测框信息的置信度可通过如下公式计算：confidence＝max(1/(当前第二点云数据帧对应的中心坐标与第一检测框的中心坐标的欧式距离+1e-3)+当前第二点云数据帧对应的点云总数/第一检测框内的点云总数，1)；其中，confidence为置信度。其中，欧式距离的计算公式为：d＝((X1-X2)2+(Y1-Y2)2+(Z1-Z2)2)1/2，其中，(X1，Y1，Z1)为当前第二点云数据帧对应的中心坐标，(X2，Y2，Z2)为第一检测框的中心坐标。假设A＝1/(当前第二点云数据帧对应的中心坐标与第一检测框的中心坐标的欧式距离+1e-3)+当前第二点云数据帧对应的点云总数/第一检测框内的点云总数，则置信度的值取A和1中的最大值。
S140，根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息。
其中，判定结果包括第一检测框信息对于当前第二点云数据帧有效或者第一检测框信息对于当前第二点云数据帧不是有效的。若第一检测框信息对于当前第二点云数据帧有效，则将第一检测框信息作为当前第二点云数据中目标物体的最终检测框信息。
可选的，该方法还包括：在确定第一检测框信息对于当前第二点云数据帧是有效检测框信息时，记录第一数值；在确定第一检测框信息对于当前第二点云数据帧不是有效检测框信息时，记录第二数值。
其中，第一数值可以记为“1”，第二数值可以记为“0”。
相应的，根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息，可通过下述方式实施：对生成的数值序列进行平滑处理；选取平滑处理后的数值序列中的目标子序列，将第一检测框信息作为目标子序列对应的各点云数据帧的目标物体的最终检测框信息。
其中，目标子序列为数值序列中由连续的第一数值构成且长度最长的子序列。对生成的数值序列进行平滑处理的方式可以是：如果生成的数值序列第二数值左右时刻各有至少两个第一数值，则将该第二数值置为第一数值；如果生成的数值序列中第一数值左右时刻各有至少两个第二数值，则将该第一数值置为第二数值。示例性的，假设生成的数值序列为111011，在“0”左时刻有3个“1”，右时刻有2个“1”，则将“0”置为“1”。
具体的，在对数值序列平滑处理后，数值序列中会包含由连续的第一数值以及连续的第二数值构成的子序列，将由连续的第一数值构成且长度最长的子序列确定为目标子序列，并将第一检测框信息作为目标子序列对应的各点云数据帧的目标物体的最终检测框信息。
本实施例的技术方案，首先获取设定时间段内雷达设备采集到的点云数据帧的集合，然后从集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息，再然后对于集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息，最后根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息。本发明实施例提供的基于点云数据的物体检测框的生成方法，利用无人车距离目标物体最近的第一时刻对应的第一点云数据帧中目标物体的检测框信息，对第一时刻之前的第二点云数据帧的检测框信息进行后向校验，并对后向校验的结果进行时序上的平滑，得到稳定的检测框，可以提高生成物体检测框的准确性。
图2为本发明实施例一提供的另一种基于点云数据的物体检测框的生成方法的流程图。作为对上述实施例的进一步解释，如图2所示，该方法包括如下步骤：
S210，获取设定时间段内雷达设备采集到的点云数据帧的集合。
S220，获取集合中各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息，根据检测框信息确定对应点云数据帧中目标物体与无人车的距离。
S230，选取最小距离对应的点云数据帧，作为无人车距离目标物体最近的第一时刻对应的第一点云数据帧。
S240，对以第一时刻为中心的第一子时间段内各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息进行归一化处理，得到目标物体对应的第一检测框信息。
S250，对于从设定时间段的起始时刻至第一子时间段的起始时刻构成的第二子时间段中的各第二点云数据帧，计算第一检测框信息的置信度，若计算出的置信度大于设定阈值，则确定第一检测框信息对于当前第二点云数据帧是有效检测框信息，否则，确定第一检测框信息对于当前第二点云数据帧不是有效检测框信息。
S260，在确定第一检测框信息对于当前第二点云数据帧是有效检测框信息时，记录第一数值；在确定第一检测框信息对于当前第二点云数据帧不是有效检测框信息时，记录第二数值。
S270，对生成的数值序列进行平滑处理；选取平滑处理后的数值序列中的目标子序列，将第一检测框信息作为目标子序列对应的各点云数据帧的目标物体的最终检测框信息。
实施例二
图3为本发明实施例二提供的一种基于点云数据的物体检测框的生成装置的结构示意图。如图3所示，该装置包括：点云数据帧集合获取模块310，第一检测框信息获取模块320，有效检测框信息确定模块330和最终检测框信息确定模块340。
点云数据帧集合获取模块310，用于获取设定时间段内雷达设备采集到的点云数据帧的集合；
第一检测框信息获取模块320，用于从集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息；
有效检测框信息确定模块330，用于对于集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息；
最终检测框信息确定模块340，用于根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息。
可选的，第一检测框信息获取模块320，还用于：
获取集合中各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息，根据检测框信息确定对应点云数据帧中目标物体与无人车的距离；
选取最小距离对应的点云数据帧，作为无人车距离目标物体最近的第一时刻对应的第一点云数据帧。
可选的，第一检测框信息获取模块320，还用于：
对以第一时刻为中心的第一子时间段内各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息进行归一化处理，得到目标物体对应的第一检测框信息；其中，第一子时间段位于设定时间段内，并且第一子时间段的起始时刻与设定时间段的起始时刻不重合。
可选的，第一检测框信息获取模块320，还用于：
计算以第一时刻为中心的第一子时间段内各点云数据帧对应的加权系数；
将第一子时间段内各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息与相应加权系数进行相乘；
将各相乘结果进行相加，得到检测框信息的归一化处理结果值。
可选的，有效检测框信息确定模块330，还用于：
对于从设定时间段的起始时刻至第一子时间段的起始时刻构成的第二子时间段中的各第二点云数据帧，计算第一检测框信息的置信度，若计算出的置信度大于设定阈值，则确定第一检测框信息对于当前第二点云数据帧是有效检测框信息，否则，确定第一检测框信息对于当前第二点云数据帧不是有效检测框信息。
可选的，还包括：第一数值记录模块，用于在确定第一检测框信息对于当前第二点云数据帧是有效检测框信息时，记录第一数值；第二数值记录模块，用于在确定第一检测框信息对于当前第二点云数据帧不是有效检测框信息时，记录第二数值；
可选的，最终检测框信息确定模块340，还用于：
对生成的数值序列进行平滑处理；
选取平滑处理后的数值序列中的目标子序列，将第一检测框信息作为目标子序列对应的各点云数据帧的目标物体的最终检测框信息；其中，目标子序列为数值序列中由连续的第一数值构成且长度最长的子序列。
可选的，最终检测框信息确定模块340，还用于：
如果生成的数值序列第二数值左右时刻各有至少两个第一数值，则将该第二数值置为第一数值；
如果生成的数值序列中第一数值左右时刻各有至少两个第二数值，则将该第一数值置为第二数值。
可选的，有效检测框信息确定模块330，还用于：
获取当前第二点云数据帧中通过自动检测算法得到的各检测框，查找各检测框中与第一检测框有交集并且交集的体积超过设定阈值的检测框，作为候选框；
以各候选框与第一检测框的重叠度IOU值的大小为权重，对所有候选框的中心位置进行加权平均，得到当前第二点云数据帧对应的中心坐标；
统计所有候选框所框住的点云中落入第一检测框的点云个数，将统计个数进行累加得到当前第二点云数据帧对应的点云总数；
根据中心坐标和点云总数，计算当前第二点云数据帧对应的第一检测框信息的置信度。
可选的，按照如下公式计算当前第二点云数据帧对应的第一检测框信息的置信度：
confidence＝max(1/(当前第二点云数据帧对应的中心坐标与第一检测框的中心坐标的欧式距离+1e-3)+当前第二点云数据帧对应的点云总数/第一检测框内的点云总数，1)；
其中，confidence为置信度。
可选的，第一检测框信息包括：第一检测框的中心点的3D位置坐标、第一检测框的长、第一检测框的宽、第一检测框的高、以及第一检测框内的点云个数。
上述装置可执行本发明前述所有实施例所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明前述所有实施例所提供的方法。
需要说明的是，本发明实施例可以应用于无人车处于移动状态、目标物体处于静止状态的场景，比如，道路旁边停放一排车、无人车从该道路行驶经过的场景，其中道路旁停放的任一辆车可作为目标物体。
实施例三
图4为本发明实施例三提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的电子设备412的框图。图4显示的电子设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备412典型的是承担基于点云数据的物体检测框的生成功能的计算设备。
如图4所示，电子设备412以通用计算设备的形式表现。电子设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(Micro Channel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。电子设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-Read Only Memory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
电子设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显示器424等)通信，还可与一个或者多个使得用户能与该电子设备412交互的设备通信，和/或与使得该电子设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，电子设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与电子设备412的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的基于点云数据的物体检测框的生成方法。
实施例四
本发明实施例四还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的基于点云数据的物体检测框的生成方法。
当然，本发明实施例所提供的一种计算机可读存储介质，其上存储的计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的基于点云数据的物体检测框的生成方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
进一步地，图5为本发明实施例四提供的一种车辆的结构示意图，如图5所示，该车辆包括车体510，上述实施例所述的电子设备520以及设置在车体上的雷达设备530。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (14)

1.一种基于点云数据的物体检测框的生成方法，其特征在于，所述方法包括：
获取设定时间段内雷达设备采集到的点云数据帧的集合；
从所述集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息；
对于所述集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息；
根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息。
2.根据权利要求1所述的方法，其特征在于，从所述集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，包括：
获取所述集合中各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息，根据所述检测框信息确定对应点云数据帧中目标物体与无人车的距离；
选取最小距离对应的点云数据帧，作为无人车距离目标物体最近的第一时刻对应的第一点云数据帧。
3.根据权利要求1所述的方法，其特征在于，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息，包括：
对以第一时刻为中心的第一子时间段内各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息进行归一化处理，得到目标物体对应的第一检测框信息；其中，所述第一子时间段位于所述设定时间段内，并且所述第一子时间段的起始时刻与所述设定时间段的起始时刻不重合。
4.根据权利要求3所述的方法，其特征在于，对以第一时刻为中心的第一子时间段内各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息进行归一化处理，包括：
计算以第一时刻为中心的第一子时间段内各点云数据帧对应的加权系数；
将第一子时间段内各点云数据帧对应的通过自动检测算法得到的目标物体的检测框信息与相应加权系数进行相乘；
将各相乘结果进行相加，得到检测框信息的归一化处理结果值。
5.根据权利要求3所述的方法，其特征在于，对于所述集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息，包括：
对于从所述设定时间段的起始时刻至所述第一子时间段的起始时刻构成的第二子时间段中的各第二点云数据帧，计算第一检测框信息的置信度，若计算出的置信度大于设定阈值，则确定第一检测框信息对于当前第二点云数据帧是有效检测框信息，否则，确定第一检测框信息对于当前第二点云数据帧不是有效检测框信息。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：在确定第一检测框信息对于当前第二点云数据帧是有效检测框信息时，记录第一数值；在确定第一检测框信息对于当前第二点云数据帧不是有效检测框信息时，记录第二数值；
根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息，包括：
对生成的数值序列进行平滑处理；
选取平滑处理后的数值序列中的目标子序列，将第一检测框信息作为目标子序列对应的各点云数据帧的目标物体的最终检测框信息；其中，目标子序列为数值序列中由连续的第一数值构成且长度最长的子序列。
7.根据权利要求6所述的方法，其特征在于，对生成的数值序列进行平滑处理，包括：
如果生成的数值序列第二数值左右时刻各有至少两个第一数值，则将该第二数值置为第一数值；
如果生成的数值序列中第一数值左右时刻各有至少两个第二数值，则将该第一数值置为第二数值。
8.根据权利要求5所述的方法，其特征在于，计算第一检测框信息的置信度，包括：
获取当前第二点云数据帧中通过自动检测算法得到的各检测框，查找各检测框中与第一检测框有交集并且交集的体积超过设定阈值的检测框，作为候选框；
以各候选框与第一检测框的重叠度IOU值的大小为权重，对所有候选框的中心位置进行加权平均，得到当前第二点云数据帧对应的中心坐标；
统计所有候选框所框住的点云中落入第一检测框的点云个数，将统计个数进行累加得到当前第二点云数据帧对应的点云总数；
根据所述中心坐标和所述点云总数，计算当前第二点云数据帧对应的第一检测框信息的置信度。
9.根据权利要求8所述的方法，其特征在于，按照如下公式计算当前第二点云数据帧对应的第一检测框信息的置信度：
confidence＝max(1/(当前第二点云数据帧对应的中心坐标与第一检测框的中心坐标的欧式距离+e-3)+当前第二点云数据帧对应的点云总数/第一检测框内的点云总数，1)；
其中，confidence为置信度。
10.根据权利要求1-9中任一项所述的方法，其特征在于，第一检测框信息包括：第一检测框的中心点的3D位置坐标、第一检测框的长、第一检测框的宽、第一检测框的高、以及第一检测框内的点云个数。
11.一种基于点云数据的物体检测框的生成装置，其特征在于，所述装置包括：
点云数据帧集合获取模块，用于获取设定时间段内雷达设备采集到的点云数据帧的集合；
第一检测框信息获取模块，用于从所述集合中获取无人车距离目标物体最近的第一时刻对应的第一点云数据帧，获取通过自动检测算法得到的第一点云数据帧中目标物体对应的第一检测框信息；
有效检测框信息确定模块，用于对于所述集合中第一时刻之前的第二时刻对应的第二点云数据帧，确定第一检测框信息是否是有效检测框信息；
最终检测框信息确定模块，用于根据确定结果判定是否将第一检测框信息作为第二点云数据帧中目标物体的最终检测框信息。
12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-10中任一所述的基于点云数据的物体检测框的生成方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的基于点云数据的物体检测框的生成方法。
14.一种车辆，包括车体，其特征在于，还包括权利要求12所述的电子设备，以及设置在车体上的雷达设备。
CN201811043506.5A 2018-09-07 2018-09-07 物体检测框的生成方法、装置、设备、存储介质及车辆 Active CN109188457B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811043506.5A CN109188457B (zh) 2018-09-07 2018-09-07 物体检测框的生成方法、装置、设备、存储介质及车辆
JP2019154622A JP6892484B2 (ja) 2018-09-07 2019-08-27 物体検出枠を生成する方法とその装置、機器、記憶媒体及び車両
EP19195678.8A EP3620817A1 (en) 2018-09-07 2019-09-05 Method and apparatus for generating object detection box, device, storage medium, and vehicle
US16/562,090 US11415672B2 (en) 2018-09-07 2019-09-05 Method and apparatus for generating object detection box, device, storage medium, and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811043506.5A CN109188457B (zh) 2018-09-07 2018-09-07 物体检测框的生成方法、装置、设备、存储介质及车辆

Publications (2)

Publication Number Publication Date
CN109188457A CN109188457A (zh) 2019-01-11
CN109188457B true CN109188457B (zh) 2021-06-11

Family

ID=64915540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811043506.5A Active CN109188457B (zh) 2018-09-07 2018-09-07 物体检测框的生成方法、装置、设备、存储介质及车辆

Country Status (4)

Country Link
US (1) US11415672B2 (zh)
EP (1) EP3620817A1 (zh)
JP (1) JP6892484B2 (zh)
CN (1) CN109188457B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084895B (zh) * 2019-04-30 2023-08-22 上海禾赛科技有限公司 对点云数据进行标注的方法和设备
CN112101066B (zh) * 2019-06-17 2024-03-08 商汤集团有限公司 目标检测方法和装置及智能驾驶方法、设备和存储介质
CN112116804B (zh) * 2019-06-19 2023-03-07 北京地平线机器人技术研发有限公司 一种车辆状态量信息确定方法及装置
CN110824496B (zh) * 2019-09-18 2022-01-14 北京迈格威科技有限公司 运动估计方法、装置、计算机设备和存储介质
CN112634487B (zh) * 2019-09-24 2022-08-16 北京百度网讯科技有限公司 用于输出信息的方法和装置
US11776215B1 (en) * 2019-12-16 2023-10-03 Scale AI, Inc. Pre-labeling data with cuboid annotations
CN113450459B (zh) * 2020-03-25 2024-03-22 北京四维图新科技股份有限公司 目标物的三维模型构建方法及装置
CN113465609A (zh) * 2020-03-30 2021-10-01 阿里巴巴集团控股有限公司 一种针对目标对象的时序匹配方法及装置
CN112740269B (zh) * 2020-05-13 2022-04-08 华为技术有限公司 一种目标检测方法及装置
CN111881827B (zh) * 2020-07-28 2022-04-26 浙江商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质
CN112419233B (zh) * 2020-10-20 2022-02-22 腾讯科技（深圳）有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112330721B (zh) * 2020-11-11 2023-02-17 北京市商汤科技开发有限公司 三维坐标的恢复方法及装置、电子设备和存储介质
CN112669266B (zh) * 2020-12-18 2023-08-08 深兰科技（上海）有限公司 超高检测方法、装置、电子设备和存储介质
CN112764004A (zh) * 2020-12-22 2021-05-07 中国第一汽车股份有限公司 一种点云处理方法、装置、设备及存储介质
CN112950622B (zh) * 2021-03-29 2023-04-18 上海商汤临港智能科技有限公司 一种目标检测方法、装置、计算机设备和存储介质
CN113469025A (zh) * 2021-06-29 2021-10-01 阿波罗智联(北京)科技有限公司 应用于车路协同的目标检测方法、装置、路侧设备和车辆
CN114862808B (zh) * 2022-05-18 2023-11-17 亿咖通(湖北)技术有限公司 虚线框精度的确定方法、装置、设备及存储介质
CN115147612B (zh) * 2022-07-28 2024-03-29 苏州轻棹科技有限公司 一种基于累加点云对车辆尺寸进行实时估计的处理方法
CN115965824B (zh) * 2023-03-01 2023-06-06 安徽蔚来智驾科技有限公司 点云数据标注方法、点云目标检测方法、设备及存储介质
CN115965925B (zh) * 2023-03-03 2023-06-23 安徽蔚来智驾科技有限公司 点云目标检测方法、计算机设备、存储介质及车辆
CN116430338A (zh) * 2023-03-20 2023-07-14 北京中科创益科技有限公司 一种移动目标的追踪方法、系统及设备
CN116523970B (zh) * 2023-07-05 2023-10-20 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN117368876B (zh) * 2023-10-18 2024-03-29 广州易而达科技股份有限公司 一种人体检测方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置
WO2017167387A1 (en) * 2016-03-31 2017-10-05 Nec Europe Ltd. Method for predicting a motion of an object
CN107817502A (zh) * 2016-09-14 2018-03-20 北京百度网讯科技有限公司 激光点云数据处理方法和装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3367170B2 (ja) * 1993-11-05 2003-01-14 株式会社豊田中央研究所 障害物検出装置
JP3589141B2 (ja) * 2000-03-17 2004-11-17 日産自動車株式会社 車両用レーダー装置
JP2006021641A (ja) * 2004-07-08 2006-01-26 Nissan Motor Co Ltd 車両周辺表示装置とその表示方法
ATE514055T1 (de) * 2007-11-07 2011-07-15 Tele Atlas Bv Computeranordnung und verfahren zum berechnen von bewegungsvektoren unter verwendung von entfernungsdaten
JP5862261B2 (ja) * 2011-12-12 2016-02-16 セイコーエプソン株式会社 検出装置、検出方法、及び、車両
WO2014024284A1 (ja) * 2012-08-08 2014-02-13 トヨタ自動車株式会社 衝突予測装置
JPWO2015174178A1 (ja) * 2014-05-15 2017-04-20 本田技研工業株式会社 移動支援装置
US10401852B2 (en) * 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
CN107025642B (zh) * 2016-01-27 2018-06-22 百度在线网络技术（北京）有限公司 基于点云数据的车辆轮廓检测方法和装置
JP6777403B2 (ja) * 2016-02-26 2020-10-28 株式会社デンソー 物体認識装置及びプログラム
JP6938846B2 (ja) * 2016-03-14 2021-09-22 株式会社デンソー 物体認識装置
JP6599835B2 (ja) * 2016-09-23 2019-10-30 日立建機株式会社 鉱山用作業機械、障害物判別装置、及び障害物判別方法
WO2019113749A1 (en) * 2017-12-11 2019-06-20 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for identifying and positioning objects around a vehicle
US10664974B2 (en) * 2018-02-23 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for object detection using edge characteristics
US11151788B2 (en) * 2019-12-27 2021-10-19 Woven Planet North America, Inc. Systems and methods for presenting a reconstructed representation of a moving object detected in a scene

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017167387A1 (en) * 2016-03-31 2017-10-05 Nec Europe Ltd. Method for predicting a motion of an object
CN107817502A (zh) * 2016-09-14 2018-03-20 北京百度网讯科技有限公司 激光点云数据处理方法和装置
CN106407947A (zh) * 2016-09-29 2017-02-15 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的目标物体识别方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pedestrian Detection for Driver Assistance Using Multiresolution Infrared Vision;Massimo Bertozzi et al.;《IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY》;20041130;第53卷(第6期);第1666-1678页 *
基于三维激光雷达的无人车障碍物检测与跟踪;谢德胜等;《汽车工程》;20180831;第40卷(第8期);第952-959页 *

Also Published As

Publication number Publication date
CN109188457A (zh) 2019-01-11
JP2020042800A (ja) 2020-03-19
JP6892484B2 (ja) 2021-06-23
US20200081095A1 (en) 2020-03-12
US11415672B2 (en) 2022-08-16
EP3620817A1 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
CN109188457B (zh) 物体检测框的生成方法、装置、设备、存储介质及车辆
CN109343061B (zh) 传感器标定方法、装置、计算机设备、介质和车辆
CN110095752B (zh) 定位方法、装置、设备和介质
US20200116498A1 (en) Visual assisted distance-based slam method and mobile robot using the same
CN109582880B (zh) 兴趣点信息处理方法、装置、终端及存储介质
CN110853085B (zh) 基于语义slam的建图方法和装置及电子设备
CN110544268A (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
CN112312001B (zh) 一种图像检测的方法、装置、设备和计算机存储介质
CN112650300A (zh) 一种无人机避障方法和装置
CN115273039A (zh) 一种基于摄像头的小障碍物探测方法
CN109635868B (zh) 障碍物类别的确定方法、装置、电子设备及存储介质
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
CN112558035B (zh) 用于估计地面的方法和装置
CN109827610B (zh) 用于校验传感器融合结果的方法和装置
CN116844129A (zh) 多模态特征对齐融合的路侧目标检测方法、系统及装置
CN108062752B (zh) 判断主光源的方位的方法、介质、装置和计算设备
CN114429631B (zh) 三维对象检测方法、装置、设备以及存储介质
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN113721240B (zh) 一种目标关联方法、装置、电子设备及存储介质
CN113763468B (zh) 一种定位方法、装置、系统及存储介质
CN114386481A (zh) 一种车辆感知信息融合方法、装置、设备及存储介质
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质
CN113762001B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN111383337B (zh) 用于识别对象的方法和装置
CN116681884B (zh) 一种对象检测方法和相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211014

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.