CN111652113A - 障碍物检测方法、装置、设备以及存储介质 - Google Patents

障碍物检测方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN111652113A
CN111652113A CN202010477558.4A CN202010477558A CN111652113A CN 111652113 A CN111652113 A CN 111652113A CN 202010477558 A CN202010477558 A CN 202010477558A CN 111652113 A CN111652113 A CN 111652113A
Authority
CN
China
Prior art keywords
obstacle
detection frame
position information
loss
dimensional detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010477558.4A
Other languages
English (en)
Other versions
CN111652113B (zh
Inventor
舒茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010477558.4A priority Critical patent/CN111652113B/zh
Publication of CN111652113A publication Critical patent/CN111652113A/zh
Priority to US17/141,997 priority patent/US11688177B2/en
Priority to EP21164277.2A priority patent/EP3836017B1/en
Priority to KR1020210038016A priority patent/KR20210040312A/ko
Priority to JP2021086756A priority patent/JP7228623B2/ja
Application granted granted Critical
Publication of CN111652113B publication Critical patent/CN111652113B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了障碍物检测方法、装置、设备以及存储介质，涉及智能交通领域。具体实现方案为：获取图像中障碍物的二维检测框的位置信息和三维检测框的位置信息；将所述障碍物的三维检测框的位置信息转换为所述障碍物的二维投影框的位置信息；利用所述图像中所述障碍物的二维检测框、三维检测框和二维投影框的位置信息，对所述障碍物的三维检测框的位置信息进行优化。根据本申请的技术方案，利用图像中障碍物的二维检测框的位置信息、三维检测框和二维投影框的位置信息，对该障碍物的三维检测框的位置信息进行优化，能够提高路侧、车载或其他感知设备对障碍物的三维位置的预测结果的准确性。

Description

障碍物检测方法、装置、设备以及存储介质
技术领域
本申请涉及智能交通领域，尤其涉及障碍物检测领域。
背景技术
在智能交通的路侧感知中，通过二维(2D)物体检测和三维(3D)物体检测算法可以得到障碍物在图像中的2D检测框和在世界坐标系中的3D位置，其中3D位置的精度决定了路侧感知精度。由于路侧相机部署位置、角度以及相机内参数的多样性，通过3D检测技术预测得到的障碍物3D位置精度较低。
发明内容
本申请提供了一种障碍物检测方法、装置、设备以及存储介质。
根据本申请的一方面，提供了一种障碍物检测方法，包括：
获取图像中障碍物的二维检测框的位置信息和三维检测框的位置信息；
将所述障碍物的三维检测框的位置信息转换为所述障碍物的二维投影框的位置信息；
利用所述图像中所述障碍物的二维检测框、三维检测框和二维投影框的位置信息，对所述障碍物的三维检测框的位置信息进行优化。
根据本申请的另一方面，提供了一种障碍物检测装置，包括：
获取模块，用于获取图像中障碍物的二维检测框的位置信息和三维检测框的位置信息；
转换模块，用于将所述障碍物的三维检测框的位置信息转换为所述障碍物的二维投影框的位置信息；
优化模块，用于利用所述图像中所述障碍物的二维检测框、三维检测框和二维投影框的位置信息，对所述障碍物的三维检测框的位置信息进行优化。
根据本申请的技术方案，利用图像中障碍物的二维检测框的位置信息、三维检测框和二维投影框的位置信息，对该障碍物的三维检测框的位置信息进行优化，能够提高路侧、车载或其他感知设备对障碍物的三维位置的预测结果的准确性。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请一实施例的障碍物检测方法的流程图；
图2是二维检测框的示意图；
图3是三维检测框的示意图；
图4是根据本申请另一实施例的障碍物检测方法的流程图；
图5是根据本申请另一实施例的障碍物检测方法的流程图；
图6是根据本申请另一实施例的障碍物检测方法的流程图；
图7是根据本申请另一实施例的障碍物检测方法的应用示例的流程图；
图8是根据本申请一实施例的障碍物检测装置的框图；
图9是根据本申请另一实施例的障碍物检测装置的框图；
图10是根据本申请实施例的障碍物检测方法的电子设备的框图；
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请一实施例的障碍物检测方法的流程图，该方法可以包括：
S101、获取图像中障碍物的二维检测框的位置信息和三维检测框的位置信息。
S102、将该障碍物的三维检测框的位置信息转换为该障碍物的二维投影框的位置信息。
S103、利用该图像中该障碍物的二维检测框、三维检测框和二维投影框的位置信息，对该障碍物的三维检测框的位置信息进行优化。
本申请实施例中的图像可以包括视频中的帧图像、拍摄的照片等。例如，车载相机(也可以称为摄像机)中拍摄的视频中的帧图像、手机拍摄的照片等。图像中可能包括各种类型的障碍物。障碍物检测的方法有多种。例如，可以利用神经网络等训练得到能够识别一种或多种障碍物的检测模型。利用检测模型等对图像进行检测，得到障碍物的二维检测框的位置信息和三维检测框的位置信息。得到二维检测框与三维检测框的障碍物检测模型可以是同一个模型，也可以是不同的模型。二维检测框的位置信息可以包括该障碍物所处的二维检测框的坐标，例如，左上角的坐标和右下角的坐标。三维检测框的位置信息可以包括该障碍物所处的三维检测框的坐标、尺寸和朝向角等。
例如，如图2所示，利用二维的障碍物检测模型，可以在图像中识别出障碍物A的二维检测框的位置信息[x1,x2,y1,y2]。其中，[x1,y1]可以为该障碍物的二维检测框的左上角的坐标，[x2,y2]可以为该障碍物的二维检测框的右下角的坐标。再如，如图3所示，利用三维的障碍物检测模型，可以在图像中识别出障碍物A的三维检测框的位置信息，包括：该三维检测框的中心点在相机坐标系坐标[x3d,y3d,z3d]，长宽高[w3d,h3d,l3d]，y轴朝向角ry3d。
三维检测框的位置信息投影可以得到二维投影框的位置信息。例如，如果三维检测框为长方体，该长方体的8个顶点可以通过投影公式计算得到对应的二维投影点。一种投影公式的示例如下：
x＝KX，
其中，K表示相机内参数矩阵，x表示二维投影点坐标[x,y]，X表示三维点坐标[x,y,z]。
根据三维检测框的各个顶点，计算得到对应的二维投影点之后，根据这些二维投影点可以得到二维投影框。该二维投影框可以包括该三维检测框的所有的二维投影点。例如，利用三维检测框的8个二维投影点的坐标，得到二维投影框在x轴的最大值xmax和最小值xmin，以及在y轴的最大值ymax和最小值ymin，再得到二维投影框的位置信息[xmax,xmin,ymax,ymin]。
然后，利用图像中障碍物的二维检测框的位置信息、三维检测框和二维投影框的位置信息中的一个或多个，构建出损失函数。对该障碍物的三维检测框的坐标和轴向角等进行调整后，利用损失函数计算损失，进而对该障碍物的三维检测框的位置信息进行优化。
本申请利用图像中障碍物的二维检测框的位置信息、三维检测框和二维投影框的位置信息，对该障碍物的三维检测框的位置信息进行优化，能够提高路侧、车载或其他感知设备对障碍物的三维位置的预测结果的准确性。例如，本申请实施例的障碍物检测方法可以应用于路侧感知三维障碍物位置的场景，还可以应用于到车载相机和其他监控相机等场景。
图4是根据本申请另一实施例的障碍物检测方法的流程图。该实施例的障碍物检测方法可以包括上一实施例的各步骤。
在本实施例中，在S103中，利用该图像中该障碍物的二维检测框、三维检测框和二维投影框的位置信息，对该障碍物的三维检测框的位置信息进行优化，可以包括：
S201、采用该图像中该障碍物的二维检测框、三维检测框和二维投影框的位置信息，对该障碍物的三维检测框的位置信息，设置至少一个约束项；
S202、利用该约束项构建损失函数；
S203、利用该损失函数，对该障碍物的三维检测框的位置信息进行优化。
通过对预测结果的分析，障碍物的二维检测框的预测结果更为接近真值。利用障碍物的二维检测框、三维检测框和二维投影框的位置信息，设置至少一项约束项，有利于使得障碍物的三维位置与二维位置的预测结果更相符合，从而提高障碍物的三维位置预测结果的准确性。
在一种可能的实施方式中，该约束项包括第一约束项，该第一约束项是根据该障碍物的二维检测框和二维投影框的中心点坐标设置的。利用二维检测框和二维投影框的中心点坐标设置第一约束项，在利用第一约束项构建损失函数，期待二维投影框与二维检测框的中心点尽量接近，甚至重合，从而使得路侧、车载或其他感知设备对障碍物的三维位置预测结果的更加准确。
在一种可能的实施方式中，该约束项还包括第二约束项，该第二约束项是根据该障碍物的二维检测框和二维投影框的左右两条边的坐标设置的。利用二维检测框和二维投影框的左右两条边的坐标设置第二约束项，在利用第二约束项构建损失函数，期待二维投影框与二维检测框的左右两条边尽量接近，甚至重合，从而使得路侧、车载或其他感知设备对障碍物的三维位置预测结果的更加准确。
在一种可能的实施方式中，该约束项还包括第三约束项，该第三约束项是根据该障碍物的三维检测框的投影点坐标设置的。利用三维检测框的投影点坐标设置第三约束项，在利用第三约束项构建损失函数，有利于控制优化调整幅度，从而提高路侧、车载或其他感知设备对障碍物的三维位置预测结果的精度。
上述的第一约束项、第二约束项和第三约束项可以但单独构建损失函数，也可以综合两项或者全部一起构建损失函数。利用多个约束项，充分考虑了最优解应该满足的条件，降低错过最优解的概率，得到的障碍物的三维位置预测结果更加准确。
图5是根据本申请另一实施例的障碍物检测方法的流程图。该实施例的障碍物检测方法可以包括上述任一实施例的各步骤。
在本实施例中，在S203中，利用该损失函数，对该三维检测框的位置信息进行优化，可以包括：
S301、利用障碍物的三维检测框的初始预测结果和上述的损失函数，计算初始损失，该初始损失为参考损失。
S302、根据预测误差设置初始的解空间范围。例如，如果障碍物的三维检测框的位置信息可以调整的变量包括4个：三维坐标[x3d,y3d,z3d]，和朝向角ry3d。预先利用有真值的数据得到三维检测结果，计算真值和预测值之间的误差，并统计误差均值[x3dmean,y3dmean,z3dmean,ry3dmean]作为先验、即预测误差。使用时，利用没有真值的数据得到初始的三维检测结果为[x3d,y3d,z3d,ry3d]。此时，x3d的解空间为[x3dmin＝x3d-x3dmean,x3dmax＝x3d+x3dmean]，其余3个变量是类似的：
y3d的解空间为[y3dmin＝y3d-y3dmean,y3dmax＝y3d+y3dmean]；
z3d的解空间为[z3dmin＝z3d-z3dmean,z3dmax＝z3d+z3dmean]；
ry3d的解空间为[ry3dmin＝ry3d-ry3dmean,ry3dmax＝ry3d-ry3dmean]。
S303、在初始的解空间范围内随机采样，得到采样点包括的三维检测框的一组位置信息，随机采样的次数为m次。
S304、根据该损失函数计算采样点对应的损失。例如，将上一步得到的采样点的三维检测框的一组位置信息代入损失函数的公式，得到该采样点对应的损失。
S305、比较采样点对应的损失与参考损失，将损失最小的采样点的三维检测框的位置信息作为备选结果，并将损失最小的采样点对应的损失作为新的参考损失。第一次比较采样点对应的损失和初始损失，如果采样点对应的损失小于初始损失，将该采样点对应的损失作为新的参考损失。以后可以将新采样得到的采样点对应的损失与新的参考损失进行比较。如果采样点对应的损失不小于初始损失，保持参考损失不变，下次还使用该参考损失进行比较。每采样一次，采样次数加1，直到采样次数等于m为止，并将重采样次数加1。
本申请实施例在三维检测框的初始解空间的随机搜索增大了最优解采样率，最终搜索结果相比初始检测结果的准确性和精度大幅提高。
图6是根据本申请另一实施例的障碍物检测方法的流程图。该实施例的障碍物检测方法可以包括上述任一实施例的各步骤。
在本实施例中，在S203中，在S305之后，利用该损失函数，对该障碍物的三维检测框的位置信息进行优化，还可以包括重复执行n-1次步骤S306到S310，n为重采样次数：
S306、统计上次重采样的m个采样点中，损失小于参考损失的采样点的分布范围，得到新的解空间范围。例如，利用上次重采样的m个采样点，得到三维位置信息中的中心点坐标以及朝向角的最小值和最大值，并利用预测误差得到新的解空间范围。
S307、在新的解空间范围内随机采样，得到采样点包括的障碍物的三维检测框的一组位置信息，随机采样的次数为m次。
S308、根据该损失函数计算采样点对应的损失。例如，将上一步得到的采样点的三维检测框的一组位置信息代入损失函数的公式，得到该采样点对应的损失。
S309、比较采样点对应的损失与参考损失，将损失最小的采样点的三维检测框的位置信息作为备选结果，并将损失最小的采样点对应的损失作为新的参考损失。
从S307到S309，也可以每采样得到一个采样点，将该采样点包括障碍物的三维检测框的一组位置信息代入损失函数计算该采样点对应的损失。然后，与之前的备选结果比较确定是否更新备选结果以及参考损失。如果更新了，则将更新后的备选结果以及参考损失，作为下一个采样点用于比较的参考值。如果未更新，则将保持的备选结果以及参考损失，作为下一个采样点用于比较的参考值。将下一个采样点包括障碍物的三维检测框的一组位置信息代入损失函数计算该采样点对应的损失。继续比较确定备选结果和参考损失，直到采样次数等于m为止。
此外，每采样m个采样点，重采样次数加1，可以判断重采样次数是否大于或等于n。如果重采样次数小于n，可以返回S306，直到重采样次数等于n为止。其中，n为正整数，n的取值可以根据具体需求进行设置。通常来说，n的取值越大，准确性和精度越高。
例如，在执行S303之后，重采样次数为1；在第一次执行S308之后，重采样次数为2；此后，每执行一次S308，重采样次数加1，直到重采样次数等于n为止。最后一次得到的备选结果，可以作为障碍物的三维检测框优化的最终位置信息。
本申请实施例对障碍物的三维检测框的解空间进行多次重采样，进一步增大了最优解采样率，进一步提高了路侧、车载或其他感知设备对障碍物的三维位置预测结果的准确性和精度。
在一种应用示例中，本申请实施例利用相机成像原理构造几何约束，平衡二维(two Dimension，2D)检测框预测结果和三维(three Dimension，3D)检测框预测结果，实现3D检测结果的后端优化。
对图像进行障碍物检测，得到某个障碍物的2D检测框的位置信息和3D检测框的位置信息，然后将上述位置信息输入优化算法。例如，优化算法的输入包括：2D检测框坐标[x1,x2,y1,y2]，3D检测框的中心点在相机坐标系坐标[x3d,y3d,z3d]，长宽高[w3d,h3d,l3d]，y轴朝向角ry3d。另外，优化算法的输入还包括相机内参矩阵p2和地面方程de_norm。优化目标为x3d,y3d,z3d,ry3d四个自由度。
约束项一：通过对预测结果的分析，2D检测框的预测结果更为接近真值。利用3D检测框的预测结果，根据投影关系获得2D投影框。在位置正确时，由于长宽高[w3d,h3d,l3d]不在优化范围，由于存在预测误差使得2D检测框和2D投影框无法完全重合，但期待二者中心点是重合的。因此，示例性地，约束项一err1为：
err1＝|(x1pro+x2pro)-(x1+x2)|+|(y1pro+y2pro)-(y1+y2)|，
其中，[x1pro,x2pro,y1pro,y2pro]为3D检测框的2D投影框坐标，[x1,x2,y1,y2]为2D检测框坐标。
约束项二：在中心点重合的基础上，为了进一步约束朝向角偏差，期待第二项约束期待2D检测框和2D投影框左右两边重合。因此，示例性地，约束项二err2为：
err2＝|x1pro-x1|+|x2pro-x2|。
约束项三：考虑到朝向角±ry产生的2D投影框在约束项一和二的值是相同的，并且，由于3D检测框的预测结果的偏差通常不会很大，为了控制优化幅度，一种约束项三err3的示例为：
Figure BDA0002516320490000081
其中vi为初始的3D检测框的预测结果的投影点坐标，
Figure BDA0002516320490000082
为调整后3D检测框的预测结果的投影点坐标。例如，如果3D检测框为长方体，该3D检测框的投影点坐标包括8个2D坐标。也即是说，vi、
Figure BDA0002516320490000083
是包括x轴坐标和y轴坐标的向量。
根据上述的约束项，一种示例性的损失函数err为：
err＝err1+α×err2+β×err3，
其中α,β为超参，超参可以是预设值。
本申请实施例还提供了基于上述损失函数的最优点求解方法：首先根据初始预测结果，计算初始损失ol。统计x3d,y3d,z3d,ry3d的预测误差，根据预测误差设置初始解空间范围。在解空间中随机采样m次，计算损失
Figure BDA0002516320490000091
统计所有
Figure BDA0002516320490000092
的点的分布范围，作为新的解空间，将取得最小
Figure BDA0002516320490000093
的点作为备选结果，并将
Figure BDA0002516320490000094
设置为新的ol。重复上述步骤n-1次，获得最终结果。
例如，如图7所示，该最优解的求解过程可以包括以下步骤：
S401、输入2D检测框的位置信息：[x1,x2,y1,y2],以及3D检测框的位置信息[x3d,y3d,z3d,w3d,h3d,l3d,ry3d],p2,de_norm。
S402、利用3D检测框的位置信息进行投影得到，二维投影点v。
S403、利用预测误差[x3dmean,y3dmean,z3dmean,ry3dmean]得到初始的解空间范围，示例如下：
x3dmin＝x3d-x3dmean,x3dmax＝x3d+x3dmean；
y3dmin＝y3d-y3dmean,y3dmax＝y3d-y3dmean；
z3dmin＝z3d-z3dmean,z3dmax＝z3d-z3dmean；
ry3dmin＝ry3d-ry3dmean,ry3dmax＝ry3d-ry3dmean。
S404、根据初始预测结果([x1,x2,y1,y2],v,[x1pro,x2pro,y1pro,y2pro])，计算初始损失ol。
S405、如果重采样次数i<n，则在解空间范围内进行随机采样，随机采样得到的采样点
Figure BDA0002516320490000095
的取值范围示例如下：
Figure BDA0002516320490000096
Figure BDA0002516320490000097
Figure BDA0002516320490000098
Figure BDA0002516320490000099
如果随机采样的次数(或者说采样点个数)j<m，则继续执行随机采样。每采样得到一个采样点，j+1。直到j＝m，本次重采样结束，i+1。
S406、利用随机采样的各采样点的位置信息
Figure BDA0002516320490000101
进行投影，得到二维投影点
Figure BDA0002516320490000102
S407、将预测结果和投影点的坐标输入损失函数，得到采样点对应的损失
Figure BDA0002516320490000103
S408、如果某个采样点对应的损失小于初始损失
Figure BDA0002516320490000104
将较小的损失对应的采样点的位置信息作为备选结果，示例如下：
Figure BDA00025163204900001013
Figure BDA0002516320490000105
Figure BDA0002516320490000106
Figure BDA0002516320490000107
S409、如果某个采样点对应的损失小于初始损失，利用较小的损失作为参考损失
Figure BDA0002516320490000108
否则，保持ol不变。
S410、利用最小的损失对应的采样点的位置信息，更新解空间范围，示例如下：
Figure BDA0002516320490000109
Figure BDA00025163204900001010
Figure BDA00025163204900001011
Figure BDA00025163204900001012
其中，n为重采样次数，m为每次采样个数。
本实施例，采用多个约束项可以充分考虑最优解应该满足的条件，采用随机搜索可以增大最优解采样率，最终搜索结果相比初始解精度大幅提升。本实施例的方法可以应用于路侧感知三维障碍物位置的场景，还可以扩展到车载相机和其他监控相机。
图8是根据本申请一实施例的障碍物检测装置的框图。该装置可以包括：
获取模块41，用于获取图像中障碍物的二维检测框的位置信息和三维检测框的位置信息；
转换模块42，用于将该障碍物的三维检测框的位置信息转换为该障碍物的二维投影框的位置信息；
优化模块43，用于利用该图像中该障碍物的二维检测框、三维检测框和二维投影框的位置信息，对该障碍物的三维检测框的位置信息进行优化。
在一种可能的实施方式中，如图9所示，该优化模块43包括：
约束项子模块51，用于采用该图像中该障碍物的二维检测框、三维检测框和二维投影框的位置信息，对该障碍物的三维检测框的位置信息，设置至少一个约束项；
损失函数子模块52，用于利用该约束项构建损失函数；
优化子模块53，用于利用该损失函数，对该障碍物的三维检测框的位置信息进行优化。
在一种可能的实施方式中，该约束项包括第一约束项，该第一约束项是根据该障碍物的二维检测框和二维投影框的中心点坐标设置的。
在一种可能的实施方式中，该约束项还包括第二约束项，该第二约束项是根据该障碍物的二维检测框和二维投影框的左右两条边的坐标设置的。
在一种可能的实施方式中，该约束项还包括第三约束项，该第三约束项是根据该障碍物的三维检测框的投影点坐标设置的。
在一种可能的实施方式中，该优化子模块具体用于：
利用障碍物的三维检测框的初始预测结果和上述的损失函数，计算初始损失，该初始损失为参考损失；
根据预测误差设置初始的解空间范围；
在初始的解空间范围内随机采样，得到采样点包括的三维检测框的一组位置信息，随机采样的次数为m次；
根据该损失函数计算采样点对应的损失；
比较采样点对应的损失与参考损失，将损失最小的采样点的三维检测框的位置信息作为备选结果，并将损失最小的采样点对应的损失作为新的参考损失。
在一种可能的实施方式中，该优化子模块还用于重复执行n-1次以下步骤，n为重采样次数：
统计上次重采样的m个采样点中，损失小于参考损失的采样点的分布范围，得到新的解空间范围；
在新的解空间范围内随机采样，得到采样点包括的障碍物的三维检测框的一组位置信息，随机采样的次数为m次；
根据该损失函数计算采样点对应的损失；
比较采样点对应的损失与参考损失，将损失最小的采样点的三维检测框的位置信息作为备选结果，并将损失最小的采样点对应的损失作为新的参考损失。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图10所示，是根据本申请实施例的障碍物检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，该存储器存储有可由至少一个处理器执行的指令，以使该至少一个处理器执行本申请所提供的障碍物检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的障碍物检测方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的障碍物检测方法对应的程序指令/模块(例如，附图8所示的获取模块41、转换模块42和优化模块43)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的障碍物检测方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据障碍物检测方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至障碍物检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
障碍物检测方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图10中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与障碍物检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，利用图像中障碍物的二维检测框的位置信息、三维检测框和二维投影框的位置信息，构建损失函数，以对该障碍物的三维检测框的位置信息进行优化，能够提高障碍物的三维位置的预测结果的准确性。例如，本申请实施例的障碍物检测方法可以应用于路侧感知三维障碍物位置的场景，还可以应用于到车载相机和其他监控相机等场景。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种障碍物检测方法，包括：
获取图像中障碍物的二维检测框的位置信息和三维检测框的位置信息；
将所述障碍物的三维检测框的位置信息转换为所述障碍物的二维投影框的位置信息；
利用所述图像中所述障碍物的二维检测框、三维检测框和二维投影框的位置信息，对所述障碍物的三维检测框的位置信息进行优化。
2.根据权利要求1所述的方法，其特征在于，所述利用所述图像中所述障碍物的二维检测框、三维检测框和二维投影框的位置信息，对所述障碍物的三维检测框的位置信息进行优化，包括：
采用所述图像中所述障碍物的二维检测框、三维检测框和二维投影框的位置信息，对所述障碍物的三维检测框的位置信息，设置至少一个约束项；
利用所述约束项构建损失函数；
利用所述损失函数，对所述障碍物的三维检测框的位置信息进行优化。
3.根据权利要求2所述的方法，其特征在于，所述约束项包括第一约束项，所述第一约束项是根据所述障碍物的二维检测框和二维投影框的中心点坐标设置的。
4.根据权利要求2或3所述的方法，其特征在于，所述约束项还包括第二约束项，所述第二约束项是根据所述障碍物的二维检测框和二维投影框的左右两条边的坐标设置的。
5.根据权利要求3或4所述的方法，其特征在于，所述约束项还包括第三约束项，所述第三约束项是根据所述障碍物的三维检测框的投影点坐标设置的。
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述利用所述损失函数，对所述障碍物的三维检测框的位置信息进行优化，包括：
利用障碍物的三维检测框的初始预测结果和所述损失函数，计算初始损失，所述初始损失为参考损失；
根据预测误差设置初始的解空间范围；
在初始的解空间范围内随机采样，得到采样点包括的三维检测框的一组位置信息，随机采样的次数为m次；
根据所述损失函数计算采样点对应的损失；
比较采样点对应的损失与所述参考损失，将损失最小的采样点的三维检测框的位置信息作为备选结果，并将损失最小的采样点对应的损失作为新的参考损失。
7.根据权利要求6所述的方法，其特征在于，所述利用所述损失函数，对所述障碍物的三维检测框的位置信息进行优化，还包括重复执行n-1次以下步骤，n为重采样次数：
统计上次重采样的m个采样点中，损失小于参考损失的采样点的分布范围，得到新的解空间范围；
在新的解空间范围内随机采样，得到采样点包括的障碍物的三维检测框的一组位置信息，随机采样的次数为m次；
根据所述损失函数计算采样点对应的损失；
比较采样点对应的损失与所述参考损失，将损失最小的采样点的三维检测框的位置信息作为备选结果，并将损失最小的采样点对应的损失作为新的参考损失。
8.一种障碍物检测装置，包括：
获取模块，用于获取图像中障碍物的二维检测框的位置信息和三维检测框的位置信息；
转换模块，用于将所述障碍物的三维检测框的位置信息转换为所述障碍物的二维投影框的位置信息；
优化模块，用于利用所述图像中所述障碍物的二维检测框、三维检测框和二维投影框的位置信息，对所述障碍物的三维检测框的位置信息进行优化。
9.根据权利要求8所述的装置，其特征在于，所述优化模块包括：
约束项子模块，用于采用所述图像中所述障碍物的二维检测框、三维检测框和二维投影框的位置信息，对所述障碍物的三维检测框的位置信息，设置至少一个约束项；
损失函数子模块，用于利用所述约束项构建损失函数；
优化子模块，用于利用所述损失函数，对所述障碍物的三维检测框的位置信息进行优化。
10.根据权利要求9所述的装置，其特征在于，所述约束项包括第一约束项，所述第一约束项是根据所述障碍物的二维检测框和二维投影框的中心点坐标设置的。
11.根据权利要求9或10所述的装置，其特征在于，所述约束项还包括第二约束项，所述第二约束项是根据所述障碍物的二维检测框和二维投影框的左右两条边的坐标设置的。
12.根据权利要求10或11所述的装置，其特征在于，所述约束项还包括第三约束项，所述第三约束项是根据所述障碍物的三维检测框的投影点坐标设置的。
13.根据权利要求9至12中任一项所述的装置，其特征在于，所述优化子模块具体用于：
利用障碍物的三维检测框的初始预测结果和所述损失函数，计算初始损失，所述初始损失为参考损失；
根据预测误差设置初始的解空间范围；
在初始的解空间范围内随机采样，得到采样点包括的三维检测框的一组位置信息，随机采样的次数为m次；
根据所述损失函数计算采样点对应的损失；
比较采样点对应的损失与所述参考损失，将损失最小的采样点的三维检测框的位置信息作为备选结果，并将损失最小的采样点对应的损失作为新的参考损失。
14.根据权利要求13所述的装置，其特征在于，所述优化子模块还用于重复执行n-1次以下步骤，n为重采样次数：
统计上次重采样的m个采样点中，损失小于参考损失的采样点的分布范围，得到新的解空间范围；
在新的解空间范围内随机采样，得到采样点包括的障碍物的三维检测框的一组位置信息，随机采样的次数为m次；
根据所述损失函数计算采样点对应的损失；
比较采样点对应的损失与所述参考损失，将损失最小的采样点的三维检测框的位置信息作为备选结果，并将损失最小的采样点对应的损失作为新的参考损失。
15.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
CN202010477558.4A 2020-05-29 2020-05-29 障碍物检测方法、装置、设备以及存储介质 Active CN111652113B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010477558.4A CN111652113B (zh) 2020-05-29 2020-05-29 障碍物检测方法、装置、设备以及存储介质
US17/141,997 US11688177B2 (en) 2020-05-29 2021-01-05 Obstacle detection method and device, apparatus, and storage medium
EP21164277.2A EP3836017B1 (en) 2020-05-29 2021-03-23 Obstacle detection method and device, apparatus, and storage medium
KR1020210038016A KR20210040312A (ko) 2020-05-29 2021-03-24 장애물 검출 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
JP2021086756A JP7228623B2 (ja) 2020-05-29 2021-05-24 障害物検出方法、装置、設備、記憶媒体、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477558.4A CN111652113B (zh) 2020-05-29 2020-05-29 障碍物检测方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN111652113A true CN111652113A (zh) 2020-09-11
CN111652113B CN111652113B (zh) 2023-07-25

Family

ID=72344867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477558.4A Active CN111652113B (zh) 2020-05-29 2020-05-29 障碍物检测方法、装置、设备以及存储介质

Country Status (5)

Country Link
US (1) US11688177B2 (zh)
EP (1) EP3836017B1 (zh)
JP (1) JP7228623B2 (zh)
KR (1) KR20210040312A (zh)
CN (1) CN111652113B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255906A (zh) * 2021-04-28 2021-08-13 中国第一汽车股份有限公司 一种自动驾驶中回归障碍物3d角度信息方法、装置、终端及存储介质
CN113808186A (zh) * 2021-03-04 2021-12-17 京东鲲鹏(江苏)科技有限公司 训练数据生成方法、装置与电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936458B (zh) * 2021-10-12 2022-12-20 中国联合网络通信集团有限公司 高速公路拥堵判别方法、装置、设备及介质
CN116563817B (zh) * 2023-04-14 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN116563818B (zh) * 2023-04-14 2024-02-06 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106227218A (zh) * 2016-09-27 2016-12-14 深圳乐行天下科技有限公司 一种智能移动设备的导航避障方法及装置
CN106441275A (zh) * 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN109948505A (zh) * 2019-03-14 2019-06-28 郑州大学 一种人体三维姿态匹配算法的优化方法
CN110286387A (zh) * 2019-06-25 2019-09-27 深兰科技（上海）有限公司 应用于自动驾驶系统的障碍物检测方法、装置及存储介质
CN111079619A (zh) * 2019-12-10 2020-04-28 北京百度网讯科技有限公司 用于检测图像中的目标对象的方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3355214A1 (de) * 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Verfahren, recheneinrichtung und computerprogramm zum bereitstellen eines fassungsrandmodells
US10373369B2 (en) * 2017-03-16 2019-08-06 Qualcomm Technologies, Inc. Three-dimensional pose estimation of symmetrical objects
KR20200050246A (ko) 2018-11-01 2020-05-11 삼성전자주식회사 2차원 영상으로부터 3차원 객체를 검출하는 방법 및 장치
CN113711279A (zh) * 2019-05-14 2021-11-26 英特尔公司 沉浸式媒体的自动点云验证
CN111008935B (zh) 2019-11-01 2023-12-12 北京迈格威科技有限公司 一种人脸图像增强方法、装置、系统及存储介质
CN111079685B (zh) 2019-12-25 2022-07-26 电子科技大学 一种3d目标检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441275A (zh) * 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置
CN106227218A (zh) * 2016-09-27 2016-12-14 深圳乐行天下科技有限公司 一种智能移动设备的导航避障方法及装置
CN109737974A (zh) * 2018-12-14 2019-05-10 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN109948505A (zh) * 2019-03-14 2019-06-28 郑州大学 一种人体三维姿态匹配算法的优化方法
CN110286387A (zh) * 2019-06-25 2019-09-27 深兰科技（上海）有限公司 应用于自动驾驶系统的障碍物检测方法、装置及存储介质
CN111079619A (zh) * 2019-12-10 2020-04-28 北京百度网讯科技有限公司 用于检测图像中的目标对象的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808186A (zh) * 2021-03-04 2021-12-17 京东鲲鹏(江苏)科技有限公司 训练数据生成方法、装置与电子设备
CN113255906A (zh) * 2021-04-28 2021-08-13 中国第一汽车股份有限公司 一种自动驾驶中回归障碍物3d角度信息方法、装置、终端及存储介质

Also Published As

Publication number Publication date
EP3836017A2 (en) 2021-06-16
JP7228623B2 (ja) 2023-02-24
CN111652113B (zh) 2023-07-25
KR20210040312A (ko) 2021-04-13
US11688177B2 (en) 2023-06-27
JP2021121970A (ja) 2021-08-26
EP3836017A3 (en) 2021-10-13
EP3836017B1 (en) 2024-01-03
US20210374439A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
CN111652113B (zh) 障碍物检测方法、装置、设备以及存储介质
US20220270289A1 (en) Method and apparatus for detecting vehicle pose
US11887388B2 (en) Object pose obtaining method, and electronic device
CN114663528A (zh) 多相机外参的联合标定方法、装置、设备和介质
CN111462029B (zh) 视觉点云与高精地图融合方法、装置和电子设备
KR102498439B1 (ko) 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체
CN111612753B (zh) 三维物体检测方法、装置、电子设备和可读存储介质
CN111722245B (zh) 定位方法、定位装置和电子设备
WO2022262160A1 (zh) 传感器标定方法及装置、电子设备和存储介质
KR20210052409A (ko) 차선의 확정방법, 포지셔닝 정밀도의 평가방법, 장치, 기기 및 컴퓨터 프로그램
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN111612852A (zh) 用于验证相机参数的方法和装置
EP3904829B1 (en) Method and apparatus for generating information, device, medium and computer program product
CN111797745A (zh) 一种物体检测模型的训练及预测方法、装置、设备及介质
CN111666876A (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
CN111753739A (zh) 物体检测方法、装置、设备以及存储介质
CN115719436A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN111260722B (zh) 车辆定位方法、设备及存储介质
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
CN115578432A (zh) 图像处理方法、装置、电子设备及存储介质
CN111784579B (zh) 制图方法及装置
CN111968071B (zh) 车辆的空间位置生成方法、装置、设备及存储介质
CN112184914B (zh) 目标对象三维位置的确定方法、装置和路侧设备
CN115294234A (zh) 图像的生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211013

Address after: 100176 Room 101, 1st floor, building 1, yard 7, Ruihe West 2nd Road, economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant