CN115578337A - 一种点云检测优化方法、装置、电子设备及存储介质 - Google Patents

一种点云检测优化方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN115578337A
CN115578337A CN202211202985.7A CN202211202985A CN115578337A CN 115578337 A CN115578337 A CN 115578337A CN 202211202985 A CN202211202985 A CN 202211202985A CN 115578337 A CN115578337 A CN 115578337A
Authority
CN
China
Prior art keywords
bounding box
dimensional bounding
image
dimensional
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211202985.7A
Other languages
English (en)
Inventor
杨镜
卢维欣
朱丽娟
张瀚天
白宇
万国伟
彭亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211202985.7A priority Critical patent/CN115578337A/zh
Publication of CN115578337A publication Critical patent/CN115578337A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种点云检测优化方法、装置、电子设备及存储介质，涉及人工智能技术领域，尤其涉及智能交通、自动驾驶、高精地图等技术领域。具体实现方案为：确定与三维包围盒相关的第一图像；其中，该三维包围盒通过点云检测得到，该第一图像为包含该三维包围盒对应的目标物体的图像；将该三维包围盒投影至该第一图像，以得到投影包围盒；并对该第一图像进行图像检测，以得到二维包围盒；利用该投影包围盒与该二维包围盒的位置关系，确定该三维包围盒是否可切分。本公开能够提高点云检测的准确性。

Description

一种点云检测优化方法、装置、电子设备及存储介质
技术领域
本公开涉及人工智能技术领域，尤其涉及智能交通、自动驾驶、高精地图等技术领域。
背景技术
点云检测是指，通过激光雷达扫描得到点云数据，对点云数据进行检测，以识别出目标物体。在点云检测中，存在由于目标物体非常接近而导致检测错误的情况；例如，由于两个或多个物体的位置非常接近，仅通过点云检测难以区分，可能会将两个或多个物体误识别为一个物体。
发明内容
本公开提供了一种点云检测优化方法、装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种点云检测优化方法，包括：
确定与三维包围盒相关的第一图像；其中，该三维包围盒通过点云检测得到，该第一图像为包含该三维包围盒对应的目标物体的图像；
将该三维包围盒投影至该第一图像，以得到投影包围盒；并对该第一图像进行图像检测，以得到二维包围盒；
利用该投影包围盒与该二维包围盒的位置关系，确定该三维包围盒是否可切分。
根据本公开的另一方面，提供了一种点云检测优化装置，包括：
第一图像确定模块，用于确定与三维包围盒相关的第一图像；其中，该三维包围盒通过点云检测得到，该第一图像为包含该三维包围盒对应的目标物体的图像；
包围盒确定模块，用于将该三维包围盒投影至第一图像，以得到投影包围盒；并对该第一图像进行图像检测，以得到二维包围盒；
判断模块，用于利用该投影包围盒与该二维包围盒的位置关系，确定该三维包围盒是否可切分。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开中任一实施例的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开中任一实施例的方法。
本公开实施例提出的点云检测优化方法，根据三维包围盒在第一图像上的投影得到投影包围盒、以及第一图像中的二维包围盒的位置关系，确定该三维包围盒是否可以切分，能够提高点云检测的准确性。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例的应用场景示意图；
图2是根据本公开一实施例的点云检测优化方法200的实现流程图；
图3是根据本公开一实施例的采集车与目标物体之间距离的示意图；
图4是根据本公开一实施例的点云检测结果优化流程示意图；
图5是根据本公开一实施例的投影包围盒和2D包围盒交集关系的示意图；
图6A是根据本公开一实施例的第一图像2D包围盒的示意图；
图6B是根据本公开一实施例的第一图像3D包围盒平面切分点的示意图；
图7是根据本公开一实施例的点云检测优化方法示意图；
图8是根据本公开一实施例的点云检测优化装置800的结构示意图；
图9是根据本公开一实施例的点云检测优化装置900的结构示意图；
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
点云检测是指，通过激光雷达扫描得到点云数据，对点云数据进行检测，以识别出目标物体。在点云检测中，存在由于目标物体非常接近而导致检测错误的情况；例如，由于两个或多个物体的位置非常接近，仅通过点云检测难以区分，可能会将两个或多个物体误识别为一个物体。
点云检测是高精地图生产过程中的重要阶段。高精地图也称为高精度地图，在自动驾驶、智能交通等领域中具有广泛的应用。高精地图拥有精确的车辆位置信息和丰富的道路元素数据信息，可以帮助车辆预知路面复杂信息，如坡度、曲率、航向等，更好地规避潜在的风险。高精地图生产，是采用最小数据量来描述真实物理世界中的地图要素，其中，每一个地图要素可以由几何坐标和属性信息构成，因此，高精地图生产的核心诉求之一为：获取到物理世界中每一个地图要素(比如车道线、红绿灯、人行横道等)在物理世界中的坐标(如在世界坐标系下的坐标)。地图要素可以包括地面要素、立面要素等；常见的立面要素包括牌、杆、红绿灯等，作为重要的地图要素，立面要素在道路信息获取和自动驾驶定位上都发挥着重要的作用。高精地图中的地图元素也可以认为是交通场景中的目标物体。
除了高精地图的生产过程之外，自动驾驶车辆也需要对目标物体进行点云检测。
相关技术中，通常采用激光雷达进行点云检测。例如，在高精地图制作过程或自动驾驶车辆的感知过程等场景中，采用激光雷达采集点云数据，并采用相关算法对采集的点云数据进行检测，从而得到目标物体的三维包围盒。在实际场景中，存在物体位置非常接近导致点云检测错误的情况。例如，存在大量交通标牌几何位置接近、甚至粘连的情况，在这种情况下，激光雷达扫描的点云数据难以区分独立的标牌，导致点云检测的标牌出现错误，影响高精地图的质量。这种检测得到的错误标牌可以称为粘连点云标牌。
本公开实施例提出一种点云检测优化方法，能够提高对点云检测结果进行优化。图1是本公开实施例的应用场景示意图。如图1所示，本公开实施例基于的网络架构可以包括：图像采集设备110、激光雷达120、用于实现点云检测优化方法的点云检测优化装置130。图像采集设备110与点云检测优化装置130之间可以通过有线网络或无线网络连接，图像采集设备110采集图像，并通过该有线网络或无线网络将采集的图像提供给点云检测优化装置130。激光雷达120与点云检测优化装置130之间可以通过有线网络或无线网络连接，激光雷达120生成点云数据，并通过该有线网络或无线网络将点云数据提供给点云检测优化装置130。点云检测优化装置130利用点云数据进行点云检测，并利用图像数据对点云检测结果进行优化。本公开实施例基于的网络架构还可以包括数据服务器140，数据服务器140可以为云端服务器或服务器集群，可以用于存储数据。完成点云检测优化之后，点云检测优化装置130可以将优化后的点云检测结果发送至数据服务器140进行存储。
图2为本公开一实施例提供的点云检测优化方法200的实现流程图，包括：
S210、确定与三维包围盒相关的第一图像；其中，该三维包围盒通过点云检测得到，该第一图像为包含该三维包围盒对应的目标物体的图像；
S220、将该三维包围盒投影至该第一图像，以得到投影包围盒；并对该第一图像进行图像检测，以得到二维包围盒；
S230、利用该投影包围盒与该二维包围盒的位置关系，确定该三维包围盒是否可切分。
在一些示例中，可以对激光雷达采集的点云数据进行点云检测，得到目标物体的三维(3D，3dimension)包围盒。例如，目标物体为交通标牌，对点云数据进行交通标牌检测，以确定包含交通标牌的三维包围盒。该点云检测方法，可以采用深度学习模型完成，也可利用传统的算法完成。
在一些示例中，第一图像可以为镜头朝向三维包围盒、并且与三维包围盒之间的距离小于或等于预设阈值的情况下拍摄的图像。
例如，在采集车上安装图像采集装置(如摄像机)和激光雷达，摄像机和激光雷达同步采集数据，其中摄像机采集的是视频数据、激光雷达采集的是点云数据。三维包围盒的位置可以认为是目标物体的真实位置，那么，第一图像可以是摄像机镜头朝向目标物体(也就是采集车朝向目标物体行驶)、并且摄像机镜头与目标物体之间的距离(也就是采集车与目标物体之间的距离)小于或等于预设阈值时拍摄的图像。如图3所示，当采集车与目标物体之间的距离达到预设阈值(图3中用S表示)、并且采集车向目标物体逐渐靠近时，其采集的视频数据中的每帧图像均可以作为第一图像。如图3中，采集车在位置A和位置B之间采集的视频数据中的每帧图像可以作为第一图像；其中，位置B为目标物体所在的位置(也就是点云检测确定的三维包围盒的位置)、位置A与位置B之间的距离为预设阈值。该预设阈值可以为预先设定的值，例如设定预设阈值为50米。
相对于点云检测来说，图像检测确定的准确性更高。例如，在立面要素检测场景中，一些交通牌的位置较近、再加上外接环境的影响，采用点云检测可能将位置较近的交通牌误认为是一个物体，出现识别错误；而图像检测则能够区分出多个物体。以图4为例，按照从左至右的顺序，图4中的第一幅图像是对一个场景的图像检测示意图，在图4的第一幅图像中，能够检测出各个交通牌的二维(2D，2dimension)包围盒；图4中的第二幅图像是该场景的点云检测示意图，在图4的第二幅图像中，由于上方的三个交通牌位置较近，点云检测出现识别错误，将该三个交通牌误认为是一个物体，只划分出一个3D包围盒。针对类似情况，采用本公开实施例提出的点云检测优化方法，能够识别出点云检测确定的3D包围盒是否可切分，并将可切分的3D包围盒进行切分。按照从左至右的顺序，图4中的第三幅图像是切分后的3D包围盒示意图，该示例采用图4的第一幅图像所示的视频检测结果、对图4的第二幅图像所示的点云检测结果进行识别和切分。此外，根据需求，采用本公开实施例提出的点云检测优化方法，还可以利用图像检测结果，将实际一个交通标牌按照其内容拆分成两个或多个(如图4中竖向标牌)。
关于确定3D包围盒是否可切分，本公开实施例至少包括以下两种有效性判断方式：
方式一、利用一个第一图像进行判断：
将3D包围盒投影至第一图像，以得到投影包围盒；并对该第一图像进行图像检测，以得到2D包围盒；
利用投影包围盒与2D包围盒的位置关系，确定三维包围盒是否可切分。
在一些实施方式中，将三维包围盒投影至第一图像，可以包括：利用第一图像对应的相机参数，将三维包围盒投影至第一图像。其中，第一图像对应的相机参数可以包括：图像采集设备在拍摄第一图像时的相机参数，该相机参数包括内部参数和外部参数中的至少之一。例如，外部参数可以包括图像采集设备的位姿，包括图像采集设备的三维坐标信息以及镜头朝向信息等。
具体地，可以确定三维包围盒的三维坐标；然后，根据点云采集装置(如激光雷达)的参数和第一图像对应的相机参数，确定点云采集装置与图像采集设备装置之间的标定矩阵；根据该三维包围盒的三维坐标和该标定矩阵，确定出三维包围盒在图像坐标系中的二维坐标，从而得到投影得到的投影包围盒。
在一些示例中，可以在投影包围盒与2D包围盒存在交集、该交集的面积与2D包围盒的面积之比大于第一阈值、并且该交集的面积与投影包围盒的面积之比小于第二阈值的情况下，确定三维包围盒可切分；
其中，第一阈值和第二阈值为预先设定的正数。
如果不满足上述条件，则可以认为该3D包围盒不可切分。
例如，Box3d_2d表示3D包围盒在第一图像上的投影，即投影包围盒；也可以表示投影包围盒的面积；投影包围盒是二维的；
box2d表示2D包围盒，也可以表示该2D包围盒的面积；
Ibox2d＝Box3d_2d∩box2d，表示投影包围盒与2D包围盒的交集，也可以表示该交集的面积；
上述各个包围盒满足以下关系时，认为该三维包围盒有效：
Figure BDA0003873159940000071
其中，T1表示第一阈值，T2表示第二阈值；T1和T2是预先设定的正数，例如，T1取值均为0.9，T2取值为0.5。
以图5为例，图5中矩形ABCD表示投影包围盒，矩形A’B’C’D’表示2D包围盒；在二者存在交集、该交集占据2D包围盒的比例较大、并且该交集占据投影包围盒的比例较小时，表示2D包围盒与该3D包围盒相关、并且该2D包围盒对应的目标物体属于3D包围盒对应的目标物体的一部分，因此可以确定3D包围盒可切分。通过这种方式，可以准确识别非常接近的多个目标物体的3D包围盒。
方式二：
方式二与上述方式一类似，其区别在于，方式二利用多个第一图像对3D包围盒可切分性进行判断，综合多个判断结果，确定3D包围盒是否可切分。在针对一个第一图像进行可切分性判断时，具体判断方式与上述方式一相同。
例如，确定与该三维包围盒相关的至少两帧第一图像；
针对至少两帧第一图像中的每帧第一图像，利用投影包围盒与二维包围盒的位置关系，确定三维包围盒是否可切分，以得到针对至少两帧第一图像的第一判断结果；
根据针对至少两帧第一图像的第一判断结果，确定三维包围盒是否可切分。
在一些实施方式中，上述第一判断结果为可切分或不可切分；
根据针对至少两帧第一图像的判断结果，确定三维包围盒是否可切分，可以包括：
在第一数量与第二数量的比值大于或等于预设比例的情况下，确定三维包围盒可切分；其中，
第一数量为第一判断结果为可切分的个数；
第二数量为第一判断结果的个数。
第二数量等于第一判断结果为可切分的个数与第一判断结果为不可切分的个数之和。
在一些实施方式中，上述与3D包围盒相关的第一图像，可以指3D包围盒相关的连续多帧图像。
例如，获取包含与3D包围盒相关的10个第一图像，针对第一图像中的每个第一图像，分别得到一个第一判断结果，该第一判断结果为可切分或不可切分；如果其中9个第一判断结果为可切分，1个第一判断结果为不可切分，则第一数量与第二数量的比值为0.9；假定预设比例为0.9，则该比值等于预设比例，能够确定3D包围盒可切分。
可见，相比方式一，方式二利用多个第一图像对3D包围盒的可切分性进行判断，能够提高判断结果的准确性。
在确定3D包围盒可切分之后，本公开实施例还可以进一步对该3D包围盒进行切分。本公开实施例至少包括以下两种切分方式：
方式一、利用一个第一图像进行切分：
在确定出3D包围盒可切分的情况下，将与3D包围盒相关的第一图像中的2D包围盒投影至3D包围盒的平面，以得到切分点；
利用该切分点对3D包围盒进行切分，以得到切分后的3D包围盒。
本方式特别适用于目标物体是平板形状的场景，例如目标物体是交通牌。这类物体由于厚度较小，其3D包围盒通常近似于一个平面，该平面可以称为3D包围盒的平面。
在一些示例中，将第一图像中的2D包围盒投影至3D包围盒的平面时，可以利用该第一图像对应的相机参数，将第一图像中2D包围盒的像素点投影至3D包围盒的平面。例如，确定2D包围盒的像素点的二维坐标；然后，根据第一图像对应的相机参数和点云采集装置(如激光雷达)的参数，确定图像采集装置与点云采集装置之间的标定矩阵；根据2D包围盒的像素点的二维坐标和该标定矩阵，确定出2D包围盒的像素点在3D包围盒的平面中的位置，从而得到切分点。
可见，本方式利用图像检测结果，能够利用图像检测的优势，对3D包围盒进行切分，实现对点云检测的优化。
方式二、利用至少第一图像进行切分：
方式二与上述方式一类似，其区别在于，方式二利用多个第一图像对3D包围盒进行切分性，针对同一个像素点，利用每个第一图像在3D包围盒的平面上确定一个投影点；利用这些投影点，确定切分点。
在一些实施方式中，获取至少两个与3D包围盒相关的第一图像；
将获取的至少两个第一图像中的2D包围盒的相同像素点投影至3D包围盒的平面，以得到至少两个投影点；
利用至少两个投影点，确定切分点。
具体地，在投影时，针对至少两个第一图像中的各个第一图像，利用该第一图像对应的相机参数，将第一图像中的该相同像素点投影至3D包围盒的平面。
图6A和6B是根据本公开一实施例确定3D包围盒切分点的示意图。如图6A显示一个第一图像中的三个2D包围盒，点A是其中一个2D包围盒中的一个像素点；针对每个第一图像，都存在点A。图6B显示该第一图像对应的3D包围盒的平面，针对多个第一图像，每个第一图像上的点A均在该3D包围盒的平面上确定出一个投影点(如图6B中散布的多个点)，利用这些投影点，可以确定出切分点。例如，可以对多个投影点的x、y坐标分别计算平均值，得到坐标值(x’,y’)，该坐标值即为切分点的位置。采用同样的方式，针对其他的像素点做同样的操作，可以确定出其他切分点。在确定出各个切分点之后，可以利用这些切分点对3D包围盒进行切分。
显然，与方式一相比，方式二利用多个第一图像确定切分点，能够减少图像检测与点云检测的位置偏差，更准确地确定出切分点的位置。
此外，在对3D包围盒进行切分之后，本公开实施例还可以利用与3D包围盒相关的第一图像中的2D包围盒对应的属性信息，对该切分后的3D包围盒的属性进行赋值。属性信息可以指类型(如红绿灯、交通标牌、车道线等)、以及携带的信息(如“限高4.5米”、“禁止行人通行”等)。
例如，如果3D包围盒被第一图像中的一个2D包围盒切分，该2D包围盒的属性为“交通标牌，禁止行人通行”，则划分后的3D包围盒的属性也可以赋值为“交通标牌，禁止行人通行”。
点云检测难以确定目标物体的属性，例如，对于交通标牌，点云检测能够确定出其形状、但无法确定出该交通标牌上的文字。针对这种问题，图像检测则能够很好地解决。因此，本实施例采用图像检测得到的属性信息对3D包围盒的属性进行赋值，能够提高检测效果。
以下以本公开实施例在实际高精地图生产过程中，对单个采集任务采集的数据进行点云检测优化为例，介绍本公开进行点云检测优化的一个实施例。在进行目标检测之前，为了保证点云要素检测和三维图像重建的精度，首先对激光雷达和图像采集装置的位姿数据等参数进行优化。
接着，由图像采集装置(如摄像机)和激光雷达分别进行数据采集。可以在采集车上安装参数优化之后的摄像机和激光雷达，随着采集车的移动，摄像机和激光雷达同步采集数据，其中摄像机采集的是视频数据、激光雷达采集的是点云数据。道路中的视频图像和点云数据可以同步采集、也可以分别采集。
一个采集车的采集任务称为单采集任务。针对单采集任务采集的视频数据，可以按照预定的划分规则，将视频数据划分为多个子图，每个子图包括连续的多帧图像。例如，按照视频数据的时长进行划分，每10分钟的视频数据划分为一个子图。或者，按照采集视频数据是采集车的行驶距离进行划分，采集车每行驶50米采集到的视频数据划分为一个子图。
针对划分出的各个子图分别进行点云检测优化。如图7是根据本公开一实施例的点云检测优化方法示意图，在图7所示的示例中，以检测高精地图的立面要素为例进行介绍。该方法包括：
S710：对点云数据进行点云检测，得到3D包围盒。
具体地，检测点云数据，识别立面要素，并确定立面要素的3D包围盒。
其中，立面要素包括牌、杆、红绿灯等。
S720：对图像进行图像检测，得到图像检测结果。
具体地，识别图像中的立面要素，并确定立面要素的2D包围盒。
其中，步骤S710和S720可以同步执行、也可以一先一后执行，本实施例对二者的执行顺序没有限制。
S730：利用步骤S710和S720的检测结果、以及图像对应的相机位姿和内参数据等相机参数，判断3D包围盒是否可拆分，如果可拆分，则继续执行步骤S740。
S740：对3D包围盒进行拆分，得到优化后的3D包围盒(即拆分后的3D包围盒。)
具体的判断和拆分方式在上述实施例中已有介绍，在此不再赘述。
此外，本公开实施例还可以利用图像检测确定的目标物体的属性，对拆分后的3D包围盒的属性进行赋值。
本公开实施例还提出一种点云检测优化装置，图8是根据本公开一实施例的点云检测优化装置800的结构示意图，包括：
第一图像确定模块810，用于确定与三维包围盒相关的第一图像；其中，该三维包围盒通过点云检测得到，该第一图像为包含该三维包围盒对应的目标物体的图像；
包围盒确定模块820，用于将该三维包围盒投影至该第一图像，以得到投影包围盒；并对该第一图像进行图像检测，以得到二维包围盒；
判断模块830，用于利用该投影包围盒与该二维包围盒的位置关系，确定该三维包围盒是否可切分。
在一些实施方式中，该第一图像确定模块810，用于确定与该三维包围盒相关的至少两帧第一图像；
该判断模块830，包括：
第一判断子模块831，用于针对该至少两帧第一图像中的每帧第一图像，利用该投影包围盒与该二维包围盒的位置关系，确定该三维包围盒是否可切分，以得到针对至少两帧第一图像的第一判断结果；
第二判断子模块832，用于根据针对至少两帧第一图像的第一判断结果，确定该三维包围盒是否可切分。
在一些实施方式中，该第一判断结果为可切分或不可切分；
该第二判断子模块832，用于在第一数量与第二数量的比值大于或等于预设比例的情况下，确定该三维包围盒可切分；其中，
该第一数量为该第一判断结果为可切分的个数；
该第二数量为该第一判断结果的个数。
在一些实施方式中，利用该投影包围盒与该二维包围盒的位置关系，确定该三维包围盒是否可切分，包括：在该投影包围盒与该二维包围盒存在交集、该交集的面积与该二维包围盒的面积之比大于第一阈值、并且该交集的面积与该投影包围盒的面积之比小于第二阈值的情况下，确定该三维包围盒可切分；其中，该第一阈值和该第二阈值为预先设定的正数。
图9是根据本公开一实施例的一种点云检测优化装置900的结构示意图，如图9所示，在一些实施方式中，本公开实施例提出的点云检测优化装置900还包括：
切分点确定模块940，用于在确定出该三维包围盒可切分的情况下，将与三维包围盒相关的第一图像中的二维包围盒投影至该三维包围盒的平面，以得到切分点；
切分模块950，用于利用该切分点对该三维包围盒进行切分，以得到切分后的三维包围盒。
在一些实施方式中，该切分点确定模块940用于：
获取至少两个与该三维包围盒相关的第一图像；
将获取的至少两个第一图像中的二维包围盒的相同像素点投影至该三维包围盒的平面，以得到至少两个投影点；
利用该至少两个投影点，确定该切分点。
在一些实施方式中，该切分点确定模块940用于：
针对至少两个第一图像中的各个第一图像，利用该第一图像对应的相机参数，将该第一图像中的相同像素点投影至三维包围盒的平面。
在一些实施方式中，还包括：
属性赋值模块960，用于利用与三维包围盒相关的第一图像中的二维包围盒对应的属性信息，对切分后的三维包围盒的属性进行赋值。
在一些实施方式中，该包围盒确定模块820，用于利用第一图像对应的相机参数，将该三维包围盒投影至该第一图像。
在一些实施方式中，该第一图像对应的相机参数包括：图像采集设备在拍摄该第一图像时的相机参数，该相机参数包括内部参数和外部参数中的至少之一。
公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如点云检测优化方法。例如，在一些实施例中，点云检测优化方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的点云检测优化方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行点云检测优化方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (23)

1.一种点云检测优化方法，包括：
确定与三维包围盒相关的第一图像；其中，所述三维包围盒通过点云检测得到，所述第一图像为包含所述三维包围盒对应的目标物体的图像；
将所述三维包围盒投影至所述第一图像，以得到投影包围盒；并对所述第一图像进行图像检测，以得到二维包围盒；
利用所述投影包围盒与所述二维包围盒的位置关系，确定所述三维包围盒是否可切分。
2.根据权利要求1所述的方法，其中，所述确定与所述三维包围盒相关的第一图像，包括：确定与所述三维包围盒相关的至少两帧第一图像；
所述利用所述投影包围盒与所述二维包围盒的位置关系，确定所述三维包围盒是否可切分，包括：
针对所述至少两帧第一图像中的每帧第一图像，利用所述投影包围盒与所述二维包围盒的位置关系，确定所述三维包围盒是否可切分，以得到针对所述至少两帧第一图像的第一判断结果；
根据所述针对所述至少两帧第一图像的第一判断结果，确定所述三维包围盒是否可切分。
3.根据权利要求2所述的方法，其中，所述第一判断结果为可切分或不可切分；
所述根据所述针对所述至少两帧第一图像的判断结果，确定所述三维包围盒是否可切分，包括：
在第一数量与第二数量的比值大于或等于预设比例的情况下，确定所述三维包围盒可切分；其中，
所述第一数量为所述第一判断结果为可切分的个数；
所述第二数量为所述第一判断结果的个数。
4.根据权利要求1-3中任一所述的方法，其中，所述利用所述投影包围盒与所述二维包围盒的位置关系，确定所述三维包围盒是否可切分，包括：
在所述投影包围盒与所述二维包围盒存在交集、所述交集的面积与所述二维包围盒的面积之比大于第一阈值、并且所述交集的面积与所述投影包围盒的面积之比小于第二阈值的情况下，确定所述三维包围盒可切分；
其中，所述第一阈值和所述第二阈值为预先设定的正数。
5.根据权利要求1-4中任一所述的方法，还包括：
在确定出所述三维包围盒可切分的情况下，将所述与三维包围盒相关的第一图像中的二维包围盒投影至所述三维包围盒的平面，以得到切分点；
利用所述切分点对所述三维包围盒进行切分，以得到切分后的三维包围盒。
6.根据权利要求5所述的方法，其中，所述将所述与三维包围盒相关的第一图像中的二维包围盒投影至所述三维包围盒的平面，以得到切分点，包括：
获取至少两个与所述三维包围盒相关的第一图像；
将获取的至少两个第一图像中的二维包围盒的相同像素点投影至所述三维包围盒的平面，以得到至少两个投影点；
利用所述至少两个投影点，确定所述切分点。
7.根据权利要求6所述的方法，其中，所述将获取的至少两个第一图像中的二维包围盒的相同像素点投影至所述三维包围盒的平面，包括：
针对所述至少两个第一图像中的各个第一图像，利用所述第一图像对应的相机参数，将所述第一图像中的所述相同像素点投影至所述三维包围盒的平面。
8.根据权利要求5-7中任一所述的方法，还包括：
利用所述与三维包围盒相关的第一图像中的二维包围盒对应的属性信息，对所述切分后的三维包围盒的属性进行赋值。
9.根据权利要求1-7中任一所述的方法，其中，所述将所述三维包围盒投影至所述第一图像，包括：
利用所述第一图像对应的相机参数，将所述三维包围盒投影至所述第一图像。
10.根据权利要求7或9所述的方法，其中，所述第一图像对应的相机参数包括：图像采集设备在拍摄所述第一图像时的相机参数，所述相机参数包括内部参数和外部参数中的至少之一。
11.一种点云检测优化装置，包括：
第一图像确定模块，用于确定与三维包围盒相关的第一图像；其中，所述三维包围盒通过点云检测得到，所述第一图像为包含所述三维包围盒对应的目标物体的图像；
包围盒确定模块，用于将所述三维包围盒投影至所述第一图像，以得到投影包围盒；并对所述第一图像进行图像检测，以得到二维包围盒；
判断模块，用于利用所述投影包围盒与所述二维包围盒的位置关系，确定所述三维包围盒是否可切分。
12.根据权利要求11所述的装置，其中，所述第一图像确定模块，用于确定与所述三维包围盒相关的至少两帧第一图像；
所述判断模块，包括：
第一判断子模块，用于针对所述至少两帧第一图像中的每帧第一图像，利用所述投影包围盒与所述二维包围盒的位置关系，确定所述三维包围盒是否可切分，以得到针对所述至少两帧第一图像的第一判断结果；
第二判断子模块，用于根据所述针对所述至少两帧第一图像的第一判断结果，确定所述三维包围盒是否可切分。
13.根据权利要求12所述的装置，其中，所述第一判断结果为可切分或不可切分；
所述第二判断子模块，用于在第一数量与第二数量的比值大于或等于预设比例的情况下，确定所述三维包围盒可切分；其中，
所述第一数量为所述第一判断结果为可切分的个数；
所述第二数量为所述第一判断结果的个数。
14.根据权利要求11-13中任一所述的装置，其中，所述利用所述投影包围盒与所述二维包围盒的位置关系，确定所述三维包围盒是否可切分，包括：在所述投影包围盒与所述二维包围盒存在交集、所述交集的面积与所述二维包围盒的面积之比大于第一阈值、并且所述交集的面积与所述投影包围盒的面积之比小于第二阈值的情况下，确定所述三维包围盒可切分；其中，所述第一阈值和所述第二阈值为预先设定的正数。
15.根据权利要求11-14中任一所述的装置，还包括：
切分点确定模块，用于在确定出所述三维包围盒可切分的情况下，将所述与三维包围盒相关的第一图像中的二维包围盒投影至所述三维包围盒的平面，以得到切分点；
切分模块，用于利用所述切分点对所述三维包围盒进行切分，以得到切分后的三维包围盒。
16.根据权利要求15所述的装置，其中，所述切分点确定模块用于：
获取至少两个与所述三维包围盒相关的第一图像；
将获取的至少两个第一图像中的二维包围盒的相同像素点投影至所述三维包围盒的平面，以得到至少两个投影点；
利用所述至少两个投影点，确定所述切分点。
17.根据权利要求16所述的装置，其中，所述切分点确定模块用于：
针对所述至少两个第一图像中的各个第一图像，利用所述第一图像对应的相机参数，将所述第一图像中的所述相同像素点投影至所述三维包围盒的平面。
18.根据权利要求15-17中任一所述的装置，还包括：
属性赋值模块，用于利用所述与三维包围盒相关的第一图像中的二维包围盒对应的属性信息，对所述切分后的三维包围盒的属性进行赋值。
19.根据权利要求11-17中任一所述的装置，其中，所述包围盒确定模块，用于利用所述第一图像对应的相机参数，将所述三维包围盒投影至所述第一图像。
20.根据权利要求17或19所述的装置，其中，所述第一图像对应的相机参数包括：图像采集设备在拍摄所述第一图像时的相机参数，所述相机参数包括内部参数和外部参数中的至少之一。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。
CN202211202985.7A 2022-09-29 2022-09-29 一种点云检测优化方法、装置、电子设备及存储介质 Pending CN115578337A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211202985.7A CN115578337A (zh) 2022-09-29 2022-09-29 一种点云检测优化方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211202985.7A CN115578337A (zh) 2022-09-29 2022-09-29 一种点云检测优化方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN115578337A true CN115578337A (zh) 2023-01-06

Family

ID=84582912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211202985.7A Pending CN115578337A (zh) 2022-09-29 2022-09-29 一种点云检测优化方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN115578337A (zh)

Similar Documents

Publication Publication Date Title
CN111666876B (zh) 用于检测障碍物的方法、装置、电子设备和路侧设备
JP7295213B2 (ja) 信号灯の位置判定方法、装置、記憶媒体、プログラム、路側機器
CN113674287A (zh) 高精地图的绘制方法、装置、设备以及存储介质
JP2022048963A (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
CN112258519A (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
CN114037966A (zh) 高精地图特征提取方法、装置、介质及电子设备
CN114279433A (zh) 地图数据自动化生产方法、相关装置及计算机程序产品
CN115641359A (zh) 确定对象的运动轨迹的方法、装置、电子设备和介质
CN111950345A (zh) 摄像头的识别方法、装置、电子设备和存储介质
CN115240154A (zh) 停车场的点云特征提取方法、装置、设备及介质
CN113971723A (zh) 高精地图中三维地图的构建方法、装置、设备和存储介质
CN113011298A (zh) 截断物体样本生成、目标检测方法、路侧设备和云控平台
CN115410173B (zh) 多模态融合的高精地图要素识别方法、装置、设备及介质
CN116758503A (zh) 车道线自动标注方法、装置、设备及存储介质
CN115761698A (zh) 一种目标检测方法、装置、设备及存储介质
CN115861959A (zh) 一种车道线识别方法、装置、电子设备及存储介质
CN115953759A (zh) 对车位限位器的检测方法、装置、电子设备及存储介质
CN114005098A (zh) 高精地图车道线信息的检测方法、装置和电子设备
CN115578337A (zh) 一种点云检测优化方法、装置、电子设备及存储介质
CN116052097A (zh) 一种地图要素检测方法、装置、电子设备和存储介质
CN115527028A (zh) 地图数据处理方法及装置
CN113901903A (zh) 道路识别方法和装置
CN114565906A (zh) 障碍物检测方法、装置、电子设备及存储介质
CN113762397A (zh) 检测模型训练、高精度地图更新方法、设备、介质及产品
CN113554882A (zh) 用于输出信息的方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination