CN112562093B - 目标检测方法、电子介质和计算机存储介质 - Google Patents
目标检测方法、电子介质和计算机存储介质 Download PDFInfo
- Publication number
- CN112562093B CN112562093B CN202110222540.4A CN202110222540A CN112562093B CN 112562093 B CN112562093 B CN 112562093B CN 202110222540 A CN202110222540 A CN 202110222540A CN 112562093 B CN112562093 B CN 112562093B
- Authority
- CN
- China
- Prior art keywords
- target
- point cloud
- point
- coordinate system
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 46
- 238000006243 chemical reaction Methods 0.000 claims abstract description 31
- 238000000034 method Methods 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 10
- 239000000126 substance Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明提供了一种目标检测方法、电子介质和计算机存储介质，方法包括：分别获取摄像头和激光雷达同步采集到的图像和点云，并且从点云中提取位于摄像头的视场角内的点云作为第一点云；将第一点云投影至图像坐标系中得到图像坐标系下的第二点云；检测图像中包含的各目标得到各目标的各目标检测信息；根据各像素位置确定各目标的目标框，根据位于各目标框内的第二点云确定与各目标对应的视锥点云；对各视锥点云进行坐标转换得到与各目标对应的目标视锥点云；提取各目标视锥点云中的第一目标点云，根据第一目标点云得到各目标的第一三维信息；根据各第一三维信息确定各目标在车辆坐标系下的第二三维信息，输出各目标检测信息和各第二三维信息。
Description
技术领域
本发明涉及智能汽车环境感知技术领域，特别是涉及一种目标检测方法、电子介质和计算机存储介质。
背景技术
随着时代的发展、技术的进步，如今，智能汽车成为交通运输工具领域的热门研究话题。对于智能汽车，其要具备可靠的实时环境感知能力和理解周围环境的能力，这样才能规划出正确路径、保证安全驾驶。
现有技术中，很多环境感知方法是基于单传感器的，但是单传感器检测方法无法突破传感器本身的数据特征，导致环境感知能力差，目标检测不准。因此基于多传感器的目标检测方法是目前的研究热点之一。对于基于多传感器的目标检测方法，一般是对摄像头和激光雷达各自输出的感知数据做目标级别的融合以达到对环境的感知，这样的方法在一定程度上提高了目标检测的准确性。但是却并没有在感知数据层面做到很好的融合，导致感知数据融合过程中损失了大量信息，对目标检测的准确性产生了影响。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的目标检测方法、电子介质和计算机存储介质。
根据本发明的一个方面，提供了一种目标检测方法，其包括：
分别获取摄像头和激光雷达同步采集到的图像和点云，并且从所述点云中提取位于所述摄像头的视场角内的点云作为第一点云；
将所述第一点云投影至图像坐标系中得到所述图像坐标系下的第二点云；
检测所述图像中包含的各目标得到各所述目标的各目标检测信息，各所述目标检测信息包括各所述目标的像素位置；
根据各所述目标的像素位置确定各所述目标的目标框，根据位于各所述目标框内的所述第二点云确定与各所述目标对应的视锥点云；
对各所述视锥点云进行坐标转换得到与各所述目标对应的目标视锥点云；
提取各所述目标视锥点云中的第一目标点云，对各所述第一目标点云进行坐标转换得到与各所述目标对应的第二目标点云；
对各所述第二目标点云进行拟合回归得到各所述目标的第一三维信息；
根据各所述第一三维信息确定各所述目标在车辆坐标系下的第二三维信息，输出各所述目标检测信息和各所述第二三维信息。
可选地，所述将所述第一点云投影至图像坐标系中得到所述图像坐标系下的第二点云，包括：
标定所述摄像头的内参数得到内参数矩阵；
以所述摄像头为参考点联合标定所述摄像头和所述激光雷达得到所述激光雷达到所述摄像头的第一坐标转换矩阵；
利用所述第一坐标转换矩阵对所述第一点云进行坐标转换得到所述摄像头坐标系下的第三点云；
利用所述内参数矩阵对所述第三点云进行坐标投影得到所述图像坐标系下的所述第二点云。
可选地，所述根据位于各所述目标框内的所述第二点云确定与各所述目标对应的视锥点云包括：
对位于各所述目标框内的所述第二点云进行随机采样，得到与各所述目标对应的第四点云；
将与各所述第四点云对应的各所述第三点云确定为与各所述目标对应的所述视锥点云。
可选地，所述对各所述视锥点云进行坐标转换得到与各所述目标对应的目标视锥点云包括：
确定各所述目标的中心轴与所述摄像头坐标系的Z轴间的夹角，利用各所述夹角对各所述视锥点云进行坐标转换得到与各所述目标对应的第一视锥点云，其中，所述中心轴为所述目标的中心与所述摄像头坐标系的原点间的连线；
计算各所述第一视锥点云的Y轴平均值，利用各所述Y轴的平均值对各所述第一视锥点云进行坐标转换得到与各所述目标对应的所述目标视锥点云。
可选地，所述第一三维信息包括所述目标的中心点的坐标、长宽高及航向角，所述根据各所述第一三维信息确定各所述目标在车辆坐标系下的第二三维信息包括：
以车辆的惯性测量装置为参考点标定所述摄像头的外参数得到外参数矩阵；
对于每一所述目标，根据所述中心点的坐标、所述长宽高及所述航向角确定所述目标的各角点的坐标；
利用所述第一目标点云的坐标平均值对所述中心点和各所述角点的坐标进行转换，得到第一中心点和各第一角点的坐标；
利用所述第一视锥点云的Y轴的平均值对所述第一中心点和各所述第一角点的坐标进行转换，得到第二中心点和各第二角点的坐标；
利用所述目标的中心轴与所述摄像头坐标系的Z轴间的夹角对所述第二中心点和各所述第二角点的坐标进行转换，得到第三中心点和各第三角点的坐标；
利用所述外参数矩阵对所述第三中心点和各所述第三角点的坐标进行转换，得到第四中心点和各第四角点的坐标；
根据各所述第四角点的坐标计算所述目标的目标航向角，将所述第四中心点的坐标、所述长宽高及所述目标航向角确定为所述目标的第二三维信息；
遍历各目标的第一三维信息，确定各所述目标在车辆坐标系下的所述第二三维信息。
可选地，所述提取各所述目标视锥点云中的第一目标点云包括：
将各所述目标视锥点云分别输出至点云分割网络得到各所述目标视锥点云中各点属于前景的第一概率和属于背景的第二概率；
对于各所述目标视锥点云，选取所述第一概率大于所述第二概率的点组成目标点云集合；
对各所述目标点云集合进行随机采样得到各第一目标点云。
可选地，所述对各所述第一目标点云进行坐标转换得到与各所述目标对应的第二目标点云包括：
计算各所述第一目标点云的坐标平均值；
利用各所述第一目标点云的坐标平均值对各所述第一目标点云进行坐标转换，得到与各所述目标对应的第二目标点云。
可选地，所述检测所述图像中包含的各目标得到各所述目标的各目标检测信息包括：
将所述图像输出至目标检测神经网络中以检测所述图像包含的各目标并得到各所述目标的目标检测信息。
根据本发明的另一个方面，还提供了一种电子介质，其包括：
处理器；
存储有计算机程序的存储器；
当所述计算机程序被所述处理器运行时，导致所述电子介质执行如上述任一项所述的方法。
根据本发明的又一个方面，还提供了一种计算机存储介质，其中，所述存储介质中存储有至少一条指令、至少一段程序、代读码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述任意一项所述的方法。
在本发明提供的方案中，首先分别获取摄像头和激光雷达同步采集到的图像和点云并从点云中提取出位于摄像头视场角内的点云作为第一点云。之后将第一点云投影至图像坐标系中得到图像坐标系下的第二点云，并且检测图像中包含的各目标得到各目标的各目标检测信息，其中，各目标检测信息包括各目标的像素位置。之后根据各目标的像素位置确定各目标的目标框，并且根据位于各目标框内的第二点云确定与各目标对应的视锥点云。在得到视锥点云后，再对各视锥点云进行坐标转换得到与各目标对应的目标视锥点云。之后再提取各目标视锥点云中的第一目标点云，对各第一目标点云进行坐标转换得到与各目标对应的第二目标点云，对各第二目标点云进行拟合回归得到各目标的第一三维信息。最后根据各第一三维信息确定各目标在车辆坐标系下的第二三维信息，输出各目标检测信息和各第二三维信息。基于本发明提供的技术方案，通过将摄像头采集数据和激光雷达采集数据进行充分融合，从而可以得到智能车辆周围物体的精准的三维信息，从而在智能车辆自动驾驶行程中，可以根据周围物体的三维信息而规划出正确的路径，极大地保障了安全驾驶。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本发明一个实施例的目标检测方法的流程示意图；
图2是根据本发明一个实施例的摄像头和激光雷达同步采集图像和点云的示意图；
图3是根据本发明一个实施例的图像的示意图；
图4是根据本发明一个实施例的图像和摄像头坐标系的示意图；
图5是根据本发明一个实施例的目标和摄像头坐标系的示意图；
图6是根据本发明一个实施例的电子介质的示意性结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
需要说明的是，在不冲突的前提下本发明实施例及可选实施例中的技术特征可以相互结合。
图1是根据本发明一个实施例的目标检测方法的流程示意图。参见图1所示，该方法可以至少包括如下步骤：
步骤S102：分别获取摄像头和激光雷达同步采集到的图像和点云，并且从点云中提取位于摄像头的视场角内的点云作为第一点云。
步骤S104：将第一点云投影至图像坐标系中得到图像坐标系下的第二点云。
步骤S106：检测图像中包含的各目标得到各目标的各目标检测信息，各目标检测信息包括各目标的像素位置。
步骤S108：根据各目标的像素位置确定各目标的目标框，根据位于各目标框内的第二点云确定与各目标对应的视锥点云。
步骤S110：对各视锥点云进行坐标转换得到与各目标对应的目标视锥点云。
步骤S112：提取各目标视锥点云中的第一目标点云，对各第一目标点云进行坐标转换得到与各目标对应的第二目标点云。
步骤S114：对各第二目标点云进行拟合回归得到各目标的第一三维信息。
步骤S116：根据各第一三维信息确定各目标在车辆坐标系下的第二三维信息，输出各目标检测信息和各第二三维信息。
在本发明提供的方案中，首先分别获取摄像头和激光雷达同步采集到的图像和点云并从点云中提取出位于摄像头视场角内的点云作为第一点云。之后将第一点云投影至图像坐标系中得到图像坐标系下的第二点云，并且检测图像中包含的各目标得到各目标的各目标检测信息。之后根据各目标的像素位置确定各目标的目标框，并且根据位于各目标框内的第二点云确定与各目标对应的视锥点云。在得到视锥点云后，再对各视锥点云进行坐标转换得到与各目标对应的目标视锥点云。之后再提取各目标视锥点云中的第一目标点云，对各第一目标点云进行坐标转换得到与各目标对应的第二目标点云，对各第二目标点云进行拟合回归得到各目标的第一三维信息。最后根据各第一三维信息确定各目标在车辆坐标系下的第二三维信息，输出各目标检测信息和各第二三维信息。基于本发明提供的技术方案，通过将摄像头采集数据和激光雷达采集数据进行充分融合，从而可以得到智能车辆周围物体的精准的三维信息，从而在智能车辆自动驾驶行程中，可以根据周围物体的三维信息而规划出正确的路径，极大地保障了安全驾驶。
图2是根据本发明一个实施例的摄像头和激光雷达同步采集图像和点云的示意图。参见图2所示，可以将摄像头和激光雷达的触发时间同步到同一时间轴以保证分别获取摄像头和激光雷达同步采集到的图像和点云。例如，可以以激光雷达的时间轴为基准，控制摄像头的触发时间尽量与激光雷达的触发时间一致，例如每隔10ms同时触发摄像头和激光雷达。
在得到摄像头和激光雷达同步采集到的图像和点云并且从点云中提取出位于摄像头的视场角内的第一点云后，接下来，在本发明一些实施例中，先标定摄像头的内参数得到内参数矩阵，然后以摄像头为参考点联合标定摄像头和激光雷达得到激光雷达到摄像头的第一坐标转换矩阵。最后利用第一坐标转换矩阵对第一点云进行坐标转换得到摄像头坐标系下的第三点云，再利用内参数矩阵对第三点云进行坐标投影得到图像坐标系下的第二点云。
具体地，内参数矩阵
，其中，
、
分别表示摄像头的横、纵焦距，u、v表示图像坐标系中光轴投影坐标即主点坐标。对于电脑上存储的照片或图像，图像坐标系一般是以左上角为原点，向右为x正方向，向下为y正方向的二维坐标系，单位常用“像素”。
第一坐标转换矩阵
，其中，
（e，f=1，2，3）表示激光雷达坐标系相对于摄像头坐标系的旋转矩阵元素，激光雷达坐标系一般以激光发射中心为坐标原点，向上为z轴正方向，x轴和y轴构成平面。摄像头坐标系一般以镜头主光轴中心为原点，向右为x正方向，向下为y正方向，向前为z正方向。向量
表示激光雷达坐标系相对于摄像头坐标系的平移关系，b表示转置符号。
利用上述矩阵将第一点云转换为第二点云的具体过程如下：
其中，
表示第一点云的坐标，
表示第三点云的坐标，
表示第二点云的坐标。
在将第一点云转换为第二点云后，接下来，在本发明一些实施例中，可以将图像输出至目标检测神经网络中以检测图像包含的各目标并得到各目标的目标检测信息，目标检测信息例如包括分类信息、像素位置及置信度等。
图3是根据本发明一个实施例的图像的示意图。参见图3所示，目标检测信息如下：
其中，
，i代表目标的序号，
为目标的像素位置参数，（px，py）为目标的像素坐标，h、w分别为目标框的高和宽，class为分类信息，confidence为置信度。
在得到各目标的目标检测信息后，接下来，可以根据各像素位置确定各目标的目标框，然后对位于各目标框内的第二点云进行随机采样，得到与各目标对应的第四点云，然后将与各第四点云对应的各第三点云确定为与各目标对应的视锥点云。
图4是根据本发明一个实施例的图像和摄像头坐标系的示意图。参见图4所示，为了使所有视锥点云的坐标分布最大程度上相似以便于后续点云分割网络处理，因此在得到视锥点云后，首先确定各目标的中心轴与摄像头坐标系的Z轴间的夹角θ，然后利用各夹角θ对各视锥点云进行坐标转换得到与各目标对应的第一视锥点云，其中，中心轴为目标的中心（cx，cy）与摄像头坐标系的原点间的连线。最后计算各第一视锥点云的Y轴平均值，利用各Y轴的平均值对各第一视锥点云进行坐标转换得到与各目标对应的目标视锥点云。
将视锥点云转换为目标视锥点云的具体过程如下：
其中，
表示第一视锥点云的坐标，
表示目标视锥点云的坐标。
得到目标视锥点云后，接下来，可以将各目标视锥点云分别输出至点云分割网络得到各目标视锥点云中各点属于前景的第一概率和属于背景的第二概率。对于各目标视锥点云，然后选取第一概率大于第二概率的点组成目标点云集合，对各目标点云集合进行随机采样得到各第一目标点云。
由于后续提到的点云拟合回归网络对输入的点云数量有要求，因此，此处对各目标点云集合进行随机采样得到各第一目标点云。
为了使第一目标点云的坐标分布最大程度上相似以便于后续点云拟合回归网络处理。接下来，计算各第一目标点云的坐标平均值，然后利用各第一目标点云的坐标平均值对各第一目标点云进行坐标转换得到与各目标对应的第二目标点云。
具体地，第一目标点云的坐标的平均值如下：
、
，其中，k1为第一目标点云的点云个数。
将第一目标点云转换为第二目标点云的具体过程如下：
其中，
为第二目标点云的坐标。
将第二目标点云输出至点云拟合回归网络中可以得到目标的第一三维信息。第一三维信息的形式可以为：
[x，y，z，l，w，h，heading_angle]
其中，（x，y，z）为目标的中心点的坐标，(l，w，h)为目标的长宽高，（heading_angle）为目标的航向角。
图5是根据本发明一个实施例的目标和摄像头坐标系的示意图。参见图5所示，为了得到目标在车辆坐标系下的第二三维信息，接下来，首先以车辆的惯性测量装置为参考点标定摄像头的外参数得到外参数矩阵。第一三维信息包括目标的中心点的坐标、长宽高及航向角。对于每一目标，根据中心点的坐标、长宽高及航向角确定目标的各角点的坐标，其中，角点通常指极值点，即某方面特别突出的点，在本发明一些实施例中，角点可以指的是线与线之间的角点，如图5所示，例如目标为长方体状，则目标的各角点指的是长方体的各顶点。之后利用第一目标点云的坐标平均值对中心点和各角点的坐标进行转换，得到第一中心点和各第一角点的坐标。再利用第一视锥点云的Y轴的平均值对第一中心点和各第一角点的坐标进行转换，得到第二中心点和各第二角点的坐标。再利用目标的中心轴与摄像头坐标系的Z轴间的夹角对第二中心点和各第二角点的坐标进行转换，得到第三中心点和各第三角点的坐标。再利用外参数矩阵对第三中心点和各第三角点的坐标进行转换，得到第四中心点和各第四角点的坐标。最后根据各第四角点的坐标计算目标的目标航向角，将第四中心点的坐标、长宽高及目标航向角确定为目标的第二三维信息，遍历各目标的第一三维信息，确定各目标在车辆坐标系下的第二三维信息。
其中，外参数矩阵
，其中，
（i，j=1，2，3）表示旋转矩阵，
表示平移向量。
将目标的中心点和角点的坐标分别转换为车辆坐标系下的第四中心点和第四角点的坐标的具体过程如下：
最终输出的信息的形式如下：
其中，pos(
)为目标的中心点在车辆坐标系下的坐标，
为目标的长、宽、高，
目标航向角。
基于同一发明构思，本发明还提出了一种电子介质600，图6是根据本发明一个实施例的电子介质的示意性结构框图。参见图6所示，电子介质600包括：处理器610和存储有计算机程序621的存储器620.当计算机程序621被处理器610运行时，导致电子介质600执行如上述任意实施例的方法。
基于同一发明构思，本发明还提出了一种计算机存储介质，存储介质中存储有至少一条指令、至少一段程序、代读码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如上述任意实施例所述的方法。
本发明提供了一种目标检测方法、电子介质和计算机存储介质，在本发明提供的方案中，首先分别获取摄像头和激光雷达同步采集到的图像和点云并从点云中提取出位于摄像头视场角内的点云作为第一点云。之后将第一点云投影至图像坐标系中得到图像坐标系下的第二点云，并且检测图像中包含的各目标得到各目标的各目标检测信息，其中，各目标检测信息包括各目标的像素位置。之后根据各目标的像素位置确定各目标的目标框，并且根据位于各目标框内的第二点云确定与各目标对应的视锥点云。在得到视锥点云后，再对各视锥点云进行坐标转换得到与各目标对应的目标视锥点云。之后再提取各目标视锥点云中的第一目标点云，对各第一目标点云进行坐标转换得到与各目标对应的第二目标点云，对各第二目标点云进行拟合回归得到各目标的第一三维信息。最后根据各第一三维信息确定各目标在车辆坐标系下的第二三维信息，输出各目标检测信息和各第二三维信息。基于本发明提供的技术方案，通过将摄像头采集数据和激光雷达采集数据进行充分融合，从而可以得到智能车辆周围物体的精准的三维信息，从而在智能车辆自动驾驶行程中，可以根据周围物体的三维信息而规划出正确的路径，极大地保障了安全驾驶。
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
Claims (8)
1.一种目标检测方法，其特征在于，包括：
分别获取摄像头和激光雷达同步采集到的图像和点云，并且从所述点云中提取位于所述摄像头的视场角内的点云作为第一点云；
将所述第一点云投影至图像坐标系中得到所述图像坐标系下的第二点云；
检测所述图像中包含的各目标得到各所述目标的各目标检测信息，各所述目标检测信息包括各所述目标的像素位置；
根据各所述目标的像素位置确定各所述目标的目标框，根据位于各所述目标框内的所述第二点云确定与各所述目标对应的视锥点云；
对各所述视锥点云进行坐标转换得到与各所述目标对应的目标视锥点云；
提取各所述目标视锥点云中的第一目标点云，对各所述第一目标点云进行坐标转换得到与各所述目标对应的第二目标点云；
对各所述第二目标点云进行拟合回归得到各所述目标的第一三维信息；
根据各所述第一三维信息确定各所述目标在车辆坐标系下的第二三维信息，输出各所述目标检测信息和各所述第二三维信息；
其中，所述提取各所述目标视锥点云中的第一目标点云包括：将各所述目标视锥点云分别输出至点云分割网络得到各所述目标视锥点云中各点属于前景的第一概率和属于背景的第二概率；对于各所述目标视锥点云，选取所述第一概率大于所述第二概率的点组成目标点云集合；对各所述目标点云集合进行随机采样得到各第一目标点云；
其中，所述对各所述第一目标点云进行坐标转换得到与各所述目标对应的第二目标点云包括：计算各所述第一目标点云的坐标平均值；利用各所述第一目标点云的坐标平均值对各所述第一目标点云进行坐标转换，得到与各所述目标对应的第二目标点云。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一点云投影至图像坐标系中得到所述图像坐标系下的第二点云，包括：
标定所述摄像头的内参数得到内参数矩阵；
以所述摄像头为参考点联合标定所述摄像头和所述激光雷达得到所述激光雷达到所述摄像头的第一坐标转换矩阵；
利用所述第一坐标转换矩阵对所述第一点云进行坐标转换得到所述摄像头坐标系下的第三点云；
利用所述内参数矩阵对所述第三点云进行坐标投影得到所述图像坐标系下的所述第二点云。
3.根据权利要求2所述的方法，其特征在于，所述根据位于各所述目标框内的所述第二点云确定与各所述目标对应的视锥点云包括：
对位于各所述目标框内的所述第二点云进行随机采样，得到与各所述目标对应的第四点云；
将与各所述第四点云对应的各所述第三点云确定为与各所述目标对应的所述视锥点云。
4.根据权利要求2所述的方法，其特征在于，所述对各所述视锥点云进行坐标转换得到与各所述目标对应的目标视锥点云包括：
确定各所述目标的中心轴与所述摄像头坐标系的Z轴间的夹角，利用各所述夹角对各所述视锥点云进行坐标转换得到与各所述目标对应的第一视锥点云，其中，所述中心轴为所述目标的中心与所述摄像头坐标系的原点间的连线；
计算各所述第一视锥点云的Y轴平均值，利用各所述Y轴的平均值对各所述第一视锥点云进行坐标转换得到与各所述目标对应的所述目标视锥点云。
5.根据权利要求4所述的方法，其特征在于，所述第一三维信息包括所述目标的中心点的坐标、长宽高及航向角，所述根据各所述第一三维信息确定各所述目标在车辆坐标系下的第二三维信息包括：
以车辆的惯性测量装置为参考点标定所述摄像头的外参数得到外参数矩阵；
对于每一所述目标，根据所述中心点的坐标、所述长宽高及所述航向角确定所述目标的各角点的坐标；
利用所述第一目标点云的坐标平均值对所述中心点和各所述角点的坐标进行转换，得到第一中心点和各第一角点的坐标；
利用所述第一视锥点云的Y轴的平均值对所述第一中心点和各所述第一角点的坐标进行转换，得到第二中心点和各第二角点的坐标；
利用所述目标的中心轴与所述摄像头坐标系的Z轴间的夹角对所述第二中心点和各所述第二角点的坐标进行转换，得到第三中心点和各第三角点的坐标；
利用所述外参数矩阵对所述第三中心点和各所述第三角点的坐标进行转换，得到第四中心点和各第四角点的坐标；
根据各所述第四角点的坐标计算所述目标的目标航向角，将所述第四中心点的坐标、所述长宽高及所述目标航向角确定为所述目标的第二三维信息；
遍历各目标的第一三维信息，确定各所述目标在车辆坐标系下的所述第二三维信息。
6.根据权利要求1所述的方法，其特征在于，所述检测所述图像中包含的各目标得到各所述目标的各目标检测信息包括：
将所述图像输出至目标检测神经网络中以检测所述图像包含的各目标并得到各所述目标的目标检测信息。
7.一种电子介质，其特征在于，包括：
处理器；
存储有计算机程序的存储器；
当所述计算机程序被所述处理器运行时，导致所述电子介质执行如权利要求1-6任一项所述的方法。
8.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行如权利要求1-6中任意一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110222540.4A CN112562093B (zh) | 2021-03-01 | 2021-03-01 | 目标检测方法、电子介质和计算机存储介质 |
| PCT/CN2021/111973 WO2022183685A1 (zh) | 2021-03-01 | 2021-08-11 | 目标检测方法、电子介质和计算机存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110222540.4A CN112562093B (zh) | 2021-03-01 | 2021-03-01 | 目标检测方法、电子介质和计算机存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112562093A CN112562093A (zh) | 2021-03-26 |
| CN112562093B true CN112562093B (zh) | 2021-05-18 |
Family
ID=75034853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110222540.4A Active CN112562093B (zh) | 2021-03-01 | 2021-03-01 | 目标检测方法、电子介质和计算机存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112562093B (zh) |
| WO (1) | WO2022183685A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112562093B (zh) * | 2021-03-01 | 2021-05-18 | 湖北亿咖通科技有限公司 | 目标检测方法、电子介质和计算机存储介质 |
| CN113160324A (zh) * | 2021-03-31 | 2021-07-23 | 北京京东乾石科技有限公司 | 包围框生成方法、装置、电子设备和计算机可读介质 |
| CN115297315A (zh) * | 2022-07-18 | 2022-11-04 | 北京城市网邻信息技术有限公司 | 用于环拍时拍摄中心点的矫正方法、装置及电子设备 |
| CN116883496B (zh) * | 2023-06-26 | 2024-03-12 | 小米汽车科技有限公司 | 交通元素的坐标重建方法、装置、电子设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264416A (zh) * | 2019-05-28 | 2019-09-20 | 深圳大学 | 稀疏点云分割方法及装置 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106289071B (zh) * | 2016-08-18 | 2018-10-19 | 温州大学 | 一种结构三维位移单目摄像测量方法 |
| US11157014B2 (en) * | 2016-12-29 | 2021-10-26 | Tesla, Inc. | Multi-channel sensor simulation for autonomous control systems |
| US10565787B1 (en) * | 2017-01-27 | 2020-02-18 | NHIAE Group, LLC | Systems and methods for enhanced 3D modeling of a complex object |
| CN108564629A (zh) * | 2018-03-23 | 2018-09-21 | 广州小鹏汽车科技有限公司 | 一种车载摄像头外部参数的标定方法及系统 |
| CN108663677A (zh) * | 2018-03-29 | 2018-10-16 | 上海智瞳通科技有限公司 | 一种多传感器深度融合提高目标检测能力的方法 |
| CN109784333B (zh) * | 2019-01-22 | 2021-09-28 | 中国科学院自动化研究所 | 基于点云带权通道特征的三维目标检测方法及系统 |
| CN110246159B (zh) * | 2019-06-14 | 2023-03-28 | 湖南大学 | 基于视觉和雷达信息融合的3d目标运动分析方法 |
| CN111145174B (zh) * | 2020-01-02 | 2022-08-09 | 南京邮电大学 | 基于图像语义特征进行点云筛选的3d目标检测方法 |
| CN111951305B (zh) * | 2020-08-20 | 2022-08-23 | 重庆邮电大学 | 一种基于视觉和激光雷达的目标检测和运动状态估计方法 |
| CN112101128B (zh) * | 2020-08-21 | 2021-06-22 | 东南大学 | 一种基于多传感器信息融合的无人方程式赛车感知规划方法 |
| CN112257692B (zh) * | 2020-12-22 | 2021-03-12 | 湖北亿咖通科技有限公司 | 一种行人目标的检测方法、电子设备及存储介质 |
| CN112562093B (zh) * | 2021-03-01 | 2021-05-18 | 湖北亿咖通科技有限公司 | 目标检测方法、电子介质和计算机存储介质 |
-
2021
- 2021-03-01 CN CN202110222540.4A patent/CN112562093B/zh active Active
- 2021-08-11 WO PCT/CN2021/111973 patent/WO2022183685A1/zh active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110264416A (zh) * | 2019-05-28 | 2019-09-20 | 深圳大学 | 稀疏点云分割方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112562093A (zh) | 2021-03-26 |
| WO2022183685A1 (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112562093B (zh) | 目标检测方法、电子介质和计算机存储介质 | |
| CN110988912B (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
| CN108596081B (zh) | 一种基于雷达和摄像机融合的车辆行人探测方法 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN112949782A (zh) | 一种目标检测方法、装置、设备及存储介质 | |
| CN113205604A (zh) | 一种基于摄像机和激光雷达的可行区域检测方法 | |
| CN112232368B (zh) | 目标识别模型训练方法、目标识别方法及其相关装置 | |
| CN111539907A (zh) | 用于目标检测的图像处理方法及装置 | |
| CN115147328A (zh) | 三维目标检测方法及装置 | |
| CN112130153A (zh) | 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法 | |
| CN113281780B (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
| KR102490521B1 (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| CN114662587A (zh) | 一种基于激光雷达的三维目标感知方法、装置及系统 | |
| CN113793413A (zh) | 三维重建方法、装置、电子设备及存储介质 | |
| KR20170106823A (ko) | 부분적인 깊이 맵에 기초하여 관심 객체를 식별하는 영상 처리 장치 | |
| CN113256709A (zh) | 目标检测方法、装置、计算机设备以及存储介质 | |
| CN112529011A (zh) | 目标检测方法及相关装置 | |
| CN111753901A (zh) | 一种数据融合方法、装置、系统及计算机设备 | |
| CN116543143A (zh) | 一种目标检测模型的训练方法、目标检测方法及装置 | |
| CN112364693B (zh) | 基于双目视觉的障碍识别方法、装置、设备及存储介质 | |
| CN113112551B (zh) | 相机参数的确定方法、装置、路侧设备和云控平台 | |
| CN114037968A (zh) | 基于深度雷达点云和图像数据融合的车道线检测方法 | |
| CN112598736A (zh) | 一种基于地图构建的视觉定位方法及装置 | |
| CN114758200A (zh) | 多传感数据融合方法、多源融合感知系统和计算机设备 | |
| JP6546898B2 (ja) | ３次元空間特定装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220330 Address after: 430000 No. b1336, chuanggu startup area, taizihu cultural Digital Creative Industry Park, No. 18, Shenlong Avenue, Wuhan Economic and Technological Development Zone, Wuhan, Hubei Province Patentee after: Yikatong (Hubei) Technology Co.,Ltd. Address before: No.c101, chuanggu start up area, taizihu cultural Digital Industrial Park, No.18 Shenlong Avenue, Wuhan Economic Development Zone, Hubei Province Patentee before: HUBEI ECARX TECHNOLOGY Co.,Ltd. |