CN112861653B - 融合图像和点云信息的检测方法、系统、设备及存储介质 - Google Patents

融合图像和点云信息的检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112861653B
CN112861653B CN202110076345.5A CN202110076345A CN112861653B CN 112861653 B CN112861653 B CN 112861653B CN 202110076345 A CN202110076345 A CN 202110076345A CN 112861653 B CN112861653 B CN 112861653B
Authority
CN
China
Prior art keywords
information
image
point cloud
point
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110076345.5A
Other languages
English (en)
Other versions
CN112861653A (zh
Inventor
章嵘
张健喃
赵钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xijing Technology Co ltd
Original Assignee
Shanghai Xijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xijing Technology Co ltd filed Critical Shanghai Xijing Technology Co ltd
Priority to CN202110076345.5A priority Critical patent/CN112861653B/zh
Publication of CN112861653A publication Critical patent/CN112861653A/zh
Priority to PCT/CN2021/108585 priority patent/WO2022156175A1/zh
Priority to EP21920556.4A priority patent/EP4283515A4/en
Application granted granted Critical
Publication of CN112861653B publication Critical patent/CN112861653B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Medical Informatics (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了融合图像和点云信息的检测方法、系统、设备及存储介质，该方法包括以下步骤：使用激光雷达传感器和图像传感器同步获得点云信息和图像信息；将图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，多重特征信息至少包括每个像素点的色彩信息以及物体标识信息；将激光雷达传感器的激光点云投影到图像上，将点云信息中每个激光点通过匹配到对应的像素点，然后像素点的多重特征信息添加到对应的点云信息中；将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。本发明能够实现更高精度的实时3D目标检测，对于小物体的检测精度会有比较明显的提升。

Description

融合图像和点云信息的检测方法、系统、设备及存储介质
技术领域
本发明属于3D目标检测技术领域，尤其涉及一种利用激光雷达传感器和图像传感器融合进行3D目标检测的算法。
背景技术
目前在无人驾驶领域的3D目标检测算法主要分为三类。第一类是基于双目立体视觉的原理进行图像的深度估计，然后将2D的图像检测结果转换到3D空间；第二类是只使用纯激光雷达传感器的3D点云，通过卷积神经网络或其他机器学习等方法直接通过点云进行3D目标检测；第三类是融合相机图像和激光雷达传感器的点云信息然后通过卷积神经网络以及其他互验证策略来进行3D目标检测。
但是现有的以上三种检测方法都存在一定的缺陷和不足：
第一类方法由于双目立体视觉原理的限制，其对深度的测量精度会比激光雷达传感器低很多，尤其是当物体离相机较远时这类方法的检测精度和可靠性会严重下降。
第二类方法虽然相比于第一类方法在距离的测量精度上较高，但是由于现有激光雷达传感器原理的限制，其所获得的点云数据都是非常稀疏而且信息比较单一，缺少类似于图像中的颜色信息这类的辅助信息。
第三类方法原则上应是结合了以上两种传感器的优点，但是现有的融合激光雷达传感器和图像数据的方法都没有很好地充分利用两个传感器的特点以至于其检测精度还略低于纯激光方法的检测精度，而且其检测速度比较慢难以实现实时性。
因此，本发明提供了一种融合图像和点云信息的检测方法、系统、设备及存储介质。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
针对现有技术中的问题，本发明的目的在于提供融合图像和点云信息的检测方法、系统、设备及存储介质，克服了现有技术的困难，能够更充分地利用雷达的点云信息与相机的图像信息，实现更高精度的实时3D目标检测，对于小物体的检测精度会有比较明显的提升，本发明兼具了3D 目标识别的速度和识别的准确性，该技术有助于为无人驾驶汽车提供更为安全可靠的环境感知信息。
本发明的实施例提供一种融合图像和点云信息的检测方法，包括以下步骤：
S110、使用激光雷达传感器和图像传感器同步获得点云信息和图像信息；
S120、将所述图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，所述多重特征信息至少包括每个像素点的色彩信息以及物体标识信息；
S130、将激光雷达传感器的激光点云投影到图像上，将所述点云信息中每个激光点通过匹配到对应的所述像素点，然后像素点的多重特征信息添加到对应的所述点云信息中；
S140、将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。
优选地，所述步骤S110之前包括以下步骤：
S100、联合标定激光雷达传感器和图像传感器以获得激光雷达传感器坐标系相对于视觉图像坐标系的转换矩阵；
所述步骤S130中，将所述激光雷达传感器的激光点云的位置通过所述转换矩阵转换到所述视觉图像坐标系中，获得对应位置的所述像素点。
优选地，所述步骤S130中，遍历所述图像的像素点，将与所述激光点云投影到视觉图像坐标系中的位置的距离最小的像素点作为匹配所述激光点云的所述像素点。
优选地，所述步骤S120中，包括以下步骤：
S121、将图像信息输入经过训练的机器视觉模型进行基于所述图像的图像分割；
S122、通过机器视觉模型获得所述图像中每个分割后图像区域对应的物体标识信息D；
S123、每个所述像素点的多重特征信息包括该像素点的RGB信息以及所述像素点所处的图像区域中的物体标识信息D。
优选地，在所述步骤S110之前还包括：采用大量具有多重特征信息的点云信息训练所述第二卷积神经网络，所述第二卷积神经网络输出3D 目标的类别。
优选地，所述第二卷积神经网络还输出每个所述3D目标的3D轮廓以及3D轮廓的长宽高尺寸。
优选地，在所述步骤S140之后还包括以下步骤：
将所述3D目标所对应的点云中的最小距离、所对应的所有点云的平均距离或者到所对应的所有点云的中心点的距离中的一种作为与所述3D 目标的距离。
优选地，在所述步骤S140之后还包括以下步骤：
根据所述3D目标所对应的点云建立所述3D目标的3D轮廓，获得所述3D轮廓尺寸作为所述3D目标的轮廓的尺寸。
优选地，在所述步骤S100中，以激光雷达传感器的原点作为雷达坐标系原点，以车辆的前进方向作为雷达坐标系的XL轴，以垂直车体向上的方向作为ZL轴，以车辆的前进方向的左侧方向作为YL轴，则雷达坐标系的坐标为(XL，YL，ZL)；
以视觉传感器的镜头的光心作为相机坐标系原点OC，以光轴方向作为ZC轴，垂直向下的方向作为YC轴，以车辆的前进方向的正右侧方向作为XC轴，则相机坐标系的坐标为(XC，YC，ZC)；
图像坐标系(vx,vy)的坐标原点在图像的左上角，使用棋盘格标定板对激光雷达传感器和视觉传感器进行联合标定，获得激光雷达传感器到相机坐标系的转换矩阵：
其中T为联合标定得到的激光雷达传感器到相机坐标系的3行4列的转换矩阵；
点云投影到相机成像平面后的像素坐标可由以下公式得到：
其中，fx、fy为镜头在X轴和Y轴上的焦距，u0、v0为光心在相机坐标系中的坐标，则激光雷达传感器到图像坐标系的转换关系可用下面的公式表示：
本发明的实施例还提供一种融合图像和点云信息的检测系统，用于实现上述的融合图像和点云信息的检测方法，融合图像和点云信息的检测系统包括：
同步采集模块，使用激光雷达传感器和图像传感器同步获得点云信息和图像信息；
第一网络模块，将所述图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，所述多重特征信息至少包括每个像素点的色彩信息以及物体标识信息；
点云投影模块，将激光雷达传感器的激光点云投影到图像上，将所述点云信息中每个激光点通过匹配到对应的所述像素点，然后像素点的多重特征信息添加到对应的所述点云信息中；
第二网络模块，将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。
本发明的实施例还提供一种融合图像和点云信息的检测设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述融合图像和点云信息的检测方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述融合图像和点云信息的检测方法的步骤。
本发明的融合图像和点云信息的检测方法、系统、设备及存储介质，能够更充分地利用雷达的点云信息与相机的图像信息，克服了现有技术中识别速度和识别准确性无法兼得的缺陷，实现更高精度的实时3D目标检测，对于小物体的检测精度会有比较明显的提升，本发明兼具了3D目标识别的速度和识别的准确性，该技术有助于为无人驾驶汽车提供更为安全可靠的环境感知信息。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的融合图像和点云信息的检测方法的流程图。
图2至5是本发明的融合图像和点云信息的检测方法的实施过程示意图。
图6是本发明的融合图像和点云信息的检测系统的结构示意图
图7是本发明的融合图像和点云信息的检测设备的结构示意图。以及
图8是本发明一实施例的计算机可读存储介质的结构示意图。
附图标记
1 无人卡车
21 图像传感器
22 激光雷达传感器
21A 图像信息示意图
22A 点云信息示意图
41 第一障碍物
42 第二障碍物
43 路面
41A 点云中第一障碍物的区域
42A 点云中第二障碍物的区域
43A 点云中路面的区域
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的融合图像和点云信息的检测方法的流程图。如图1 所示，本发明融合图像和点云信息的检测方法，包括以下步骤：
S110、使用激光雷达传感器和图像传感器同步获得点云信息和图像信息。
S120、将图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，多重特征信息至少包括每个像素点的色彩信息以及物体标识信息。由于机器视觉模型仅仅根据图像信息(RGB)进行卷积，既要切割图像又要进行辨识，相对而言，此处的物体标识信息D 容易存在不准确的可能性。
S130、将激光雷达传感器的激光点云投影到图像上，将点云信息中每个激光点通过匹配到对应的像素点，然后像素点的多重特征信息添加到对应的点云信息中。
S140、将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。在第二卷积神经网络中由于充分使用了图像信息(RGB)、点云信息以及之前的物体标识信息D，能够更准确地对3D目标进行识别，保证了识别3D目标的准确性。
在一个优选实施例中，步骤S110之前包括以下步骤：
S100、联合标定激光雷达传感器和图像传感器以获得激光雷达传感器坐标系相对于视觉图像坐标系的转换矩阵。
步骤S130中，将激光雷达传感器的激光点云的位置通过转换矩阵转换到视觉图像坐标系中，获得对应位置的像素点。
在一个优选实施例中，步骤S130中，遍历图像的像素点，将与激光点云投影到视觉图像坐标系中的位置的距离最小的像素点作为匹配激光点云的像素点，以便提高对应的准确定。
在一个优选实施例中，步骤S120中，包括以下步骤：
S121、将图像信息输入经过训练的机器视觉模型进行基于图像的图像分割。
S122、通过机器视觉模型获得图像中每个分割后图像区域对应的物体标识信息D。
S123、每个像素点的多重特征信息包括该像素点的RGB信息以及像素点所处的图像区域中的物体标识信息D，从而能够对图像进行区域化，并得到初步的物体标识信息D。在一个优选实施例中，在步骤S110之前还包括：采用大量具有多重特征信息的点云信息训练第二卷积神经网络，第二卷积神经网络输出3D目标的类别。
在一个优选实施例中，第二卷积神经网络还输出每个3D目标的3D 轮廓以及3D轮廓的长宽高尺寸。
在一个优选实施例中，在步骤S140之后还包括以下步骤：
将3D目标所对应的点云中的最小距离、所对应的所有点云的平均距离或者到所对应的所有点云的中心点的距离中的一种作为与3D目标的距离。
在一个优选实施例中，在步骤S140之后还包括以下步骤：
根据3D目标所对应的点云建立3D目标的3D轮廓，获得3D轮廓尺寸作为3D目标的轮廓的尺寸。
在一个优选实施例中，在步骤S100中，以激光雷达传感器的原点作为雷达坐标系原点，以车辆的前进方向作为雷达坐标系的XL轴，以垂直车体向上的方向作为ZL轴，以车辆的前进方向的左侧方向作为YL轴。
以视觉传感器镜头的光心作为相机坐标系原点OC，以光轴方向作为 ZC轴，垂直向下的方向作为YC轴，以车辆的前进方向的正右侧方向作为 XC轴。
图像坐标系(vx,vy)的坐标原点在图像的左上角，使用棋盘格标定板对激光雷达传感器和视觉传感器进行联合标定，获得激光雷达传感器到相机坐标系的转换矩阵：
其中T为联合标定得到的激光雷达传感器到相机坐标系的3行4列的转换矩阵，其中包含了旋转和平移，这样就得到了雷达点云在相机坐标系下的3D坐标，由相机的小孔成像原理，点云投影到相机成像平面后的像素坐标可由以下公式得到：
其中，fx、fy为焦距，u0、v0为光心的图像坐标，综合上述公式，激光雷达传感器到图像坐标系的转换关系可用下面的公式表示：
利用该公式，可以将雷达点云投影到相机图像上，由此便可将之前提取的图像多重特征对应并融合到激光雷达传感器点云上，最终得到融合多重图像特征的激光雷达传感器点云。
本发明的融合图像和点云信息的检测方法，能够更充分地利用雷达的点云信息与相机的图像信息，克服了现有技术中识别速度和识别准确性无法兼得的缺陷，实现更高精度的实时3D目标检测，对于小物体的检测精度会有比较明显的提升，本发明兼具了3D目标识别的速度和识别的准确性，该技术有助于为无人驾驶汽车提供更为安全可靠的环境感知信息。
图2至5是本发明的融合图像和点云信息的检测方法的实施过程示意图。如图2至5所示，本发明的融合图像和点云信息的检测方法的实施过程包括：首先，安装与无人卡车1的激光雷达传感器22和图像传感器21 可以是相互平行的，也可以有一定的夹角，将安装在无人卡车1的激光雷达传感器22和图像传感器21进行联合标定，以获得激光雷达传感器坐标系相对于视觉图像坐标系的转换矩阵。
以激光雷达传感器的原点作为雷达坐标系原点，以车辆的前进方向作为雷达坐标系的XL轴，以垂直车体向上的方向作为ZL轴，以车辆的前进方向的左侧方向作为YL轴，则雷达坐标系的坐标为(XL，YL，ZL)。
以视觉传感器的镜头的光心作为相机坐标系原点OC，以光轴方向作为ZC轴，垂直向下的方向作为YC轴，以车辆的前进方向的正右侧方向作为XC轴，则相机坐标系的坐标为(XC，YC，ZC)。
图像坐标系(vx,vy)的坐标原点在图像的左上角，使用棋盘格标定板对激光雷达传感器和视觉传感器进行联合标定，获得激光雷达传感器到相机坐标系的转换矩阵：
其中T为联合标定得到的激光雷达传感器到相机坐标系的3行4列的转换矩阵。
点云投影到相机成像平面后的像素坐标可由以下公式得到：
其中，fx、fy为镜头在X轴和Y轴上的焦距，u0、v0为光心在相机坐标系中的坐标，则激光雷达传感器到图像坐标系的转换关系可用下面的公式表示：
也可以通过其他标定方法激光雷达传感器坐标系相对于视觉图像坐标系的转换矩阵，不以此为限。
并且，采用大量具有分区域以及物体标识的照片学习训练第一卷积神经网络，使得第一卷积神经网络能够自动对输入的照片进行区域分化，并单独对每个区域进行图像识别，输出每个区域的物体标识。采用大量具有多重特征信息的点云信息训练第二卷积神经网络，使得第二卷积神经网络能够准确输出3D目标的类别。本发明中，训练第一卷积神经网络与第二卷积神经网络的区别在于：第一卷积神经网络具备区域分化和初级图像识别的功能，而第二卷积神经网络与第一卷积神经网络相比，不具备区域分化的功能，只具备针对区域进行精确识别的功能。
参考图2，使用标定后的在无人卡车1的激光雷达传感器22和图像传感器21同步获得点云信息和图像信息，此时无人卡车1的前方的路面 43上包括了第一障碍物41和第二障碍物42。
然后，参考图3，将图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，多重特征信息至少包括每个像素点的色彩信息以及物体标识信息。本实施例中，通过将图像信息输入经过训练的机器视觉模型进行基于图像的图像分割。通过机器视觉模型获得图像中每个分割后图像区域对应的物体标识信息D。每个像素点的多重特征信息包括该像素点的RGB信息以及像素点所处的图像区域中的物体标识信息D。则每个像素点的多重特征信息为(R，G，B，D)。图像传感器 21获得了图像信息示意图21A，图像信息示意图21A中包括了第一障碍物41的区域、第二障碍物42的区域、路面43的区域。第一障碍物41 的区域中的每个像素点的物体标识信息D都是行人，该区域的每个像素点的多重特征信息为(R，G，B，行人)；第二障碍物42的区域中的每个像素点的物体标识信息D都是围墙，该区域的每个像素点的多重特征信息为(R，G，B，围墙)；路面43的区域中的每个像素点的物体标识信息D都是地面，该区域的每个像素点的多重特征信息为(R，G，B，地面)。
参考图4，激光雷达传感器22获得了点云信息示意图22A，图4中的每个圆形图案都是一个激光点，同样地，点云信息示意图22A中也包含了第一障碍物、第二障碍物、路面。
参考图5，随后，利用激光雷达传感器坐标系相对于视觉图像坐标系的转换矩阵将激光雷达传感器的激光点云投影到图像上，将点云信息中每个激光点通过匹配到对应的像素点，然后像素点的多重特征信息添加到对应的点云信息中。将激光雷达传感器的激光点云的位置通过转换矩阵转换到视觉图像坐标系中，获得对应位置的像素点。例如：遍历图像的像素点，将与激光点云投影到视觉图像坐标系中的位置的距离最小的像素点作为匹配激光点云的像素点。本实施例中，点云中第一障碍物的区域41A中所有的激光点的多重特征信息为(R，G，B，行人)；点云中第二障碍物的区域42A中所有的激光点的多重特征信息为(R，G，B，围墙)；点云中路面的区域43A中所有的激光点的多重特征信息为(R，G，B，地面)。
然后。将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。由于的第二卷积神经网络经过大量具有多重特征信息的点云信息训练，不同于具备功能复杂的第一卷积神经网络，第二卷积神经网络具有更高的标签分类准确性。并且，第二卷积神经网络中会加权使用多重特征信息中的物体标识信息D，在一些情况下，第二卷积神经网络会得出不同于物体标识信息D的3D目标的类别，进步一提高 3D目标识别的准确性。
最后，将每个3D目标所对应的点云中的最小距离、所对应的所有点云的平均距离或者到所对应的所有点云的中心点的距离中的一种作为与该3D目标的距离，从而就能得到行人与无人卡车1的当前距离为2米，围墙与无人卡车1的当前距离为4米。并且，根据3D目标所对应的点云建立3D目标的3D轮廓，获得3D轮廓的尺寸作为3D目标的轮廓的尺寸。例如，通过三角函数的计算等现有技术，通过对应行人的点云的立体范围获得行人身高1.8米，通过对应围墙的点云的立体范围获得围墙宽度为4 米，高度为3米，但不以此为限。
在一个优选实施例中，第二卷积神经网能够还能直接输出每个3D目标的3D轮廓以及3D轮廓的尺寸，但不以此为限。
图6是本发明的融合图像和点云信息的检测系统的结构示意图。如图 6所示，本发明的实施例还提供一种融合图像和点云信息的检测系统5，用于实现上述的融合图像和点云信息的检测方法，融合图像和点云信息的检测系统包括：
同步采集模块51，使用激光雷达传感器和图像传感器同步获得点云信息和图像信息；
第一网络模块52，将图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，多重特征信息至少包括每个像素点的色彩信息以及物体标识信息；
点云投影模块53，将激光雷达传感器的激光点云投影到图像上，将点云信息中每个激光点通过匹配到对应的像素点，然后像素点的多重特征信息添加到对应的点云信息中；
第二网络模块54，将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。
本发明的融合图像和点云信息的检测系统，能够更充分地利用雷达的点云信息与相机的图像信息，克服了现有技术中识别速度和识别准确性无法兼得的缺陷，实现更高精度的实时3D目标检测，对于小物体的检测精度会有比较明显的提升，本发明兼具了3D目标识别的速度和识别的准确性，该技术有助于为无人驾驶汽车提供更为安全可靠的环境感知信息。
本发明实施例还提供一种融合图像和点云信息的检测设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的融合图像和点云信息的检测方法的步骤。
如上，本发明的融合图像和点云信息的检测设备能够更充分地利用雷达的点云信息与相机的图像信息，克服了现有技术中识别速度和识别准确性无法兼得的缺陷，实现更高精度的实时3D目标检测，对于小物体的检测精度会有比较明显的提升，本发明兼具了3D目标识别的速度和识别的准确性，该技术有助于为无人驾驶汽车提供更为安全可靠的环境感知信息。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图7是本发明的融合图像和点云信息的检测设备的结构示意图。下面参照图7来描述根据本发明的这种实施方式的电子设备600。图7显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，电子设备600以通用计算设备的形式表现。电子设备 600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线 630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的融合图像和点云信息的检测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够更充分地利用雷达的点云信息与相机的图像信息，克服了现有技术中识别速度和识别准确性无法兼得的缺陷，实现更高精度的实时3D目标检测，对于小物体的检测精度会有比较明显的提升，本发明兼具了3D目标识别的速度和识别的准确性，该技术有助于为无人驾驶汽车提供更为安全可靠的环境感知信息。
图8是本发明的计算机可读存储介质的结构示意图。参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如 Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的融合图像和点云信息的检测方法、系统、设备及存储介质，能够更充分地利用雷达的点云信息与相机的图像信息，克服了现有技术中识别速度和识别准确性无法兼得的缺陷，实现更高精度的实时3D 目标检测，对于小物体的检测精度会有比较明显的提升，本发明兼具了3D目标识别的速度和识别的准确性，该技术有助于为无人驾驶汽车提供更为安全可靠的环境感知信息。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种融合图像和点云信息的检测方法，其特征在于，包括以下步骤：
S100、联合标定激光雷达传感器和图像传感器以获得激光雷达传感器坐标系相对于视觉图像坐标系的转换矩阵，采用大量具有多重特征信息的点云信息训练第二卷积神经网络，所述第二卷积神经网络输出3D目标的类别，在所述步骤S100中，
以激光雷达传感器的原点作为雷达坐标系原点，以车辆的前进方向作为雷达坐标系的XL轴，以垂直车体向上的方向作为ZL轴，以车辆的前进方向的左侧方向作为YL轴，则雷达坐标系的坐标为(XL，YL，ZL)；
以视觉传感器的镜头的光心作为相机坐标系原点OC，以光轴方向作为ZC轴，垂直向下的方向作为YC轴，以车辆的前进方向的正右侧方向作为XC轴，则相机坐标系的坐标为(XC，YC，ZC)；
图像坐标系(vx,vy)的坐标原点在图像的左上角，使用棋盘格标定板对激光雷达传感器和视觉传感器进行联合标定，获得激光雷达传感器到相机坐标系的转换矩阵：
其中T为联合标定得到的激光雷达传感器到相机坐标系的3行4列的转换矩阵；
点云投影到相机成像平面后的像素坐标可由以下公式得到：
其中，fx、fy为镜头在X轴和Y轴上的焦距，u0、v0为光心在相机坐标系中的坐标，则激光雷达传感器到图像坐标系的转换关系可用下面的公式表示：
S110、使用激光雷达传感器和图像传感器同步获得点云信息和图像信息；
S120、将图像信息输入经过训练的第一卷积神经网络进行基于所述图像的图像分割；通过机器视觉模型获得所述图像中每个分割后图像区域对应的物体标识信息D，每个像素点的多重特征信息包括该像素点的RGB信息以及所述像素点所处的图像区域中的物体标识信息D；
S130、将激光雷达传感器的激光点云的位置通过所述转换矩阵转换到所述视觉图像坐标系中，将所述点云信息中每个激光点通过匹配到对应的所述像素点，然后像素点的多重特征信息添加到对应的所述点云信息中；
S140、将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别、3D轮廓以及3D轮廓的长宽高尺寸，根据所述3D目标所对应的点云建立所述3D目标的3D轮廓，获得所述3D轮廓的尺寸作为所述3D目标的轮廓的尺寸。
2.根据权利要求1所述的融合图像和点云信息的检测方法，其特征在于，所述步骤S130中，遍历所述图像的像素点，将与所述激光点云投影到视觉图像坐标系中的位置的距离最小的像素点作为匹配所述激光点云的所述像素点。
3.根据权利要求1所述的融合图像和点云信息的检测方法，其特征在于，在所述步骤S140之后还包括以下步骤：
将所述3D目标所对应的点云中的最小距离、所对应的所有点云的平均距离或者到所对应的所有点云的中心点的距离中的一种作为与所述3D目标的距离。
4.一种融合图像和点云信息的检测系统，其特征在于，用于实现如权利要求1所述的融合图像和点云信息的检测方法，包括：
同步采集模块，使用激光雷达传感器和图像传感器同步获得点云信息和图像信息；
第一网络模块，将所述图像信息输入经过训练的第一卷积神经网络提取图像信息中每个像素点的多重特征信息，所述多重特征信息至少包括每个像素点的色彩信息以及物体标识信息；
点云投影模块，将激光雷达传感器的激光点云投影到图像上，将所述点云信息中每个激光点通过匹配到对应的所述像素点，然后像素点的多重特征信息添加到对应的所述点云信息中；
第二网络模块，将具有多重特征信息的点云信息输入经过训练的第二卷积神经网络输出每个3D目标的类别。
5.一种融合图像和点云信息的检测设备，其特征在于，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行权利要求1至3中任意一项所述融合图像和点云信息的检测方法的步骤。
6.一种计算机可读存储介质，用于存储程序，其特征在于，程序被执行时实现权利要求1至3中任意一项所述融合图像和点云信息的检测方法的步骤。
CN202110076345.5A 2021-01-20 2021-01-20 融合图像和点云信息的检测方法、系统、设备及存储介质 Active CN112861653B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110076345.5A CN112861653B (zh) 2021-01-20 2021-01-20 融合图像和点云信息的检测方法、系统、设备及存储介质
PCT/CN2021/108585 WO2022156175A1 (zh) 2021-01-20 2021-07-27 融合图像和点云信息的检测方法、系统、设备及存储介质
EP21920556.4A EP4283515A4 (en) 2021-01-20 2021-07-27 DETECTION METHOD, SYSTEM AND DEVICE BASED ON FUSION OF IMAGE AND POINT CLOUD INFORMATION, AND STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110076345.5A CN112861653B (zh) 2021-01-20 2021-01-20 融合图像和点云信息的检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112861653A CN112861653A (zh) 2021-05-28
CN112861653B true CN112861653B (zh) 2024-01-23

Family

ID=76007756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110076345.5A Active CN112861653B (zh) 2021-01-20 2021-01-20 融合图像和点云信息的检测方法、系统、设备及存储介质

Country Status (3)

Country Link
EP (1) EP4283515A4 (zh)
CN (1) CN112861653B (zh)
WO (1) WO2022156175A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112861653B (zh) * 2021-01-20 2024-01-23 上海西井科技股份有限公司 融合图像和点云信息的检测方法、系统、设备及存储介质
CN113281717A (zh) * 2021-06-04 2021-08-20 上海西井信息科技有限公司 基于激光雷达的地面过滤方法、系统、设备及存储介质
CN113093216A (zh) * 2021-06-07 2021-07-09 山东捷瑞数字科技股份有限公司 一种激光雷达和相机融合的不规则物体测量方法
CN113296107A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 传感器协同检测拖挂角度的方法、系统、设备及存储介质
CN114373105A (zh) * 2021-12-20 2022-04-19 华南理工大学 一种点云标注及数据集制作的方法、系统、装置及介质
CN114494415A (zh) * 2021-12-31 2022-05-13 北京建筑大学 一种自动驾驶装载机对沙石堆检测识别和测量的方法
CN114792417B (zh) * 2022-02-24 2023-06-16 广州文远知行科技有限公司 模型训练方法、图像识别方法、装置、设备及存储介质
CN115265556A (zh) * 2022-07-30 2022-11-01 重庆长安汽车股份有限公司 自动驾驶车辆的定位方法、装置、设备及介质
CN114973006B (zh) * 2022-08-02 2022-10-18 四川省机械研究设计院(集团)有限公司 花椒采摘方法、装置、系统及存储介质
WO2024044887A1 (en) * 2022-08-29 2024-03-07 Huawei Technologies Co., Ltd. Vision-based perception system
CN115616560B (zh) * 2022-12-02 2023-04-14 广汽埃安新能源汽车股份有限公司 车辆避障方法、装置、电子设备和计算机可读介质
CN118151126A (zh) * 2022-12-07 2024-06-07 上海禾赛科技有限公司 激光雷达、数据处理方法及光探测和数据采集处理装置
CN116228854B (zh) * 2022-12-29 2023-09-08 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法
CN116030628A (zh) * 2023-01-06 2023-04-28 广州市杜格科技有限公司 基于双激光点云数据分析的车型分类方法及交通调查设备
CN115760855B (zh) * 2023-01-09 2023-05-23 中建科技集团有限公司 工件检查方法及相关设备
CN115904294B (zh) * 2023-01-09 2023-06-09 山东矩阵软件工程股份有限公司 一种环境可视化方法、系统、存储介质和电子设备
CN115830424B (zh) * 2023-02-09 2023-04-28 深圳酷源数联科技有限公司 基于融合图像的矿废识别方法、装置、设备及存储介质
CN115994854B (zh) * 2023-03-22 2023-06-23 智洋创新科技股份有限公司 一种标志物点云和图像配准的方法和系统
CN116385528B (zh) * 2023-03-28 2024-04-30 小米汽车科技有限公司 标注信息的生成方法、装置、电子设备、车辆及存储介质
CN117111055A (zh) * 2023-06-19 2023-11-24 山东高速集团有限公司 一种基于雷视融合的车辆状态感知方法
CN116883496B (zh) * 2023-06-26 2024-03-12 小米汽车科技有限公司 交通元素的坐标重建方法、装置、电子设备及存储介质
CN116523970B (zh) * 2023-07-05 2023-10-20 之江实验室 基于二次隐式匹配的动态三维目标跟踪方法及装置
CN116545122B (zh) * 2023-07-06 2023-09-19 中国电力科学研究院有限公司 一种输电线路防外破监测装置和防外破监测方法
CN117132519B (zh) * 2023-10-23 2024-03-12 江苏华鲲振宇智能科技有限责任公司 基于vpx总线多传感器图像融合处理模块
CN117173257B (zh) * 2023-11-02 2024-05-24 安徽蔚来智驾科技有限公司 3d目标检测及其标定参数增强方法、电子设备、介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443369A (zh) * 2018-08-20 2019-03-08 北京主线科技有限公司 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法
CN110135485A (zh) * 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和系统
CN110853037A (zh) * 2019-09-26 2020-02-28 西安交通大学 一种基于球面投影的轻量化彩色点云分割方法
CN111522026A (zh) * 2020-04-21 2020-08-11 北京三快在线科技有限公司 一种数据融合的方法及装置
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494937B2 (en) * 2018-11-16 2022-11-08 Uatc, Llc Multi-task multi-sensor fusion for three-dimensional object detection
CN112861653B (zh) * 2021-01-20 2024-01-23 上海西井科技股份有限公司 融合图像和点云信息的检测方法、系统、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109443369A (zh) * 2018-08-20 2019-03-08 北京主线科技有限公司 利用激光雷达和视觉传感器融合构建动静态栅格地图的方法
CN110135485A (zh) * 2019-05-05 2019-08-16 浙江大学 单目相机与毫米波雷达融合的物体识别与定位方法和系统
WO2020237693A1 (zh) * 2019-05-31 2020-12-03 华南理工大学 一种水面无人装备多源感知方法及系统
CN110853037A (zh) * 2019-09-26 2020-02-28 西安交通大学 一种基于球面投影的轻量化彩色点云分割方法
CN111522026A (zh) * 2020-04-21 2020-08-11 北京三快在线科技有限公司 一种数据融合的方法及装置
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PointPainting: Sequential Fusion for 3D Object Detection;Sourabh Vora 等;《arXiv》;20200506;第1-11页 *
刘国华.坐标系的转换.《HALCON数字图像处理》.2018, *

Also Published As

Publication number Publication date
EP4283515A4 (en) 2024-06-12
WO2022156175A1 (zh) 2022-07-28
CN112861653A (zh) 2021-05-28
EP4283515A1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
US11042762B2 (en) Sensor calibration method and device, computer device, medium, and vehicle
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US11017244B2 (en) Obstacle type recognizing method and apparatus, device and storage medium
EP3620966A1 (en) Object detection method and apparatus for object detection
KR102267562B1 (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN110119698B (zh) 用于确定对象状态的方法、装置、设备和存储介质
CN115082924B (zh) 一种基于单目视觉和雷达伪图像融合的三维目标检测方法
US10990836B2 (en) Method and apparatus for recognizing object, device, vehicle and medium
CN112967283B (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN112232275B (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
CN110135396B (zh) 地面标志的识别方法、装置、设备及介质
CN112288825B (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
JP7389729B2 (ja) 障害物検知装置、障害物検知システム及び障害物検知方法
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN115147328A (zh) 三维目标检测方法及装置
CN113297958A (zh) 一种自动化标注方法、装置、电子设备和存储介质
CN115239822A (zh) 分体式飞行车辆多模块间实时视觉识别定位方法及系统
CN110197104B (zh) 基于车辆的测距方法及装置
WO2020154911A1 (en) Sky determination in environment detection for mobile platforms, and associated systems and methods
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
CN114386481A (zh) 一种车辆感知信息融合方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Applicant before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant