CN109345510A - 物体检测方法、装置、设备、存储介质及车辆 - Google Patents

物体检测方法、装置、设备、存储介质及车辆 Download PDF

Info

Publication number
CN109345510A
CN109345510A CN201811044827.7A CN201811044827A CN109345510A CN 109345510 A CN109345510 A CN 109345510A CN 201811044827 A CN201811044827 A CN 201811044827A CN 109345510 A CN109345510 A CN 109345510A
Authority
CN
China
Prior art keywords
target area
point cloud
scene
obtains
expressive features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811044827.7A
Other languages
English (en)
Inventor
谢远帆
杨子枢
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811044827.7A priority Critical patent/CN109345510A/zh
Publication of CN109345510A publication Critical patent/CN109345510A/zh
Priority to EP19191471.2A priority patent/EP3620966A1/en
Priority to US16/561,942 priority patent/US11379699B2/en
Priority to JP2019163303A priority patent/JP6842520B2/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种物体检测方法、装置、设备、存储介质及车辆。其中，该方法包括：将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，得到位于各目标区域处物体的检测结果。本发明的技术方案，相比于现有的后融合多传感器检测方案，该方案相当于特征的前融合多传感器检测方案，不需要应用规则以及概率作为融合的基础进行数据关联，在检测出物体的同时，简化了检测流程。

Description

物体检测方法、装置、设备、存储介质及车辆
技术领域
本发明实施例涉及传感器技术领域，尤其涉及一种物体检测方法、装置、设备、存储介质及车辆。
背景技术
随着传感器技术的发展，同时采用多个传感器对同一物体或环境等进行检测，并将多个传感器的检测数据进行融合处理得到的检测结果，相比于单一传感器对同一物体或环境等进行检测的结果更全面和准确等。因此多传感器融合检测多应用于物体检测或目标跟踪等领域。
目前，多传感器融合检测方案中主要采用的是后融合多传感器检测方案。一个典型的后融合处理过程如图1所示相当于结果融合，传感器1和2分别将传感数据传输到两个不同的检测器中，得到第一对象特征和第二对象特征，对第一对象特征和第二对象特征通过最大化后验概率的方式进行融合得到对象特征。
而现有的后融合多传感器检测方案，需要规则以及概率作为融合的基础进行数据关联，一方面流程较长，引起更高的延迟；另一方面不能使用数据驱动对整个融合系统优化。因此提供一个新的多传感器融合方案来实现物体检测是十分必要的。
发明内容
本发明实施例提供一种物体检测方法、装置、设备、存储介质及车辆，实现了物体检测，同时简化了检测流程。
第一方面，本发明实施例提供了一种物体检测方法，包括：
将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；
将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，得到位于各目标区域处物体的检测结果。
第二方面，本发明实施例还提供了一种物体检测装置，该装置包括：
描述特征获取模块，用于将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；
物体检测输入模块，用于将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中；
检测结果获取模块，用于得到位于各目标区域处物体的检测结果。
第三方面，本发明实施例还提供了一种设备，该设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面中任意所述的物体检测方法。
第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意所述的物体检测方法。
第五方面，本发明实施例提供了一种车辆，包括车体，所述车体上设置有如本发明任意实施例提供的设备，以及与所述设备通信连接的激光雷达和图像采集器。
本发明实施例提供的物体检测方法、装置、设备、存储介质及车辆，通过将场景点云数据和场景图像数据分别输入到预先训练的点云征抽取模型和图像描述特征中得到的场景点云描述特征和图像描述特征以目标区域为单位输入至物体识别模型中，能够得到位于各目标区域处的物体的检测结果。相比于现有的后融合多传感器检测方案，该方案相当于特征的前融合多传感器检测方案，不需要应用规则以及概率作为融合的基础进行数据关联，在检测出物体的同时，简化了检测流程。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是现有技术提供的一种典型的后处理过程示意图；
图2A是本发明实施例一中的一种物体检测方法的示意图；
图2B是本发明实施例所适用的一种物体检测过程示意图；
图2C是本发明实施例所适用的一种三个模型同步训练过程示意图；
图3是本发明实施例二中的一种物体检测方法的流程图；
图4是本发明实施例三中的一种物体检测装置的结构示意图；
图5是本发明实施例四中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例一
图2A为本发明实施例一提供的一种物体检测方法的流程图，图2B是本发明实施例所适用的一种物体检测过程示意图，本实施例适用于如何在能够检测到场景中包含的物体的同时简化检测流程的情况。该方法可以由本发明实施例中的物体检测装置来执行，该装置可采用软件和/或硬件的方式实现，该装置可以是独立的物理设备，也可以配置于终端(例如自动驾驶移动载体的控制框架)中。如图2A和2B所示，该方法具体包括如下步骤：
S210，将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征。
其中，点云数据是指一组由包含三维坐标的点所组成的点集，可以用来表征一个物体的外表面形状。其中，每个点的三维空间几何位置信息可用(x，y，z)表示，除此之外点云数据还可以表示一个点的RGB颜色，灰度值，深度，分割结果等。图像数据是指由包含二维坐标系的点所组成的集合，也是用数值表示的各像素的灰度值的集合。本实施例中，可以采用激光雷达和图像采集器如相机同步对某一场景进行采集得到该场景点云数据和场景图像数据。
点云描述特征是指用于描述场景点云数据所构建的三维场景点云模型的特征，可以是场景中的物体特征。图像描述特征是指用于描述场景图像数据所构建的二维场景图像模型的特征，也可以是场景中的物体特征。点云描述特征和图像描述特征两者可能描述的是相同物体不同维度的特征，也可能是不同物体的特征等。
点云特征抽取模型和图像特征抽取模型均是预先对卷积神经网络进行训练得到，具体的实现可以通过如图2C所示的方式实现，可以是：预先采用激光雷达和图像采集器对样本场景进行采集得到样本点云数据和样本图像数据，将样本点云数据输入到第一卷积神经网络模型中得到样本点云描述特征，将样本图像数据输入到第二卷积神经网络模型中得到样本图像描述特征；在激光雷达坐标系内，以预设大小的物体框均匀排布将样本点云数据分割成各个区域，遍历样本点云数据中各区域，将各区域中包括的样本点云描述特征以及各区域样本点云描述特征对应的样本图像描述特征输入到第三卷积神经网络模型中，并依据样本点云数据中各区域的物体标注结果，同时对三个卷积神经网络模型进行训练，直到第三个卷积神经网络模型可准确的检测出物体的分类、位置及朝向等检测结果时，可以得到点云特征抽取模型、图像特征抽取模型和物体识别模型。其中，第一卷积神经网络模型对应于点云特征抽取模型，第二卷积神经网络模型对应于图像特征抽取模型，第三卷积神经网络模型对应于物体识别模型。
需要说明的是，本实施例中将样本点云数据、样本图像数据和样本点云数据中各区域的物体标注结果同时输入到三个卷积神经网络模型中一起训练，不需要关注前两个模型的输出结果，只需第三个模型的最终能够准确输出检测结果即停止训练，相比于逐一对每一模型训练而言，降低了训练的复杂程度。
具体的，分别将激光雷达和图像采集器同步对场景采集的场景点云数据和场景图像数据输入到预先训练的点云征抽取模型和图像描述特征中，可以得到该场景的点云描述特征和图像描述特征。
S220，将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，得到位于各目标区域处物体的检测结果。
其中，目标区域是指场景中物体所在的区域。可以通过如下方式得到：在依据点云特征抽取模型和图像特征抽取模型得到点云描述特征和图像描述特征之后，在激光雷达坐标系或图像采集器如相机坐标系内，以预设大小的物体框均匀排布将场景点云数据或场景图像数据分割成各个区域，采用简单检测模型如blob检测等对各区域的点云描述特征或图像描述特征进行检测，得到场景中包括的各物体，将每个物体所在的区域作为一个目标区域；为了减少识别区域的数量，还可以是在激光雷达坐标系或图像采集器如相机坐标系内，依据实验经验只在潜在位置上布置一些物体框，采用简单检测模型如blob检测等对各物体框内的点云描述特征或图像描述特征进行检测，去除无物体或不符合预设条件的物体框，得到场景中包括的各物体，将每个物体所在的物体框作为一个目标区域。其中，预设条件是指预先设置的用于对物体框进行预处理的方式，可以是物体框内物体的大小或物体所占像素点数小于预设数值，可以将物体框内的物体视为噪点等。
本实施例中，物体识别模型可以通过如图2C所示的方式，采用第三卷积神经网络模型训练得到。卷积神经网络基本结构包括两种特殊的神经元层，其一为卷积层，每个神经元的输入与前一层的局部相连，并提取该局部的特征；其二是池化层，用来求局部敏感性与二次特征提取的计算层。这种两次特征提取结构减小了特征分辨率，减少了需要优化的参数数目。
由于卷积层中的神经元只需与输入数据中的一个局部区域连接，即可实现在卷积列中的神经元共享参数，因此为了提高卷积神经网络的训练速度且减少冗余，本实施例中的第三卷积神经网络模型可以将卷积神经网络中的全连接层转化为卷积层，即第三卷积神经网络模型为只包含池化层和卷积层的全卷积神经网络模型。因此，物体识别模型可以是基于全卷积神经网络训练得到的。
物体的检测结果即为物体识别模型的输出结果，可以是物体的类别如人、树木、车等，还可以是物体的位置、尺寸或朝向等。需要说明的是，可以根据需要为物体识别模型设置多个输出层，每个输出层与不同的损失函数相配合，即可以实现不同的检测结果，同一物体可以输出不同种的检测结果。
具体的，在依据点云特征抽取模型和图像特征抽取模型得到点云描述特征和图像描述特征之后，将场景中各目标区域的点云描述特征和图像描述特征输入到物体识别模型中，模型会结合模型现有参数，输出各目标区域中所包含的物体的检测结果。
需要说明的是，本实施例中将三个模型中前两个模型即点云特征抽取模型和图像特征抽取模型的描述特征进行融合后输入到第三个模型即物体识别模型中，由第三个模型对融合特征进行训练得到物体的检测结果，相比于现有的后融合多传感器检测方案，本实施例相当于特征的前融合多传感器检测方案，不需要应用规则以及概率作为融合的基础进行数据关联，简化了检测流程。
本发明实施例提供的技术方案，通过将场景点云数据和场景图像数据分别输入到预先训练的点云征抽取模型和图像描述特征中得到的场景点云描述特征和图像描述特征以目标区域为单位输入至物体识别模型中，能够得到位于各目标区域处的物体的检测结果。相比于现有的后融合多传感器检测方案，该方案相当于特征的前融合多传感器检测方案，不需要应用规则以及概率作为融合的基础进行数据关联，在检测出物体的同时，简化了检测流程。
实施例二
图3为本发明实施例二中的一种物体检测方法的流程图，本实施例以上述实施例为基础，进一步地对将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中进行解释说明。如图3所示，本实施例的方法具体包括如下步骤：
S310，将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征。
S320，对场景中各区域的点云描述特征或图像描述特征进行识别，得到场景中包括的各候选物体，并将候选物体所在区域作为目标区域。
其中，候选物体是指场景中所包含的可能是目标的物体。
具体的，可以在激光雷达坐标系内，以预设大小的物体框均匀排布将场景点云数据分割成各个区域，遍历各区域的点云描述特征，采用简单检测模型如blob检测等对各区域的点云描述特征进行识别，得到场景中包括的各候选物体，将每个候选物体所在的区域作为一个目标区域。可选的，目标区域的数量与候选物体个数相等，一个候选物体可以对应一个目标区域。进一步地，为了便于区分各目标区域，还可以采用递增顺序编号的方式为每个目标区域编号。
S330，依据激光雷达和图像采集器的参数将各点云目标区域投影到场景图像上，确定各点云目标区域关联的各图像目标区域。
其中，参数可以包括位姿(位置和角度)等。目标区域在激光雷达坐标系内的为点云目标区域；对应的，目标区域在图像采集器如相机坐标系内为图像目标区域。可选的，每一个点云目标区域有唯一的图像目标区域与其对应。
具体的，可以依据激光雷达和图像采集器的参数确定两者之间的相对位姿，针对每一点云目标区域，依据该相对位姿可以将点云目标区域投影到场景图像上，将在场景图像上的投影区域确定为该点云目标区域关联的图像目标区域。
S340，将各点云目标区域的点云描述特征和关联的各图像目标区域的图像描述特征输入物体识别模型，得到位于各目标区域处物体的检测结果。
具体的，在确定各点云目标区域关联的各图像目标区域之后，将各点云目标区域的点云描述特征、关联的各图像目标区域的图像描述特征和各点云目标区域输入至物体识别模型中，物体识别模型将会输出各目标区域中物体的检测结果。
需要说明的是，可以根据需要为物体识别模型设置多个输出层，每个输出层与不同的损失函数相配合，即可以实现不同的检测结果。
具体的，若设置的物体识别模型中的损失函数是与分类相关的损失函数，则物体识别模型将输出物体的类别。示例性的，得到位于各目标区域处物体的检测结果可以包括：确定位于各目标区域处物体的类别。其中，物体的类别是指物体所归属的分类，如房屋类、人物类、植物类或车辆类等。可选的，若不同的场景所对应的物体不同，则所确定的物体的类别不同；相同的场景，不同的物体所对应的类别可能相同，也可能不同。例如，目标区域1包含的物体是汽车，目标区域2包含的物体是电动车，但是物体识别模型输出的目标区域1和目标区域2的类别均是车辆类。
若设置的物体识别模型中的损失函数是与回归出物体的准确位置和朝向等相关的损失函数，则物体识别模型将输出物体的位置、朝向及尺寸等。示例性的，得到位于各目标区域处物体的检测结果可以包括：通过物体识别模型修正物体的位置；通过物体识别模型确定物体的朝向和/或尺寸。其中，物体的朝向是指物体的方位或角度信息，物体的尺寸即为物体的实际大小，如长宽高等。
具体的，可以将各点云目标区域的点云描述特征、关联的各图像目标区域的图像描述特征和各点云目标区域输入至物体识别模型中，物体识别模型中可以采用类似于迭代最近点算法(Iterative Closest Points，ICP)进行离线配准，对目标区域中物体的位置进行修正，从而得到物体的真实坐标信息。同时还可以输出物体当前的朝向和物体的尺寸等中的至少一项。
本发明实施例提供的技术方案，通过将场景点云数据和场景图像数据分别输入到预先训练的点云征抽取模型和图像描述特征中得到的场景点云描述特征和图像描述特征以目标区域为单位输入至物体识别模型中，能够得到位于各目标区域处的物体的检测结果。相比于现有的后融合多传感器检测方案，该方案相当于特征的前融合多传感器检测方案，不需要应用规则以及概率作为融合的基础进行数据关联，在检测出物体的同时，简化了检测流程。
实施例三
图4为本发明实施例三提供的一种物体检测装置的结构示意图。该装置可执行本发明任意实施例所提供的物体检测方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置具体包括：描述特征获取模块410、三维场物体检测输入模块420和检测结果获取模块430。
其中，描述特征获取模块410，用于将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；
物体检测输入模块420，用于将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中；
检测结果获取模块430，用于得到位于各目标区域处物体的检测结果。
本发明实施例提供的技术方案，通过将场景点云数据和场景图像数据分别输入到预先训练的点云征抽取模型和图像描述特征中得到的场景点云描述特征和图像描述特征以目标区域为单位输入至物体识别模型中，能够得到位于各目标区域处的物体的检测结果。相比于现有的后融合多传感器检测方案，该方案相当于特征的前融合多传感器检测方案，不需要应用规则以及概率作为融合的基础进行数据关联，在检测出物体的同时，简化了检测流程。
示例性的，上述装置还可以包括：
目标区域确定模块，用于在将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中之前，对场景中各区域的点云描述特征或图像描述特征进行识别，得到场景中包括的各候选物体，并将候选物体所在区域作为目标区域。
示例性的，物体检测输入模块420具体用于：
依据激光雷达和图像采集器的参数将各点云目标区域投影到场景图像上，确定各点云目标区域关联的各图像目标区域；
将各点云目标区域的点云描述特征和关联的各图像目标区域的图像描述特征输入物体识别模型。
示例性的，检测结果获取模块430具体用于：
确定位于各目标区域处物体的类别。
示例性的，检测结果获取模块430还具体用于：
通过物体识别模型修正物体的位置；
通过物体识别模型确定物体的朝向和/或尺寸。
实施例四
图5为本发明实施例四中的一种设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性设备12的框图。图5显示的设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，设备12以通用计算设备的形式表现。设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。另外，本实施例中的设备12，显示器24不是作为独立个体存在，而是嵌入镜面中，在显示器24的显示面不予显示时，显示器24的显示面与镜面从视觉上融为一体。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的物体检测方法。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的物体检测方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
另外，本发明实施例中还提供了一种车辆，包括车体，所述车体上设置有本发明任意实施例提供的设备，以及与所述设备通信连接的激光雷达和图像采集器。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种物体检测方法，其特征在于，包括：
将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；
将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，得到位于各目标区域处物体的检测结果。
2.根据权利要求1所述的方法，其特征在于，将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中之前，还包括：
对场景中各区域的点云描述特征或图像描述特征进行识别，得到场景中包括的各候选物体，并将候选物体所在区域作为目标区域。
3.根据权利要求1所述的方法，其特征在于，将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，包括：
依据激光雷达和图像采集器的参数将各点云目标区域投影到场景图像上，确定各点云目标区域关联的各图像目标区域；
将各点云目标区域的点云描述特征和关联的各图像目标区域的图像描述特征输入所述物体识别模型。
4.根据权利要求1所述的方法，其特征在于，得到位于各目标区域处物体的检测结果，包括：
确定位于各目标区域处物体的类别。
5.根据权利要求1所述的方法，其特征在于，得到位于各目标区域处物体的检测结果，包括：
通过所述物体识别模型修正所述物体的位置；
通过所述物体识别模型确定所述物体的朝向和/或尺寸。
6.根据权利要求1所述的方法，其特征在于，所述物体识别模型是基于全卷积网络训练得到的。
7.一种物体检测装置，其特征在于，包括：
描述特征获取模块，用于将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；
物体检测输入模块，用于将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中；
检测结果获取模块，用于得到位于各目标区域处物体的检测结果。
8.根据权利要求7所述的装置，其特征在于，还包括：
目标区域确定模块，用于在将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中之前，对场景中各区域的点云描述特征或图像描述特征进行识别，得到场景中包括的各候选物体，并将候选物体所在区域作为目标区域。
9.根据权利要求7所述的装置，其特征在于，所述物体检测输入模块具体用于：
依据激光雷达和图像采集器的参数将各点云目标区域投影到场景图像上，确定各点云目标区域关联的各图像目标区域；
将各点云目标区域的点云描述特征和关联的各图像目标区域的图像描述特征输入所述物体识别模型。
10.根据权利要求7所述的装置，其特征在于，所述检测结果获取模块具体用于：
确定位于各目标区域处物体的类别。
11.根据权利要求7所述的装置，其特征在于，所述检测结果获取模块具体用于：
通过所述物体识别模型修正所述物体的位置；
通过所述物体识别模型确定所述物体的朝向和/或尺寸。
12.根据权利要求7所述的装置，其特征在于，所述物体识别模型是基于全卷积网络训练得到的。
13.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的物体检测方法。
14.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的物体检测方法。
15.一种车辆，包括车体，其特征在于，所述车体上设置有如权利要求13所述的设备，以及与所述设备通信连接的激光雷达和图像采集器。
CN201811044827.7A 2018-09-07 2018-09-07 物体检测方法、装置、设备、存储介质及车辆 Pending CN109345510A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811044827.7A CN109345510A (zh) 2018-09-07 2018-09-07 物体检测方法、装置、设备、存储介质及车辆
EP19191471.2A EP3620966A1 (en) 2018-09-07 2019-08-13 Object detection method and apparatus for object detection
US16/561,942 US11379699B2 (en) 2018-09-07 2019-09-05 Object detection method and apparatus for object detection
JP2019163303A JP6842520B2 (ja) 2018-09-07 2019-09-06 物体検出方法、装置、機器、記憶媒体及び車両

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811044827.7A CN109345510A (zh) 2018-09-07 2018-09-07 物体检测方法、装置、设备、存储介质及车辆

Publications (1)

Publication Number Publication Date
CN109345510A true CN109345510A (zh) 2019-02-15

Family

ID=65304983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811044827.7A Pending CN109345510A (zh) 2018-09-07 2018-09-07 物体检测方法、装置、设备、存储介质及车辆

Country Status (4)

Country Link
US (1) US11379699B2 (zh)
EP (1) EP3620966A1 (zh)
JP (1) JP6842520B2 (zh)
CN (1) CN109345510A (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN110082779A (zh) * 2019-03-19 2019-08-02 同济大学 一种基于3d激光雷达的车辆位姿定位方法及系统
CN110223297A (zh) * 2019-04-16 2019-09-10 广东康云科技有限公司 基于扫描点云数据的分割与识别方法、系统及存储介质
CN110276317A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
CN110310306A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 基于实景建模与智能识别的目标跟踪方法、系统及介质
CN110456377A (zh) * 2019-08-15 2019-11-15 中国人民解放军63921部队 一种基于三维激光雷达的卫星来袭异物检测方法和系统
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
CN110599575A (zh) * 2019-08-15 2019-12-20 贝壳技术有限公司 三维空间中物体图像的呈现方法、装置及存储介质
CN110765894A (zh) * 2019-09-30 2020-02-07 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN110781805A (zh) * 2019-10-23 2020-02-11 上海极链网络科技有限公司 一种目标物体检测方法、装置、计算设备和介质
CN110956137A (zh) * 2019-12-02 2020-04-03 深圳市镭神智能系统有限公司 点云数据的目标检测方法、系统及介质
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及系统
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
CN111339834A (zh) * 2020-02-04 2020-06-26 浙江大华技术股份有限公司 车辆行驶方向的识别方法、计算机设备及存储介质
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
CN111523515A (zh) * 2020-05-13 2020-08-11 北京百度网讯科技有限公司 自动驾驶车辆环境认知能力评价方法、设备及存储介质
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
WO2020207166A1 (zh) * 2019-04-11 2020-10-15 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
CN111797915A (zh) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN111860060A (zh) * 2019-04-29 2020-10-30 顺丰科技有限公司 目标检测方法、装置、终端设备及计算机可读存储介质
CN111986472A (zh) * 2019-05-22 2020-11-24 阿里巴巴集团控股有限公司 车辆速度确定方法及车辆
CN112380991A (zh) * 2020-11-13 2021-02-19 贝壳技术有限公司 物品模型的放置方法和装置、存储介质、电子设备
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统
CN112633069A (zh) * 2020-11-26 2021-04-09 贝壳技术有限公司 物体检测方法及装置
WO2021114776A1 (en) * 2019-12-12 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Object detection method, object detection device, terminal device, and medium
WO2021134285A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 图像跟踪处理方法、装置、计算机设备和存储介质
WO2021166912A1 (ja) * 2020-02-18 2021-08-26 株式会社デンソー 物体検出装置
CN113378605A (zh) * 2020-03-10 2021-09-10 北京京东乾石科技有限公司 多源信息融合方法及装置、电子设备和存储介质
CN113838125A (zh) * 2021-09-17 2021-12-24 中国第一汽车股份有限公司 目标位置确定方法、装置、电子设备以及存储介质
CN114267041A (zh) * 2022-03-01 2022-04-01 北京鉴智科技有限公司 场景中对象的识别方法及装置
JP2022524262A (ja) * 2020-02-21 2022-05-02 北京市商▲湯▼科技▲開▼▲発▼有限公司 目標対象物の検出方法、目標対象物の検出装置、電子機器、記憶媒体及びコンピュータプログラム
CN114581746A (zh) * 2022-03-04 2022-06-03 北京百度网讯科技有限公司 物体检测方法、装置、设备及介质
CN114964210A (zh) * 2022-05-19 2022-08-30 中国第一汽车股份有限公司 地图绘制方法、装置、计算机设备及存储介质
CN114972763A (zh) * 2022-07-28 2022-08-30 香港中文大学(深圳)未来智联网络研究院 激光雷达点云分割方法、装置、设备及存储介质
CN115100642A (zh) * 2022-08-24 2022-09-23 上海仙工智能科技有限公司 一种基于深度学习的3d库位状态检测方法及系统
CN115641567A (zh) * 2022-12-23 2023-01-24 小米汽车科技有限公司 用于车辆的目标对象检测方法、装置、车辆及介质
CN115984802A (zh) * 2023-03-08 2023-04-18 安徽蔚来智驾科技有限公司 一种目标检测方法、计算机可读存储介质及驾驶设备
US11967873B2 (en) 2019-09-23 2024-04-23 Canoo Technologies Inc. Fractional slot electric motors with coil elements having rectangular cross-sections
JP7501398B2 (ja) 2020-02-18 2024-06-18 株式会社デンソー 物体検出装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693174B1 (ko) * 2005-12-16 2007-03-13 엘지전자 주식회사 전자제품의 인접하는 도어설치구조
CN111310858B (zh) * 2020-03-26 2023-06-30 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN111461020B (zh) * 2020-04-01 2024-01-19 浙江大华技术股份有限公司 不安全使用手机行为的识别方法、设备及相关存储介质
CN111652114B (zh) * 2020-05-29 2023-08-25 深圳市商汤科技有限公司 一种对象检测方法、装置、电子设备及存储介质
CN111722245B (zh) * 2020-06-22 2023-03-10 阿波罗智能技术(北京)有限公司 定位方法、定位装置和电子设备
CN113836977B (zh) * 2020-06-24 2024-02-23 顺丰科技有限公司 目标检测方法、装置、电子设备及存储介质
CN111967490A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 用于地图检测的模型训练方法和地图检测方法
CN112001963A (zh) * 2020-07-31 2020-11-27 浙江大华技术股份有限公司 消防通道的排查的方法、系统和计算机设备
CN111862222B (zh) * 2020-08-03 2021-08-13 湖北亿咖通科技有限公司 一种目标检测方法及电子设备
CN113763307B (zh) * 2020-08-11 2024-06-18 北京京东乾石科技有限公司 样本数据的获取方法和装置
CN113763458B (zh) * 2020-08-21 2024-04-05 北京京东乾石科技有限公司 确定目标对象摆放面的方法和装置
CN112183450B (zh) * 2020-10-15 2024-05-28 成都思晗科技股份有限公司 一种多目标跟踪方法
CN112487919A (zh) * 2020-11-25 2021-03-12 吉林大学 一种基于相机与激光雷达的3d目标检测与跟踪方法
CN112529011A (zh) * 2020-12-10 2021-03-19 深圳先进技术研究院 目标检测方法及相关装置
CN112232317B (zh) * 2020-12-14 2021-08-17 智道网联科技(北京)有限公司 用于目标朝向识别的目标检测方法及装置、设备及介质
CN112668460A (zh) 2020-12-25 2021-04-16 北京百度网讯科技有限公司 目标检测方法、电子设备、路侧设备和云控平台
CN112949849B (zh) * 2021-01-27 2024-03-26 武汉星巡智能科技有限公司 采用边缘计算优化智能摄像头检测模型的方法和装置
CN112837410B (zh) * 2021-02-19 2023-07-18 北京三快在线科技有限公司 一种训练模型和点云的处理方法及装置
CN113052048B (zh) * 2021-03-18 2024-05-10 阿波罗智联(北京)科技有限公司 交通事件检测方法、装置、路侧设备以及云控平台
CN113160327A (zh) * 2021-04-09 2021-07-23 上海智蕙林医疗科技有限公司 一种点云补全的实现方法和系统
US11954798B2 (en) * 2021-04-22 2024-04-09 Faro Technologies, Inc. Automatic selection of a region in a three-dimensional (3D) point cloud
CN113177969B (zh) * 2021-04-29 2022-07-15 哈尔滨工程大学 一种基于运动方向变化的候选种子的点云单目标跟踪方法
CN113256632B (zh) * 2021-07-07 2022-02-11 同方威视技术股份有限公司 集装箱的掏箱检测方法、装置、设备及存储介质
CN113780214B (zh) * 2021-09-16 2024-04-19 上海西井科技股份有限公司 基于人群进行图像识别的方法、系统、设备及存储介质
CN114419070A (zh) * 2022-01-21 2022-04-29 北京字跳网络技术有限公司 一种图像场景分割方法、装置、设备及存储介质
CN114882046A (zh) * 2022-03-29 2022-08-09 驭势科技（北京）有限公司 三维点云数据的全景分割方法、装置、设备及介质
WO2023228810A1 (ja) * 2022-05-24 2023-11-30 村田機械株式会社 物品認識システム、および物品認識装置
CN115100689B (zh) * 2022-08-23 2022-11-01 浙江大华技术股份有限公司 一种对象检测方法、装置、电子设备和存储介质
CN117611592B (zh) * 2024-01-24 2024-04-05 长沙隼眼软件科技有限公司 一种异物检测方法、装置、电子设备以及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106707293A (zh) * 2016-12-01 2017-05-24 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN106815847A (zh) * 2017-01-12 2017-06-09 非凡智慧（宁夏）科技有限公司 基于激光雷达点云的树木分割方法及单棵树提取方法
CN108171217A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于点融合网络的三维物体检测方法
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909997B2 (en) * 2002-03-26 2005-06-21 Lockheed Martin Corporation Method and system for data fusion using spatial and temporal diversity between sensors
US7912246B1 (en) * 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
US8275194B2 (en) * 2008-02-15 2012-09-25 Microsoft Corporation Site modeling using image data fusion
US9255803B2 (en) * 2009-08-14 2016-02-09 IPOZ Systems, LLC Devices, program products and computer implemented methods for touchless metrology having virtual zero-velocity and position update
US8380375B2 (en) * 2009-08-14 2013-02-19 IPOZ Systems, LLC Device, computer storage medium, and computer implemented method for metrology with inertial navigation system and aiding
KR101841668B1 (ko) * 2012-02-15 2018-03-27 한국전자통신연구원 입체 모델 생성 장치 및 방법
US9338622B2 (en) * 2012-10-04 2016-05-10 Bernt Erik Bjontegard Contextually intelligent communication systems and processes
US9152870B2 (en) * 2013-03-15 2015-10-06 Sri International Computer vision as a service
US9542626B2 (en) * 2013-09-06 2017-01-10 Toyota Jidosha Kabushiki Kaisha Augmenting layer-based object detection with deep convolutional neural networks
US9317785B1 (en) * 2014-04-21 2016-04-19 Video Mining Corporation Method and system for determining ethnicity category of facial images based on multi-level primary and auxiliary classifiers
JP2017146840A (ja) 2016-02-18 2017-08-24 富士ゼロックス株式会社 画像処理装置およびプログラム
JP6701057B2 (ja) 2016-11-04 2020-05-27 株式会社Ｓｏｋｅｎ 認識装置、プログラム
JP6851295B2 (ja) 2017-01-27 2021-03-31 株式会社デンソーアイティーラボラトリ 物体検出システム、物体検出装置、物体検出プログラム、及び物体検出方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106707293A (zh) * 2016-12-01 2017-05-24 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
CN106815847A (zh) * 2017-01-12 2017-06-09 非凡智慧（宁夏）科技有限公司 基于激光雷达点云的树木分割方法及单棵树提取方法
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置
CN108229366A (zh) * 2017-12-28 2018-06-29 北京航空航天大学 基于雷达和图像数据融合的深度学习车载障碍物检测方法
CN108171217A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于点融合网络的三维物体检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOZHI CHEN等: "Multi-View 3D Object Detection Network for Autonomous Driving", 《ARXIV:1611.07759V3》 *

Cited By (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110008843B (zh) * 2019-03-11 2021-01-05 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110082779A (zh) * 2019-03-19 2019-08-02 同济大学 一种基于3d激光雷达的车辆位姿定位方法及系统
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
WO2020207166A1 (zh) * 2019-04-11 2020-10-15 腾讯科技（深圳）有限公司 一种物体检测方法、装置、电子设备和存储介质
US11915501B2 (en) 2019-04-11 2024-02-27 Tencent Technology (Shenzhen) Company Limited Object detection method and apparatus, electronic device, and storage medium
CN110223297A (zh) * 2019-04-16 2019-09-10 广东康云科技有限公司 基于扫描点云数据的分割与识别方法、系统及存储介质
CN111860060A (zh) * 2019-04-29 2020-10-30 顺丰科技有限公司 目标检测方法、装置、终端设备及计算机可读存储介质
CN110310306A (zh) * 2019-05-14 2019-10-08 广东康云科技有限公司 基于实景建模与智能识别的目标跟踪方法、系统及介质
CN111986472A (zh) * 2019-05-22 2020-11-24 阿里巴巴集团控股有限公司 车辆速度确定方法及车辆
CN110276317A (zh) * 2019-06-26 2019-09-24 Oppo广东移动通信有限公司 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
CN110598743A (zh) * 2019-08-12 2019-12-20 北京三快在线科技有限公司 一种目标对象的标注方法和装置
CN110599575A (zh) * 2019-08-15 2019-12-20 贝壳技术有限公司 三维空间中物体图像的呈现方法、装置及存储介质
CN110456377A (zh) * 2019-08-15 2019-11-15 中国人民解放军63921部队 一种基于三维激光雷达的卫星来袭异物检测方法和系统
CN110456377B (zh) * 2019-08-15 2021-07-30 中国人民解放军63921部队 一种基于三维激光雷达的卫星来袭异物检测方法和系统
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统
US11967873B2 (en) 2019-09-23 2024-04-23 Canoo Technologies Inc. Fractional slot electric motors with coil elements having rectangular cross-sections
CN110765894B (zh) * 2019-09-30 2022-07-08 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN110765894A (zh) * 2019-09-30 2020-02-07 杭州飞步科技有限公司 目标检测方法、装置、设备及计算机可读存储介质
CN110781805A (zh) * 2019-10-23 2020-02-11 上海极链网络科技有限公司 一种目标物体检测方法、装置、计算设备和介质
CN110781805B (zh) * 2019-10-23 2024-05-07 北京鉴微知著智能科技有限公司 一种目标物体检测方法、装置、计算设备和介质
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及系统
CN110956137A (zh) * 2019-12-02 2020-04-03 深圳市镭神智能系统有限公司 点云数据的目标检测方法、系统及介质
WO2021114776A1 (en) * 2019-12-12 2021-06-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Object detection method, object detection device, terminal device, and medium
CN111144304A (zh) * 2019-12-26 2020-05-12 上海眼控科技股份有限公司 车辆目标检测模型的生成方法、车辆目标检测方法及装置
WO2021134285A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 图像跟踪处理方法、装置、计算机设备和存储介质
CN111339834A (zh) * 2020-02-04 2020-06-26 浙江大华技术股份有限公司 车辆行驶方向的识别方法、计算机设备及存储介质
JP7501398B2 (ja) 2020-02-18 2024-06-18 株式会社デンソー 物体検出装置
WO2021166912A1 (ja) * 2020-02-18 2021-08-26 株式会社デンソー 物体検出装置
CN111401133A (zh) * 2020-02-19 2020-07-10 北京三快在线科技有限公司 目标数据增广方法、装置、电子设备和可读存储介质
JP2022524262A (ja) * 2020-02-21 2022-05-02 北京市商▲湯▼科技▲開▼▲発▼有限公司 目標対象物の検出方法、目標対象物の検出装置、電子機器、記憶媒体及びコンピュータプログラム
CN113378605A (zh) * 2020-03-10 2021-09-10 北京京东乾石科技有限公司 多源信息融合方法及装置、电子设备和存储介质
CN113378605B (zh) * 2020-03-10 2024-04-09 北京京东乾石科技有限公司 多源信息融合方法及装置、电子设备和存储介质
CN111539347B (zh) * 2020-04-27 2023-08-08 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111523515A (zh) * 2020-05-13 2020-08-11 北京百度网讯科技有限公司 自动驾驶车辆环境认知能力评价方法、设备及存储介质
CN111797915A (zh) * 2020-06-24 2020-10-20 奇点汽车研发中心有限公司 目标检测方法、装置、电子设备及计算机可读存储介质
CN112380991A (zh) * 2020-11-13 2021-02-19 贝壳技术有限公司 物品模型的放置方法和装置、存储介质、电子设备
CN112633069A (zh) * 2020-11-26 2021-04-09 贝壳技术有限公司 物体检测方法及装置
CN113838125A (zh) * 2021-09-17 2021-12-24 中国第一汽车股份有限公司 目标位置确定方法、装置、电子设备以及存储介质
CN114267041A (zh) * 2022-03-01 2022-04-01 北京鉴智科技有限公司 场景中对象的识别方法及装置
CN114581746B (zh) * 2022-03-04 2023-09-05 北京百度网讯科技有限公司 物体检测方法、装置、设备及介质
CN114581746A (zh) * 2022-03-04 2022-06-03 北京百度网讯科技有限公司 物体检测方法、装置、设备及介质
CN114964210A (zh) * 2022-05-19 2022-08-30 中国第一汽车股份有限公司 地图绘制方法、装置、计算机设备及存储介质
CN114972763B (zh) * 2022-07-28 2022-11-04 香港中文大学(深圳)未来智联网络研究院 激光雷达点云分割方法、装置、设备及存储介质
CN114972763A (zh) * 2022-07-28 2022-08-30 香港中文大学(深圳)未来智联网络研究院 激光雷达点云分割方法、装置、设备及存储介质
CN115100642A (zh) * 2022-08-24 2022-09-23 上海仙工智能科技有限公司 一种基于深度学习的3d库位状态检测方法及系统
CN115641567A (zh) * 2022-12-23 2023-01-24 小米汽车科技有限公司 用于车辆的目标对象检测方法、装置、车辆及介质
CN115984802A (zh) * 2023-03-08 2023-04-18 安徽蔚来智驾科技有限公司 一种目标检测方法、计算机可读存储介质及驾驶设备

Also Published As

Publication number Publication date
EP3620966A1 (en) 2020-03-11
US20200082207A1 (en) 2020-03-12
JP2020042816A (ja) 2020-03-19
JP6842520B2 (ja) 2021-03-17
US11379699B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
CN109345510A (zh) 物体检测方法、装置、设备、存储介质及车辆
US10854006B2 (en) AR-enabled labeling using aligned CAD models
EP3961485A1 (en) Image processing method, apparatus and device, and storage medium
CN111328396B (zh) 用于图像中的对象的姿态估计和模型检索
US10163003B2 (en) Recognizing combinations of body shape, pose, and clothing in three-dimensional input images
CN110084850B (zh) 一种基于图像语义分割的动态场景视觉定位方法
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
CN109343061A (zh) 传感器标定方法、装置、计算机设备、介质和车辆
CN109345596A (zh) 多传感器标定方法、装置、计算机设备、介质和车辆
CN108734058B (zh) 障碍物类型识别方法、装置、设备及存储介质
CN109816769A (zh) 基于深度相机的场景地图生成方法、装置及设备
CN109214348A (zh) 一种障碍物检测方法、装置、设备及存储介质
CN111079619A (zh) 用于检测图像中的目标对象的方法和装置
CN108895981A (zh) 一种三维测量方法、装置、服务器和存储介质
CN109101861A (zh) 障碍物类型识别方法、装置、设备及存储介质
CN108230437A (zh) 场景重建方法和装置、电子设备、程序和介质
CN111723691B (zh) 一种三维人脸识别方法、装置、电子设备及存储介质
CN113034652A (zh) 虚拟形象驱动方法、装置、设备及存储介质
WO2020253947A1 (en) Recurrent multi-task convolutional neural network architecture
CN108491848A (zh) 基于深度信息的图像显著性检测方法和装置
CN110390327A (zh) 前景提取方法、装置、计算机设备及存储介质
CN109461203B (zh) 手势三维图像生成方法、装置、计算机设备及存储介质
CN115115699A (zh) 姿态估计方法、装置、相关设备和计算机产品
KR20230101469A (ko) 타겟 객체의 디지털 모델로부터 에지의 특성을 검출하고 샘플 포인트를 설정하여 타겟 객체를 학습하는 방법 및 이를 이용하여 타켓 객체를 구현한 실물 객체에 가상 모델을 증강하는 방법
CN115994944A (zh) 三维关键点预测方法、训练方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190215

RJ01 Rejection of invention patent application after publication