CN109146943B - 静止物体的检测方法、装置及电子设备 - Google Patents
静止物体的检测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109146943B CN109146943B CN201810880407.6A CN201810880407A CN109146943B CN 109146943 B CN109146943 B CN 109146943B CN 201810880407 A CN201810880407 A CN 201810880407A CN 109146943 B CN109146943 B CN 109146943B
- Authority
- CN
- China
- Prior art keywords
- data
- point
- data point
- probability
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种静止物体的检测方法、装置及电子设备,所述方法包括:获取场景的点云数据,以及点云数据中每个数据点的特征信息;对点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对三角网络模型进行拍照,获得图像;获取图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得点云数据的特征图;将特征图输入到分类模型中,获得点云数据中静止物体对应的数据点。即本实施例,通过获取场景的点云数据的特征图,将特征图作为分类模型的输入,实现对场景中静止物体的准确检测,提高了静止地图的生成精度。
Description
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种静止物体的检测方法、装置及电子设备。
背景技术
静态地图是对物理空间内固定不变的物体的一种表达方式,其描述的是场景中静止不变的地物。在静态地图的生成中,不仅要剔除正在运动的动态地物,还要剔除当前正处于静止状态但可能在较短的时间内发生变化的动态地物(例如,当前静止的汽车、自动车等)。根据实际数据统计,所有静止地物中静止汽车占比超过75%,因此能否完整剔除静止车辆是评价静态地图质量的关键要素之一,同时也是无人车安全驾驶的重要一环。
已有的从静态地图点云数据中检测出静止车辆的方法为Bounding Box(包围盒)检测法,具体是用有向包围盒标识车辆的大小和朝向。但是,已有的Bounding Box检测法会将比车辆略大或略小的Bounding Box作为正确识别,会造成漏检或者误检,导致静态地图无法反映真实的世界,准确性差。
发明内容
本发明实施例提供一种静止物体的检测方法、装置及电子设备。
第一方面,本发明实施例提供一种静止物体的检测方法,包括:
获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;
对所述点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;
获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图,其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点;
将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。
在第一方面的一种可能的实现方式中,所述数据点的特征信息包括所述数据点的强度信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。
在第一方面的另一种可能的实现方式中,所述特征图包括第一特征图和第二特征图,所述根据每个第一数据点的特征信息,获得所述点云数据的特征图,包括:
根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图;
根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图;
所述将所述特征图输入分类模型中,获得所述点云数据中的静止物体,包括:
将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。
在第一方面的另一种可能的实现方式中,所述将所述特征图输入分类模型中,获得所述点云数据中静止物体对应的数据点,包括:
将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体;
根据每个像素点的类别,确定每个像素点对应的数据点的类别;
根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇;
根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。
在第一方面的另一种可能的实现方式中,所述将所述特征图输入分类模型中,获得所述点云数据中静止物体对应的数据点,包括:
将所述特征图输入到SnapNet分类模型中,获得所述图像中每个像素点的类别,其中所述SnapNet分类模型为二分类网络模型,用于区分背景和静止物体。
在第一方面的另一种可能的实现方式中,所述根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点之后,所述方法还包括:
对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。
在第一方面的另一种可能的实现方式中,所述获取所述点云数据中每个数据点的特征信息之前,所述方法包括:
对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。
在第一方面的另一种可能的实现方式中,所述使用预设的相机对所述三角网络模型进行拍照之前,所述方法还包括:
根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值;
根据所述相机参数生成所述预设的相机。
在第一方面的另一种可能的实现方式中,所述特征信息包括最佳领域,则所述获取所述点云数据中每个数据点的特征信息,包括:
针对每个所述数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;
根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;
将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。
第二方面,本发明实施例提供一种静止物体的检测装置,包括:
第一获取模块,用于获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;
三角网络生成模块,用于对所述点云数据中的各数据点进行三角网连接,生成三角网络模型;
拍照模块,用于使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;
第二获取模块,用于获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图,其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点;
分类模块,用于将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。
在第二方面的一种可能的实现方式中,所述数据点的特征信息包括所述数据点的强度信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。
在第二方面的另一种可能的实现方式中,所述特征图包括第一特征图和第二特征图,
所述第二获取模块,具体用于根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图;根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图;
所述分类模块,具体用于将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。
在第二方面的另一种可能的实现方式中,所述分类模块包括:
分类单元,用于将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体;
第一确定单元,用于根据每个像素点的类别,确定每个像素点对应的数据点的类别;
聚类单元,用于根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇;
第二确定单元,用于根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。
在第二方面的另一种可能的实现方式中,所述分类模块具体用于将所述特征图输入到SnapNet分类模型中,获得所述图像中每个像素点的类别,其中所述SnapNet分类模型为二分类网络模型,用于区分背景和静止物体。
在第二方面的另一种可能的实现方式中,所述装置还包括:
过滤模块,用于对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。
在第二方面的另一种可能的实现方式中,所述装置还包括:
预处理模块,用于对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。
在第二方面的另一种可能的实现方式中,所述装置还包括:
相机参数生成模块,用于根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值;
相机生成模块,用于根据所述相机参数生成所述预设的相机。
在第二方面的另一种可能的实现方式中,所述特征信息包括最佳领域,所述第一获取模块,具体用于针对每个所述数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。
第三方面,本发明实施例提供一种检测设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,以实现第一方面所述的静止物体的检测方法。
第四方面,本发明实施例提供一种计算机存储介质,所述存储介质中存储计算机程序,所述计算机程序用于执行第一方面所述的静止物体的检测方法。
本发明实施例提供的静止物体的检测方法、装置及电子设备,通过获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;对所述点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图;将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。即本实施例,通过获取场景的点云数据的特征图,将特征图作为分类模型的输入,实现对场景中静止物体的准确检测,提高了静止地图的生成精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的静止物体的检测方法的流程示意图;
图2为本发明实施例一涉及的相机的生成流程示意图;
图3为本实施例涉及的数据点的特征信息的一种确定方法流程图;
图4为本发明实施例二提供的静止物体的检测的流程示意图;
图5为本发明实施例三提供的静止物体的检测的流程示意图;
图6为本发明实施例一提供的静止物体的检测装置的结构示意图;
图7为本发明实施例二提供的静止物体的检测装置的结构示意图;
图8为本发明实施例三提供的静止物体的检测装置的结构示意图;
图9为本发明实施例四提供的静止物体的检测装置的结构示意图;
图10为本发明实施例五提供的静止物体的检测装置的结构示意图;
图11为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施例所述的静止物体为暂时处于静止状态的地物,例如车辆、自行车等。
本申请实施例的静止物体的检测方法,通过获取场景的点云数据中每个数据点的特征信息,并根据每个数据点的特征信息生成点云数据的特征图,将特征图作为输入,输入到预先训练好的分类模型中,获得点云数据中静止物体对应的数据点,进而实现对场景中静止物体的准确检测,提高了静止地图的准确确定。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例一提供的静止物体的检测方法的流程示意图。该如图1所示,本实施例的方法可以包括:
S101、获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体。
本实施例的执行主体可以是具有数据处理和静止物体检测功能的静止物体的检测装置,本实施例的检测装置可以是电子设备的一部分,例如为电子设备的处理器。可选的本实施例的检测装置还可以是单独的电子设备。
本实施例的电子设备可以为用户设备(user equipment,UE)、移动台(mobilestation,MS)、移动终端(mobile terminal,MT)等,是一种向用户提供数据连通性的设备,例如,具有无线连接功能的手持式设备、车载设备等。目前,一些终端设备的举例为:手机(mobile phone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internetdevice,MID)、可穿戴设备(例如,智能眼镜、智能手表、智能手环等),虚拟现实(virtualreality,VR)设备、增强现实(augmented reality,AR)设备、工业控制(industrialcontrol)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remotemedical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端设备等。
可选的,本实施例的电子设备还具有地图生成功能,即本实施例的静止物体的检测方法可以静止地图的生成过程中进行。
本实施例以执行主体为电子设备,静止物体为车辆为例进行说明。
本实施例的场景中的地物包括背景、暂时处于静止状态的静止物体和处于运动状态的运动地物。对场景中各地物进行扫描,获得场景的点云数据。
本实施例中场景的点云数据可以是电子设备从其他设备上获得。
可选的,本实施例的电子设备具有扫描功能,对场景进行扫描,获得场景的点云数据。
扫描生成的原始点云数据包括每个数据点的intensity信息和深度信息,为了提高车辆提取的精度,加入一些其他的特征以凸显出车辆,例如加入数据点的边缘信息和面状信息等。
上述其他的特可以为人工提取的。
S102、对所述点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形。
为了避免后续生成的图像中出现空洞或者不均匀的情况,首先需要将上述获得的场景的点云数据构建成三角网络模型。具体是,对点云数据中的各数据点进行三角网连接,生成三角网络模型,这样一个三角形对应3个数据点。对每个三角形进行标识,获得每个三角形的ID所对应的数据点的ID。
可选的,本实施例可以使用贪婪投影三角化算法,对对点云数据中的各数据点进行三角网连接,生成三角网络模型。
接着使用预设的相机对三角网络模进行拍照,可以生成三角网络模的图像。
本实施例中预设的相机是根据预设的相机参数确定的,例如,根据仰角大小和像素大小等相机参数确定的。
在本实施例的一种可能的实现方式中,上述S102中使用预设的相机对所述三角网络模型进行拍照之前,本实施例还包括:
S102a、根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值。
S102b、根据所述相机参数生成所述预设的相机。
具体是,根据实际需要预设约束条件,具体的约束条件包括相机的俯仰角大于或等于预设角度(例如60°),以及生成的图像中有效像素占比高于预设值(30%)。接着,根据上述预设的约束条件生成相机参数。
这样在实际使用时,根据该生成的相机参数和设定的图像大小(例如224*224),获得三角网络模型的一系列图像。
本实施例以一张图像为例进行说明,每个图像的处理过程相同,参照即可。
S103、获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图。
其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点。
根据上述步骤获得三角网络模型和该三角网络模型的图像,其中图像中的每个像素点对应三角网络模型中的一个三角形。这样可以获得每个像素点对应的三角形的ID。而每个三角形ID对应三个数据点的ID。例如,像素点A对应三角形B,而三角形B对应数据点a1、数据点a2和数据点a3。这样,可以获得像素点A对应数据点a1、数据点a2和数据点a3。
为了方便计算,本实施例中设置一个像素点对应一个数据点,例如,将数据点a1、数据点a2和数据点a3中任意一个数据点作为像素点A所对应的第一像素点。可选的,根据逆时针(或顺时针)方向,将数据点a1、数据点a2和数据点a3中的第一数据点作为像素点A所对应的第一像素点。
根据上述方法,获得图像中每个像素点对应的第一数据点,获取各第一数据点的特征信息,将第一特征点的特征信息填充到对应的像素点上,获得点云数据的特征图。
需要说明的是,由上述可知,每一个数据点包括多个特征,这样,不同的特征组成可以生成不同的特征图。这样,本实施例生成的特征图可以为一个也可以为多个。
S104、将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。
根据上述步骤获得点云数据的特征图,将该特征图输入到预先训练好的分类模型中,对图像中每个像素点进行分类,获得每个像素点的类别背景还是为静止物体。
接着,根据像素点与数据点的对应关系,可以确定点云数据中静止物体对应的数据点。例如,将类别为静止物体的像素点对应的数据点,将这些数据点作为静止物体对应的数据点。
本实施例所使用的分类模型可以为任一可以进行分别的模型。
在本实施例的一种可能的实现方式中,上述S104具体可以包括:
S104a、将所述特征图输入到SnapNet分类模型中,获得所述图像中每个像素点的类别,其中所述SnapNet分类模型为二分类网络模型,用于区分背景和静止物体。
本实施例的分类模型为SnapNet分类模型,如图2所示,SnapNet网络结构,包括两个单元(Unet)组成,每个Unet构成一个单独的基于图像的Semantic Segmentation网络。在训练时,两个网络单独分别进行训练,训练完成后两个网络在最后一个卷积层被截断,重新构建一个Residual Net并单独训练,测试过程则根据三个网络的结果进行投票,得到最终的分类结果。
由上述可知,本实施例的SnapNet分类模型为二分类网络模型,用于区分背景和静止物体,进而实现对场景中车辆等静止物体的准确识别。
本发明实施例提供的静止物体的检测方法,通过获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;对所述点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图;将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。即本实施例,通过获取场景的点云数据的特征图,将特征图作为分类模型的输入,实现对场景中静止物体的准确检测,提高了静止地图的生成精度。
在本实施例的一种可能的实现方式中,为了降低数据处理的数据量,则本实施例在上述S101之前,还包括:
S100、对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。
具体的,对点云数据进行预处理,包括单帧点云融合、动态地物滤除等操作,进而获得均匀分布的点云数据,并且将场景中正在运动的地物进行了剔除,大幅减少了数据量,提高了后续分类的效率和准确性。
在本实施例的一种可能的实现方式中,本实施例的数据点的特征信息包括所述数据点的强度(intensity)信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。
其中,数据点的intensity信息和深度信息在扫描过程中可以获得,下面对数据点的其他的特征信息进行详细说明。
图3为本实施例涉及的数据点的特征信息的一种确定方法流程图。如图3所示,当本实施例的特征信息包括最佳领域,则所述S101中获取所述点云数据中每个数据点的特征信息,可以包括:
S201、针对每个所述数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;
S202、根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;
S203、将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。
具体的,以数据点pi(xi,yi,zi)为例,其他数据点参照即可。首先求取数据点pi的最佳邻域,使用协方差矩阵(1)对点云的邻域信息进行描述:
上式中Xj(j=1,2…K)表示pi的k邻域,为邻域重心,对M进行分解可以得到三个特征向量(δ1>δ2>δ3),这三个特征向量分别表示在三个主方向上的拟合残差。以这三个特征向量进行组合可以得到:
式(2)可描述数据点属于线性、面性以及散乱的概率,即pline为数据点pi的线性概率,pplane为数据点pi的面性概率,pnoise为数据点pi的散乱概率。
根据信息熵理论,邻域信息量可表述为:
Ef=-pline*log(pline)-pplane*log(pplane)-pnoise*log(pnoise)(3)
若点的局部邻域发生变化,相应的Ef也会发生变化,根据信息熵理论,Ef越大邻域信息越复杂,反之Ef越小,邻域信息越简单。对于点云数据而言,期望找到的是信息最简单的邻域,此时最能描述出该数据点的实际形态,因此最佳邻域通过以下方式进行选取:
ropt=argri∈[rmin,rmax]minEf(ri)(4)
选定最佳邻域后,提取最佳邻域下的pnoise,pplane,ropt,以及该最佳邻域的法向量的竖直方向分量normal_z。
参照上述步骤,可以获得每个数据点的特征信息。
图4为本发明实施例二提供的静止物体的检测的流程示意图。在上述实施例的基础上,如图4所示,本实施例的特征图为两张,分别为第一特征图和第二特征图。此时上述S103中根据每个第一数据点的特征信息,获得所述点云数据的特征图可以包括:
S301、根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图。
S302、根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图。
具体的,本实施例的每个第一数据点的特征信息包括强度信息、面性概率、散乱概率、最佳领域、深度信息和最佳领域的法向量的竖直分量。
这样,可以根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图。根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图。
此时,上述S104可以使用下列的S303替换。
S303、将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。
如图2所示,本实施例的SnapNet分类模型第一单元和第二单元,将第一特征图作为第一单元的输入,获得第一单元的第一分类结果。将第二特征图作为第二单元的输入,获得第二单元的第二分类结果。然后将第一单元和第二单元的输入作为Residual Net的输入,获得Residual Net的第三分类结果。
接着,根据第一分类结果、第二分类结果和第三分类结果,获得图像中各像素点的分类,划分为背景和静止物体(例如车辆)。即本实施例通过三个网络投票的方式确定像素点的类别,提高了分类的准确性。
最后实现对图像中各像素点的准确分类,划分为背景和静止物体(例如车辆)。
本发明实施例提供的静止物体的检测方法,通过根据每个第一数据点的强度信息、面性概率、散乱概率,生成点云数据的第一特征图;根据每个第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成点云数据的第二特征图,将第一特征图和第二特征图输入分类模型中,准确获得点云数据中的静止物体。
图5为本发明实施例三提供的静止物体的检测的流程示意图。在上述实施例的基础上,本实施例涉及的是将所述特征图输入分类模型中,获得所述点云数据中静止物体对应的数据点的具体过程。如图5所示,上述S104可以包括:
S401、将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体。
具体的,本实施例将特征图输入到分类模型中,可以获得图像中每个像素点的类别,即获得图像中的像素点的类别为背景还是为静止物体。
S402、根据每个像素点的类别,确定每个像素点对应的数据点的类别。
由上述可知,图像中每个像素点对应一个第一数据点,这样将像素点的类别作为该像素点对应的第一数据点的类别。这样,根据反映射,可以获得点云数据中每个数据点的类别。
S403、根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇。
接着,根据数据点的类别和各数据点之间的距离,将类别相同且距离满足预设值的数据点聚为一类,获得点云数据的至少一个数据簇。
具体的聚类过程可以根据以下算法流程实现:
通过上述流程,车辆对应的数据点聚集成一个个独立的数据簇cluster。
S404、根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。
具体的,根据上述步骤,将点云数据对应的数据点划分成不同的数据簇,这样根据每个cluster的形状和该cluster包括的数量点的数量,判断数据簇是否真正属于车辆的数据点。若是,则将数据簇中的数据点作为车辆的数据点,若否,则该数据簇中的各数据点的类别设置为背景。
即本实施例通过对点云数据进行聚类处理,根据聚类后数据簇的形状和数据量,对静止物体对应的数据点的类别进一步检测,进而提高了对静止物体对应的数据点的准确确定
本实施例中,在上述S404之后,还包括:
S405、对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。
具体是,对上述静止物体(例如车辆)对应的cluster求取有向包围盒,有向包围盒是能够包裹地物的最小长方体,一般默认地面水平的情况下,求有向包围盒实际上是在二维平面方向上求有向包围长方形。
其求取流程如下:首先,设置一个主轴,按照一定角度步长转动主轴,将cluster中的所有数据点投影至主轴上并获取在主轴上的投影长度。选择最小长度的主轴方向作为有向包围盒的短轴方向,同时长轴方向则与短轴方向垂直。根据cluster中的所有数据点计算出在长轴方向上的投影长度,至此,有效包围盒求取完成。有向包围盒最大限度框出了车辆的范围。
此时,可以将有向包围盒内的所有数据点的类别均设置为静止物体,实现对背景中静止物体的准确检测。
本实施例的bounding box是在分类完成后回归出来了,相对于通过网络回归的灵活性更高,IoU精度也更高
本发明实施例提供的静止物体的检测方法,通过将特征图输入分类模型中,获得图像中每个像素点的类别,所述类别包括背景或静止物体;根据每个像素点的类别,确定每个像素点对应的数据点的类别;根据数据点的类别和各数据点之间的距离,对点云数据中各数据点进行聚类,获得至少一个数据簇;根据每个数据簇的形状和所包括的数据点数量,确定静止物体对应的数据点,最后对静止物体对应的数据点进行有向包围盒过滤,将静止物体对应的数据点包围在有向包围盒内。即本实施例通过对点云数据进行聚类处理,根据聚类后数据簇的形状和数据量,对静止物体对应的数据点的类别进一步检测,进而提高了对静止物体对应的数据点的准确确定。
图6为本发明实施例一提供的静止物体的检测装置的结构示意图。如图5所示,本实施例的静止物体的检测装置100可以包括:
第一获取模块110,用于获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;
三角网络生成模块120,用于对所述点云数据中的各数据点进行三角网连接,生成三角网络模型;
拍照模块130,用于使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;
第二获取模块140,用于获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图,其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点;
分类模块150,用于将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。
本发明实施例的静止物体的检测装置,可以用于执行上述所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
在本实施例的一种可能的实现方式中,所述数据点的特征信息包括所述数据点的强度信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。
在本实施例的另一种可能的实现方式中,所述特征图包括第一特征图和第二特征图,
所述第二获取模块140,具体用于根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图;根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图;
所述分类模块150,具体用于将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。
在本实施例的另一种可能的实现方式中,所述分类模块150具体用于将所述特征图输入到SnapNet分类模型中,获得所述图像中每个像素点的类别,其中所述SnapNet分类模型为二分类网络模型,用于区分背景和静止物体。
图7为本发明实施例二提供的静止物体的检测装置的结构示意图,在上述实施例的基础上,如图7所示,所述分类模块150包括:
分类单元151,用于将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体;
第一确定单元152,用于根据每个像素点的类别,确定每个像素点对应的数据点的类别;
聚类单元153,用于根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇;
第二确定单元154,用于根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。
本发明实施例的静止物体的检测装置,可以用于执行上述所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图8为本发明实施例三提供的静止物体的检测装置的结构示意图,在上述实施例的基础上,如图8所示,所述装置包括:
过滤模块160,用于对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。
本发明实施例的静止物体的检测装置,可以用于执行上述所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图9为本发明实施例四提供的静止物体的检测装置的结构示意图,在上述实施例的基础上,如图9所示,所述装置包括:
预处理模块170,用于对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。
图10为本发明实施例五提供的静止物体的检测装置的结构示意图,在上述实施例的基础上,如图10所示,所述装置包括:
相机参数生成模块180,用于根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值;
相机生成模块190,用于根据所述相机参数生成所述预设的相机。
在本实施例的一种可能的实现方式中,所述特征信息包括最佳领域,所述第一获取模块110,具体用于针对每个所述数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。
本发明实施例的静止物体的检测装置,可以用于执行上述所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图11为本发明实施例提供的电子设备的结构示意图,如图11所示,本实施例的电子设备200包括:
存储器220,用于存储计算机程序;
处理器230,用于执行所述计算机程序,以实现上述静止物体的检测方法,其实现原理和技术效果类似,此处不再赘述。
进一步的,当本发明实施例中静止物体的检测方法的至少一部分功能通过软件实现时,本发明实施例还提供一种计算机存储介质,计算机存储介质用于储存为上述对静止物体的检测的计算机软件指令,当其在计算机上运行时,使得计算机可以执行上述方法实施例中各种可能的静止物体的检测方法。在计算机上加载和执行所述计算机执行指令时,可全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机指令可以存储在计算机存储介质中,或者从一个计算机存储介质向另一个计算机存储介质传输,所述传输可以通过无线(例如蜂窝通信、红外、短距离无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如SSD)等。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (20)
1.一种静止物体的检测方法,其特征在于,包括:
获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;
对所述点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;
获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图,其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点;
将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。
2.根据权利要求1所述的方法,其特征在于,所述第一数据点的特征信息包括所述第一数据点的强度信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。
3.根据权利要求2所述的方法,其特征在于,所述特征图包括第一特征图和第二特征图,所述根据每个第一数据点的特征信息,获得所述点云数据的特征图,包括:
根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图;
根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图;
所述将所述特征图输入分类模型中,获得所述点云数据中的静止物体,包括:
将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述将所述特征图输入分类模型中,获得所述点云数据中静止物体对应的数据点,包括:
将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体;
根据每个像素点的类别,确定每个像素点对应的数据点的类别;
根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇;
根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。
5.根据权利要求1所述的方法,其特征在于,所述将所述特征图输入分类模型中,获得所述点云数据中静止物体对应的数据点,包括:
将所述特征图输入到SnapNet分类模型中,获得所述图像中每个像素点的类别,其中所述SnapNet分类模型为二分类网络模型,用于区分背景和静止物体。
6.根据权利要求4所述的方法,其特征在于,所述根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点之后,所述方法还包括:
对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。
7.根据权利要求1所述的方法,其特征在于,所述获取所述点云数据中每个数据点的特征信息之前,所述方法包括:
对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。
8.根据权利要求1所述的方法,其特征在于,所述使用预设的相机对所述三角网络模型进行拍照之前,所述方法还包括:
根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值;
根据所述相机参数生成所述预设的相机。
9.根据权利要求2所述的方法,其特征在于,所述特征信息包括最佳领域,则所述获取所述点云数据中每个数据点的特征信息,包括:
针对所述点云数据中每个数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;
根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;
将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。
10.一种静止物体的检测装置,其特征在于,包括:
第一获取模块,用于获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;
三角网络生成模块,用于对所述点云数据中的各数据点进行三角网连接,生成三角网络模型;
拍照模块,用于使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;
第二获取模块,用于获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图,其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点;
分类模块,用于将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。
11.根据权利要求10所述的装置,其特征在于,所述第一数据点的特征信息包括所述第一数据点的强度信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。
12.根据权利要求11所述的装置,其特征在于,所述特征图包括第一特征图和第二特征图,
所述第二获取模块,具体用于根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图;根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图;
所述分类模块,具体用于将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。
13.根据权利要求10-12任一项所述的装置,其特征在于,所述分类模块包括:
分类单元,用于将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体;
第一确定单元,用于根据每个像素点的类别,确定每个像素点对应的数据点的类别;
聚类单元,用于根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇;
第二确定单元,用于根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。
14.根据权利要求10所述的装置,其特征在于,
所述分类模块具体用于将所述特征图输入到SnapNet分类模型中,获得所述图像中每个像素点的类别,其中所述SnapNet分类模型为二分类网络模型,用于区分背景和静止物体。
15.根据权利要求13所述的装置,其特征在于,所述装置还包括:
过滤模块,用于对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。
16.根据权利要求10所述的装置,其特征在于,所述装置还包括:
预处理模块,用于对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。
17.根据权利要求10所述的装置,其特征在于,所述装置还包括:
相机参数生成模块,用于根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值;
相机生成模块,用于根据所述相机参数生成所述预设的相机。
18.根据权利要求11所述的装置,其特征在于,所述特征信息包括最佳领域,所述第一获取模块,具体用于针对所述点云数据中每个数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。
19.一种电子设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序,以实现如权利要求1-9中任一项所述的静止物体的检测方法。
20.一种计算机存储介质,其特征在于,所述存储介质中存储计算机程序,所述计算机程序在执行时实现如权利要求1-9中任一项所述的静止物体的检测方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810880407.6A CN109146943B (zh) | 2018-08-03 | 2018-08-03 | 静止物体的检测方法、装置及电子设备 |
US16/517,782 US11328401B2 (en) | 2018-08-03 | 2019-07-22 | Stationary object detecting method, apparatus and electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810880407.6A CN109146943B (zh) | 2018-08-03 | 2018-08-03 | 静止物体的检测方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109146943A CN109146943A (zh) | 2019-01-04 |
CN109146943B true CN109146943B (zh) | 2019-12-03 |
Family
ID=64791461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810880407.6A Active CN109146943B (zh) | 2018-08-03 | 2018-08-03 | 静止物体的检测方法、装置及电子设备 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11328401B2 (zh) |
CN (1) | CN109146943B (zh) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10657388B2 (en) * | 2018-03-13 | 2020-05-19 | Honda Motor Co., Ltd. | Robust simultaneous localization and mapping via removal of dynamic traffic participants |
US11282225B2 (en) | 2018-09-10 | 2022-03-22 | Mapbox, Inc. | Calibration for vision in navigation systems |
CN111316285A (zh) * | 2019-03-19 | 2020-06-19 | 深圳市大疆创新科技有限公司 | 物体检测方法、电子设备与计算机存储介质 |
US10762540B1 (en) | 2019-10-22 | 2020-09-01 | Capital One Services, Llc | Systems and methods for automated trade-in with limited human interaction |
US10783792B1 (en) | 2019-10-22 | 2020-09-22 | Capital One Services, Llc | Systems and methods for automated vehicle tracking for readiness with limited human interaction |
CN110956690A (zh) * | 2019-11-19 | 2020-04-03 | 广东博智林机器人有限公司 | 一种建筑信息模型生成方法和系统 |
TWI766218B (zh) * | 2019-12-27 | 2022-06-01 | 財團法人工業技術研究院 | 三維平面重建方法、三維平面重建系統與計算裝置 |
CN113076888B (zh) * | 2021-04-09 | 2021-10-26 | 中国电子科技集团公司第二十八研究所 | 一种多尺度局部二值模型光电图像目标检测方法 |
CN113449799B (zh) * | 2021-06-30 | 2023-11-24 | 上海西井科技股份有限公司 | 目标检测与分类方法、系统、设备及存储介质 |
CN113610143B (zh) * | 2021-08-02 | 2022-11-11 | 广州文远知行科技有限公司 | 一种点云噪点的分类方法、装置、设备及存储介质 |
CN114494579A (zh) * | 2021-12-29 | 2022-05-13 | 北京市商汤科技开发有限公司 | 图标生成方法、装置、电子设备及存储介质 |
CN117333837A (zh) * | 2022-06-22 | 2024-01-02 | 鸿海精密工业股份有限公司 | 行车安全辅助方法、电子设备及存储介质 |
CN114882024B (zh) * | 2022-07-07 | 2022-11-15 | 深圳市信润富联数字科技有限公司 | 目标对象的缺陷检测方法、装置、电子设备以及存储介质 |
CN115147779A (zh) * | 2022-07-19 | 2022-10-04 | 浙江大华技术股份有限公司 | 一种目标检测方法、装置、设备及介质 |
CN115527207B (zh) * | 2022-10-17 | 2023-04-28 | 哈尔滨市科佳通用机电股份有限公司 | 基于深度神经网络的列车闸调器控制杆螺母故障检测方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104021586A (zh) * | 2014-05-05 | 2014-09-03 | 深圳市城市管理监督指挥中心 | 基于北斗定位的空地一体城市生态文明管理系统及方法 |
CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
CN104933755A (zh) * | 2014-03-18 | 2015-09-23 | 华为技术有限公司 | 一种静态物体重建方法和系统 |
CN105184738A (zh) * | 2015-09-08 | 2015-12-23 | 郑州普天信息技术有限公司 | 一种三维虚拟展示装置与方法 |
CN106650809A (zh) * | 2016-12-20 | 2017-05-10 | 福州大学 | 一种车载激光点云目标分类方法和系统 |
US9798950B2 (en) * | 2015-07-09 | 2017-10-24 | Olympus Corporation | Feature amount generation device, feature amount generation method, and non-transitory medium saving program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130300740A1 (en) * | 2010-09-13 | 2013-11-14 | Alt Software (Us) Llc | System and Method for Displaying Data Having Spatial Coordinates |
CN104902246B (zh) * | 2015-06-17 | 2020-07-28 | 浙江大华技术股份有限公司 | 视频监视方法和装置 |
US11455565B2 (en) * | 2017-08-31 | 2022-09-27 | Ford Global Technologies, Llc | Augmenting real sensor recordings with simulated sensor data |
US11567209B2 (en) * | 2018-01-23 | 2023-01-31 | Innoviz Technologies Ltd. | Distributed LIDAR systems and methods thereof |
-
2018
- 2018-08-03 CN CN201810880407.6A patent/CN109146943B/zh active Active
-
2019
- 2019-07-22 US US16/517,782 patent/US11328401B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104933755A (zh) * | 2014-03-18 | 2015-09-23 | 华为技术有限公司 | 一种静态物体重建方法和系统 |
CN104021586A (zh) * | 2014-05-05 | 2014-09-03 | 深圳市城市管理监督指挥中心 | 基于北斗定位的空地一体城市生态文明管理系统及方法 |
CN104599314A (zh) * | 2014-06-12 | 2015-05-06 | 深圳奥比中光科技有限公司 | 三维模型重建方法与系统 |
US9798950B2 (en) * | 2015-07-09 | 2017-10-24 | Olympus Corporation | Feature amount generation device, feature amount generation method, and non-transitory medium saving program |
CN105184738A (zh) * | 2015-09-08 | 2015-12-23 | 郑州普天信息技术有限公司 | 一种三维虚拟展示装置与方法 |
CN106650809A (zh) * | 2016-12-20 | 2017-05-10 | 福州大学 | 一种车载激光点云目标分类方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
US20190340746A1 (en) | 2019-11-07 |
CN109146943A (zh) | 2019-01-04 |
US11328401B2 (en) | 2022-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109146943B (zh) | 静止物体的检测方法、装置及电子设备 | |
JP7560021B2 (ja) | 深層学習システム | |
Hu et al. | Learning semantic segmentation of large-scale point clouds with random sampling | |
JP7169358B2 (ja) | 高速立体再構成のための視点依存ブリック選択 | |
US10885707B1 (en) | Network, system and method for multi-view 3D mesh generation via deformation | |
US20200250889A1 (en) | Augmented reality system | |
US11532117B2 (en) | Density coordinate hashing for volumetric data | |
CN109737974A (zh) | 一种3d导航语义地图更新方法、装置及设备 | |
CN109804411A (zh) | 用于同时定位和映射的系统和方法 | |
CN107430686A (zh) | 用于移动设备定位的区域描述文件的众包创建和更新 | |
US10282898B1 (en) | Three-dimensional scene reconstruction | |
WO2017142766A1 (en) | Determining depth from structured light using trained classifiers | |
US20190340317A1 (en) | Computer vision through simulated hardware optimization | |
CN113628317A (zh) | 渲染方法、设备以及系统 | |
US11860846B2 (en) | Methods, systems and apparatus to improve spatial-temporal data management | |
CN114565916B (zh) | 目标检测模型训练方法、目标检测方法以及电子设备 | |
US20210090302A1 (en) | Encoding Three-Dimensional Data For Processing By Capsule Neural Networks | |
KR20230003132A (ko) | 측광-기반 3d 객체 모델링 | |
CN108664860A (zh) | 房间平面图的识别方法及装置 | |
CN117710446A (zh) | 口腔模型扫描的实时定位方法、装置、设备及存储介质 | |
CN116109769A (zh) | 三维模型建立方法、装置、电子设备及存储介质 | |
Tan et al. | Research and implementation of sports entity simulation based on heterogeneous binocular vision | |
WO2022016407A1 (en) | Multi-plane mapping for indoor scene reconstruction | |
Ceccarelli | Semantic segmentation of point clouds with the 3D medial axis transform | |
CN116012883A (zh) | 一种图像生成模型的训练方法、图像生成方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20211019 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |