CN110706278A - 一种基于激光雷达和摄像头的物体识别方法和装置 - Google Patents
一种基于激光雷达和摄像头的物体识别方法和装置 Download PDFInfo
- Publication number
- CN110706278A CN110706278A CN201910890625.2A CN201910890625A CN110706278A CN 110706278 A CN110706278 A CN 110706278A CN 201910890625 A CN201910890625 A CN 201910890625A CN 110706278 A CN110706278 A CN 110706278A
- Authority
- CN
- China
- Prior art keywords
- information
- camera
- point cloud
- cloud data
- laser radar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000005070 sampling Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004088 simulation Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 230000003321 amplification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Processing (AREA)
Abstract
一种基于激光雷达和摄像头的物体识别方法和装置，其特征在于，包括：激光雷达，摄像头，软件系统。所述激光雷达是通过发射激光来进行测距以获取点云数据的激光设备。所述摄像头是固定在某个或某几个方向上的一个或多个摄像头。所述软件系统是根据激光雷达的点云数据和摄像头的图像帧来识别出物体的系统。本发明用来识别交警、各种路标牌、路障、红绿灯等特定物体。本发明能够至少一定程度上区分出交警海报照片和交警本人，区分出广告灯箱中的模特和道路上相同样子的行人等待识别内容。
Description
技术领域
本发明涉及识别领域，具体涉及一种基于激光雷达和摄像头的物体识别方法和装置。
背景技术
本发明提供一种基于激光雷达和摄像头的物体识别方法和装置，通过激光雷达结合摄像头来采集待识别物体的数据，训练成经验库，在实际使用时，通过激光雷达和摄像头的数据来识别出目标物体，本发明使用多个经验库结合的方法来增强识别效果。本发明可以用来识别交警、各种路标牌、路障、红绿灯等特定物体。相比于很多传统的识别方法，本发明能够至少一定程度上区分出交警海报照片和交警本人，区分出广告灯箱中的模特和道路上相同样子的行人等待识别内容。
发明内容
一种基于激光雷达和摄像头的物体识别装置，其特征在于，包括：激光雷达，摄像头，软件系统。
所述激光雷达是通过发射激光来进行测距以获取点云数据的激光设备。
所述摄像头是固定在某个或某几个方向上的一个或多个摄像头。
所述软件系统是根据激光雷达的点云数据和摄像头的图像帧来识别出物体的经验系统。
优选地，校准激光雷达和摄像头的朝向角度，使两者同步满足互相覆盖或部分覆盖，并满足一定相对成角，如果有必要则生成摄像头的配置信息（包含内容例如摄像头编号和角度偏移）。
优选地，当激光雷达或摄像头可能被移动或转向时，可以对激光雷达和摄像头分别添加陀螺仪（电子陀螺仪）来方便动态校准，此时软件系统可以根据两个陀螺仪的轴向读数来计算两个设备的实际成角偏移。
一种基于激光雷达和摄像头的物体识别方法，其特征在于，包括：
步骤一：使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时根据摄像头采集图像帧信息。
步骤二：使用所述深度图像信息来生成卷积神经网络经验库或神经网络经验库。
步骤三：使用所述图像帧信息来生成卷积神经网络经验库或神经网络经验库。
步骤四：实际操作时软件系统根据用户端激光雷达当前获得的点云数据生成深度图像信息。
步骤五：对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足条件的图像信息。
步骤六：软件系统对摄像头捕捉到的图像帧信息在“步骤五”中找到的深度图像信息的满足匹配情况的位置的对应图像帧位置进行检索，再次确认满足匹配条件则认为是发现了目标物。
优选地，使用本发明装置对待识别物体进行采样时，可以对采样信息进行预处理以模拟较远的各种距离时的激光雷达获得的点云数据信息和摄像头捕捉到的图像帧信息，也可以进行多种距离的采样以省去部分对较远的各种距离的数据采样结果的模拟计算。
优选地，作为一种可选的实施方式，在将待识别物体的点云数据转化成深度图像时，可以根据待识别物体点云数据的值域范围来调整深度信息到深度图像的转换域值（范围值），也可以根据激光雷达的探测范围来设置深度信息到深度图像的转换域值（范围值）。
优选地，作为一种可选的实施方式，可以将采样得到的点云数据进行转化（例如每隔两个点取一个点）来模拟待识别物体在距离较远处的点云数据采样，以减少采样次数或增多样本数量，此时摄像头收集到的图像帧数据也要根据点云数据的转化情况来相应的缩放以模拟距离较远处的摄像头收集到的图像帧数据信息。
优选地，所述“步骤三”生成的经验库是区别于“步骤二”生成的经验库的另一个经验库，此经验库是根据摄像头收集到的待识别物体的图像帧信息建立的，而“步骤二”生成的经验库是根据点云数据转换成的深度图像信息建立的。
优选地，作为一种可选的实施方式，这里可以根据具体实现方案来变换生成深度图像信息的转换域值（范围值），例如使用激光雷达的探测范围来设置深度信息到深度图像的转换域值（范围值），或使用待识别物体点云数据的值域范围来调整深度信息到深度图像的转换域值（范围值）。
可选地，作为一种可选的实施方式，对生成的深度信息图像进行卷积神经网络的检索，返回匹配率满足某一阈值或达到判定规则的图像信息。
进一步地，所述返回匹配率满足某一阈值的图像信息中包含相对于深度图像左上角的位置偏移的矩形信息。
优选地，根据“步骤五”中通过搜索获得的深度图像中检索出的图像信息的矩形信息，来搜索摄像头捕捉到的图像帧信息的对应位置，使用图像信息经验库进行卷积神经网络的检索。
优选地，如果图像帧信息的图像搜索也满足匹配率超过某阈值或达到判定规则，则认为是找到了待识别物体。
优选地，所述深度图像信息可以是一个二维数据信息。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1基于深度图像信息生成的经验库和基于摄像头图像帧生成的经验库的概念示意图。
图2机械式激光雷达和摄像头的一种分布、朝向示意图，顶视图。
图3固态激光雷达和摄像头的一种分布、朝向示意图，顶视图。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。
实施例1
步骤1：首先对激光雷达和摄像头进行设备校准，当使用的是机械式激光雷达的时候，假设摄像头的fov（field of view视域）是90度角，则可以在摄像头的图像中心的深度方向（通常是z轴或左手坐标系的z轴）与激光雷达坐标系在垂直水平面的轴向的0度角（轴向角度），90度角，180度角，270度角分别部署摄像头，并且将摄像头的id和相对角度信息储存到相关配置文件中，配置文件中也可以预存各个摄像头与激光雷达的偏移信息或相对坐标信息。
步骤2：使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时根据0度角的摄像头采集图像帧信息，将这些图像信息用于经验库的数据依据。
进一步地，在生成深度图像信息时，需要根据激光雷达的测距范围（例如150米）和待识别物体的大小（例如1米半径的球）生成一个深度图像的转换域值（范围值），例如150米的测距范围，待识别物体的大小是1米半径的球（深度方向2米），则可以使用范围是10-15000（150除以15000的长度是厘米也就是以厘米长度为深度精度）的值来做为将深度数值转换成图像颜色数值（即一个二维数据）的范围值。
步骤3：使用“步骤1”中生成的数据进行处理，对于点云数据每隔两个点取一个点（或求这两个点的平均信息生成一个新点），然后对摄像头采集到的图像帧进行缩小（缩小到原来宽度和高度的一半），获得的新点云数据和图像帧数据作为新的采样数据，用来作为经验库的数据依据。
进一步地，可以对点云数据每隔N个点取一个点（或求这N个点的平均信息生成一个新点），然后对摄像头采集到的图像帧进行缩小（缩小到原来宽度和高度的N分之一），获得的新点云数据和图像帧数据作为新的采样数据，用来作为经验库数据依据。
步骤4：使用深度图像信息和摄像头的图像帧信息分别通过神经网络相关技术和\或卷积神经网络相关技术生成两个经验库。
步骤5：实际使用时，对激光雷达生成的点云数据生成四张深度图像信息。
进一步地，作为一种可选的实施方式，在确定每个深度图像信息的数值时，可以使用点云数据中每个点的距离值来除以之前提到的深度转换成图像颜色数值的范围值来得到结果值（类似于灰度图中的亮度）。
进一步地，作为一种可选的实施方式，此处可以将深度图像信息分成四份来分别检索，四份分别是垂直水平面的轴向角度（-45度到45度），（45度到135度），（135度到225度），（225度到315度）的范围。分成四份之后，还要对相连图像的接缝处各生成一张图片来进行一次检索，例如每个接缝处各取左右图像的一定角度（例如15度角）合成一张图片来检索，这里说的左右接缝就是将360度环形图像信息分开的四处地方的接缝左右图像。
进一步地，作为一种可选的实施方式，也可以只生成一张深度图像信息，此时只对唯一的左右接缝处进行单独的检索处理（此时接缝处可以在-45度角位置），即连接左右接缝处的图像生成一张图像来检索，以保证刚好被接缝处分开的物体也能够获得整体的检索，此处说的左右接缝处就是将360度环形图像信息分开的地方。
步骤6：对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足条件的图像检索信息，此图像检索信息包括相对于深度图像左上角的矩形信息。
步骤7：用“步骤6”中得到矩形信息找到摄像头图像帧中的对应位置（此处也可以按照图像大小的某个比例来将矩形放大得到的扩展后的搜索矩形，例如整体图像的64分之一的大小放大）进行图像帧经验库的检索，如果检索到满足匹配条件或匹配率超过阈值则认为是发现了目标物。
实施例2
当固态激光雷达和摄像头搭配时，尽量选择视角（或者说视场角度或fov）相同的设备。
步骤1：首先对激光雷达和摄像头进行设备校准，当使用的是固态激光雷达时，可以对一个固态激光雷达只部署一个摄像头，并且调整摄像头图像中心的深度方向（通常是z轴或左手坐标系的z轴）与固态激光雷达点云数据中心的坐标系在垂直水平面的轴向的0度方向的同方向。
步骤2：使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时使用摄像头采集图像帧信息。
进一步地，在生成深度图像信息时，需要根据激光雷达的测距范围（例如90米）和待识别物体的大小（例如1米半径的球）生成一个深度图像的转换域值（范围值），例如90米的测距范围，待识别物体的大小是1米半径的球（深度方向2米），则可以使用范围是10-9000（90除以9000的长度是厘米也就是以厘米长度为深度精度）的值来做为深度转换成图像颜色数值的范围值。
步骤3：使用“步骤1”中生成的数据进行处理，对于点云数据每隔两个点取一个点（或求这两个点的平均信息生成一个新点），然后对摄像头采集到的图像帧进行缩小（缩小到原来宽度和高度的一半），获得的新点云数据和图像帧数据作为新的采样数据，用来作为经验库数据依据。
进一步地，可以对点云数据每隔N个点取一个点（或求这N个点的平均信息生成一个新点），然后对摄像头采集到的图像帧进行缩小（缩小到原来宽度和高度的N分之一），获得的新点云数据和图像帧数据作为新的采样数据，用来作为经验库数据依据。
步骤4：使用深度图像信息和摄像头的图像帧信息分别通过神经网络相关技术和\或卷积神经网络相关技术生成两个经验库。
步骤5：实际使用时，对激光雷达生成的点云数据生成深度图像信息（类似于3D视锥投影的过程）。
进一步地，作为一种可选的实施方式，在确定每个深度图像信息的数值时，可以使用点云数据中每个点的距离值来除以之前提到的深度转换成图像颜色数值的范围值来得到结果值（类似于灰度图中的亮度）。
进一步地，此种方案由于生成非360度环视的点云数据，所以不需要像“实例1”中那样对深度图像边缘的拼接等操作。
步骤6：对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足条件的图像信息，此图像信息包括相对于深度图像左上角的矩形信息。
步骤7：用“步骤6”中得到矩形信息找到摄像头图像帧中的对应位置（此处也可以按照图像大小的某个比例来将矩形放大得到的扩展后的搜索矩形，例如整体图像的64分之一的大小放大）进行图像帧经验库的检索，如果检索到满足匹配条件（例如匹配率超过阈值）则认为是发现了目标物。
以上是本发明的具体实施方式，但本发明的保护范围不应局限于此。任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内，因此本发明的保护范围应以权利要求书所限定的保护范围为准。
Claims (10)
1.一种基于激光雷达和摄像头的物体识别装置，其特征在于，包括：激光雷达，摄像头，软件系统；
所述激光雷达是通过发射激光来进行测距以获取点云数据的激光设备；
所述摄像头是固定在某个或某几个方向上的一个或多个摄像头；
所述软件系统是根据激光雷达的点云数据和摄像头的图像帧来识别出物体的系统。
2.一种基于激光雷达和摄像头的物体识别方法，其特征在于，包括：
步骤一：使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时根据摄像头采集图像帧信息；
步骤二：使用所述深度图像信息来生成卷积神经网络经验库或神经网络经验库；
步骤三：使用所述图像帧信息来生成卷积神经网络经验库或神经网络经验库；
步骤四：实际操作时软件系统根据用户端激光雷达当前获得的点云数据生成深度图像信息；
步骤五：对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足匹配条件的图像信息；
步骤六：软件系统对摄像头捕捉到的图像帧信息在“步骤五”中找到的深度图像信息的满足匹配情况的位置的对应图像帧位置进行检索，再次确认满足匹配条件则认为是发现了目标物。
3.根据权利要求2所述的“步骤一”，其特征在于，使用激光雷达对特定待识别的物体进行扫描得到点云数据，并根据此点云数据生成深度图像信息，并同时根据摄像头采集图像帧信息，包括：
校准激光雷达和摄像头的朝向角度，使两者同步满足互相覆盖或部分覆盖，并满足一定相对成角，如果有必要则生成摄像头的配置信息（包含内容例如摄像头编号和角度偏移）；
使用本发明装置对待识别物体进行采样时，可以对采样信息进行预处理以模拟较远的各种距离时的激光雷达获得的点云数据信息和摄像头捕捉到的图像帧信息，也可以进行多种距离的采样以省去部分对较远的各种距离的数据采样结果的模拟计算。
4.根据权利要求2所述的“步骤二”，其特征在于，使用所述深度图像信息来生成卷积神经网络经验库或神经网络经验库，包括：
作为一种可选的实施方式，在将待识别物体的点云数据转化成深度图像时，可以根据待识别物体点云数据的值域范围来调整深度信息到深度图像的转换域值（范围值），也可以根据激光雷达的探测范围来设置深度信息到深度图像的转换域值（范围值）；
作为一种可选的实施方式，可以将采样得到的点云数据进行转化（例如每隔两个点取一个点）来模拟待识别物体在距离较远处的点云数据采样，以减少采样次数或增多样本数量，此时摄像头收集到的图像帧数据也要根据点云数据的转化情况来相应的缩放以模拟距离较远处的摄像头收集到的图像帧数据信息。
5.根据权利要求2所述的“步骤三”，其特征在于，使用所述图像帧信息来生成卷积神经网络经验库或神经网络经验库，包括：
所述“步骤三”生成的经验库是区别于“步骤二”生成的经验库的另一个经验库，此经验库是根据摄像头收集到的待识别物体的图像帧信息建立的，而“步骤二”生成的经验库是根据点云数据转换成的深度图像信息建立的。
6.根据权利要求2所述的“步骤四”，其特征在于，实际操作时软件系统根据用户端激光雷达当前获得的点云数据生成深度图像信息，包括：
作为一种可选的实施方式，这里可以根据具体实现方案来变换生成深度图像信息的转换域值（范围值），例如使用激光雷达的探测范围来设置深度信息到深度图像的转换域值（范围值），或使用待识别物体点云数据的值域范围来调整深度信息到深度图像的转换转换域值（范围值）。
7.根据权利要求2所述的“步骤五”，其特征在于，对生成的深度图像信息进行图像检索，使用深度信息生成的经验库，来找到满足条件的图像信息，包括：
作为一种可选的实施方式，对生成的深度信息图像进行卷积神经网络的检索，返回匹配率满足某一阈值或达到判定规则的图像信息；
进一步地，所述返回匹配率满足某一阈值的图像信息中包含相对于深度图像左上角的位置偏移的矩形信息。
8.根据权利要求2所述的“步骤六”，其特征在于，软件系统对摄像头捕捉到的图像帧信息在“步骤五”中找到的深度图像信息的满足匹配情况的位置的对应图像帧位置进行检索，再次确认满足匹配条件则认为是发现了目标物，包括：
根据“步骤五”中通过搜索获得的深度图像中检索出的图像信息的矩形信息，来搜索摄像头捕捉到的图像帧信息的对应位置，使用图像信息经验库进行卷积神经网络的检索；
如果图像帧信息的图像搜索也满足匹配率超过某阈值或达到判定规则，则认为是找到了待识别物体。
9.一种计算机可读写介质，其上存储有计算机程序和相关数据，其特征在于，所述程序被处理器执行时实现本发明的相关计算功能和内容。
10.一种电子设备，其特征在于，包括：
一个或多个处理器；
一个或多个显卡（可选）；
存储装置，用于存储一个或多个程序。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910890625.2A CN110706278A (zh) | 2019-09-20 | 2019-09-20 | 一种基于激光雷达和摄像头的物体识别方法和装置 |
| PCT/CN2020/111232 WO2021052121A1 (zh) | 2019-09-20 | 2020-08-26 | 一种基于激光雷达和摄像头的物体识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910890625.2A CN110706278A (zh) | 2019-09-20 | 2019-09-20 | 一种基于激光雷达和摄像头的物体识别方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110706278A true CN110706278A (zh) | 2020-01-17 |
Family
ID=69195853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910890625.2A Pending CN110706278A (zh) | 2019-09-20 | 2019-09-20 | 一种基于激光雷达和摄像头的物体识别方法和装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110706278A (zh) |
| WO (1) | WO2021052121A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814764A (zh) * | 2020-08-27 | 2020-10-23 | 北京交跃通达检测科技有限公司 | 一种遗撒物确定系统 |
| WO2021052121A1 (zh) * | 2019-09-20 | 2021-03-25 | 于毅欣 | 一种基于激光雷达和摄像头的物体识别方法和装置 |
| CN116168366A (zh) * | 2023-01-19 | 2023-05-26 | 北京百度网讯科技有限公司 | 点云数据生成方法、模型训练方法、目标检测方法和装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114545440B (zh) * | 2022-01-05 | 2024-10-18 | 浙江零跑科技股份有限公司 | 一种基于固态激光雷达点云生成深度图的方法 |
| CN114425774B (zh) * | 2022-01-21 | 2023-11-03 | 深圳优地科技有限公司 | 机器人行走道路的识别方法、识别设备以及存储介质 |
| CN115856829B (zh) * | 2023-02-06 | 2023-05-16 | 山东矩阵软件工程股份有限公司 | 一种雷达三维数据转换的图像数据识别方法及系统 |
| CN116819489A (zh) * | 2023-08-25 | 2023-09-29 | 摩尔线程智能科技(北京)有限责任公司 | 动态物体检测方法、模型训练方法、装置、设备及介质 |
| CN118279140B (zh) * | 2024-06-03 | 2024-08-13 | 中汽建工(洛阳)检测有限公司 | 一种基于激光点云的全景影像生成方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005284410A (ja) * | 2004-03-26 | 2005-10-13 | Omron Corp | 車両認識装置及び車両認識方法 |
| CN106991370B (zh) * | 2017-02-28 | 2020-07-31 | 中科唯实科技（北京）有限公司 | 基于颜色和深度的行人检索方法 |
| CN109100741B (zh) * | 2018-06-11 | 2020-11-20 | 长安大学 | 一种基于3d激光雷达及图像数据的目标检测方法 |
| CN109143260B (zh) * | 2018-09-29 | 2024-08-02 | 北京理工大学 | 一种三维固态面阵激光雷达人脸识别装置及方法 |
| CN109444911B (zh) * | 2018-10-18 | 2023-05-05 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| CN110706278A (zh) * | 2019-09-20 | 2020-01-17 | 异起(上海)智能科技有限公司 | 一种基于激光雷达和摄像头的物体识别方法和装置 |
-
2019
- 2019-09-20 CN CN201910890625.2A patent/CN110706278A/zh active Pending
-
2020
- 2020-08-26 WO PCT/CN2020/111232 patent/WO2021052121A1/zh active Application Filing
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021052121A1 (zh) * | 2019-09-20 | 2021-03-25 | 于毅欣 | 一种基于激光雷达和摄像头的物体识别方法和装置 |
| CN111814764A (zh) * | 2020-08-27 | 2020-10-23 | 北京交跃通达检测科技有限公司 | 一种遗撒物确定系统 |
| CN111814764B (zh) * | 2020-08-27 | 2023-08-18 | 北京交跃通达检测科技有限公司 | 一种遗撒物确定系统 |
| CN116168366A (zh) * | 2023-01-19 | 2023-05-26 | 北京百度网讯科技有限公司 | 点云数据生成方法、模型训练方法、目标检测方法和装置 |
| CN116168366B (zh) * | 2023-01-19 | 2023-12-05 | 北京百度网讯科技有限公司 | 点云数据生成方法、模型训练方法、目标检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021052121A1 (zh) | 2021-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110706278A (zh) | 一种基于激光雷达和摄像头的物体识别方法和装置 | |
| CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
| CN102959946B (zh) | 基于相关3d点云数据来扩充图像数据的技术 | |
| EP3398164B1 (en) | System for generating 3d images for image recognition based positioning | |
| JP6022562B2 (ja) | モバイル拡張現実システム | |
| JP2020514876A (ja) | ３ｄデータセットのアライメントのための装置、方法、及びシステム | |
| EP2874097A2 (en) | Automatic scene parsing | |
| CN112435338B (zh) | 电子地图的兴趣点的位置获取方法、装置及电子设备 | |
| JP2021530821A (ja) | 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム | |
| JP2014241155A (ja) | 画像の少なくとも１つの特徴として記述子を提供する方法及び特徴をマッチングする方法 | |
| CN111028358A (zh) | 室内环境的增强现实显示方法、装置及终端设备 | |
| Gupta et al. | Augmented reality system using lidar point cloud data for displaying dimensional information of objects on mobile phones | |
| CN112184793B (zh) | 深度数据的处理方法、装置及可读存储介质 | |
| CN111986214A (zh) | 一种地图中人行横道的构建方法和电子设备 | |
| CN114969221A (zh) | 一种更新地图的方法及相关设备 | |
| CN110942092A (zh) | 一种图形图像识别方法及识别系统 | |
| Ibisch et al. | Arbitrary object localization and tracking via multiple-camera surveillance system embedded in a parking garage | |
| JP3437671B2 (ja) | ランドマーク認識装置およびランドマーク認識方法 | |
| Ayadi et al. | A skyline-based approach for mobile augmented reality | |
| Altuntas | Pair-wise automatic registration of three-dimensional laser scanning data from historical building by created two-dimensional images | |
| CN116136408A (zh) | 室内导航方法、服务器、装置和终端 | |
| CN112767477A (zh) | 一种定位方法、装置、存储介质及电子设备 | |
| KR102249380B1 (ko) | 기준 영상 정보를 이용한 cctv 장치의 공간 정보 생성 시스템 | |
| Nguyen et al. | A hybrid positioning system for indoor navigation on mobile phones using panoramic images | |
| KR102367782B1 (ko) | 객체추적장치 및 그 장치의 구동방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200117 |