CN112507899A - 一种三维激光雷达图像识别方法以及设备 - Google Patents

一种三维激光雷达图像识别方法以及设备 Download PDF

Info

Publication number
CN112507899A
CN112507899A CN202011469044.0A CN202011469044A CN112507899A CN 112507899 A CN112507899 A CN 112507899A CN 202011469044 A CN202011469044 A CN 202011469044A CN 112507899 A CN112507899 A CN 112507899A
Authority
CN
China
Prior art keywords
dimensional
map
information
area
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011469044.0A
Other languages
English (en)
Inventor
李岩
王东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yogo Robot Co Ltd
Original Assignee
Shanghai Yogo Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yogo Robot Co Ltd filed Critical Shanghai Yogo Robot Co Ltd
Priority to CN202011469044.0A priority Critical patent/CN112507899A/zh
Publication of CN112507899A publication Critical patent/CN112507899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Abstract

本发明提供了一种三维激光雷达图像识别方法以及设备，包括：多具体步骤包括：通过三维激光雷达采集周边环境信息，形成与原建筑同比例的三维效果点云图；通过多目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息；根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄像头系统非检测区域；以及针对双目摄像头系统可检测区域内的每一个周边信息点，摄像头自动识别系统可检查的区域中的目标物体；提取出的所述目标物体的正面、侧面和/或背面信息区域范围；基于所述目标物体对所述三维效果点云图进行标识，并计算所述目标物体的路径地图、定位图和展示图，可以推广应用到施工领域应用。

Description

一种三维激光雷达图像识别方法以及设备
技术领域
本发明涉及激光图像识别领域，尤其涉及一种三维激光雷达图像识别方法以及设备。
背景技术
移动物体(机器人)对危险区域(障碍物)的识别是移动物体(机器人)智能化的基础功能，该技术目前在一些自主导航机器人、消防巡查侦检机器人上广泛应用。
目前，针对机器人障碍物识别判断主要通过三种技术实现：距离传感器、激光雷达、深度摄像头。激光雷达是基于激光束平面扫描的方式测量多个方位的距离数据，从而能够覆盖更广泛的测量区域。
深度摄像头是通过双目成像技术，通过图像视觉处理方法，从图像中提取障碍物的特征信息，这种方法虽然覆盖范围最大，但功耗也较大，而且精度比较低。而距离传感器用于测量的机器人到障碍物的直线距离，其具有体积小、功耗低和精度高的优点，但单个距离传感器覆盖的测量范围较小，数据量较少，有较大视角盲区。
目前市面上大多机器人都是基于距离传感器测量障碍物和机器人之间的距离来识别并避开障碍物从而达到避障效果，但由于距离传感器本身性能和距离传感器视角盲区造成有些障碍物无法准确识别到，从而造成避障效果不好。
以上不足，有待改进。
发明内容
本发明的目的之一在于，识别目标区域中的物体。
为实现上述目的，本发明提供了一种三维激光雷达图像识别方法，具体步骤包括：通过三维激光雷达采集周边环境信息，形成与原建筑同比例的三维效果点云图；
通过多目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息；
根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄像头系统非检测区域；
以及针对双目摄像头系统可检测区域内的每一个周边信息点，摄像头自动识别系统可检查的区域中的目标物体；
提取出的所述目标物体的正面、侧面和/或背面信息区域范围；
基于所述目标物体对所述三维效果点云图进行标识，并计算所述目标物体的路径地图、定位图和展示图。
进一步地，还包括：
将所述前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图；
分别对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，从而分别拟合出障碍物映射线段；
根据分别拟合出的障碍物映射线段，得出障碍物正面信息区域范围；
融合所述展示图的具体步骤包括：将提取出的所述目标物体的正面、侧面和/或背面信息区域范围与拟合后得到的所述障碍物正面信息区域范围执行区域融合，以目标区域区形成具有颜色特征的三维点云信息。
进一步地，利用移动窗口，将所述视差图分割为一系列V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射线段，确定并记录各个子视差图中的最远端路面射线段的端点的参数；
根据摄像头参数信息计算出最远端面映射线段的每个端点在世界坐标系中所对应的实际高度和实际景深；
以及摄像头参数信息计算出最远端路面边界在主车体坐标系中的实际空间坐标；
其中，所述最远端路面映射线段的端点的参数信息包括：该端点的坐标信息和对应的视差值。
进一步地，根据实时的定位输出，将每一次的点云扫描坐标变换至维空间即可获得整个环境的三维地图。
进一步地，定位图的获取的具体步骤包括：在建图过程中，会实时的对地面进行检测。
进一步地，因此，在三维地图中的地面基准面是预设的；同时，机器人的激光安装高度已知，为了获取定位地图，仅需在三维地图中，以激光的安装高度进行切割，将截面提取出，即可作为机器人的定位图使用。
进一步地，路径图的获取的具体步骤包括：
路径地图为表示环境中可同行区域以及不可通行区域的二维地图；
同样，在三维地图中地面基准面已知的前提下，只需将高度低于机器人高度的点云(不可通过)或低于地面的点云(会跌落)，投影至同一平面，即可获得机器人所用的路径图。
一种三维激光雷达图像识别设备，，包括：多个固定装置、控制装置、多个摄像头、通信和多个三维激光雷达；
所述控制装置与多个所述三维激光雷达连接，其中，多个所述三维激光雷达的探测方位角之和大于或等于360度；
所述控制装置与多个所述摄像头连接，其中，多个所述摄像头的探测方位角之和大于或等于360度；
所述固定装置与所述多个所述三维激光雷达和多个所述摄像头连接，用于分别保持所述多个三维激光雷达之间和多个所述摄像头之间的相对位置关系保持不变，并分别保持多个所述三维激光雷达与目标位置、多个所述摄像头与目标位置的相对位置关系不变；
所述三维激光雷达和摄像头分别通过通信和连接控制装置，其中，所述控制装置对激光点云数据进行处理。
进一步地，所述控制装置和显示器连接，其中，所述显示器用来展示设备识别的结果。
进一步地，设置在所述固定装置下端的多个万向轮；
设置在所述固定装置的轮毂驱动板和轮毂电机；
多个所述万向轮和轮毂电机连接；所述轮毂驱动板和控制装置和连接。
与现有技术相比，本发明具有如下技术效果：
通过三维激光雷达采集周边环境信息，形成与原建筑同比例的三维效果点云图；通过多目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息；根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄像头系统非检测区域；以及针对双目摄像头系统可检测区域内的每一个周边信息点，摄像头自动识别系统可检查的区域中的目标物体；提取出的所述目标物体的正面、侧面和/或背面信息区域范围；基于所述目标物体对所述三维效果点云图进行标识，并计算所述目标物体的路径地图、定位图和展示图，此发明使用三维激光雷达与摄像头配合使用。能做到空间立体成图、一次性出定位图、路径图和展示图，可以推广应用到施工领域；
将所述前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图；分别对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，从而分别拟合出障碍物映射线段；根据分别拟合出的障碍物映射线段，得出障碍物正面信息区域范围；融合所述展示图的具体步骤包括：将提取出的所述目标物体的正面、侧面和/或背面信息区域范围与拟合后得到的所述障碍物正面信息区域范围执行区域融合，以目标区域区形成具有颜色特征的三维点云信息，将摄像头视频的视差图和三维激光雷达的三维点云数据图相结合，获得机器人可以识别的路径地图、定位图和展示图，其中，可以形成具有颜色的展示图更加直观地体现识别的物体的特征。
附图说明
为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维激光雷达图像识别方法的流程图；
图2为本发明实施例提供的单帧激光点云图；
图3为本发明实施例提供的多帧激光三维图立体图；
图4为本发明实施例提供的楼梯三维激光雷达点状图；
图5为本发明实施例提供的整栋楼宇三维激光雷达点状图
图6为本发明实施例提供的楼梯展示图；
图7为本发明实施例提供的一种设备在目标区域设置方法的示意图；
图8为本发明实施例提供的一种双目摄像头和三维激光雷达设置方法的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。这里将详细地对示例行实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或者相似的要素。以下示例性实施例中所述描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与所述附图权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在一些实施例中，如图1中所示，本发明提供了一种三维激光雷达图像识别方法，
具体步骤包括：
S1、通过三维激光雷达采集周边环境信息，形成与原建筑同比例的三维效果点云图；
S2、通过多目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息；
S3、根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄像头系统非检测区域；
S4、以及针对双目摄像头系统可检测区域内的每一个周边信息点，摄像头自动识别系统可检查的区域中的目标物体；
S5、提取出的所述目标物体的正面、侧面和/或背面信息区域范围；
S6、基于所述目标物体对所述三维效果点云图进行标识，并计算所述目标物体的路径地图、定位图和展示图。
容易理解地，形成三维效果点云图，需要进行多帧激光点云数据进行处理得到，如图2所示，提供了一种单帧激光点云图，白色大圆点表示为角点，黑色大圆点表示为地面；
如图3所示提供了一种多帧激光点云图合成的三维效果图，具体地，根据实时的定位输出和每一次的点云扫描，将坐标变换至三维空间即可获得整个环境的三维地图。
如图4是楼梯三维激光雷达点状图，如图5是整栋楼宇三维激光雷达点状图，如图6是楼梯展示图，其中，二楼点状云图及向下楼梯展示，方中框为楼梯展示。
此发明使用三维激光雷达与摄像头配合使用。能做到空间立体成图、一次性出定位图、路径图和展示图，可以推广应用到施工领域。
在一些实施例中，还包括：
将所述前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图；
分别对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，从而分别拟合出障碍物映射线段；
根据分别拟合出的障碍物映射线段，得出障碍物正面信息区域范围；
融合所述展示图的具体步骤包括：将提取出的所述目标物体的正面、侧面和/或背面信息区域范围与拟合后得到的所述障碍物正面信息区域范围执行区域融合，以目标区域区形成具有颜色特征的三维点云信息。
将摄像头视频的视差图和三维激光雷达的三维点云数据图相结合，获得机器人可以识别的路径地图、定位图和展示图，其中，可以形成具有颜色的展示图更加直观地体现识别的物体的特征。
在一些实施例中，利用移动窗口，将所述视差图分割为一系列V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射线段，确定并记录各个子视差图中的最远端路面射线段的端点的参数；
根据摄像头参数信息计算出最远端面映射线段的每个端点在世界坐标系中所对应的实际高度和实际景深；
以及摄像头参数信息计算出最远端路面边界在主车体坐标系中的实际空间坐标；
其中，所述最远端路面映射线段的端点的参数信息包括：该端点的坐标信息和对应的视差值。
在一些实施例中，根据实时的定位输出，将每一次的点云扫描坐标变换至维空间即可获得整个环境的三维地图。
在一些实施例中，定位图的获取的具体步骤包括：在建图过程中，会实时的对地面进行检测。
在一些实施例中，因此，在三维地图中的地面基准面是预设的；同时，机器人的激光安装高度已知，为了获取定位地图，仅需在三维地图中，以激光的安装高度进行切割，将截面提取出，即可作为机器人的定位图使用。
在一些实施例中，路径图的获取的具体步骤包括：
路径地图为表示环境中可同行区域以及不可通行区域的二维地图；
同样，在三维地图中地面基准面已知的前提下，只需将高度低于机器人高度的点云(不可通过)或低于地面的点云(会跌落)，投影至同一平面，即可获得机器人所用的路径图。
本发明还提供了一种实现上述所述方法的一种三维激光雷达图像识别设备，包括：多个固定装置、控制装置、多个摄像头、通信和多个三维激光雷达；
所述控制装置与多个所述三维激光雷达连接，其中，多个所述三维激光雷达的探测方位角之和大于或等于360度；
所述控制装置与多个所述摄像头连接，其中，多个所述摄像头的探测方位角之和大于或等于360度；
所述固定装置与所述多个所述三维激光雷达和多个所述摄像头连接，用于分别保持所述多个三维激光雷达之间和多个所述摄像头之间的相对位置关系保持不变，并分别保持多个所述三维激光雷达与目标位置、多个所述摄像头与目标位置的相对位置关系不变；
所述三维激光雷达和摄像头分别通过通信和连接控制装置，其中，所述控制装置对激光点云数据进行处理。
在一些实施例中，所述控制装置和显示器连接，其中，所述显示器用来展示设备识别的结果。
在一些实施例中，设置在所述固定装置下端的多个万向轮；
设置在所述固定装置的轮毂驱动板和轮毂电机；
多个所述万向轮和轮毂电机连接；所述轮毂驱动板和控制装置和连接。
如图7所示提供了一种目标区域设置设备的一种示意图，示意性地上述所述设备在目标区域设置三个站点，在分配方案上为：三个装备为三角形，优先地三角形夹角为60°。
如图8中所示提供了一种摄像头和三维激光雷达一种角度设置方式，其中，摄像头10包括第一摄像头102和第二摄像头103，三维激光雷达为单目101，示意性地上述第一摄像头102和第二摄像头103，三维激光雷达为单目101，在分配方案上为，三个装备为三角形，优先地三角形夹角为60°
在一些实施例中，发明具体提供了如何获取视频和点云图的方法，具体步骤包括：
在目标区域设置多个站点及多个标靶位置；在各个站点架设三维激光扫描仪，根据目标区域参数设定最优扫描距离和扫描精度参数，获取目标区域形态点云数据及标靶位置数据；利用标靶位置数据将各个站点获取的目标区域点云数据进行拼接合并，得到目标区域完整点云数据；对目标区域完整点云数据进行滤波去噪处理；基于所述目标区域完整点云数据生成基于不规则三角网的数字高程模型；基于所述数字高程模型对危险区域进行标识。根据目标区域地形布设获取完整地形要素的最少站点数量，并根据站点位置设置在两个站点共同的扫描范围内至少三个标靶；选择下一个站点架设三维激光扫描仪，重复上述操作对所述目标区域进行扫描，获取该站点对应的所述目标区域形态点云数据及标靶位置数据，直至所有站点数据采集完毕。所述根据所述目标区域参数设定最优扫描距离和扫描精度参数具体为：通过测量目标区域宽度、目标区域水平深度和目标区域垂直高度参数，按照预设的最优扫描距离和扫描精度与目标区域地形参数的对应关系，设定最优扫描距离和扫描精度参数。还包括将识别的场景进行标识，其中，所述场景分为常规场景和未知区域；对所述常规场景进行标识：将镜面高反光物体标识为丢定位和定位存在困难；将异形台面标识为定位丢失后碰撞风险高；将楼梯场景标识为下沉式庭院场景跌落风险；将下沉式水池标识为跌落后进水风险；确认所述未知区域的轮廓或默认轮廓，其中，所述未知区域分为墙边踢脚线、固定花坛花盆；根据所述墙边踢脚线、固定花坛花盆尺寸向外扩大对应尺寸并建立不可到达区域生成虚拟墙体渐近线。
识别和标识道路凹凸不平、道路的上坡下坡以及路面坡度、下沉式庭院、下沉式水池、无防护水池、狭窄过道、高脚凳、办公桌椅、异形装饰台面、异形工作台面、高反光镜面、高反光不锈钢情况，这样可以为移动物体提供规避危险区域的路径规划，其中，移动物体包括机器人。根据所述异形台面的高度在预设(在高度为1.2米)位置生成下垂下对应到路径图生成虚拟墙体渐近线并建立不可到达区域的路径图阴影。下沉式水池根据可到达边沿生成虚拟墙体渐近线建立不可到达区域形成路径图阴影。移动物体识别根据激光轮廓及摄像头判定，同时对该物体遮挡部位进行自动补充虚拟轮廓标识。还包括：常规场景还包括识别上坡下坡场景：根据激光算法计算出路面高度差值并计算坡度。第一预设角度(10度)以内上坡标识路径图标识使用向上箭头及坡度数字；第一预设角度(10度)以内下坡标识使用向下箭头及坡度数字；第二预设角度(2度)以内的上下坡不做标识；第一预设角度(10度)以上的坡度使用虚拟墙拦截为不可到达区域。
包括标识高脚桌椅办公桌椅的办公桌异形装饰的前台等位置；生成宽度为预设面积的虚拟区域,建立不可到达区域形成路径图阴影。在本实施例中，识别并标识移动物体与人物、固定类物体。固定类物体楼梯、扶梯、电梯、电梯编号、幕墙、异形装饰、玻璃栏杆、扶手栏杆、玻璃门、自动移门、立柱、低处水池、低矮路边线等。移动物体与人物可以识别行人、动物、临时存放的行李箱、垃圾箱、烟灰桶、雪糕筒、掉落的垃圾等，这样可以为移动物体提供规避危险区域的路径规划，需要说明的此种方式只是其中一种处理方法，方法不唯一也不是本发明的重点内容。
一种计算机可读介质，计算机可读储存介质上存储有计算机程序，所述计算机程序被处理器执行时实现。其上存储有计算机程序，当计算机程序被处理器执行时实现上述从调度服务器侧描述的机器人自检控制方法。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种基于激光的人流检测方法以及设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种三维激光雷达图像识别方法，其特征在于，具体步骤包括：通过三维激光雷达采集周边环境信息，形成与原建筑同比例的三维效果点云图；
通过多目摄像头采集前方路面视频信息，确定最远端可检测路面边界信息；
根据所确定的最远端可检测路面边界信息确定双目摄像头系统可检测区域和双目摄像头系统非检测区域；
以及针对双目摄像头系统可检测区域内的每一个周边信息点，摄像头自动识别系统可检查的区域中的目标物体；
提取出的所述目标物体的正面、侧面和/或背面信息区域范围；
基于所述目标物体对所述三维效果点云图进行标识，并计算所述目标物体的路径地图、定位图和展示图。
2.根据权利要求1所述的三维激光雷达图像识别方法，其特征在于，还包括：
将所述前方路面视频信息转化为视差图，将所述视差图转化为一系列子V视差图和U视差图；
分别对各个子V视差图和U视差图采用自适应哈夫变换进行自适应线段拟合，从而分别拟合出障碍物映射线段；
根据分别拟合出的障碍物映射线段，得出障碍物正面信息区域范围；
融合所述展示图的具体步骤包括：将提取出的所述目标物体的正面、侧面和/或背面信息区域范围与拟合后得到的所述障碍物正面信息区域范围执行区域融合，以目标区域区形成具有颜色特征的三维点云信息。
3.根据权利要求1所述的三维激光雷达图像识别方法，其特征在于，利用移动窗口，将所述视差图分割为一系列V视差图，对各个子V视差图采用自适应哈夫变换进行自适应线段拟合，拟合出路面映射线段，确定并记录各个子视差图中的最远端路面射线段的端点的参数；
根据摄像头参数信息计算出最远端面映射线段的每个端点在世界坐标系中所对应的实际高度和实际景深；
以及摄像头参数信息计算出最远端路面边界在主车体坐标系中的实际空间坐标；
其中，所述最远端路面映射线段的端点的参数信息包括：该端点的坐标信息和对应的视差值。
4.根据权利要求1所述的三维激光雷达图像识别方法，其特征在于，根据实时的定位输出，将每一次的点云扫描坐标变换至维空间即可获得整个环境的三维地图。
5.根据权利要求1所述的三维激光雷达图像识别方法，其特征在于，定位图的获取的具体步骤包括：在建图过程中，会实时的对地面进行检测。
6.根据权利要求8所述的三维激光雷达图像识别方法，其特征在于，因此，在三维地图中的地面基准面是预设的；同时，机器人的激光安装高度已知，为了获取定位地图，仅需在三维地图中，以激光的安装高度进行切割，将截面提取出，即可作为机器人的定位图使用。
7.根据权利要求1所述的三维激光雷达图像识别方法，其特征在于，路径图的获取的具体步骤包括：
路径地图为表示环境中可同行区域以及不可通行区域的二维地图；
同样，在三维地图中地面基准面已知的前提下，只需将高度低于机器人高度的点云或低于地面的点云，投影至同一平面，即可获得机器人所用的路径图。
8.一种实现权利要求1-7任一所述的三维激光雷达图像识别方法的设备，其特征在于，包括：多个固定装置、控制装置、多个摄像头、通信和多个三维激光雷达；
所述控制装置与多个所述三维激光雷达连接，其中，多个所述三维激光雷达的探测方位角之和大于或等于360度；
所述控制装置与多个所述摄像头连接，其中，多个所述摄像头的探测方位角之和大于或等于360度；
所述固定装置与所述多个所述三维激光雷达和多个所述摄像头连接，用于分别保持所述多个三维激光雷达之间和多个所述摄像头之间的相对位置关系保持不变，并分别保持多个所述三维激光雷达与目标位置、多个所述摄像头与目标位置的相对位置关系不变；
所述三维激光雷达和摄像头分别通过通信和连接控制装置，其中，所述控制装置对激光点云数据进行处理。
9.根据权利要求8所述的三维激光雷达图像识别设备，其特征在于，所述控制装置和显示器连接，其中，所述显示器用来展示设备识别的结果。
10.根据权利要求9所述的三维激光雷达图像识别设备，其特征在于，设置在所述固定装置下端的多个万向轮；
设置在所述固定装置的轮毂驱动板和轮毂电机；
多个所述万向轮和轮毂电机连接；所述轮毂驱动板和控制装置和连接。
CN202011469044.0A 2020-12-15 2020-12-15 一种三维激光雷达图像识别方法以及设备 Pending CN112507899A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011469044.0A CN112507899A (zh) 2020-12-15 2020-12-15 一种三维激光雷达图像识别方法以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011469044.0A CN112507899A (zh) 2020-12-15 2020-12-15 一种三维激光雷达图像识别方法以及设备

Publications (1)

Publication Number Publication Date
CN112507899A true CN112507899A (zh) 2021-03-16

Family

ID=74972163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011469044.0A Pending CN112507899A (zh) 2020-12-15 2020-12-15 一种三维激光雷达图像识别方法以及设备

Country Status (1)

Country Link
CN (1) CN112507899A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096395A (zh) * 2021-03-31 2021-07-09 武汉理工大学 一种基于定位与人工智能识别的道路交通安全评价系统
CN113129590A (zh) * 2021-04-12 2021-07-16 武汉理工大学 基于车载雷达与图形测量的交通设施信息智能分析方法
CN113420698A (zh) * 2021-06-18 2021-09-21 北京盈迪曼德科技有限公司 一种基于机器人的环境识别方法及装置
CN113791400A (zh) * 2021-09-07 2021-12-14 大连理工大学 一种基于激光雷达的楼梯参数自主检测方法
CN115661395A (zh) * 2022-12-27 2023-01-31 安徽蔚来智驾科技有限公司 车位建图方法、车辆及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199284A (ja) * 2008-02-21 2009-09-03 Univ Of Tokyo 道路地物認識方法
KR20120065067A (ko) * 2010-12-10 2012-06-20 국방과학연구소 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
CN104902261A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN108663681A (zh) * 2018-05-16 2018-10-16 华南理工大学 基于双目摄像头与二维激光雷达的移动机器人导航方法
KR102065975B1 (ko) * 2019-11-04 2020-01-14 주식회사 영신 라이다를 이용한 중장비 안전관리 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009199284A (ja) * 2008-02-21 2009-09-03 Univ Of Tokyo 道路地物認識方法
KR20120065067A (ko) * 2010-12-10 2012-06-20 국방과학연구소 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
CN104902261A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 用于低清晰度视频流中的路面识别的装置和方法
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN108663681A (zh) * 2018-05-16 2018-10-16 华南理工大学 基于双目摄像头与二维激光雷达的移动机器人导航方法
KR102065975B1 (ko) * 2019-11-04 2020-01-14 주식회사 영신 라이다를 이용한 중장비 안전관리 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113096395A (zh) * 2021-03-31 2021-07-09 武汉理工大学 一种基于定位与人工智能识别的道路交通安全评价系统
CN113096395B (zh) * 2021-03-31 2022-03-25 武汉理工大学 一种基于定位与人工智能识别的道路交通安全评价系统
CN113129590A (zh) * 2021-04-12 2021-07-16 武汉理工大学 基于车载雷达与图形测量的交通设施信息智能分析方法
CN113420698A (zh) * 2021-06-18 2021-09-21 北京盈迪曼德科技有限公司 一种基于机器人的环境识别方法及装置
CN113791400A (zh) * 2021-09-07 2021-12-14 大连理工大学 一种基于激光雷达的楼梯参数自主检测方法
CN113791400B (zh) * 2021-09-07 2023-10-13 大连理工大学 一种基于激光雷达的楼梯参数自主检测方法
CN115661395A (zh) * 2022-12-27 2023-01-31 安徽蔚来智驾科技有限公司 车位建图方法、车辆及存储介质

Similar Documents

Publication Publication Date Title
CN112507899A (zh) 一种三维激光雷达图像识别方法以及设备
CN112488037A (zh) 一种在图像识别中危险区域标识的方法
WO2021223368A1 (zh) 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN107850449B (zh) 用于生成及使用定位参考数据的方法及系统
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
JP5820774B2 (ja) 路面境界推定装置及びプログラム
CN100494900C (zh) 适用于自主移动车辆的环境感知的单目视觉导航方法
US9330320B2 (en) Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus
Zhou et al. Mapping curbstones in airborne and mobile laser scanning data
Frueh et al. Constructing 3d city models by merging ground-based and airborne views
CN109791052A (zh) 用于生成和使用定位参考数据的方法和系统
Fruh et al. Fast 3D model generation in urban environments
Hervieu et al. Semi-automatic road/pavement modeling using mobile laser scanning
CN109241855B (zh) 基于立体视觉的智能车辆可行驶区域探测方法
CN114120283A (zh) 一种道路场景三维语义分割中未知障碍物的判别方法
KR102170745B1 (ko) 실내 공간정보 데이터 융합을 통한 위치추정 방법
CN114140452A (zh) 基于rgb-d深度相机的低矮凸起障碍物、路面坑洼检测方法
CN113109821A (zh) 一种基于超声波雷达与激光雷达的建图方法、装置及系统
Ortigosa et al. Obstacle-free pathway detection by means of depth maps
Pfeiffer et al. Ground truth evaluation of the Stixel representation using laser scanners
CN112528829B (zh) 一种基于视觉的非结构化道路的居中行驶方法
Hofmann et al. Quality assessment of automatically generated feature maps for future driver assistance systems
CN110488320B (zh) 一种利用立体视觉检测车辆距离的方法
CN114089376A (zh) 一种基于单激光雷达的负障碍物检测方法
Bichsel et al. Low-obstacle detection using stereo vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination