CN112445215A - 自动导引车行驶控制方法、装置及计算机系统 - Google Patents
自动导引车行驶控制方法、装置及计算机系统 Download PDFInfo
- Publication number
- CN112445215A CN112445215A CN201910807722.0A CN201910807722A CN112445215A CN 112445215 A CN112445215 A CN 112445215A CN 201910807722 A CN201910807722 A CN 201910807722A CN 112445215 A CN112445215 A CN 112445215A
- Authority
- CN
- China
- Prior art keywords
- point cloud
- data
- working area
- obstacle
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 64
- 230000008569 process Effects 0.000 claims abstract description 36
- 238000004140 cleaning Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 230000004888 barrier function Effects 0.000 claims description 10
- 238000013439 planning Methods 0.000 claims description 2
- 238000010408 sweeping Methods 0.000 claims 1
- 235000013305 food Nutrition 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000012384 transportation and delivery Methods 0.000 description 6
- 235000012054 meals Nutrition 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开了自动导引车行驶控制方法、装置及计算机系统,所述方法包括:在自动导引车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;如果检测到所述第一工作区内存在障碍物,则进行避障处理。通过本申请实施例,可以降低AGV撞车、撞人事故的发生概率。
Description
技术领域
本申请涉及深度相机障碍物检测技术领域,特别是涉及自动导引车行驶控制方法、装置及计算机系统。
背景技术
在以线上与线下相结合为特色的“新零售”商品对象信息服务模式下,可以通过在线下铺设实体店铺,并结合线上的信息服务能力,为用户提供更全面更便捷的服务。线下实体店铺的类型可以有多种,包括超市,餐饮店,等等。其中,对于“新零售”模式下的线下“餐饮店”可以为用户提供用餐服务,用户可以直接到店内进行就餐,通过线上点餐等方式完成下单。在餐饮店用餐过程的多个环节,都可以体现出与传统餐厅的不同,这种不同就包括在多个环节上的“无人值守”。例如,厨房将具体的餐品加工完成之后,还可以通过机器人送餐的方式,实现从出餐口到桌位的送餐,而不再需要人工服务,等等。
其中,关于机器人送餐,具体实现时,可以是用AGV(Automated Guided Vehicle,自动导引运输车)小车作为运输工具,厨房制作好的餐品,可以在服务器的调度下,由AGV小车运输至具体的桌位。具体实现时,通常可以在餐饮店内铺设AGV车道,在AGV车道的沿途布设具体的桌位。另外,在车道路面等处与具体桌位对应的位置还可以设置有导航码(例如二维码),AGV在行驶的过程中,通过对途经的导航码进行扫码判断是否到达目的地,如果是,则停车,顾客可以从AGV小车上取下餐品,之后,AGV小车再返回到取餐口执行下一次送餐任务。
但是,由于顾客(人)与AGV并未完全隔离,顾客(人)可以很轻易的接触到AGV,并且有些顾客可能会出于好奇等目的,在AGV正常行驶过程中,可能会突然伸出手去挡在AGV前方。或者由于AGV作为一种机器,无法做到完全零故障,即AGV运行过程中,可能突然发生硬件或软件故障,停在轨道上,这也会成为后续来往车辆的障碍,影响后续来往车辆的正常运行。
因此,如何有效降低AGV行驶过程中撞车或撞人事故的发生概率,成为需要本领域技术人员解决的技术问题。
发明内容
本申请提供了自动导引车行驶控制方法、装置及计算机系统,可以降低AGV撞车、撞人事故的发生概率。
本申请提供了如下方案:
一种自动导引车行驶控制方法,包括:
在自动导引车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;
通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
如果检测到所述第一工作区内存在障碍物,则进行避障处理。
一种智能打扫设备的行驶控制方法,包括:
在智能打扫设备行驶过程中,通过所述智能打扫设备配备的深度相机采集行驶方向上的深度数据;
通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
如果检测到所述第一工作区内存在障碍物,则控制所述智能打扫设备进行避障处理。
一种无人驾驶车辆的行驶控制方法,包括:
在无人驾驶车辆行驶过程中,通过所述无人驾驶车辆配备的深度相机采集行驶方向上的深度数据;
通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
如果检测到所述第一工作区内存在障碍物,则控制所述无人驾驶车辆进行避障处理。
一种深度相机障碍物检测方法,包括:
获取所述深度相机检测到的深度数据;
将所述深度数据转化为点云数据,并对所述点云数据进行聚类处理;
根据聚类后点云团的特征,确定点云数据的有效性;
根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
一种自动导引车行驶控制装置,包括:
第一深度数据采集单元,用于在自动导引车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;
第一点云数据转化单元,用于通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
第一避障处理单元,用于如果检测到所述第一工作区内存在障碍物,则进行避障处理。
一种智能打扫设备的行驶控制装置,包括:
第二深度数据采集单元,用于在智能打扫设备行驶过程中,通过所述智能打扫设备配备的深度相机采集行驶方向上的深度数据;
第二点云数据转化单元,用于通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
第二避障处理单元,用于如果检测到所述第一工作区内存在障碍物,则控制所述智能打扫设备进行避障处理。
一种无人驾驶车辆的行驶控制装置,包括:
第三深度数据采集单元,用于在无人驾驶车辆行驶过程中,通过所述无人驾驶车辆配备的深度相机采集行驶方向上的深度数据;
第三点云数据转化单元,用于通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
第三避障处理单元,用于如果检测到所述第一工作区内存在障碍物,则控制所述无人驾驶车辆进行避障处理。
一种深度相机障碍物检测装置,包括:
深度数据获取单元,用于获取所述深度相机检测到的深度数据;
点云数据转化单元,用于将所述深度数据转化为点云数据,并对所述点云数据进行聚类处理;
有效性确定单元,用于根据聚类后点云团的特征,确定点云数据的有效性;
障碍物确定单元,用于根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
在自动导引车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;
通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
如果检测到所述第一工作区内存在障碍物,则进行避障处理。
一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取所述深度相机检测到的深度数据;
将所述深度数据转化为点云数据,并对所述点云数据进行聚类处理;
根据聚类后点云团的特征,确定点云数据的有效性;
根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
根据本申请提供的具体实施例,本申请公开了以下技术效果:
通过本申请实施例,可以在AGV上安装深度相机,并且,可以通过第一工作区内点云数据的聚类结果特征,对深度相机第一工作区内的障碍物进行有效的检测,并在检测到第一工作区内存在障碍物时可以及时进行避障处理。这样,在无法做到人车隔离,或者行驶路线上AGV相互之间间隔比较小的场景中,也可以降低AGV撞车、撞人事故的发生概率。
当然,实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是深度相机的盲区、第一工作区以及有效工作区示意图;
图2是机器人餐厅场景下AGV深度相机第一工作区内出现“人手”障碍物的示意图;
图3-1、3-2是深度相机有效工作区内出现障碍物时的点云数据示意图;
图4是深度相机第一工作区内出现障碍物时的点云数据示意图;
图5是本申请实施例提供的系统架构的示意图;
图6是本申请实施例提供的第一方法的流程图;
图7是本申请实施例提供的第二方法的流程图;
图8是本申请实施例提供的第三方法的流程图;
图9是本申请实施例提供的第四方法的流程图;
图10是本申请实施例提供的第一装置的示意图;
图11是本申请实施例提供的第二装置的示意图;
图12是本申请实施例提供的第三装置的示意图;
图13是本申请实施例提供的第四装置的示意图;
图14是本申请实施例提供的计算机系统的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员所获得的所有其他实施例,都属于本申请保护的范围。
为了解决上述问题,可以在AGV正前方添加深度相机(可以测量物体到相机距离(深度)的相机)来检测AGV前方的障碍物并及时进行避障。但是,本申请发明人在实现本申请的过程中发现,现有技术中已有的深度相机都存在盲区以及无效工作区问题。例如,某款深度相机的正常检查范围也即有效工作区是0.16米至10米,即距离摄像机0.16米以内的物体无法检测。所谓的盲区,也即深度相机完全捕获不到任何数据的区域。例如,如图1所示,以双目镜头的深度相机为例,在两个相机都无法采集到数据的A区域,就属于深度相机的盲区。而无效工作区通常是除了盲区A以及有效工作区C之外的区域B,当障碍物出现在该无效工作区范围内时,由于镜片的折射作用等因素,使得深度相机虽然能够捕获到深度数据,但是经过深度相机内部的算法计算发现大部分都是脏数据或者无效数据,无法确定物体的形状,大小、距离等信息,因此,通常可能会被深度相机忽略掉。也即,如果障碍物出现在上述无效工作区域内,传统的深度相机可能无法识别,进而也无法触发避障流程。另外,除了双目镜头的深度相机外,还可以有TOF等原理的深度相机,虽然原理不同,但是也可能会存在上述无效工作区的问题。当然,在实际应用中,关于盲区、无效工作区、有效工作区可以有其他叫法,而本申请实施例中主要用于对无效工作区进行障碍物识别,因此,将上述例子中所述的无效工作区称为“第一工作区”。也即,所谓的第一工作区是指,深度相机能够捕捉到深度数据,但是无法确定物体的形状、大小、距离等信息的区域。
在传统的AGV应用场景下,这种第一工作区的存在通常是允许的。例如,在大型仓库中使用AGV进行货品的运送等场景中,是在人机隔离的环境下运行,也即,AGV的行驶环境中不会有“人”的存在,另外,用于快递包裹或货柜搬运,可以使用类似雷达的传感器进行避障,并且车与车之间的间距相对较大,因此,对于第一工作区范围内是否需要检测出障碍物,没有迫切的需求。
但是,在机器人餐厅等场景中,由于AGV的任务是向顾客所在的餐桌进行送餐,送到后由顾客从AGV上将餐品取下,因此,无法做到“人机隔离”,这也就意味着,在AGV行驶过程中,顾客随时可以触碰到AGV。因此,如果顾客突然伸出手正好挡在AGV的正前方很近的地方,例如,人手与AGV之间的距离小于0.16米,由于该障碍正好位于深度相机的盲区或者第一工作区范围内,因此,现有的深度相机可能无法检测出该障碍,进而无法及时采取避障措施,导致撞上人手。例如,如图2所示,其为某机器人餐厅的俯视图,C1、C2、C3等为桌位,箭头所指的区域为AGV的行车道,AGV运送的餐品可以送往各个桌位,桌位上的顾客则可以AGV送到时,将餐品从AGV上取下。在AGV行驶的过程中,顾客随时可以触碰到AGV,例如,21所示为一台AGV,在该AGV行驶状态下,顾客22突然伸出手,挡在AGV前方,且刚好位于AGV所配备的深度相机的第一工作区范围内,则在现有技术中,AGV就可能会撞上该顾客的手。
另一方面,考虑到机器人餐厅寸土寸金,规划给AGV行走的空间非常紧凑,AGV之间是紧挨着排列,正常间距为0.03米左右,AGV与侧边的矮墙或橱窗距离也在0.05米以内,这两个距离都在这种深度摄像机的第一工作区内。因此,如果前一个AGV突然发生故障停车,则也可能会位于后一个AGV的第一工作区范围内,该后一个AGV的深度相机也将无法检测到该障碍的存在,导致撞上前一个AGV。结合上述两个现状,如果AGV在启动时,正前方第一工作区范围内存在故障小车或顾客(人),或者,在AGV运行过程中,顾客(人)突然将手伸入第一工作区并将手挡在AGV正前方,或其他AGV突然停在正前方,AGV将无法识别,直接撞上去,发生严重的撞车或撞人事故。
因此,在本申请实施例在使用深度相机进行前方障碍物检测的过程中,还可以对现有的深度相机进行改进,使其能够检测出第一工作区内存在的障碍物,这样,即使发生顾客突然伸出手,或者前方AGV突然发生故障停车等情况,AGV也可以检测出这种位于第一工作区内的障碍物,并且可以及时进行避障处理,避免发生撞人或者撞车事故。
为了能够使得深度相机能够对第一工作区内的障碍物进行检测,本申请发明人进行了研究。通过大量的数据统计和反复测试验证,本申请发明人发现,在深度相机第一工作区内的深度数据,充斥着大量类似噪点的点云数据,这些点云数据无法聚类成一个或有限个点云团(聚类),并且聚类后每个点云团中的点云数量都很少,这些点云团都离散孤立且高密集度的存在于三维空间中的特定区域,因此,可以将这种点云数据称为“无效点云”。并且,从第一工作区(约0.16米处)开始,深度相机由远及近逐步靠近直到与物体(AGV、垃圾桶、手、墙体等等)表面完全贴合的过程中,从深度相机中获取到的深度数据(脏数据),具有共同的特征:无效点云占比随着深度相机与物体的靠近,逐渐增加,直到超过最大阈值A,甚至逼近100%。上述特征仅存在于第一工作区范围内。因此,本申请实施例正是基于上述第一工作区特征,变“脏数据”为关键特征,提炼出一套完整的第一工作区内障碍物检测的方案。
例如,假设在深度相机的有效工作区内如果出现“人手”障碍物,则将深度相机采集到的深度数据转化为点云数据可以如图3-1所示;另外,假设在深度相机的有效工作区内如果出现其他的AGV这种障碍物,则将深度相机采集到的深度数据转化为点云数据可以如图3-2所示。从以上图3-1以及图3-2可见,由于障碍物出现在深度相机的有效工作区内,则这些点云数据通常可以聚类为一个或者有限个点云团,且点云团内的点云数量会比较多。
而如果“人手”或者其他AGV作为障碍物出现在深度相机的第一工作区内,则虽然深度相机能够采集到深度数据,但是,在转化为点云数据后,可以如图4所示,可见,这些点云通常会比较分散,很难聚类成一个或者有限个点云团,另外,各种不同的障碍物呈现出的点云数据的效果都是相似的,也无法从点云团的轮廓等特征上识别出具体属于何种障碍物。因此,本申请实施例就是基于深度相机的有效工作区与第一工作区之间的上述区别,提出了对深度相机第一工作区内的障碍物进行检测的方案。
具体的,在AGV行驶的过程中,可以通过深度相机采集深度数据,然后,将深度数据转化为点云数据,再通过对点云数据特征进行分析,判断第一工作区内是否存在障碍物。例如,可以对所述点云数据进行聚类处理,然后,根据聚类后点云团的特征,确定点云数据的有效性,最后,根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。这样,可以在无需叠加多个传感器的情况下,实现对深度相机第一工作区内的障碍物检测,以低成本解决深度相机的第一工作区问题。
为了便于理解本申请实施例所提供的方案所依赖的系统架构,下面首先对AGV的组成结构进行简单介绍。如图5所示,AGV通常可以分为上位机和下位机两大部分。其中,上位机指的AGV的控制逻辑系统,主要可以运行在linux等系统的工控机上,上位机的软件系统主要包括一些逻辑单元模块,例如,姿态跟踪模块、导航码分析模块,等等。下位机主要是指AGV的控制执行机构,基于单片机开发的嵌入式软件,获取/控制连接着外部传感器和电机等设备。例如,主要可以包括避障摄像头(在本申请实施例中可以是指深度相机),陀螺仪,导航码摄像头,步进电机,电池等等。
其中,本申请实施例中提供的对AGV的控制模块可以运行在AGV的上位机中,也即,可以在上位机中实现第一工作区检测模块,以此实现对深度相机第一工作区范围内的障碍物检测,并在检测到第一工作区内存在障碍物时,及时进行避障处理。
下面对本申请实施例提供的具体实现方案进行详细介绍。
实施例一
首先,本申请实施例提供了一种自动导引运输车行驶控制方法,参见图6,该方法具体可以包括以下步骤:
S601:在自动导引运输车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;
在本申请实施例中,AGV上可以安装深度相机,在AGV行驶过程中,可以通过深度相机实时采集深度数据,具体可以包括AGV正前方或者侧方的深度数据,等等。
S602:通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
在采集到深度数据后,可以转化为点云数据。例如,具体实现时,可以是转化为PCL(Point Cloud Library)点云。PCL是在吸收了点云相关研究基础上建立起来的大型跨平台开源C++编程库,它实现了大量点云相关的通用算法和高效数据结构,涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。因此,可以利用该算法实现从深度数据到点云数据的转化。当然,在实际应用中,也可以通过其他方式完成上述转化。
在完成从深度数据到点云数据的转化后,可以对点云数据进行聚类处理,然后,根据聚类后的点云团特征,对所述深度相机第一工作区内是否存在障碍物进行检测。其中,在根据点云团特征进行第一工作区障碍物检测时,可以有多种方式,例如,一种方式下,首先可以判断点云数据的有效性,然后,根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
其中,在判断点云数据的有效性时,可以根据前述分析的结论设置判断依据。例如,如果聚类结果中至少部分点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则可以确定所述部分点云数据为无效点云数据。也就是说,在转化得到的点云数据中,可能有其中部分是有效点云,部分是无效点云,通过聚类后的点云团的特征,可以区分哪些点云是有效点云,哪些是无效点云。
在区分出有效点云与无效点云后,可以根据无效点云的占比,来判断深度相机第一工作区内是否存在障碍物。其中,如果所述无效点云的占比大于第一阈值(例如,可以是前述根据经验值确定出的最大阈值A,具体数值可以根据深度相机的实际参数等进行确定),则可以确定所述深度相机第一工作区内存在障碍物。如果所述无效点云的占比小于第二阈值(同样可以根据经验值确定,并且,不同品牌、型号的深度相机由于参数可能有所不同,因此,该数值也可以不同),则确定所述深度相机第一工作区内不存在障碍物。
而如果所述无效点云的占比大于上述第二阈值而小于第一阈值,则意味着障碍物可能恰好在深度相机的第一工作区边缘,可能在第一工作区内,也可以在第一工作区外,此时,还可以进行进一步的判断。具体的,首先可以提取视口中心部分近距离预置范围内的点云数据,并进行点云聚类处理,然后,通过对所述视口中心部分点云数据的聚类结果提取点云特征,确定障碍物是否存在于第一工作区范围内。具体的,如果所述视口中心部分的点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则确定所述深度相机第一工作区内存在障碍物,否则,确定障碍物位于所述深度相机的第一工作区范围之外。
S603:如果检测到所述第一工作区内存在障碍物,则进行避障处理。
如果检测到第一工作区内存在障碍物,则可以及时进行避障处理。其中,具体的避障处理方式可以有多种,例如,可以及时停车,避免撞上障碍物,等等。
通过前述方式可以对第一工作区内是否存在障碍物进行检测,并在检测到障碍物时及时进行避障处理。但是,在实际行驶过程中,还会存在以下情况:在AGV越来越接近终点时,由于终点处通常会存在墙体,或者其他正常停靠的AGV,因此,这种墙体以及正常停靠的AGV可能会逐渐进入到深度相机的第一工作区范围内。但是,这种墙体以及正常停靠的AGV显然不应视为障碍物,因此,不必进行第一工作区内避障处理,否则AGV可能无法正常到达目的地。
因此,为了避免在进行第一工作区内障碍物检测的过程中出现误判的情况,本申请的优选实施例中,具体的行驶控制模块除了进行第一工作区内障碍物的检测,还可以同时进行终点检测,如果判断出即将到达终点,则可以结束避障处理,按照重点停车策略进行停车即可。其中,在进行终点检测时,实时获得所述AGV当前行驶路线的剩余里程信息,然后,根据所述剩余里程信息确定所述AGV是否即将到达终点,如果是,则结束避障处理。
这里需要说明的是,在实际应用中,为了便于控制,AGV的行驶路线可以被划分为多跳,每一跳的行驶路线都可以为直线。其中,每一跳到达终点后,AGV通常都需要进行停车处理,在原地调整车头方向后,再进行下一跳的行驶。其中,在AGV开始行驶之前,具体每一跳的划分都可以是预先完成的,因此,可以预先获知AGV每一跳的行驶起始点以及终点。另外,由于AGV中可以预先保存有场所内的地图信息,并且预先知晓每两个导航码之间的距离,因此,可以计算出从每一跳的起始点到终点之间的距离。另外,还可以根据AGV的平均速度以及行驶时间等信息,计算出AGV从每一跳的起始点出发后已经行驶的距离,或者,还可以通过计算AGV的车轮旋转的周数以及车轮的周长等信息,计算出AGV从每一跳的起始点出发后已经行驶的距离。这样,就可以通过从每一跳起始点到终点的总距离,减去AGV从每一跳的起始点出发后已经行驶的距离,计算出当前行驶路线的剩余里程信息。另一方面,可以预先设定一个阈值,在剩余里程小于等于该阈值时,即可确定AGV即将到达当前行驶路线的终点。由于即将到达终点时,可以按照预先设定的停车方案进行停车处理,因此,可以结束避障处理程序,以避免将终点处的墙体、正常停靠的AGV等识别为第一工作区内的障碍物。
另外,为了提高对第一工作区内障碍物的检测精度,如果检测到所述第一工作区内存在障碍物,还可以通过滑动或者转动所述深度相机的镜头,对所述障碍物进行确认。也就是说,通过滑动镜头或者转动镜头,使得镜头与障碍物之间的距离拉远一些,可能会使得障碍物进入到相机的有效工作区,这样可以更好的对障碍物进行识别以及确认。
或者,另一种方式下,还可以在AGV的行驶轨道上方等处安装为多个AGV所共用的摄像头,这样,如果检测到所述第一工作区内存在障碍物,还可以通过行驶轨道上放安装的公用摄像头,对所述障碍物进行确认。在这种情况下,可以在AGV与公用摄像头之间实现通信连接,使得两者之间可以实时交互信息,共同确认。
总之,通过本申请实施例,可以在AGV上安装深度相机,并且,可以通过第一工作区内点云数据的聚类结果特征,对深度相机第一工作区内的障碍物进行有效的检测,并在检测到第一工作区内存在障碍物时可以及时进行避障处理。这样,在无法做到人车隔离,或者行驶路线上AGV相互之间间隔比较小的场景中,也可以降低AGV撞车、撞人事故的发生概率。
实施例二
在前述实施例一中,主要是针对AGV送餐等具体的应用场景提供了具体的实现方案,而对于深度相机第一工作区内的障碍物进行检测的方案也可以应用到其他场景中。例如,在智能打扫设备(例如,“扫地机器人”)场景中,由于这种设备通常也可以配备深度相机,用于对前方的障碍物等进行检测,而在智能打扫设备工作的过程中,也可能存在一些突发状况,例如,突然有人或动物出现在设备前方,且距离设备很近,使得深度相机可能无法将其识别为一个障碍物。此时,也可以采用本申请实施例中的方案,对无效工作区内的障碍物进行检测,避免一些突发状况的发生导致的撞人等事故的发生。
为此,本申请实施例二还提供了一种智能打扫设备的行驶控制方法,参见图7,该方法具体可以包括:
S701:在智能打扫设备行驶过程中,通过所述智能打扫设备配备的深度相机采集行驶方向上的深度数据;
S702:通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
S703:如果检测到所述第一工作区内存在障碍物,则控制所述智能打扫设备进行避障处理。
其中,所述第一工作区为:所述深度相机可采集到物体的深度数据,但无法根据深度数据确定物体的形状、大小和/或距离信息的区域。
实施例三
除了智能打扫设备的场景,在“无人车”场景中,也同样可能存在有障碍物突然出现在无人车前方,且位于深度相机第一工作区的情况发生,因此,该实施例三还提供了一种无人驾驶车辆的行驶控制方法,参见图8,该方法具体可以包括:
S801:在无人驾驶车辆行驶过程中,通过所述无人驾驶车辆配备的深度相机采集行驶方向上的深度数据;
S802:通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
S803:如果检测到所述第一工作区内存在障碍物,则控制所述无人驾驶车辆进行避障处理。
其中,所述第一工作区为:所述深度相机可采集到物体的深度数据,但无法根据深度数据确定物体的形状、大小和/或距离信息的区域。
关于上述实施例二以及实施例三中其他的未详述部分,都可以参见前述实施例一中的记载,这里不再赘述。
实施例四
在该实施例四中,单独对深度相机第一工作区内障碍物检测方法进行保护,可以理解的是,该方法不仅可以应用于前述AGV行驶控制的过程中,还可以应用到其他需要使用到深度相机,以及深度相机第一工作区内可能出现障碍物的场景中。具体的,参见图9,该实施例四具体提供了一种深度相机障碍物检测方法,该方法具体可以包括:
S901:获取所述深度相机检测到的深度数据;
S902:将所述深度数据转化为点云数据,并对所述点云数据进行聚类处理;
S903:根据聚类后点云团的特征,确定点云数据的有效性;
其中,如果其中至少部分点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则可以确定所述部分点云数据为无效点云数据。
S904:根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
其中,如果所述无效点云的占比大于第一阈值,则确定所述深度相机第一工作区内存在障碍物。如果所述无效点云的占比小于第二阈值,则确定所述深度相机第一工作区内不存在障碍物。如果所述无效点云的占比大于第二阈值小于第一阈值,则可以根据视口中心部分的点云特征,判断障碍物是否位于第一工作区范围内或者第一工作区范围外。具体的,可以提取视口中心部分近距离预置范围内的点云数据,并进行点云聚类处理,通过对所述视口中心部分点云数据的聚类结果提取点云特征。其中,如果所述视口中心部分的点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则确定所述深度相机第一工作区内存在障碍物,否则,确定障碍物位于所述深度相机的第一工作区范围之外。
与实施例一相对应,本申请实施例还提供了一种自动导引车行驶控制装置,参见图10,该装置具体可以包括:
第一深度数据采集单元1001,用于在自动导引车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;
第一点云数据转化单元1002,用于通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
第一避障处理单元1003,用于如果检测到所述第一工作区内存在障碍物,则进行避障处理。
其中,所述第一工作区为:所述深度相机可采集到物体的深度数据,但无法根据深度数据确定物体的形状、大小和/或距离信息的区域。
第一点云数据转化单元具体可以包括:
有效性确定子单元,用于根据聚类后点云团的特征,确定点云数据的有效性;
障碍物确定子单元,用于根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
其中,所述有效性确定子单元具体可以用于:
如果其中至少部分点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则确定所述部分点云数据为无效点云数据。
所述障碍物确定子单元具体可以用于:
如果所述无效点云的占比大于第一阈值,则确定所述深度相机第一工作区内存在障碍物。
或者,
如果所述无效点云的占比小于第二阈值,则确定所述深度相机第一工作区内不存在障碍物。
或者,
如果所述无效点云的占比大于第二阈值小于第一阈值,则提取视口中心部分近距离预置范围内的点云数据,并进行点云聚类处理;通过对所述视口中心部分点云数据的聚类结果提取点云特征,判断障碍物位于所述深度相机第一工作区范围内或者第一工作区范围外。
具体的,所述障碍物确定子单元具体可以用于:
如果所述视口中心部分的点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则确定所述深度相机第一工作区内存在障碍物,否则,确定障碍物位于所述深度相机的第一工作区范围之外。
另外,该装置还可以包括:
剩余里程信息获得单元,用于实时获得所述AGV当前行驶路线的剩余里程信息;
终点判断单元,用于根据所述剩余里程信息确定所述AGV是否即将到达终点,如果是,则结束第一工作区内避障处理。
其中,所述剩余里程信息获得单元具体可以包括:
总里程确定子单元,用于根据当前行驶路线的规划信息,以及预置的地图数据,确定所述当前行驶路线的总里程信息;
已行驶里程确定子单元,用于确定所述AGV从当前行驶路线的起点开始已行驶过的里程信息;
剩余里程确定子单元,用于根据所述总里程以及已行驶过的里程信息,确定所述剩余里程信息。
另外,该装置还可以包括:
第一确认单元,用于如果检测到所述第一工作区内存在障碍物,则通过滑动或者转动所述深度相机的镜头,对所述障碍物进行确认。
或者,第二确认单元,用于如果检测到所述第一工作区内存在障碍物,则通过行驶轨道上放安装的公用摄像头,对所述障碍物进行确认。
与实施例二相对应,本申请实施例还提供了一种智能打扫设备的行驶控制装置,参见图11,该装置可以包括:
第二深度数据采集单元1101,用于在智能打扫设备行驶过程中,通过所述智能打扫设备配备的深度相机采集行驶方向上的深度数据;
第二点云数据转化单元1102,用于通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
第二避障处理单元1103,用于如果检测到所述第一工作区内存在障碍物,则控制所述智能打扫设备进行避障处理。
其中,所述第一工作区为:所述深度相机可采集到物体的深度数据,但无法根据深度数据确定物体的形状、大小和/或距离信息的区域。
与实施例三相对应,本申请实施例还提供了一种无人驾驶车辆的行驶控制装置,参见图12,该装置可以包括:
第三深度数据采集单元1201,用于在无人驾驶车辆行驶过程中,通过所述无人驾驶车辆配备的深度相机采集行驶方向上的深度数据;
第三点云数据转化单元1202,用于通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
第三避障处理单元1203,用于如果检测到所述第一工作区内存在障碍物,则控制所述无人驾驶车辆进行避障处理。
其中,所述第一工作区为:所述深度相机可采集到物体的深度数据,但无法根据深度数据确定物体的形状、大小和/或距离信息的区域。
与实施例三相对应,本申请实施例还提供了一种深度相机障碍物检测装置,参见图13,该装置可以包括:
深度数据获取单元1301,用于获取所述深度相机检测到的深度数据;
点云数据转化单元1302,用于将所述深度数据转化为点云数据,并对所述点云数据进行聚类处理;
有效性确定单元1303,用于根据聚类后点云团的特征,确定点云数据的有效性;
障碍物确定单元1304,用于根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
其中,所述有效性确定单元具体可以用于:
如果其中至少部分点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则确定所述部分点云数据为无效点云数据。
另外,本申请实施例还提供了一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
在自动导引车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;
通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
如果检测到所述第一工作区内存在障碍物,则进行避障处理。
以及另一种计算机系统,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取所述深度相机检测到的深度数据;
将所述深度数据转化为点云数据,并对所述点云数据进行聚类处理;
根据聚类后点云团的特征,确定点云数据的有效性;
根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
其中,图14示例性的展示出了计算机系统的架构,具体可以包括处理器1410,视频显示适配器1411,磁盘驱动器1412,输入/输出接口1413,网络接口1414,以及存储器1420。上述处理器1410、视频显示适配器1411、磁盘驱动器1412、输入/输出接口1413、网络接口1414,与存储器1420之间可以通过通信总线1430进行通信连接。
其中,处理器1410可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器1420可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1420可以存储用于控制电子设备1400运行的操作系统1421,用于控制电子设备1400的低级别操作的基本输入输出系统(BIOS)。另外,还可以存储网页浏览器1423,数据存储管理系统1424,以及行驶控制处理系统1425等等。上述行驶控制处理系统1425就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器1420中,并由处理器1410来调用执行。
输入/输出接口1413用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1414用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1430包括一通路,在设备的各个组件(例如处理器1410、视频显示适配器1411、磁盘驱动器1412、输入/输出接口1413、网络接口1414,与存储器1420)之间传输信息。
另外,该电子设备1400还可以从虚拟资源对象领取条件信息数据库1441中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器1410、视频显示适配器1411、磁盘驱动器1412、输入/输出接口1413、网络接口1414,存储器1420,总线1430等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上对本申请所提供的自动导引车行驶控制方法、装置及计算机系统,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本申请的限制。
Claims (24)
1.一种自动导引车行驶控制方法,其特征在于,包括:
在自动导引车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;
通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
如果检测到所述第一工作区内存在障碍物,则进行避障处理。
2.根据权利要求1所述的方法,其特征在于,
所述第一工作区为:所述深度相机可采集到物体的深度数据,但无法根据深度数据确定物体的形状、大小和/或距离信息的区域。
3.根据权利要求1所述的方法,其特征在于,
所述对所述深度相机第一工作区内是否存在障碍物进行检测,包括:
根据聚类后点云团的特征,确定点云数据的有效性;
根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
4.根据权利要求3所述的方法,其特征在于,
所述根据聚类后点云团的特征,确定点云数据的有效性,包括:
如果其中至少部分点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则确定所述部分点云数据为无效点云数据。
5.根据权利要求3所述的方法,其特征在于,
所述根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物,包括:
如果所述无效点云的占比大于第一阈值,则确定所述深度相机第一工作区内存在障碍物。
6.根据权利要求3所述的方法,其特征在于,
所述根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物,包括:
如果所述无效点云的占比小于第二阈值,则确定所述深度相机第一工作区内不存在障碍物。
7.根据权利要求3所述的方法,其特征在于,
所述根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物,包括:
如果所述无效点云的占比大于第二阈值小于第一阈值,则提取视口中心部分近距离预置范围内的点云数据,并进行点云聚类处理;
通过对所述视口中心部分点云数据的聚类结果提取点云特征,判断障碍物位于所述深度相机第一工作区范围内或者第一工作区范围外。
8.根据权利要求7所述的方法,其特征在于,
所述判断障碍物位于所述深度相机第一工作区范围内或者第一工作区范围外,包括:
如果所述视口中心部分的点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则确定所述深度相机第一工作区内存在障碍物,否则,确定障碍物位于所述深度相机的第一工作区范围之外。
9.根据权利要求1至8任一项所述的方法,其特征在于,还包括:
实时获得所述AGV当前行驶路线的剩余里程信息;
根据所述剩余里程信息确定所述AGV是否即将到达终点,如果是,则结束第一工作区内避障处理。
10.根据权利要求9所述的方法,其特征在于,
所述实时获得所述AGV当前行驶路线的剩余里程信息,包括:
根据当前行驶路线的规划信息,以及预置的地图数据,确定所述当前行驶路线的总里程信息;
确定所述AGV从当前行驶路线的起点开始已行驶过的里程信息;
根据所述总里程以及已行驶过的里程信息,确定所述剩余里程信息。
11.根据权利要求1至10任一项所述的方法,其特征在于,还包括:
如果检测到所述第一工作区内存在障碍物,则通过滑动或者转动所述深度相机的镜头,对所述障碍物进行确认。
12.根据权利要求1至10任一项所述的方法,其特征在于,还包括:
如果检测到所述第一工作区内存在障碍物,则通过行驶轨道上放安装的公用摄像头,对所述障碍物进行确认。
13.一种智能打扫设备的行驶控制方法,其特征在于,包括:
在智能打扫设备行驶过程中,通过所述智能打扫设备配备的深度相机采集行驶方向上的深度数据;
通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
如果检测到所述第一工作区内存在障碍物,则控制所述智能打扫设备进行避障处理。
14.根据权利要求13所述的方法,其特征在于,
所述第一工作区为:所述深度相机可采集到物体的深度数据,但无法根据深度数据确定物体的形状、大小和/或距离信息的区域。
15.一种无人驾驶车辆的行驶控制方法,其特征在于,包括:
在无人驾驶车辆行驶过程中,通过所述无人驾驶车辆配备的深度相机采集行驶方向上的深度数据;
通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
如果检测到所述第一工作区内存在障碍物,则控制所述无人驾驶车辆进行避障处理。
16.根据权利要求15所述的方法,其特征在于,
所述第一工作区为:所述深度相机可采集到物体的深度数据,但无法根据深度数据确定物体的形状、大小和/或距离信息的区域。
17.一种深度相机障碍物检测方法,其特征在于,包括:
获取所述深度相机检测到的深度数据;
将所述深度数据转化为点云数据,并对所述点云数据进行聚类处理;
根据聚类后点云团的特征,确定点云数据的有效性;
根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
18.根据权利要求17所述的方法,其特征在于,
所述根据聚类后点云团的特征,确定点云数据的有效性,包括:
如果其中至少部分点云数据无法聚类成有限数量的点云团,聚类后每个点云团中的点云数量小于阈值,和/或聚类后的点云团离散孤立且高密集度的存在于三维空间中的特定区域,则确定所述部分点云数据为无效点云数据。
19.一种自动导引车行驶控制装置,其特征在于,包括:
第一深度数据采集单元,用于在自动导引车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;
第一点云数据转化单元,用于通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
第一避障处理单元,用于如果检测到所述第一工作区内存在障碍物,则进行避障处理。
20.一种智能打扫设备的行驶控制装置,其特征在于,包括:
第二深度数据采集单元,用于在智能打扫设备行驶过程中,通过所述智能打扫设备配备的深度相机采集行驶方向上的深度数据;
第二点云数据转化单元,用于通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
第二避障处理单元,用于如果检测到所述第一工作区内存在障碍物,则控制所述智能打扫设备进行避障处理。
21.一种无人驾驶车辆的行驶控制装置,其特征在于,包括:
第三深度数据采集单元,用于在无人驾驶车辆行驶过程中,通过所述无人驾驶车辆配备的深度相机采集行驶方向上的深度数据;
第三点云数据转化单元,用于通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
第三避障处理单元,用于如果检测到所述第一工作区内存在障碍物,则控制所述无人驾驶车辆进行避障处理。
22.一种深度相机障碍物检测装置,其特征在于,包括:
深度数据获取单元,用于获取所述深度相机检测到的深度数据;
点云数据转化单元,用于将所述深度数据转化为点云数据,并对所述点云数据进行聚类处理;
有效性确定单元,用于根据聚类后点云团的特征,确定点云数据的有效性;
障碍物确定单元,用于根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
23.一种计算机系统,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
在自动导引车AGV行驶过程中,通过所述AGV配备的深度相机采集行驶方向上的深度数据;
通过将所述深度数据转化为点云数据,以及对所述点云数据进行聚类处理,对所述深度相机第一工作区内是否存在障碍物进行检测;
如果检测到所述第一工作区内存在障碍物,则进行避障处理。
24.一种计算机系统,其特征在于,包括:
一个或多个处理器;以及
与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取所述深度相机检测到的深度数据;
将所述深度数据转化为点云数据,并对所述点云数据进行聚类处理;
根据聚类后点云团的特征,确定点云数据的有效性;
根据所述点云数据中无效点云的占比,确定所述深度相机第一工作区内是否存在障碍物。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910807722.0A CN112445215A (zh) | 2019-08-29 | 2019-08-29 | 自动导引车行驶控制方法、装置及计算机系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910807722.0A CN112445215A (zh) | 2019-08-29 | 2019-08-29 | 自动导引车行驶控制方法、装置及计算机系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112445215A true CN112445215A (zh) | 2021-03-05 |
Family
ID=74742150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910807722.0A Pending CN112445215A (zh) | 2019-08-29 | 2019-08-29 | 自动导引车行驶控制方法、装置及计算机系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112445215A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113008241A (zh) * | 2021-03-08 | 2021-06-22 | 京东数科海益信息科技有限公司 | 机器人定位方法、装置、机器人及存储介质 |
CN114545925A (zh) * | 2022-01-11 | 2022-05-27 | 遨博(北京)智能科技有限公司 | 一种复合机器人控制方法及复合机器人 |
CN115154080A (zh) * | 2022-07-07 | 2022-10-11 | 广东职业技术学院 | 一种电动轮椅防碰撞系统及方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110060496A1 (en) * | 2009-08-11 | 2011-03-10 | Certusview Technologies, Llc | Systems and methods for complex event processing of vehicle information and image information relating to a vehicle |
CN102449568A (zh) * | 2009-06-01 | 2012-05-09 | 株式会社日立制作所 | 机器人管理系统、机器人管理终端、机器人管理方法和程序 |
CN105359200A (zh) * | 2013-06-26 | 2016-02-24 | 宝马股份公司 | 用于处理车辆的测量数据以用于确定开始寻找停车位的方法 |
CN105652873A (zh) * | 2016-03-04 | 2016-06-08 | 中山大学 | 一种基于Kinect的移动机器人避障方法 |
US20180113200A1 (en) * | 2016-09-20 | 2018-04-26 | Innoviz Technologies Ltd. | Variable flux allocation within a lidar fov to improve detection in a region |
CN108226895A (zh) * | 2017-12-27 | 2018-06-29 | 吉林大学 | 基于激光雷达的静态障碍物识别系统及识别方法 |
US20180260636A1 (en) * | 2017-03-13 | 2018-09-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Obstacle detecting method and apparatus, device and storage medium |
CN108733045A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 机器人及其避障方法以及计算机可读存储介质 |
CN109101861A (zh) * | 2017-06-20 | 2018-12-28 | 百度在线网络技术(北京)有限公司 | 障碍物类型识别方法、装置、设备及存储介质 |
CN109634282A (zh) * | 2018-12-25 | 2019-04-16 | 奇瑞汽车股份有限公司 | 自动驾驶车辆、方法和装置 |
CN109839922A (zh) * | 2017-11-28 | 2019-06-04 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶车辆的方法及装置 |
WO2019110824A1 (en) * | 2017-12-07 | 2019-06-13 | Imra Europe S.A.S. | Using silhouette for fast object recognition |
WO2019119350A1 (zh) * | 2017-12-19 | 2019-06-27 | 深圳市海梁科技有限公司 | 用于无人驾驶车辆的障碍物识别方法、装置及终端设备 |
CN110068814A (zh) * | 2019-03-27 | 2019-07-30 | 东软睿驰汽车技术(沈阳)有限公司 | 一种测量障碍物距离的方法及装置 |
-
2019
- 2019-08-29 CN CN201910807722.0A patent/CN112445215A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102449568A (zh) * | 2009-06-01 | 2012-05-09 | 株式会社日立制作所 | 机器人管理系统、机器人管理终端、机器人管理方法和程序 |
US20110060496A1 (en) * | 2009-08-11 | 2011-03-10 | Certusview Technologies, Llc | Systems and methods for complex event processing of vehicle information and image information relating to a vehicle |
CN105359200A (zh) * | 2013-06-26 | 2016-02-24 | 宝马股份公司 | 用于处理车辆的测量数据以用于确定开始寻找停车位的方法 |
CN105652873A (zh) * | 2016-03-04 | 2016-06-08 | 中山大学 | 一种基于Kinect的移动机器人避障方法 |
US20180113200A1 (en) * | 2016-09-20 | 2018-04-26 | Innoviz Technologies Ltd. | Variable flux allocation within a lidar fov to improve detection in a region |
US20180260636A1 (en) * | 2017-03-13 | 2018-09-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Obstacle detecting method and apparatus, device and storage medium |
CN109101861A (zh) * | 2017-06-20 | 2018-12-28 | 百度在线网络技术(北京)有限公司 | 障碍物类型识别方法、装置、设备及存储介质 |
CN108733045A (zh) * | 2017-09-29 | 2018-11-02 | 北京猎户星空科技有限公司 | 机器人及其避障方法以及计算机可读存储介质 |
CN109839922A (zh) * | 2017-11-28 | 2019-06-04 | 百度在线网络技术(北京)有限公司 | 用于控制无人驾驶车辆的方法及装置 |
WO2019110824A1 (en) * | 2017-12-07 | 2019-06-13 | Imra Europe S.A.S. | Using silhouette for fast object recognition |
WO2019119350A1 (zh) * | 2017-12-19 | 2019-06-27 | 深圳市海梁科技有限公司 | 用于无人驾驶车辆的障碍物识别方法、装置及终端设备 |
CN108226895A (zh) * | 2017-12-27 | 2018-06-29 | 吉林大学 | 基于激光雷达的静态障碍物识别系统及识别方法 |
CN109634282A (zh) * | 2018-12-25 | 2019-04-16 | 奇瑞汽车股份有限公司 | 自动驾驶车辆、方法和装置 |
CN110068814A (zh) * | 2019-03-27 | 2019-07-30 | 东软睿驰汽车技术(沈阳)有限公司 | 一种测量障碍物距离的方法及装置 |
Non-Patent Citations (2)
Title |
---|
蒋剑飞;李其仲;黄妙华;龚杰;: "基于三维激光雷达的障碍物及可通行区域实时检测", 激光与光电子学进展, no. 24 * |
薛彦涛;吕洪波;孙启国;: "基于Kinect深度数据的移动机器人障碍检测方法研究", 计算机测量与控制, no. 02 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113008241A (zh) * | 2021-03-08 | 2021-06-22 | 京东数科海益信息科技有限公司 | 机器人定位方法、装置、机器人及存储介质 |
CN113008241B (zh) * | 2021-03-08 | 2022-11-08 | 京东科技信息技术有限公司 | 机器人定位方法、装置、机器人及存储介质 |
CN114545925A (zh) * | 2022-01-11 | 2022-05-27 | 遨博(北京)智能科技有限公司 | 一种复合机器人控制方法及复合机器人 |
CN115154080A (zh) * | 2022-07-07 | 2022-10-11 | 广东职业技术学院 | 一种电动轮椅防碰撞系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102198724B1 (ko) | 포인트 클라우드 데이터를 처리하기 위한 방법 및 장치 | |
CN107981790B (zh) | 室内区域划分方法及扫地机器人 | |
Sabattini et al. | The pan-robots project: Advanced automated guided vehicle systems for industrial logistics | |
CN102782600B (zh) | 自动移动体及其控制方法 | |
EP3283843B1 (en) | Generating 3-dimensional maps of a scene using passive and active measurements | |
US11410482B2 (en) | Information processing method and apparatus, electronic device, and storage medium | |
KR102577785B1 (ko) | 청소 로봇 및 그의 태스크 수행 방법 | |
Wojke et al. | Moving vehicle detection and tracking in unstructured environments | |
CN112445215A (zh) | 自动导引车行驶控制方法、装置及计算机系统 | |
KR20240063820A (ko) | 청소 로봇 및 그의 태스크 수행 방법 | |
CN105022397A (zh) | 用于使用多个传感器进行物体检测的方法和系统 | |
CN103890606A (zh) | 用于使用雷达-光学成像融合来创建地图的方法和系统 | |
CN113741438A (zh) | 路径规划方法、装置、存储介质、芯片及机器人 | |
KR20220055167A (ko) | 자율주행 로봇, 자율주행 로봇의 충돌 회피 방법 및 월드 맵 관리 방법 | |
CN111290403B (zh) | 搬运自动导引运输车的运输方法和搬运自动导引运输车 | |
CN112806912B (zh) | 机器人的清洁控制方法、装置及机器人 | |
CN112515563A (zh) | 障碍物的避让方法、扫地机器人及可读存储介质 | |
CN115240094A (zh) | 一种垃圾检测方法和装置 | |
JP2014178789A (ja) | 追跡装置、追跡プログラムおよび追跡方法 | |
CN115236694A (zh) | 障碍物检测方法、装置、电子设备和存储介质 | |
KR102599784B1 (ko) | 공항 로봇 | |
KR20230134109A (ko) | 청소 로봇 및 그의 태스크 수행 방법 | |
CN110874950B (zh) | 用户泊车的导航系统/方法、计算机可读存储介质及装置 | |
CN115686019A (zh) | 机器人的限速方法、装置及电子设备 | |
Tang et al. | An approach of dynamic object removing for indoor mapping based on UGV SLAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |