CN110083157A - 一种避障方法及装置 - Google Patents

一种避障方法及装置 Download PDF

Info

Publication number
CN110083157A
CN110083157A CN201910348612.2A CN201910348612A CN110083157A CN 110083157 A CN110083157 A CN 110083157A CN 201910348612 A CN201910348612 A CN 201910348612A CN 110083157 A CN110083157 A CN 110083157A
Authority
CN
China
Prior art keywords
block
avoidance
image
scenario
barrier
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910348612.2A
Other languages
English (en)
Other versions
CN110083157B (zh
Inventor
陈海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Blue Technology Shanghai Co Ltd
Original Assignee
Deep Blue Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Blue Technology Shanghai Co Ltd filed Critical Deep Blue Technology Shanghai Co Ltd
Priority to CN201910348612.2A priority Critical patent/CN110083157B/zh
Publication of CN110083157A publication Critical patent/CN110083157A/zh
Application granted granted Critical
Publication of CN110083157B publication Critical patent/CN110083157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明实施例公开了一种避障方法及装置,其中方法包括:根据摄像装置的视场角和预设避障距离,确定避障宽度,并根据避障宽度和预设分块长度,将场景划分为N个场景块;获取摄像装置拍摄场景得到的图像,根据该图像的深度信息和图像信息确定障碍物所在的T个场景块,并根据N个场景块中除T个场景块以外的场景块,确定目标避障角度。本发明实施例中,通过确定障碍物所在的场景块,可以使得机器人在除障碍物所在的场景块以外的场景块中运动,从而可以实现移动机器人的避障;且,采用深度信息和图像信息确定避障角度,可以及时确定移动机器人的避障角度,保证移动机器人运动过程的安全性。

Description

一种避障方法及装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种避障方法及装置。
背景技术
随着智能科技的发展,移动机器人的应用领域越来越广泛,比如,移动机器人可以在工业领域实现自动化加工,也可以在农业领域实现自动化种植,移动机器人为人类的生产和生活带来了极大的便捷。视觉避障是移动机器人运动的一项关键技术,在移动机器人运动的过程中,通过采用视觉避障的方法对周围的环境信息进行分析,可以确定出移动机器人的可行区域,从而保证在运动的过程中避开环境中的障碍物,实现移动机器人运动的安全性。
在一种常用的视觉避障方法中,移动机器人上通常可以设置有超声波传感器和双目摄像机,超声波传感器可以在移动机器人的运动方向上发射超声波,从而确定障碍物的距离;双目摄像机可以对位于双目摄像机正前方的场景进行拍摄得到场景图像,基于障碍物的距离分析场景图像可以为移动机器人规划路径。然而,采用上述方式,需要基于超声波测距技术和图像处理技术联合得到路径,可能会使得避障运算的数据量较大,运算的效率较低,从而无法及时确定移动机器人的避障路径,影响移动机器人运动的安全性。
综上,目前亟需一种避障方法,用以解决现有技术由于无法及时确定移动机器人的避障路径所导致移动机器人运动不安全的技术问题。
发明内容
本发明实施例提供一种避障方法及装置,用以解决现有技术由于无法及时确定移动机器人的避障路径所导致移动机器人运动不安全的技术问题。
第一方面,本发明实施例提供的一种避障方法,包括:
根据移动装置上设置的摄像装置的视场角和预设避障距离,确定所述摄像装置对应的避障宽度,并根据所述避障宽度和预设分块长度,将所述摄像装置对应的场景划分为N个场景块;获取所述摄像装置拍摄所述场景得到的图像,将所述图像划分为N个图像块,所述N个图像块与所述N个场景块一一对应,并根据所述图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,进而确定所述T个图像块对应的T个场景块;且,根据所述N个场景块中除所述T个场景块以外的场景块,确定目标避障角度,所述目标避障角度用于所述移动装置避开所述障碍物。
上述技术方案中,通过从划分得到的场景块中确定障碍物所在的场景块,可以使得机器人在除障碍物所在的场景块以外的可行场景块中运动,从而可以实现移动机器人的避障,为移动机器人规划合理的避障路径;另一方面,深度信息和图像信息的数据量较小,处理速度较快,因此采用本发明实施例中的避障方法,可以及时确定移动机器人的避障角度,保证移动机器人运动过程的安全性。
可选地,所述预设分块长度满足如下条件:w<2l<2w;其中,w为所述移动装置的宽度,l为预设分块长度。
上述技术方案中,通过预先设置预设分块长度(即场景块的宽度)与移动装置的宽度之间的关系,可以根据该关系确定可行场景块中包括的待选避障区域,从而使得确定出的目标避障角度更加准确。
可选地,所述根据所述N个场景块中除所述T个场景块以外的场景块,确定目标避障角度,包括:根据所述N个场景块中除所述T个场景块以外的场景块,确定P个待选避障区域,每个待选避障区域中包括至少两个相邻的场景块;将所述P个待选避障区域对应的避障角度中最小的避障角度作为目标避障角度;所述每个待选避障区域对应的避障角度是根据所述移动装置的运动方向与所述每个待选避障区域的中心点得到的。
上述技术方案中,待选避障区域的宽度是根据预设分块长度对应设置的,通过将最小避障角度作为目标避障角度,可以使得移动装置通过转动最小的角度来实现避障,一方面可以保证移动装置运动过程中的安全性,另一方面,可以减少移动装置避障的时间,提高避障效率,降低运动功耗。
可选地,所述根据所述图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,包括:根据所述图像中多个坐标点对应的深度信息,确定所述多个坐标点中与所述移动装置的距离小于所述预设避障距离的至少一个坐标点;对所述至少一个坐标点构成的像素块进行修正,并根据修正后的像素块,确定障碍物所在的T个图像块;其中,所述修正包括腐蚀、膨胀、开环和/或闭环运算、补齐坐标点、删除像素块中的任意一项或任意多项。
上述技术方案中,通过获取深度信息来确定图像中每个坐标点的距离,可以根据深度信息确定处于预设避障区域(即预设避障距离对应的区域)内的障碍物,从而使得基于该障碍物的避障规划过程更为精确;且,深度信息与图像信息进行结合,可以使得避障过程更为简单,快速规划避障路径。此外,通过对像素块进行修正,可以避免拍摄过程中的干扰或误差,使得确定出的障碍物所在的图像块更加准确,从而可以提高避障方法的准确性。
第二方面,本发明实施例提供的一种避障装置,所述装置包括:
划分模块,用于根据移动装置上设置的摄像装置的视场角和预设避障距离,确定所述摄像装置对应的避障宽度,并根据所述避障宽度和预设分块长度,将所述摄像装置对应的场景划分为N个场景块;以及,获取所述摄像装置拍摄所述场景得到的图像,将所述图像划分为N个图像块,所述N个图像块与所述N个场景块一一对应;
确定模块,用于根据所述图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,并确定所述T个图像块对应的T个场景块;以及,根据所述N个场景块中除所述T个场景块以外的场景块,确定目标避障角度,所述目标避障角度用于所述移动装置避开所述障碍物。
可选地,所述预设分块长度满足如下条件:w<2l<2w。其中,w为所述移动装置的宽度,l为预设分块长度。
可选地,所述确定模块用于:根据所述N个场景块中除所述T个场景块以外的场景块,确定P个待选避障区域,每个待选避障区域中包括至少两个相邻的场景块;将所述P个待选避障区域对应的避障角度中最小的避障角度作为目标避障角度;所述每个待选避障区域对应的避障角度是根据所述移动装置的运动方向与所述每个待选避障区域的中心点得到的;
可选地,所述根据所述图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,包括:根据所述图像中多个坐标点对应的深度信息,确定所述多个坐标点中与所述移动装置的距离小于所述预设避障距离的至少一个坐标点;对所述至少一个坐标点构成的像素块进行修正,并根据修正后的像素块,确定障碍物所在的T个图像块;其中,所述修正包括腐蚀、膨胀、开环和/或闭环运算、补齐坐标点、删除像素块中的任意一项或任意多项。
第三方面,本发明实施例提供的一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如上述第一方面所述的避障方法。
第四方面,本发明实施例提供的一种计算机程序产品,当其在计算机上运行时,使得计算机执行如上述第一方面所述的避障方法。
本发明的这些方面(即第一方面~第四方面)或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种避障方法对应的场景示意图;
图2为本发明实施例提供的一种避障方法对应的流程示意图;
图3为本发明实施例中提供的一种对场景进行划分的示意图;
图4为本发明实施例中提供的一种对图像进行划分的示意图;
图5为本发明实施例提供的一种场景块与图像块对应的示意图;
图6为本发明实施例中提供的一种避障装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种避障方法对应的场景示意图,该场景可以为室内场景,或者也可以为室外场景,具体不作限定。如图1所示,该场景中可以设置有一个或多个障碍物(如图1所示意出的障碍物a1、障碍物a2、障碍物a3和障碍物a4),移动装置100在该场景中运动时,若检测到前方存在障碍物,则可以通过调整其运动方向来避开障碍物。其中,前方可以是指移动装置100的运动方向对应的区域,比如可以是指移动装置100的正前方,或者也可以是指移动装置100的侧前方,具体不作限定。
具体实施中,移动装置100当前的运动方向为v1,在运动的过程中,移动装置100通过对v1方向对应的区域进行检测,可以确定在v1方向对应的区域上存在障碍物a1和障碍物a3。其中,障碍物a1位于v1方向的左前方,障碍物a3位于v1方向的右前方。进一步地,移动装置100可以根据障碍物a1和障碍物a3的位置确定避障角度(如图1所示意出的角度α),从而控制移动装置100沿着v1方向旋转α角,并向着旋转后的方向v2运动。如此,移动装置100在运动的过程中可以避开障碍物a1和障碍物a3,保证在场景中运动的安全性。
图2为本发明实施例提供的一种避障方法对应的流程示意图,如图1所示,该方法包括:
步骤201,将摄像装置对应的场景划分为N个场景块。
本发明实施例中,移动装置上可以设置有摄像装置,摄像装置可以在移动装置运动的过程中对摄像装置对应的场景(即摄像装置所能拍摄到的场景)进行拍摄,得到场景图片。其中,摄像装置可以设置在移动装置头部的某一个位置上,且在拍摄场景的过程中可以不被移动装置所遮挡;比如,摄像装置可以设置在移动装置头部的正前方位置,或者也可以设置在移动装置头部的左前方位置,或者还可以设置在移动装置头部的右前方位置,具体不作限定。
示例性地,图3为本发明实施例中提供的一种对场景进行划分的示意图,如图3所示,摄像装置101可以设置在移动装置100头部的正前方位置,摄像装置101的视场角(即摄像装置101所能拍摄到的最大角度)可以为β。若预设避障距离为d,则根据视场角β和预设避障距离为d可以确定摄像装置101对应的避障宽度L。其中,预设避障距离d可以由本领域技术人员根据实际情况进行设置,或者也可以由用户确定,具体不作限定。
如图3所示,在该场景中,避障宽度L可以满足如下条件:
进一步地,确定避障宽度L后,根据避障宽度L和预设分块长度l,可以将摄像装置101对应的场景划分为场景块1~场景块10。其中,场景块1~场景块10中每个场景块的宽度均可以为预设分块长度l。
在一个示例中,预设分块长度l可以满足如下条件:
w<2l<2w
其中,m可以为移动装置100的宽度。
需要说明的是,上述示例仅是一种示例性的简单说明,其所列举的预设分块长度l仅是为了便于说明方案,并不构成对方案的限定,在具体实施中,预设分块长度l也可以为其它长度,比如可以与移动装置100的宽度相同,或者也可以为移动装置100的宽度的1/3,具体不作限定。
本发明实施例中,通过预先设置预设分块长度(即场景块的宽度)与移动装置的宽度之间的关系,可以根据该关系确定可行场景块中包括的待选避障区域,从而使得确定出的目标避障角度更加准确。
步骤102,获取摄像装置拍摄场景得到的图像,并将图像划分为N个图像块。
本发明实施例中,可以使用摄像装置101对宽度为L的场景(即摄像装置101对应的场景)进行拍摄得到图像,该图像与摄像装置101对应的场景具有对应关系。进一步地,可以将该图像划分为N个图像块,N个图像块中的每一个图像块的宽度可以相同,N个图像块与N个场景块一一对应。
示例性地,图4为本发明实施例提供的一种对图像进行划分的示意图。如图4所示,摄像装置101拍摄得到的图像的像素(即分辨率)可以为Q*P,拍摄得到的图像中可以包括障碍物图像(如图4所示意出的障碍物a1和障碍物a3)和场景图像。具体实施中,可以预先根据图像的像素和场景块的数量,确定预设划分长度q,进而可以按照预设划分长度q对该图像进行划分,得到图像块1~图像块10。其中,预设划分长度q可以为:
q=Q/10
如此,按照预设划分长度q划分得到的10个图像块的宽度可以相同。
本发明实施例中,由于拍摄场景得到的图像与场景具有对应关系,因此,对图像进行划分得到的10个图像块与对场景进行划分得到的10个场景块一一对应。示例性地,图5为本发明实施例提供的一种场景块与图像块对应的示意图,如图5所示,场景块1可以与图像块1对应,场景块2可以与图像块2对应,……,场景块7可以与图像块7对应,场景块8可以与图像块8对应,场景块9可以与图像块9对应,场景块10可以与图像块10对应。
需要说明的是,图5中将场景块的宽度与图像块的宽度对应设置,可以理解的,如此示意仅是为了便于描述方案,并不表示场景块的宽度与图像块的宽度相同,而是用于表示图像块所对应的场景的宽度与场景块的宽度相同。
步骤103,根据图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,进而确定T个图像块对应的T个场景块。
本发明实施例中,确定图像中多个坐标点对应的深度信息的方式可以有多种,在一种可能的实现方式中,摄像装置可以包括预先标定好的第一相机和第二相机,第一相机可以用于对场景拍摄得到彩色图像,第二相机可以用于对场景拍摄得到深度图像,由于第一相机与第二相机预先标定,因此,第一相机拍摄的彩色图像中的坐标点与第二相机拍摄的深度图像中的坐标点一一对应。
具体实施中,对第一相机和第二相机进行标定的过程可以如步骤a~步骤c所示:
步骤a,设置好第一相机和第二相机后,可以启动第一相机拍摄场景,得到场景对应的彩色图像,并可以启动第二相机拍摄场景,得到场景对应的深度图像。
步骤b,针对于场景中的预设参考点,可以根据场景对应的彩色图像,确定预设参考点在场景对应的彩色图像中的第一坐标,并可以根据场景对应的深度图像,确定预设参考点在场景对应的深度图像中的第二坐标。
步骤c,根据预设参考点的第一坐标和第二坐标,确定第一相机与第二相机的坐标偏移量。
步骤d,若第一相机与第二相机的坐标偏移量小于预设阈值,则确定对第一相机与第二相机标定完成;若第一相机与第二相机的坐标偏移量大于或等于预设阈值,则根据第一相机与第二相机的坐标偏移量调整第一相机与第二相机的位置,并重新执行步骤a。其中,第一预设阈值可以为本领域技术人员根据经验进行设置,或者也可以为根据实际情况进行设置的,具体不作限定。
需要说明的是,上述方式仅是一种示例性的简单说明,其所列举的确定每个坐标点的深度信息的方式仅是为了便于说明方案,并不构成对方案的限定,在具体实施中,还可以通过其它方式确定每个坐标点的深度信息,比如可以通过双目测距确定每个坐标点对应的深度信息,或者也可以通过红外结构光测距确定每个坐标点对应的深度信息,具体不作限定。
进一步地,根据彩色图像包括的多个坐标点的深度信息,可以从多个坐标点中选取出与移动装置的距离小于预设避障距离的至少一个坐标点,至少一个坐标点可以构成一个或多个像素块。此处,像素块可以是指由多个像素构成的像素块,或者也可以是由一个像素构成的像素点,对此不作限定。在彩色图像中,像素块占据的区域(即彩色区域)可以对应为障碍物所在的区域,而白色区域可以对应为可行区域,通过使用深度信息确定障碍物所在的区域,可以使得移动装置在可行区域中运动以实现避障功能。
在一个示例中,可以将彩色图像转化为灰度图像,灰度图像中可以包括高亮部分(即白色区域)和灰度部分(即灰色区域或黑色区域);进一步地,可以对灰度图像中至少一个坐标点所构成的像素块进行修正。其中,修正的方式可以包括形态学变换,比如腐蚀、膨胀、开环和/或闭环运算等,也可以包括补齐坐标点、删除像素块等,具体不作限定。其中,腐蚀可以是指对灰度图像中的高亮部分进行腐蚀,使得修正后的灰度图像所包括的高亮部分的面积比修正前的灰度图像所包括的高亮部分的面积更小;膨胀可以是指对灰度图像中的高亮部分进行腐蚀膨胀,使得修正后的灰度图像所包括的高亮部分的面积比修正前的灰度图像所包括的高亮部分的面积更大;开环运算可以对灰度图像中的高亮部分先腐蚀再膨胀,从而可以消除面积较小的像素块,并在不改变面积较大的像素块的面积的基础上平滑其边界;闭环运算可以对灰度图像中的高亮部分先膨胀再腐蚀,从而可以排除小型黑洞(即灰度图像中的黑色区域)。补齐坐标点可以是指对某一个或某几个像素块中缺失的像素点进行补正,使得像素块更加完整;删除像素块可以是指对灰度图像中包括的面积较小的像素块进行删除操作,从而可以避免面积较小的像素块对避障过程造成干扰。
本发明实施例中,通过将彩色图像转化为灰度图像,可以降低图像处理的复杂度,提高避障的效率;且,通过对像素块进行修正,可以降低噪声或信息丢失所造成的影响,避免由于个别坐标的深度信息缺失或错误所导致的像素块不准确的问题,从而使得确定出的障碍物所在的图像块更加准确,提高避障方法的准确性。
进一步地,根据修正后的像素块,可以确定障碍物所在的T个图像块。如图5所示,通过分析像素块a1、像素块a3和像素块a5与移动装置100的距离,可以确定像素块a3位于预设避障区域之外,像素块a1和像素块a5位于预设避障区域之内;进一步地,可以将较小的像素块a5删除,并确定障碍物a1为移动装置100需要避开的障碍物。由于障碍物a1所占据的图像块为图像块3和图像块4,因此,场景块1~场景块10中障碍物a1所在的场景块可以为场景块3和场景块4,除障碍物a1所在的场景块之外的场景块可以为场景块1、场景块2、场景块5~场景块10;。
步骤104,根据N个场景块中除T个场景块以外的场景块,确定目标避角度,目标避障角度用于移动装置避开障碍物。
在一种可能的实现方式中,可以根据N个场景块中除T个场景块以外的场景块,确定P个待选避障区域,并可以确定每个待选避障区域对应的避障角度;其中,每个待选避障区域中可以包括至少两个相邻的场景块。举例说明,如图5所示,场景块1、场景块2、场景块5~场景块10可以构成第一待选避障区域和第二待选避障区域,第一待选避障区域可以包括场景块1和场景块2,第二待选避障区域可以包括场景块5~场景块10。
以图5所示意的划分方式为例,本发明实施例中,每个待选避障区域对应的避障角度可以满足如下条件:
其中,γ可以为每个待选避障区域对应的避障角度,start可以为每个待选避障区域包括的多个场景块中的起始场景块的编号,end可以为每个待选避障区域包括的多个场景块中的终止场景块的编号,l可以为每个场景块的宽度,d可以为预设避障长度。
以第一待选避障区域为例,第一待选避障区域对应的避障角度可以为通过如下方式确定的:将移动装置101与第一待选避障区域的中心连接形成第一线(如图5所示,第一线可以为场景块1与场景块2的交线),并确定将移动装置100的运动方向从当前运动的方向旋转至第一线的方向时所需旋转的角度(如图5所示意出的γ1),γ1即可为第一待选避障区域对应的避障角度。相应地,将移动装置100与第二待选避障区域的中心连接形成第二线(如图5所示,第二线可以为场景块7与场景块8的交线),并确定将移动装置100的运动方向从当前运动的方向旋转至第二线的方向时所需旋转的角度(如图5所示意出的γ2),γ2即可为第二待选避障区域对应的避障角度。
进一步地,可以将第一待选避障区域和第二待选避障区域分别对应的避障角度中最小的避障角度作为目标避障角度,并可以控制移动装置按照目标避障角度实现避障。如图5所示,γ21,即第二待选避障区域对应的避障角度小于第一待选避障区域对应的避障角度,因此,可以将第二待选避障区域对应的避障角度作为目标避障角度;此时,移动装置100可以将运动方向从当前的运动方向向右旋转γ2,并沿着旋转后的角度运动。
本发明实施例中,待选避障区域的宽度是根据预设分块长度对应设置的,通过将最小避障角度作为目标避障角度,可以使得移动装置通过转动最小的角度来实现避障,一方面可以保证移动装置运动过程中的安全性,另一方面,可以减少移动装置避障的时间,提高避障效率,降低运动功耗。
需要说明的是,本发明实施例中,摄像装置可以按照预设周期拍摄图像,或者也可以实时拍摄视频;若摄像装置拍摄得到的是图片,则摄像装置可以按照预设周期执行步骤201~步骤204的避障方法,若摄像装置拍摄得到的是视频,则可以对视频进行划分,得到多帧图像,并可以对每一帧执行步骤201~步骤204的避障方法。
本发明的上述实施例中,根据移动装置上设置的摄像装置的视场角和预设避障距离,确定摄像装置对应的避障宽度,并根据避障宽度和预设分块长度,将摄像装置对应的场景划分为N个场景块;获取摄像装置拍摄场景得到的图像,将图像划分为N个图像块,N个图像块与N个场景块一一对应,并根据图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,进而确定T个图像块对应的T个场景块;进一步地,根据N个场景块中除T个场景块以外的场景块,确定目标避障角度,目标避障角度用于移动装置避开障碍物。本发明实施例中,通过从划分得到的场景块中确定障碍物所在的场景块,可以使得机器人在除障碍物所在的场景块以外的可行场景块中运动,从而可以实现移动机器人的避障,为移动机器人规划合理的避障路径;且,深度信息和图像信息的数据量较小,处理速度较快,因此采用本发明实施例中的避障方法,可以及时确定移动机器人的避障角度,保证移动机器人运动过程的安全性。
针对上述方法流程,本发明实施例还提供一种避障装置,该装置的具体内容可以参照上述方法实施。
图6为本发明实施例提供的一种避障装置的结构示意图,包括:
划分模块601,用于根据移动装置上设置的摄像装置的视场角和预设避障距离,确定所述摄像装置对应的避障宽度,并根据所述避障宽度和预设分块长度,将所述摄像装置对应的场景划分为N个场景块;以及,获取所述摄像装置拍摄所述场景得到的图像,将所述图像划分为N个图像块,所述N个图像块与所述N个场景块一一对应;
确定模块602,用于根据所述图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,并确定所述T个图像块对应的T个场景块;以及,根据所述N个场景块中除所述T个场景块以外的场景块,确定目标避障角度,所述目标避障角度用于所述移动装置避开所述障碍物。
可选地,所述预设分块长度满足如下条件:
w<2l<2w
其中,m为所述移动装置的宽度,l为预设分块长度。
可选地,所述确定模块602用于:
根据所述N个场景块中除所述T个场景块以外的场景块,确定P个待选避障区域,每个待选避障区域中包括至少两个相邻的场景块;
将所述P个待选避障区域对应的避障角度中最小的避障角度作为目标避障角度;所述每个待选避障区域对应的避障角度是根据所述移动装置的运动方向与所述每个待选避障区域的中心点得到的。
可选地,所述确定模块602用于:
根据所述图像中多个坐标点对应的深度信息,确定所述多个坐标点中与所述移动装置的距离小于所述预设避障距离的至少一个坐标点;
对所述至少一个坐标点构成的像素块进行修正,并根据修正后的像素块,确定障碍物所在的T个图像块;
其中,所述修正包括腐蚀、膨胀、开环和/或闭环运算、补齐坐标点、删除像素块中的任意一项或任意多项。
针对上述方法流程,本发明实施例还提供一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如图2所述的避障方法。
针对上述方法流程,本发明实施例还提供一种计算机程序产品,当其在计算机上运行时,使得计算机执行如图2所述的避障方法。
从上述内容可以看出:本发明的上述实施例中,根据移动装置上设置的摄像装置的视场角和预设避障距离,确定摄像装置对应的避障宽度,并根据避障宽度和预设分块长度,将摄像装置对应的场景划分为N个场景块;获取摄像装置拍摄场景得到的图像,将图像划分为N个图像块,N个图像块与N个场景块一一对应,并根据图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,进而确定T个图像块对应的T个场景块;进一步地,根据N个场景块中除T个场景块以外的场景块,确定目标避障角度,目标避障角度用于移动装置避开障碍物。本发明实施例中,通过从划分得到的场景块中确定障碍物所在的场景块,可以使得机器人在除障碍物所在的场景块以外的可行场景块中运动,从而可以实现移动机器人的避障,为移动机器人规划合理的避障路径;且,深度信息和图像信息的数据量较小,处理速度较快,因此采用本发明实施例中的避障方法,可以及时确定移动机器人的避障角度,保证移动机器人运动过程的安全性。
本领域内的技术人员应明白,本发明的实施例可提供为方法、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种避障方法,其特征在于,所述方法包括:
根据移动装置上设置的摄像装置的视场角和预设避障距离,确定所述摄像装置对应的避障宽度,并根据所述避障宽度和预设分块长度,将所述摄像装置对应的场景划分为N个场景块;
获取所述摄像装置拍摄所述场景得到的图像,将所述图像划分为N个图像块,所述N个图像块与所述N个场景块一一对应;
根据所述图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,并确定所述T个图像块对应的T个场景块;
根据所述N个场景块中除所述T个场景块以外的场景块,确定目标避障角度,所述目标避障角度用于所述移动装置避开所述障碍物。
2.根据权利要求1所述的方法,其特征在于,所述预设分块长度满足如下条件:
w<2l<2w
其中,w为所述移动装置的宽度,l为预设分块长度。
3.根据权利要求2所述的方法,其特征在于,所述根据所述N个场景块中除所述T个场景块以外的场景块,确定目标避障角度,包括:
根据所述N个场景块中除所述T个场景块以外的场景块,确定P个待选避障区域,每个待选避障区域中包括至少两个相邻的场景块;
将所述P个待选避障区域对应的避障角度中最小的避障角度作为目标避障角度;所述每个待选避障区域对应的避障角度是根据所述移动装置的运动方向与所述每个待选避障区域的中心点得到的。
4.根据权利要求1至3中任一项所述的方法,其特征在于,所述根据所述图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,包括:
根据所述图像中多个坐标点对应的深度信息,确定所述多个坐标点中与所述移动装置的距离小于所述预设避障距离的至少一个坐标点;
对所述至少一个坐标点构成的像素块进行修正,并根据修正后的像素块,确定障碍物所在的T个图像块;
其中,所述修正包括腐蚀、膨胀、开环和/或闭环运算、补齐坐标点、删除像素块中的任意一项或任意多项。
5.一种避障装置,其特征在于,所述装置包括:
划分模块,用于根据移动装置上设置的摄像装置的视场角和预设避障距离,确定所述摄像装置对应的避障宽度,并根据所述避障宽度和预设分块长度,将所述摄像装置对应的场景划分为N个场景块;以及,获取所述摄像装置拍摄所述场景得到的图像,将所述图像划分为N个图像块,所述N个图像块与所述N个场景块一一对应;
确定模块,用于根据所述图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,并确定所述T个图像块对应的T个场景块;以及,根据所述N个场景块中除所述T个场景块以外的场景块,确定目标避障角度,所述目标避障角度用于所述移动装置避开所述障碍物。
6.根据权利要求5所述的装置,其特征在于,所述预设分块长度满足如下条件:
w<2l<2w
其中,w为所述移动装置的宽度,l为预设分块长度。
7.根据权利要求6所述的装置,其特征在于,所述确定模块用于:
根据所述N个场景块中除所述T个场景块以外的场景块,确定P个待选避障区域,每个待选避障区域中包括至少两个相邻的场景块;
将所述P个待选避障区域对应的避障角度中最小的避障角度作为目标避障角度;所述每个待选避障区域对应的避障角度是根据所述移动装置的运动方向与所述每个待选避障区域的中心点得到的。
8.根据权利要求5至7中任一项所述的装置,其特征在于,所述根据所述图像中多个坐标点对应的深度信息,确定障碍物所在的T个图像块,包括:
根据所述图像中多个坐标点对应的深度信息,确定所述多个坐标点中与所述移动装置的距离小于所述预设避障距离的至少一个坐标点;
对所述至少一个坐标点构成的像素块进行修正,并根据修正后的像素块,确定障碍物所在的T个图像块;
其中,所述修正包括腐蚀、膨胀、开环和/或闭环运算、补齐坐标点、删除像素块中的任意一项或任意多项。
9.一种计算机可读存储介质,其特征在于,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至4任一项所述的方法。
10.一种计算机程序产品,其特征在于,当其在计算机上运行时,使得计算机执行如权利要求1至4任一项所述的方法。
CN201910348612.2A 2019-04-28 2019-04-28 一种避障方法及装置 Active CN110083157B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910348612.2A CN110083157B (zh) 2019-04-28 2019-04-28 一种避障方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910348612.2A CN110083157B (zh) 2019-04-28 2019-04-28 一种避障方法及装置

Publications (2)

Publication Number Publication Date
CN110083157A true CN110083157A (zh) 2019-08-02
CN110083157B CN110083157B (zh) 2022-11-25

Family

ID=67417230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910348612.2A Active CN110083157B (zh) 2019-04-28 2019-04-28 一种避障方法及装置

Country Status (1)

Country Link
CN (1) CN110083157B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110522359A (zh) * 2019-09-03 2019-12-03 深圳飞科机器人有限公司 清洁机器人以及清洁机器人的控制方法
CN110658819A (zh) * 2019-09-30 2020-01-07 北京猎户星空科技有限公司 一种避障方法、装置、电子设备和存储介质
CN111583716A (zh) * 2020-04-29 2020-08-25 浙江吉利汽车研究院有限公司 一种车辆避障方法、装置、电子设备及存储介质
CN113103224A (zh) * 2021-03-02 2021-07-13 上海擎朗智能科技有限公司 移动设备的避让方法、装置及计算机可读存储介质
CN113867349A (zh) * 2021-09-28 2021-12-31 浙江大华技术股份有限公司 一种机器人的避障方法、系统及智能机器人
CN114715436A (zh) * 2022-03-30 2022-07-08 西安中科天塔科技股份有限公司 一种航天器碰撞预警方法、装置、控制设备及存储介质
CN116755562A (zh) * 2023-07-04 2023-09-15 深圳市仙瞬科技有限公司 一种避障方法、装置、介质及ar/vr设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027309A (ja) * 2006-07-24 2008-02-07 Sumitomo Electric Ind Ltd 衝突判定システム、及び衝突判定方法
US20140219507A1 (en) * 2009-08-28 2014-08-07 Indian Institute Of Science Machine vision based obstacle avoidance system
CN104166400A (zh) * 2014-07-11 2014-11-26 杭州精久科技有限公司 基于多传感器融合的视觉导引agv系统
CN105843229A (zh) * 2016-05-17 2016-08-10 中外合资沃得重工(中国)有限公司 无人驾驶智能小车及控制方法
CN106054888A (zh) * 2016-06-28 2016-10-26 旗瀚科技股份有限公司 一种机器人自动避障方法和装置
CN108227712A (zh) * 2017-12-29 2018-06-29 北京臻迪科技股份有限公司 一种无人船的避障行驶方法及装置
CN108549381A (zh) * 2018-05-14 2018-09-18 福州大学 一种基于图像视觉的无人船避障装置及方法
CN108873914A (zh) * 2018-09-21 2018-11-23 长安大学 一种基于深度图像数据的机器人自主导航系统及方法
CN208521184U (zh) * 2018-06-27 2019-02-19 深兰科技(上海)有限公司 物品自动配送装置
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、系统、介质及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027309A (ja) * 2006-07-24 2008-02-07 Sumitomo Electric Ind Ltd 衝突判定システム、及び衝突判定方法
US20140219507A1 (en) * 2009-08-28 2014-08-07 Indian Institute Of Science Machine vision based obstacle avoidance system
CN104166400A (zh) * 2014-07-11 2014-11-26 杭州精久科技有限公司 基于多传感器融合的视觉导引agv系统
CN105843229A (zh) * 2016-05-17 2016-08-10 中外合资沃得重工(中国)有限公司 无人驾驶智能小车及控制方法
CN106054888A (zh) * 2016-06-28 2016-10-26 旗瀚科技股份有限公司 一种机器人自动避障方法和装置
CN108227712A (zh) * 2017-12-29 2018-06-29 北京臻迪科技股份有限公司 一种无人船的避障行驶方法及装置
CN108549381A (zh) * 2018-05-14 2018-09-18 福州大学 一种基于图像视觉的无人船避障装置及方法
CN208521184U (zh) * 2018-06-27 2019-02-19 深兰科技(上海)有限公司 物品自动配送装置
CN108873914A (zh) * 2018-09-21 2018-11-23 长安大学 一种基于深度图像数据的机器人自主导航系统及方法
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、系统、介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKSHAY AGGARWAL等: "Vision based collision avoidance by plotting a virtual obstacle on depth map", 《THE 2010 IEEE INTERNATIONAL CONFERENCE ON INFORMATION AND AUTOMATION》 *
马利红等: "基于深度图像的室内机器人避障系统", 《浙江师范大学学报(自然科学版)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110522359A (zh) * 2019-09-03 2019-12-03 深圳飞科机器人有限公司 清洁机器人以及清洁机器人的控制方法
CN110522359B (zh) * 2019-09-03 2021-09-03 深圳飞科机器人有限公司 清洁机器人以及清洁机器人的控制方法
CN110658819A (zh) * 2019-09-30 2020-01-07 北京猎户星空科技有限公司 一种避障方法、装置、电子设备和存储介质
CN110658819B (zh) * 2019-09-30 2022-04-15 北京猎户星空科技有限公司 一种避障方法、装置、电子设备和存储介质
CN111583716A (zh) * 2020-04-29 2020-08-25 浙江吉利汽车研究院有限公司 一种车辆避障方法、装置、电子设备及存储介质
CN113103224A (zh) * 2021-03-02 2021-07-13 上海擎朗智能科技有限公司 移动设备的避让方法、装置及计算机可读存储介质
CN113867349A (zh) * 2021-09-28 2021-12-31 浙江大华技术股份有限公司 一种机器人的避障方法、系统及智能机器人
CN113867349B (zh) * 2021-09-28 2024-04-09 浙江大华技术股份有限公司 一种机器人的避障方法、系统及智能机器人
CN114715436A (zh) * 2022-03-30 2022-07-08 西安中科天塔科技股份有限公司 一种航天器碰撞预警方法、装置、控制设备及存储介质
CN114715436B (zh) * 2022-03-30 2023-09-08 西安中科天塔科技股份有限公司 一种航天器碰撞预警方法、装置、控制设备及存储介质
CN116755562A (zh) * 2023-07-04 2023-09-15 深圳市仙瞬科技有限公司 一种避障方法、装置、介质及ar/vr设备
CN116755562B (zh) * 2023-07-04 2024-04-05 深圳市仙瞬科技有限公司 一种避障方法、装置、介质及ar/vr设备

Also Published As

Publication number Publication date
CN110083157B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN110083157A (zh) 一种避障方法及装置
Lino et al. Intuitive and efficient camera control with the toric space
US20220207849A1 (en) Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
CN110515452B (zh) 图像处理方法、装置、存储介质和计算机设备
Galvane et al. Camera-on-rails: automated computation of constrained camera paths
WO2020069049A1 (en) Employing three-dimensional data predicted from two-dimensional images using neural networks for 3d modeling applications
EP3349086A1 (en) Method and device for determining a trajectory within a 3d scene for a camera
CN113223130B (zh) 一种路径漫游方法、终端设备以及计算机存储介质
CN106530328A (zh) 一种基于视频图像对运动目标检测和平滑跟随的方法
CN108629799B (zh) 一种实现增强现实的方法及设备
Nguyen et al. Dronevr: A web virtual reality simulator for drone operator
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
Yokoyama et al. Autonomous mobile robot with simple navigation system based on deep reinforcement learning and a monocular camera
CN108881720A (zh) 一种画面获取输出方法、装置、服务器及一种实训一体机
CN113313201A (zh) 基于Swin Transformer和ZED摄像头的多目标检测和测距方法
CN111476869A (zh) 一种面向计算媒体的虚拟摄像机规划方法
Burg et al. Real‐time Anticipation of Occlusions for Automated Camera Control in Toric Space
CN115393538A (zh) 基于深度学习的室内动态场景的视觉slam方法及系统
CN116012483A (zh) 一种图像渲染的方法、装置、存储介质及电子设备
CN103413328A (zh) 运动物体的跟踪方法和装置
Amamra et al. Optimal camera path planning for 3D visualisation
CN109215134A (zh) 三维模型的遮挡确定方法、装置、计算机设备和存储介质
CN116385273B (zh) 步进式全景漫游中点位间的移动方法、系统及存储介质
CN113470053B (zh) 一种合成图分割方法、装置和电子设备
CN112835453B (zh) 模拟人眼聚焦时界面效果的方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant