CN107225570A - 智能机器人的避障方法及装置 - Google Patents
智能机器人的避障方法及装置 Download PDFInfo
- Publication number
- CN107225570A CN107225570A CN201710260074.2A CN201710260074A CN107225570A CN 107225570 A CN107225570 A CN 107225570A CN 201710260074 A CN201710260074 A CN 201710260074A CN 107225570 A CN107225570 A CN 107225570A
- Authority
- CN
- China
- Prior art keywords
- target object
- intelligent robot
- image data
- profile
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 23
- 238000011946 reduction process Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 12
- 238000001514 detection method Methods 0.000 description 21
- 238000005286 illumination Methods 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920000728 polyester Polymers 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/026—Acoustical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Abstract
本发明提供了一种智能机器人的避障方法及装置，所述智能机器人设置多个超声波传感器及至少两个深度摄像机，所述方法包括：在通过深度摄像机及超声波传感器均检测到目标物体时，确定目标物体的深度图像信息；根据所述深度图像信息计算目标物体到智能机器人的距离；根据所述距离控制智能机器人在行走过程中对目标物体进行躲避。以此，可将深度摄像机及超声波传感器相结合对障碍物进行检测，可实现准确且有效的避障效果。
Description
技术领域
本发明涉及计算机技术领域，特别地，涉及一种智能机器人的避障方法及装置。
背景技术
随着科技的迅猛发展，智能终端设备越来越普遍的应用于各行各业及人们的生活中，比如智能手机、PAD、智能机器人，等等。以智能机器人为例，可将智能机器人应用于农业、医学、航天、军事等领域，以解放很大一部分的劳动力，并为人们带来更多的便利及创造出更大的社会价值。
在智能机器人的使用过程中，其行走状态下可能会遇到各种各样的障碍物，如何躲避障碍物(也可简称为避障)，逐渐成为本领域的研究热点。目前，在智能机器人避障的方案中，比如，可采用超声波来检测障碍物，此种方案中，一方面，超声波是利用压电晶体的谐振来工作的，容易受到不确定干拢而引起误触发，导致机器人机器人错误动作；另一方面，超声波测量障碍物的距离需要障碍物的反射，如果障碍物过小或扁平的情况下，则没有足够的面积反射超声波，也即检测不出障碍物，不能实现有效的避障。再比如，可采用双目视觉避障，比如使用双目相机等，此种方案中，一方面，由于相机视场角有限，不能180度全面视场覆盖，即使在光照条件充足时，也可能存在视觉盲区，以检测不到障碍物；另一方面，当光照条件不足时，相机的成像效果不好，也可能反应不出障碍物的位置、大小等，以不能实现有效的避障。
发明内容
本发明提供了一种智能机器人的避障方法及装置，可将深度摄像机及超声波传感器相结合对障碍物进行检测，可实现准确且有效的避障。
为实现上述目的，本发明提出了一种智能机器人的避障方法，所述智能机器人设置多个超声波传感器，所述智能机器人还设置至少两个深度摄像机，所述方法包括：
在通过深度摄像机及超声波传感器均检测到目标物体时，确定目标物体的深度图像信息；
根据所述深度图像信息计算目标物体到智能机器人的距离；
根据所述距离控制智能机器人在行走过程中对目标物体进行躲避。
可选的，所述方法还包括：
在仅通过超声波传感器检测到目标物体时，获取目标物体的位置信息；
根据所述位置信息控制智能机器人在行走过程中对目标物体进行躲避。
可选的，根据所述深度图像信息计算目标物体到智能机器人的距离，包括：
根据深度图像信息求取掩摸深度图像数据；
对掩摸深度图像数据进行降噪处理；
对降噪后的掩摸深度图像数据进行二值化处理以得到二值图像数据；
在二值图像数据中进行轮廓检索以得到轮廓信息；
根据所述轮廓信息获得轮廓到深度摄像机的距离，以作为目标物体到智能机器人的距离。
可选的，根据深度图像信息求取掩摸深度图像数据，包括：
对深度图像进行掩摸以得到对应的掩摸深度图像数据；
将掩摸深度图数据转换为预置数据类型。
可选的，对掩摸深度图像数据进行降噪处理，包括：
通过运用开运算、闭运算对掩摸深度图像数据进行降噪处理。
可选的，在二值图像数据中进行轮廓检索以得到轮廓信息，包括：
通过调用用于检索轮廓的函数在二值图像数据中进行轮廓检索。
可选你的，根据所述轮廓信息获得轮廓到深度摄像机的距离，包括：
根据所述轮廓信息获取轮廓的中心坐标信息；
计算中心坐标到深度摄像机的距离；
distance(x,y)＝Pix(x,y)/X,其中，Pix(x,y)为目标物体轮廓中心深度像素坐标，X为预置距离阈值。
相应的，本发明提出了一种智能机器人的避障装置，所述智能机器人设置多个超声波传感器，所述智能机器人还设置至少两个深度摄像机，所述装置包括：
深度图像信息确定单元，用于在通过深度摄像机及超声波传感器均检测到目标物体时，确定目标物体的深度图像信息；
距离计算单元，用于根据所述深度图像信息计算目标物体到智能机器人的距离；
行走单元，用于根据所述距离控制智能机器人在行走过程中对目标物体进行躲避。
可选的，所述装置，还包括：
位置信息确定单元，用于在仅通过超声波传感器检测到目标物体时，确定目标物体的位置信息；
基于此，所述行走单元，还用于根据所述位置信息控制智能机器人在行走过程中对目标物体进行躲避。
可选的，所述距离计算单元，具体用于：
根据深度图像信息求取掩摸深度图像数据；
对掩摸深度图像数据进行降噪处理；
对降噪后的掩摸深度图像数据进行二值化处理以得到二值图像数据；
在二值图像数据中进行轮廓检索以得到轮廓信息；
根据所述轮廓信息获得轮廓到深度摄像机的距离，以作为目标物体到智能机器人的距离。
本发明实施例提供了一种智能机器人的避障方法及装置，其中，智能机器人可设置多个超声波传感器及至少两个深度摄像机，若通过深度摄像机及超声波传感器都检测到目标物体时，可先确定目标物体的深度图像信息，根据所述深度图像信息计算目标物体与智能机器人的距离，并根据所述距离控制智能机器人在行走过程中对目标物体进行躲避；若仅通过超声波传感器检测到目标物体时，可获取目标物体的位置信息，并根据所述位置信息控制智能机器人在行走过程中对目标物体进行躲避。以此，可通过将深度摄像机与超声波传感器相结合对障碍物进行检测，一方面，通过深度摄像机进行视觉检测，可不受光照影响且测距较为准确，以提高障碍物检测的准确性，进而提高避障效果；另一方面，可通过超声波检测来辅助上述视觉检测，进一步对深度摄像机的视觉盲区进行检测，以提高对视觉盲区等处的检测效果，实现在检测过程中无盲区无死角，以进一步提高障碍物检测的准确性，以提高避障效果。
附图说明
图1是本发明实施例提供的方法流程图；
图2是本发明实施例提供的装置示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
在本实施中，可在智能机器人的正面(也就是正对智能机器人行走的方向)设置多个超声波传感器(比如，可设置于智能机器人正面的左、右两侧等位置)及至少两个深度摄像机(比如，可设置于智能机器人正面的左、右两侧相邻于超声波传感器的位置等)，其中，超声波传感器及深度摄像机的位置可根据实际检测需要而设置，以适于检测到智能机器人行走前方的物体等障碍物为宜。
参见图1，该实施例提供了一种智能机器人的避障方法。
所述方法可以包括如下步骤：
S101，在通过深度摄像机及超声波传感器均检测到目标物体时，确定目标物体的深度图像信息。
在本实施例中，可同时通过深度摄像机及超声波传感器对智能机器人行走前方的物体、人等障碍物进行检测，若两者同时检测存在目标物体时，则可先忽略超声波传感器的检测结果，优先利用深度摄像机的检测结果(也就是视觉检测结果)为准进行避障。
其中，深度摄像机可采用集成有RealSense R200模块的RGB-D摄像机，以可利用Intel的“主动立体成像原理”，模仿人眼的“视差”原理，通过打出一束红外光，以左、右红外传感器追踪这束红外光的位置，然后利用三角定位原理来计算出被拍摄物体对应的3D图像的“深度”信息，即被拍摄物体与左、右摄像头的角度θ1和θ2，再加上固定的y值(即两个摄像头的中心距)，就可以算出z值(即可反映物体层次的像素值)，也就是物体的层次信息，比如桌子在前面，墙壁在后面等信息，以此可作为所述深度图像信息。
S102，根据所述深度图像信息计算目标物体到智能机器人的距离。
在本实施例中，S102可具体包括如下步骤：
步骤1，根据深度图像信息求取掩摸深度图像数据。
在具体实现时，可先读取深度图像数据，深度图像通常是一幅16位的图像，可对该深度图像进行掩摸以求取对应的掩模深度图像数据。
可预先设置一个距离阈值X，该距离阈值的作用是可以清除超过一个固定距离以上(比如2米以上)的物体构成的深度图像数据、清除深度图像中的噪声等等。
算法可为如下：
其中，f(i,j)为深度图像中的像素点，b(i,j)为掩模后的像素点，X为预置距离阈值。
在求取到掩模深度图像数据后，其仍然为16位，为了在后续处理中节约运算量，减少系统消耗，可将掩模深度图数据转换为预置数据类型，比如可采取将16位变换成8位的方式，算法可如下所示:
m(i,j)＝saturate_cast<rType>(alpha*b(i,j)+beta；
其中，m(i,j)为8位的掩模深度像素点，saturate_cast<rType>为取整数值函数，alpha为图像位转换函数，b(i,j)为掩模后的16为像素点，beta补偿系数。
步骤2，对掩摸深度图像数据进行降噪处理。
在具体实现时，可通过运用开运算、闭运算对掩摸深度图像数据进行降噪处理。
其中，开运算可用于移除由深度图像中的噪音形成的斑点，闭运算可用于移除连接被误分为许多小块的对象，因此，可连续运用该这两种运算以消除掩模深度图像中的小块干扰、由噪声形成的斑点等，且通过先用开运算后用闭运算，还可总体上消除图像中破碎的对象。
在实际应用中，开运算法其实就是先腐蚀运算然后再膨胀运算，其数学表达式可为：
g(i,j)＝open[m(i,j),B]＝dilate{erode[m(i,j),b],b}；
其中，g(i,j)为开运算结果，m(i,j)为掩模深度像素点，B为开运算系数对值，b为图像膨胀系数。
闭运算其实就是先膨胀运算然后再腐蚀运算，其数学表达式可为：
g(i,j)＝close[m(i,j),B]＝erode{dilate[m(i,j),B],b}。
其中，g(i,j)为开运算结果，m(i,j)为掩模深度像素点，B为闭运算系数对值，b为图像腐蚀系数。
之后，还可继续进行击中击不中运算:
击中击不中变换需要两个结构元素B1,B2，合成一个结构元素对B＝(B1,B2)。一个用于探测图像内部，作为击中部分；另外一个用于探测图像的外部，作为击不中部分。显然B1和B2是不应该相连的，即
步骤3，对降噪后的掩摸深度图像数据进行二值化处理以得到二值图像数据。
在后续步骤中，需要对掩模深度图像进行轮廓检测,则必须要先对掩模深度图像数据进行二值化处理，也就是，将掩模深度图像中的像素点的灰度值设置为0或255，这样可使整个掩模深度图像呈现出明显的黑白效果，特征区分明显，易于轮廓检测。比如，可使用最大类间差法,用t表示前景与背景的分割阈值，前景点数占掩模深度图像比例为W0，平均灰度为U0；背景点数占掩模深度图像比例为W1，平均灰度为U1，则掩模深度图像的总平均灰度为：
U＝W0*U0+W1*U1；
从最小灰度值到最大灰度值遍历t，当t使得值G＝W0*(U0-U)^2+W1*(U1-U)^2最大,t即为分割的最佳阈值。
步骤4，在二值图像数据中进行轮廓检索以得到轮廓信息。
在实际应用中，可通过调用用于检索轮廓的函数在二值图像数据中进行轮廓检索，比如可调用函数cvFindContours从二值图像数据中检索轮廓，并返回检测到的轮廓的个数、尺寸等轮廓信息。在具体实现时，first_contour参数的值由函数填充返回，它的值将为第一个外轮廓的指针，当没有轮廓被检测到时为NULL，其它轮廓可以使用h_next和v_next连接，从first_contour到达。此外，最主要的是method参数,这个参数涉及轮廓的存储方式,以及什么轮廓能被发现并可以知道得到每个轮廓的信息,用于描述函数是怎么实现的。
另外，还可通过函数vStartFindContours,cvFindNextContour,cvEndFindContours等计算每个轮廓的周长,周长太小的轮廓则可以去掉。
步骤5，根据所述轮廓信息获得轮廓到深度摄像机的距离，以作为目标物体到智能机器人的距离。
在本实施例中，可根据轮廓信息计算所有的轮廓面积，对面积小于预置面积阈值的轮廓去除，然后还可根据轮廓信息得到轮廓的中心坐标信息。
计算中心坐标到深度摄像机的距离，公式可为：
distance(x,y)＝Pix(x,y)/X,其中，Pix(x,y)为目标物体轮廓中心深度像素坐标，X为预置距离阈值。
S103，根据所述距离控制智能机器人在行走过程中对目标物体进行躲避。
也就是说，在智能机器人行走过程中，可在相应的距离处控制机器人转左或向右等方向转动，以躲避开目标物体，实现避障的目的。
此外，在本实施例，还存在深度摄像机未检测到目标物体，仅通过超声波传感器检测到了目标物体，此种情况下，则可根据超声波传感器的检测结果为准进行避障，根据该检测结果确定目标物体的位置信息，比如可包括距离、方位等信息。
在具体实现时，超声波传感器可为多个超声波传感器组成的超声波阵列。在通过超声波传感器检测时，首先，可检测出目标物体到智能机器人的距离，比如可使用至少10us(微秒)的高电平信号，去刺激压电晶体的谐振自动发送8个40khz的超声波，当超声波遇到障碍物的时候，就会返回被接收传感器接收到，通过IO输出一个高电平，高电平持续的时间就是超声波从发送到返回的时间，距离＝(高电平持续的时间*声速(340M/S))/2；其次，还可检测出目标物体的方位，比如是超声波阵列的左边还是有右边等。
然后，可根据所述位置信息控制智能机器人在行走过程中对目标物体进行躲避，也就是说，在智能机器人行走过程中，可在相应的距离处控制机器人转左或向右等方向转动，如果是在超声波阵列的左边发现障碍物，则可控制智能机器人则右转动，反之，则控制智能机器人向左转动，以躲避开目标物体，实现避障的目的。
在实际应用中，当然还存在深度摄像机与超声波传感器均未检测到目标物体，在此种情况下，则可表明智能机器人行走方向上没有障碍物，无需避障，可安全行走。
本发明实施例提供了一种智能机器人的避障方法，其中，智能机器人可设置多个超声波传感器及至少两个深度摄像机，若在通过深度摄像机及超声波传感器都检测到目标物体时，可先确定目标物体的深度图像信息，根据所述深度图像信息计算目标物体与智能机器人的距离，并根据所述距离控制智能机器人在行走过程中对目标物体进行躲避；若仅通过超声波传感器检测到目标物体时，可获取目标物体的位置信息，并根据所述位置信息控制智能机器人在行走过程中对目标物体进行躲避。以此，可通过将深度摄像机与超声波传感器相结合对障碍物进行检测，一方面，通过深度摄像机进行视觉检测，可不受光照影响且测距较为准确，以提高障碍物检测的准确性，进而提高避障效果；另一方面，可通过超声波检测来辅助上述视觉检测，进一步对深度摄像机的视觉盲区进行检测，以提高对视觉盲区等处的检测效果，实现在检测过程中无盲区无死角，以进一步提高障碍物检测的准确性，以提高避障效果。
与前述实施例中提供的智能机器人的避障方法相对应，本申请实施例还提供了一种智能机器人的避障装置。
在本实施中，可在智能机器人的正面(也就是正对智能机器人行走的方向)设置多个超声波传感器(比如，可设置于智能机器人正面的左、右两侧等位置)及至少两个深度摄像机(比如，可设置于智能机器人正面的左、右两侧相邻于超声波传感器的位置等)，其中，超声波传感器及深度摄像机的位置可根据实际检测需要而设置，以适于检测到智能机器人行走前方的物体等障碍物为宜。
参看图2所示，所述装置可以包括：
深度图像信息确定单元21，可用于在通过深度摄像机及超声波传感器均检测到目标物体时，确定目标物体的深度图像信息。
距离计算单元22，可用于根据所述深度图像信息计算目标物体与智能机器人的距离。
行走单元23，可用于根据所述距离控制智能机器人在行走过程中对目标物体进行躲避。
此外，所述装置，还可包括：
位置信息确定单元，可用于在仅通过超声波传感器检测到目标物体时，确定目标物体的位置信息。
基于此，所述行走单元23，还可用于根据所述位置信息控制智能机器人在行走过程中对目标物体进行躲避。
在具体实现时，所述距离计算单元22，可具体用于：
根据深度图像信息求取掩摸深度图像数据；
对掩摸深度图像数据进行降噪处理；
对降噪后的掩摸深度图像数据进行二值化处理以得到二值图像数据；
在二值图像数据中进行轮廓检索以得到轮廓信息；
根据所述轮廓信息获得轮廓到深度摄像机的距离，以作为目标物体到智能机器人的距离。
其中，所述根据深度图像信息求取掩摸深度图像数据，可包括：
对深度图像进行掩摸以得到对应的掩摸深度图像数据；
将掩摸深度图数据转换为预置数据类型。
其中，所述对掩摸深度图像数据进行降噪处理，可包括：
通过运用开运算、闭运算对掩摸深度图像数据进行降噪处理。
其中，所述在二值图像数据中进行轮廓检索以得到轮廓信息，可包括：
通过调用用于检索轮廓的函数在二值图像数据中进行轮廓检索。
其中，所述根据所述轮廓信息获得轮廓到深度摄像机的距离，可包括：
根据所述轮廓信息获取轮廓的中心坐标信息；
计算中心坐标到深度摄像机的距离；
distance(x,y)＝Pix(x,y)/X,其中，Pix(x,y)为目标物体轮廓中心深度像素坐标，X为预置距离阈值。
本发明实施例提供了一种智能机器人的避障装置，其中，智能机器人可设置多个超声波传感器及至少两个深度摄像机，若在通过深度摄像机及超声波传感器都检测到目标物体时，可先确定目标物体的深度图像信息，根据所述深度图像信息计算目标物体与智能机器人的距离，并根据所述距离控制智能机器人在行走过程中对目标物体进行躲避；若仅通过超声波传感器检测到目标物体时，可获取目标物体的位置信息，并根据所述位置信息控制智能机器人在行走过程中对目标物体进行躲避。以此，可通过将深度摄像机与超声波传感器相结合对障碍物进行检测，一方面，通过深度摄像机进行视觉检测，可不受光照影响且测距较为准确，以提高障碍物检测的准确性，进而提高避障效果；另一方面，可通过超声波检测来辅助上述视觉检测，进一步对深度摄像机的视觉盲区进行检测，以提高对视觉盲区等处的检测效果，实现在检测过程中无盲区无死角，以进一步提高障碍物检测的准确性，以提高避障效果。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本发明实施例提供的智能机器人的避障方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种智能机器人的避障方法，所述智能机器人设置多个超声波传感器，其特征在于，所述智能机器人还设置至少两个深度摄像机，所述方法包括：
在通过深度摄像机及超声波传感器均检测到目标物体时，确定目标物体的深度图像信息；
根据所述深度图像信息计算目标物体到智能机器人的距离；
根据所述距离控制智能机器人在行走过程中对目标物体进行躲避。
2.根据权利要求1所述的方法，其特征在于，还包括：
在仅通过超声波传感器检测到目标物体时，获取目标物体的位置信息；
根据所述位置信息控制智能机器人在行走过程中对目标物体进行躲避。
3.根据权利要求1所述的方法，其特征在于，根据所述深度图像信息计算目标物体到智能机器人的距离，包括：
根据深度图像信息求取掩摸深度图像数据；
对掩摸深度图像数据进行降噪处理；
对降噪后的掩摸深度图像数据进行二值化处理以得到二值图像数据；
在二值图像数据中进行轮廓检索以得到轮廓信息；
根据所述轮廓信息获得轮廓到深度摄像机的距离，以作为目标物体到智能机器人的距离。
4.根据权利要求3所述的方法，其特征在于，根据深度图像信息求取掩摸深度图像数据，包括：
对深度图像进行掩摸以得到对应的掩摸深度图像数据；
将掩摸深度图数据转换为预置数据类型。
5.根据权利要求3所述的方法，其特征在于，对掩摸深度图像数据进行降噪处理，包括：
通过运用开运算、闭运算对掩摸深度图像数据进行降噪处理。
6.根据权利要求3所述的方法，其特征在于，在二值图像数据中进行轮廓检索以得到轮廓信息，包括：
通过调用用于检索轮廓的函数在二值图像数据中进行轮廓检索。
7.根据权利要求3所述的方法，其特征在于，根据所述轮廓信息获得轮廓到深度摄像机的距离，包括：
根据所述轮廓信息获取轮廓的中心坐标信息；
计算中心坐标到深度摄像机的距离；
distance(x,y)＝Pix(x,y)/X,其中，Pix(x,y)为目标物体轮廓中心深度像素坐标，X为预置距离阈值。
8.一种智能机器人的避障装置，所述智能机器人设置多个超声波传感器，其特征在于，所述智能机器人还设置至少两个深度摄像机，所述装置包括：
深度图像信息确定单元，用于在通过深度摄像机及超声波传感器均检测到目标物体时，确定目标物体的深度图像信息；
距离计算单元，用于根据所述深度图像信息计算目标物体到智能机器人的距离；
行走单元，用于根据所述距离控制智能机器人在行走过程中对目标物体进行躲避。
9.根据权利要求8所述的装置，其特征在于，还包括：
位置信息确定单元，用于在仅通过超声波传感器检测到目标物体时，确定目标物体的位置信息；
行走单元，还用于根据所述位置信息控制智能机器人在行走过程中对目标物体进行躲避。
10.根据权利要求8所述的装置，其特征在于，所述距离计算单元，具体用于：
根据深度图像信息求取掩摸深度图像数据；
对掩摸深度图像数据进行降噪处理；
对降噪后的掩摸深度图像数据进行二值化处理以得到二值图像数据；
在二值图像数据中进行轮廓检索以得到轮廓信息；
根据所述轮廓信息获得轮廓到深度摄像机的距离，以作为目标物体到智能机器人的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710260074.2A CN107225570A (zh) | 2017-04-20 | 2017-04-20 | 智能机器人的避障方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710260074.2A CN107225570A (zh) | 2017-04-20 | 2017-04-20 | 智能机器人的避障方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107225570A true CN107225570A (zh) | 2017-10-03 |
Family
ID=59933131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710260074.2A Pending CN107225570A (zh) | 2017-04-20 | 2017-04-20 | 智能机器人的避障方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107225570A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108337876A (zh) * | 2017-12-07 | 2018-07-27 | 深圳前海达闼云端智能科技有限公司 | 导盲方法、装置和导盲设备 |
| CN109048910A (zh) * | 2018-08-29 | 2018-12-21 | 广州市君望机器人自动化有限公司 | 机器人避让预判方法及装置 |
| CN109272481A (zh) * | 2018-07-13 | 2019-01-25 | 南京理工大学 | 一种基于深度摄像头的障碍物检测方法 |
| CN109299595A (zh) * | 2018-09-08 | 2019-02-01 | 太若科技(北京)有限公司 | 基于手部皮肤纹理信息解锁ar设备的方法、装置及ar设备 |
| CN109828267A (zh) * | 2019-02-25 | 2019-05-31 | 国电南瑞科技股份有限公司 | 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法 |
| CN110340882A (zh) * | 2018-04-08 | 2019-10-18 | 苏州宝时得电动工具有限公司 | 机器人避障方法、装置、计算机设备及存储介质 |
| CN111376274A (zh) * | 2018-12-28 | 2020-07-07 | 深圳市优必选科技有限公司 | 一种机器人 |
| CN111958590A (zh) * | 2020-07-20 | 2020-11-20 | 佛山科学技术学院 | 一种复杂三维环境中机械臂防碰撞方法及系统 |
| CN112223273A (zh) * | 2020-08-21 | 2021-01-15 | 宁波辰峰自动化科技有限公司 | 一种工业机器人视觉检测及避障系统 |
| CN113966265A (zh) * | 2019-04-26 | 2022-01-21 | 库卡德国有限公司 | 用于运行机器人的方法和系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011008791A (ja) * | 2010-06-30 | 2011-01-13 | Advanced Telecommunication Research Institute International | ロボットの対象物認識方法 |
| CN103530874A (zh) * | 2013-10-09 | 2014-01-22 | 上海大学 | 基于Kinect的人流计数方法 |
| CN104865965A (zh) * | 2015-05-20 | 2015-08-26 | 深圳市锐曼智能装备有限公司 | 机器人用深度摄像头与超声波结合的避障控制方法及系统 |
| CN104932515A (zh) * | 2015-04-24 | 2015-09-23 | 深圳市大疆创新科技有限公司 | 一种自主巡航方法以及巡航设备 |
| CN105284192A (zh) * | 2013-06-25 | 2016-01-27 | 瓦里安医疗系统公司 | 用于在医疗程序中检测对象和患者之间的可能的碰撞的系统和方法 |
| CN105469103A (zh) * | 2014-09-11 | 2016-04-06 | 清华大学 | 基于低质量grb-d数据的场景恢复方法及装置 |
| CN105700528A (zh) * | 2016-02-19 | 2016-06-22 | 深圳前海勇艺达机器人有限公司 | 一种机器人自主导航避障系统及其方法 |
| CN106289232A (zh) * | 2016-07-24 | 2017-01-04 | 广东大仓机器人科技有限公司 | 一种基于深度传感器的机器人避障方法 |
| CN106408846A (zh) * | 2016-11-29 | 2017-02-15 | 周川 | 基于视频监控平台的图像火灾检测方法 |
| WO2018139796A1 (ko) * | 2017-01-25 | 2018-08-02 | 엘지전자 주식회사 | 이동 로봇 및 그의 제어 방법 |
-
2017
- 2017-04-20 CN CN201710260074.2A patent/CN107225570A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011008791A (ja) * | 2010-06-30 | 2011-01-13 | Advanced Telecommunication Research Institute International | ロボットの対象物認識方法 |
| CN105284192A (zh) * | 2013-06-25 | 2016-01-27 | 瓦里安医疗系统公司 | 用于在医疗程序中检测对象和患者之间的可能的碰撞的系统和方法 |
| CN103530874A (zh) * | 2013-10-09 | 2014-01-22 | 上海大学 | 基于Kinect的人流计数方法 |
| CN105469103A (zh) * | 2014-09-11 | 2016-04-06 | 清华大学 | 基于低质量grb-d数据的场景恢复方法及装置 |
| CN104932515A (zh) * | 2015-04-24 | 2015-09-23 | 深圳市大疆创新科技有限公司 | 一种自主巡航方法以及巡航设备 |
| CN104865965A (zh) * | 2015-05-20 | 2015-08-26 | 深圳市锐曼智能装备有限公司 | 机器人用深度摄像头与超声波结合的避障控制方法及系统 |
| CN105700528A (zh) * | 2016-02-19 | 2016-06-22 | 深圳前海勇艺达机器人有限公司 | 一种机器人自主导航避障系统及其方法 |
| CN106289232A (zh) * | 2016-07-24 | 2017-01-04 | 广东大仓机器人科技有限公司 | 一种基于深度传感器的机器人避障方法 |
| CN106408846A (zh) * | 2016-11-29 | 2017-02-15 | 周川 | 基于视频监控平台的图像火灾检测方法 |
| WO2018139796A1 (ko) * | 2017-01-25 | 2018-08-02 | 엘지전자 주식회사 | 이동 로봇 및 그의 제어 방법 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108337876A (zh) * | 2017-12-07 | 2018-07-27 | 深圳前海达闼云端智能科技有限公司 | 导盲方法、装置和导盲设备 |
| CN110340882A (zh) * | 2018-04-08 | 2019-10-18 | 苏州宝时得电动工具有限公司 | 机器人避障方法、装置、计算机设备及存储介质 |
| CN109272481A (zh) * | 2018-07-13 | 2019-01-25 | 南京理工大学 | 一种基于深度摄像头的障碍物检测方法 |
| CN109048910A (zh) * | 2018-08-29 | 2018-12-21 | 广州市君望机器人自动化有限公司 | 机器人避让预判方法及装置 |
| CN109048910B (zh) * | 2018-08-29 | 2020-08-14 | 广州市君望机器人自动化有限公司 | 机器人避让预判方法及装置 |
| CN109299595A (zh) * | 2018-09-08 | 2019-02-01 | 太若科技(北京)有限公司 | 基于手部皮肤纹理信息解锁ar设备的方法、装置及ar设备 |
| CN111376274A (zh) * | 2018-12-28 | 2020-07-07 | 深圳市优必选科技有限公司 | 一种机器人 |
| CN109828267A (zh) * | 2019-02-25 | 2019-05-31 | 国电南瑞科技股份有限公司 | 基于实例分割和深度摄像头的变电站巡检机器人障碍物检测和测距方法 |
| CN113966265A (zh) * | 2019-04-26 | 2022-01-21 | 库卡德国有限公司 | 用于运行机器人的方法和系统 |
| CN111958590A (zh) * | 2020-07-20 | 2020-11-20 | 佛山科学技术学院 | 一种复杂三维环境中机械臂防碰撞方法及系统 |
| CN111958590B (zh) * | 2020-07-20 | 2021-09-28 | 佛山科学技术学院 | 一种复杂三维环境中机械臂防碰撞方法及系统 |
| CN112223273A (zh) * | 2020-08-21 | 2021-01-15 | 宁波辰峰自动化科技有限公司 | 一种工业机器人视觉检测及避障系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107225570A (zh) | 智能机器人的避障方法及装置 | |
| JP2878409B2 (ja) | ３次元物体撮像方式 | |
| CN103971406B (zh) | 基于线结构光的水下目标三维重建方法 | |
| CN101999972B (zh) | 一种基于立体视觉的盲人辅助行走装置及其辅助方法 | |
| CN108154084A (zh) | 用于农机无人驾驶的多传感器融合的农田环境感知方法 | |
| CN108303988A (zh) | 一种无人船的目标识别追踪系统及其工作方法 | |
| CN106485735A (zh) | 基于立体视觉技术的人体目标识别与跟踪方法 | |
| CN207908979U (zh) | 一种无人船的目标识别追踪系统 | |
| CN104287946A (zh) | 盲人避障提示装置及方法 | |
| Bouhamed et al. | New electronic white cane for stair case detection and recognition using ultrasonic sensor | |
| Fabio et al. | Performance evaluation of a low-cost stereo vision system for underwater object detection | |
| CN108169743A (zh) | 农机无人驾驶用农田环境感知方法 | |
| CN105411624A (zh) | 一种超声三维流体成像与测速方法 | |
| CN110136186A (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 | |
| CN112541938A (zh) | 一种行人速度测量方法、系统、介质及计算设备 | |
| KR20210090573A (ko) | 해수면을 고려한 항만 및 선박 모니터링 방법 및 장치 | |
| CN113256697B (zh) | 水下场景的三维重建方法、系统、装置和存储介质 | |
| CN108182410A (zh) | 一种联合目标区域定位和深度特征学习的跌倒识别算法 | |
| CN105824024B (zh) | 一种新的水下闸门防蛙人立体预警识别系统 | |
| Bajcsy | Perception with feedback | |
| Negahdaripour et al. | Opti-acoustic stereo imaging, system calibration and 3-d reconstruction | |
| Tang et al. | Three dimensional height information reconstruction based on mobile active sonar detection | |
| CN112949380B (zh) | 一种基于激光雷达点云数据的智能水下目标识别系统 | |
| JP2641417B2 (ja) | 時空間微分法を用いた計測装置 | |
| CN114882363A (zh) | 一种扫地机的污渍处理方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171003 |
|
| RJ01 | Rejection of invention patent application after publication |