CN111609836A - 基于深度视觉的坡度识别方法、系统、介质、终端、及装置 - Google Patents

基于深度视觉的坡度识别方法、系统、介质、终端、及装置 Download PDF

Info

Publication number
CN111609836A
CN111609836A CN201910141188.4A CN201910141188A CN111609836A CN 111609836 A CN111609836 A CN 111609836A CN 201910141188 A CN201910141188 A CN 201910141188A CN 111609836 A CN111609836 A CN 111609836A
Authority
CN
China
Prior art keywords
target object
gradient
movable device
data
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910141188.4A
Other languages
English (en)
Inventor
吴俊伟
何雪萦
顾龙
梁志远
王兰体
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Taiang Technology Co ltd
Original Assignee
Shanghai Taiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Taiang Technology Co ltd filed Critical Shanghai Taiang Technology Co ltd
Priority to CN201910141188.4A priority Critical patent/CN111609836A/zh
Publication of CN111609836A publication Critical patent/CN111609836A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00Measuring inclination, e.g. by clinometers, by levels

Abstract

本申请提供基于深度视觉的坡度识别方法、系统、介质、终端、及装置,所述方法包括获取在可移动装置的移动方向上的目标物深度图像数据,据以获取用于确定可移动装置是否正对目标物的梯度数据;在根据所述梯度数据确定可移动装置正对目标物的情况下,获取目标物在竖轴为深度坐标轴的三维坐标系下的三维曲面图,据以确定目标物的坡度是否符合预设坡度要求;在确定目标物的坡度符合预设坡度要求的情况下,令可移动装置朝着靠近目标物的方向移动。本申请能够实现智能又精准的坡度识别以利于可移动装置的移动稳定性和效率,且通过自学习不断更新地形图像数据库以大幅减少坡度识别的计算量。

Description

基于深度视觉的坡度识别方法、系统、介质、终端、及装置
技术领域
本申请涉及一深度视觉技术领域,特别是涉及基于深度视觉的坡度识别方法、系统、介质、终端、及装置。
背景技术
现有技术中,可移动装置,如移动机器人、AGV小车等等,广泛应用于平坦的室内,如物流仓库等,能实现快速地从一位置移动至另一位置。但对室外地形的适用能力较差,这主要是因为室外有斜坡、石子等障碍物。现有技术采用激光雷达能有效识别石子等障碍物,但对斜坡尚没有可靠的识别方案,例如识别带有坡度的障碍物或者识别坡道等等,这限制了可移动装置的移动效率和室外适用性。因此,这些问题已成为业界亟待解决的技术问题。
申请内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供基于深度视觉的坡度识别方法、系统、介质、终端、及装置,用于解决现有技术中的可移动装置无法有效识别坡度的问题。
为实现上述目的及其他相关目的,本申请的第一方面提供一种基于深度视觉的坡度识别方法,其包括:获取在可移动装置的移动方向上的目标物深度图像数据,据以获取用于确定可移动装置是否正对目标物的梯度数据;在根据所述梯度数据确定可移动装置正对目标物的情况下,获取目标物在竖轴为深度坐标轴的三维坐标系下的三维曲面图,据以确定目标物的坡度是否符合预设坡度要求;在确定目标物的坡度符合预设坡度要求的情况下,令所述可移动装置朝着靠近目标物的方向移动。
于本申请第一方面的一些实施方式中,所述方法包括:通过执行如下步骤获取所述梯度数据:从所述目标物深度图像数据中撷取至少一条水平横线的深度图像数据;对所述水平横线的深度图像数据进行求导操作,据以获取所述梯度数据。
于本申请第一方面的一些实施方式中,在根据所述梯度数据确定可移动装置未正对目标物的情况下,执行如下步骤:令所述可移动装置朝着能够正对目标物的方向转动,直至所述可移动装置正对所述目标物。
于本申请第一方面的一些实施方式中,所述方法包括:执行如下步骤确定目标物的坡度是否符合所述预设坡度要求:判断所述目标物是否与预设的地形图像数据库中的一或多个地形图像相匹配;若匹配,则确定目标物的坡度符合所述预设坡度要求;若不匹配,则对所述三维曲面图的曲面进行求导操作以获取目标物的坡度数据,并根据所述坡度数据确定目标物的坡度是否符合所述预设坡度要求。
于本申请第一方面的一些实施方式中,所述方法包括:执行如下步骤来根据所述坡度数据确定目标物的坡度是否符合所述预设坡度要求:判断所述坡度数据是否在所述可移动装置所能行驶的安全坡度范围内;若在安全坡度范围内,则确定目标物的坡度符合所述预设坡度要求,且将该坡度数据所对应的地形图像存入所述地形图像数据库中;若不在安全坡度范围内,则确定目标物的坡度不符合所述预设坡度要求。
于本申请第一方面的一些实施方式中,所述方法包括:在根据所述坡度数据确定目标物的坡度不符合预设坡度要求的情况下,执行如下步骤:令所述可移动装置停止移动;或者,令所述可移动装置改变当前移动方向。
为实现上述目的及其他相关目的,本申请的第二方面提供一种基于深度视觉的坡度识别系统,其包括图像处理模块和数据处理模块;其中:所述图像处理模块用于分析目标物的深度图像,以获取在可移动装置的移动方向上的目标物深度图像数据;所述数据处理模块用于获取在可移动装置的移动方向上的目标物深度图像数据,据以获取用于确定可移动装置是否正对目标物的梯度数据;还用于在根据所述梯度数据确定可移动装置正对目标物的情况下,获取目标物在竖轴为深度坐标轴的三维坐标系下的三维曲面图,据以确定目标物的坡度是否符合预设坡度要求;还用于在确定目标物的坡度符合预设坡度要求的情况下,令所述可移动装置朝着靠近目标物的方向移动。
为实现上述目的及其他相关目的,本申请的第三方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现所述基于深度视觉的坡度识别方法。
为实现上述目的及其他相关目的,本申请的第四方面提供一种电子终端,包括:处理器及存储器;所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行所述基于深度视觉的坡度识别方法。
为实现上述目的及其他相关目的,本申请的第五方面提供一种可移动装置,其包括所述电子终端。
如上所述,本申请的基于深度视觉的坡度识别方法、系统、介质、终端、及装置,具有以下有益效果:本申请利用图像深度数据来判断可移动装置是否正对目标物,并在可移动装置正对目标物的情况下,利用图像深度数据来计算目标物的坡度,据以判断当前的目标物是否适于可移动装置,从而实现坡度识别的功能,进而利于可移动装置的移动效率和室外适用性。所以,本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
附图说明
图1显示为本申请一实施例中的场景示意图。
图2显示为本申请一实施例中基于深度视觉的坡度识别方法的流程示意图。
图3显示为本申请一实施例中获取梯度数据的流程示意图。
图4显示为本申请一实施例中利用三维曲面图形识别目标物体坡度的流程示意图。
图5显示为本申请一实施例中基于深度视觉的坡度识别系统的结构示意图。
图6显示为本申请一实施例中电子终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,在下述描述中,参考附图,附图描述了本申请的若干实施例。应当理解,还可使用其他实施例,并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的,并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例,而并非旨在限制本申请。空间相关的术语,例如“上”、“下”、“左”、“右”、“下面”、“下方”、“下部”、“上方”、“上部”等,可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
在本申请中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”、“固持”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
可移动装置,如移动机器人、两轮或多轮智能电动车、平衡车、AGV小车等等,广泛应用于平坦的室内,如物流仓库等,能实现快速地从一位置移动至另一位置。现有技术中的可移动装置对室外地形的适用能力较差,仍无法有效识别坡度,例如识别带有坡度的障碍物或者识别坡道等等,这限制了可移动装置的移动效率和室外适用性。
鉴于现有技术中存在的上述技术问题,本申请提供基于深度视觉的坡度识别方法、系统、介质、终端、及装置,用于解决该些难题。本申请的主要思想旨在利用图像深度数据来判断可移动装置是否正对目标物,并在可移动装置正对目标物的情况下,利用图像深度数据来计算目标物的坡度,据以判断当前的目标物是否适于可移动装置,从而实现坡度识别的功能,进而利于可移动装置的移动效率和室外适用性。
如图1所示,展示本申请在一实施例中的场景示意图。于本实施例中,选取基于俯视视角的视图作为该场景的场景示意图。图中的坡道11位于可移动装置12的移动路径上,为保证可移动装置12能够顺利驶过坡道11,需对坡道11进行坡度识别。在识别坡道11为安全坡道的情况下控制可移动装置12驶过,并在识别坡道11为不安全坡道的情况下放弃该坡道。
本申请根据采集到的坡道11的深度图像数据可获取图像中的坡道的横向梯度数据,并根据该梯度数据超出系统预设的容忍值,来确定可移动装置12是否正对正对坡道11。于本实施例中,可移动装置12位于一未正对坡道11的初始位置,即虚线框所表示的位置。
于是,根据坡道11的深度图像数据获取到的横向梯度数据超出系统预设的容忍值,故可判断可移动装置12当前处于未正对坡道的姿态。因此,令可移动装置12沿着箭头A的方向原地旋转直至正对坡道11,即实线框所所表示的位置。
待可移动装置12正对坡道11后,首先判断坡道11的地形图像是否与预设的地形图像数据库中的一或多个地形图像匹配。若匹配,则可直接确定坡道11为安全坡道,适于可移动装置12驶过;若不匹配,则不可直接确定坡道11是否为安全坡道。具体的,可根据深度图像数据计算坡道11的坡度值,根据坡度值是否在可移动装置12的上坡能力范围内来判断坡道11是否为安全坡道。
若计算所得的坡度值在可移动装置12的上坡能力范围内,则确定坡道11适于可移动装置12的安全坡道,可移动装置12可沿着箭头A的方向驶过坡道11。若计算所得的坡度值不在可移动装置12的上坡能力范围内,则放弃坡道11。
上文,介绍了本申请在一实施例中的场景示意。下文,将结合具体的实施例对本申请技术方案的原理做进一步的解释与说明。
如图2所示,展示本申请一实施例中基于深度视觉的坡度识别方法的流程示意图。
在一些实施方式中,所述方法可应用于控制器,例如:ARM控制器、FPGA控制器、SoC控制器、DSP控制器、或者MCU控制器等等。在一些实施方式中,所述方法也可应用于包括存储器、存储控制器、一个或多个处理单元(CPU)、外设接口、RF电路、音频电路、扬声器、麦克风、输入/输出(I/O)子系统、显示屏、其他输出或控制设备,以及外部端口等组件的计算机;所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(Personal Digital Assistant,简称PDA)等个人电脑。在另一些实施方式中,所述方法还可应用于服务器,所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上,也可以由分布的或集中的服务器集群构成。
需要说明的是,该些用于执行所述基于深度视觉的坡度识别方法的控制器、个人电脑、或者服务器/服务器集群等硬件设备,可位于所述可移动装置上,也可与所述可移动装置远程通信。
于本实施例中,所述基于深度视觉的坡度识别方法包括步骤S21、步骤S22、步骤S23、步骤S24、以及步骤S25。
在步骤S21中,获取在可移动装置的移动方向上的目标物深度图像数据,据以获取用于确定可移动装置是否正对目标物的梯度数据。
所述可移动装置例如为移动机器人、两轮或多轮智能电动车、平衡车、AGV小车等等,所述目标物例如为坡道、带坡度的障碍物、或者不平滑表面等等。所述目标物深度图像数据是指利用三维深度传感器获取实际场景中的设定距离内的目标物的深度图像数据,图像中每一个点的深度数据即深度值,是指实际场景中的目标物到三维传感器的直线距离。
在一实施例中,所述三维深度传感器可以是TOF深度传感器,其通过给目标物体连续发送光脉冲,并用传感器接收从物体返回的光,探测光脉冲的飞行(往返)时间来得到目标物体的距离。TOF深度传感器相比于一般的3D激光传感器而言,能够实现同时得到整幅图像的深度信息,而3D激光传感器只能实现逐点扫描,且TOF深度传感器与立体相机或三角测量系统相比,具有体积小巧,轻便等优势,更适于本申请中应用于可移动装置的场景。
在一实施例中,所述三维深度传感器也可以是结构光传感器,其通过红外激光器,将具有一定结构特征的光线透射到目标物体上,再由专门的红外摄像头进行采集反射的结构光图案,根据三角测量原理进行深度信息的计算。
在一实施例中,所述三维深度传感器还可以是双目视觉传感器,其由两台性能相同的面阵CCD摄像机组成,基于立体视差的原理,可完成视场内的所有特征点的三维测量,擅长于圆孔的中心,三棱顶点位置的测量等等。
所述三维深度传感器包括但不限于TOF深度传感器、结构光传感器、双目视觉传感器。另外,所述三维深度传感器可选用其中的一种传感器,或者两两组合的传感器组,或者同时选用该三种传感器的传感器组,本申请对此不作限定。
如图3所示,展示本申请一实施例中获取梯度数据的流程示意图。于本实施例中,通过执行步骤S31和步骤S32来获取所述梯度数据。
在步骤S31中,从所述目标物深度图像数据中撷取至少一条水平横线的深度图像数据。所述水平横线是指从目标物深度图像中撷取的图像横向方向的直线,其优选位于深度图像正中间或靠近正中间位置的横线,以使所选择的横线更具有代表性,更利于提升判断可移动装置是否正对目标物的准确性。
在步骤S32中,对所述水平横线的深度图像数据进行求导操作,据以获取所述梯度数据。具体的,将求导计算得到的梯度数据与系统预设的容忍值做比较,若小于系统预设的容忍值,则可认为可移动装置是正对目标物体的;若超过系统预设的容忍值,则可认为可移动装置未正对目标物体,需进行进一步的调整。
需要说明的是,所述系统预设的容忍值可根据系统过往的经验数据获得,可通过不断的自学习过程进行矫正。
在步骤S22中,在根据所述梯度数据确定可移动装置未正对目标物的情况下,令所述可移动装置朝着能够正对目标物的方向转动,直至所述可移动装置正对所述目标物。
在一实施例中,确定可移动装置未正对目标物后,令所述可移动装置原地旋转一预设角度,然后回到步骤S21,判断旋转后的可移动装置是否正对目标物,若仍未正对目标物,则继续旋转并继续判断是否正对目标物,重复以上操作,直至所述可移动装置正对目标物位置。
值得注意的是,本实施例中通过令可移动装置原地旋转的方式调整其正对目标物体,可有效避免可移动装置在距离目标物较近的情况下,在调整方向的过程中与目标物体发生碰撞或者以不正对目标物体的姿态驶向目标物体等不利于平稳行驶的情况。但需要说明的是,在其他的实施例中,也可令可移动装置在从原地驶向其他位置的过程中调整至正对目标物体,本申请对此不作限定。
在步骤S23中,在根据所述梯度数据确定可移动装置正对目标物的情况下,获取目标物在竖轴为深度坐标轴的三维坐标系下的三维曲面图,据以确定目标物的坡度是否符合预设坡度要求。
在一实施例中,选取目标物深度图像上的中间竖线为参照纵坐标,以该竖线左右各X个单位的距离为横坐标,所截取的范围即为目标分析图像,且X的值不小于图像横向像素值的四分之一。
优选的,三维深度传感器将采集到的目标物深度图像进行去噪处理,并建立空间立体三维坐标系。其中,三维坐标系的X轴表示图像长度值,三维坐标系的Y轴表示图像宽度值,三维坐标系的Z轴表示图像中每一个像素点的深度值。基于该三维坐标系绘制的图形为三维曲面图形,利用所述三维曲面图形识别目标物体的坡度,进而判断目标物体的坡度是否符合预设坡度要求。
如图4所示,展示本申请一实施例中利用三维曲面图形识别目标物体坡度的流程示意图。于本实施例中,通过执行步骤S41、步骤S42、步骤S43、步骤S44、步骤S45、以及步骤S46来识别目标物体的坡度。
在步骤S41中,判断所述目标物是否与预设的地形图像数据库中的一或多个地形图像相匹配。所述预设的地形图像数据库包括基于过往试验、经验、或者理论计算获得的地形图像的集合,数据库中的地形图像均适用于所述可移动装置。
在步骤S42中,若匹配,则确定目标物的坡度符合所述预设坡度要求。也即,若当前目标物体的地形图像与数据库中的一或多个地形图像匹配,则可直接判断当前的目标物体是适于所述可移动装置的。
在步骤S43中,若不匹配,则对所述三维曲面图的曲面进行求导操作以获取目标物的坡度数据,并根据所述坡度数据确定目标物的坡度是否符合所述预设坡度要求。
在步骤S44中,判断所述坡度数据是否在所述可移动装置所能行驶的安全坡度范围内。例如:可将目标物体的坡度数据与所述可移动装置能够行驶的最大坡度值进行比较,根据比较的结果来判断坡度数据是否在所述可移动装置所能行驶的安全坡度范围内。
在步骤S45中,若在安全坡度范围内,则确定目标物的坡度符合所述预设坡度要求,且将该坡度数据所对应的地形图像存入所述地形图像数据库中。
于本实施例中,所述地形图像数据库根据每一次的试验或者实践进行增补更新,具有自学习的功能,故该地形图像数据库随着试验或者实践次数的增加而功能愈加丰富,且随着地形图像数据库的不断增补更新,进行求导计算坡度数据的操作会随之越来越少,从而大大提升坡度识别的效率和精准度。
在步骤S46中,若不在安全坡度范围内,则确定目标物的坡度不符合所述预设坡度要求。
在步骤S24中,在确定目标物的坡度符合预设坡度要求的情况下,令所述可移动装置朝着靠近目标物的方向移动。也即,在判断当前的目标物体符合预设坡度要求的情况下,可令所述可移动装置驶过该目标物体。
在步骤S25中,在确定目标物的坡度不符合预设坡度要求的情况下,令所述可移动装置停止移动或者令所述可移动装置改变当前移动方向。也即,在判断当前的目标物体不符合预设坡度要求的情况下,可令所述可移动装置放弃该目标物体。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图5所示,展示本申请一实施例中基于深度视觉的坡度识别系统的结构示意图。所述系统包括图像处理模块51和数据处理模块52。
图像处理模块51用于分析目标物的深度图像,以获取在可移动装置的移动方向上的目标物深度图像数据。
数据处理模块52用于获取模块用于获取在可移动装置的移动方向上的目标物深度图像数据,据以获取用于确定可移动装置是否正对目标物的梯度数据;还用于在根据所述梯度数据确定可移动装置正对目标物的情况下,获取目标物在竖轴为深度坐标轴的三维坐标系下的三维曲面图,据以确定目标物的坡度是否符合预设坡度要求;还用于在确定目标物的坡度符合预设坡度要求的情况下,令所述可移动装置朝着靠近目标物的方向移动。
需要说明的是,本实施例提供的系统与上文中提供的方法,实施方式类似,故不再赘述。另外需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,数据处理模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上数据处理模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital signal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
如图6所示,展示本申请实施例提供的再一种电子终端的结构示意图。本实例提供的电子终端,包括:处理器61、存储器62、收发器63、通信接口64和系统总线65;存储器62和通信接口64通过系统总线65与处理器61和收发器63连接并完成相互间的通信,存储器62用于存储计算机程序,通信接口64和收发器63用于和其他设备进行通信,处理器61用于运行计算机程序,使电子终端执行如上基于深度视觉的坡度识别方法的各个步骤。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种可移动装置,其包括上文所述的电子终端,所述可移动装置例如为移动机器人、两轮或多轮智能电动车、平衡车、AGV小车等等。因其实施方式与上文中的坡度识别方法的实施方式类似,故不再赘述。
综上所述,本申请提供基于深度视觉的坡度识别方法、系统、介质、终端、及装置,本申请利用图像深度数据来判断可移动装置是否正对目标物,并在可移动装置正对目标物的情况下,利用图像深度数据来计算目标物的坡度,据以判断当前的目标物是否适于可移动装置,从而实现坡度识别的功能,进而利于可移动装置的移动效率和室外适用性。所以,本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于深度视觉的坡度识别方法,其特征在于,包括:
获取在可移动装置的移动方向上的目标物深度图像数据,据以获取用于确定可移动装置是否正对目标物的梯度数据;
在根据所述梯度数据确定可移动装置正对目标物的情况下,获取目标物在竖轴为深度坐标轴的三维坐标系下的三维曲面图,据以确定目标物的坡度是否符合预设坡度要求;
在确定目标物的坡度符合预设坡度要求的情况下,令所述可移动装置朝着靠近目标物的方向移动。
2.根据权利要求1所述的方法,其特征在于,所述方法包括:通过执行如下步骤获取所述梯度数据:
从所述目标物深度图像数据中撷取至少一条水平横线的深度图像数据;
对所述水平横线的深度图像数据进行求导操作,据以获取所述梯度数据。
3.根据权利要求1所述的方法,其特征在于,所述方法包括:在根据所述梯度数据确定可移动装置未正对目标物的情况下,执行如下步骤:
令所述可移动装置朝着能够正对目标物的方向转动,直至所述可移动装置正对所述目标物。
4.根据权利要求1所述的方法,其特征在于,所述方法包括:执行如下步骤确定目标物的坡度是否符合所述预设坡度要求:
判断所述目标物是否与预设的地形图像数据库中的一或多个地形图像相匹配;
若匹配,则确定目标物的坡度符合所述预设坡度要求;
若不匹配,则对所述三维曲面图的曲面进行求导操作以获取目标物的坡度数据,并根据所述坡度数据确定目标物的坡度是否符合所述预设坡度要求。
5.根据权利要求4所述的方法,其特征在于,所述方法包括:执行如下步骤来根据所述坡度数据确定目标物的坡度是否符合所述预设坡度要求:
判断所述坡度数据是否在所述可移动装置所能行驶的安全坡度范围内;
若在安全坡度范围内,则确定目标物的坡度符合所述预设坡度要求,且将该坡度数据所对应的地形图像存入所述地形图像数据库中;
若不在安全坡度范围内,则确定目标物的坡度不符合所述预设坡度要求。
6.根据权利要求1所述的方法,其特征在于,所述方法包括:在根据所述坡度数据确定目标物的坡度不符合预设坡度要求的情况下,执行如下步骤:
令所述可移动装置停止移动;或者,
令所述可移动装置改变当前移动方向。
7.一种基于深度视觉的坡度识别系统,其特征在于,包括图像处理模块和数据处理模块;其中:
所述图像处理模块用于分析目标物的深度图像,以获取在可移动装置的移动方向上的目标物深度图像数据;
所述数据处理模块用于获取在可移动装置的移动方向上的目标物深度图像数据,据以获取用于确定可移动装置是否正对目标物的梯度数据;还用于在根据所述梯度数据确定可移动装置正对目标物的情况下,获取目标物在竖轴为深度坐标轴的三维坐标系下的三维曲面图,据以确定目标物的坡度是否符合预设坡度要求;还用于在确定目标物的坡度符合预设坡度要求的情况下,令所述可移动装置朝着靠近目标物的方向移动。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的基于深度视觉的坡度识别方法。
9.一种电子终端,其特征在于,包括:处理器、存储器、及通信器;
所述存储器用于存储计算机程序;
所述通信器用于与外部通信;
所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行如权利要求1至6中任一项所述的基于深度视觉的坡度识别方法。
10.一种可移动装置,其特征在于,包括如权利要求9所述的电子终端。
CN201910141188.4A 2019-02-26 2019-02-26 基于深度视觉的坡度识别方法、系统、介质、终端、及装置 Pending CN111609836A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910141188.4A CN111609836A (zh) 2019-02-26 2019-02-26 基于深度视觉的坡度识别方法、系统、介质、终端、及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910141188.4A CN111609836A (zh) 2019-02-26 2019-02-26 基于深度视觉的坡度识别方法、系统、介质、终端、及装置

Publications (1)

Publication Number Publication Date
CN111609836A true CN111609836A (zh) 2020-09-01

Family

ID=72202874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910141188.4A Pending CN111609836A (zh) 2019-02-26 2019-02-26 基于深度视觉的坡度识别方法、系统、介质、终端、及装置

Country Status (1)

Country Link
CN (1) CN111609836A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101701818A (zh) * 2009-11-05 2010-05-05 上海交通大学 远距离障碍的检测方法
CN103903253A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 一种可移动终端定位方法及系统
CN104700105A (zh) * 2015-03-11 2015-06-10 宁波工程学院 非结构化室外地形全局检测方法
CN107341454A (zh) * 2017-06-21 2017-11-10 海信集团有限公司 一种场景中障碍物的检测方法及装置、电子设备
CN109255302A (zh) * 2018-08-15 2019-01-22 广州极飞科技有限公司 目标物识别方法及终端、移动装置控制方法及终端
CN109296286A (zh) * 2018-09-18 2019-02-01 惠州拓邦电气技术有限公司 基于视觉的无轨电动门运行控制方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101701818A (zh) * 2009-11-05 2010-05-05 上海交通大学 远距离障碍的检测方法
CN103903253A (zh) * 2012-12-28 2014-07-02 联想(北京)有限公司 一种可移动终端定位方法及系统
CN104700105A (zh) * 2015-03-11 2015-06-10 宁波工程学院 非结构化室外地形全局检测方法
CN107341454A (zh) * 2017-06-21 2017-11-10 海信集团有限公司 一种场景中障碍物的检测方法及装置、电子设备
CN109255302A (zh) * 2018-08-15 2019-01-22 广州极飞科技有限公司 目标物识别方法及终端、移动装置控制方法及终端
CN109296286A (zh) * 2018-09-18 2019-02-01 惠州拓邦电气技术有限公司 基于视觉的无轨电动门运行控制方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武凯宾: "非结构环境下基于三维相机的移动机器人障碍物检测研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Similar Documents

Publication Publication Date Title
CN110793512A (zh) 位姿识别方法、装置、电子设备和存储介质
CN110082775B (zh) 基于激光装置的车辆定位方法和系统
US11045953B2 (en) Relocalization method and robot using the same
CN108733065B (zh) 一种机器人的避障方法、装置及机器人
CN107218927A (zh) 一种基于tof相机的货物托盘检测系统和方法
WO2023005384A1 (zh) 可移动设备的重定位方法及装置
CN110850859A (zh) 一种机器人及其避障方法和避障系统
CN111805535A (zh) 一种定位导航方法、装置以及计算机存储介质
US11460855B1 (en) Systems and methods for sensor calibration
KR101030317B1 (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN114179788A (zh) 自动泊车方法、系统、计算机可读存储介质及车机端
Luo et al. Multisensor integrated stair recognition and parameters measurement system for dynamic stair climbing robots
CN115552348A (zh) 移动目标跟随方法、机器人和计算机可读存储介质
CN110992424A (zh) 基于双目视觉的定位方法和系统
CN116931583B (zh) 移动对象的确定方法和避让方法、装置、设备及存储介质
CN112987748A (zh) 机器人狭窄空间的控制方法、装置、终端及存储介质
CN111609836A (zh) 基于深度视觉的坡度识别方法、系统、介质、终端、及装置
Goto et al. 3D environment measurement using binocular stereo and motion stereo by mobile robot with omnidirectional stereo camera
Sadreddini et al. A distance measurement method using single camera for indoor environments
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN117359608A (zh) 机器人运动控制法以及装置
CN113405557B (zh) 路径规划方法及相关装置、电子设备、存储介质
WO2022141262A1 (en) Object detection
CN115272465A (zh) 物体定位方法、装置、自主移动设备和存储介质
CN111656404B (zh) 图像处理方法、系统及可移动平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200901

RJ01 Rejection of invention patent application after publication