CN109074668A - 路径导航方法、相关装置及计算机可读存储介质 - Google Patents

路径导航方法、相关装置及计算机可读存储介质 Download PDF

Info

Publication number
CN109074668A
CN109074668A CN201880001094.0A CN201880001094A CN109074668A CN 109074668 A CN109074668 A CN 109074668A CN 201880001094 A CN201880001094 A CN 201880001094A CN 109074668 A CN109074668 A CN 109074668A
Authority
CN
China
Prior art keywords
obstacle information
path
coordinate system
point cloud
dimensional point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880001094.0A
Other languages
English (en)
Other versions
CN109074668B (zh
Inventor
林义闽
廉士国
李业
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Robotics Co Ltd
Original Assignee
Cloudminds Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Inc filed Critical Cloudminds Inc
Publication of CN109074668A publication Critical patent/CN109074668A/zh
Application granted granted Critical
Publication of CN109074668B publication Critical patent/CN109074668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

本申请涉及计算机视觉技术领域，公开了一种路径导航方法、相关装置及计算机可读存储介质。该方法应用于终端或云端，包括以下步骤：获取深度图；根据深度图构建世界坐标系下的三维点云，并根据世界坐标系下的三维点云进行路面检测确定第一通路障碍物信息；根据深度图进行图像学习确定第二通路障碍物信息；将第一通路障碍物信息和第二通路障碍物信息进行合并获得第三通路障碍物信息；根据第三通路障碍物信息进行路径导航。根据获取的深度图进行路面检测确定的第一通路障碍物信息，结合根据深度图进行图像学习确定的第二通路障碍物信息，确定出与实际路况更加匹配的第三通路障碍物信息，并根据第三通路障碍物信息进行导航，使导航结果更加准确。

Description

路径导航方法、相关装置及计算机可读存储介质
技术领域
本申请涉及计算机视觉技术领域，特别涉及一种路径导航方法、相关装置及计算机可读存储介质。
背景技术
随着自动驾驶和导航技术的发展，目前的无人机、自主机器人等智能设备能够通过视觉深度传感器来采集图像信息，并根据获取的图像信息进行分析，从而实现避障和导航。
发明人在研究现有技术过程中发现，现有技术中的自主机器人等智能设备进行自主行走，通过获取障碍物信息实现导航时，往往根据采集的视觉信息通过定位结果确定通路障碍物信息，并进行导航，但由于视角限制和自身设备的缺陷，单纯使用这种方式可能无法获取到准确的通路障碍物信息，因此在根据获取的通路障碍物信息进行导航时，影响导航的准确性。
发明内容
本申请部分实施例所要解决的一个技术问题在于提供一种路径导航方法、相关装置及计算机可读存储介质，以解决上述技术问题。
本申请的一个实施例提供了一种路径导航方法、相关装置及计算机可读存储介质，包括：获取深度图；根据深度图构建世界坐标系下的三维点云，并根据世界坐标系下的三维点云进行路面检测确定第一通路障碍物信息；根据深度图进行图像学习确定第二通路障碍物信息；将第一通路障碍物信息和第二通路障碍物信息进行合并获得第三通路障碍物信息；根据第三通路障碍物信息进行路径导航。
本申请实施例还提供了一种路径导航装置，该路径导航装置包括：获取模块，用于获取深度图；第一确定模块，用于根据深度图构建世界坐标系下的三维点云，并根据世界坐标系下的三维点云进行路面检测确定第一路障碍物信息；第二确定模块，用于根据深度图进行图像学习确定第二通路障碍物信息；合并模块，用于将第一通路障碍物信息和第二通路障碍物信息进行合并获得第三通路障碍物信息；导航模块，用于根据第三通路障碍物信息进行路径导航。
本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意方法实施例中涉及的路径导航方法。
本申请实施例还提供了一种计算机可读存储介质，存储有计算机指令，计算机指令用于使计算机执行本申请任意方法实施例中涉及的路径导航方法。
本申请实施例相对于现有技术而言，根据获取的深度图进行路面检测确定的第一通路障碍物信息，结合根据获取的深度图进行图像学习确定的第二通路障碍物信息，确定出与实际路况更加匹配的第三通路障碍物信息，并根据更符合实际的第三通路障碍物信息进行路径导航，提高路径导航的准确性。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请第一实施例中路径导航方法的流程图；
图2是本申请第一实施例中像素坐标系和相机坐标系的关系图；
图3是本申请第一实施例中相机坐标系和世界坐标系的关系图；
图4是本申请第二实施例中路径导航方法的流程图；
图5是本申请第三实施例中路径导航装置的方框示意图；
图6是本申请第四实施例中路径导航装置的方框示意图；
图7是本申请第五实施例中电子设备的结构实例图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请部分实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请的第一实施例涉及一种路径导航方法，应用于终端或云端。终端可以是导盲头盔、无人驾驶车辆或智能机器人等设备。云端与终端通信连接，为终端提供用于定位的地图或直接为终端提供定位结果。本实施例以终端为例说明路径导航方法的执行过程，云端执行该路径导航方法的过程可以参考本申请实施例的内容。
该路径导航方法的具体流程如图1所示，包括以下步骤：
在步骤101中，获取深度图。
具体的说，在本实施例中，深度图包括彩色图和彩色图对应的深度值。获取深度图的方式可以是终端在移动过程中通过摄像装置实时拍摄所获得的。
在步骤102中，根据深度图构建世界坐标系下的三维点云，并根据世界坐标系下的三维点云进行路面检测确定第一通路障碍物信息。
具体的说，根据深度图构建第一相机坐标系下的三维点云，获取终端的位姿信息，根据第一相机坐标系下的三维点云和位姿信息构建世界坐标系下的三维点云，再根据世界坐标系下的三维点云进行路面检测确定第一通路障碍物信息。
在一个具体实现中，利用公式(1)构建深度相机坐标系下的三维点云，公式(1)表示如下：
其中，u和v是深度图中像素点的位置坐标，f是深度相机的内参数，Xd、Yd和Zd是三维点云在深度相机坐标系下的坐标值，H表示深度图的宽，W表示深度图的高，并且Zd是深度图中像素点的深度值，为已知量。
另外，需要根据深度相机和彩色相机的转换关系，获得三维点云在第一相机(彩色相机)坐标系下的三维点云，并且利用公式(2)构建第一相机坐标系下的三维点云，公式(2)表示如下：
[Xc Yc Zc]＝[R,T]cd[Xd Yd Zd] (2)
其中，Xd、Yd和Zd是三维点云在深度相机坐标系下的坐标值，Xc、Yc和Zc是三维点云在第一相机坐标系下的坐标值，[R,T]cd是深度相机和第一相机之间固定的转换矩阵，为已知量。
具体的说，在获取位姿信息时，具体为根据深度图进行特征提取获取特征角点，并确定特征角点对应的描述子，将深度图中的任意两帧图像的描述子进行匹配获得匹配信息，根据匹配信息获得转换矩阵；根据转换矩阵确定第二相机坐标系下的三维点云，根据第一相机坐标系下的三维点云和第二相机坐标系下的三维点云对转换矩阵进行校验；通过对校验后的转换矩阵进行优化获得位姿信息P。
需要说明的是，在本申请实施方式中，深度相机坐标系下的三维点云是根据包含深度值的深度图所构建的；第一相机坐标系下的三维点云是根据深度相机和彩色相机之间的固定转换关系，对深度相机坐标系下的三维点云通过计算获得的；第二相机坐标系下的三维点云是根据获取的彩色图通过特征点匹配获得的，因此理论上来说，在不存在匹配误差的情况下，第一相机坐标系下的三维点云与第二坐标系下的三维点云应该相同。
需要说明的是，在本实施方式中，具体是对深度图中的彩色图进行特征提取获得特征角点的，因此第二相机坐标系下的三维点云是基于对彩色图中的特征点进行提取和匹配等过程所最终获得的。而第一相机坐标系下的三维点云是通过深度相机坐标系下的三维点云转换获得的。虽然获取方式不同，但两者表达含义相同，所以对于任意一个特征角点，其在第一相机坐标系下的三维点云中的坐标，应与其在第二相机坐标系下的三维点云坐标相同。但由于匹配误差的存在，实际可能并不相同，因此需要对转换矩阵进行校验，并对校验后的转换矩阵进行优化，以使获得的终端位姿信息P更准确。当然，对于获取位姿信息的具体方式并不是本申请的重点，所以本申请实施例不再对其进行赘述。
具体的说，根据获取的位姿信息P和第一相机坐标系下的三维点云构建世界坐标系下的三维点云，以实现三维重建。并且利用公式(3)构建世界坐标系下的三维点云，公式(3)表示如下：
[Xw Yw Zw]＝P[Xc Yc Zc] (3)
其中，Xw、Yw和Zw是三维点云在世界坐标系下的坐标值，P是获取的位姿信息，Xc、Yc和Zc是三维点云在第一相机坐标系下的坐标值。
需要说明的是，在进行坐标系方向确定时，设定标准图像坐标系为o1-xy，则相机坐标系和像素坐标系的关系如图2所示，相机坐标系和世界坐标的关系如图3所示。
其中，如图2所示，以深度图像的左上角为原点建立的以像素为单位的直角坐标系o-uv称为像素坐标系。像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。图像坐标系o1-xy的原点o1定义为相机光轴与深度图像平面的交点，且x轴与u轴平行，y轴与v轴平行。相机坐标系Oc-XcYcZc以相机光心Oc为坐标原点，Xc轴和Yc轴分别与图像坐标系的x轴和y轴平行，Zc轴为相机的光轴，和图像平面垂直并交于o1点。
其中，如图3所示，世界坐标系Ow-XwYwZw的原点Ow与相机坐标系的原点Oc重合，均为相机光心，选取水平向右为Xw轴正方向，垂直向下为Yw轴正方向，垂直Xw Yw平面并指向正前方为Zw轴正方向，建立世界坐标系。
具体的说，在根据世界坐标系下的三维点云进行路面检测确定第一通路障碍物信息时，是根据世界坐标系下的三维点云进行路面检测获得道路的地面信息，根据获取的地面信息确定第一通路障碍物信息。
在一个具体实现中，根据世界坐标系下的三维点云进行路面检测，确定出三维点云中的地面区域和非地面区域，将获取的结果作为道路的地面信息。在确定出的地面区域进行障碍物检测确定出地面区域上的通路状况和障碍物状况，并用[x y z L]对世界坐标系下的三维点云进行标定，其中，x、y和z表示世界坐标系下的三维点云中任一点的坐标，L表示该点的属性，L＝0表示通路，L＝1表示障碍物，并将检测出的通路状况和障碍物状况的结果作为第一通路障碍物信息。
在步骤103中，根据深度图进行图像学习确定第二通路障碍物信息。
具体的说，根据彩色图生成初始候选区域，对初始候选区域进行划分获得至少两个第一候选区域；对每个第一候选区域进行特征提取，并确定每个第一候选区域的类别，其中，类别包括障碍物和路面；根据每个第一候选区域的类别和每个第一候选区域在初始候选区域的位置，确定第二通路障碍物信息。
在一个具体实现中，在彩色图像上经过图像学习生成初始候选区域时，每一个初始候选区域为矩形框并用ROI＝[a,b,w,h]表示，a，b表示矩形框初始候选区域的左顶点在彩色图像中的位置坐标，w，h表示初始候选区域矩形框的宽和高。将已经确定位置和大小的初始候选区域ROI平均分割成k×k个第一候选区域，用box＝[a+i×k,b+j×k,w/k,h/k]表示每个第一候选区域，i和j分别表示每个第一候选区域在水平方向和竖直方向上的序号。对每个确定的第一候选区域box通过卷积计算进行特征提取，确定每个第一候选区域的类别，其中，类别用字母class表示。若经过特征提取确定该第一候选区域的类别class＝1，则表示该第一候选区域为障碍物，若经过特征提取确定该第一候选区域的类别class＝0，则表示该第一候选区域为通路。根据每个第一候选区域的类别和每个第一候选区域在初始候选区域的位置，以及初始候选区域在彩色图像中的位置，确定出彩色图像中的障碍物和通路的信息，相应的彩色图像中的每个像素相应的对应着一个障碍物和路面的信息，根据像素坐标系、相机坐标系以及世界坐标系的关系，确定出与彩色图像中像素对应的世界坐标系中对应的点，从而确定出第二通路和障碍物信息。
在步骤104中，将第一通路障碍物信息和第二通路障碍物信息进行合并获得第三通路障碍物信息。
具体的说，将第一通路障碍物信息和第二通路障碍物信息进行合并，即将第一通路障碍物信息和第二通路障碍物信息中同时确定为障碍物和通路的点进行保留，将第一通路障碍物信息或第二通路障碍物信息中仅有一方确定为障碍物和通路点也进行保留，从而获得第三通路障碍物信息。因此在第三通路障碍物信息中既包含第一通路障碍物信息的全部内容，同时也包含第二通路障碍物信息的全部内容。结合定位和图像学习两方面来获得通路信息和障碍物信息，使得获得的结果更加全面，避免了通路信息和障碍物信息的缺失。
在步骤105中，根据第三通路障碍物信息进行路径导航。
与现有技术相比，本实施方式提供的路径导航方法，根据获取的深度图进行路面检测确定的第一通路障碍物信息，结合根据深度图进行图像学习确定的第二通路障碍物信息，确定出与实际路况更加匹配的第三通路障碍物信息，并根据第三通路障碍物信息进行导航，从而提高了路径导航的准确性。
本申请的第二实施例涉及一种路径导航方法，本实施例在第一实施例的基础上做了进一步改进，具体改进之处为：对根据第三通路障碍物信息进行路径导航的方式进行了具体描述。本实施例中的路径导航方法的流程如图4所示。
具体的说，在本实施例中，包括步骤201至步骤208，其中步骤201至步骤204与第一实施方式中的步骤101至步骤104大致相同，此处不再赘述，下面主要介绍不同之处，未在本实施方式中详尽描述的技术细节，可参见第一实施例所提供的路径导航方法，此处不再赘述。
在步骤201至步骤204之后，执行步骤205。
在步骤205中，根据世界坐标系下的三维点云获取二维格栅地图。
具体的说，在本实施方式中，将世界坐标系下的三维点云投射到路面上，构成二维格栅地图，并在二维格栅地图的基础上进行路径导航。
在步骤206中，根据第三通路障碍物信息确定二维格栅地图中每个格子的属性。
具体的说，根据获得的第三通路障碍物信息确定二维格栅地图中每个格子的属性，其中，属性包括障碍物和通路。并可以用不同的颜色在二维格栅地图中对其属性进行标定。例如，用SG(p,q)＝1表示在二维格栅地图中为障碍物的格子，并用白色进行标定；用SG(p,q)＝0表示在二维格栅地图中为通路的格子，并用黑色进行标定。
在步骤207中，确定目的地的位置和当前的位置。
具体的说，在本实施方式中，可以通过全球定位系统(Global PositioningSystem，GPS)来确定当前的位置，可以根据接收的用户指令确定要到达的目的地的位置。
在步骤208中，根据目的地的位置、当前的位置和每个格子的属性确定最优的路径。
在一个具体实现中，若在二维格栅地图中确定的目的地的位置为T(u1,v1)，确定的当前的位置为G(u0,v0)，则根据目的地的位置和当前的位置计算一条直线为L1，确定L1的直线方程为u＝A1v+B1，其中A1＝(u1-u0)/(v1-v0)，B1＝u1-A1×v1。以当前的位置G(u0,v0)为圆心，任意给出一条直线L2，L2的直线方程为u＝A2v+B2。直线L1与直线L2的夹角为θ，且满足tanθ＝|(A1-A2)/(1+A1×A2)|，可以求得A2，则B2＝u0-A2×v0。从当前的位置G(u0,v0)开始，遍历直线L2上的点，并且统计属性为SG(p,q)＝0的格子的数量，当满足θ最小，并且属性为SG(p,q)＝0的格子的总数量大于设定的预设阈值时，即确定θ为最优的前进方向，移动步长为属性为SG(p,q)＝0的格子的总数量乘以m，其中m为每个格子对应的实际物理尺寸的大小，单位为米。
本申请的第三实施方式涉及一种路径导航装置，具体结构如图5所示。
如图5所示，路径导航装置包括获取模块301、第一确定模块302、第二确定模块303、合并模块304和导航模块305。
其中，获取模块301，用于获取深度图。
第一确定模块302，用于根据深度图构建世界坐标系下的三维点云，并根据世界坐标系下的三维点云进行路面检测确定第一通路障碍物信息。
第二确定模块303，用于根据深度图进行图像学习确定第二通路障碍物信息。
合并模块304，用于将第一通路障碍物信息和第二通路障碍物信息进行合并获得第三通路障碍物信息。
导航模块305，用于根据第三通路障碍物信息进行路径导航。
不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本申请的第四实施例涉及一种路径导航装置，该实施方式与第三实施方式大致相同，具体结构如图6所示。其中，主要改进之处在于：第四实施方式对第三实施方式中的导航模块的结构进行了具体描述。
其中，导航模块305包括获取子模块3051、属性确定子模块3052、位置确定子模块3053和路径确定子模块3054。
获取子模块3051，用于根据世界坐标系下的三维点云获取二维格栅地图。
属性确定子模块3052，用于根据第三通路障碍物信息确定二维格栅地图中每个格子的属性。
位置确定子模块3053，用于确定目的地的位置和当前的位置。
路径确定子模块3054，用于根据目的地的位置、当前的位置和每个格子的属性确定最优的路径。
不难发现，本实施方式为与第二实施方式相对应的装置实施例，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。
以上所描述的装置实施例仅仅是示意性的，并不对本申请的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的，此处不做限制。
本申请的第五实施例涉及一种电子设备，具体结构如图7所示。包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502。其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行路径导航方法。
本实施例中，处理器501以中央处理器(Central Processing Unit，CPU)为例，存储器502以可读写存储器(Random Access Memory，RAM)为例。处理器501、存储器502可以通过总线或者其他方式连接，图7中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中实现环境信息确定方法的程序就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述路径导航方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个程序模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施例中的路径导航方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请的第八实施例涉及一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时能够实现本申请任意方法实施例中涉及的路径导航方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (10)

1.一种路径导航方法，包括：
获取深度图；
根据所述深度图构建世界坐标系下的三维点云，并根据所述世界坐标系下的三维点云进行路面检测确定第一通路障碍物信息；
根据所述深度图进行图像学习确定第二通路障碍物信息；
将所述第一通路障碍物信息和所述第二通路障碍物信息进行合并获得第三通路障碍物信息；
根据所述第三通路障碍物信息进行路径导航。
2.如权利要求1所述的路径导航方法，其中，所述深度图包括：彩色图和所述彩色图对应的深度值。
3.如权利要求2所述的路径导航方法，其中，所述根据所述深度图构建世界坐标系下的三维点云，并根据所述世界坐标系下的三维点云进行路面检测确定第一通路障碍物信息，具体包括：
根据所述深度图构建第一相机坐标系下的三维点云；
获取位姿信息；
根据所述第一相机坐标系下的三维点云和所述位姿信息构建世界坐标系下的三维点云；
根据所述世界坐标系下的三维点云进行路面检测确定所述第一通路障碍物信息。
4.如权利要求3所述的路径导航方法，其中，所述获取位姿信息，具体包括：
根据所述深度图进行特征提取获取特征角点，并确定所述特征角点对应的描述子；
将所述深度图中的任意两帧图像的所述描述子进行匹配获得匹配信息；
根据所述匹配信息获得转换矩阵；
根据所述转换矩阵确定第二相机坐标系下的三维点云；
根据所述第一相机坐标系下的三维点云和所述第二相机坐标系下的三维点云对所述转换矩阵进行校验；
通过对校验后的所述转换矩阵进行优化获得位姿信息。
5.如权利要求3至4任一项所述的路径导航方法，其中，所述根据所述世界坐标系下的三维点云进行路面检测确定所述第一通路障碍物信息，具体包括：
根据所述世界坐标系下的三维点云进行地面检测获取道路的地面信息；
根据获取的所述地面信息确定所述第一通路障碍物信息。
6.如权利要求5所述的路径导航方法，其中，所述根据所述深度图进行图像学习确定第二通路障碍物信息，具体包括：
根据所述彩色图生成初始候选区域；
对所述初始候选区域进行划分获得至少两个第一候选区域；
对每个所述第一候选区域进行特征提取，并确定每个所述第一候选区域的类别，其中，所述类别包括障碍物和路面；
根据每个所述第一候选区域的类别和每个所述第一候选区域在所述初始候选区域的位置，确定所述第二通路障碍物信息。
7.如权利要求6所述的路径导航方法，其中，所述根据所述第三通路障碍物信息进行路径导航，具体包括：
根据所述世界坐标系下的三维点云获取二维格栅地图；
根据所述第三通路障碍物信息确定所述二维格栅地图中每个格子的属性，其中，所述属性包括障碍物和通路；
确定目的地的位置和当前位置；
根据所述目的地的位置、所述当前位置和所述每个格子的属性，确定最优的路径。
8.一种路径导航装置，包括：
获取模块，用于获取深度图；
第一确定模块，用于根据所述深度图构建世界坐标系下的三维点云，并根据所述世界坐标系下的三维点云进行路面检测确定第一路障碍物信息；
第二确定模块，用于根据所述深度图进行图像学习确定第二通路障碍物信息；
合并模块，用于将所述第一通路障碍物信息和所述第二通路障碍物信息进行合并获得第三通路障碍物信息；
导航模块，用于根据所述第三通路障碍物信息进行路径导航。
9.一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7任一项所述的路径导航方法。
10.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的路径导航方法。
CN201880001094.0A 2018-08-02 2018-08-02 路径导航方法、相关装置及计算机可读存储介质 Active CN109074668B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/098384 WO2020024234A1 (zh) 2018-08-02 2018-08-02 路径导航方法、相关装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109074668A true CN109074668A (zh) 2018-12-21
CN109074668B CN109074668B (zh) 2022-05-20

Family

ID=64789223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001094.0A Active CN109074668B (zh) 2018-08-02 2018-08-02 路径导航方法、相关装置及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN109074668B (zh)
WO (1) WO2020024234A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110046563A (zh) * 2019-04-02 2019-07-23 中国能源建设集团江苏省电力设计院有限公司 一种基于无人机点云的输电线路断面高程修正方法
CN110244710A (zh) * 2019-05-16 2019-09-17 深圳前海达闼云端智能科技有限公司 自动寻迹方法、装置、存储介质及电子设备
CN110262487A (zh) * 2019-06-12 2019-09-20 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法、终端及计算机可读存储介质
CN110276801A (zh) * 2019-06-24 2019-09-24 深圳前海达闼云端智能科技有限公司 一种物体定位方法、装置及存储介质
CN110378246A (zh) * 2019-06-26 2019-10-25 深圳前海达闼云端智能科技有限公司 地面检测方法、装置、计算机可读存储介质及电子设备
CN110738183A (zh) * 2019-10-21 2020-01-31 北京百度网讯科技有限公司 障碍物检测方法及装置
CN111179413A (zh) * 2019-12-19 2020-05-19 中建科技有限公司深圳分公司 三维重建方法、装置、终端设备及可读存储介质
CN111337948A (zh) * 2020-02-25 2020-06-26 达闼科技成都有限公司 障碍物检测方法、雷达数据生成方法、装置及存储介质
CN111381594A (zh) * 2020-03-09 2020-07-07 兰剑智能科技股份有限公司 基于3d视觉的agv空间避障方法及系统
CN111735433A (zh) * 2019-03-25 2020-10-02 杭州海康威视数字技术股份有限公司 建立二维地图的方法和装置
CN112101209A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112179360A (zh) * 2019-06-14 2021-01-05 北京京东尚科信息技术有限公司 地图生成方法、装置、系统及介质
CN112785704A (zh) * 2021-01-13 2021-05-11 北京小马慧行科技有限公司 语义地图的构建方法、计算机可读存储介质和处理器
CN113008247A (zh) * 2020-03-24 2021-06-22 青岛慧拓智能机器有限公司 用于矿区的高精地图构建方法及装置
CN113310493A (zh) * 2021-05-28 2021-08-27 广东工业大学 一种基于事件触发机制的无人机实时导航方法
CN113932825A (zh) * 2021-09-30 2022-01-14 深圳市普渡科技有限公司 机器人导航路径宽度获取系统、方法、机器人及存储介质
WO2022095654A1 (zh) * 2020-11-09 2022-05-12 达闼机器人股份有限公司 基于点云的地图校准方法、系统、机器人及云端平台
CN114911223A (zh) * 2021-02-09 2022-08-16 北京盈迪曼德科技有限公司 一种机器人导航方法、装置、机器人及存储介质
CN116755441A (zh) * 2023-06-19 2023-09-15 国广顺能(上海)能源科技有限公司 移动机器人的避障方法、装置、设备及介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111400537B (zh) * 2020-03-19 2023-04-28 北京百度网讯科技有限公司 一种道路元素信息获取方法、装置和电子设备
CN113566807A (zh) * 2020-04-28 2021-10-29 富华科精密工业（深圳）有限公司 自动导航方法、导航装置及存储介质
CN113806455B (zh) * 2020-06-12 2024-03-29 未岚大陆(北京)科技有限公司 地图构建方法、设备及存储介质
CN111753768B (zh) * 2020-06-29 2023-07-28 北京百度网讯科技有限公司 表示障碍物形状的方法、装置、电子设备和存储介质
CN112269386B (zh) * 2020-10-28 2024-04-02 深圳拓邦股份有限公司 对称环境重定位方法、装置及机器人
CN112486172A (zh) * 2020-11-30 2021-03-12 深圳市普渡科技有限公司 道路边缘检测方法及机器人
CN112710318B (zh) * 2020-12-14 2024-05-17 深圳市商汤科技有限公司 地图生成方法、路径规划方法、电子设备以及存储介质
CN112556727B (zh) * 2020-12-15 2022-11-15 国科易讯(北京)科技有限公司 一种ar导航定位误差校准方法、装置、设备及存储介质
CN112927338A (zh) * 2021-03-30 2021-06-08 深圳裹动智驾科技有限公司 基于三维轮廓的仿真方法、存储介质及计算机设备
CN113313765B (zh) * 2021-05-28 2023-12-01 上海高仙自动化科技发展有限公司 定位方法、装置、电子设备和存储介质
CN113610910B (zh) * 2021-07-30 2024-04-09 合肥科大智能机器人技术有限公司 一种移动机器人避障方法
CN114474065A (zh) * 2022-03-04 2022-05-13 美智纵横科技有限责任公司 机器人控制方法及其装置、机器人和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013438A1 (en) * 2004-07-13 2006-01-19 Susumu Kubota Obstacle detection apparatus and a method therefor
US20080239076A1 (en) * 2007-03-26 2008-10-02 Trw Automotive U.S. Llc Forward looking sensor system
US20100263948A1 (en) * 2006-10-06 2010-10-21 Couture Adam P Robotic vehicle
US20110262009A1 (en) * 2008-12-15 2011-10-27 Neusoft Corporation Method and apparatus for identifying obstacle in image
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
CN107169418A (zh) * 2017-04-18 2017-09-15 海信集团有限公司 一种障碍物检测方法及装置
US20170272730A1 (en) * 2016-03-18 2017-09-21 Vivotek Inc. Method for transmitting and displaying object tracking information and system thereof
CN107636680A (zh) * 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
CN107909009A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
CN108280401A (zh) * 2017-12-27 2018-07-13 达闼科技（北京）有限公司 一种路面检测方法、装置、云端服务器及计算机程序产品

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140049152A (ko) * 2012-10-16 2014-04-25 한국전자통신연구원 사람 추종 방법 및 로봇 장치
CN105652873B (zh) * 2016-03-04 2018-10-09 中山大学 一种基于Kinect的移动机器人避障方法
CN107491070A (zh) * 2017-08-31 2017-12-19 成都通甲优博科技有限责任公司 一种移动机器人路径规划方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013438A1 (en) * 2004-07-13 2006-01-19 Susumu Kubota Obstacle detection apparatus and a method therefor
US20100263948A1 (en) * 2006-10-06 2010-10-21 Couture Adam P Robotic vehicle
US20080239076A1 (en) * 2007-03-26 2008-10-02 Trw Automotive U.S. Llc Forward looking sensor system
US20110262009A1 (en) * 2008-12-15 2011-10-27 Neusoft Corporation Method and apparatus for identifying obstacle in image
US20170272730A1 (en) * 2016-03-18 2017-09-21 Vivotek Inc. Method for transmitting and displaying object tracking information and system thereof
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
CN107636680A (zh) * 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
CN107169418A (zh) * 2017-04-18 2017-09-15 海信集团有限公司 一种障碍物检测方法及装置
CN107909009A (zh) * 2017-10-27 2018-04-13 北京中科慧眼科技有限公司 一种基于路面学习的障碍物检测方法与装置
CN108280401A (zh) * 2017-12-27 2018-07-13 达闼科技（北京）有限公司 一种路面检测方法、装置、云端服务器及计算机程序产品

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
林义闽 等: "用于弱纹理场景三维重建的机器人视觉系统", 《光学精密工程》 *
赵申: "基于立体视觉与纹理特征相结合的障碍物探测", 《软件导刊》 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111735433A (zh) * 2019-03-25 2020-10-02 杭州海康威视数字技术股份有限公司 建立二维地图的方法和装置
CN110046563A (zh) * 2019-04-02 2019-07-23 中国能源建设集团江苏省电力设计院有限公司 一种基于无人机点云的输电线路断面高程修正方法
CN110046563B (zh) * 2019-04-02 2022-06-10 中国能源建设集团江苏省电力设计院有限公司 一种基于无人机点云的输电线路断面高程修正方法
CN110244710A (zh) * 2019-05-16 2019-09-17 深圳前海达闼云端智能科技有限公司 自动寻迹方法、装置、存储介质及电子设备
CN110244710B (zh) * 2019-05-16 2022-05-31 达闼机器人股份有限公司 自动寻迹方法、装置、存储介质及电子设备
CN110262487A (zh) * 2019-06-12 2019-09-20 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法、终端及计算机可读存储介质
CN110262487B (zh) * 2019-06-12 2022-09-23 达闼机器人股份有限公司 一种障碍物检测方法、终端及计算机可读存储介质
CN112179360A (zh) * 2019-06-14 2021-01-05 北京京东尚科信息技术有限公司 地图生成方法、装置、系统及介质
CN110276801A (zh) * 2019-06-24 2019-09-24 深圳前海达闼云端智能科技有限公司 一种物体定位方法、装置及存储介质
CN110276801B (zh) * 2019-06-24 2021-09-28 达闼机器人有限公司 一种物体定位方法、装置及存储介质
CN110378246A (zh) * 2019-06-26 2019-10-25 深圳前海达闼云端智能科技有限公司 地面检测方法、装置、计算机可读存储介质及电子设备
CN110738183A (zh) * 2019-10-21 2020-01-31 北京百度网讯科技有限公司 障碍物检测方法及装置
CN110738183B (zh) * 2019-10-21 2022-12-06 阿波罗智能技术(北京)有限公司 路侧相机障碍物检测方法及装置
CN111179413B (zh) * 2019-12-19 2023-10-31 中建科技有限公司深圳分公司 三维重建方法、装置、终端设备及可读存储介质
CN111179413A (zh) * 2019-12-19 2020-05-19 中建科技有限公司深圳分公司 三维重建方法、装置、终端设备及可读存储介质
CN111337948A (zh) * 2020-02-25 2020-06-26 达闼科技成都有限公司 障碍物检测方法、雷达数据生成方法、装置及存储介质
CN111381594A (zh) * 2020-03-09 2020-07-07 兰剑智能科技股份有限公司 基于3d视觉的agv空间避障方法及系统
CN113008247A (zh) * 2020-03-24 2021-06-22 青岛慧拓智能机器有限公司 用于矿区的高精地图构建方法及装置
CN113008247B (zh) * 2020-03-24 2022-10-28 青岛慧拓智能机器有限公司 用于矿区的高精地图构建方法及装置
CN112101209B (zh) * 2020-09-15 2024-04-09 阿波罗智联(北京)科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112101209A (zh) * 2020-09-15 2020-12-18 北京百度网讯科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
WO2022095654A1 (zh) * 2020-11-09 2022-05-12 达闼机器人股份有限公司 基于点云的地图校准方法、系统、机器人及云端平台
CN112785704A (zh) * 2021-01-13 2021-05-11 北京小马慧行科技有限公司 语义地图的构建方法、计算机可读存储介质和处理器
CN114911223A (zh) * 2021-02-09 2022-08-16 北京盈迪曼德科技有限公司 一种机器人导航方法、装置、机器人及存储介质
CN113310493B (zh) * 2021-05-28 2022-08-05 广东工业大学 一种基于事件触发机制的无人机实时导航方法
CN113310493A (zh) * 2021-05-28 2021-08-27 广东工业大学 一种基于事件触发机制的无人机实时导航方法
CN113932825A (zh) * 2021-09-30 2022-01-14 深圳市普渡科技有限公司 机器人导航路径宽度获取系统、方法、机器人及存储介质
CN113932825B (zh) * 2021-09-30 2024-04-09 深圳市普渡科技有限公司 机器人导航路径宽度获取系统、方法、机器人及存储介质
CN116755441A (zh) * 2023-06-19 2023-09-15 国广顺能(上海)能源科技有限公司 移动机器人的避障方法、装置、设备及介质
CN116755441B (zh) * 2023-06-19 2024-03-12 国广顺能(上海)能源科技有限公司 移动机器人的避障方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2020024234A1 (zh) 2020-02-06
CN109074668B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN109074668A (zh) 路径导航方法、相关装置及计算机可读存储介质
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN112793564B (zh) 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
US8625851B2 (en) Measurement apparatus, measurement method, and feature identification apparatus
US11816829B1 (en) Collaborative disparity decomposition
CN108885791A (zh) 地面检测方法、相关装置及计算机可读存储介质
CN108401461A (zh) 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN105928498A (zh) 通过基于模板的uav控制来确定对象数据
CN110033489A (zh) 一种车辆定位准确性的评估方法、装置及设备
CN111856963A (zh) 一种基于车载环视系统的泊车仿真方法及装置
JP2020119523A (ja) 疑似３ｄバウンディングボックスを検出する方法及びこれを利用した装置
CN104732577A (zh) 一种基于uav低空航测系统的建筑物纹理提取方法
US20230215187A1 (en) Target detection method based on monocular image
WO2023123837A1 (zh) 地图的生成方法、装置、电子设备及存储介质
CN112232275A (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
WO2020199057A1 (zh) 一种自动驾驶模拟系统、方法、设备及存储介质
CN112446915A (zh) 一种基于图像组的建图方法及装置
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
Kiran et al. Automatic hump detection and 3D view generation from a single road image
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
KR102675138B1 (ko) 복수개의 라이다들의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102618951B1 (ko) 시각적 매핑 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102616437B1 (ko) 라이다 및 관성측정장치의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102626574B1 (ko) 카메라 및 라이다의 캘리브레이션 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210208

Address after: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: Shenzhen Qianhaida Yunyun Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 200245 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Applicant after: Dayu robot Co.,Ltd.

Address before: 200245 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant before: Dalu Robot Co.,Ltd.

GR01 Patent grant
GR01 Patent grant