CN115575976A - 沿边路径规划方法、装置、计算机可读介质及电子设备 - Google Patents

沿边路径规划方法、装置、计算机可读介质及电子设备 Download PDF

Info

Publication number
CN115575976A
CN115575976A CN202211252729.9A CN202211252729A CN115575976A CN 115575976 A CN115575976 A CN 115575976A CN 202211252729 A CN202211252729 A CN 202211252729A CN 115575976 A CN115575976 A CN 115575976A
Authority
CN
China
Prior art keywords
boundary
point
image
point cloud
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211252729.9A
Other languages
English (en)
Inventor
张泫舜
王雷
陈熙
刘元财
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecoflow Technology Ltd
Original Assignee
Ecoflow Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecoflow Technology Ltd filed Critical Ecoflow Technology Ltd
Priority to CN202211252729.9A priority Critical patent/CN115575976A/zh
Publication of CN115575976A publication Critical patent/CN115575976A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种沿边路径规划方法、装置、计算机可读介质及电子设备，所述方法包括：获取自移动设备前进方向上的边界图像，以及边界图像的边界像素点；获取点云图像，其中，点云图像包含点云数据；点云数据包括各数据点的位置信息以及反射强度；将边界图像和点云图像进行矩阵变换，以从点云数据中确定与边界像素点对应的候选边界点；根据候选边界点的反射强度，从候选边界点中确定与边界像素点对应的目标边界点；根据目标边界点的位置信息确定自移动设备的沿边路径。本申请首先通过候选边界点对边界进行初步定位，进而根据反射强度对候选边界点进一步筛选，确定工作区域的真实目标边界点，提高了自移动设备工作区域边界的定位准确性。

Description

沿边路径规划方法、装置、计算机可读介质及电子设备
技术领域
本申请属于图像处理及人工智能技术领域，具体涉及一种沿边路径规划方法、装置、计算机可读介质及电子设备。
背景技术
目前，自移动设备为人们的日常工作和生活提供了较大便利，例如，使用自移动设备进行草坪维护、环境清洁、货物搬运等。自移动设备工作中的一项重要内容是沿着工作区域边缘移动，这就需要自移动设备准确获知当前的沿边路径。传统的沿边方法是为自移动设备预设工作地图，然后通过RTK(Real Time Kinematic，实时动态测量)定位控制自移动设备沿边。然而，在一些情况下当RTK定位发生跳动时，会导致自移动设备的定位不准，使得自移动设备偏离实际的沿边路径，沿边路径规划准确性较差。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的目的在于提供一种沿边路径规划方法、装置、计算机可读介质及电子设备，以解决相关技术中沿边路径规划的准确性较差的问题。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种沿边路径规划方法，包括：
获取自移动设备前进方向上的边界图像，以及所述边界图像的边界像素点；
获取点云图像，其中，所述点云图像包含点云数据；所述点云数据包括各数据点的位置信息以及反射强度；
将所述边界图像和所述点云图像进行矩阵变换，以从所述点云数据中确定与所述边界像素点对应的候选边界点；
根据所述候选边界点的反射强度，从所述候选边界点中确定与所述边界像素点对应的目标边界点；
根据所述目标边界点的位置信息确定自移动设备的沿边路径。
根据本申请实施例的一个方面，提供一种沿边路径规划装置，包括：
边界图像获取模块，用于获取自移动设备前进方向上的边界图像，以及所述边界图像的边界像素点；
点云图像获取模块，用于获取点云图像，其中，所述点云图像包含点云数据；所述点云数据包括各数据点的位置信息以及反射强度；
图像变换模块，用于将所述边界图像和所述点云图像进行矩阵变换，以从所述点云数据中确定与所述边界像素点对应的候选边界点；
目标边界点确定模块，用于根据所述候选边界点的反射强度，从所述候选边界点中确定与所述边界像素点对应的目标边界点；
沿边路径确定模块，用于根据所述目标边界点的位置信息确定自移动设备的沿边路径。
在本申请的一个实施例中，图像变换模块具体用于：
将所述边界图像和所述点云图像进行矩阵变换，以从所述点云数据中确定与所述边界像素点对应的参考点；
将所述参考点对应的预设邻域范围内的点云数据确定为所述边界像素点对应的候选边界点。
在本申请的一个实施例中，目标边界点确定模块具体用于：
计算每两个所述候选边界点之间反射强度的差值；
从最大差值对应的候选边界点中确定目标边界点。
在本申请的一个实施例中，目标边界点确定模块进一步用于：
从最大差值对应的两个候选边界点中，提取距离所述自移动设备最近的候选边界点作为所述目标边界点。
在本申请的一个实施例中，沿边路径确定模块具体用于：
获取所述目标边界点所在的坐标系和全局坐标系之间进行转换的外参矩阵；
根据所述外参矩阵和所述目标边界点的位置信息，将所述目标边界点转换到所述全局坐标系下，得到所述目标边界点的全局位置信息；
根据所述全局位置信息构建沿边路径。
在本申请的一个实施例中，边界图像获取模块具体用于：
获取所述自移动设备前进方向上的原始图像，所述原始图像包括工作区域和非工作区域；
提取所述原始图像中所述工作区域和所述非工作区域之间的边界，得到边界图像。
在本申请的一个实施例中，所述装置还包括：
边界点排序模块，用于计算每个所述目标边界点到所述自移动设备的距离；根据每个所述目标边界点到所述自移动设备的距离，对每个所述目标边界点进行排序。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的沿边路径规划方法。
根据本申请实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器执行所述可执行指令使得所述电子设备执行如以上技术方案中的沿边路径规划方法。
根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的沿边路径规划方法。
在本申请实施例提供的技术方案中，通过获取自移动设备前进方向上的边界图像和自移动设备所获取到的点云图像，该点云图像包括各数据点的位置信息以及反射强度，然后将边界图像和点云图像进行矩阵变换，以从点云数据中确定与边界像素点对应的候选边界点，并根据候选边界点的反射强度，从候选边界点中确定与边界像素点对应的目标边界点，进而目标边界点的位置信息确定自移动设备的沿边路径。本申请的方法相当于首先通过边界图像对自移动设备工作区域边界进行初步定位，确定候选边界点，进而根据反射强度对候选边界点进一步筛选，确定工作区域的真实目标边界点，提高了自移动设备工作区域边界的定位准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性地示出了本申请实施提供的一种自移动设备的结构示意图。
图2示意性地示出了本申请一个实施例提供的沿边路径规划方法的流程图。
图3A示意性地示出了本申请一个实施例提供的原始图像的示意图。
图3B示意性地示出了本申请一个实施例提供的分割图像的示意图。
图3C示意性地示出了本申请一个实施例提供的边界图像的示意图。
图4示意性地示出了本申请实施例提供的沿边路径规划装置的结构框图。
图5示意性示出了适于用来实现本申请实施例的电子设备的计算机系统结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在本申请的一个实施例中，本申请技术方案由终端设备实施例。终端设备获取自移动设备前进方向上的边界图像，以及边界图像的边界像素点；同时终端设备获取点云图像，其中，点云图像包含点云数据；点云数据包括各数据点的位置信息以及反射强度。然后终端设备将边界图像和点云图像进行矩阵变换，以从点云数据中确定与边界像素点对应的候选边界点。接下来，终端设备根据候选边界点的反射强度，从候选边界点中确定与边界像素点对应的目标边界点。最后，终端设备根据目标边界点的位置信息确定自移动设备的沿边路径。
示例性的，终端设备为自移动设备，图1示意性地示出了本申请实施提供的一种自移动设备的结构示意图，该自移动设备100可以是包含自移动辅助功能的设备，自移动辅助功能可以是车载终端实现，相应的自移动设备可以是具有该车载终端的车辆。自移动设备还可以是半自移动设备或者完全自主移动设备。例如，各类移动机器人，例如扫地机器人、拖地机器人、送菜机器人、运输机器人、割草机器人、具有导航功能的移动机器人等，本申请实施例对自移动设备100的具体类型、功能不作限定。可以理解，本实施例中的自移动设备100还可以包括其他具有自移动功能的设备。
在本申请实施例中，自移动设备100上设置有摄像装置110，该摄像装置110可以获取自移动设备前进方向上的边界图像和点云图像，该边界图像包括多个边界像素点；点云图像包含点云数据，点云数据包括各数据点的位置信息以及反射强度。摄像装置110可以是固定的，也可以是非固定、可转动的，本申请实施例对此不作限定。摄像装置110拍摄的环境图像可以是彩色图像、黑白图像、红外图像等，本申请实施例对此不作限定。示例性的，摄像装置110可以包括RGB相机和激光雷达传感器，RGB相机对自移动设备前进方向上的环境进行拍摄，得到边界图像，同时通过激光雷达传感器采集到具有反射强度的点云图像。
摄像装置110连接自移动设备100内部的控制模块120，该控制模块120用于接收自移动设备100的控制指令，或为自移动设备100生成各类控制指令。该控制模块120还连接自移动设备100的驱动部件，例如自移动设备100的转向轴、转向轮、电机等，用于控制自移动设备100的移动、转向等。
在本申请实施例中，摄像装置110拍摄得到的边界图像和点云图像后，将该边界图像和点云图像传输至控制模块120。控制模块120对边界图像和点云图像进行矩阵变换，在点云数据中找到和边界图像中的边界像素点对应的候选边界点。然后控制模块120根据候选边界点的反射强度，从候选边界点中确定与边界像素点对应的目标边界点，并根据目标边界点的位置信息确定自移动设备的沿边路径。在确定沿边路径后，控制模块120根据沿边路径生成控制指令，以控制自移动设备根据该沿边路径进行沿边移动。
下面结合具体实施方式对本申请提供的沿边路径规划方法做出详细说明。
图2示意性地示出了本申请一个实施例提供的沿边路径规划方法的流程图。如图2所示，该方法包括步骤210至步骤250，具体如下：
步骤210、获取自移动设备前进方向上的边界图像，以及边界图像的边界像素点。
具体地，自移动设备在工作区域内移动，工作区域之外的地方称之为非工作区域，那么工作区域和非工作区域之间的交界线就是自移动设备移动时的边界，也是工作区域的边界。边界图像是指包括自移动设备的工作区域边界的图像，边界图像中表示边界的像素点称为边界像素点。
在本申请的一个实施例中，获取边界图像的具体过程可以包括：获取自移动设备前进方向上的原始图像，原始图像包括工作区域和非工作区域；提取原始图像中工作区域和非工作区域之间的边界，得到边界图像。
具体地，对自移动设备前进方向上的物理环境进行拍摄，所得图像为原始图像，该原始图像中包括工作区域和非工作区域。然后从原始图像中提取工作区域和非工作区域之间的边界，形成边界图像。具体而言，可以先对原始图像进行图像分割处理，将原始图像中的工作区域和非工作区域分割开来，例如，将原始图像中表示工作区域的像素点记为1，将原始图像中表示非工作区域的像素点记为0。然后在分割后的图像中提取工作区域和非工作区域之间表示边界的多个边界像素点，得到边界图像。例如，遍历分割后图像中的像素点，识别每个像素点的邻域像素点中是否包括两种不同类型的像素点，其中，像素点的类型是指该像素点是工作区域的像素点，还是非工作区域的像素点。当一个像素点的邻域像素点中包括两种不同类型的像素点时，则认为该像素点为边界像素点。例如，当一个像素点的邻域像素点中同时存在记为0的像素点和记为1的像素点，则该像素点为边界像素点。
示例性的，图3A示意性地示出了本申请一个实施例提供的原始图像的示意图。如图3A所示，该原始图像中包括工作区域310和非工作区域320。对原始图像进行图像分割处理，将原始图像中表示工作区域310的像素点的像素值设为255，表现为白色；将原始图像中表示非工作区域320的像素点的像素值设为0，表现为黑色，分割后的图像如图3B所示。然后遍历图3B所示分割图像中的像素点，当一个像素点的邻域像素点中同时存在像素值为0和像素值为255的像素点，则该像素点为边界像素点，得到如图3C所示的边界图像。
在本申请的一个实施例中，可以直接获取图像分割处理后的图像作为原始图像，然后从中提取边界像素点形成边界图像。
步骤220、获取点云图像，其中，点云图像包含点云数据；点云数据包括各数据点的位置信息以及反射强度。
具体地，点云图像可以通过激光雷达传感器对自移动设备前进方向上的物理环境进行拍摄得到。点云图像所包含的信息可以称为点云数据，点云数据包括各数据点的位置信息以及反射强度。数据点的位置信息是指该数据点在物理环境中对应的物理点在激光雷达坐标系下的位置坐标信息。数据点的反射强度体现该数据点对应物理点对光的反射能力，也可以称为反射率。其中，本申请实施例中所述物理点可以是物理环境中构成动态物体、静态物体的点，例如物理点可以是树的点、石头的点、草的点等，此处不做限定。
步骤230、将边界图像和点云图像进行矩阵变换，以从点云数据中确定与边界像素点对应的候选边界点。
具体地，将边界图像和点云图像进行矩阵变换，是指对图像中的点进行处理(例如可以是旋转、平移、修正等处理中的一种或多种)，将边界图像投影到点云图像，或将点云图像投影至边界图像。矩阵变换可以使边界图像中的边界像素点与点云图像中的数据点相对应，也就是找到边界像素点对应的区域点云数据，该区域点云数据记为候选边界点。需要说明的是，本实施例中的区域点云数据是指由多个数据点构成的点云数据，也就表明一个边界像素点可以对应点云图像中的多个数据点，多个数据点均记为该边界像素点对应的候选边界点。
通过矩阵变换找到边界像素点对应的候选边界点，相当于对自移动设备工作区域的真实边界进行了初步定位，即初步定位的真实边界由候选边界点组成。
在本申请的一个实施例中，确定候选边界像素点的过程包括：将边界图像和点云图像进行矩阵变换，以从点云数据中确定与边界像素点对应的参考点；将参考点对应的预设邻域范围内的点云数据确定为边界像素点对应的候选边界点。
具体地，以边界图像投影到点云图像为例，可以根据下式子进行矩阵变换：
Plidar＝K*(R*Pcamera+T)
其中，Pcamera表示边界像素点的像素坐标，Plidar表示边界像素点经过矩阵变换后对应的点云数据坐标，K为摄像装置的内参矩阵，R为摄像装置的修正矩阵，T为从像素坐标系坐标系变换到激光雷达坐标系的旋转平移矩阵，也可以称为外参矩阵。可以预先通过多个样本数据计算得到旋转平移矩阵T。可以理解，在得到旋转平移矩阵T后，可以反用旋转平移矩阵T，将点云图像投影至边界图像。
经上述矩阵变换得到的Plidar值，即为边界像素点在点云数据中对应的参考点，可以看出，参考点是点云数据中与边界像素点最为接近的数据点，也就点云数据中最能表示为边界像素点的数据点。需要说明的是，Plidar值是变换得到的一个点的点云数据坐标的简称，并非表示点云数据坐标仅有一个坐标值。点云数据坐标通常是三维坐标系下的位置坐标，故而Plidar值是一个三维位置坐标的简称。
在本申请的一个实施例中，经上述矩阵变换得到的Plidar值，可能无法在点云图像中找到与之完全一致的数据点，此时可以将点云图像中与该Plidar值距离最近的数据点作为边界像素点的参考点。
在确定边界像素点的参考点之后，将参考点对应的预设邻域范围内的点云数据确定为边界像素点对应的候选边界点。例如，以参考点为中心，以预设值为半径所形成的圆形或球形区域内的点云数据，作为边界像素点对应的候选边界点。
步骤240、根据候选边界点的反射强度，从候选边界点中确定与边界像素点对应的目标边界点。
具体地，根据反射强度从候选边界点中提取目标边界点，该目标边界点就是自移动设备工作区域的真实边界上的点。目标边界点处于工作区域和非工作区域之间的交界处，而处于交界处的点对光的反射能力通常较强，故而可以根据候选边界点反射强度的变化，提取反射强度变化大的候选边界点作为目标边界点。
在本申请的一个实施中，确定目标边界点的过程包括：计算每两个候选边界点之间反射强度的差值；从最大差值对应的候选边界点中确定目标边界点。
具体地，计算各个候选边界点之间反射强度的差值，最大差值对应的两个候选边界点就是反射强度变化最大的候选边界点，将这两个候选边界点作为边界像素点对应的目标边界点。通过根据反射强度对候选边界点进行筛选得到目标边界点，能够精确识别出工作区域与非工作区域之间的边界，从而提高沿边路径的准确性。
一般而言，边界像素点与目标边界点应是一一对应的，因此，在得到反射强度变化最大的两个候选边界点后，可以从这两个候选边界点中，提取距离自移动设备最近的候选边界点作为目标边界点。对于自移动设备来说，其沿边路径应是在工作区域内部，那么距离自移动设备最近的候选边界点是最靠近工作区域的边界点，故而作为目标边界点较为合适。如此，可以进一步提高沿边路径的精确性。
步骤250、根据目标边界点的位置信息确定自移动设备的沿边路径。
具体地，目标边界点的位置信息是目标边界点在点云相机坐标系下的位置坐标，将该位置坐标转换到全局坐标系下，即可生成自移动设备的沿边路径。
在本申请实施例提供的技术方案中，通过获取自移动设备前进方向上的边界图像和点云图像，该点云图像包括各数据点的位置信息以及反射强度，然后将边界图像和点云图像进行矩阵变换，以从点云数据中确定与边界像素点对应的候选边界点，并根据候选边界点的反射强度，从候选边界点中确定与边界像素点对应的目标边界点，进而目标边界点的位置信息确定自移动设备的沿边路径；本申请中的候选边界点相当于首先通过边界图像对自移动设备工作区域边界进行初步定位，进而根据反射强度对边界点进一步筛选，确定工作区域的真实目标边界点，提高了自移动设备工作区域边界的定位准确性。
在本申请的一个实施例中，根据目标边界点的位置信息确定自移动设备的沿边路径的具体过程包括：获取目标边界点所在的坐标系和全局坐标系之间进行转换的外参矩阵；根据外参矩阵和目标边界点的位置信息，将目标边界点转换到全局坐标系下，得到目标边界点的全局位置信息；根据全局位置信息构建沿边路径。
具体地，目标边界点所在的坐标系和全局坐标系之间进行转换的外参矩阵，是指目标边界点所在坐标系与全局坐标系之间进行转换时的旋转矩阵和平移矩阵。根据外参矩阵对目标边界点的位置信息进行旋转变换和平移变换中的至少一种，得到目标边界点的全局位置信息，进而根据目标边界点的全局位置信息生成沿边路径。
在本申请的一个实施例中，可以根据以下公式将目标边界点转换到全局坐标系下：
Y＝(M*X+N)+X0
其中，X表示目标边界点的位置信息；Y表示目标边界点转换后的全局位置信息；M表示旋转变换矩阵，N表示平移变换矩阵，M和N统称为外参矩阵；X0表示自移动设备在全局坐标系下的当前位置信息。
在本申请的一个实施例中，当点云相机与自移动设备为刚体时，点云相机与自移动设备的相对位姿不会发生改变，此时M＝1，N＝0，Y＝X+X0。
根据坐标转换过程可知，本申请是以自移动设备在全局坐标系的当前位置信息对边界像素点的位置信息进行转换，自移动设备在全局坐标系的当前位置信息可以通过RTK定位方式得到，当RTK定位跳动时，可以对比前后两个时刻的边界像素点的位置信息获知RTK定位跳动的幅度，从而可以对RTK定位进行修正。
在本申请的一个实施例中，在得到各个目标边界点的全局位置信息后，还包括：计算每个目标边界点到自移动设备的距离；根据每个目标边界点到自移动设备的距离，对每个目标边界点进行排序。
具体地，计算每个目标边界点到自移动设备的距离，按照距离由近及远的方式对各个目标边界点进行排序，生成自移动设备的沿边路径。如此，可以使自移动设备根据最短沿边路径进行移动，提高自移动设备的沿边效率；同时，多个目标边界点形成的沿边路径可以对自移动设备的移动方向进行预测，可以使自移动设备原预先做好移动准备，进一步提高沿边效率。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的沿边路径规划方法。图4示意性地示出了本申请实施例提供的沿边路径规划装置的结构框图。如图4所示，本申请实施例提供的沿边路径规划装置包括：
边界图像获取模块410，用于获取自移动设备前进方向上的边界图像，以及所述边界图像的边界像素点；
点云图像获取模块420，用于获取点云图像，其中，所述点云图像包含点云数据；所述点云数据包括各数据点的位置信息以及反射强度；
图像变换模块430，用于将所述边界图像和所述点云图像进行矩阵变换，以从所述点云数据中确定与所述边界像素点对应的候选边界点；
目标边界点确定模块440，用于根据所述候选边界点的反射强度，从所述候选边界点中确定与所述边界像素点对应的目标边界点；
沿边路径确定模块450，用于根据所述目标边界点的位置信息确定自移动设备的沿边路径。
在本申请的一个实施例中，图像变换模块430具体用于：
将所述边界图像和所述点云图像进行矩阵变换，以从所述点云数据中确定与所述边界像素点对应的参考点；
将所述参考点对应的预设邻域范围内的点云数据确定为所述边界像素点对应的候选边界点。
在本申请的一个实施例中，目标边界点确定模块440具体用于：
计算每两个所述候选边界点之间反射强度的差值；
从最大差值对应的候选边界点中确定目标边界点。
在本申请的一个实施例中，目标边界点确定模块440进一步用于：
从最大差值对应的两个候选边界点中，提取距离所述自移动设备最近的候选边界点作为所述目标边界点。
在本申请的一个实施例中，沿边路径确定模块450具体用于：
获取所述目标边界点所在的坐标系和全局坐标系之间进行转换的外参矩阵；
根据所述外参矩阵和所述目标边界点的位置信息，将所述目标边界点转换到所述全局坐标系下，得到所述目标边界点的全局位置信息；
根据所述全局位置信息构建沿边路径。
在本申请的一个实施例中，边界图像获取模块410具体用于：
获取所述自移动设备前进方向上的原始图像，所述原始图像包括工作区域和非工作区域；
提取所述原始图像中所述工作区域和所述非工作区域之间的边界，得到边界图像。
在本申请的一个实施例中，所述装置还包括：
边界点排序模块，用于计算每个所述目标边界点到所述自移动设备的距离；根据每个所述目标边界点到所述自移动设备的距离，对每个所述目标边界点进行排序。
本申请各实施例中提供的沿边路径规划装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图5示意性地示出了用于实现本申请实施例的电子设备的计算机系统结构框图。
需要说明的是，图5示出的电子设备的计算机系统500仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理器501(Central Processing Unit，CPU)，其可以根据存储在只读存储器502(Read-Only Memory，ROM)中的程序或者从存储部分508加载到随机访问存储器503(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器503中，还存储有系统操作所需的各种程序和数据。中央处理器501、在只读存储器502以及随机访问存储器503通过总线504彼此相连。输入/输出接口505(Input/Output接口，即I/O接口)也连接至总线504。
以下部件连接至输入/输出接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至输入/输出接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理器501执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种沿边路径规划方法，其特征在于，包括：
获取自移动设备前进方向上的边界图像，以及所述边界图像的边界像素点；
获取点云图像，其中，所述点云图像包含点云数据；所述点云数据包括各数据点的位置信息以及反射强度；
将所述边界图像和所述点云图像进行矩阵变换，以从所述点云数据中确定与所述边界像素点对应的候选边界点；
根据所述候选边界点的反射强度，从所述候选边界点中确定与所述边界像素点对应的目标边界点；
根据所述目标边界点的位置信息确定自移动设备的沿边路径。
2.根据权利要求1所述的沿边路径规划方法，其特征在于，所述将所述边界图像和所述点云图像进行矩阵变换，以从所述点云数据中确定与所述边界像素点对应的候选边界点，包括：
将所述边界图像和所述点云图像进行矩阵变换，以从所述点云数据中确定与所述边界像素点对应的参考点；
将所述参考点对应的预设邻域范围内的点云数据确定为所述边界像素点对应的候选边界点。
3.根据权利要求2所述的沿边路径规划方法，其特征在于，所述根据所述候选边界点的反射强度，从所述候选边界点中确定与所述边界像素点对应的目标边界点，包括：
计算每两个所述候选边界点之间反射强度的差值；
从最大差值对应的候选边界点中确定目标边界点。
4.根据权利要求3所述的沿边路径规划方法，其特征在于，所述从最大差值对应的候选边界点中确定目标边界点，包括：
从最大差值对应的两个候选边界点中，提取距离所述自移动设备最近的候选边界点作为所述目标边界点。
5.根据权利要求1所述的沿边路径规划方法，其特征在于，所述根据所述目标边界点的位置信息确定自移动设备的沿边路径，包括：
获取所述目标边界点所在的坐标系和全局坐标系之间进行转换的外参矩阵；
根据所述外参矩阵和所述目标边界点的位置信息，将所述目标边界点转换到所述全局坐标系下，得到所述目标边界点的全局位置信息；
根据所述全局位置信息构建沿边路径。
6.根据权利要求1所述的沿边路径规划方法，其特征在于，所述获取自移动设备前进方向上的边界图像，包括：
获取所述自移动设备前进方向上的原始图像，所述原始图像包括工作区域和非工作区域；
提取所述原始图像中所述工作区域和所述非工作区域之间的边界，得到边界图像。
7.根据权利要求1-6任一项所述的沿边路径规划方法，其特征在于，在所述根据所述目标边界点的位置信息确定自移动设备的沿边路径之前，所述方法还包括：
计算每个所述目标边界点到所述自移动设备的距离；
根据每个所述目标边界点到所述自移动设备的距离，对每个所述目标边界点进行排序。
8.一种沿边路径规划装置，其特征在于，包括：
边界图像获取模块，用于获取自移动设备前进方向上的边界图像，以及所述边界图像的边界像素点；
点云图像获取模块，用于获取点云图像，其中，所述点云图像包含点云数据；所述点云数据包括各数据点的位置信息以及反射强度；
图像变换模块，用于将所述边界图像和所述点云图像进行矩阵变换，以从所述点云数据中确定与所述边界像素点对应的候选边界点；
目标边界点确定模块，用于根据所述候选边界点的反射强度，从所述候选边界点中确定与所述边界像素点对应的目标边界点；
沿边路径确定模块，用于根据所述目标边界点的位置信息确定自移动设备的沿边路径。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任意一项所述的沿边路径规划方法。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器执行所述可执行指令使得所述电子设备执行权利要求1至7中任意一项所述的沿边路径规划方法。
CN202211252729.9A 2022-10-13 2022-10-13 沿边路径规划方法、装置、计算机可读介质及电子设备 Pending CN115575976A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211252729.9A CN115575976A (zh) 2022-10-13 2022-10-13 沿边路径规划方法、装置、计算机可读介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211252729.9A CN115575976A (zh) 2022-10-13 2022-10-13 沿边路径规划方法、装置、计算机可读介质及电子设备

Publications (1)

Publication Number Publication Date
CN115575976A true CN115575976A (zh) 2023-01-06

Family

ID=84584541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211252729.9A Pending CN115575976A (zh) 2022-10-13 2022-10-13 沿边路径规划方法、装置、计算机可读介质及电子设备

Country Status (1)

Country Link
CN (1) CN115575976A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116465827A (zh) * 2023-03-17 2023-07-21 中国科学院自动化研究所 视点路径规划方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116465827A (zh) * 2023-03-17 2023-07-21 中国科学院自动化研究所 视点路径规划方法、装置、电子设备及存储介质
CN116465827B (zh) * 2023-03-17 2023-10-31 中国科学院自动化研究所 视点路径规划方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
JP6672212B2 (ja) 情報処理装置、車両、情報処理方法およびプログラム
CN110866927B (zh) 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法
CN111563450B (zh) 数据处理方法、装置、设备及存储介质
CN110794844B (zh) 自动驾驶方法、装置、电子设备及可读存储介质
CN112897345B (zh) 集装箱卡车与起重机的对位方法及相关设备
CN112258519B (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
US20230005278A1 (en) Lane extraction method using projection transformation of three-dimensional point cloud map
CN111681172A (zh) 协同构建点云地图的方法、设备和系统
CN115575976A (zh) 沿边路径规划方法、装置、计算机可读介质及电子设备
CN112581533A (zh) 定位方法、装置、电子设备及存储介质
CN114815851A (zh) 机器人跟随方法、装置、电子设备以及存储介质
US20210272289A1 (en) Sky determination in environment detection for mobile platforms, and associated systems and methods
CN116642490A (zh) 基于混合地图的视觉定位导航方法、机器人及存储介质
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
CN115855026A (zh) 一种大型场景图元地图切换方法、系统、装置及存储介质
CN115063760A (zh) 车辆可行驶区域检测方法、装置、设备及存储介质
CN114419118A (zh) 三维点云配准方法、移动设备及存储介质
Gallage et al. Codesign of edge intelligence and automated guided vehicle control
CN116148883B (zh) 基于稀疏深度图像的slam方法、装置、终端设备及介质
CN115423956A (zh) 边界地图的生成方法、装置、介质及自移动设备
CN114019977B (zh) 移动机器人的路径控制方法、装置、存储介质及电子设备
CN114407916B (zh) 车辆控制及模型训练方法、装置、车辆、设备和存储介质
CN116164758B (zh) 高精度点云地图的更新方法、装置、介质、设备及系统
CN115471513B (zh) 点云分割方法及装置
CN114353780B (zh) 姿态优化方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination