CN115421486A - 返航控制方法、装置、计算机可读介质及自移动设备 - Google Patents

返航控制方法、装置、计算机可读介质及自移动设备 Download PDF

Info

Publication number
CN115421486A
CN115421486A CN202211063505.3A CN202211063505A CN115421486A CN 115421486 A CN115421486 A CN 115421486A CN 202211063505 A CN202211063505 A CN 202211063505A CN 115421486 A CN115421486 A CN 115421486A
Authority
CN
China
Prior art keywords
base
point cloud
cloud data
self
moving equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211063505.3A
Other languages
English (en)
Inventor
张泫舜
陈熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecoflow Technology Ltd
Original Assignee
Ecoflow Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecoflow Technology Ltd filed Critical Ecoflow Technology Ltd
Priority to CN202211063505.3A priority Critical patent/CN115421486A/zh
Publication of CN115421486A publication Critical patent/CN115421486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于自移动设备技术领域，具体涉及一种返航控制方法、装置、计算机可读介质以及自移动设备。该方法包括在自移动设备进入指定区域后，获取包含基座的视觉图像；根据视觉图像，确定基座的基座点云数据，以及自移动设备相对于基座对应的偏移量；计算基座点云数据到预设的基准点云数据的距离；获取自移动设备的初始位姿；根据偏移量、距离、初始位姿和预设的误差方程，确定自移动设备的定位位姿；基于定位位姿，控制自移动设备移动，以使自移动设备与基座对接。通过误差方程确定最终的误差值，可以得到更准确的自移动设备的位姿，从而提高自移动设备与基座的位置匹配精度，实现精确指引自移动设备返航，提高了返航的准确性。

Description

返航控制方法、装置、计算机可读介质及自移动设备
技术领域
本申请属于自移动设备技术领域，具体涉及一种返航控制方法、装置、计算机可读介质以及自移动设备。
背景技术
随着技术的发展，自移动设备的应用越来越广泛。自移动设备在完成作业或电量不足的情况下，通过定位基座(也可以称为充电桩)的位置，使自移动设备回到基座上，即为自移动设备的返航。
在相关技术方案中，往往会受基座定位设备的影响或者周围环境因素的影响，从而导致无法准确定位到基座的位置，进一步使得自移动设备不能准确导航进行返航。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本申请的目的在于提供一种返航控制方法、装置、可读介质及自移动设备，在一定程度上提高了自移动设备返航时的准确性。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供一种返航控制方法，返航控制方法包括：
在自移动设备进入指定区域后，获取包含基座的视觉图像；
根据视觉图像，确定基座的基座点云数据，以及自移动设备相对于基座对应的偏移量；
计算基座点云数据到预设的基准点云数据的距离；
获取自移动设备的初始位姿；
根据偏移量、距离、初始位姿和预设的误差方程，确定自移动设备的定位位姿；
基于定位位姿，控制自移动设备移动，以使自移动设备与基座对接。
根据本申请实施例的一个方面，提供一种返航控制装置，返航控制装置包括：
第一获取模块，用于在自移动设备进入指定区域后，获取包含基座的视觉图像；
第一确定模块，用于根据视觉图像，确定基座的基座点云数据，以及自移动设备相对于基座对应的偏移量；
计算模块，用于计算基座点云数据到预设的基准点云数据的距离；
第二获取模块，用于获取自移动设备的初始位姿；
第二确定模块，用于根据偏移量、距离、初始位姿和预设的误差方程，确定自移动设备的定位位姿；
移动模块，用于基于定位位姿，控制自移动设备移动，以使自移动设备与基座对接。
在本申请的一些实施例中，基于以上技术方案，第一确定模块还用于，对视觉图像进行特征提取，得到基座的多条轮廓线；将多条轮廓线所包含的点云数据确定为基座的基座点云数据。
在本申请的一些实施例中，基于以上技术方案，装置还包括获取基准点云数据模块，用于获取预设的基座三维模型；对基座三维模型进行特征提取，得到基座的多条参考轮廓线；将多条参考轮廓线所包含的点云数据确定为基座对应的基准点云数据。
在本申请的一些实施例中，基于以上技术方案，计算模块还用于，确定与基座点云数据相匹配的基准点云数据；将基准点云数据所在的参考轮廓线作为目标轮廓线；将基座点云数据到目标轮廓线的距离确定为基座点云数据到基准点云数据的距离。
在本申请的一些实施例中，基于以上技术方案，第二确定模块还用于，将偏移量、距离、初始位姿代入预设的误差方程进行计算，得到总误差值；在总误差值大于或等于预设误差阈值时，根据预设更新策略更新初始位姿，根据更新后的初始位姿返回计算总误差值的步骤；在总误差值小于预设误差阈值时，将最新的初始位姿作为自移动设备的定位位姿。
在本申请的一些实施例中，基于以上技术方案，返航控制装置还定位模块，定位模块用于获取自移动设备的定位信号和姿态信息；当定位信号不在指定区域时，基于定位信号和姿态信息，控制自移动设备进入指定区域。
在本申请的一些实施例中，基于以上技术方案，第一获取模块还用于，对视觉图像进行检测识别，确定视觉图像所包含的对象以及各对象对应的类别标签；当检测到视觉图像包含属于基座的类别标签时，确定视觉图像包含基座。
根据本申请实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的返航控制方法。
根据本申请实施例的一个方面，提供一种自移动设备，该自移动设备包括：车体，包括车身和车轮；以及控制模块，用于执行本申请中任意一实施例提供的返航控制方法。
根据本申请实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的返航控制方法。
在本申请实施例提供的技术方案中，先控制自移动设备进入指定区域，实时获取视觉图像，通过视觉图像初步确定基座所处的区域范围。接着根据视觉图像确定对应的基座点云数据，确定自移动设备相对于基座的偏移量，以及基座点云数据与预设的基准点云数据之间的距离。根据偏移量、距离、自移动设备的初始位姿以及预设的误差方程确定自移动设备的定位位姿。这样，通过视觉图像和基座点云数据进行关联匹配，以得到自移动设备距离充基座的偏移量，并通过偏移量和误差方程来约束自移动设备的定位位姿，由于误差方程可用于验证定位位姿相对于基座的偏离是否最优，因此当通过误差方程得到定位位姿时，即可得到准确性较高的定位位姿，由于本技术方案无须用到定位设备，减少了定位设备受环境影响的因素，使得自移动设备的定位鲁棒性更高，且适用于室内室外场景，提高了自移动设备返航的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性地示出了本申请一实施例提供的返航控制方法步骤流程图。
图2示意性地示出了本申请一实施例提供的自移动设备相对于基座对应的偏移量。
图3示意性地示出了本申请一实施例中实现步骤S102的具体流程图。
图4示意性地示出了本申请一实施例中实现步骤S103的具体流程图。
图5示意性地示出了本申请一实施例提供的基座点云数据与基准点云数据之间的距离示意图。
图6示意性地示出了本申请另一实施例提供的基座点云数据与基准点云数据之间的距离示意图。
图7示意性地示出了本申请另一实施例提供的返航控制方法步骤流程图。
图8示意性地示出了本申请一实施例中实现步骤S105的具体流程图。
图9示意性地示出了本申请实施例提供的返航控制装置的结构框图。
图10示意性示出了适于用来实现本申请实施例的自移动设备的计算机系统结构框图。
图11示意性示出了本申请一个实施例提供的自移动设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
在相关技术方案中，自移动设备在进行返航时，一般的自移动设备利用红外传感器或者深度相机进行定位得出自移动设备和基座的相对位置。然而，红外传感器在室外强光下无法正常测算自移动设备到基座的距离，深度相机在深色环境下同样无法精准测算自移动设备到基座的距离。可见，相关技术方案的鲁棒性较差。
为了解决上述技术问题，本申请提出了一种返航控制方法，该方法先控制自移动设备进入指定区域，实时获取视觉图像，通过视觉图像初步确定基座所处的区域范围。接着根据视觉图像确定对应的基座点云数据，确定自移动设备相对于基座的偏移量，以及基座点云数据与预设的基准点云数据之间的距离。根据偏移量、距离、自移动设备的初始位姿以及预设的误差方程确定自移动设备的定位位姿。这样，通过视觉图像和基座点云数据进行关联匹配，以得到自移动设备距离充基座的偏移量，并通过偏移量和误差方程来约束自移动设备的定位位姿，由于误差方程可用于验证定位位姿相对于基座的偏离是否最优，因此当通过误差方程得到定位位姿时，即可得到准确性较高的定位位姿，由于本技术方案无须用到定位设备，减少了定位设备受环境影响的因素，使得自移动设备的定位鲁棒性更高，且适用于室内室外场景，提高了自移动设备返航的准确性。
下面结合具体实施方式对本申请提供的返航控制方法、装置、计算机可读介质以及自移动设备做出详细说明。
本实施例的方法可以应用于自移动设备进行回充的场景，具体地，参见图1，图1示意性地示出了本申请一实施例提供的返航控制方法步骤流程图。该返航控制方法的执行主体可以为控制器，主要可以包括如下的步骤S101至步骤S106。
步骤S101，在自移动设备进入指定区域后，获取包含基座的视觉图像。
当自移动设备电量不足时，或者接收到移动终端发出的回充指令，或者返航指令时，控制自移动设备返回基座。其中，回充指令或返航指令可以用于指示自移动设备回到基座处的指令。控制自移动设备返回基座过程中，通过GPS(Global Positioning System，全球定位系统)实时获取自移动设备所处的位置，通过获取自移动设备所处的位置，以确定自移动设备是否进入基座所在的指定区域。
其中，自移动设备可以是包含自移动辅助功能的设备，也可以是半自移动设备或者完全自主移动设备。示例性的，自移动设备可以是机器人、无人机和智能汽车等，例如可以是割草机器人、送餐机器人、扫雷机器人和清洁机器人等，本申请对自移动设备的类型并不予以限定。
对于指定区域的设定，具体地，指定区域为与基座相距预设距离的区域范围。指定区域可以根据实际场景中基座的位置进行设置得到。例如，指定区域可以是距离基座5米、6米、10米等预设距离的区域范围。指定区域可以使自移动设备在前进方向上通过图像采集装置采集到包含基座的视觉图像的可能性更高，即提高包含基座视觉图像的采集成功率。同时，在自移动设备进入指定区域后，获取包含基座的视觉图像。可以减少无效视觉图像的采集，减少后续处理操作的时间成本，提高视觉图像的采集效率。因此，当检测自移动设备的位置位于指定区域时，可以启动图像采集装置采集自移动设备前进方向上的图像。
当检测到自移动设备未处于指定区域时，可以根据自移动设备所处的位置控制自移动设备前行进入指定区域。当检测自移动设备的位置位于指定区域时，可以启动图像采集装置采集视觉图像。
步骤S102，根据视觉图像，确定基座的基座点云数据，以及自移动设备相对于基座对应的偏移量。
其中，视觉图像可以通过图像采集装置采集得到，图像采集装置可以包括视觉摄像头和激光摄像头，视觉摄像头和激光摄像头在外参标定下，使得视觉摄像头采集的视觉图像和激光摄像头采集的点云数据具有同步性，也就是说自移动设备在返航过程中，采集的视觉图像中的每个像素点均可以匹配到对应的点云数据。当在视觉图像中检测到基座时，可以对基座所在的图像区域中设置基座的标签，使得在该图像区域中属于基座的像素点均携带同一标签。通过将点云数据与视觉图像进行融合，可以根据携带标签的像素点确定对应的属于基座的基座点云数据，以将基座对应的点云数据与其他环境信息对应的点云数据进行区分，过滤非基座的点云数据，并将基座的点云数据作为基座点云数据。
其中，偏移量指的是在同一坐标系下，自移动设备相对于基座向左或者向右偏移的距离。通过得到确定自移动设备相对于基座的偏移量，从而有利于确定自移动设备的偏转角度。即通过该偏移量可以约束自移动设备的偏航角，使得最终得到的偏航角位姿更加准确。参见图2，图2示意性地示出了本申请一实施例提供的自移动设备相对于基座对应的偏移量。
在一些可选的实施例中，参见图3，图3示意性地示出了本申请一实施例中实现步骤S102的具体流程图。根据视觉图像，确定基座在自移动设备坐标系下的基座点云数据，具体可以包括如下步骤S301至步骤S302。
步骤S301，对视觉图像进行特征提取，得到基座的多条轮廓线。
在得到视觉图像之后，采用目标检测算法对视觉图像进行特征提取，以得到基座的多条轮廓线。通过对包含基座的视觉图像进行特征提取，而不是对所有的视觉图像进行特征提取，这样，从而减少了数据量的处理。其中，目标检测算法可以包括R-CNN(Region-CNN，区域卷积神经网络)、SPP(Spatial Pyramid Pooling，空间金字塔池化)、YOLO(YouOnly Look Once，基于深度学习的回归方法)等目标检测算法中的一种或多种，目标检测算法的选取在此不予限制。
步骤S302，将多条轮廓线所包含的点云数据确定为基座的基座点云数据。
由于采集的视觉图像中的每个像素点均可以匹配到对应的点云数据，在经过特征提取得到基座的多条轮廓线之后，每条轮廓线都会匹配到对应的点云数据，将每条轮廓线所包含的点云数据确定为基座的基座点云数据。
这样，通过对视觉图像进行特征提取，以得到基座的多条轮廓线，通过将多条轮廓线所包含的点云数据确定为基座的基座点云数据，从而有利于得到有效的基座点云数据，而过滤无关的其他环境信息的点云数据。
步骤S103，计算基座点云数据到预设的基准点云数据的距离。
其中，基准点云数据表示作为基座标准参考的点云数据。这样，通过计算基座点云数据与预设的基准点云数据之间的距离，从而有利于确定实际基座与参考基座之间的偏差，进一步有利于确定自移动的定位位姿。
在一些可选的实施例中，参见图4，图4示意性地示出了本申请一实施例中实现步骤S103的具体流程图。计算基座点云数据到预设的基准点云数据的距离，具体可以包括如下步骤S401至步骤S403。
步骤S401，确定与基座点云数据相匹配的基准点云数据。
其中，基准点云数据表示作为基座标准参考的点云数据。在确定与基座点云数据相匹配的基准点云数据时，例如可以采用正态分布转换(Normal DistributionsTransform，NDT)算法进行基座点云数据与基准点云数据的配准，从而可以确定得到相匹配的基准点云数据。通过以相匹配的基准点云数据作为参考，进而有利于确定实际的基座点云数据与参考的基准点云数据之间的距离。
参见图5，图5示意性地示出了本申请一实施例提供的基座点云数据与基准点云数据之间的距离示意图。其中，L1’、L2’、L3’以及L4’为组成基座的多条轮廓线，即为实际测量到的轮廓线，L1、L2、L3以及L4为组成基座模型的参考轮廓线。在确定目标轮廓线时，将每条轮廓线与各个参考轮廓线进行匹配组合，使得每次匹配组合的每一每条轮廓线对应一条参考轮廓线。计算轮廓线与对应的参考轮廓线之间的距离，即计算基座点云数据所在的轮廓线与基准点云数据所在的参考轮廓线的距离，并将同一匹配组合中的各个距离求和得到总距离。当总距离达到最小时，确定与基座点云数据相匹配的基准点云数据，也就是该匹配组合中的轮廓线与参考轮廓线匹配成功，将匹配到的轮廓线作为目标轮廓线。经过计算确定得到基座点云数据所在的L1’与基准点云数据所在的L1匹配、基座点云数据所在的L2’与基准点云数据所在的L2匹配、基座点云数据所在的L3’与L3基准点云数据所在的匹配，以及基座点云数据所在的L4’与基准点云数据所在的L4匹配。
步骤S402，将基准点云数据所在的参考轮廓线作为目标轮廓线。
由于基准点云数据中分布在不同的轮廓线中，将匹配到的基准点云数据所在的参考轮廓线作为目标轮廓线，从而有助于确定基座点云数据与基准点云数据之间的距离。
步骤S403，将基座点云数据到目标轮廓线的距离确定为基座点云数据到基准点云数据的距离。
获取目标轮廓线的直线方程，例如直线方程为Ax+By+C＝0，其中，A、B和C为常数。根据基座点云数据中的点的坐标，例如点O的坐标(Xo，Yo)，则点O到目标轮廓直线的距离为
Figure BDA0003827290740000091
进而得到基座点云数据到基准点云数据的距离。
参见图6，图6示意性地示出了本申请另一实施例提供的基座点云数据与基准点云数据之间的距离示意图。若要计算基座点云数据到基准点云数据的距离，以轮廓线L1’上的基座点云数据为例，轮廓线L1’包括基座点云数据中的点，例如a’、b’、c’，分别计算a’到目标轮廓线L1的距离，b’到目标轮廓线L1的距离以及c’到目标轮廓线L1的距离，从而可以计算得到基座点云数据到基准点云数据的距离。对于其他轮廓线基于同样的原理，在此不予赘述。
这样，先确定相匹配的与基座点云数据相匹配的基准点云数据，通过计算基座点云数据到参考的基准点云数据之间的距离，从而有利于较准确的距离，进一步有利于确定自移动设备的定位位姿。
步骤S104，获取自移动设备的初始位姿。
其中，自移动设备的初始位姿包括自移动设备初始的朝向角度以及自移动设备所处的初始位置。对于初始位姿的确定，可以通过经验值进行设定，对于具体值的设定，本领域技术人员可以根据实际需要进行设定。
步骤S105，根据偏移量、距离、初始位姿和预设的误差方程，确定自移动设备的定位位姿。
通过上述步骤确定了偏移量、距离以及初始位姿之后，将对应的数据代入预设的误差方程，从而可以确定得到自移动设备的定位位姿。其中，预设的误差方程为：
Figure BDA0003827290740000092
其中，(Rk,tk)表示第k时刻自移动设备在基座坐标系下的位姿，tk表示第k时刻自移动设备在基座坐标系下的平移。而具体的Rk又包括
Figure BDA0003827290740000101
rollk表示第k时刻自移动设备的翻滚角，pitchk表示第k时刻自移动设备的俯仰角，yawk表示第k时刻自移动设备的偏航角。
Figure BDA0003827290740000102
为当前基座点云数据第i条轮廓线中的第j个点，mx+n表示第j个点对应基准点云数据中的直线方程，m和n从是基准点云数据获取，即可以根据得到的目标轮廓线来获取各自对应的m和n。|((Rkxij+tk)-(mix+ni))|为距离，d为偏移量，wd为偏移量d所在误差方程中的权重，该权重值可以根据实际需要进行设定。δ为使得偏航角或俯仰角均在平面时所设定的补偿值。Σp、Σd、Σx和Σq为所对应误差项的信息矩阵。
这样，通过对该误差方程进行求解，不断调整初始位姿以使得总误差值最小，进而最终得到较准确的自移动设备的定位位姿，从而可以提高自移动设备与基座对接的精度
步骤S106，基于定位位姿，控制自移动设备移动，以使自移动设备与基座对接。
其中，定位位姿包括定位姿态和定位位置，在得到自移动设备的定位位姿之后，调整自移动的设备的姿态与定位位置与目标的位姿对应，从而实现自移动设备与基座的对接。
在本申请实施例提供的技术方案中，先控制自移动设备进入指定区域，实时获取视觉图像，通过视觉图像初步确定基座所处的区域范围。接着根据视觉图像确定对应的基座点云数据，确定自移动设备相对于基座的偏移量，以及基座点云数据与预设的基准点云数据之间的距离。根据偏移量、距离、自移动设备的初始位姿以及预设的误差方程确定自移动设备的定位位姿。这样，基于自移动设备的初始位姿的基础对位姿进行不断调整，以使得整个误差方程的误差值最小，进而得到较为准确的自移动设备的位姿，从而提高了自移动设备与基座匹配的精度，实现精确导航自移动设备返航，提高了返航的准确性。
在一些可选的实施例中，参见图7，图7示意性地示出了本申请另一实施例提供的返航控制方法步骤流程图。在计算基座点云数据到预设的基准点云数据的距离之前，该方法具体可以包括如下步骤S701至步骤S703。
步骤S701，获取预设的基座三维模型。
其中，基座三维模型可以为基座的建模模型，例如，通过计算机辅助设计(Computer Aided Design，CAD)建模得到，建模方式不做限定。
步骤S702，对基座三维模型进行特征提取，得到基座的多条参考轮廓线。
通过对基座三维模型进行特征提取，以得到基座的多条参考轮廓线，从而有利于将轮廓线与参考轮廓线进行比对。由于对基座三维模型进行特征提取的方式与对视觉图像进行特征的提取方式相类似，对于基座三维模型的特征提取方式不再重复赘述。
步骤S703，将多条参考轮廓线所包含的点云数据确定为基座对应的基准点云数据。
通过将每条参考轮廓线所包含的点云数据确定为基座对应的基准点云数据，以得到较为准确的基准点云数据。将基准点云数据作为参考，有利于对基座点云数据的匹配校准，使得轮廓线和基准轮廓线之间的匹配关系可以更精准确定最终的自移动设备的定位位姿。
在一些可选的实施例中，参见图8，图8示意性地示出了本申请一实施例中实现步骤S105的具体流程图。根据偏移量、距离、初始位姿和预设的误差方程，确定自移动设备的定位位姿，具体可以包括如下步骤S801至步骤S803。
步骤S801，将偏移量、距离、初始位姿代入预设的误差方程进行计算，得到总误差值。
通过设置预设的误差方程，将偏移量、距离、初始位姿代入该误差方程中，并计算得到总误差值。其中，总误差值可以认为是自移动设备与基座之间的对接精度。
步骤S802，在总误差值大于或等于预设误差阈值时，根据预设更新策略更新初始位姿，根据更新后的初始位姿返回计算总误差值的步骤。
其中，预设更新策略为：在设定了初始位姿之后，例如，初始位姿确定为Rk0和tk0，则根据误差方程计算总的误差，当总误差值大于或等于预设误差阈值时，调整Rk0和tk0，将初始位姿由原来的Rk0和tk0更新为Rk1和tk1，再将该位姿代入误差方程重新计算总误差值，以此循环，总误差值小于预设误差阈值，此时的R即为最优的定位位姿。
步骤S803，在总误差值小于预设误差阈值时，将最新的初始位姿作为自移动设备的定位位姿。
其中，误差阈值可以通过预先设定，对于误差阈值的大小设置，本领域技术人员可以根据实际需要进行设定，在此不进行限定。当总误差值小于预设误差阈值时，则可以认为当前自移动设备的定位位姿可以与基座对接，通过不断调整定位位姿以使得总误差值最小，从而可以提高自移动设备与基座对接的精度。
这样，通过计算总的误差值，并不断地对初始位姿进行调整以使得最终的总误差值最小，从而实现自移动设备与基座的精准对接，进一步可以实现精确导航自移动设备返航回充，提高返航回充的可靠性与准确性。
在一些可选的实施例中，方法还包括：
获取自移动设备的定位信号和姿态信息；
当定位信号不在指定区域时，基于定位信号和姿态信息，控制自移动设备进入指定区域。
其中，自移动设备的定位信号可以是由RTK或者GNSS发送，而姿态信息可以是由IMU(Inertial Measurement Unit，惯性测量单元)获取得到，基于定位信号和姿态信息，引导自移动设备进入指定区域。这样，通过先控制自移动设备位于指定区域，便于保持图像采集装置的精度，使得采集效果较佳。
在一些可选的实施例中，在自移动设备进入指定区域后，获取包含基座的视觉图像，包括：
对视觉图像进行检测识别，确定视觉图像所包含的对象以及各对象对应的类别标签；
在得到视觉图像之后，利用目标检测算法对视觉图像进行对象检测，从而得到视觉图像中各个对象所属类别。其中，目标检测算法可以包括R-CNN(Region-CNN，区域卷积神经网络)、SPP(Spatial Pyramid Pooling，空间金字塔池化)YOLO(You Only Look Once，基于深度学习的回归方法)等目标检测算法中的一种或多种，目标检测算法的选取在此不予限制。
这样，通过目标检测算法对视觉图像进行检测识别，以得到各个对象所属类别，有利于对视觉图像进行分类，从而确定出基座以及非基座对象。在对视觉图像中各个对象所属类别进行检测之后，得到各个对象的类别是属于基座类别，还是属于非基座类别，并对各个对象添加类别标签。其中，类别标签可以是类别编号、类别名称等，此处不做限定。
当检测到视觉图像包含属于基座的类别标签时，确定视觉图像包含基座。
这样，在获取视觉图像之后，需要对视觉图像进行对象检测，以得到视觉图像中所包含的一个或多个对象所属类别，并为对象添加对象对应的类别标签，使得根据类别标签可以确定视觉图像中是否包含基座，以便于筛选出非基座物。如此，便于后续只采用包含基座的点云数据，过滤掉非基座对应的点云数据，这样不仅减少了数据量的计算，而且通过过滤掉非基座的点云数据有利于进一步提高匹配精度。
应当注意，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的返航控制方法。图9示意性地示出了本申请实施例提供的返航控制装置的结构框图。如图9所示，返航控制装置900包括：
第一获取模块901，用于在自移动设备进入指定区域后，获取包含基座的视觉图像；
第一确定模块902，用于根据视觉图像，确定基座的基座点云数据，以及自移动设备相对于基座对应的偏移量；
计算模块903，用于计算基座点云数据到预设的基准点云数据的距离；
第二获取模块904，用于获取自移动设备的初始位姿；
第二确定模块905，用于根据偏移量、距离、初始位姿和预设的误差方程，确定自移动设备的定位位姿；
移动模块906，用于基于定位位姿，控制自移动设备移动，以使自移动设备与基座对接。
在本申请的一些实施例中，基于以上技术方案，第一确定模块902还用于，对视觉图像进行特征提取，得到基座的多条轮廓线；将多条轮廓线所包含的点云数据确定为基座的基座点云数据。
在本申请的一些实施例中，基于以上技术方案，装置还包括获取基准点云数据模块，用于获取预设的基座三维模型；对基座三维模型进行特征提取，得到基座的多条参考轮廓线；将多条参考轮廓线所包含的点云数据确定为基座对应的基准点云数据。
在本申请的一些实施例中，基于以上技术方案，计算模块903还用于，确定与基座点云数据相匹配的基准点云数据；将基准点云数据所在的参考轮廓线作为目标轮廓线；将基座点云数据到目标轮廓线的距离确定为基座点云数据到基准点云数据的距离。
在本申请的一些实施例中，基于以上技术方案，第二确定模块905还用于，将偏移量、距离、初始位姿代入预设的误差方程进行计算，得到总误差值；在总误差值大于或等于预设误差阈值时，根据预设更新策略更新初始位姿，根据更新后的初始位姿返回计算总误差值的步骤；在总误差值小于预设误差阈值时，将最新的初始位姿作为自移动设备的定位位姿。
在本申请的一些实施例中，基于以上技术方案，返航控制装置还包括定位模块，定位模块用于获取自移动设备的定位信号和姿态信息；当定位信号不在指定区域时，基于定位信号和姿态信息，控制自移动设备进入指定区域。
在本申请的一些实施例中，基于以上技术方案，第一获取模块901还用于，对视觉图像进行检测识别，确定视觉图像所包含的对象以及各对象对应的类别标签；当检测到视觉图像包含属于基座的类别标签时，确定视觉图像包含基座。
本申请各实施例中提供的返航控制装置的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
图10示意性地示出了用于实现本申请实施例的自移动设备的计算机系统结构框图。
需要说明的是，图10示出的自移动设备的计算机系统1000仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示，计算机系统1000包括中央处理器1001(Central Processing Unit，CPU)，其可以根据存储在只读存储器1002(Read-Only Memory，ROM)中的程序或者从存储部分1008加载到随机访问存储器1003(Random Access Memory，RAM)中的程序而执行各种适当的动作和处理。在随机访问存储器1003中，还存储有系统操作所需的各种程序和数据。中央处理器1001、在只读存储器1002以及随机访问存储器1003通过总线1004彼此相连。输入/输出接口1005(Input/Output接口，即I/O接口)也连接至总线1004。
以下部件连接至输入/输出接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至输入/输出接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地，根据本申请的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理器1001执行时，执行本申请的系统中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
图11示意性地示出了本申请一个实施例提供的自移动设备的示意图，如图11所示，该自移动设备10包括：车体110，包括车身1101和车轮1102；以及控制模块1103，用于执行本申请中任意一实施例提供的自移动设备的回充方法，该自移动设备的回充方法的具体细节已经在对应的方法实施例中进行了详细的描述，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种返航控制方法，其特征在于，所述返航控制方法包括：
在自移动设备进入指定区域后，获取包含基座的视觉图像；
根据所述视觉图像，确定所述基座的基座点云数据，以及所述自移动设备相对于所述基座对应的偏移量；
计算所述基座点云数据到预设的基准点云数据的距离；
获取所述自移动设备的初始位姿；
根据所述偏移量、所述距离、所述初始位姿和预设的误差方程，确定所述自移动设备的定位位姿；
基于所述定位位姿，控制所述自移动设备移动，以使所述自移动设备与所述基座对接。
2.根据权利要求1所述的返航控制方法，其特征在于，所述根据所述视觉图像，确定所述基座的基座点云数据，包括：
对所述视觉图像进行特征提取，得到所述基座的多条轮廓线；
将所述多条轮廓线所包含的点云数据确定为所述基座的基座点云数据。
3.根据权利要求1所述的返航控制方法，其特征在于，在所述计算所述基座点云数据到预设的基准点云数据的距离之前，所述方法还包括：
获取预设的基座三维模型；
对所述基座三维模型进行特征提取，得到所述基座的多条参考轮廓线；
将所述多条参考轮廓线所包含的点云数据确定为所述基座对应的基准点云数据。
4.根据权利要求3所述的返航控制方法，其特征在于，所述计算所述基座点云数据到预设的基准点云数据的距离，包括：
确定与所述基座点云数据相匹配的基准点云数据；
将基准点云数据所在的参考轮廓线作为目标轮廓线；
将所述基座点云数据到所述目标轮廓线的距离确定为所述基座点云数据到所述基准点云数据的距离。
5.根据权利要求1所述的返航控制方法，其特征在于，所述根据所述偏移量、所述距离、所述初始位姿和预设的误差方程，确定所述自移动设备的定位位姿，包括：
将所述偏移量、所述距离、所述初始位姿代入预设的误差方程进行计算，得到总误差值；
在所述总误差值大于或等于预设误差阈值时，根据预设更新策略更新所述初始位姿，根据更新后的初始位姿返回计算所述总误差值的步骤；
在所述总误差值小于所述预设误差阈值时，将最新的初始位姿作为所述自移动设备的定位位姿。
6.根据权利要求1-5任意一项所述的返航控制方法，其特征在于，所述方法还包括：
获取所述自移动设备的定位信号和姿态信息；
当所述定位信号不在所述指定区域时，基于所述定位信号和所述姿态信息，控制所述自移动设备进入所述指定区域。
7.根据权利要求1所述的返航控制方法，其特征在于，所述在自移动设备进入指定区域后，获取包含基座的视觉图像，包括：
对所述视觉图像进行检测识别，确定所述视觉图像所包含的对象以及各所述对象对应的类别标签；
当检测到所述视觉图像包含属于基座的类别标签时，确定所述视觉图像包含基座。
8.一种返航控制装置，其特征在于，所述返航控制装置包括：
第一获取模块，用于在自移动设备进入指定区域后，获取包含基座的视觉图像；
第一确定模块，用于根据所述视觉图像，确定所述基座的基座点云数据，以及所述自移动设备相对于所述基座对应的偏移量；
计算模块，用于计算所述基座点云数据到预设的基准点云数据的距离；
第二获取模块，用于获取所述自移动设备的初始位姿；
第二确定模块，用于根据所述偏移量、所述距离、所述初始位姿和预设的误差方程，确定所述自移动设备的定位位姿；
移动模块，用于基于所述定位位姿，控制所述自移动设备移动，以使所述自移动设备与所述基座对接。
9.一种计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至7中任意一项所述的返航控制方法。
10.一种自移动设备，其特征在于，包括：
车体，所述车体包括车身和车轮；以及
控制模块，用于执行如权利要求1至7中任意一项所述的返航控制方法。
CN202211063505.3A 2022-09-01 2022-09-01 返航控制方法、装置、计算机可读介质及自移动设备 Pending CN115421486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211063505.3A CN115421486A (zh) 2022-09-01 2022-09-01 返航控制方法、装置、计算机可读介质及自移动设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211063505.3A CN115421486A (zh) 2022-09-01 2022-09-01 返航控制方法、装置、计算机可读介质及自移动设备

Publications (1)

Publication Number Publication Date
CN115421486A true CN115421486A (zh) 2022-12-02

Family

ID=84200419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211063505.3A Pending CN115421486A (zh) 2022-09-01 2022-09-01 返航控制方法、装置、计算机可读介质及自移动设备

Country Status (1)

Country Link
CN (1) CN115421486A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116840243A (zh) * 2023-09-01 2023-10-03 湖南睿图智能科技有限公司 一种机器视觉对象识别的修正方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116840243A (zh) * 2023-09-01 2023-10-03 湖南睿图智能科技有限公司 一种机器视觉对象识别的修正方法及系统
CN116840243B (zh) * 2023-09-01 2023-11-28 湖南睿图智能科技有限公司 一种机器视觉对象识别的修正方法及系统

Similar Documents

Publication Publication Date Title
CN109345596B (zh) 多传感器标定方法、装置、计算机设备、介质和车辆
CN108051002B (zh) 基于惯性测量辅助视觉的运输车空间定位方法及系统
CN111079619B (zh) 用于检测图像中的目标对象的方法和装置
KR102628778B1 (ko) 위치결정을 위한 방법, 컴퓨팅 기기, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램
CN112083725B (zh) 一种面向自动驾驶车辆的结构共用多传感器融合定位系统
CN108139225B (zh) 确定机动车的布局信息
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN110462343A (zh) 基于地图的用于车辆的自动图像标记
CN111707272A (zh) 一种地下车库自动驾驶激光定位系统
CN111947671A (zh) 用于定位的方法、装置、计算设备和计算机可读存储介质
EP3637308A1 (en) Method and device for positioning vehicle, device, and computer readable storage medium
CN112837352B (zh) 基于图像的数据处理方法、装置及设备、汽车、存储介质
JP2022027593A (ja) 可移動機器の測位方法、装置及び可移動機器
CN116486377B (zh) 可行驶区域的生成方法及装置
CN115421486A (zh) 返航控制方法、装置、计算机可读介质及自移动设备
CN114387576A (zh) 一种车道线识别方法、系统、介质、设备及信息处理终端
CN110780325A (zh) 运动对象的定位方法及装置、电子设备
CN116481541A (zh) 一种无需卫星导航的车辆自主返航控制方法、装置及介质
CN115585819A (zh) 自移动设备及其返航方法、返航装置、计算机可读介质
CN117635721A (zh) 目标定位方法及相关系统、存储介质
CN109901589B (zh) 移动机器人控制方法和装置
CN115063771A (zh) 对障碍物的距离检测的纠错方法、系统、存储介质及设备
CN114511590A (zh) 基于单目视觉3d车辆检测与跟踪的路口多引导线构建方法
CN115294004A (zh) 返航控制方法、装置、可读介质及自移动设备
Nowicki et al. Laser-based localization and terrain mapping for driver assistance in a city bus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination