CN111638709B - 自动避障跟踪方法、系统、终端以及介质 - Google Patents

自动避障跟踪方法、系统、终端以及介质 Download PDF

Info

Publication number
CN111638709B
CN111638709B CN202010211731.6A CN202010211731A CN111638709B CN 111638709 B CN111638709 B CN 111638709B CN 202010211731 A CN202010211731 A CN 202010211731A CN 111638709 B CN111638709 B CN 111638709B
Authority
CN
China
Prior art keywords
information
movable device
coordinate system
dimensional map
obstacle avoidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010211731.6A
Other languages
English (en)
Other versions
CN111638709A (zh
Inventor
窦广正
李会川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Black Eye Intelligent Technology Co ltd
Original Assignee
Shanghai Black Eye Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Black Eye Intelligent Technology Co ltd filed Critical Shanghai Black Eye Intelligent Technology Co ltd
Priority to CN202010211731.6A priority Critical patent/CN111638709B/zh
Publication of CN111638709A publication Critical patent/CN111638709A/zh
Application granted granted Critical
Publication of CN111638709B publication Critical patent/CN111638709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供一种自动避障跟踪方法、系统、终端以及介质，解决了现有的大部分关于自动追踪技术在跟踪目标时出现障碍时还需手动控制可移动装置进行避障，从而导致浪费了大量人力和时间，降低了跟踪的灵活度和准确度，进而使自动追踪工作效率降低的问题。本申请基于计算机视觉技术、激光雷达自动建图技术、路径规划和运动过程中的动态避障自主运动控制技术，结合起来实现在真实三维场景下的目标自主跟随、引领功能以及任意点到点之间的自主定点移动功能，提高了跟随控制的准确度和灵活度，定点移动的准确性及安全性。

Description

自动避障跟踪方法、系统、终端以及介质
技术领域
本申请涉及一种基于计算机视觉技术领域，特别是涉及一种自动避障跟踪方法、系统、终端以及介质。
背景技术
现如今，人机交互技术正在迅猛发展，其中行人追踪是人机交互中不可或缺的一部分，而在深度图像中对行人进行自动追踪也具有重要的意义。由于现有的大部分关于自动追踪技术在跟踪目标时出现障碍时还需手动控制可移动装置进行避障，从而导致浪费了大量人力和时间，降低了跟踪的灵活度和准确度，进而使自动追踪工作效率降低。
申请内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种自动避障跟踪方法、系统、终端以及介质，用于解决现有的大部分关于自动追踪技术在跟踪目标时出现障碍时还需手动控制可移动装置进行避障，从而导致浪费了大量人力和时间，降低了跟踪的灵活度和准确度，进而使自动追踪工作效率降低的问题。
为实现上述目的及其他相关目的，本申请提供一种自动避障跟踪方法，包括：接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息；采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息；采集所述移动装置的位姿信息，并获得所述移动装置在所述二维地图坐标系下的位置信息；根据所述可移动装置与所述跟随目标分别在所述二维地图坐标系下的位置信息来确定所述可移动装置跟随所述跟随目标的运行状态信息，以控制所述可移动装置与所述跟随目标实现运动同步；根据所述运行状态信息以及所述障碍物在所述二维地图坐标系下的位置信息确定所述障碍物与所述可移动装置的相对距离信息，并获得用于确定触发动态避障的动态避障信息；根据所述动态避障信息、所述可移动装置以及跟随目标在所述二维坐标系下的位置信息获得所述可移动装置在当前位置的避障路线规划信息，以令所述可移动装置对所述跟随目标进行可避障的跟踪。
于本申请的一实施例中，接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息的方式包括：接收来自所述可移动装置的对于周边环境的障碍物的扫描信息；建立当前场景的二维地图坐标系；根据所述障碍物的扫描信息得到在相对世界坐标系下的障碍物的位置信息；将相对世界坐标系下的障碍物的位置信息转换投影到所述二维地图坐标系以获得所述障碍物在所述二维地图坐标系下的位置信息。
于本申请的一实施例中，采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息的方式包括：采集所述移动装置前方一定距离内的RGB图像信息和深度图像信息，并进行对齐；利用分割算法将所述深度图像分割为目标区域以及背景区域，进而确定跟随目标；根据RGB图像信息与所述深度图像计算所述可移动装置与所述跟随目标的位置信息；将所述位置信息转换为所述跟随目标在所述二维地图坐标系中的位置信息。
于本申请的一实施例中，所述采集所述移动装置的位姿信息，并获得所述移动装置在所述二维地图坐标系下的位置信息的方式包括：根据里程计和陀螺仪传感器的信息解算可移动装置的位姿信息；将该位姿信息转换映射到二维地图中，从而确立可移动装置在该二维地图世界坐标系中的位置信息。
于本申请的一实施例中，所述运动状态信息包括：所述可移动装置向所述跟随目标方向运动的线速度值和角速度值。
于本申请的一实施例中，所述跟随目标的运动状态包括：指定点静止和/运动。
于本申请的一实施例中，所述可移动装置包括：激光雷达传感器。
为实现上述目的及其他相关目的，本申请提供一种自动避障跟踪系统，包括：障碍物信息获取模块，用于接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息；跟随目标模块，用于采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息；可移动装置位置模块，用于采集所述移动装置的位姿信息，并获得所述移动装置在所述二维地图坐标系下的位置信息；运动控制模块，用于根据所述可移动装置与所述跟随目标分别在所述二维地图坐标系下的位置信息来确定所述可移动装置跟随所述跟随目标的运行状态信息，以控制所述可移动装置与所述跟随目标实现运动同步；动态避障模块，用于根据所述运行状态信息以及所述障碍物在所述二维地图坐标系下的位置信息确定所述障碍物与所述可移动装置的相对距离信息，并获得用于确定触发动态避障的动态避障信息；避障路线规划模块，用于根据所述动态避障信息、所述可移动装置以及跟随目标在所述二维坐标系下的位置信息获得所述可移动装置在当前位置的避障路线规划信息，以令所述可移动装置对所述跟随目标进行可避障的跟踪。
为实现上述目的及其他相关目的，本申请提供一种自动避障跟踪终端，包括：存储器，用于存储计算机程序；处理器，运行所述计算机程序，以执行所述自动避障跟踪方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被运行时实现所述自动避障跟踪方法。
如上所述，本申请的自动避障跟踪方法、系统、终端以及介质，具有以下有益效果：本申请基于计算机视觉技术、激光雷达自动建图技术、路径规划和运动过程中的动态避障自主运动控制技术，结合起来实现在真实三维场景下的目标自主跟随、引领功能以及任意点到点之间的自主定点移动功能，提高了跟随控制的准确度和灵活度，定点移动的准确性及安全性。
附图说明
图1显示为本申请一实施例中自动避障跟踪方法的流程示意图。
图2显示为本申请一实施例中自动避障跟踪系统的结构示意图。
图3显示为本申请一实施例中自动避障跟踪终端的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本申请的精神和范围的情况下进行机械组成、结构、电气以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。空间相关的术语，例如“上”、“下”、“左”、“右”、“下面”、“下方”、““下部”、“上方”、“上部”等，可在文中使用以便于说明图中所示的一个元件或特征与另一元件或特征的关系。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
本申请提供一种自动避障跟踪方法，解决了现有的大部分关于自动追踪技术在跟踪目标时出现障碍时还需手动控制可移动装置进行避障，从而导致浪费了大量人力和时间，降低了跟踪的灵活度和准确度，进而使自动追踪工作效率降低的问题。本申请基于计算机视觉技术、激光雷达自动建图技术、路径规划和运动过程中的动态避障自主运动控制技术，结合起来实现在真实三维场景下的目标自主跟随、引领功能以及任意点到点之间的自主定点移动功能，提高了跟随控制的准确度和灵活度，定点移动的准确性及安全性。
所述方法包括：
接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息；
采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息；
采集所述移动装置的位姿信息，并获得所述移动装置在所述二维地图坐标系下的位置信息；
根据所述可移动装置与所述跟随目标分别在所述二维地图坐标系下的位置信息来确定所述可移动装置跟随所述跟随目标的运行状态信息，以控制所述可移动装置与所述跟随目标实现运动同步；
根据所述运行状态信息以及所述障碍物在所述二维地图坐标系下的位置信息确定所述障碍物与所述可移动装置的相对距离信息，并获得用于确定触发动态避障的动态避障信息；
根据所述动态避障信息、所述可移动装置以及跟随目标在所述二维坐标系下的位置信息获得所述可移动装置在当前位置的避障路线规划信息，以令所述可移动装置对所述跟随目标进行可避障的跟踪。
所述可移动装置为可移动机器人，所述机器人可以应用于各个领域在本申请中不作限定；举例来说，可移动装置可适用于一些创新型的应用场景，如商场导购服务机器人，餐厅送餐服务机器人，家庭移动服务机器人等。
下面以附图1为参考，针对本申请得实施例进行详细说明，以便本申请所述技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限于此处说明的实施例。
如图1所示，展示一实施例中自动避障跟踪方法的流程示意图，即经过以下步骤；
步骤S11：接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息。
可选的，接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息的方式包括：
接收来自所述可移动装置的对于周边环境的障碍物的扫描信息；
建立当前场景的二维地图坐标系；
根据所述障碍物的扫描信息得到在相对世界坐标系下的障碍物的位置信息；
将相对世界坐标系下的障碍物的位置信息转换投影到所述二维地图坐标系以获得所述障碍物在所述二维地图坐标系下的位置信息。
具体的，设于所述可移动装置上的数据采集装置对所述移动装置周边环境中的障碍物进行扫描，进而获得障碍物的扫描信息；根据周边环境建立当前场景的二维地图坐标系；并确立相对世界坐标系及环境中扫描到所述障碍物在该坐标系下的位置信息；根据获得的障碍物扫描信息中的深度图像信息，建行对应的障碍物在世界坐标系转换投影到二维地图坐标系中，并以障碍物在该二维地图坐标系下的位置信息作为可移动装置在三维场景中运动的控制条件。
可选的，所述数据采集装置为可进行对所述移动装置周边环境中的障碍物进行扫描的任一装置，可以包括：包括超声波传感器、红外传感器、激光雷达等装置，在本申请中不作限定。
具体的，所述超声波传感器、红外传感器、激光雷达，进行障碍物信息检测，获取当前所在环境中的所有障碍物在世界坐标系中的位置信息，并上传进行数据分析，通过激光雷达数据建立二维坐标系平面地图。
步骤S12：采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息。
可选的，采集所述移动装置前方一定距离内的RGB图像信息和深度图像信息，并进行对齐；利用分割算法将所述深度图像分割为目标区域以及背景区域，进而确定目标；根据RGB图像信息与所述深度图像计算所述可移动装置与所述目标的位置信息；将所述位置信息转换为所述跟随目标在所述二维地图坐标系中的位置信息。
具体的，在可移动装置上的数据采集装置前方一定距离内采集目标的RGB图像信息和深度图像信息，将图像和深度信息进行帧对齐和图像对齐。采用分割算法对深度图像进行分割,对分割出的区域进行目标和背景区域的判定，从而确定跟随目标；根据图像信息和深度信息计算目标与数据采集装置的距离和夹角，确定可移动装置和目标的距离及角度信息，将该信息转换为所述跟随激光雷达建立二维地图坐标系中的位置信息。
可选的，利用图像分析算法根据RGB图像和深度图像结算出跟随目标的相对角度和距离，并转换成在二维地图中的位置信息。可选的，所述数据采集装置为采集所述移动装置前方一定距离内的RGB图像信息和深度图像信息的任一装置，可以包括：RGBD摄像头等装置，在本申请中不作限定。
具体的，所述RGBD摄像头用于获取跟随目标的RGB图像和深度图像，并上传以获取跟随目标的相对角度和距离。
步骤S13：采集所述移动装置的位姿信息，并获得所述移动装置在所述二维地图坐标系下的位置信息。
可选的，根据里程计和陀螺仪传感器的信息解算可移动装置的位姿信息；将该位姿信息转换映射到二维地图中，从而确立可移动装置在该二维地图世界坐标系中的位置信息。
步骤S14：根据所述可移动装置与所述跟随目标分别在所述二维地图坐标系下的位置信息来确定所述可移动装置跟随所述跟随目标的运行状态信息，以控制所述可移动装置与所述跟随目标实现运动同步。
可选的，根据跟随目标在二维地图世界坐标系中的位置信息以及可移动装置在二维地图世界坐标系中的位置信息，来确定移动装置向跟随目标方向运动的线速度值和角速度值的运行状态信息，控制移动装置跟随目标运行。
可选的，在跟随目标移动过程中，根据跟随目标的运行速度快慢和方位，即相对可移动装置距离的远近和方位，实时动态调整运动控制的状态信息，以提供相应的动力及方位控制信息，达到与跟随目标移动速度和方向实时同步匹配的效果。
可选的，利用底盘控制板采集的数据和运动过程中里程计的实时数据发送至上层数据分析模块，并接收经过数据分析的运动控制数据，将该运动控制数据转换为动力装置的控制量，达到移动装置预期的运动状态。
步骤S15：根据所述运行状态信息以及所述障碍物在所述二维地图坐标系下的位置信息确定所述障碍物与所述可移动装置的相对距离信息，并获得用于确定触发动态避障的动态避障信息。
可选的，在可移动装置跟随目标运行过程中出现动态移动的障碍物时，根据所述运行状态信息确定该移动障碍物在二维地图世界坐标系中的位置，从而确定该障碍物和移动装置运动方向上的相对距离，判断是否触发动态避障，如果该障碍物触发了动态避障，即获得用于确定触发动态避障的动态避障信息。
可选的，在可移动装置跟随目标运行过程中出现动态移动的障碍物时，根据超声波传感器、红外传感器及激光雷达传感器的信息确定该移动障碍物在二维地图世界坐标系中的位置，从而确定该障碍物和移动装置运动方向上的相对距离，判断是否触发动态避障，如果该障碍物触发了动态避障，即获得用于确定触发动态避障的动态避障信息。
可选的，动态避障算法根据超声波传感器、红外传感器、激光雷达获取当前的实时障碍物信息，以及当前移动装置当前的位姿信息和跟随目标在二维地图中的位置信息，规划局部路径导航移动至跟随目标位置处。
步骤S16：根据所述动态避障信息、所述可移动装置以及跟随目标在所述二维坐标系下的位置信息获得所述可移动装置在当前位置的避障路线规划信息，以令所述可移动装置对所述跟随目标进行可避障的跟踪。
可选的，所述可移动装置根据当前位置和跟随目标的当前位置在二维地图中做避障的路径规划，通过导航运动控制的方式移动到跟随目标位置处。
可选的，则该可移动装置根据当前位置和指定点在二维地图中的位置做路径规划，在导航运动过程中实时监测动态障碍物，当动态障碍物触发动态避障时，该移动装置会自主避开障碍物继续向跟随目标移动。
可选的，所述跟随目标的运动状态包括：指定点静止和/运动。
具体的，所述跟随目标可以是一个或多个动态运动的物体，也可以是一个或多个静止的物体或者指定点。
在设置平面空间中的不同指定点移动的情况下，根据二维地图在此世界坐标系中设置指定点的位置，则该移动装置根据当前位置和指定点在二维地图中的位置做路径规划，通过导航运动控制的方式移动到指定点位置处；并在导航运动过程中实时监测动态障碍物，当动态障碍物触发动态避障时，该移动装置会自主避开障碍物继续向指定点位置移动；该系统装置即可该空间中指定点间精确地、安全地移动，结合起来实现在真实三维场景下的目标自主跟随、引领功能以及任意点到点之间的自主定点移动功能，提高了跟随控制的准确度和灵活度，定点移动的准确性及安全性。
与上述实施例原理相似的是，本申请提供一种自动避障跟踪系统，所述系统包括：
障碍物信息获取模块，用于接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息；
跟随目标模块，用于采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息；
可移动装置位置模块，用于采集所述移动装置的位姿信息，并获得所述移动装置在所述二维地图坐标系下的位置信息；
运动控制模块，用于根据所述可移动装置与所述跟随目标分别在所述二维地图坐标系下的位置信息来确定所述可移动装置跟随所述跟随目标的运行状态信息，以控制所述可移动装置与所述跟随目标实现运动同步；
动态避障模块，用于根据所述运行状态信息以及所述障碍物在所述二维地图坐标系下的位置信息确定所述障碍物与所述可移动装置的相对距离信息，并获得用于确定触发动态避障的动态避障信息；
避障路线规划模块，用于根据所述动态避障信息、所述可移动装置以及跟随目标在所述二维坐标系下的位置信息获得所述可移动装置在当前位置的避障路线规划信息，以令所述可移动装置对所述跟随目标进行可避障的跟踪。
以下结合附图提供具体实施例：
如图2所示展示本申请实施例中的一种自动避障跟踪系统的结构示意图。
所述系统包括：
所述障碍物信息获取模块21，用于接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息；
所述跟随目标模块22，用于采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息；
所述可移动装置位置模块23，用于采集所述移动装置的位姿信息，并获得所述移动装置在所述二维地图坐标系下的位置信息；
所述运动控制模块24，用于根据所述可移动装置与所述跟随目标分别在所述二维地图坐标系下的位置信息来确定所述可移动装置跟随所述跟随目标的运行状态信息，以控制所述可移动装置与所述跟随目标实现运动同步；
所述动态避障模块25，用于根据所述运行状态信息以及所述障碍物在所述二维地图坐标系下的位置信息确定所述障碍物与所述可移动装置的相对距离信息，并获得用于确定触发动态避障的动态避障信息；
所述避障路线规划模块26，用于根据所述动态避障信息、所述可移动装置以及跟随目标在所述二维坐标系下的位置信息获得所述可移动装置在当前位置的避障路线规划信息，以令所述可移动装置对所述跟随目标进行可避障的跟踪。
可选的，所述障碍物信息获取模块21接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息的方式包括：
接收来自所述可移动装置的对于周边环境的障碍物的扫描信息；
建立当前场景的二维地图坐标系；
根据所述障碍物的扫描信息得到在相对世界坐标系下的障碍物的位置信息；
将相对世界坐标系下的障碍物的位置信息转换投影到所述二维地图坐标系以获得所述障碍物在所述二维地图坐标系下的位置信息。
具体的，设于所述可移动装置上的数据采集装置对所述移动装置周边环境中的障碍物进行扫描，进而获得障碍物的扫描信息；根据周边环境建立当前场景的二维地图坐标系；并确立相对世界坐标系及环境中扫描到所述障碍物在该坐标系下的位置信息；根据获得的障碍物扫描信息中的深度图像信息，建行对应的障碍物在世界坐标系转换投影到二维地图坐标系中，并以障碍物在该二维地图坐标系下的位置信息作为可移动装置在三维场景中运动的控制条件。
可选的，所述数据采集装置为可进行对所述移动装置周边环境中的障碍物进行扫描的任一装置，可以包括：包括超声波传感器、红外传感器、激光雷达等装置，在本申请中不作限定。
具体的，所述超声波传感器、红外传感器、激光雷达，进行障碍物信息检测，获取当前所在环境中的所有障碍物在世界坐标系中的位置信息，并上传进行数据分析，通过激光雷达数据建立二维坐标系平面地图。
可选的，所述跟随目标模块22采集所述移动装置前方一定距离内的RGB图像信息和深度图像信息，并进行对齐；利用分割算法将所述深度图像分割为目标区域以及背景区域，进而确定目标；根据RGB图像信息与所述深度图像计算所述可移动装置与所述目标的位置信息；将所述位置信息转换为所述跟随目标在所述二维地图坐标系中的位置信息。
具体的，所述跟随目标模块22在可移动装置上的数据采集装置前方一定距离内采集目标的RGB图像信息和深度图像信息，将图像和深度信息进行帧对齐和图像对齐。采用分割算法对深度图像进行分割,对分割出的区域进行目标和背景区域的判定，从而确定跟随目标；根据图像信息和深度信息计算目标与数据采集装置的距离和夹角，确定可移动装置和目标的距离及角度信息，将该信息转换为所述跟随激光雷达建立二维地图坐标系中的位置信息。
可选的，所述跟随目标模块22利用图像分析算法根据RGB图像和深度图像结算出跟随目标的相对角度和距离，并转换成在二维地图中的位置信息。可选的，所述数据采集装置为采集所述移动装置前方一定距离内的RGB图像信息和深度图像信息的任一装置，可以包括：RGBD摄像头等装置，在本申请中不作限定。
具体的，所述RGBD摄像头用于获取跟随目标的RGB图像和深度图像，并上传以获取跟随目标的相对角度和距离。
可选的，所述可移动装置位置模块23根据里程计和陀螺仪传感器的信息解算可移动装置的位姿信息；将该位姿信息转换映射到二维地图中，从而确立可移动装置在该二维地图世界坐标系中的位置信息。
可选的，所述运动控制模块24根据跟随目标在二维地图世界坐标系中的位置信息以及可移动装置在二维地图世界坐标系中的位置信息，来确定移动装置向跟随目标方向运动的线速度值和角速度值的运行状态信息，控制移动装置跟随目标运行。
可选的，所述运动控制模块24在跟随目标移动过程中，根据跟随目标的运行速度快慢和方位，即相对可移动装置距离的远近和方位，实时动态调整运动控制的状态信息，以提供相应的动力及方位控制信息，达到与跟随目标移动速度和方向实时同步匹配的效果。
可选的，所述运动控制模块24利用底盘控制板采集的数据和运动过程中里程计的实时数据发送至上层数据分析模块，并接收经过数据分析的运动控制数据，将该运动控制数据转换为动力装置的控制量，达到移动装置预期的运动状态。
可选的，所述动态避障模块25在可移动装置跟随目标运行过程中出现动态移动的障碍物时，根据所述运行状态信息确定该移动障碍物在二维地图世界坐标系中的位置，从而确定该障碍物和移动装置运动方向上的相对距离，判断是否触发动态避障，如果该障碍物触发了动态避障，即获得用于确定-触发动态避障的动态避障信息。
可选的，所述动态避障模块25在可移动装置跟随目标运行过程中出现动态移动的障碍物时，根据超声波传感器、红外传感器及激光雷达传感器的信息确定该移动障碍物在二维地图世界坐标系中的位置，从而确定该障碍物和移动装置运动方向上的相对距离，判断是否触发动态避障，如果该障碍物触发了动态避障，即获得用于确定触发动态避障的动态避障信息。
可选的，动态避障算法根据超声波传感器、红外传感器、激光雷达获取当前的实时障碍物信息，以及当前移动装置当前的位姿信息和跟随目标在二维地图中的位置信息，规划局部路径导航移动至跟随目标位置处。
可选的，所述可移动装置根据当前位置和跟随目标的当前位置在二维地图中做避障的路径规划，所述避障路线规划模块26通过导航运动控制的方式移动到跟随目标位置处。
可选的，则该可移动装置根据当前位置和指定点在二维地图中的位置做路径规划，在导航运动过程中实时监测动态障碍物，当动态障碍物触发动态避障时，该移动装置会自主避开障碍物继续向跟随目标移动。
可选的，所述跟随目标的运动状态包括：指定点静止和/运动。
具体的，所述跟随目标可以是一个或多个动态运动的物体，也可以是一个或多个静止的物体或者指定点。
在设置平面空间中的不同指定点移动的情况下，根据二维地图在此世界坐标系中设置指定点的位置，则该移动装置根据当前位置和指定点在二维地图中的位置做路径规划，通过导航运动控制的方式移动到指定点位置处；并在导航运动过程中实时监测动态障碍物，当动态障碍物触发动态避障时，该移动装置会自主避开障碍物继续向指定点位置移动；该系统装置即可该空间中指定点间精确地、安全地移动，结合起来实现在真实三维场景下的目标自主跟随、引领功能以及任意点到点之间的自主定点移动功能，提高了跟随控制的准确度和灵活度，定点移动的准确性及安全性。
如图3所示，展示本申请实施例中的自动避障跟踪终端30的结构示意图。
所述电子装置30包括：存储器31及处理器32所述存储器31用于存储计算机程序；所述处理器32运行计算机程序实现如图1所述的自动避障跟踪方法。
可选的，所述存储器31的数量均可以是一或多个，所述处理器32的数量均可以是一或多个，所而图3中均以一个为例。
可选的，所述电子装置30中的处理器32会按照如图1述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器31中，并由处理器32来运行存储在存储器31中的应用程序，从而实现如图1所述自动避障跟踪方法中的各种功能。
可选的，所述存储器31，可能包括但不限于高速随机存取存储器、非易失性存储器。例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备；所述处理器31，可能包括但不限于中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
可选的，所述处理器32可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供计算机可读存储介质，存储有计算机程序，所述计算机程序运行时实现如图1所示的自动避障跟踪方法。所述计算机可读存储介质可包括，但不限于，软盘、光盘、CD-ROM(只读光盘存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。所述计算机可读存储介质可以是未接入计算机设备的产品，也可以是已接入计算机设备使用的部件。
综上所述，本申请自动避障跟踪方法、系统、终端以及介质，解决了现有的大部分关于自动追踪技术在跟踪目标时出现障碍时还需手动控制可移动装置进行避障，从而导致浪费了大量人力和时间，降低了跟踪的灵活度和准确度，进而使自动追踪工作效率降低的问题。本申请基于计算机视觉技术、激光雷达自动建图技术、路径规划和运动过程中的动态避障自主运动控制技术，结合起来实现在真实三维场景下的目标自主跟随、引领功能以及任意点到点之间的自主定点移动功能，提高了跟随控制的准确度和灵活度，定点移动的准确性及安全性。所以，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种自动避障跟踪方法，其特征在于，所述方法包括：
接收来自可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息；
采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息；
采集所述可移动装置的位姿信息，并获得所述可移动装置在所述二维地图坐标系下的位置信息；
根据所述可移动装置与所述跟随目标分别在所述二维地图坐标系下的位置信息来确定所述可移动装置跟随所述跟随目标的运动状态信息，以控制所述可移动装置与所述跟随目标实现运动同步；
根据所述运动状态信息以及所述障碍物在所述二维地图坐标系下的位置信息确定所述障碍物与所述可移动装置的相对距离信息，并获得用于确定触发动态避障的动态避障信息；
根据所述动态避障信息、所述可移动装置以及跟随目标在所述二维地图坐标系下的位置信息获得所述可移动装置在当前位置的避障路线规划信息，以令所述可移动装置对所述跟随目标进行可避障的跟踪。
2.根据权利要求1所述的自动避障跟踪方法，其特征在于，接收来自所述可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息的方式包括：
接收来自所述可移动装置的对于周边环境的障碍物的扫描信息；
建立当前场景的二维地图坐标系；
根据所述障碍物的扫描信息得到在相对世界坐标系下的障碍物的位置信息；
将相对世界坐标系下的障碍物的位置信息转换投影到所述二维地图坐标系以获得所述障碍物在所述二维地图坐标系下的位置信息。
3.根据权利要求1所述的自动避障跟踪方法，其特征在于，采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息的方式包括：
采集所述可移动装置前方一定距离内的RGB图像信息和深度图像信息，并进行对齐；
利用分割算法将所述深度图像分割为目标区域以及背景区域，进而确定跟随目标；
根据RGB图像信息与所述深度图像计算所述可移动装置与所述跟随目标的位置信息；
将所述位置信息转换为所述跟随目标在所述二维地图坐标系中的位置信息。
4.根据权利要求1所述的自动避障跟踪方法，其特征在于，所述采集所述可移动装置的位姿信息，并获得所述可移动装置在所述二维地图坐标系下的位置信息的方式包括：
根据里程计和陀螺仪传感器的信息解算可移动装置的位姿信息；
将该位姿信息转换映射到二维地图坐标系中，从而确立可移动装置在该二维地图坐标系中的位置信息。
5.根据权利要求1所述的自动避障跟踪方法，其特征在于，所述运动状态信息包括：所述可移动装置向所述跟随目标方向运动的线速度值和角速度值。
6.根据权利要求1所述的自动避障跟踪方法，其特征在于，所述跟随目标的运动状态包括：指定点静止和/或运动。
7.根据权利要求1所述的自动避障跟踪方法，其特征在于，所述可移动装置包括：激光雷达传感器。
8.一种自动避障跟踪系统，其特征在于，包括：
障碍物信息获取模块，用于接收来自可移动装置的障碍物的扫描信息，并确立当前场景的二维地图坐标系以及所述障碍物在所述二维地图坐标系下的位置信息；
跟随目标模块，用于采集位于所述可移动装置前方指定范围内的跟随目标的RGB图像信息和深度图像信息，以获得跟随目标的位置以及所述跟随目标在所述二维地图坐标系下的坐标信息；
可移动装置位置模块，用于采集所述可移动装置的位姿信息，并获得所述可移动装置在所述二维地图坐标系下的位置信息；
运动控制模块，用于根据所述可移动装置与所述跟随目标分别在所述二维地图坐标系下的位置信息来确定所述可移动装置跟随所述跟随目标的运动状态信息，以控制所述可移动装置与所述跟随目标实现运动同步；
动态避障模块，用于根据所述运动状态信息以及所述障碍物在所述二维地图坐标系下的位置信息确定所述障碍物与所述可移动装置的相对距离信息，并获得用于确定触发动态避障的动态避障信息；
避障路线规划模块，用于根据所述动态避障信息、所述可移动装置以及跟随目标在所述二维地图坐标系下的位置信息获得所述可移动装置在当前位置的避障路线规划信息，以令所述可移动装置对所述跟随目标进行可避障的跟踪。
9.一种自动避障跟踪终端，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于运行所述计算机程序，以执行如权利要求1至7中任一项所述的自动避障跟踪方法。
10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序运行时实现如权利要求1至7中任一项所述的自动避障跟踪方法。
CN202010211731.6A 2020-03-24 2020-03-24 自动避障跟踪方法、系统、终端以及介质 Active CN111638709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010211731.6A CN111638709B (zh) 2020-03-24 2020-03-24 自动避障跟踪方法、系统、终端以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010211731.6A CN111638709B (zh) 2020-03-24 2020-03-24 自动避障跟踪方法、系统、终端以及介质

Publications (2)

Publication Number Publication Date
CN111638709A CN111638709A (zh) 2020-09-08
CN111638709B true CN111638709B (zh) 2021-02-09

Family

ID=72329490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010211731.6A Active CN111638709B (zh) 2020-03-24 2020-03-24 自动避障跟踪方法、系统、终端以及介质

Country Status (1)

Country Link
CN (1) CN111638709B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020052724A1 (en) * 2000-10-23 2002-05-02 Sheridan Thomas B. Hybrid vehicle operations simulator
CN102831380A (zh) * 2011-06-15 2012-12-19 康佳集团股份有限公司 一种基于深度图像感应的肢体动作识别方法及系统
CN106940186B (zh) * 2017-02-16 2019-09-24 华中科技大学 一种机器人自主定位与导航方法及系统
CN107741234B (zh) * 2017-10-11 2021-10-19 深圳勇艺达机器人有限公司 一种基于视觉的离线地图构建及定位方法
CN110244756B (zh) * 2019-04-29 2021-09-24 福州大学 无人机快速追踪协同避障方法

Also Published As

Publication number Publication date
CN111638709A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
US11754721B2 (en) Visualization and semantic monitoring using lidar data
KR102032070B1 (ko) 깊이 맵 샘플링을 위한 시스템 및 방법
JP6672212B2 (ja) 情報処理装置、車両、情報処理方法およびプログラム
Wijesoma et al. Road-boundary detection and tracking using ladar sensing
US20220012509A1 (en) Overhead-view image generation device, overhead-view image generation system, and automatic parking device
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
CN110889808A (zh) 一种定位的方法、装置、设备及存储介质
CN111198378B (zh) 基于边界的自主探索方法和装置
CN110597265A (zh) 一种扫地机器人回充方法和装置
CN112581535B (zh) 机器人定位方法、装置、存储介质及电子设备
CN112447058B (zh) 泊车方法、装置、计算机设备及存储介质
CN113768419B (zh) 确定扫地机清扫方向的方法、装置及扫地机
CN113076824B (zh) 车位获取方法、装置、车载终端及存储介质
CN111780744B (zh) 移动机器人混合导航方法、设备及存储装置
JP6815935B2 (ja) 位置推定装置
CN111638709B (zh) 自动避障跟踪方法、系统、终端以及介质
KR102195040B1 (ko) 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
Onoguchi et al. Planar projection stereopsis method for road extraction
US20210149412A1 (en) Position estimating apparatus, method for determining position of movable apparatus, and non-transitory computer readable medium
Negishi et al. Map generation of a mobile robot by integrating omnidirectional stereo and laser range finder
CN112462784A (zh) 机器人位姿确定方法、装置、设备和介质
Sobottka et al. Vision-based driver assistance using range imagery
Stock et al. Subpixel corner detection for tracking applications using cmos camera technology
Girão et al. Real-time multi-view grid map-based spatial representation for mixed reality applications
US11662740B2 (en) Position estimating apparatus, method for determining position of movable apparatus, and non-transitory computer readable medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant