CN108287342B - 障碍物识别方法和装置、终端及计算机可读存储介质 - Google Patents

障碍物识别方法和装置、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN108287342B
CN108287342B CN201711362505.2A CN201711362505A CN108287342B CN 108287342 B CN108287342 B CN 108287342B CN 201711362505 A CN201711362505 A CN 201711362505A CN 108287342 B CN108287342 B CN 108287342B
Authority
CN
China
Prior art keywords
coordinate set
value
dimensional coordinate
dimensional
absolute error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711362505.2A
Other languages
English (en)
Other versions
CN108287342A (zh
Inventor
李帅君
谢语桐
陈勇全
钱辉环
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong Shenzhen
Shenzhen Institute of Artificial Intelligence and Robotics
Original Assignee
Shenzhen Institute of Artificial Intelligence and Robotics
Chinese University of Hong Kong CUHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Artificial Intelligence and Robotics, Chinese University of Hong Kong CUHK filed Critical Shenzhen Institute of Artificial Intelligence and Robotics
Priority to CN201711362505.2A priority Critical patent/CN108287342B/zh
Publication of CN108287342A publication Critical patent/CN108287342A/zh
Application granted granted Critical
Publication of CN108287342B publication Critical patent/CN108287342B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/881—Radar or analogous systems specially adapted for specific applications for robotics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9322—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using additional data, e.g. driver condition, road state or weather data

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供一种障碍物识别方法和装置、终端及计算机可读存储介质，涉及机器人及智能车辆的局部导航领域，该方法包括：通过雷达获取周围环境的二维坐标组集，并通过体感摄影机获取周围环境的三维坐标组集。根据预设算法，调整二维坐标组集和三维坐标组集，得到目标坐标组集，以统一二维坐标组集和三维坐标组集的横坐标值和纵坐标值。根据目标坐标组集，对障碍物进行识别。可保持障碍物识别的实时性和准确性，并且可表现障碍物的整体特性。

Description

障碍物识别方法和装置、终端及计算机可读存储介质
技术领域
本发明涉及机器人及智能车辆的局部导航领域，尤其涉及一种障碍物识别方法和装置、终端及计算机可读存储介质。
背景技术
在移动机器人及各种交通工具的自动行驶中，障碍物的检测识别占据非常重要的一环。为了更好的实现自动行驶，障碍物的检测识别需保持实时性与准确性，同时需要表现障碍物的整体特性。目前，现有无人驾驶设备的障碍物检测识别通常采用单雷达或者单视觉的方式。
然而，当采用单雷达的方式进行障碍物检测时，若使用的雷达为2D雷达，由于2D雷达采集的数据处于同一高度和平面，则容易对障碍物的类别进行错误的判断。若使用的雷达为3D雷达，则可解决2D雷达仅能采集处于同一高度和平面的问题，但是价格过于昂贵。当采用单视觉的方式进行障碍物检测时，由于摄像头存在滞后性，因此无法保持障碍物识别的实时性。
发明内容
本发明的主要目的在于提供一种障碍物识别方法和装置、终端及计算机可读存储介质，可保持障碍物识别的实时性和准确性，并且可表现障碍物的整体特性。
本发明实施例第一方面提供的障碍物识别方法，所述方法包括：通过雷达获取周围环境的二维坐标组集，并通过体感摄影机获取所述周围环境的三维坐标组集；根据预设算法，调整所述二维坐标组集和所述三维坐标组集，得到目标坐标组集，以统一所述二维坐标组集和所述三维坐标组集的横坐标值和纵坐标值；根据所述目标坐标组集，对障碍物进行识别。
本发明实施例第二方面提供的障碍物识别装置，所述装置包括：获取模块，用于通过雷达获取周围环境的二维坐标组集，并通过体感摄影机获取所述周围环境的三维坐标组集；调整模块，用于根据预设算法，调整所述二维坐标组集和所述三维坐标组集，得到目标坐标组集，以统一所述二维坐标组集和所述三维坐标组集的横坐标值和纵坐标值；识别模块，用于根据所述目标坐标组集，对障碍物进行识别。
本发明实施例第三方面提供的终端，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现上述本发明实施例第一方面提供的障碍物识别方法。
本发明实施例第四方面提供的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述本发明实施例第一方面提供的障碍物识别方法。
上述实施例提供的障碍物识别方法，通过雷达获取周围环境二维坐标组集，通过体感摄影机获取周围环境的三维坐标组集，根据预设算法，对二维坐标组集和三维坐标组集进行调整，根据所得坐标组集对障碍物进行了识别，该过程结合了雷达更新频率高和采集数据精度高的特点、以及体感摄影机可检测三维障碍物的特点，可保持障碍物识别的实时性和准确性，并且可表现障碍物的整体特性。
附图说明
图1为本发明实施例提供的障碍物识别方法的应用环境图；
图2为本发明第一实施例提供的障碍物识别方法的实现流程示意图；
图3为本发明第二实施例提供的障碍物识别方法的实现流程示意图；
图4为本发明第三实施例提供的障碍物识别方法的实现流程示意图；
图5为本发明第四实施例提供的障碍物识别装置的结构示意图；
图6为本发明第五实施例提供的障碍物识别装置的结构示意图；
图7示出了一种终端的硬件结构图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例提供的障碍物识别方法的应用环境图。如图1所示，移动机器人上装载有雷达和体感摄影机，通过如下所述的障碍物识别方法，实现移动机器人在自动行驶过程的障碍识别，以躲避障碍物。在实际应用中，雷达可为2D雷达，体感摄影机可为Kinect。
请参阅图2，图2为本发明第一实施例提供的障碍物识别方法的实现流程示意图，该方法可应用于终端设备。如图2所示，该障碍物识别方法主要包括以下步骤：
101、通过雷达获取周围环境的二维坐标组集，并通过体感摄影机获取周围环境的三维坐标组集；
具体的，移动机器人及各种交通工具上装载有雷达和体感摄影机，在移动机器人及各种交通工具的自动驾驶过程中，由雷达和体感摄影机获取周围环境的图像数据，并对周围环境进行障碍物检测识别，以保证自动驾驶的顺利进行。由雷达获取的周围环境的数据以二维坐标组集的形式进行存储，由体感摄影机获取的周围环境的数据以三维坐标组集的形式进行存储，并发送至终端设备进行处理分析。
102、根据预设算法，调整二维坐标组集和所述三维坐标组集，得到目标坐标组集；
具体的，通常而言，由雷达获取的二维坐标组集的坐标系为极坐标系，包括雷达采样点的距离和角度信息，而由体感摄影机获取的三维坐标组集的坐标系为笛卡尔坐标系，包括横坐标、纵坐标和竖向坐标。可以理解的，二维坐标组集与三维坐标组集无法进行比较。并且雷达获取环境数据的更新频率较快，体感摄影机获取环境数据的更新频率较慢，因此选取与体感摄影机更新时的三维坐标组集同帧的二维坐标组集。综上所述，需要对二维坐标组集和三维坐标组集进行调整，以结合雷达获取周围环境数据的实时性、精确性和体感摄影机获取周围环境数据的全面性，进而对障碍物进行准确识别。
103、根据目标坐标组集，对障碍物进行识别。
具体的，终端将二维坐标组集和三维坐标组集进行调整，得到目标坐标组集后，通过分析目标坐标组集，对障碍物进行识别，进而避免移动机器人与障碍物相撞。在实际应用中，终端对障碍物的识别操作可包括但不限于：终端将目标坐标组集转换为图像，与内置在终端数据库中的图片文件进行比对，若匹配，则确认障碍物的类别，并根据障碍物的类别控制移动机器人的行动。例如，若障碍物为书桌，则避过该障碍物，若障碍物为楼梯，则控制移动机器人上楼或下楼。若无法匹配，则可认为是未知障碍物，从而控制移动机器人进行躲避。
在本发明实施例中，通过雷达获取周围环境二维坐标组集，通过体感摄影机获取周围环境的三维坐标组集，根据预设算法，对二维坐标组集和三维坐标组集进行调整，根据所得坐标组集对障碍物进行了识别，该过程结合了雷达更新频率高和采集数据精度高的特点、以及体感摄影机可检测三维障碍物的特点，可保持障碍物识别的实时性和准确性，并且可表现障碍物的整体特性。
请参阅图3，图3为本发明第二实施例提供的障碍物识别方法的实现流程示意图，该方法可应用于终端设备。如图3所示，该障碍物识别方法主要包括以下步骤：
201、通过雷达获取周围环境的二维坐标组集，并通过体感摄影机获取周围环境的三维坐标组集；
具体的，移动机器人及各种交通工具上装载有雷达和体感摄影机，在移动机器人及各种交通工具的自动驾驶过程中，由雷达和体感摄影机获取周围环境的图像数据，并对周围环境进行障碍物检测识别，以保证自动驾驶的顺利进行。由雷达获取的周围环境的数据以二维坐标组集的形式进行存储，由体感摄影机获取的周围环境的数据以三维坐标组集的形式进行存储，并发送至终端设备进行处理分析。
202、将二维坐标组集进行坐标系转换，得到第一坐标组集；
具体的，通常而言，由雷达获取的二维坐标组集的坐标系为极坐标系，包括雷达采样点的距离和角度信息。而由体感摄影机获取的三维坐标组集的坐标系为笛卡尔坐标系，包括横坐标、纵坐标和竖向坐标。因此为了后续步骤的执行，将由雷达获取的二维坐标组集的坐标系转换为由体感摄影机获取的三维坐标组集的坐标系，也就是说，将二维坐标组集的坐标系转换为笛卡尔坐标系，得到第一坐标组集。
203、根据第一预设算法，对第一坐标组集以及三维坐标组集中的第二坐标组集进行筛选；
具体的，由于雷达获取环境数据的更新频率较快，体感摄影机获取环境数据的更新频率较慢，因此选取与体感摄影机更新时的三维坐标组集同帧的第一坐标组集。由体感摄影机获取的环境数据为三维坐标组集，而由雷达获取的环境数据为二维坐标组集，可以理解的，二维坐标组集与三维坐标组集无法进行比较，因此选取纵坐标值与雷达的当前高度值一致的由体感摄影机获取的环境数据，这样由雷达与体感摄影机获取的环境数据位于同一高度，因此可相互比较。因此为了后续的数据处理和分析，需要筛选三维坐标组集中的第二坐标组集，该第二坐标组集为雷达的当前高度值为纵坐标值的坐标组集。
其中，由于雷达对于周围环境的采样点比体感摄影机对于周围环境的采样点多，为了将雷达对于周围环境的采样点与体感摄影机对于周围环境的采样点一一对应，根据第一预设算法，筛选由雷达获取的周围环境的第一坐标组集和由体感摄影机获取的周围环境的第二坐标组集，以去除第一坐标组集与第二坐标组集中不对应的采样点。
204、根据第二预设算法，根据筛选后的第一坐标组集和第二坐标组集对三维坐标组集进行调整，得到目标坐标组集；
具体的，由于由雷达获取环境数据的更新频率快，即障碍物识别的实时性高，而由体感摄影机获取环境数据为三维数据，即可描绘障碍物的整体特性，因此可通过第二预设算法对由雷达获取的环境数据和由体感摄影机获取的环境数据进行处理，以结合雷达和体感摄影机的优点，提高对障碍物识别的实时性和对障碍物的整体描绘。因此在去除第一坐标组集与第二坐标组集中不对应的采样点后，根据第二预设算法，根据筛选后的第一坐标组集和第二坐标组集对三维坐标组集进行调整，得到目标坐标组集，以统一筛选后的第一坐标组集和三维坐标组集的横坐标值和纵坐标值。
205、根据目标坐标组集，对障碍物进行识别。
具体的，终端将筛选后的第一坐标组集和第二坐标组集进行调整，得到目标坐标组集后，通过分析目标坐标组集，对障碍物进行识别，进而避免移动机器人与障碍物相撞。在实际应用中，终端对障碍物的识别操作可包括但不限于：终端将目标坐标组集转换为图像，与内置在终端数据库中的图片文件进行比对，若匹配，则确认障碍物的类别，并根据障碍物的类别控制移动机器人的行动。例如，若障碍物为书桌，则避过该障碍物，若障碍物为楼梯，则控制移动机器人上楼或下楼。若无法匹配，则可认为是未知障碍物，从而控制移动机器人进行躲避。
在本发明实施例中，通过雷达获取周围环境二维坐标组集，通过体感摄影机获取周围环境的三维坐标组集，转换该二维坐标组集的坐标系，得到第一坐标组集，并按照第一预设算法将该第一坐标组集和三维坐标组集中的第二坐标组集进行筛选，接着按照第二预设算法，根据筛选后的第一坐标组集和第二坐标组集对三维坐标组集进行调整，根据所得坐标组集对障碍物进行了识别，该过程结合了雷达更新频率高和采集数据精度高的特点、以及体感摄影机可检测三维障碍物的特点，可保持障碍物识别的实时性和准确性，并且可表现障碍物的整体特性。
请参阅图4，图4为本发明第三实施例提供的障碍物识别方法的实现流程示意图，该方法可应用于终端设备。如图4所示，该障碍物识别方法主要包括以下步骤：
301、通过雷达获取周围环境的二维坐标组集，并通过体感摄影机获取周围环境的三维坐标组集；
具体的，移动机器人及各种交通工具上装载有雷达和体感摄影机，在移动机器人及各种交通工具的自动驾驶过程中，由雷达和体感摄影机获取周围环境的图像数据，并对周围环境进行障碍物检测识别，以保证自动驾驶的顺利进行。由雷达获取的周围环境的数据以二维坐标组集的形式进行存储，由体感摄影机获取的周围环境的数据以三维坐标组集的形式进行存储，并发送至终端设备进行处理分析。
302、将二维坐标组集进行坐标系转换，得到第一坐标组集；
具体的，通常而言，由雷达获取的二维坐标组集的坐标系为极坐标系，包括雷达采样点的距离和角度信息。而由体感摄影机获取的三维坐标组集的坐标系为笛卡尔坐标系，包括横坐标、纵坐标和竖向坐标。因此为了后续步骤的执行，将由雷达获取的二维坐标组集的坐标系转换为由体感摄影机获取的三维坐标组集的坐标系，即将二维坐标组集的坐标系转换为与三维坐标组集的坐标系相同的坐标系，也就是说，将二维坐标组集的坐标系转换为笛卡尔坐标系，得到第一坐标组集。
303、计算第一坐标组集和第二坐标组集之间的横坐标值的绝对误差值和纵坐标值的绝对误差值，第二坐标组集为三维坐标组集中雷达的当前高度值为纵坐标值的坐标组集；
304、筛选横坐标值的绝对误差值小于第一预设阈值且纵坐标值的绝对误差值小于第二预设阈值的第一坐标组集和第二坐标组集；
具体的，由于雷达获取环境数据的更新频率较快，体感摄影机获取环境数据的更新频率较慢，因此选取与体感摄影机更新时的三维坐标组集同帧的第一坐标组集。并且雷达对于周围环境的采样点多于体感摄影机对于周围环境的采样点，因此为了选取对于同一位置的检测情况，需要选取雷达和体感摄影机中对于同一位置的采样点，因此采用计算绝对误差值的方式来剔除雷达的采样点预设范围内没有体感摄影机的采样点的雷达的采样点，同时剔除体感摄影机的预设范围内没有雷达的采样点的体感摄影机的采样点，以使雷达的采样点和体感摄影机的采样点一一对应。在实际应用中，该预设范围根据实际情况进行调整，示例性的，该预设范围可为0.3mm-0.4mm(mm：毫米)。
其中，该预设范围通过小于第一预设阈值且小于第二预设阈值来体现，因此计算第一坐标组集和第二坐标组集之间的横坐标值的绝对误差值和纵坐标值的绝对误差值，并选取横坐标值的绝对误差值小于第一预设阈值且纵坐标值的绝对误差值小于第二预设阈值的横坐标值的绝对误差值和纵坐标值的绝对误差值，说明与该横坐标值的绝对误差值和纵坐标值的绝对误差值相对应的第一坐标组集和第二坐标组集在预设范围内，因此筛选该第一坐标组集和第二坐标组集，以去除第一坐标组集与第二坐标组集中不对应的采样点。
示例性的，第一坐标组集为
[(a1,b1)，(a2,b2)，(a3,b3)]，
第二坐标组集为
[(c1,d1,e0)，(c2,d2,e0)，(c3,d3,e0)](其中e0为雷达的当前高度值)，
则第一坐标组集和第二坐标组集之间的横坐标值的绝对误差值和纵坐标值的绝对误差值为
(|a1-c1|,|b1-d1|)，(|a2-c2|,|b2-d2|)，(|a3-c3|,|b3-d3|)，
则当|a1-c1|≤Δ1,|b1-d1|≤Δ2，|a3-c3|≤Δ1,|b3-d3|≤Δ2时，则筛选的第一坐标组集和第二坐标组集为
[(a1,b1)，(a3,b3)]和[(c1,d1,e0)，(c3,d3,e0)]。
305、计算筛选后的第一坐标组集和筛选后的第二坐标组集之间的横坐标值的绝对误差均值和纵坐标值的绝对误差均值；
具体的，由于由雷达获取环境数据的更新频率快，即障碍物识别的实时性高，而由体感摄影机获取环境数据为三维数据，即可描绘障碍物的整体特性，因此可对由雷达获取的环境数据和由体感摄影机获取的环境数据进行处理，以结合雷达和体感摄影机的优点，提高对障碍物识别的实时性和对障碍物的整体描绘。因此在将雷达的采样点和体感摄影机的采样点一一对应后，计算雷达的采样点和体感摄影机的采样点之间的横坐标值的绝对误差均值和纵坐标值的绝对误差均值，通过该横坐标值的绝对误差均值和纵坐标值的绝对误差均值进行后续操作，以改善障碍物识别的实时性，也就是说，计算筛选后的第一坐标组集和第二坐标组集之间的横坐标值的绝对误差均值和纵坐标值的绝对误差均值。
示例性的，筛选后的第一坐标组集和第二坐标组集为
[(a1,b1)，(a3,b3)]和[(c1,d1,e)，(c3,d3,e)]，
则筛选后的第一坐标组集和筛选后的第二坐标组集之间的横坐标值的绝对误差均值和纵坐标值的绝对误差均值为
α＝(|a1-c1|+|a3-c3|)/2和β＝(|b1-d1|+|b3-d3|)/2。
306、将三维坐标组集的横坐标值减去横坐标值的绝对误差均值，将三维坐标组集的纵坐标值减去纵坐标值的绝对误差均值，得到目标坐标组集；
具体的，通过结合了雷达的采样点和体感摄影机的采样点的横坐标值的绝对误差均值和纵坐标值的绝对误差均值，调整由体感摄影机获取的环境数据，通过雷达采取数据的实时性改善体感摄影机获取与雷达的当前高度一致的数据的滞后性。其中，调整过程为：将三维坐标组集的横坐标值减去横坐标值的绝对误差均值，将三维坐标组集的纵坐标值减去纵坐标值的绝对误差均值，得到目标坐标组集。
示例性的，三维坐标组集为
[(c1,d1,e1)，(c2,d2,e2)，(c3,d3,e3)]
则目标坐标组集为
[(c1-α,d1-β,e1)，(c2-α,d2-β,e2)，(c3-α,d3-β,e3)]。
307、根据目标坐标组集，对障碍物进行识别。
具体的，终端根据筛选后的第一坐标组集和筛选后的第二坐标组集对三维坐标组集进行调整，得到目标坐标组集后，通过分析目标坐标组集，对障碍物进行识别，进而避免移动机器人与障碍物相撞。示例性的，终端将目标坐标组集转换为图像，与内置在终端数据库中的图片文件进行比对，若匹配，则确认障碍物的类别，并根据障碍物的类别控制移动机器人的行动。例如，若障碍物为书桌，则避过该障碍物，若障碍物为楼梯，则控制移动机器人上楼或下楼。又或者，若无法匹配，则可认为是未知障碍物，从而控制移动机器人进行躲避。
其中，根据改善了实时性、滞后性以及平面性的由体感摄影机获取的目标坐标组集，对障碍物进行识别，可以障碍物进行更全面、更实时和更准确的检测，并对障碍物进行识别分类，保证移动机器人的自动行驶。
在本发明实施例中，通过雷达获取周围环境二维坐标组集，通过体感摄影机获取周围环境的三维坐标组集，转换该二维坐标组集的坐标系，得到第一坐标组集，并根据坐标值的绝对差值将该第一坐标组集和三维坐标组集中的第二坐标组集进行筛选。接着根据筛选后的第一坐标组集和第二坐标组集对三维坐标组集的横坐标值和纵坐标值进行调整，根据所得坐标组集对障碍物进行了识别。该过程结合了雷达更新频率高和采集数据精度高的特点、以及体感摄影机可检测三维障碍物的特点，可保持障碍物识别的实时性和准确性，并且可表现障碍物的整体特性。
请参阅图5，图5为本发明第四实施例提供的障碍物识别装置的结构示意图，如图5所示，该障碍物识别装置主要包括：
获取模块401，用于通过雷达获取周围环境的二维坐标组集，并通过体感摄影机获取周围环境的三维坐标组集。
调整模块402，用于根据预设算法，调整二维坐标组集和三维坐标组集，得到目标坐标组集，以统一二维坐标组集和三维坐标组集的横坐标值和纵坐标值；
识别模块403，用于根据目标坐标组集，对障碍物进行识别。
上述模块实现各自功能的过程具体可参考上述如图2所示实施例中的相关内容，此处不再赘述。
在本发明实施例中，通过雷达获取周围环境二维坐标组集，通过体感摄影机获取周围环境的三维坐标组集，接着对二维坐标组集和三维坐标组集进行调整，根据所得坐标组集对障碍物进行了识别，该过程结合了雷达更新频率高和采集数据精度高的特点、以及体感摄影机可检测三维障碍物的特点，可保持障碍物识别的实时性和准确性，并且可表现障碍物的整体特性。
请参阅图6，图6为本发明第五实施例提供的障碍物识别装置的结构示意图，如图6所示，与图5所示实施例不同的是，在本实施例中：
进一步的，调整模块402包括：
转换子模块4021，用于将二维坐标组集进行坐标系转换，得到第一坐标组集；
第一计算子模块4022，用于计算第一坐标组集和第二坐标组集之间的横坐标值的绝对误差值和纵坐标值的绝对误差值，第二坐标组集为三维坐标组集中雷达的当前高度值为纵坐标值的坐标组集；
筛选子模块4023，用于筛选横坐标值的绝对误差值小于第一预设阈值且纵坐标值的绝对误差值小于第二预设阈值的第一坐标组集和第二坐标组集；
第二计算子模块4024，用于计算筛选后的第一坐标组集和筛选后的第二坐标组集之间的横坐标值的绝对误差均值和纵坐标值的绝对误差均值；
第三计算子模块4025，用于将三维坐标组集的横坐标值减去横坐标值的绝对误差均值，将三维坐标组集的纵坐标值减去纵坐标值的绝对误差均值，得到目标坐标组集。
上述模块实现各自功能的过程具体可参考上述如图2至图4所示实施例中的相关内容，此处不再赘述。
在本发明实施例中，通过雷达获取周围环境二维坐标组集，通过体感摄影机获取周围环境的三维坐标组集，转换该二维坐标组集的坐标系，得到第一坐标组集，并根据横纵坐标值的绝对误差将该第一坐标组集和三维坐标组集中的第二坐标组集进行筛选，接着根据筛选后的第一坐标组集和第二坐标组集对三维坐标组集的横纵坐标值进行调整，根据所得坐标组集对障碍物进行了识别。该过程结合了雷达更新频率高和采集数据精度高的特点、以及体感摄影机可检测三维障碍物的特点，可保持障碍物识别的实时性和准确性，并且可表现障碍物的整体特性。
请参阅图7，图7示出了一种终端的硬件结构图。
本实施例中所描述的终端，包括：
存储器51、处理器52及存储在存储器51上并可在处理器52上运行的计算机程序，处理器52执行该计算机程序时，实现前述图2至图4所示实施例中描述的障碍物识别方法。
进一步的，该终端还包括：
至少一个输入设备53以及至少一个输出设备54。
上述存储器51、处理器52、输入设备53以及输出设备54，通过总线55连接。
其中，输入设备53具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备54具体可为显示屏。
存储器51可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器51用于存储一组可执行程序代码，处理器52与存储器51耦合。
进一步的，本发明实施例还提供了一种计算机可读存储介质(可简称为存储介质)，该计算机可读存储介质可以是设置于上述各实施例中的终端中，该计算机可读存储介质可以是前述实施例中的存储器。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图2至图4所示实施例中描述的障碍物识别方法。进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的多个实施例中，应该理解到，所揭露的方法及终端，可以通过其他的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅作为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以使通过一些接口，模块的间接耦合或通信链接，可以是电性，机械或其他的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中。也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的方式实现，也可以采用软件功能模块的形式实现。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种障碍物识别方法和装置、终端及计算机可读存储介质的描述，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种障碍物识别方法，其特征在于，所述方法包括：
通过雷达获取周围环境的二维坐标组集，并通过体感摄影机获取所述周围环境的三维坐标组集；
根据预设算法，调整所述二维坐标组集和所述三维坐标组集，得到目标坐标组集，以统一所述二维坐标组集和所述三维坐标组集的横坐标值和纵坐标值；
根据所述目标坐标组集，对障碍物进行识别；
其中，所述根据预设算法，调整所述二维坐标组集和所述三维坐标组集，得到目标坐标组集包括：
将所述二维坐标组集进行坐标系转换，得到第一坐标组集；
按照第一预设算法，对所述第一坐标组集以及所述三维坐标组集中的第二坐标组集进行筛选，以去除所述第一坐标组集与所述第二坐标组集中不对应的采样点，所述第二坐标组集为所述雷达的当前高度值为纵坐标值的坐标组集；
按照第二预设算法，根据筛选后的所述第一坐标组集和所述第二坐标组集对所述三维坐标组集进行调整，得到目标坐标组集。
2.如权利要求1所述的障碍物识别方法，其特征在于，所述按照第一预设算法，对所述第一坐标组集以及所述三维坐标组集中的第二坐标组集进行筛选，以去除所述第一坐标组集与所述第二坐标组集中不对应的采样点，所述第二坐标组集为所述雷达的当前高度值为纵坐标值的坐标组集包括：
计算所述第一坐标组集和所述第二坐标组集之间的横坐标值的绝对误差值和纵坐标值的绝对误差值，所述第二坐标组集为三维坐标组集中所述雷达的当前高度值为纵坐标值的坐标组集；
筛选所述横坐标值的绝对误差值小于第一预设阈值且所述纵坐标值的绝对误差值小于第二预设阈值的所述第一坐标组集和所述第二坐标组集，以去除所述第一坐标组集与所述第二坐标组集中不对应的采样点。
3.如权利要求2所述的障碍物识别方法，其特征在于，所述按照第二预设算法，根据筛选后的所述第一坐标组集和所述第二坐标组集对所述三维坐标组集进行调整，得到目标坐标组集包括：
计算筛选后的所述第一坐标组集和筛选后的所述第二坐标组集之间的横坐标值的绝对误差均值和纵坐标值的绝对误差均值；
将所述三维坐标组集的横坐标值减去所述横坐标值的绝对误差均值，将所述三维坐标组集的纵坐标值减去所述纵坐标值的绝对误差均值，得到目标坐标组集。
4.一种障碍物识别装置，其特征在于，所述装置包括：
获取模块，用于通过雷达获取周围环境的二维坐标组集，并通过体感摄影机获取所述周围环境的三维坐标组集；
调整模块，用于根据预设算法，调整所述二维坐标组集和所述三维坐标组集，得到目标坐标组集，以统一所述二维坐标组集和所述三维坐标组集的横坐标值和纵坐标值；
识别模块，用于根据所述目标坐标组集，对障碍物进行识别；
所述调整模块包括：
转换子模块，用于将所述二维坐标组集进行坐标系转换，得到第一坐标组集；
第一计算子模块，用于计算所述第一坐标组集和第二坐标组集之间的横坐标值的绝对误差值和纵坐标值的绝对误差值，所述第二坐标组集为三维坐标组集中所述雷达的当前高度值为纵坐标值的坐标组集；
筛选子模块，用于筛选所述横坐标值的绝对误差值小于第一预设阈值且所述纵坐标值的绝对误差值小于第二预设阈值的所述第一坐标组集和所述第二坐标组集，以去除所述第一坐标组集与所述第二坐标组集中不对应的采样点；
第二计算子模块，用于计算筛选后的所述第一坐标组集和筛选后的所述第二坐标组集之间的横坐标值的绝对误差均值和纵坐标值的绝对误差均值；
第三计算子模块，用于将所述三维坐标组集的横坐标值减去所述横坐标值的绝对误差均值，将所述三维坐标组集的纵坐标值减去所述纵坐标值的绝对误差均值，得到目标坐标组集。
5.一种终端，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至3中任一项所述的障碍物识别方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至3中任一项所述的障碍物识别方法。
CN201711362505.2A 2017-12-18 2017-12-18 障碍物识别方法和装置、终端及计算机可读存储介质 Active CN108287342B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711362505.2A CN108287342B (zh) 2017-12-18 2017-12-18 障碍物识别方法和装置、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711362505.2A CN108287342B (zh) 2017-12-18 2017-12-18 障碍物识别方法和装置、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108287342A CN108287342A (zh) 2018-07-17
CN108287342B true CN108287342B (zh) 2021-01-12

Family

ID=62832106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711362505.2A Active CN108287342B (zh) 2017-12-18 2017-12-18 障碍物识别方法和装置、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108287342B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104297758A (zh) * 2014-08-15 2015-01-21 大连海事大学 一种基于2d脉冲式激光雷达的辅助靠泊装置及其方法
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
CN105606150A (zh) * 2015-12-22 2016-05-25 中国矿业大学(北京) 一种基于线结构光和地质雷达的道路综合检测方法及系统
US9798002B2 (en) * 2012-11-22 2017-10-24 Denso Corporation Object detection apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9798002B2 (en) * 2012-11-22 2017-10-24 Denso Corporation Object detection apparatus
CN104297758A (zh) * 2014-08-15 2015-01-21 大连海事大学 一种基于2d脉冲式激光雷达的辅助靠泊装置及其方法
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
CN105606150A (zh) * 2015-12-22 2016-05-25 中国矿业大学(北京) 一种基于线结构光和地质雷达的道路综合检测方法及系统

Also Published As

Publication number Publication date
CN108287342A (zh) 2018-07-17

Similar Documents

Publication Publication Date Title
US11042723B2 (en) Systems and methods for depth map sampling
CN110687549B (zh) 障碍物检测方法和装置
CN111273268B (zh) 自动驾驶障碍物类型的识别方法、装置及电子设备
US9576375B1 (en) Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels
US10867403B2 (en) Vehicle external recognition apparatus
CN111563450B (zh) 数据处理方法、装置、设备及存储介质
US11958480B2 (en) Electronic control device and operation method
CN112097732A (zh) 一种基于双目相机的三维测距方法、系统、设备及可读存储介质
CN115049700A (zh) 一种目标检测方法及装置
CN113838125A (zh) 目标位置确定方法、装置、电子设备以及存储介质
CN110673607B (zh) 动态场景下的特征点提取方法、装置、及终端设备
Sakic et al. Camera-LIDAR object detection and distance estimation with application in collision avoidance system
CN111767843A (zh) 三维位置预测方法、装置、设备以及存储介质
CN110291771B (zh) 一种目标对象的深度信息获取方法及可移动平台
CN111353466A (zh) 车道线识别处理方法、设备、存储介质
CN114528941A (zh) 传感器数据融合方法、装置、电子设备及存储介质
CN112816995B (zh) 目标检测方法及装置、融合处理单元、计算机可读介质
CN112528932B (zh) 用于优化位置信息的方法、装置、路侧设备和云控平台
CN108287342B (zh) 障碍物识别方法和装置、终端及计算机可读存储介质
JP5655038B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
CN112946603B (zh) 一种基于激光雷达的道路养护检测系统及其检测方法
KR102528718B1 (ko) 근적외선 카메라를 사용한 딥 러닝 기반 드론 감지 시스템
WO2022141262A1 (en) Object detection
CN113516013A (zh) 目标检测方法、装置、电子设备、路侧设备和云控平台
CN113808186A (zh) 训练数据生成方法、装置与电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200120

Address after: 518060 floor 15, Xinghe worldg2-14, No.1 Yabao Road, Bantian street, Longgang District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Institute of artificial intelligence and Robotics

Applicant after: Chinese University Hong Kong (Shenzhen)

Address before: 518060 Longxiang Avenue, Longgang District, Shenzhen, Guangdong 2001

Applicant before: Chinese University Hong Kong (Shenzhen)

GR01 Patent grant
GR01 Patent grant