CN117022264A - 基于雷视融合的障碍物检测方法及装置 - Google Patents

基于雷视融合的障碍物检测方法及装置 Download PDF

Info

Publication number
CN117022264A
CN117022264A CN202311294798.0A CN202311294798A CN117022264A CN 117022264 A CN117022264 A CN 117022264A CN 202311294798 A CN202311294798 A CN 202311294798A CN 117022264 A CN117022264 A CN 117022264A
Authority
CN
China
Prior art keywords
image
fluctuation
obstacle
target
target scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311294798.0A
Other languages
English (en)
Other versions
CN117022264B (zh
Inventor
李景
李伟彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Desai Xiwei Intelligent Transportation Technology Co ltd
Original Assignee
Guangzhou Desai Xiwei Intelligent Transportation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Desai Xiwei Intelligent Transportation Technology Co ltd filed Critical Guangzhou Desai Xiwei Intelligent Transportation Technology Co ltd
Priority to CN202311294798.0A priority Critical patent/CN117022264B/zh
Publication of CN117022264A publication Critical patent/CN117022264A/zh
Application granted granted Critical
Publication of CN117022264B publication Critical patent/CN117022264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04—Systems determining presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明公开了一种基于雷视融合的障碍物检测方法及装置，该方法包括：当待检测的目标车辆与目标场景的距离小于预设距离时，获取基于雷达检测设备检测到的目标场景的当前雷达数据集合以及预设视觉检测算法检测到的目标场景的当前图像数据集合；根据当前雷达数据集合检测目标场景的第一波动区域图像；及根据当前图像数据集合检测目标场景的第二波动区域图像；当检测到存在第一波动区域图像及第二波动区域图像时，将第一波动区域图像与第二波动区域图像进行比较，得到比较结果；根据比较结果检测目标场景是否存在障碍物，得到目标场景的障碍物检测结果。可见，实施本发明能够提高障碍物是否存在的检测准确性，有利于减少目标车辆出现交通事故情况。

Description

基于雷视融合的障碍物检测方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于雷视融合的障碍物检测方法及装置。
背景技术
面对当今社会严峻的交通安全形势，为了减少车辆出现交通事故的情况，通常需要在车辆行驶过程中对车辆即将到达的场景进行障碍物检测，以检测该场景是否存在障碍物，并当检测到该场景存在障碍物时，控制车辆执行避障操作。
现有的障碍物检测方式主要为：通过安装在电动汽车或者混合动力汽车等汽车所在车道上的视觉检测设备中的视觉检测算法对该汽车即将到达的路段拍摄得到的场景图像进行图像数据检测，并通过检测得到的图像数据进行障碍物识别。然而，在实际生活中，场景图像一旦受到亮度等因素干扰，容易导致视觉检测算法检测出的图像数据的准确性较低，从而容易导致检测图像数据是否存在障碍物的过程中，对障碍物是否存在的检测结果的准确性低。可见，提出一种提高障碍物是否存在的检测准确性的技术方案显得尤为重要。
发明内容
本发明提供了一种基于雷视融合的障碍物检测方法及装置，能够提高障碍物是否存在的检测准确性，有利于通过准确得出的障碍物检测结果减少车辆出现交通事故情况。
为了解决上述技术问题，本发明第一方面公开了一种基于雷视融合的障碍物检测方法，所述方法包括：
当待检测的目标车辆的当前位置与目标场景的场景位置的距离小于预设距离时，获取基于雷达检测设备检测到的所述目标场景的当前雷达数据集合以及预设的视觉检测算法检测到的所述目标场景的当前图像数据集合；
根据所述目标场景的当前雷达数据集合，检测所述目标场景的第一波动区域图像；以及，根据所述当前图像数据集合，检测所述目标场景的第二波动区域图像；
当检测到所述目标场景的场景图像中存在所述第一波动区域图像且所述目标场景的场景图像中存在所述第二波动区域图像时，将所述第一波动区域图像与所述第二波动区域图像进行比较，得到波动区域图像比较结果；
根据所述波动区域图像比较结果，检测所述目标场景是否存在障碍物，得到所述目标场景的障碍物检测结果；当所述目标场景的障碍物检测结果表示所述目标场景存在障碍物时，所述目标场景的障碍物检测结果用于作为所述目标车辆的避障依据。
作为一种可选的实施方式，在本发明第一方面中，所述将所述第一波动区域图像与所述第二波动区域图像进行比较，得到波动区域图像比较结果，包括：
分别获取所述第一波动区域图像的所有第一波动对象以及所述第二波动区域图像的所有第二波动对象；
获取每个所述第一波动对象的第一初始坐标以及每个所述第二波动对象的第二初始坐标，所述第一初始坐标的坐标类型为雷达坐标类型，所述第二初始坐标的坐标类型为相机坐标类型；
将每个所述第一初始坐标与每个所述第二初始坐标进行坐标类型同步，分别得到每个所述第一初始坐标对应的第一目标坐标以及每个所述第二初始坐标对应的第二目标坐标；
对于所述第一波动区域图像的任一所述第一波动对象，根据所述第一波动对象对应的第一目标坐标，从所有所述第二波动对象筛选出对应的第二目标坐标与所述第一目标坐标相同的所有备选波动对象；
检测所有所述备选波动对象中是否存在与所述第一波动对象相同的第一相同对象，得到所述第一波动对象对应的检测结果，所述波动区域图像比较结果包括所述第一波动区域图像的所有第一波动对象对应的检测结果。
作为一种可选的实施方式，在本发明第一方面中，所述根据所述波动区域图像比较结果，检测所述目标场景是否存在障碍物，得到所述目标场景的障碍物检测结果，包括：
若所述波动区域图像比较结果中所述第一波动对象对应的检测结果表示所有所述备选波动对象中存在与所述第一波动对象相同的第一相同对象，则获取所述第一相同对象的分类标签，所述分类标签包括障碍物标签或者非障碍物标签；
判断所述第一相同对象的分类标签是否为障碍物标签；
当判断出所述第一相同对象的分类标签为所述障碍物标签时，确定所述目标场景的障碍物检测结果表示所述目标场景的场景图像中存在障碍物。
作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：
若所述波动区域图像比较结果中所述第一波动对象对应的检测结果表示所有所述备选波动对象中不存在所述第一波动对象，则根据所述第一波动对象对应的第一目标坐标，从所述第一波动区域图像中截取出所述第一波动对象对应的目标图像；
获取所述第一波动对象对应的目标图像的图像像素以及所述视觉检测算法的输入图像所需的图像像素；
判断所述目标图像的图像像素是否小于或等于所述输入图像所需的图像像素；
若判断出所述目标图像的图像像素小于或等于所述输入图像所需的图像像素，则将所述目标图像输入至所述视觉检测算法中进行检测，得到所述视觉检测算法针对所述目标图像的图像检测结果；
当所述图像检测结果表示所述目标图像存在至少一个第三波动对象时，检测所有所述第三波动对象中是否存在与所述第一波动对象相同的第二相同对象；
当检测到存在与所述第一波动对象相同的第二相同对象时，将所述第二相同对象更新为所述第一相同对象，并触发执行所述的获取所述第一相同对象的分类标签的操作以及触发执行所述的判断所述第一相同对象的分类标签是否为障碍物标签的操作。
作为一种可选的实施方式，在本发明第一方面中，所述方法还包括：
当判断出所述第一相同对象的分类标签不为所述障碍物标签时，对所述第一波动区域图像以及所述第二波动区域图像进行综合分析，分别得到所述雷达检测设备的障碍物检测结果的第一靠谱程度以及所述视觉检测算法的障碍物检测结果的第二靠谱程度；
对所述第一靠谱程度以及所述第二靠谱程度进行比较，得到靠谱程度比较结果；
当所述靠谱程度对比结果表示所述第一靠谱程度大于所述第二靠谱程度时，确定所述目标场景的障碍物检测结果表示所述目标场景的场景图像中存在障碍物；
当所述靠谱程度对比结果表示所述第一靠谱程度小于所述第二靠谱程度时，确定所述目标场景的障碍物检测结果表示所述目标场景不存在障碍物。
作为一种可选的实施方式，在本发明第一方面中，所述对所述第一波动区域图像以及所述第二波动区域图像进行综合分析，分别得到所述雷达检测设备的障碍物检测结果的第一靠谱程度以及所述视觉检测算法的障碍物检测结果的第二靠谱程度，包括：
分别获取所述第一波动区域图像的第一图像质量以及所述第二波动区域图像的第二图像质量，第一波动区域图像的第一图像质量以及所述第二波动区域图像的第二图像质量中每个波动区域图像的图像质量均包括每个所述波动区域图像的图像亮度和/或每个所述波动区域图像的图像清晰度；
对所述第一图像质量与所述第二图像质量进行对比，得到图像质量对比结果；
根据所述图像质量对比结果，以及预设的图像质量与权重系数之间的关联关系，分别确定所述第一波动区域图像的第一权重系数及所述第二波动区域图像的第二权重系数；
所述第一权重系数用于表示所述第一波动区域图像对应的雷达检测设备的障碍物检测结果的第一靠谱程度，且所述第二权重系数用于表示所述第二波动区域图像对应的视觉检测算法的障碍物检测结果的第二靠谱程度。
作为一种可选的实施方式，在本发明第一方面中，所述根据所述目标场景的当前雷达数据集合，检测所述目标场景的第一波动区域图像，包括：
获取所述目标场景在过去的多个预设时长段内每个所述预设时长段内的历史雷达数据集合；
对所有所述历史雷达数据集合进行比较，得到雷达数据比较结果，所述雷达数据比较结果用于表示所有所述历史雷达数据集合中每个所述历史雷达数据集合的障碍物情况；
根据所述雷达数据比较结果，从所有所述历史雷达数据集合中筛选出所述障碍物情况为目标障碍物情况的其中一个，作为所述目标场景的标准雷达数据集合，所述目标障碍物情况为所述目标场景中不存在障碍物的情况；
对所述标准雷达数据集合以及所述当前雷达数据集合进行差分运算，得到差分数据子集合；
当所述差分数据子集合不为空时，确定所述目标场景的场景图像中存在第一波动区域图像，所述第一波动区域图像是对所述差分数据子集合进行图像构建后得到的；
当所述差分数据子集合为空时，确定所述目标场景不存在第一波动区域图像。
本发明第二方面公开了一种基于雷视融合的障碍物检测装置，所述装置包括：
获取模块，用于当待检测的目标车辆的当前位置与目标场景的场景位置的距离小于预设距离时，获取基于雷达检测设备检测到的所述目标场景的当前雷达数据集合以及预设的视觉检测算法检测到的所述目标场景的当前图像数据集合；
检测模块，用于根据所述目标场景的当前雷达数据集合，检测所述目标场景的第一波动区域图像；
所述检测模块，还用于根据所述当前图像数据集合，检测所述目标场景的第二波动区域图像；
比较模块，用于当所述检测模块检测到所述目标场景的场景图像中存在所述第一波动区域图像且所述目标场景的场景图像中存在所述第二波动区域图像时，将所述第一波动区域图像与所述第二波动区域图像进行比较，得到波动区域图像比较结果；
所述检测模块，还用于根据所述波动区域图像比较结果，检测所述目标场景是否存在障碍物，得到所述目标场景的障碍物检测结果；当所述目标场景的障碍物检测结果表示所述目标场景存在障碍物时，所述目标场景的障碍物检测结果用于作为所述目标车辆的避障依据。
作为一种可选的实施方式，在本发明第二方面中，所述比较模块将所述第一波动区域图像与所述第二波动区域图像进行比较，得到波动区域图像比较结果的方式具体包括：
分别获取所述第一波动区域图像的所有第一波动对象以及所述第二波动区域图像的所有第二波动对象；
获取每个所述第一波动对象的第一初始坐标以及每个所述第二波动对象的第二初始坐标，所述第一初始坐标的坐标类型为雷达坐标类型，所述第二初始坐标的坐标类型为相机坐标类型；
将每个所述第一初始坐标与每个所述第二初始坐标进行坐标类型同步，分别得到每个所述第一初始坐标对应的第一目标坐标以及每个所述第二初始坐标对应的第二目标坐标；
对于所述第一波动区域图像的任一所述第一波动对象，根据所述第一波动对象对应的第一目标坐标，从所有所述第二波动对象筛选出对应的第二目标坐标与所述第一目标坐标相同的所有备选波动对象；
检测所有所述备选波动对象中是否存在与所述第一波动对象相同的第一相同对象，得到所述第一波动对象对应的检测结果，所述波动区域图像比较结果包括所述第一波动区域图像的所有第一波动对象对应的检测结果。
作为一种可选的实施方式，在本发明第二方面中，所述检测模块根据所述波动区域图像比较结果，检测所述目标场景是否存在障碍物，得到所述目标场景的障碍物检测结果的方式具体包括：
若所述波动区域图像比较结果中所述第一波动对象对应的检测结果表示所有所述备选波动对象中存在与所述第一波动对象相同的第一相同对象，则获取所述第一相同对象的分类标签，所述分类标签包括障碍物标签或者非障碍物标签；
判断所述第一相同对象的分类标签是否为障碍物标签；
当判断出所述第一相同对象的分类标签为所述障碍物标签时，确定所述目标场景的障碍物检测结果表示所述目标场景的场景图像中存在障碍物。
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
截取模块，用于若所述波动区域图像比较结果中所述第一波动对象对应的检测结果表示所有所述备选波动对象中不存在所述第一波动对象，则根据所述第一波动对象对应的第一目标坐标，从所述第一波动区域图像中截取出所述第一波动对象对应的目标图像；
所述获取模块，还用于获取所述第一波动对象对应的目标图像的图像像素以及所述视觉检测算法的输入图像所需的图像像素；
判断模块，用于判断所述目标图像的图像像素是否小于或等于所述输入图像所需的图像像素；
所述检测模块，还用于若所述判断模块判断出所述目标图像的图像像素小于或等于所述输入图像所需的图像像素，则将所述目标图像输入至所述视觉检测算法中进行检测，得到所述视觉检测算法针对所述目标图像的图像检测结果；
所述检测模块，还用于当所述图像检测结果表示所述目标图像中存在至少一个第三波动对象时，检测所有所述第三波动对象中是否存在与所述第一波动对象相同的第二相同对象；
更新模块，用于当检测到存在与所述第一波动对象相同的第二相同对象时，将所述第二相同对象更新为所述第一相同对象，并触发执行所述的获取所述第一相同对象的分类标签的操作以及触发执行所述的判断所述第一相同对象的分类标签是否为障碍物标签的操作。
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括：
分析模块，用于当所述检测模块判断出所述第一相同对象的分类标签不为所述障碍物标签时，对所述第一波动区域图像以及所述第二波动区域图像进行综合分析，分别得到所述雷达检测设备的障碍物检测结果的第一靠谱程度以及所述视觉检测算法的障碍物检测结果的第二靠谱程度；
所述比较模块，还用于对所述第一靠谱程度以及所述第二靠谱程度进行比较，得到靠谱程度比较结果；
确定模块，用于当所述靠谱程度对比结果表示所述第一靠谱程度大于所述第二靠谱程度时，确定所述目标场景的障碍物检测结果表示所述目标场景的场景图像中存在障碍物；
所述确定模块，还用于当所述靠谱程度对比结果表示所述第一靠谱程度小于所述第二靠谱程度时，确定所述目标场景的障碍物检测结果表示所述目标场景不存在障碍物。
作为一种可选的实施方式，在本发明第二方面中，所述分析模块对所述第一波动区域图像以及所述第二波动区域图像进行综合分析，分别得到所述雷达检测设备的障碍物检测结果的第一靠谱程度以及所述视觉检测算法的障碍物检测结果的第二靠谱程度的方式具体包括：
分别获取所述第一波动区域图像的第一图像质量以及所述第二波动区域图像的第二图像质量，第一波动区域图像的第一图像质量以及所述第二波动区域图像的第二图像质量中每个波动区域图像的图像质量均包括每个所述波动区域图像的图像亮度和/或每个所述波动区域图像的图像清晰度；
对所述第一图像质量与所述第二图像质量进行对比，得到图像质量对比结果；
根据所述图像质量对比结果，以及预设的图像质量与权重系数之间的关联关系，分别确定所述第一波动区域图像的第一权重系数及所述第二波动区域图像的第二权重系数；
所述第一权重系数用于表示所述第一波动区域图像对应的雷达检测设备的障碍物检测结果的第一靠谱程度，且所述第二权重系数用于表示所述第二波动区域图像对应的视觉检测算法的障碍物检测结果的第二靠谱程度。
作为一种可选的实施方式，在本发明第二方面中，所述检测模块根据所述目标场景的当前雷达数据集合，检测所述目标场景的第一波动区域图像的方式具体包括：
获取所述目标场景在过去的多个预设时长段内每个所述预设时长段内的历史雷达数据集合；
对所有所述历史雷达数据集合进行比较，得到雷达数据比较结果，所述雷达数据比较结果用于表示所有所述历史雷达数据集合中每个所述历史雷达数据集合的障碍物情况；
根据所述雷达数据比较结果，从所有所述历史雷达数据集合中筛选出所述障碍物情况为目标障碍物情况的其中一个，作为所述目标场景的标准雷达数据集合，所述目标障碍物情况为所述目标场景中不存在障碍物的情况；
对所述标准雷达数据集合以及所述当前雷达数据集合进行差分运算，得到差分数据子集合；
当所述差分数据子集合不为空时，确定所述目标场景的场景图像中存在第一波动区域图像，所述第一波动区域图像是对所述差分数据子集合进行图像构建后得到的；
当所述差分数据子集合为空时，确定所述目标场景不存在第一波动区域图像。
本发明第三方面公开了另一种基于雷视融合的障碍物检测装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于雷视融合的障碍物检测方法。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于雷视融合的障碍物检测方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，当待检测的目标车辆的当前位置与目标场景的场景位置的距离小于预设距离时，获取基于雷达检测设备检测到的目标场景的当前雷达数据集合以及预设的视觉检测算法检测到的目标场景的当前图像数据集合；根据目标场景的当前雷达数据集合，检测目标场景的第一波动区域图像；以及，根据当前图像数据，检测目标场景的第二波动区域图像；当检测到目标场景存在第一波动区域图像且目标场景存在第二波动区域图像时，将第一波动区域图像与第二波动区域图像进行比较，得到波动区域图像比较结果；根据波动区域图像比较结果，检测目标场景是否存在障碍物，得到目标场景的障碍物检测结果。可见，实施本发明能够当目标车辆即将到达目标场景时，根据雷达检测设备检测到的当前雷达数据集合以及视觉检测算法检测到的当前图像数据集合，检测目标场景的波动区域图像（波动区域图像包括根据当前雷达数据集合检测到的第一波动区域图像以及根据当前图像数据集合检测到的第二波动区域图像），能够提高波动区域图像的检测准确性，并对准确检测到的第一波动区域图像和第二波动区域图像进行比较，得到比较结果，再根据比较结果检测目标场景是否存在障碍物，能够提高目标场景是否存在障碍物的检测准确性，从而有利于当检测出存在障碍物时提醒车辆执行避障操作以及有利于提高车辆避障的精准性和及时性，进而有利于通过车辆的精准避障减少目标车辆出现交通事故的情况，还能够保障目标车辆内的人员的人身安全。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于雷视融合的障碍物检测方法的流程示意图；
图2是本发明实施例公开的一种相机坐标系三维重建的原理示意图；
图3是本发明实施例公开的另一种基于雷视融合的障碍物检测方法的流程示意图；
图4是本发明实施例公开的一种基于雷视融合的障碍物检测装置的结构示意图；
图5是本发明实施例公开的另一种基于雷视融合的障碍物检测装置的结构示意图；
图6是本发明实施例公开的又一种基于雷视融合的障碍物检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于雷视融合的障碍物检测方法及装置，能够当目标车辆即将到达目标场景时，根据雷达检测设备检测到的当前雷达数据集合以及视觉检测算法检测到的当前图像数据集合，检测目标场景的波动区域图像（波动区域图像包括根据当前雷达数据集合检测到的第一波动区域图像以及根据当前图像数据集合检测到的第二波动区域图像），能够提高波动区域图像的检测准确性，并对准确检测到的第一波动区域图像和第二波动区域图像进行比较，得到比较结果，再根据比较结果检测目标场景是否存在障碍物，能够提高目标场景是否存在障碍物的检测准确性，从而有利于当检测出存在障碍物时提醒车辆执行避障操作以及有利于提高车辆避障的精准性和及时性，进而有利于通过车辆的精准避障减少目标车辆出现交通事故的情况，还能够保障目标车辆内的人员的人身安全。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于雷视融合的障碍物检测方法的流程示意图。其中，图1所描述的基于雷视融合的障碍物检测方法可以应用于电动汽车或者混合动力汽车等汽车所在车道上的障碍物检测装置中，其中，该装置可以包括障碍物检测设备或者障碍物检测服务器，其中，障碍物检测服务器可以包括云端服务器或者本地服务器，本发明实施例不做限定。如图1所示，该基于雷视融合的障碍物检测方法可以包括以下操作：
101、当待检测的目标车辆的当前位置与目标场景的场景位置的距离小于预设距离时，获取基于雷达检测设备检测到的目标场景的当前雷达数据集合以及预设的视觉检测算法检测到的目标场景的当前图像数据集合。
举例来说，假设目标车辆的当前位置与目标场景的场景位置之间的距离为40米，小于规定的50米，则确定目标车辆的当前位置与目标场景的场景位置的距离小于预设距离。
需要说明的是，对于，上述雷达检测设备（如：毫米波雷达）检测到的当前雷达数据集合以及上述视觉检测算法检测到的当前图像数据集合，需要进行雷视融合标定。具体的，毫米波雷达可以获取目标场景中每个物体的x、y坐标信息，而不能获取该物体的z（高度）坐标信息，可以基于转换矩阵（转换矩阵包括角度所带来的旋转矩阵以及平移产生的平移矩阵），将毫米波雷达的坐标系Om转换到世界坐标系Ow。其中，平移矩阵的平移量可以理解为毫米波雷达在世界坐标系的坐标，即：毫米波雷达到相机的距离(若以相机的安装位置为世界坐标系的原点)。如果毫米波雷达安装位置合适，也可以理解旋转矩阵为0。其中，上述转换矩阵具体为：
。
进一步的，将相机的安装位置确定为世界坐标系的原点之后，还需要对坐标系进行三维重建。具体的，如图2所示，对于现实场景中的点M，相机能够获取其在RGB图像中的成像点XM，以及通过雷达获取M到相机所在的垂直平面（即XY平面）的距离，这个距离便是M的深度值。以相机位置为原点，相机所朝方向为Z轴，相机的垂直平面的两个轴向为X、Y轴，可以建立相机的局部三维坐标系。另外，RGB图像到相机位置的距离正是相机的焦距。通过上述数据（上述数据可以包括M的深度值和相机的焦距等），可以得到M在相机的局部坐标系中的三维坐标。于是，RGB图像中的每个点，都会对应一个在相机的局部坐标系中的三维点。因此，相机的每一帧的深度图像就相当于一个在相机的局部三维坐标系中的点云模型。
102、根据目标场景的当前雷达数据集合，检测目标场景的第一波动区域图像。
本发明实施例中，目标场景的当前雷达数据集合可以包括目标车辆处于当前位置对应的当前时长段内雷达检测设备检测到的目标场景的多个当前雷达数据。可选的，当目标场景的场景图像中存在第一波动区域图像时，表示雷达检测设备检测到目标场景存在第一障碍物。
103、根据当前图像数据集合，检测目标场景的第二波动区域图像。
本发明实施例中，当目标场景的场景图像中存在第二波动区域图像时，表示视觉检测算法检测到目标场景存在第二障碍物。
本发明实施例中，当步骤102检测到目标场景的场景图像中存在第一波动区域图像且步骤103检测到目标场景的场景图像中存在第二波动区域图像时，触发执行步骤104；当步骤102检测到目标场景的场景图像中不存在第一波动区域图像且步骤103检测到目标场景的场景图像中不存在第二波动区域图像时（相当于雷达检测设备和视觉检测算法均检测到目标场景不存在障碍物），可以结束本流程。
104、将第一波动区域图像与第二波动区域图像进行比较，得到波动区域图像比较结果。
具体的，可以将第一波动区域图像中的第一障碍物与第二波动区域图像中的第二障碍物进行比较（如：进行位置比较、相似度比较等）。
105、根据波动区域图像比较结果，检测目标场景是否存在障碍物，得到目标场景的障碍物检测结果。
举例来说，假设比较出第一障碍物的位置和第二障碍物的位置之间的距离很近（如：距离小于或等于1米）且第一障碍物与第二障碍物的相似度大于预设相似度（如：80%）时，可以确定目标场景存在障碍物，并将第一障碍物或者第二障碍物确定为目标场景中存在的障碍物。
本发明实施例中，当目标场景的障碍物检测结果表示目标场景存在障碍物时，目标场景的障碍物检测结果用于作为目标车辆的避障依据。其中，当目标场景的障碍物检测结果表示目标场景存在障碍物时，可以对车辆进行预警，以提示车辆执行避障操作；当目标场景的障碍物检测结果表示目标场景不存在障碍物时，表示车辆可以按照当前车辆控制参数（如：当前车速、当前行驶方向等）正常行驶。
可见，实施图1所描述的基于雷视融合的障碍物检测方法能够当目标车辆即将到达目标场景时，根据雷达检测设备检测到的当前雷达数据集合以及视觉检测算法检测到的当前图像数据集合，检测目标场景的波动区域图像（波动区域图像包括根据当前雷达数据集合检测到的第一波动区域图像以及根据当前图像数据集合检测到的第二波动区域图像），能够提高波动区域图像的检测准确性，并对准确检测到的第一波动区域图像和第二波动区域图像进行比较，得到比较结果，再根据比较结果检测目标场景是否存在障碍物，能够提高目标场景是否存在障碍物的检测准确性，从而有利于当检测出存在障碍物时提醒车辆执行避障操作以及有利于提高车辆避障的精准性和及时性，进而有利于通过车辆的精准避障减少目标车辆出现交通事故的情况，还能够保障目标车辆内的人员的人身安全。
实施例二
请参阅图3，图3是本发明实施例公开的一种基于雷视融合的障碍物检测方法的流程示意图。其中，图3所描述的基于雷视融合的障碍物检测方法可以应用于电动汽车或者混合动力汽车等汽车所在车道上的障碍物检测装置中，其中，该装置可以包括障碍物检测设备或者障碍物检测服务器，其中，障碍物检测服务器可以包括云端服务器或者本地服务器，本发明实施例不做限定。如图3所示，该基于雷视融合的障碍物检测方法可以包括以下操作：
201、当待检测的目标车辆的当前位置与目标场景的场景位置的距离小于预设距离时，获取基于雷达检测设备检测到的目标场景的当前雷达数据集合以及预设的视觉检测算法检测到的目标场景的当前图像数据集合。
202、获取目标场景在过去的多个预设时长段内每个预设时长段内的历史雷达数据集合。
本发明实施例中，每个预设时长段内的历史雷达数据集合可以包括每个预设时长段内雷达检测设备检测到的目标场景的多个历史雷达数据。
203、对所有历史雷达数据集合进行比较，得到雷达数据比较结果。
本发明实施例中，雷达数据比较结果可以用于表示所有历史雷达数据集合中每个历史雷达数据集合的障碍物情况。其中，每个历史雷达数据集合的障碍物情况可以包括目标场景存在障碍物的情况或者目标场景不存在障碍物的情况。
204、根据雷达数据比较结果，从所有历史雷达数据集合中筛选出障碍物情况为目标障碍物情况的其中一个，作为目标场景的标准雷达数据集合。
本发明实施例中，目标障碍物情况为目标场景中不存在障碍物的情况。具体的，可以基于目标场景的标准雷达数据集合建立真值（即建立背景图），并在该背景图中标定出需要重点检测的公路区域（如：大型车辆行驶的车道），也可以基于视觉检测出需要重点监测的公路区域，作为后续检测是否存在障碍物的目标区域，本发明实施例不做限定。
205、对标准雷达数据集合以及当前雷达数据集合进行差分运算，得到差分数据子集合。
本发明实施例中，当步骤205中的差分数据子集合为空时，确定目标场景不存在第一波动区域图像；当步骤205中的差分数据子集合不为空时，确定目标场景存在第一波动区域图像。其中，第一波动区域图像是对差分数据子集合进行构建后得到的。举例来说，假设标准雷达数据集合为Gi，当前雷达数据集合为gi，则差分数据子集合为Di=Gi-gi。
206、根据当前图像数据集合，检测目标场景的第二波动区域图像。
本发明实施例中，当步骤205中的差分数据子集合不为空（相当于检测出目标场景的场景图像中存在第一波动区域图像）且步骤206中检测出目标场景的场景图像中存在第二波动区域图像时，触发执行步骤207；当步骤205中的差分数据子集合为空（相当于检测出目标场景的场景图像中不存在第一波动区域图像）且步骤206中检测出目标场景的场景图像中不存在第二波动区域图像时，结束本流程。
207、将对差分数据子集合进行构建得到的第一波动区域图像与第二波动区域图像进行比较，得到波动区域图像比较结果。
208、根据波动区域图像比较结果，检测目标场景是否存在障碍物，得到目标场景的障碍物检测结果。
本发明实施例中，针对步骤201、步骤206-步骤208的其它描述，请参照实施例一中针对步骤101、步骤103-步骤105的详细描述，本发明实施例不再赘述。
可见，实施图2所描述的基于雷视融合的障碍物检测方法能够当目标车辆即将到达目标场景时，根据雷达检测设备检测到的当前雷达数据集合以及视觉检测算法检测到的当前图像数据集合，检测目标场景的波动区域图像（波动区域图像包括根据当前雷达数据集合检测到的第一波动区域图像以及根据当前图像数据集合检测到的第二波动区域图像），能够提高波动区域图像的检测准确性，并对准确检测到的第一波动区域图像和第二波动区域图像进行比较，得到比较结果，再根据比较结果检测目标场景是否存在障碍物，能够提高目标场景是否存在障碍物的检测准确性，从而有利于当检测出存在障碍物时提醒车辆执行避障操作以及有利于提高车辆避障的精准性和及时性，进而有利于通过车辆的精准避障减少目标车辆出现交通事故的情况，还能够保障目标车辆内的人员的人身安全。此外，还能够获取目标场景在过去的多个预设时长段内每个预设时长段的历史雷达数据集合，并根据比较所有历史雷达数据集合后得到的比较结果，从所有历史雷达数据集合中准确地筛选出不存在障碍物的标准雷达数据集合，并对准确筛选出的标准雷达数据集合和获取到的当前雷达数据集合进行差分运算，得到差分数据子集合，以及根据差分数据子集合，检测目标场景的第一波动区域图像，能够提高第一波动区域图像的检测准确性和可靠性。
在一个可选的实施例中，上述步骤207中的将第一波动区域图像与第二波动区域图像进行比较，得到波动区域图像比较结果，可以包括：
分别获取第一波动区域图像的所有第一波动对象以及第二波动区域图像的所有第二波动对象；
获取每个第一波动对象的第一初始坐标以及每个第二波动对象的第二初始坐标；
将每个第一初始坐标与每个第二初始坐标进行坐标类型同步，分别得到每个第一初始坐标对应的第一目标坐标以及每个第二初始坐标对应的第二目标坐标；
对于第一波动区域图像的任一第一波动对象，根据第一波动对象对应的第一目标坐标，从所有第二波动对象筛选出对应的第二目标坐标与第一目标坐标相同的所有备选波动对象；
检测所有备选波动对象中是否存在与第一波动对象相同的第一相同对象，得到第一波动对象对应的检测结果。
本发明实施例中，波动区域图像比较结果包括第一波动区域图像的所有第一波动对象对应的检测结果。
本发明实施例中，第一初始坐标的坐标类型为雷达坐标类型（即雷达坐标系对应的类型），第二初始坐标的坐标类型为相机坐标类型（即相机坐标系对应的类型）。上述将每个第一初始坐标与每个第二初始坐标进行坐标类型同步可以是将每个第一初始坐标的坐标类型从雷达坐标类型同步为相机坐标类型，也可以是将每个第二初始坐标的坐标类型从相机坐标类型同步为雷达坐标类型，还可以是将每个第一初始坐标的坐标类型与每个第二初始坐标的坐标类型均同步为所有坐标类型中除上述雷达坐标类型和上述相机坐标类型之外的其余坐标类型，如：世界坐标类型（即世界坐标系对应的类型），本发明实施例不做限定。
可见，该可选的实施例能够获取第一波动区域图像的每个第一波动对象的第一初始坐标以及第二波动区域图像的每个第二波动对象的第二初始坐标，并将每个第一初始坐标与每个第二初始坐标进行坐标类型同步，得到每个第一初始坐标对应的第一目标坐标以及每个第二初始坐标对应的第二目标坐标，能够提高所有坐标的坐标类型的同步准确性，有利于通过准确同步的坐标类型提高对所有坐标进行后续比较的准确性和便捷性，减少坐标类型不同导致的对不同坐标类型的多个坐标进行比较时比较结果出错的情况发生，以及对于第一波动区域图像中的任一第一波动对象，检测所有第二波动对象内与该第一波动对象相同坐标的所有备选波动对象中是否存在与该第一波动对象相同的第一相同对象，得到该第一波动对象对应的检测结果，能够提高检测每个第一波动对象的准确性和可靠性，从而有利于提高第一波动区域图像与第二波动区域图像的比较准确性。
在该可选的实施例中，作为一种可选的实施方式，上述步骤208中的根据波动区域图像比较结果，检测目标场景是否存在障碍物，得到目标场景的障碍物检测结果，包括：
若波动区域图像比较结果中第一波动对象对应的检测结果表示所有备选波动对象中存在与第一波动对象相同的第一相同对象，则获取第一相同对象的分类标签；
判断第一相同对象的分类标签是否为障碍物标签；
当判断出第一相同对象的分类标签为障碍物标签时，确定目标场景的障碍物检测结果表示目标场景的场景图像中存在障碍物。
本发明实施例中，所有第二波动对象均存在对应的分类标签（分类标签可以是视觉检测算法检测出的）。其中，分类标签可以包括障碍物标签或者非障碍物标签，本发明实施例不做限定。举例来说，障碍物标签可以包括目标车辆当前行驶方向所在车道上的物品（如：木条、轮胎皮及车辆零部件等）对应的标签；非障碍物标签可以包括与目标车辆当前行驶方向平行的其余车辆对应的标签。
可见，该可选的实施方式能够在波动区域图像比较结果表示第二波动对象中存在与第一波动对象相同的第一相同对象时，判断第一相同对象的分类标签是否为障碍物标签，并当判断出第一相同对象的分类标签为障碍物标签时，方确定目标场景的障碍物检测结果表示目标场景的场景图像中存在障碍物，能够提高目标场景的障碍物检测结果的确定准确性和可靠性，从而有利于通过准确确定出的障碍物检测结果提高后续车辆执行避障操作的精准性。
在该可选的实施方式中，可选的，该方法还可以包括：
若波动区域图像比较结果中第一波动对象对应的检测结果表示所有备选波动对象中不存在第一波动对象，则根据第一波动对象对应的第一目标坐标，从第一波动区域图像中截取出第一波动对象对应的目标图像；
获取第一波动对象对应的目标图像的图像像素以及视觉检测算法的输入图像所需的图像像素；
判断目标图像的图像像素是否小于或等于输入图像所需的图像像素；
若判断出目标图像的图像像素小于或等于输入图像所需的图像像素，则将目标图像输入至视觉检测算法中进行检测，得到视觉检测算法针对目标图像的图像检测结果；
当图像检测结果表示目标图像存在至少一个第三波动对象时，检测所有第三波动对象中是否存在与第一波动对象相同的第二相同对象；
当检测到存在与第一波动对象相同的第二相同对象时，将第二相同对象更新为第一相同对象，并触发执行的获取第一相同对象的分类标签的操作以及触发执行的判断第一相同对象的分类标签是否为障碍物标签的操作。
需要说明的是，第一波动对象对应的目标图像中存在该第一波动对象。
本发明实施例中，具体的，若判断出目标图像的图像像素小于输入图像所需的图像像素，则在上述的将目标图像输入至视觉检测算法中进行检测，得到视觉检测算法针对目标图像的图像检测结果之前，需要用于零像素值（即黑色）对目标图像的图像像素进行填充，使填充后的目标图像的图像像素等于输入图像所需的图像像素，再触发执行上述的将目标图像输入至视觉检测算法中进行检测，得到视觉检测算法针对目标图像的图像检测结果的操作；若判断出目标图像的图像像素等于输入图像所需的图像像素，则直接将目标图像输入至视觉检测算法中进行检测，得到视觉检测算法针对目标图像的图像检测结果。
举例来说，假设目标图像的图像像素为80*80（pixcel），而视觉检测算法（如：YOLO算法）的输入图像所需的图像像素为608*608（pixcel），可以判断出目标图像的图像像素小于输入图像所需的图像像素，此时可以用零像素值（即黑色）将目标图像的图像像素从80*80（pixcel）填充为608*608（pixcel）。
可见，该可选的实施方式还能够在第二波动对象中不存在第一波动对象的情况下，根据第一波动对象对应的第一目标坐标，从第一波动区域图像中准确地截取出第一波动对象对应的目标图像，并判断获取到的目标图像的图像像素是否小于或等于视觉检测算法的输入图像所需的图像像素，以及当判断出小于或等于时，方将目标图像输入至视觉检测算法中进行检测，能够提高可以进行检测的目标图像的判断准确性，减少目标图像的图像像素过大需要缩小后再进行检测导致检测难度更大及检测准确性更低的情况发生，以及当检测出目标图像中存在与第一波动对象相同的第二相同对象时，能够提高第二相同对象的检测准确性，对检测出的第二相同对象执行后续的判断其分类标签是否为障碍物标签的操作，有利于通过多次检测的方式提高目标场景中是否存在障碍物的判断准确性和灵活性。
在该可选的实施方式中，可选的，该方法还可以包括：
当判断出第一相同对象的分类标签不为障碍物标签时，对第一波动区域图像以及第二波动区域图像进行综合分析，分别得到雷达检测设备的障碍物检测结果的第一靠谱程度以及视觉检测算法的障碍物检测结果的第二靠谱程度；
对第一靠谱程度以及第二靠谱程度进行比较，得到靠谱程度比较结果；
当靠谱程度对比结果表示第一靠谱程度大于第二靠谱程度时，确定目标场景的障碍物检测结果表示目标场景的场景图像中存在障碍物；
当靠谱程度对比结果表示第一靠谱程度小于第二靠谱程度时，确定目标场景的障碍物检测结果表示目标场景不存在障碍物。
本发明实施例中，当判断出第一相同对象的分类标签不为障碍物标签时，此时雷达检测设备的障碍物检测结果表示目标场景的场景图像中存在障碍物，视觉检测算法的障碍物检测结果表示目标场景的场景图像中不存在障碍物。具体的，当靠谱程度对比结果表示第一靠谱程度大于第二靠谱程度时，可以确定雷达检测设备的障碍物检测结果，作为目标场景的障碍物检测结果（相当于上述的确定目标场景的障碍物检测结果表示目标场景的场景图像中存在障碍物）；当靠谱程度对比结果表示第一靠谱程度小于第二靠谱程度时，可以确定视觉检测算法的障碍物检测结果，作为目标场景的障碍物检测结果（相当于上述的确定目标场景的障碍物检测结果表示目标场景不存在障碍物）；当靠谱程度对比结果表示第一靠谱程度等于第二靠谱程度时，目标场景的障碍物检测结果可以表示目标场景中疑似存在障碍物，此时可以重复执行本方案，也可以先向目标车辆发送前方疑似存在障碍物的提醒，本发明实施例不做限定。
可见，该可选的实施方式还能够在第一相同对象的分类标签不为障碍物标签的情况下，根据第一波动区域图像以及第二波动区域图像，分别分析雷达检测设备的障碍物检测结果的第一靠谱程度和视觉检测算法的障碍物检测结果的第二靠谱程度，并当比较出第一靠谱程度大于第二靠谱程度时，方确定目标场景的障碍物检测结果表示目标场景的场景图像中存在障碍物；以及当比较出靠谱程度对比结果表示第一靠谱程度小于第二靠谱程度时，方确定目标场景的障碍物检测结果表示目标场景不存在障碍物，能够提高目标场景中是否存在障碍物的确定准确性和可靠性。
在该可选的实施方式中，进一步可选的，对第一波动区域图像以及第二波动区域图像进行综合分析，分别得到雷达检测设备的障碍物检测结果的第一靠谱程度以及视觉检测算法的障碍物检测结果的第二靠谱程度，可以包括：
分别获取第一波动区域图像的第一图像质量以及第二波动区域图像的第二图像质量；
对第一图像质量与第二图像质量进行对比，得到图像质量对比结果；
根据图像质量对比结果，以及预设的图像质量与权重系数之间的关联关系，分别确定第一波动区域图像的第一权重系数及第二波动区域图像的第二权重系数；
第一权重系数用于表示第一波动区域图像对应的雷达检测设备的障碍物检测结果的第一靠谱程度。
本发明实施例中，可选的，第二权重系数用于表示第二波动区域图像对应的视觉检测算法的障碍物检测结果的第二靠谱程度。可选的，第一波动区域图像的第一图像质量以及第二波动区域图像的第二图像质量中每个波动区域图像的图像质量均可以包括每个波动区域图像的图像亮度和/或每个波动区域图像的图像清晰度。具体的，当每个波动区域图像的图像质量均可以包括每个波动区域图像的图像亮度和每个波动区域图像的图像清晰度时，可以对第一图像质量的图像亮度和第二图像质量的图像亮度进行对比，得到图像亮度对比结果；以及对第一图像质量的图像清晰度和第二图像质量的图像清晰度进行对比，得到图像清晰度对比结果。可选的，图像质量对比结果可以包括图像亮度对比结果和/或图像清晰度对比结果。可选的，图像质量与权重系数之间的关联关系可以包括图像亮度和权重系数之间的第一关联关系，和/或，图像清晰度和权重系数之间的第二关联关系。其中，图像亮度和权重系数之间的第一关联关系可以包括图像亮度和权重系数呈正相关对应的关系，且图像清晰度和权重系数之间的第二关联关系可以包括图像清晰度和权重系数呈正相关对应的关系，本发明实施例不做限定。
举例来说，假设第一波动区域图像的图像亮度高于第二波动区域图像的图像亮度，且第一波动区域图像的图像清晰度高于第二波动区域图像的图像清晰度，可以确定第一波动区域图像的第一权重系数高于第二波动区域图像的第二权重系数，此时可以确定第一靠谱程度大于第二靠谱程度。
可见，该可选的实施方式还能够对获取到的第一波动区域图像的第一图像质量和第二波动区域图像的第二图像质量进行对比，得到图像质量对比结果，能够提高图像质量的对比准确性，并根据准确对比得到的图像质量对比结果，以及预设的图像质量与权重系数之间的关联关系，分别确定第一波动区域图像的第一权重系数和第二波动区域图像的第二权重系数，能够提高第一权重系数和第二权重系数的确定准确性和可靠性，从而有利于通过准确确定出的第一权重系数提高第一靠谱程度的分析准确性，以及有利于通过准确确定出的第二权重系数提高第二靠谱程度的分析准确性，进而有利于通过准确分析出的第一靠谱程度和第二靠谱程度提高后续雷达检测设备和视觉检测算法哪个的检测结果更为可靠的判断准确性。
实施例三
请参阅图4，图4是本发明实施例公开的一种基于雷视融合的障碍物检测装置的结构示意图。其中，图4所描述的基于雷视融合的障碍物检测装置可以包括电动汽车或者混合动力汽车等汽车所在车道上的障碍物检测装置。其中，该装置可以包括障碍物检测设备或者障碍物检测服务器，其中，障碍物检测服务器可以包括云端服务器或者本地服务器，本发明实施例不做限定。如图4所示，该基于雷视融合的障碍物检测装置可以包括：
获取模块301，用于当待检测的目标车辆的当前位置与目标场景的场景位置的距离小于预设距离时，获取基于雷达检测设备检测到的目标场景的当前雷达数据集合以及预设的视觉检测算法检测到的目标场景的当前图像数据集合。
检测模块302，用于根据目标场景的当前雷达数据集合，检测目标场景的第一波动区域图像。
检测模块302，还用于根据当前图像数据集合，检测目标场景的第二波动区域图像。
比较模块303，用于当检测模块检测到目标场景的场景图像中存在第一波动区域图像且目标场景的场景图像中存在第二波动区域图像时，将第一波动区域图像与第二波动区域图像进行比较，得到波动区域图像比较结果。
检测模块302，还用于根据波动区域图像比较结果，检测目标场景是否存在障碍物，得到目标场景的障碍物检测结果；当所述目标场景的障碍物检测结果表示所述目标场景存在障碍物时，所述目标场景的障碍物检测结果用于作为所述目标车辆的避障依据。
可见，实施图3所描述的基于雷视融合的障碍物检测装置能够当目标车辆即将到达目标场景时，根据雷达检测设备检测到的当前雷达数据集合以及视觉检测算法检测到的当前图像数据集合，检测目标场景的波动区域图像（波动区域图像包括根据当前雷达数据集合检测到的第一波动区域图像以及根据当前图像数据集合检测到的第二波动区域图像），能够提高波动区域图像的检测准确性，并对准确检测到的第一波动区域图像和第二波动区域图像进行比较，得到比较结果，再根据比较结果检测目标场景是否存在障碍物，能够提高目标场景是否存在障碍物的检测准确性，从而有利于当检测出存在障碍物时提醒车辆执行避障操作以及有利于提高车辆避障的精准性和及时性，进而有利于通过车辆的精准避障减少目标车辆出现交通事故的情况，还能够保障目标车辆内的人员的人身安全。
在一个可选的实施例中，比较模块303将第一波动区域图像与第二波动区域图像进行比较，得到波动区域图像比较结果的方式具体可以包括：
分别获取第一波动区域图像的所有第一波动对象以及第二波动区域图像的所有第二波动对象；
获取每个第一波动对象的第一初始坐标以及每个第二波动对象的第二初始坐标，第一初始坐标的坐标类型为雷达坐标类型，第二初始坐标的坐标类型为相机坐标类型；
将每个第一初始坐标与每个第二初始坐标进行坐标类型同步，分别得到每个第一初始坐标对应的第一目标坐标以及每个第二初始坐标对应的第二目标坐标；
对于第一波动区域图像的任一第一波动对象，根据第一波动对象对应的第一目标坐标，从所有第二波动对象筛选出对应的第二目标坐标与第一目标坐标相同的所有备选波动对象；
检测所有备选波动对象中是否存在与第一波动对象相同的第一相同对象，得到第一波动对象对应的检测结果，波动区域图像比较结果包括第一波动区域图像的所有第一波动对象对应的检测结果。
可见，该可选的实施例能够获取第一波动区域图像的每个第一波动对象的第一初始坐标以及第二波动区域图像的每个第二波动对象的第二初始坐标，并将每个第一初始坐标与每个第二初始坐标进行坐标类型同步，得到每个第一初始坐标对应的第一目标坐标以及每个第二初始坐标对应的第二目标坐标，能够提高所有坐标的坐标类型的同步准确性，有利于通过准确同步的坐标类型提高对所有坐标进行后续比较的准确性和便捷性，减少坐标类型不同导致的对不同坐标类型的多个坐标进行比较时比较结果出错的情况发生，以及对于第一波动区域图像中的任一第一波动对象，检测所有第二波动对象内与该第一波动对象相同坐标的所有备选波动对象中是否存在与该第一波动对象相同的第一相同对象，得到该第一波动对象对应的检测结果，能够提高检测每个第一波动对象的准确性和可靠性，从而有利于提高第一波动区域图像与第二波动区域图像的比较准确性。
在该可选的实施例中，作为一种可选的实施方式，检测模块302根据波动区域图像比较结果，检测目标场景是否存在障碍物，得到目标场景的障碍物检测结果的方式具体可以包括：
若波动区域图像比较结果中第一波动对象对应的检测结果表示所有备选波动对象中存在与第一波动对象相同的第一相同对象，则获取第一相同对象的分类标签，分类标签包括障碍物标签或者非障碍物标签；
判断第一相同对象的分类标签是否为障碍物标签；
当判断出第一相同对象的分类标签为障碍物标签时，确定目标场景的障碍物检测结果表示目标场景的场景图像中存在障碍物。
可见，该可选的实施方式能够在波动区域图像比较结果表示第二波动对象中存在与第一波动对象相同的第一相同对象时，判断第一相同对象的分类标签是否为障碍物标签，并当判断出第一相同对象的分类标签为障碍物标签时，方确定目标场景的障碍物检测结果表示目标场景的场景图像中存在障碍物，能够提高目标场景的障碍物检测结果的确定准确性和可靠性，从而有利于通过准确确定出的障碍物检测结果提高后续车辆执行避障操作的精准性。
在该可选的实施方式中，可选的，如图5，该装置还可以包括：
截取模块304，用于若波动区域图像比较结果中第一波动对象对应的检测结果表示所有备选波动对象中不存在第一波动对象，则根据第一波动对象对应的第一目标坐标，从第一波动区域图像中截取出第一波动对象对应的目标图像；
获取模块301，还用于获取第一波动对象对应的目标图像的图像像素以及视觉检测算法的输入图像所需的图像像素；
判断模块305，用于判断目标图像的图像像素是否小于或等于输入图像所需的图像像素；
检测模块302，还用于若判断模块305判断出目标图像的图像像素小于或等于输入图像所需的图像像素，则将目标图像输入至视觉检测算法中进行检测，得到视觉检测算法针对目标图像的图像检测结果；
检测模块302，还用于当图像检测结果表示目标图像中存在至少一个第三波动对象时，检测所有第三波动对象中是否存在与第一波动对象相同的第二相同对象；
更新模块306，用于当检测到存在与第一波动对象相同的第二相同对象时，将第二相同对象更新为第一相同对象，并触发执行的获取第一相同对象的分类标签的操作以及触发执行的判断第一相同对象的分类标签是否为障碍物标签的操作。
可见，该可选的实施方式还能够在第二波动对象中不存在第一波动对象的情况下，根据第一波动对象对应的第一目标坐标，从第一波动区域图像中准确地截取出第一波动对象对应的目标图像，并判断获取到的目标图像的图像像素是否小于或等于视觉检测算法的输入图像所需的图像像素，以及当判断出小于或等于时，方将目标图像输入至视觉检测算法中进行检测，能够提高可以进行检测的目标图像的判断准确性，减少目标图像的图像像素过大需要缩小后再进行检测导致检测难度更大及检测准确性更低的情况发生，以及当检测出目标图像中存在与第一波动对象相同的第二相同对象时，能够提高第二相同对象的检测准确性，对检测出的第二相同对象执行后续的判断其分类标签是否为障碍物标签的操作，有利于通过多次检测的方式提高目标场景中是否存在障碍物的判断准确性和灵活性。
在该可选的实施方式中，可选的，如图5，该装置还可以包括：
分析模块307，用于当检测模块302判断出第一相同对象的分类标签不为障碍物标签时，对第一波动区域图像以及第二波动区域图像进行综合分析，分别得到雷达检测设备的障碍物检测结果的第一靠谱程度以及视觉检测算法的障碍物检测结果的第二靠谱程度；
比较模块303，还用于对第一靠谱程度以及第二靠谱程度进行比较，得到靠谱程度比较结果；
确定模块308，用于当靠谱程度对比结果表示第一靠谱程度大于第二靠谱程度时，确定目标场景的障碍物检测结果表示目标场景的场景图像中存在障碍物；
确定模块308，还用于当靠谱程度对比结果表示第一靠谱程度小于第二靠谱程度时，确定目标场景的障碍物检测结果表示目标场景不存在障碍物。
可见，该可选的实施方式还能够在第一相同对象的分类标签不为障碍物标签的情况下，根据第一波动区域图像以及第二波动区域图像，分别分析雷达检测设备的障碍物检测结果的第一靠谱程度和视觉检测算法的障碍物检测结果的第二靠谱程度，并当比较出第一靠谱程度大于第二靠谱程度时，方确定目标场景的障碍物检测结果表示目标场景的场景图像中存在障碍物；以及当比较出靠谱程度对比结果表示第一靠谱程度小于第二靠谱程度时，方确定目标场景的障碍物检测结果表示目标场景不存在障碍物，能够提高目标场景中是否存在障碍物的确定准确性和可靠性。
在该可选的实施方式中，进一步可选的，分析模块307对第一波动区域图像以及第二波动区域图像进行综合分析，分别得到雷达检测设备的障碍物检测结果的第一靠谱程度以及视觉检测算法的障碍物检测结果的第二靠谱程度的方式具体可以包括：
分别获取第一波动区域图像的第一图像质量以及第二波动区域图像的第二图像质量，第一波动区域图像的第一图像质量以及第二波动区域图像的第二图像质量中每个波动区域图像的图像质量均包括每个波动区域图像的图像亮度和/或每个波动区域图像的图像清晰度；
对第一图像质量与第二图像质量进行对比，得到图像质量对比结果；
根据图像质量对比结果，以及预设的图像质量与权重系数之间的关联关系，分别确定第一波动区域图像的第一权重系数及第二波动区域图像的第二权重系数；
第一权重系数用于表示第一波动区域图像对应的雷达检测设备的障碍物检测结果的第一靠谱程度，且第二权重系数用于表示第二波动区域图像对应的视觉检测算法的障碍物检测结果的第二靠谱程度。
可见，该可选的实施方式能够对获取到的第一波动区域图像的第一图像质量和第二波动区域图像的第二图像质量进行对比，得到图像质量对比结果，能够提高图像质量的对比准确性，并根据准确对比得到的图像质量对比结果，以及预设的图像质量与权重系数之间的关联关系，分别确定第一波动区域图像的第一权重系数和第二波动区域图像的第二权重系数，能够提高第一权重系数和第二权重系数的确定准确性和可靠性，从而有利于通过准确确定出的第一权重系数提高第一靠谱程度的分析准确性，以及有利于通过准确确定出的第二权重系数提高第二靠谱程度的分析准确性，进而有利于通过准确分析出的第一靠谱程度和第二靠谱程度提高后续雷达检测设备和视觉检测算法哪个的检测结果更为可靠的判断准确性。
在又一个可选的实施例中，检测模块302根据目标场景的当前雷达数据集合，检测目标场景的第一波动区域图像的方式具体可以包括：
获取目标场景在过去的多个预设时长段内每个预设时长段内的历史雷达数据集合；
对所有历史雷达数据集合进行比较，得到雷达数据比较结果，雷达数据比较结果用于表示所有历史雷达数据集合中每个历史雷达数据集合的障碍物情况；
根据雷达数据比较结果，从所有历史雷达数据集合中筛选出障碍物情况为目标障碍物情况的其中一个，作为目标场景的标准雷达数据集合，目标障碍物情况为目标场景中不存在障碍物的情况；
对标准雷达数据集合以及当前雷达数据集合进行差分运算，得到差分数据子集合；
当差分数据子集合不为空时，确定目标场景的场景图像中存在第一波动区域图像，第一波动区域图像是对差分数据子集合进行图像构建后得到的；
当差分数据子集合为空时，确定目标场景不存在第一波动区域图像。
可见，该可选的实施例能够获取目标场景在过去的多个预设时长段内每个预设时长段的历史雷达数据集合，并根据比较所有历史雷达数据集合后得到的比较结果，从所有历史雷达数据集合中准确地筛选出不存在障碍物的标准雷达数据集合，并对准确筛选出的标准雷达数据集合和获取到的当前雷达数据集合进行差分运算，得到差分数据子集合，以及根据差分数据子集合，检测目标场景的第一波动区域图像，能够提高第一波动区域图像的检测准确性和可靠性。
实施例四
请参阅图6，图6是本发明实施例公开的又一种基于雷视融合的障碍物检测装置的结构示意图。如图6所示，该基于雷视融合的障碍物检测装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器402调用存储器401中存储的可执行程序代码，执行本发明实施例一或本发明实施例二所描述的基于雷视融合的障碍物检测方法中的步骤。
实施例五
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一或本发明实施例二所描述的基于雷视融合的障碍物检测方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的基于雷视融合的障碍物检测方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器（Read-Only Memory，ROM）、随机存储器（Random Access Memory，RAM）、可编程只读存储器（Programmable Read-only Memory，PROM）、可擦除可编程只读存储器（ErasableProgrammable Read Only Memory，EPROM）、一次可编程只读存储器（One-timeProgrammable Read-Only Memory，OTPROM）、电子抹除式可复写只读存储器（Electrically-Erasable Programmable Read-Only Memory，EEPROM）、只读光盘（CompactDisc Read-Only Memory，CD-ROM）或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于雷视融合的障碍物检测方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于雷视融合的障碍物检测方法，其特征在于，所述方法包括：
当待检测的目标车辆的当前位置与目标场景的场景位置的距离小于预设距离时，获取基于雷达检测设备检测到的所述目标场景的当前雷达数据集合以及预设的视觉检测算法检测到的所述目标场景的当前图像数据集合；
根据所述目标场景的当前雷达数据集合，检测所述目标场景的第一波动区域图像；以及，根据所述当前图像数据集合，检测所述目标场景的第二波动区域图像；
当检测到所述目标场景的场景图像中存在所述第一波动区域图像且所述目标场景的场景图像中存在所述第二波动区域图像时，将所述第一波动区域图像与所述第二波动区域图像进行比较，得到波动区域图像比较结果；
根据所述波动区域图像比较结果，检测所述目标场景是否存在障碍物，得到所述目标场景的障碍物检测结果；当所述目标场景的障碍物检测结果表示所述目标场景存在障碍物时，所述目标场景的障碍物检测结果用于作为所述目标车辆的避障依据。
2.根据权利要求1所述的基于雷视融合的障碍物检测方法，其特征在于，所述将所述第一波动区域图像与所述第二波动区域图像进行比较，得到波动区域图像比较结果，包括：
分别获取所述第一波动区域图像的所有第一波动对象以及所述第二波动区域图像的所有第二波动对象；
获取每个所述第一波动对象的第一初始坐标以及每个所述第二波动对象的第二初始坐标，所述第一初始坐标的坐标类型为雷达坐标类型，所述第二初始坐标的坐标类型为相机坐标类型；
将每个所述第一初始坐标与每个所述第二初始坐标进行坐标类型同步，分别得到每个所述第一初始坐标对应的第一目标坐标以及每个所述第二初始坐标对应的第二目标坐标；
对于所述第一波动区域图像的任一所述第一波动对象，根据所述第一波动对象对应的第一目标坐标，从所有所述第二波动对象筛选出对应的第二目标坐标与所述第一目标坐标相同的所有备选波动对象；
检测所有所述备选波动对象中是否存在与所述第一波动对象相同的第一相同对象，得到所述第一波动对象对应的检测结果，所述波动区域图像比较结果包括所述第一波动区域图像的所有第一波动对象对应的检测结果。
3.根据权利要求2所述的基于雷视融合的障碍物检测方法，其特征在于，所述根据所述波动区域图像比较结果，检测所述目标场景是否存在障碍物，得到所述目标场景的障碍物检测结果，包括：
若所述波动区域图像比较结果中所述第一波动对象对应的检测结果表示所有所述备选波动对象中存在与所述第一波动对象相同的第一相同对象，则获取所述第一相同对象的分类标签，所述分类标签包括障碍物标签或者非障碍物标签；
判断所述第一相同对象的分类标签是否为障碍物标签；
当判断出所述第一相同对象的分类标签为所述障碍物标签时，确定所述目标场景的障碍物检测结果表示所述目标场景的场景图像中存在障碍物。
4.根据权利要求3所述的基于雷视融合的障碍物检测方法，其特征在于，所述方法还包括：
若所述波动区域图像比较结果中所述第一波动对象对应的检测结果表示所有所述备选波动对象中不存在所述第一波动对象，则根据所述第一波动对象对应的第一目标坐标，从所述第一波动区域图像中截取出所述第一波动对象对应的目标图像；
获取所述第一波动对象对应的目标图像的图像像素以及所述视觉检测算法的输入图像所需的图像像素；
判断所述目标图像的图像像素是否小于或等于所述输入图像所需的图像像素；
若判断出所述目标图像的图像像素小于或等于所述输入图像所需的图像像素，则将所述目标图像输入至所述视觉检测算法中进行检测，得到所述视觉检测算法针对所述目标图像的图像检测结果；
当所述图像检测结果表示所述目标图像存在至少一个第三波动对象时，检测所有所述第三波动对象中是否存在与所述第一波动对象相同的第二相同对象；
当检测到存在与所述第一波动对象相同的第二相同对象时，将所述第二相同对象更新为所述第一相同对象，并触发执行所述的获取所述第一相同对象的分类标签的操作以及触发执行所述的判断所述第一相同对象的分类标签是否为障碍物标签的操作。
5.根据权利要求3或4所述的基于雷视融合的障碍物检测方法，其特征在于，所述方法还包括：
当判断出所述第一相同对象的分类标签不为所述障碍物标签时，对所述第一波动区域图像以及所述第二波动区域图像进行综合分析，分别得到所述雷达检测设备的障碍物检测结果的第一靠谱程度以及所述视觉检测算法的障碍物检测结果的第二靠谱程度；
对所述第一靠谱程度以及所述第二靠谱程度进行比较，得到靠谱程度比较结果；
当所述靠谱程度对比结果表示所述第一靠谱程度大于所述第二靠谱程度时，确定所述目标场景的障碍物检测结果表示所述目标场景的场景图像中存在障碍物；
当所述靠谱程度对比结果表示所述第一靠谱程度小于所述第二靠谱程度时，确定所述目标场景的障碍物检测结果表示所述目标场景不存在障碍物。
6.根据权利要求5所述的基于雷视融合的障碍物检测方法，其特征在于，所述对所述第一波动区域图像以及所述第二波动区域图像进行综合分析，分别得到所述雷达检测设备的障碍物检测结果的第一靠谱程度以及所述视觉检测算法的障碍物检测结果的第二靠谱程度，包括：
分别获取所述第一波动区域图像的第一图像质量以及所述第二波动区域图像的第二图像质量，第一波动区域图像的第一图像质量以及所述第二波动区域图像的第二图像质量中每个波动区域图像的图像质量均包括每个所述波动区域图像的图像亮度和/或每个所述波动区域图像的图像清晰度；
对所述第一图像质量与所述第二图像质量进行对比，得到图像质量对比结果；
根据所述图像质量对比结果，以及预设的图像质量与权重系数之间的关联关系，分别确定所述第一波动区域图像的第一权重系数及所述第二波动区域图像的第二权重系数；
所述第一权重系数用于表示所述第一波动区域图像对应的雷达检测设备的障碍物检测结果的第一靠谱程度，且所述第二权重系数用于表示所述第二波动区域图像对应的视觉检测算法的障碍物检测结果的第二靠谱程度。
7.根据权利要求1、2、3、4或6所述的基于雷视融合的障碍物检测方法，其特征在于，所述根据所述目标场景的当前雷达数据集合，检测所述目标场景的第一波动区域图像，包括：
获取所述目标场景在过去的多个预设时长段内每个所述预设时长段内的历史雷达数据集合；
对所有所述历史雷达数据集合进行比较，得到雷达数据比较结果，所述雷达数据比较结果用于表示所有所述历史雷达数据集合中每个所述历史雷达数据集合的障碍物情况；
根据所述雷达数据比较结果，从所有所述历史雷达数据集合中筛选出所述障碍物情况为目标障碍物情况的其中一个，作为所述目标场景的标准雷达数据集合，所述目标障碍物情况为所述目标场景中不存在障碍物的情况；
对所述标准雷达数据集合以及所述当前雷达数据集合进行差分运算，得到差分数据子集合；
当所述差分数据子集合不为空时，确定所述目标场景的场景图像中存在第一波动区域图像，所述第一波动区域图像是对所述差分数据子集合进行图像构建后得到的；
当所述差分数据子集合为空时，确定所述目标场景不存在第一波动区域图像。
8.一种基于雷视融合的障碍物检测装置，其特征在于，所述装置包括：
获取模块，用于当待检测的目标车辆的当前位置与目标场景的场景位置的距离小于预设距离时，获取基于雷达检测设备检测到的所述目标场景的当前雷达数据集合以及预设的视觉检测算法检测到的所述目标场景的当前图像数据集合；
检测模块，用于根据所述目标场景的当前雷达数据集合，检测所述目标场景的第一波动区域图像；
所述检测模块，还用于根据所述当前图像数据集合，检测所述目标场景的第二波动区域图像；
比较模块，用于当所述检测模块检测到所述目标场景的场景图像中存在所述第一波动区域图像且所述目标场景的场景图像中存在所述第二波动区域图像时，将所述第一波动区域图像与所述第二波动区域图像进行比较，得到波动区域图像比较结果；
所述检测模块，还用于根据所述波动区域图像比较结果，检测所述目标场景是否存在障碍物，得到所述目标场景的障碍物检测结果；当所述目标场景的障碍物检测结果表示所述目标场景存在障碍物时，所述目标场景的障碍物检测结果用于作为所述目标车辆的避障依据。
9.一种基于雷视融合的障碍物检测装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的基于雷视融合的障碍物检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的基于雷视融合的障碍物检测方法。
CN202311294798.0A 2023-10-09 2023-10-09 基于雷视融合的障碍物检测方法及装置 Active CN117022264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311294798.0A CN117022264B (zh) 2023-10-09 2023-10-09 基于雷视融合的障碍物检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311294798.0A CN117022264B (zh) 2023-10-09 2023-10-09 基于雷视融合的障碍物检测方法及装置

Publications (2)

Publication Number Publication Date
CN117022264A true CN117022264A (zh) 2023-11-10
CN117022264B CN117022264B (zh) 2024-02-02

Family

ID=88637727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311294798.0A Active CN117022264B (zh) 2023-10-09 2023-10-09 基于雷视融合的障碍物检测方法及装置

Country Status (1)

Country Link
CN (1) CN117022264B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004031801A1 (de) * 2002-09-14 2004-04-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur erkennung von hindernissen und/oder verkehrsteilnehmern
CN109885056A (zh) * 2019-03-07 2019-06-14 格陆博科技有限公司 一种基于单目摄像头和毫米波雷达融合的多场景挑选方法
US20210110178A1 (en) * 2019-08-08 2021-04-15 Nec Laboratories America, Inc. Obstacle detection in road scenes
CN113156421A (zh) * 2021-04-07 2021-07-23 南京邮电大学 基于毫米波雷达和摄像头信息融合的障碍物检测方法
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及系统
WO2023173950A1 (zh) * 2022-03-18 2023-09-21 杭州萤石软件有限公司 障碍物检测方法、移动机器人及机器可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004031801A1 (de) * 2002-09-14 2004-04-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur erkennung von hindernissen und/oder verkehrsteilnehmern
CN109885056A (zh) * 2019-03-07 2019-06-14 格陆博科技有限公司 一种基于单目摄像头和毫米波雷达融合的多场景挑选方法
US20210110178A1 (en) * 2019-08-08 2021-04-15 Nec Laboratories America, Inc. Obstacle detection in road scenes
WO2022022694A1 (zh) * 2020-07-31 2022-02-03 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN113156421A (zh) * 2021-04-07 2021-07-23 南京邮电大学 基于毫米波雷达和摄像头信息融合的障碍物检测方法
WO2023173950A1 (zh) * 2022-03-18 2023-09-21 杭州萤石软件有限公司 障碍物检测方法、移动机器人及机器可读存储介质

Also Published As

Publication number Publication date
CN117022264B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN111611853B (zh) 一种传感信息融合方法、装置及存储介质
CN112215306B (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN106951898B (zh) 一种车辆候选区域推荐方法及系统、电子设备
CN112651359A (zh) 障碍物检测方法、装置、电子设备和存储介质
CN113484858A (zh) 一种入侵检测方法和系统
CN112562406B (zh) 一种越线行驶的识别方法及装置
CN111913177A (zh) 对目标物探测方法、装置以及存储介质
CN114972490B (zh) 一种数据自动标注方法、装置、设备及存储介质
CN114037972A (zh) 目标检测方法、装置、设备及可读存储介质
CN115083088A (zh) 铁路周界入侵预警方法
CN113962301B (zh) 一种多源输入信号融合的路面质量检测方法及系统
CN114954504A (zh) 用于确定传感器探测条件的方法、融合数据的方法、提供信号的方法以及评估设备
Sezgin et al. Safe autonomous driving in adverse weather: Sensor evaluation and performance monitoring
CN117022264B (zh) 基于雷视融合的障碍物检测方法及装置
CN117130010A (zh) 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车
KR102616571B1 (ko) 인공지능을 이용한 영상 분석 기반의 도로 교통정보 제공 방법 및 그를 위한 시스템
CN112261402B (zh) 图像检测方法与系统以及摄像头遮挡监控方法与系统
Shanshan et al. An evaluation system based on user big data management and artificial intelligence for automatic vehicles
CN111626334B (zh) 一种车载高级辅助驾驶系统的关键控制目标选择方法
CN115402347A (zh) 用于识别车辆的可行驶区域的方法及辅助驾驶方法
CN114758200A (zh) 多传感数据融合方法、多源融合感知系统和计算机设备
CN114169356A (zh) 信息补全方法、装置、计算机设备和存储介质
CN117197443B (zh) 一种基于无共视区域的目标接力检测方法及装置
CN117372967B (zh) 基于物联网智慧路灯的远程监控方法、装置、设备及介质
CN114581615B (zh) 一种数据处理方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant