CN105718888B - 障碍物预警方法和障碍物预警装置 - Google Patents

障碍物预警方法和障碍物预警装置 Download PDF

Info

Publication number
CN105718888B
CN105718888B CN201610044507.6A CN201610044507A CN105718888B CN 105718888 B CN105718888 B CN 105718888B CN 201610044507 A CN201610044507 A CN 201610044507A CN 105718888 B CN105718888 B CN 105718888B
Authority
CN
China
Prior art keywords
barrier
current sample
sample time
relative distance
sampling instant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610044507.6A
Other languages
English (en)
Other versions
CN105718888A (zh
Inventor
崔峰
朱海涛
孟然
谢启伟
姜安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhong Ke Hui Yan Technology Ltd
Original Assignee
Beijing Zhong Ke Hui Yan Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhong Ke Hui Yan Technology Ltd filed Critical Beijing Zhong Ke Hui Yan Technology Ltd
Priority to CN201610044507.6A priority Critical patent/CN105718888B/zh
Publication of CN105718888A publication Critical patent/CN105718888A/zh
Priority to US15/465,343 priority patent/US10061993B2/en
Application granted granted Critical
Publication of CN105718888B publication Critical patent/CN105718888B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种障碍物预警方法和装置，其中，该方法包括分别获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图，据此，得到障碍物的轮廓、标定信息以及在当前采样时刻障碍物到运动装置的第二相对距离图，根据前一采样时刻的第一相对距离图、当前采样时刻障碍物的轮廓和标定信息以及当前采样时刻障碍物到前一采样时刻对应障碍物的运动矢量，计算在前一采样时刻障碍物到运动装置的第二相对距离图；据此，计算在当前采样时刻障碍物与运动装置的相对速度；进而，预判在当前采样时刻障碍物到运动装置的碰撞时间。通过本发明实施例解决了如何快速准确地对障碍物做出预判的技术问题。

Description

障碍物预警方法和障碍物预警装置
技术领域
本发明实施例涉及模式识别与机器学习及视频图像处理技术领域，尤其是涉及一种障碍物预警方法和障碍物预警装置。
背景技术
目前所用的障碍物与汽车、机器人和无人机等运动装置相对距离的算法，除了雷达测距和双目视觉测距外，利用单目视觉的测距方案存在精度低和障碍物漏报、误报的缺点。
获得障碍物与运动装置的相对速度，需要对两次测量的障碍物深度做跟踪匹配，以取得同一个障碍物在两次采样数据中的对应关系。目前所用的障碍物跟踪算法需要对两次采样的障碍物信息进行特征点匹配和障碍物分割，无论是基于深度图还是图像的特征点匹配方案，都存在计算量大和精度低的缺点。因此，目前的运动装置相对速度算法精度偏低，计算速度较慢，无法对障碍物做出准确的预判。
有鉴于此，特提出本发明。
发明内容
本发明实施例的主要目的在于提供一种障碍物预警方法，其至少部分地解决了如何快速准确地对障碍物做出预判的技术问题。此外，还提供一种障碍物预警装置。
为了实现上述目的，根据本发明的一个方面，提供了以下技术方案：
一种障碍物预警方法，应用于运动装置障碍物规避和路径规划系统，该方法至少包括：
分别获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图；
根据所述当前采样时刻的所述第一相对距离图，对障碍物进行分割和标定，得到所述障碍物的轮廓、标定信息，并将所述轮廓内的第一距离值进行加权平均，得到在所述当前采样时刻所述障碍物到所述运动装置的第二相对距离图；
根据所述当前采样时刻和所述前一采样时刻的所述场景图像对利用运动估计算法，计算所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量；
根据所述障碍物的所述轮廓和所述标定信息以及所述障碍物从所述当前采样时刻到所述前一采样时刻的所述运动矢量，匹配前一采样时刻对应的被标定障碍物，根据前一采样时刻所述障碍物轮廓和前一采样时刻第一相对距离图，计算在前一采样时刻所述障碍物到所述运动装置的第二相对距离图；
根据所述障碍物在所述当前采样时刻和所述前一采样时刻的所述第二相对距离图，计算所述障碍物在所述当前采样时刻和所述前一采样时刻的第二相对距离变化值，并根据该第二相对距离变化值以及所述当前采样时刻和所述前一采样时刻之间的时间间隔，计算在所述当前采样时刻所述障碍物与所述运动装置的相对速度；
根据所述障碍物在所述当前采样时刻的第二相对距离图和所述轮廓以及与所述运动装置的相对速度，预判在所述当前采样时刻所述障碍物到所述运动装置的碰撞时间。
根据本发明的另一个方面，还提供了一种障碍物预警装置，应用于运动装置障碍物规避和路径规划系统，所述装置至少包括：
第一获取模块，被配置为分别获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图；
处理模块，被配置为根据所述当前采样时刻的所述第一相对距离图，对障碍物进行分割和标定，得到所述障碍物的轮廓、标定信息，并将所述轮廓内的第一距离值进行加权平均，得到在所述当前采样时刻所述障碍物到所述运动装置的第二相对距离图；
第一计算模块，被配置为根据所述当前采样时刻和所述前一采样时刻的场景图像对，利用运动估计算法，计算所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量；
第二计算模块，被配置为根据所述障碍物的所述轮廓和所述标定信息以及所述障碍物从所述当前采样时刻到所述前一采样时刻的所述运动矢量，匹配前一采样时刻对应的被标定障碍物，根据前一采样时刻所述障碍物轮廓和前一采样时刻第一相对距离图，计算在前一采样时刻所述障碍物到所述运动装置的第二相对距离图；
第三计算模块，被配置为根据所述障碍物在所述当前采样时刻和所述前一采样时刻的所述第二相对距离图，计算所述障碍物在所述当前采样时刻和所述前一采样时刻的第二相对距离变化值，并根据该第二相对距离变化值以及所述当前采样时刻和所述前一采样时刻之间的时间间隔，计算在所述当前采样时刻所述障碍物与所述运动装置的相对速度；
第一预判模块，被配置为根据所述障碍物在所述当前采样时刻的第二相对距离图以及与所述运动装置的相对速度，预判在所述当前采样时刻所述障碍物到所述运动装置的碰撞时间；
第二预判模块，被配置为根据障碍物在当前采样时刻的第二相对距离图和轮廓、与运动装置的相对速度以及障碍物从当前采样时刻到前一采样时刻的运动矢量，预判在下一采样时刻障碍物的位置及该障碍物与运动装置的相对距离。
与现有技术相比，上述技术方案至少具有以下有益效果：
本发明实施例通过分别获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图，然后根据当前采样时刻的第一相对距离图，对障碍物进行分割和标定，得到障碍物的轮廓、标定信息并将所述轮廓内的第一距离值进行加权平均，得到在当前采样时刻障碍物到运动装置的第二相对距离图，再根据当前采样时刻和前一采样时刻的场景图像，利用运动估计算法，计算障碍物从当前采样时刻到前一采样时刻的运动矢量；并根据障碍物的轮廓和标定信息以及障碍物从当前采样时刻到前一采样时刻的运动矢量，匹配前一采样时刻对应的被标定障碍物，根据前一采样时刻所述障碍物轮廓和前一采样时刻第一相对距离图，获得在前一采样时刻对应的障碍物到运动装置的第二相对距离；又根据障碍物在当前采样时刻和前一采样时刻的第二相对距离，计算障碍物在当前采样时刻和前一采样时刻的第二相对距离变化值，并根据该第二相对距离变化值以及当前采样时刻和前一采样时刻之间的时间间隔，计算在当前采样时刻障碍物与运动装置的相对速度；最后根据障碍物在当前采样时刻的第二相对距离图以及与运动装置的相对速度，预判在当前采样时刻障碍物到运动装置的碰撞时间。由此，解决了如何快速准确地对障碍物做出预判的技术问题。
当然，实施本发明的任一产品不一定需要同时实现以上所述的所有优点。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明书、权利要求书以及附图中所特别指出的方法来实现和获得。
需要说明的是，发明内容部分并非旨在标识出请求保护的主题的必要技术特征，也并非是用来确定请求保护的主题的保护范围。所要求保护的主题不限于解决在背景技术中提及的任何或所有缺点。
附图说明
附图作为本发明的一部分，用来提供对本发明的进一步的理解，本发明的示意性实施例及其说明用于解释本发明，但不构成对本发明的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：
图1为根据一示例性实施例示出的障碍物预警方法的流程示意图；
图2为根据另一示例性实施例示出的障碍物预警方法的流程示意图；
图3为根据一示例性实施例示出的障碍物预警装置的结构示意图；
图4为根据另一示例性实施例示出的障碍物预警装置的结构示意图。
这些附图和文字描述并不旨在以任何方式限制本发明的构思范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。
需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本发明的实现可以没有这些具体细节。
需要说明的是，在没有明确限定或不冲突的情况下，本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。
如图1所示，本发明实施例提供一种障碍物预警方法，应用于运动装置障碍物规避和路径规划系统。该方法可以包括步骤S100至步骤S150。
步骤S100：分别获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图。
在本步骤中，获取各视点到运动装置的相对距离图也就是获取深度信息图。获取的方法包括但不限于双目视觉测距方法和雷达测距方法。在实际应用中，可以通过其他视觉的测距原理或传感器来获取当前采样时刻和前一个采样时刻进入视场范围内的各个视点到运动装置的相对距离。获取到各视点到运动装置的第一相对距离图之后，就可以计算出各视点到运动装置的第一相对距离。其中，视场范围可以是传感器监测的范围。运动装置包括但不限于机器人、汽车和无人机。
本步骤还可以包括：根据双目测距原理，由双目摄像机成像，并结合同一物体在双目摄像机的两幅同时刻所成的场景图像里的视觉差异以及双目摄像机的结构参数，获取当前采样时刻和前一采样时刻的视场范围内各视点到运动装置的第一相对距离图。
本步骤还可以采用以下方式来实现：
根据单目测距原理，对当前采样时刻的图像和前一采样时刻的图像进行几何变换分析，得到当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图。
本步骤还可以采用以下方式来实现：
根据雷达测距原理，对雷达视场内的范围进行扫描，获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图。
本领域技术人员应能理解，上述获取当前采样时刻和前一采样时刻的视场范围内各视点到运动装置的第一相对距离图的方式仅仅为举例，其他任意现有的或今后可能出现的获取当前采样时刻和前一采样时刻的视场范围内各视点到运动装置的第一相对距离图的方式也应在本发明的保护范围之内，并在此以引用的方式结合于此。
步骤S110：根据当前采样时刻的第一相对距离图，对障碍物进行分割和标定，得到障碍物的轮廓、标定信息以及将轮廓内的第一距离加权平均得到在当前采样时刻障碍物到运动装置的第二相对距离图。
由于同一个障碍物在同一个采样时刻到运动装置的相对距离是一个相对固定的值。所以，根据第一相对距离图，滤除路面和虚假障碍物信息，就可以得到各障碍物的分割轮廓和标定信息，并得到各个障碍物到运动装置的第二相对距离图。根据第二相对距离图就可以计算出各个障碍物到运动装置的相对距离。
其中，根据当前采样时刻各视点到运动装置的第一相对距离图，对障碍物进行分割和标定，得到障碍物的轮廓、标定信息具体可以包括：对当前采样时刻的第一相对距离图进行过滤，去除路面和虚假障碍物；通过当前采样时刻的第一相对距离图获得当前采样时刻的障碍物的第二相对距离，并将第二相对距离值相似的视点融合成联通的轮廓；对联通的障碍物轮廓进行标记，并对轮廓内的第一相对距离值加权平均获得对障碍物第二相对距离值的综合标定。进而得到当前采样时刻障碍物到运动装置的第二相对距离图。
另外，还可以根据单目测距原理，对相机的成像做基于模板的训练，进行特征点标定或机器学习的目标识别，直接提取出识别目标的轮廓，将轮廓与所存储模板的尺寸进行标定，从而直接获取当前采样时刻障碍物到运动装置的第二相对距离图。
步骤S120：根据当前采样时刻和前一采样时刻的场景图像对，利用运动估计算法，计算障碍物从当前采样时刻到前一采样时刻的运动矢量。
在本步骤中，通过对前后两个采样时刻的相机成像数据做运动估计运算，就可以得到当前采样时刻各个视点或某些视点在前一个采样时刻的对应点，或对应位置，也即得到视点的运动矢量。
通过本步骤，可以计算当前采样时刻的第二相对距离图上的障碍物到前一采样时刻的第二相对距离图的对应障碍物的运动矢量，也就是获得了障碍物在两个采样时刻的相对距离(深度信息)的对应关系。
其中，运动估计算法优选为块匹配等快速运动估计算法。
本步骤具体还可以包括：将当前采样时刻的场景图像和前一采样时刻的场景图像划分成N个子块；其中，N取正整数；利用快速块匹配算法或频域方计算法，计算当前采样时刻的场景图像和前一采样时刻的场景图像中各子块的对应关系，得到各子块的运动矢量场；或者，利用光流法或频域计算法，计算当前采样时刻和前一采样时刻的场景图像中各关键点的对应关系，得到各关键点的运动矢量场。对运动矢量场进行分配或插值，计算得到各视点从当前采样时刻到前一采样时刻的运动矢量。
其中，在计算运动矢量场时本发明实施例还可以采用其他空间域方法。
本领域技术人员应能理解，上述计算得到各视点从当前采样时刻到前一采样时刻的运动矢量的方式仅仅为举例，其他任意现有的或今后可能出现的得到各视点从当前采样时刻到前一采样时刻的运动矢量的方式也应在本发明的保护范围之内，并在此以引用的方式结合于此。
步骤S130：根据障碍物的轮廓和标定信息以及障碍物从当前采样时刻到前一采样时刻的运动矢量，匹配前一采样时刻对应的被标定障碍物，根据前一采样时刻所述障碍物轮廓和前一采样时刻第一相对距离图，计算在前一采样时刻对应障碍物到运动装置的第二相对距离图。
其中，通过障碍物的轮廓和标定信息以及障碍物从当前采样时刻到前一采样时刻的所述运动矢量，就可以得到障碍物在当前采样时刻与前一采样时刻的对应关系，根据该对应关系就可以获得该障碍物在前一采样时刻到运动装置的第二相对距离图。
另外，还可以根据所述单目测距原理，对相机的成像做基于模板的训练，进行特征点标定或机器学习的目标识别，直接提取出所述识别目标的轮廓，将所述轮廓与所存储模板的尺寸进行标定，从而直接获取所述当前采样时刻所述障碍物到运动装置的第二相对距离图。根据该第二相对距离图就可以得到障碍物在前一采样时刻到运动装置的第二相对距离。
步骤S140：根据障碍物在当前采样时刻和前一采样时刻的第二相对距离图，计算障碍物在当前采样时刻和前一采样时刻的第二相对距离变化值，并根据该第二相对距离变化值以及当前采样时刻和前一采样时刻之间的时间间隔，计算在当前采样时刻障碍物与运动装置的相对速度。
其中，本步骤就是将同一障碍物的两个采样时刻所对应的深度信息的差别除以采样时间间隔，来计算该障碍物与运动机械的相对速度。
具体地，根据障碍物在当前采样时刻到运动装置的第二相对距离和该障碍物在前一采样时刻到运动装置的第二相对距离，可计算出从当前采样时刻到前一采样时刻的第二相对距离变化值，再用第二相对距离变化值除以当前采样时刻和前一采样时刻之间的时间间隔，就可以计算出障碍物与运动装置的相对速度。
步骤S150：根据障碍物在当前采样时刻的第二相对距离图和轮廓以及与运动装置的相对速度，预判在当前采样时刻障碍物到运动装置的碰撞时间。
本步骤具体可以包括：根据障碍物在当前采样时刻的第二相对距离图和轮廓，对轮廓内的第二距离值进行加权平均，得到障碍物在当前采样时刻的第二相对距离；用障碍物在当前采样时刻的第二相对距离除以在当前采样时刻障碍物与运动装置的相对速度，得到在当前采样时刻障碍物到运动装置的碰撞时间。
在一个可选的实施例中，如图2所示，上述方法还包括步骤S160。
步骤S160：根据障碍物在当前采样时刻的第二相对距离图和轮廓、与运动装置的相对速度以及各视点从当前采样时刻到前一采样时刻的运动矢量，预判在下一采样时刻障碍物的位置及该障碍物与运动装置的相对距离。
其中，预判所述障碍物在下一采样时刻的位置及该障碍物与运动装置的相对距离具体包括：对障碍物从当前采样时刻到前一采样时刻的运动矢量进行加权平均，得到障碍物在当前采样时刻的运动矢量；根据障碍物在当前采样时刻的运动矢量，预判障碍物在所述下一采样时刻的位置；根据障碍物在当前采样时刻的第二相对距离图、与运动装置的相对速度以及当前采样时间与下一采样时间之间的时间间隔，预判在下一采样时刻障碍物与运动装置的第二相对距离。其中，对障碍物从当前采样时刻到前一采样时刻的运动矢量进行加权平均可以是对障碍物轮廓内各视点从当前采样时刻到前一采样时刻的运动矢量进行加权平均。
本实施例中将各个步骤按照上述先后次序的方式进行了描述，本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时执行或执行次序颠倒，这些简单的变化都在本发明的保护范围之内。
基于与方法实施例相同的技术构思，还提供一种障碍物预警装置，应用于运动装置障碍物规避和路径规划系统，如图3所示，该装置30至少包括：第一获取模块31、处理模块32、第一计算模块33、第二计算模块34、第三计算模块35和第一预判模块36。其中，获取模块31被配置为分别获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图。处理模块32被配置为根据当前采样时刻的第一相对距离图，对障碍物进行分割和标定，得到障碍物的轮廓、标定信息，并将所述轮廓内的第一距离值进行加权平均，得到在当前采样时刻所述障碍物到运动装置的第二相对距离图。第一计算模块33被配置为根据当前采样时刻和前一采样时刻的场景图像，利用运动估计算法，计算障碍物从当前采样时刻到前一采样时刻的运动矢量。第二计算模块34被配置为根据障碍物的轮廓和标定信息以及障碍物从当前采样时刻到前一采样时刻的运动矢量，匹配前一采样时刻对应的被标定障碍物，根据前一采样时刻所述障碍物轮廓和前一采样时刻第一相对距离图，计算在前一采样时刻对应障碍物到运动装置的第二相对距离图。第三计算模块35被配置为根据障碍物在当前采样时刻和前一采样时刻的第二相对距离图，计算障碍物在当前采样时刻和前一采样时刻的第二相对距离变化值，并根据该第二相对距离变化值以及当前采样时刻和前一采样时刻之间的时间间隔，计算在当前采样时刻障碍物与运动装置的相对速度。第一预判模块36被配置为根据障碍物在当前采样时刻的第二相对距离图以及与运动装置的相对速度，预判在当前采样时刻障碍物到运动装置的碰撞时间。
优选地，第一获取模块具体可以包括第一获取子模块或者第二获取子模块或者第三获取子模块。其中，第一获取子模块被配置为根据双目测距原理，由双目摄像机成像，并结合同一物体在所述双目摄像机的两幅同时刻所成的场景图像里的场景图像，以及视觉差异以及双目摄像机的结构参数，获取当前采样时刻和前一采样时刻的视场范围内各视点到运动装置的第一相对距离图。或者，第二获取子模块被配置为根据单目测距原理，对当前采样时刻的图像和前一采样时刻的图像进行几何变换分析，获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图。或者，第三获取子模块被配置为根据雷达测距原理，对雷达视场内的范围进行扫描，获得当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图。
在上述实施例的基础上，第二计算模块还可以包括：第二获取模块。其中，第二获取模块被配置为根据单目测距原理，对相机的成像做基于模板的训练，进行特征点标定或机器学习的目标识别，直接提取出识别目标的轮廓，将轮廓与所存储模板的尺寸进行标定，从而直接获取当前采样时刻障碍物到运动装置的第二相对距离图。
在上述实施例的基础上，处理模块还可以包括：过滤模块、融合模块和处理子模块。其中，过滤模块被配置为对当前采样时刻的第一相对距离图进行过滤，去除路面和虚假障碍物。融合模块被配置为通过当前采样时刻的第一相对距离图获得当前采样时刻的第二相对距离，并将第二相对距离值相似的视点融合成联通的轮廓，即障碍物的轮廓。处理子模块被配置为对联通的轮廓进行障碍物标记和第二相对距离值的标定。
在上述实施例的基础上，第一计算模块还可以包括：划分模块、第一计算子模块或第二计算子模块、第三计算子模块。其中，划分模块被配置为将当前采样时刻的场景图像和前一采样时刻的场景图像划分成N个子块；其中，N取正整数。第一计算子模块被配置为利用快速块匹配算法或频域法，计算当前采样时刻的场景图像和前一采样时刻的场景图像中各子块的对应关系，得到各子块的运动矢量场；或者，第二计算子模块被配置为利用光流法或频域计算法，计算当前采样时刻和前一采样时刻的场景图像中各关键点的对应关系，得到各关键点的运动矢量场。第三计算子模块被配置为对运动矢量场进行分配或插值，计算得到障碍物从当前采样时刻到前一采样时刻的运动矢量。
在上述实施例中，第三计算模块还可以包括第三计算子模块。其中，第四计算子模块被配置为用同一障碍物第二相对距离变化值除以当前采样时刻和前一采样时刻之间的时间间隔，得到在当前采样时刻障碍物与运动装置的相对速度。
在上述实施例中，第一预判模块还可以包括第三获取子模块和第四计算子模块。其中，第三获取子模块被配置为根据障碍物在当前采样时刻的第二相对距离图和轮廓，对轮廓内的第一距离值进行加权平均，获取障碍物在当前采样时刻的第二相对距离；第四计算子模块被配置为用障碍物在当前采样时刻的第二相对距离除以在当前采样时刻障碍物与运动装置的相对速度，得到在当前采样时刻障碍物到运动装置的碰撞时间。
在上述实施例的基础上，如图4所示，所述装置还可以包括第二预判模块37。其中，第二预判模块37被配置为根据障碍物在当前采样时刻的第二相对距离图和轮廓、与运动装置的相对速度以及障碍物从当前采样时刻到前一采样时刻的运动矢量，预判在下一采样时刻障碍物的位置及该障碍物与运动装置的相对距离。
优选地，第二预判模块具体可以包括：加权平均模块、第一预判子模块和第二预判子模块。其中，加权平均模块被配置为对障碍物从当前采样时刻到前一采样时刻的运动矢量进行加权平均，得到障碍物在当前采样时刻的运动矢量。第一预判子模块被配置为根据障碍物在当前采样时刻的运动矢量，预判障碍物在下一采样时刻的位置。第二预判子模块被配置为根据障碍物在当前采样时刻的第二相对距离图、与运动装置的相对速度以及当前采样时间与下一采样时间之间的时间间隔，预判在下一采样时刻障碍物与运动装置的第二相对距离。
需要说明的是：上述实施例提供的障碍物预警装置在进行障碍物预警时，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
上述装置实施例可以用于执行上述方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
应指出的是，上面分别对本发明的装置实施例和方法实施例进行了描述，但是对一个实施例描述的细节也可应用于另一个实施例。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。本领域技术人员应该理解：本发明实施例中的模块或者步骤还可以再分解或者组合。例如上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本发明实施例的原理；同时，对于本领域技术人员来说，依据本发明实施例，在具体实施方式以及应用范围之内均会做出改变。
需要说明的是，本文中涉及到的流程图或框图不仅仅局限于本文所示的形式，其还可以进行划分和/或组合。
需要说明的是：附图中的标记和文字只是为了更清楚地说明本发明，不视为对本发明保护范围的不当限定。
术语“包括”、“包含”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备/装置中还存在另外的要素，即“包括一个”的意思还涵盖“包括另一个”的意思。
本发明的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明不限于任何特定的硬件和软件或者其结合。
本发明提供的方法可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本发明的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。
本发明并不限于上述实施方式，在不背离本发明实质内容的情况下，本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的范围。

Claims (14)

1.一种障碍物预警方法，应用于运动装置障碍物规避和路径规划系统，其特征在于，所述方法至少包括：
通过双目摄像机分别获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图；
根据所述当前采样时刻的所述第一相对距离图，对障碍物进行分割和标定，得到所述障碍物的轮廓、标定信息，并将所述轮廓内的第一距离值进行加权平均，得到在所述当前采样时刻所述障碍物到所述运动装置的第二相对距离图；
根据所述当前采样时刻和所述前一采样时刻的场景图像对利用运动估计算法，计算所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量；
根据所述障碍物的所述轮廓和所述标定信息以及所述障碍物从所述当前采样时刻到所述前一采样时刻的所述运动矢量，匹配前一采样时刻对应的被标定障碍物，根据所述前一采样时刻所述障碍物轮廓和前一采样时刻第一相对距离图，计算在所述前一采样时刻所述障碍物到所述运动装置的第二相对距离图；
根据所述障碍物在所述当前采样时刻和所述前一采样时刻的所述第二相对距离图，计算所述障碍物在所述当前采样时刻和所述前一采样时刻的第二相对距离变化值，并根据该第二相对距离变化值以及所述当前采样时刻和所述前一采样时刻之间的时间间隔，计算在所述当前采样时刻所述障碍物与所述运动装置的相对速度；
根据所述障碍物在所述当前采样时刻的第二相对距离图和所述轮廓以及与所述运动装置的相对速度，预判在所述当前采样时刻所述障碍物到所述运动装置的碰撞时间；
所述根据所述当前采样时刻的所述第一相对距离图，对障碍物进行分割和标定，得到所述障碍物的轮廓、标定信息，并将所述轮廓内的第一距离值进行加权平均，得到所述当前采样时刻所述障碍物到所述运动装置的第二相对距离图，具体包括：
对所述当前采样时刻的所述第一相对距离图进行过滤，去除路面和虚假障碍物；
通过所述当前采样时刻的所述第一相对距离图获得所述当前采样时刻的所述障碍物的第二相对距离，并将所述第二相对距离值相似的视点融合成联通的轮廓；
对所述联通的障碍物轮廓进行标记并对轮廓内的第一相对距离值加权平均获得对所述障碍物第二相对距离值的标定。
2.根据权利要求1所述的方法，其特征在于，所述通过双目摄像机分别获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图，具体包括：
根据双目测距原理，由双目摄像机成像，并结合同一物体在所述双目摄像机的两幅同时刻所成的场景图像里的视觉差异以及所述双目摄像机的结构参数，获取所述当前采样时刻和所述前一采样时刻的场景图像，以及所述视场范围内各视点到运动装置的第一相对距离图。
3.根据权利要求1所述的方法，其特征在于，所述计算所述各障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量，具体包括：
将所述当前采样时刻的场景图像和所述前一采样时刻的场景图像划分成N个子块；其中，所述N取正整数；
利用快速块匹配算法或频域计算法，计算所述当前采样时刻的场景图像和所述前一采样时刻的场景图像中各个所述子块的对应关系，得到各个所述子块的运动矢量场；或者，
利用光流法或所述频域计算法，计算所述当前采样时刻和所述前一采样时刻的场景图像对中各关键点的对应关系，得到所述各关键点的运动矢量场；
对所述运动矢量场进行分配或插值，计算得到所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量。
4.根据权利要求1所述的方法，其特征在于，所述根据该障碍物第二相对距离变化值以及所述当前采样时刻和所述前一采样时刻之间的时间间隔，计算在所述当前采样时刻所述障碍物与所述运动装置的相对速度，具体包括：
用所述第二相对距离变化值除以所述当前采样时刻和所述前一采样时刻之间的时间间隔，得到在所述当前采样时刻所述障碍物与所述运动装置的相对速度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述障碍物在所述当前采样时刻的第二相对距离图以及与所述运动装置的相对速度，预判在所述当前采样时刻所述障碍物到所述运动装置的碰撞时间，具体包括：
根据所述障碍物在所述当前采样时刻的第二相对距离图和所述轮廓，对所述轮廓内的第二距离值进行加权平均，得到所述障碍物在所述当前采样时刻的第二相对距离；
用所述障碍物在所述当前采样时刻的第二相对距离除以在所述当前采样时刻所述障碍物与所述运动装置的相对速度，得到在所述当前采样时刻所述障碍物到所述运动装置的碰撞时间。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述障碍物在所述当前采样时刻的第二相对距离图和所述轮廓、与所述运动装置的所述相对速度以及所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量，预判在下一采样时刻所述障碍物的位置及该障碍物与运动装置的相对距离。
7.根据权利要求6所述的方法，其特征在于，所述预判在下一采样时刻所述障碍物的位置及该障碍物与运动装置的相对距离具体包括：
对所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量进行加权平均，得到所述障碍物在所述当前采样时刻的运动矢量；
根据所述障碍物在所述当前采样时刻的运动矢量，预判所述障碍物在所述下一采样时刻的位置；
根据所述障碍物在所述当前采样时刻的第二相对距离图、与所述运动装置的所述相对速度以及所述当前采样时间与所述前一采样时间之间的时间间隔，预判在所述下一采样时刻所述障碍物与所述运动装置的第二相对距离。
8.一种障碍物预警装置，应用于运动装置障碍物规避和路径规划系统，其特征在于，所述装置至少包括：
第一获取模块，被配置为通过双目摄像机分别获取当前采样时刻和前一采样时刻的场景图像，以及视场范围内各视点到运动装置的第一相对距离图；
处理模块，被配置为根据所述当前采样时刻的所述第一相对距离图，对障碍物进行分割和标定，得到所述障碍物的轮廓、标定信息，并将所述轮廓内的第一距离值进行加权平均，得到在所述当前采样时刻所述障碍物到所述运动装置的第二相对距离图；
第一计算模块，被配置为根据所述当前采样时刻和所述前一采样时刻的场景图像对，利用运动估计算法，计算所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量；
第二计算模块，被配置为根据所述障碍物的所述轮廓和所述标定信息以及所述障碍物从所述当前采样时刻到所述前一采样时刻的所述运动矢量，匹配前一采样时刻对应的被标定障碍物，根据所述前一采样时刻所述障碍物轮廓和前一采样时刻第一相对距离图，计算在所述前一采样时刻所述障碍物到所述运动装置的第二相对距离图；
第三计算模块，被配置为根据所述障碍物在所述当前采样时刻和所述前一采样时刻的所述第二相对距离图，计算所述障碍物在所述当前采样时刻和所述前一采样时刻的第二相对距离变化值，并根据该第二相对距离变化值以及所述当前采样时刻和所述前一采样时刻之间的时间间隔，计算在所述当前采样时刻所述障碍物与所述运动装置的相对速度；
第一预判模块，被配置为根据所述障碍物在所述当前采样时刻的第二相对距离图以及与所述运动装置的相对速度，预判在所述当前采样时刻所述障碍物到所述运动装置的碰撞时间；
所述处理模块具体包括：
过滤模块，被配置为对所述当前采样时刻的所述第一相对距离图进行过滤，去除路面和虚假障碍物；
融合模块，被配置为通过所述当前采样时刻的所述第一相对距离图获得所述当前采样时刻的第二相对距离，并将所述第二相对距离值相似的视点融合成联通的轮廓；
处理子模块，被配置为对所述联通的障碍物轮廓进行标记和所述障碍物第二相对距离值的标定。
9.根据权利要求8所述的装置，其特征在于，所述第一获取模块具体包括：
第一获取子模块，被配置为根据双目测距原理，由双目摄像机成像，并结合同一物体在所述双目摄像机的两幅同时刻所成的场景图像里的视觉差异以及所述双目摄像机的结构参数，获取所述当前采样时刻和所述前一采样时刻的场景图像，以及所述视场范围内各视点到运动装置的第一相对距离图。
10.根据权利要求8所述的装置，其特征在于，所述第一计算模块具体包括：
划分模块，被配置为将所述当前采样时刻的场景图像和所述前一采样时刻的场景图像划分成N个子块；其中，所述N取正整数；
第一计算子模块，被配置为利用快速块匹配算法或频域计算法，计算所述当前采样时刻的场景图像和所述前一采样时刻的场景图像中各个所述子块的对应关系，得到各个所述子块的运动矢量场；或者，
第一计算子模块被配置为利用光流法或所述频域计算法，计算所述当前采样时刻和所述前一采样时刻的所述第一相对距离图中各关键点的对应关系，得到所述各关键点的运动矢量场；
第二计算子模块，被配置为对所述运动矢量场进行分配或插值，计算得到所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量。
11.根据权利要求8所述的装置，其特征在于，所述第三计算模块具体包括：
第三计算子模块，被配置为用所述第二相对距离变化值除以所述当前采样时刻和所述前一采样时刻之间的时间间隔，得到在所述当前采样时刻所述障碍物与所述运动装置的相对速度。
12.根据权利要求8所述的装置，其特征在于，所述第一预判模块具体包括：
第三获取模块，被配置为根据所述障碍物在所述当前采样时刻的第一相对距离图和所述轮廓，对所述轮廓内的第一距离值进行加权平均，获取所述障碍物在所述当前采样时刻的第二相对距离；
第四计算模块，被配置为用所述障碍物在所述当前采样时刻的第二相对距离除以在所述当前采样时刻所述障碍物与所述运动装置的相对速度，得到在所述当前采样时刻所述障碍物到所述运动装置的碰撞时间。
13.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二预判模块，被配置为根据所述障碍物在所述当前采样时刻的第二相对距离图和所述轮廓、与所述运动装置的所述相对速度以及所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量，预判在下一采样时刻所述障碍物的位置及该障碍物与运动装置的相对距离。
14.根据权利要求13所述的装置，其特征在于，所述第二预判模块具体包括：
加权平均模块，被配置为对所述障碍物从所述当前采样时刻到所述前一采样时刻的运动矢量进行加权平均，得到所述障碍物在所述当前采样时刻的运动矢量；
第一预判子模块，被配置为根据所述障碍物在所述当前采样时刻的运动矢量，预判所述障碍物在所述下一采样时刻的位置；
第二预判子模块，被配置为根据所述障碍物在所述当前采样时刻的第二相对距离图、与所述运动装置的所述相对速度以及所述当前采样时间与所述下一采样时间之间的时间间隔，预判在所述下一采样时刻所述障碍物与所述运动装置的第二相对距离。
CN201610044507.6A 2016-01-22 2016-01-22 障碍物预警方法和障碍物预警装置 Active CN105718888B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610044507.6A CN105718888B (zh) 2016-01-22 2016-01-22 障碍物预警方法和障碍物预警装置
US15/465,343 US10061993B2 (en) 2016-01-22 2017-03-21 Warning method of obstacles and device of obstacles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610044507.6A CN105718888B (zh) 2016-01-22 2016-01-22 障碍物预警方法和障碍物预警装置

Publications (2)

Publication Number Publication Date
CN105718888A CN105718888A (zh) 2016-06-29
CN105718888B true CN105718888B (zh) 2019-09-13

Family

ID=56153781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610044507.6A Active CN105718888B (zh) 2016-01-22 2016-01-22 障碍物预警方法和障碍物预警装置

Country Status (2)

Country Link
US (1) US10061993B2 (zh)
CN (1) CN105718888B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106952310A (zh) * 2016-01-29 2017-07-14 法拉第未来公司 用于确定能见度状态的系统及方法
CN106291535B (zh) * 2016-07-21 2018-12-28 触景无限科技（北京）有限公司 一种障碍物检测装置、机器人及避障系统
CN106249239B (zh) * 2016-08-23 2019-01-01 深圳市速腾聚创科技有限公司 目标检测方法及装置
US10891499B2 (en) 2016-08-23 2021-01-12 Suteng Innovation Technology Co., Ltd. Target detection method and system
CN106326866B (zh) * 2016-08-25 2020-01-17 北京奇虎科技有限公司 车辆碰撞的预警方法及装置
CN106372608A (zh) * 2016-09-06 2017-02-01 乐视控股（北京）有限公司 物体状态变化的检测方法、装置及终端
CN106570487A (zh) * 2016-11-10 2017-04-19 维森软件技术（上海）有限公司 物体间的碰撞预测方法和装置
US11129906B1 (en) 2016-12-07 2021-09-28 David Gordon Bermudes Chimeric protein toxins for expression by therapeutic bacteria
CN107980138B (zh) 2016-12-28 2021-08-17 达闼机器人有限公司 一种虚警障碍物检测方法及装置
CN109238281B (zh) * 2017-07-10 2020-09-29 南京原觉信息科技有限公司 基于图像螺旋线的视觉导航及避障方法
WO2019150552A1 (ja) * 2018-02-02 2019-08-08 三菱電機株式会社 落下物検知装置、車載システム、車両および落下物検知プログラム
CN108242183B (zh) * 2018-02-06 2019-12-10 淮阴工学院 基于运动目标标记框宽度特性的交通冲突检测方法及装置
CN108881614A (zh) * 2018-04-28 2018-11-23 上海爱优威软件开发有限公司 一种危险预警方法及终端
CN108549880B (zh) * 2018-04-28 2021-06-25 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
EP4250269A3 (en) * 2018-06-13 2023-10-18 Ride Vision Ltd. A rider assistance system and method
CN110809228B (zh) * 2018-07-18 2020-10-20 北京聚利科技有限公司 速度测量方法、装置、设备和计算机可读存储介质
CN109300143B (zh) * 2018-09-07 2021-07-27 百度在线网络技术（北京）有限公司 运动向量场的确定方法、装置、设备、存储介质和车辆
JP7111586B2 (ja) * 2018-11-09 2022-08-02 株式会社Soken 物体検出装置
CN109871013B (zh) * 2019-01-31 2022-12-09 莱克电气股份有限公司 清洁机器人路径规划方法及系统、存储介质、电子设备
CN110412554B (zh) * 2019-06-26 2021-10-29 北京三一智造科技有限公司 障碍物监测系统及方法
CN112179358B (zh) * 2019-07-05 2022-12-20 东元电机股份有限公司 地图数据比对辅助定位系统及其方法
CN110378915A (zh) * 2019-07-24 2019-10-25 西南石油大学 一种基于双目视觉的爬壁机器人障碍物检测方法
WO2021026705A1 (zh) * 2019-08-09 2021-02-18 华为技术有限公司 匹配关系确定方法、重投影误差计算方法及相关装置
CN112445209A (zh) * 2019-08-15 2021-03-05 纳恩博（北京）科技有限公司 机器人的控制方法和机器人、存储介质及电子装置
CN110502018B (zh) * 2019-09-06 2022-04-12 百度在线网络技术（北京）有限公司 确定车辆安全区域的方法、装置、电子设备及存储介质
CN111168681B (zh) * 2020-01-10 2021-09-21 山东大学 面向人机安全交互的机械臂智能避障方法、系统及机器人
CN111368883B (zh) * 2020-02-21 2024-01-19 浙江大华技术股份有限公司 基于单目摄像头的避障方法、计算装置及存储装置
CN111376862B (zh) * 2020-03-27 2021-05-28 海南耐威科技系统技术研究院有限公司 一种车门防撞预警系统及预警方法
CN111860270B (zh) * 2020-07-13 2023-05-12 辽宁石油化工大学 一种基于鱼眼相机的障碍物检测方法及装置
CN111879314B (zh) * 2020-08-10 2022-08-02 中国铁建重工集团股份有限公司 一种多传感器融合的巷道掘进装备实时定位系统和方法
CN115376361A (zh) * 2021-05-17 2022-11-22 上海博泰悦臻网络技术服务有限公司 车辆追尾预警方法、装置、存储介质及电子设备
CN113500983B (zh) * 2021-07-02 2022-06-21 北京中科慧眼科技有限公司 一种商用车自动制动方法、装置及系统
CN113589323A (zh) * 2021-07-07 2021-11-02 浙江理工大学 基于高度矢量场的道路障碍物识别方法
CN113777616A (zh) * 2021-07-27 2021-12-10 武汉市异方体科技有限公司 一种运动车辆测距方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5272448B2 (ja) * 2008-03-04 2013-08-28 日産自動車株式会社 車両用運転支援装置及び車両用運転支援方法
US8854458B2 (en) * 2009-04-15 2014-10-07 Toyota Jidosha Kabushiki Kaisha Object detection device
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
CN102508246B (zh) * 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法

Also Published As

Publication number Publication date
CN105718888A (zh) 2016-06-29
US20170337434A1 (en) 2017-11-23
US10061993B2 (en) 2018-08-28

Similar Documents

Publication Publication Date Title
CN105718888B (zh) 障碍物预警方法和障碍物预警装置
US10762643B2 (en) Method for evaluating image data of a vehicle camera
Klappstein et al. Moving object segmentation using optical flow and depth information
CN106327466B (zh) 道路分割物的检测方法和装置
CN108090921A (zh) 单目视觉和imu融合的自适应室内定位方法
Dendorfer et al. Quo vadis: Is trajectory forecasting the key towards long-term multi-object tracking?
Pi et al. Stereo visual SLAM system in underwater environment
CN105335934B (zh) 视差图计算方法和装置
Wang et al. Monocular visual SLAM algorithm for autonomous vessel sailing in harbor area
CN110345924A (zh) 一种距离获取的方法和装置
Civera et al. Interacting multiple model monocular SLAM
Real-Moreno et al. Obtaining object information from stereo vision system for autonomous vehicles
CN104166995A (zh) 一种基于马步测度的Harris-SIFT双目视觉定位方法
CN110070577A (zh) 基于特征点分布的视觉slam关键帧与特征点选取方法
Mu et al. Visual navigation features selection algorithm based on instance segmentation in dynamic environment
Verma et al. Vision based object follower automated guided vehicle using compressive tracking and stereo-vision
Leonardi et al. Vision based obstacle avoidance and motion tracking for autonomous behaviors in underwater vehicles
CN106447709A (zh) 一种快速高精度双目视差匹配方法
Kalutskiy et al. Method of moving object detection from mobile vision system
Spevakov et al. Detecting objects moving in space from a mobile vision system
Khan et al. Stereo accuracy for collision avoidance for varying collision trajectories
Mohandas et al. Stereo disparity estimation algorithm for blind assisting system
Regoli et al. Advanced techniques for spacecraft motion estimation using PMD sensors
Munteanu et al. Visual odometry with the ricoh theta
Diamantas et al. Active vision speed estimation from optical flow

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant