CN109059780A - 检测障碍物高度的方法、装置、设备及存储介质 - Google Patents

检测障碍物高度的方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN109059780A
CN109059780A CN201811056945.XA CN201811056945A CN109059780A CN 109059780 A CN109059780 A CN 109059780A CN 201811056945 A CN201811056945 A CN 201811056945A CN 109059780 A CN109059780 A CN 109059780A
Authority
CN
China
Prior art keywords
barrier
measured
frame
height
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811056945.XA
Other languages
English (en)
Other versions
CN109059780B (zh
Inventor
高涵
孙迅
夏添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811056945.XA priority Critical patent/CN109059780B/zh
Priority to CN201910727517.3A priority patent/CN110375659B/zh
Publication of CN109059780A publication Critical patent/CN109059780A/zh
Priority to JP2019125582A priority patent/JP6768890B2/ja
Priority to EP19185677.2A priority patent/EP3623994A3/en
Priority to US16/513,095 priority patent/US11047673B2/en
Application granted granted Critical
Publication of CN109059780B publication Critical patent/CN109059780B/zh
Priority to US17/303,300 priority patent/US11519715B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提出检测障碍物高度的方法、装置、设备及可读存储介质，其中一种方法包括：获取多个参考障碍物的观测数据；针对各个参考障碍物分别执行以下步骤：根据待测障碍物在帧中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定所述待测障碍物的实际高度的初步评估值；利用针对各个参考障碍物确定出的初步评估值，确定所述待测障碍物的实际高度的最终评估值。本发明实施例能够利用参考障碍物的观测数据作为参考，对道路几何模型进行建模，实现对待测障碍物的实际高度的评估，从而实现对待测障碍物3D大小的检测。

Description

检测障碍物高度的方法、装置、设备及存储介质
技术领域
本发明涉及无人车技术领域，尤其涉及检测障碍物高度的方法、装置、设备及计算机可读存储介质。
背景技术
障碍物检测，是无人车感知至关重要的一个环节。由于图像中的物体存在近大远小的特点，根据图像中的障碍物大小难以估计障碍物的实际大小，特别是难以估计障碍物的高度。
发明内容
本发明实施例提供一种检测障碍物高度的方法及装置，以至少解决现有技术中的以上技术问题。
第一方面，本发明实施例提供了一种检测障碍物高度的方法，包括：
获取多个参考障碍物的观测数据；
针对各个参考障碍物分别执行以下步骤：根据待测障碍物在帧
中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定所述待测障碍物的实际高度的初步评估值；
利用针对各个参考障碍物确定出的初步评估值，确定所述待测障碍物的实际高度的最终评估值。
结合第一方面，本发明在第一方面的第一实施方式中，针对各个参考障碍物分别执行以下步骤：根据待测障碍物在帧中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定所述待测障碍物的实际高度的初步评估值，可以包括：
采用公式(4)进行确定：
其中，Hp为待测障碍物的实际高度的初步评估值；
hp为待测障碍物在帧中的高度；
hi为第i个参考障碍物在帧中的高度；
Hi为第i个参考障碍物的实际高度；
y max p-Cy为待测障碍物在帧中的底边位置与摄像头光轴之间的距离；
y max i-Cy为第i个参考障碍物在帧中的底边位置与摄像头光轴之间的距离。
结合第一方面，本发明在第一方面的第二实施方式中，利用针对各个参考障碍物确定出的初步评估值，确定所述待测障碍物的实际高度的最终评估值，可以包括：
将确定出的多个初步评估值进行滤波去噪处理，得到待测障碍物的实际高度的最终评估值。
结合第一方面、第一方面的第一实施方式、第一方面的第二实施方式，本发明在第一方面的第三实施方式中，所述获取多个参考障碍物的观测数据之前，可以进一步包括：
在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
第二方面，本发明实施例提出另一种检测障碍物高度的方法，包括：
获取多个参考障碍物的观测数据；
根据多个参考障碍物在帧中的底边位置、以及多个参考障碍物与摄像头之间的距离，拟合函数F：Z＝F(y max)；
其中，y max为参考障碍物或待测障碍物在帧中的底边位置的纵向坐标；
Z为参考障碍物或待测障碍物与摄像头之间的距离；
根据待测障碍物在帧中的底边位置及所述函数F，确定待测障碍物与摄像头之间的距离；
根据所述待测障碍物与摄像头之间的距离，确定所述待测障碍物的实际高度的最终评估值。
结合第二方面，本发明在第二方面的第一实施方式中，所述根据所述待测障碍物与摄像头之间的距离，确定所述待测障碍物的实际高度的最终评估值，包括：
采用公式(5)进行确定：
其中，Hp’为待测障碍物的实际高度的最终评估值；
hp为待测障碍物在帧中的高度；
f为摄像头的焦距；
Zp为待测障碍物与摄像头之间的距离。
结合第二方面、第二方面的第一实施方式，本发明在第二方面的第二实施方式中，所述获取多个参考障碍物的观测数据之前，进一步包括：
在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
第三方面，本发明实施例还提出一种检测障碍物高度的装置，包括：
第一获取模块，用于获取多个参考障碍物的观测数据；
初步评估模块，针对各个参考障碍物分别执行以下操作：根据待测障碍物在帧中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定所述待测障碍物的实际高度的初步评估值；
最终评估模块，用于利用针对各个参考障碍物确定出的初步评估值，确定所述待测障碍物的实际高度的最终评估值。
结合第三方面，本发明在第三方面的第一实施方式中，初步评估模块采用公式(4)确定待测障碍物的实际高度的初步评估值：
其中，Hp为待测障碍物的实际高度的初步评估值；
hp为待测障碍物在帧中的高度；
hi为第i个参考障碍物在帧中的高度；
Hi为第i个参考障碍物的实际高度；
y max p-Cy为待测障碍物在帧中的底边位置与摄像头光轴之间的距离；
y max i-Cy为第i个参考障碍物在帧中的底边位置与摄像头光轴之间的距离。
结合第三方面，本发明在第三方面的第二实施方式中，最终评估模块，用于将确定出的多个初步评估值进行滤波去噪处理，得到待测障碍物的实际高度的最终评估值。
结合第三方面、第三方面的第一实施方式、第三方面的第二实施方式，本发明在第三方面的第三实施方式中，所述第一获取模块还用于，在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
第四方面，本发明实施例还提出另一种检测障碍物高度的装置，包括：
第二获取模块，用于获取多个参考障碍物的观测数据；
函数确定模块，用于根据多个参考障碍物在帧中的底边位置、以及多个参考障碍物与摄像头之间的距离，拟合函数F：Z＝F(y max)；
其中，y max为参考障碍物或待测障碍物在帧中的底边位置的纵向坐标；
Z为参考障碍物或待测障碍物与摄像头之间的距离；
距离评估模块，用于根据待测障碍物在帧中的底边位置的纵向坐标及所述函数F，确定待测障碍物与摄像头之间的距离；
高度评估模块，用于根据所述待测障碍物与摄像头之间的距离，确定所述待测障碍物的实际高度的最终评估值。
结合第四方面，本发明在第四方面的第一实施方式中，所述高度评估模块采用公式(5)确定待测障碍物的实际高度的最终评估值：
其中，Hp’为待测障碍物的实际高度的最终评估值；
hp为待测障碍物在帧中的高度；
f为摄像头的焦距；
Zp为待测障碍物与摄像头之间的距离。
结合第四方面、第四方面的第一实施方式，本发明在第四方面的第二实施方式中，所述第二获取模块还用于，在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明实施例利用参考障碍物观测数据，对道路几何模型进行建模，实现对待测障碍物的实际高度的评估，从而实现对待测障碍物3D大小的检测。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。
图1为本发明实施例一的检测障碍物高度的方法实现流程图；
图2为本发明实施例中摄像头对障碍物拍照并成像的示意图；
图3为本发明实施例二中可靠区域的划分方式示意图；
图4为本发明实施例二的检测障碍物高度的方法实现流程图；
图5为本发明实施例三的检测障碍物高度的装置结构示意图；
图6为本发明实施例四的检测障碍物高度的装置结构示意图；
图7为本发明实施例五的检测障碍物高度的设备结构示意图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
本发明实施例主要提供了两种检测障碍物高度的方法和装置。下面分别通过以下实施例进行技术方案的展开描述。
实施例一
本实施例介绍一种检测障碍物高度的方法。参见图1，图1为本发明实施例一的检测障碍物高度的方法实现流程图，包括以下步骤：
步骤101：获取多个参考障碍物的观测数据。
参考障碍物的观测数据可以帧图像中直接观测、或者由其他传感器获取。
在本步骤之前，首先需要选取参考障碍物，参考障碍物的选取方式将在以下的实施例二中详细介绍。
步骤102：针对各个参考障碍物分别执行以下步骤：根据待测障碍物在帧中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定所述待测障碍物的实际高度的初步评估值。
具体地，参见图2，图2为本发明实施例中摄像头对障碍物拍照并成像的示意图。图2中的障碍物可以为参考障碍物，也可以为待测障碍物。
首先解释图2中各个标号的含义：
H为障碍物的实际高度；
h为障碍物在帧中的高度；
y max为障碍物在帧中的底边位置的纵向坐标；
y min为障碍物在帧中的顶边位置的纵向坐标；
则，h＝y max–y min；
Cy为摄像头光轴的纵向坐标；
则，障碍物在帧中的底边位置与摄像头光轴之间的距离为：ymax–Cy；
Y为摄像头与地面之间的距离；
f为摄像头的焦距；
Z为障碍物与摄像头之间的距离。
由图2中各点及线条的几何关系可见，上述标号存在以下关系式：
那么，对于第i个参考障碍物，存在以下式子(1)：
其中，hi为第i个参考障碍物在帧中的高度；
Hi为第i个参考障碍物的实际高度；
y max i为第i个参考障碍物在帧中的底边位置的纵向坐标；
Cy为摄像头光轴的纵向坐标；
Y为摄像头与地面之间的距离。
对于待测障碍物，存在以下式子(2)：
其中，hp为待测障碍物在帧中的高度；
Hp为待测障碍物的实际高度；
y max p为待测障碍物在帧中的底边位置的纵向坐标；
Cy为摄像头光轴的纵向坐标；
Y为摄像头与地面之间的距离。
那么，采用式子(1)除以式子(2)，可以得到式子(3)：
进一步地，根据式子(3)可以最终得到Hp的计算式(4)：
其中，Hp为待测障碍物的实际高度的初步评估值；
hp为待测障碍物在帧中的高度；
hi为第i个参考障碍物在帧中的高度；
Hi为第i个参考障碍物的实际高度；
y max p-Cy为待测障碍物在帧中的底边位置与摄像头光轴之间的距离；
y max i-Cy为第i个参考障碍物在帧中的底边位置与摄像头光轴之间的距离。
这样，针对每个参考障碍物，都可以根据待测障碍物在帧中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定出待测障碍物的实际高度的一个初步评估值。
在步骤102中，由于不同帧图像的偏差，针对各个帧确定出的多个待测障碍物的实际高度的初步评估值有可能各不相同，则需要确定出待测障碍物的一个最终评估值，即步骤103。
步骤103：利用所述针对各个帧确定出的初步评估值，确定所述待测障碍物的实际高度的最终评估值。
在步骤103中，可以将确定出的多个初步评估值进行滤波去噪处理，得到待测障碍物的实际高度的最终评估值。具体地，可以将滤波去噪处理之后位于中心位置或其他合适位置的初步评估值作为待测障碍物的实际高度的最终评估值。
通过本实施例提出的方法，利用参考障碍物的观测数据作为参考，确定出了待测障碍物的实际高度，也就能够确定出待测障碍物的3D空间尺寸。
实施例二
本实施例介绍参考障碍物的一种选取方式。在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
具体地，在本实施例中，参考障碍物的选取包括2个条件：
条件一，参考障碍物的种类：
将能够准确获取实际高度的障碍物作为参考障碍物。在实际应用中，小轿车、小面包车等车辆能够准确获取实际高度，可以作为参考障碍物；而卡车、公交车、交通锥等物体不能够准确获取实际高度，可以作为待测障碍物，采用本发明实施例提出的方法来评估其实际高度。
条件二，参考障碍物的位置：
首先，参考障碍物需要位于待测障碍物所在帧之前的多个连续帧内。
进一步地，为了估计准确，可以在帧中预先设置一个可靠区域，将底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格(例如每50个像素划分为一个分格)，每个分格中至多包含一个参考障碍物。本发明实施例对分格的形状不做限制。
参见图3，图3为本发明实施例二中可靠区域的划分方式示意图。可以采用以下步骤划分可靠区域；
1)将帧图像的中心点、左下角、右下角作为三角形的三个角，划分出一个三角形区域。
2)采用帧图像中摄像头光轴所在的横线、帧图像左右两边的边界线切分上述三角形区域，将该三角形区域中摄像头光轴所在的横线以下、帧图像左边界以右、并且帧图像右边界以左的部分设定为可靠区域(如图3中的方格填充区域)。
在图3中，摄像头光轴是位于中心点以下的。对于摄像头光轴位于中心点以上的情况，由于上述三角形区域位于摄像头光轴以下，因此摄像头光轴所在的横线就不会起到实际的切分作用。
以上介绍了选取参考障碍物的两个条件，按照这两个条件可以选取出多个参考障碍物，可靠区域的每个分格中至多包含一个参考障碍物。采用待测障碍物所在帧之前的多个连续帧中的参考障碍物对待测障碍物进行高度检测。
可靠区域中的参考障碍物是可更新的，当一个分格中初次出现能够准确获取实际高度的障碍物时，将该障碍物作为参考障碍物；当一个分格中再次出现新的能够准确获取实际高度的障碍物时，可以根据具体情况保留该分格中原有的参考障碍物、或者将新出现的该障碍物作为该分格中的参考障碍物。
实施例三
本实施例介绍另一种检测障碍物高度的方法。参见图4，图4为本发明实施例三的检测障碍物高度的方法实现流程图，包括以下步骤：
步骤401：获取多个参考障碍物的观测数据。
参考障碍物的观测数据可以帧图像中直接观测、或者由其他传感器获取。
在本步骤之前，首先需要选取参考障碍物，参考障碍物的选取方式与上述实施例二中介绍的方式相同，不再赘述。
步骤402：根据多个参考障碍物在帧中的底边位置的纵向坐标、以及多个参考障碍物与摄像头之间的距离，拟合函数F：Z＝F(y max)；
其中，y max为参考障碍物或待测障碍物在帧中的底边位置的纵向坐标；
Z为参考障碍物或待测障碍物与摄像头之间的距离。
具体地，对于i个参考障碍物，可以获知i组数据(Z1，y max 1),(Z2，y max2)，……，(Zi，y max i)；
其中，Z1、Z2、……Zi分别为第1、2、……i个参考障碍物与摄像头之间的距离；
y max 1、y max 2、……y max i分别为第1、2、……i个参考障碍物在帧中的底边位置的纵向坐标；
根据上述i组数据，可以拟合出一个函数F：Z＝F(y max)。随着参考障碍物的不断更新，函数F也会不断进行更新。
步骤403：根据待测障碍物在帧中的底边位置的纵向坐标及所述函数F，确定待测障碍物与摄像头之间的距离。
具体地，可以将待测障碍物在帧中的底边位置的纵向坐标(即y max p)代入函数Z＝F(y max)，求得待测障碍物与摄像头之间的距离(即Zp)。
步骤404：根据所述待测障碍物与摄像头之间的距离，确定所述待测障碍物的实际高度的最终评估值。
具体地，如上述图2中存在的几何关系：可以采用公式(5)进行确定：
其中，Hp’为待测障碍物的实际高度的最终评估值；
hp为待测障碍物在帧中的高度；
f为摄像头的焦距；
Zp为待测障碍物与摄像头之间的距离。
通过本实施例提出的方法，利用参考障碍物的观测数据作为参考，确定出了待测障碍物的实际高度，也就能够确定出待测障碍物的3D空间尺寸。
实施例四
本实施例对应实施例一，提出一种检测障碍物高度的装置。如图5为本发明实施例四的检测障碍物高度的装置结构示意图，包括：
第一获取模块501，用于获取多个参考障碍物的观测数据；
初步评估模块502，用于针对各个参考障碍物分别执行以下操作：根据待测障碍物在帧中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定所述待测障碍物的实际高度的初步评估值；
最终评估模块503，用于利用针对各个参考障碍物确定出的初步评估值，确定所述待测障碍物的实际高度的最终评估值。
上述初步评估模块501可以采用公式(4)确定待测障碍物的实际高度的初步评估值：
其中，Hp为待测障碍物的实际高度的初步评估值；
hp为待测障碍物在帧中的高度；
hi为第i个参考障碍物在帧中的高度；
Hi为第i个参考障碍物的实际高度；
y max p-Cy为待测障碍物在帧中的底边位置与摄像头光轴之间的距离；
y max i-Cy为第i个参考障碍物在帧中的底边位置与摄像头光轴之间的距离。
上述最终评估模块503，可以用于将确定出的多个初步评估值进行滤波去噪处理，得到待测障碍物的实际高度的最终评估值。
上述第一获取模块501还可以用于，在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
第一获取模块501选取参考障碍物的具体方式与上述实施例二中介绍的方式相同，不再赘述。
通过本实施例提出的检测障碍物高度的装置，能够利用参考障碍物的观测数据作为参考，确定出待测障碍物的实际高度，也就能够确定出待测障碍物的3D空间尺寸。
实施例五
本实施例对应实施例三，提出另一种检测障碍物高度的装置。如图6为本发明实施例五的检测障碍物高度的装置结构示意图，包括：
第二获取模块601，用于获取多个参考障碍物的观测数据。
函数确定模块602，用于根据多个参考障碍物在帧中的底边位置、以及多个参考障碍物与摄像头之间的距离，拟合函数F：Z＝F(y max)；
其中，y max为参考障碍物或待测障碍物在帧中的底边位置的纵向坐标；
Z为参考障碍物或待测障碍物与摄像头之间的距离。
随着参考障碍物的不断更新，函数F也会不断进行更新。
距离评估模块603，用于根据待测障碍物在帧中的底边位置的纵向坐标及所述函数F，确定待测障碍物与摄像头之间的距离；
高度评估模块604，用于根据所述待测障碍物与摄像头之间的距离，确定所述待测障碍物的实际高度的最终评估值。
具体地，高度评估模块604可以采用公式(5)确定待测障碍物的实际高度的最终评估值：
其中，Hp’为待测障碍物的实际高度的最终评估值；
hp为待测障碍物在帧中的高度；
f为摄像头的焦距；
Zp为待测障碍物与摄像头之间的距离。
上述第二获取模块601还可以用于，在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
第二获取模块601选取参考障碍物的具体方式与上述实施例二中介绍的方式相同，不再赘述。
通过本实施例提出的检测障碍物高度的装置，能够利用参考障碍物的观测数据作为参考，确定出待测障碍物的实际高度，也就能够确定出待测障碍物的3D空间尺寸。
实施例六
本发明实施例六提供了一种检测障碍物高度的设备，如图7为本发明实施例六的检测障碍物高度的设备结构示意图，该设备包括：存储器710和处理器720，存储器710存储有可在处理器720上运行的计算机程序。所述处理器720执行所述计算机程序时实现上述实施例中的确定推荐系统最优参数组合的方法。所述存储器710和处理器720的数量可以为一个或多个。
所述设备还可以包括：
通信接口730，用于与外界设备进行通信，进行数据交换传输。
存储器710可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
如果存储器710、处理器720和通信接口730独立实现，则存储器710、处理器720和通信接口730可以通过总线相互连接并完成相互之间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线，外部设备互连(PCI，PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandard Architecture)等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器710、处理器720及通信接口730集成在一块芯片上，则存储器710、处理器720及通信接口730可以通过内部接口完成相互间的通信。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。
综上所述，本发明实施例提出的检测障碍物高度的方法、装置、设备和存储介质，将比较能够准确获取出实际高度的障碍物(例如小轿车、小面包车等)作为参考障碍物，以参考障碍物的观测数据作为参考，对道路几何模型进行建模，实现对待测障碍物(例如公交车、卡车、交通锥等不易直接估计实际高度的障碍物)的实际高度的评估，从而实现对待测障碍物3D大小的检测。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种检测障碍物高度的方法，其特征在于，所述方法包括：
获取多个参考障碍物的观测数据；
针对各个参考障碍物分别执行以下步骤：根据待测障碍物在帧中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定所述待测障碍物的实际高度的初步评估值；
利用针对各个参考障碍物确定出的初步评估值，确定所述待测障碍物的实际高度的最终评估值。
2.根据权利要求的1所述的方法，其特征在于，所述针对各个参考障碍物分别执行以下步骤：根据待测障碍物在帧中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定所述待测障碍物的实际高度的初步评估值，包括：
采用公式(4)进行确定：
其中，Hp为待测障碍物的实际高度的初步评估值；
hp为待测障碍物在帧中的高度；
hi为第i个参考障碍物在帧中的高度；
Hi为第i个参考障碍物的实际高度；
y max p-Cy为待测障碍物在帧中的底边位置与摄像头光轴之间的距离；
y max i-Cy为第i个参考障碍物在帧中的底边位置与摄像头光轴之间的距离。
3.根据权利要求的1所述的方法，其特征在于，所述利用针对各个参考障碍物确定出的初步评估值，确定所述待测障碍物的实际高度的最终评估值，包括：
将确定出的多个初步评估值进行滤波去噪处理，得到待测障碍物的实际高度的最终评估值。
4.根据权利要求1-3任一所述的方法，其特征在于，所述获取多个参考障碍物的观测数据之前，进一步包括：
在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
5.一种检测障碍物高度的方法，其特征在于，所述方法包括：
获取多个参考障碍物的观测数据；
根据多个参考障碍物在帧中的底边位置的纵向坐标、以及多个参考障碍物与摄像头之间的距离，拟合函数F：Z＝F(y max)；
其中，y max为参考障碍物或待测障碍物在帧中的底边位置的纵向坐标；
Z为参考障碍物或待测障碍物与摄像头之间的距离；
根据待测障碍物在帧中的底边位置的纵向坐标及所述函数F，确定待测障碍物与摄像头之间的距离；
根据所述待测障碍物与摄像头之间的距离，确定所述待测障碍物的实际高度的最终评估值。
6.根据权利要求5的方法，其特征在于，所述根据所述待测障碍物与摄像头之间的距离，确定所述待测障碍物的实际高度的最终评估值，包括：
采用公式(5)进行确定：
其中，Hp’为待测障碍物的实际高度的最终评估值；
hp为待测障碍物在帧中的高度；
f为摄像头的焦距；
Zp为待测障碍物与摄像头之间的距离。
7.根据权利要求5或6所述的方法，其特征在于，所述获取多个参考障碍物的观测数据之前，进一步包括：
在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
8.一种检测障碍物高度的装置，其特征在于，所述装置包括：
第一获取模块，用于获取多个参考障碍物的观测数据；
初步评估模块，用于针对各个参考障碍物分别执行以下操作：根据待测障碍物在帧中的高度、参考障碍物在帧中的高度、参考障碍物的实际高度、待测障碍物在帧中的底边位置与摄像头光轴之间的距离、以及参考障碍物在帧中的底边位置与摄像头光轴之间的距离，确定所述待测障碍物的实际高度的初步评估值；
最终评估模块，用于利用针对各个参考障碍物确定出的初步评估值，确定所述待测障碍物的实际高度的最终评估值。
9.根据权利要求的8所述的装置，其特征在于，所述初步评估模块采用公式(4)确定待测障碍物的实际高度的初步评估值：
其中，Hp为待测障碍物的实际高度的初步评估值；
hp为待测障碍物在帧中的高度；
hi为第i个参考障碍物在帧中的高度；
Hi为第i个参考障碍物的实际高度；
y max p-Cy为待测障碍物在帧中的底边位置与摄像头光轴之间的距离；
y max i-Cy为第i个参考障碍物在帧中的底边位置与摄像头光轴之间的距离。
10.根据权利要求的8所述的装置，其特征在于，所述最终评估模块，用于将确定出的多个初步评估值进行滤波去噪处理，得到待测障碍物的实际高度的最终评估值。
11.根据权利要求的8-10任一所述的装置，其特征在于，所述第一获取模块还用于，在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
12.一种检测障碍物高度的装置，其特征在于，所述装置包括：
第二获取模块，用于获取多个参考障碍物的观测数据；
函数确定模块，用于根据多个参考障碍物在帧中的底边位置、以及多个参考障碍物与摄像头之间的距离，拟合函数F：Z＝F(y max)；
其中，y max为参考障碍物或待测障碍物在帧中的底边位置的纵向坐标；
Z为参考障碍物或待测障碍物与摄像头之间的距离；
距离评估模块，用于根据待测障碍物在帧中的底边位置的纵向坐标及所述函数F，确定待测障碍物与摄像头之间的距离；
高度评估模块，用于根据所述待测障碍物与摄像头之间的距离，确定所述待测障碍物的实际高度的最终评估值。
13.根据权利要求12的装置，其特征在于，所述高度评估模块采用公式(5)确定待测障碍物的实际高度的最终评估值：
其中，Hp’为待测障碍物的实际高度的最终评估值；
hp为待测障碍物在帧中的高度；
f为摄像头的焦距；
Zp为待测障碍物与摄像头之间的距离。
14.根据权利要求的12或13所述的装置，其特征在于，所述第二获取模块还用于，在所述待测障碍物所在帧之前的多个连续帧中，选取能够准确获取实际高度、并且底边中心位置位于帧中的可靠区域的障碍物作为参考障碍物；所述可靠区域预先被划分为多个分格，每个分格中至多包含一个参考障碍物。
15.一种检测障碍物高度的设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
16.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201811056945.XA 2018-09-11 2018-09-11 检测障碍物高度的方法、装置、设备及存储介质 Active CN109059780B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811056945.XA CN109059780B (zh) 2018-09-11 2018-09-11 检测障碍物高度的方法、装置、设备及存储介质
CN201910727517.3A CN110375659B (zh) 2018-09-11 2018-09-11 检测障碍物高度的方法、装置、设备及存储介质
JP2019125582A JP6768890B2 (ja) 2018-09-11 2019-07-04 障害物高さの検出方法、装置、設備、記憶媒体及びプログラム
EP19185677.2A EP3623994A3 (en) 2018-09-11 2019-07-11 Method, device, apparatus and storage medium for detecting a height of an obstacle
US16/513,095 US11047673B2 (en) 2018-09-11 2019-07-16 Method, device, apparatus and storage medium for detecting a height of an obstacle
US17/303,300 US11519715B2 (en) 2018-09-11 2021-05-26 Method, device, apparatus and storage medium for detecting a height of an obstacle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811056945.XA CN109059780B (zh) 2018-09-11 2018-09-11 检测障碍物高度的方法、装置、设备及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910727517.3A Division CN110375659B (zh) 2018-09-11 2018-09-11 检测障碍物高度的方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109059780A true CN109059780A (zh) 2018-12-21
CN109059780B CN109059780B (zh) 2019-10-15

Family

ID=64761243

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910727517.3A Active CN110375659B (zh) 2018-09-11 2018-09-11 检测障碍物高度的方法、装置、设备及存储介质
CN201811056945.XA Active CN109059780B (zh) 2018-09-11 2018-09-11 检测障碍物高度的方法、装置、设备及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910727517.3A Active CN110375659B (zh) 2018-09-11 2018-09-11 检测障碍物高度的方法、装置、设备及存储介质

Country Status (4)

Country Link
US (2) US11047673B2 (zh)
EP (1) EP3623994A3 (zh)
JP (1) JP6768890B2 (zh)
CN (2) CN110375659B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658819A (zh) * 2019-09-30 2020-01-07 北京猎户星空科技有限公司 一种避障方法、装置、电子设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418031B (zh) * 2020-11-11 2022-03-11 腾讯科技（深圳）有限公司 图像识别方法和装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104457569A (zh) * 2014-11-27 2015-03-25 大连理工大学 一种大型复合板材几何参数视觉测量方法
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
KR20160047087A (ko) * 2014-10-22 2016-05-02 주식회사 만도 터널 높이 추정 장치 및 터널 높이 추정 방법
US9812838B2 (en) * 2015-11-30 2017-11-07 Luminar Technologies, Inc. Pulsed laser for lidar system
CN107832806A (zh) * 2017-12-06 2018-03-23 四川知创空间孵化器管理有限公司 一种车牌类型判别方法和系统
RO132599A2 (ro) * 2016-11-23 2018-05-30 Centrul It Pentru Ştiinţă Şi Tehnologie S.R.L. Echipament modular pentru inspecţia drumurilor rutiere, incluzând carosabilul şi zona adiacentă, destinat pentru a fi montat pe vehicule nespecializate
CN108256506A (zh) * 2018-02-14 2018-07-06 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3643157B2 (ja) * 1995-11-29 2005-04-27 池上通信機株式会社 ステレオ画像による物体の高さ測定方法
JP3985643B2 (ja) * 2002-09-20 2007-10-03 株式会社日立製作所 画像の表示方法及び表示装置
US20060111841A1 (en) * 2004-11-19 2006-05-25 Jiun-Yuan Tseng Method and apparatus for obstacle avoidance with camera vision
JP2008150006A (ja) * 2006-12-20 2008-07-03 Hitachi Ltd 車両駆動力制御装置
US20090232388A1 (en) 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
US8611585B2 (en) 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
CN101441076B (zh) 2008-12-29 2010-06-02 东软集团股份有限公司 一种检测障碍物的方法和装置
WO2011112277A1 (en) * 2010-01-18 2011-09-15 Faro Technologies, Inc. Retroreflector probe adaptor for tracking hidden points
WO2012001755A1 (ja) 2010-07-02 2012-01-05 株式会社ソニー・コンピュータエンタテインメント 情報処理システム、情報処理装置および情報処理方法
JP2012117833A (ja) * 2010-11-29 2012-06-21 Equos Research Co Ltd 画像認識装置、装着型ロボット、及び画像認識プログラム
CA2850937A1 (en) * 2011-10-04 2013-04-11 Metalforming, Inc. Using videogrammetry to fabricate parts
CN103258338A (zh) 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和系统
CN102663196B (zh) 2012-04-17 2014-04-16 中南大学 一种基于虚拟现实的汽车起重机吊装仿真方法
EP3235773B8 (en) * 2012-09-21 2023-09-20 Tadano Ltd. Surrounding information-obtaining device for working vehicle
US9082014B2 (en) 2013-03-14 2015-07-14 The Nielsen Company (Us), Llc Methods and apparatus to estimate demography based on aerial images
CN104236462B (zh) * 2013-06-14 2018-01-23 北京千里时空科技有限公司 一种提取视频图像中物体高度和距离的方法
CN104376297B (zh) 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置
JP5919243B2 (ja) 2013-10-18 2016-05-18 本田技研工業株式会社 運転訓練装置及び運転訓練方法
CN103914830B (zh) 2014-02-22 2017-02-01 小米科技有限责任公司 直线检测方法和装置
CN104020674B (zh) 2014-04-21 2017-01-25 华南农业大学 车辆Bug避障算法的Matlab仿真可视化平台
CN104183014B (zh) 2014-08-13 2017-01-18 浙江大学 一种面向城市增强现实的高融合度信息标注方法
JP5959073B2 (ja) * 2014-09-30 2016-08-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 検出装置、検出方法、及び、プログラム
CN104331910B (zh) 2014-11-24 2017-06-16 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
US10183659B2 (en) * 2014-11-24 2019-01-22 Ford Global Technologies, Llc Vehicle underside impact avoidance
CN104950883A (zh) 2015-05-14 2015-09-30 西安电子科技大学 一种基于距离网格地图的移动机器人路径规划方法
TWI630132B (zh) 2015-06-04 2018-07-21 國立虎尾科技大學 3D animation car accident scene reconstruction method
CN104933708A (zh) 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
US20170092000A1 (en) 2015-09-25 2017-03-30 Moshe Schwimmer Method and system for positioning a virtual object in a virtual simulation environment
US9718404B2 (en) * 2015-10-01 2017-08-01 Ford Global Technologies, LLCS Parking obstruction locator and height estimator
JP6464075B2 (ja) 2015-11-11 2019-02-06 日本電信電話株式会社 Ｗｈａｔ−ｉｆシミュレーション装置、方法、及びプログラム
CN107031523A (zh) * 2015-11-30 2017-08-11 法乐第未来公司 利用已知目标进行基于摄像头的车辆位置确定
CN105825711A (zh) * 2016-02-01 2016-08-03 乐卡汽车智能科技（北京）有限公司 一种车辆障碍物的预警方法及装置
CN105761308B (zh) 2016-02-29 2018-09-07 武汉大学 一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法
US10690495B2 (en) 2016-03-14 2020-06-23 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
CN105844600B (zh) 2016-04-27 2018-03-16 北京航空航天大学 一种空间目标三维点云光顺去噪方法
CN105957145A (zh) 2016-04-29 2016-09-21 百度在线网络技术（北京）有限公司 道路障碍物识别方法和装置
CN106204457A (zh) 2016-07-19 2016-12-07 科盾科技股份有限公司 一种用于抓捕目标的方法和抓捕器
CN107818293A (zh) 2016-09-14 2018-03-20 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN106462757B (zh) 2016-09-26 2019-09-06 深圳市锐明技术股份有限公司 一种成对车道线的快速检测方法和装置
JP6548691B2 (ja) 2016-10-06 2019-07-24 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
CN106599832A (zh) 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
JP6804991B2 (ja) * 2017-01-05 2020-12-23 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
CN106845412B (zh) 2017-01-20 2020-07-10 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN106919908B (zh) 2017-02-10 2020-07-28 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN108492356A (zh) 2017-02-13 2018-09-04 苏州宝时得电动工具有限公司 增强现实系统及其控制方法
CN106951847B (zh) * 2017-03-13 2020-09-29 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN106997049B (zh) 2017-03-14 2020-07-03 奇瑞汽车股份有限公司 一种基于激光点云数据的检测障碍物的方法和装置
CN107063710B (zh) * 2017-04-21 2020-06-30 百度在线网络技术（北京）有限公司 用于测试无人车的方法和装置
CN107103627B (zh) 2017-04-27 2020-12-11 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法
CN107525475B (zh) * 2017-08-30 2019-10-25 河海大学 一种目标物高度测量方法
CN107657237B (zh) 2017-09-28 2020-03-31 东南大学 基于深度学习的汽车碰撞检测方法及系统
CN107659774B (zh) 2017-09-30 2020-10-13 北京拙河科技有限公司 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN107678306B (zh) 2017-10-09 2021-04-16 驭势（上海）汽车科技有限公司 动态场景信息录制和仿真回放方法、装置、设备及介质
DE112018004507T5 (de) * 2017-10-12 2020-06-10 Sony Corporation Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm
CN108156419A (zh) 2017-12-22 2018-06-12 湖南源信光电科技股份有限公司 基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统
CN108036730B (zh) * 2017-12-22 2019-12-10 福建和盛高科技产业有限公司 一种基于热成像的火点测距方法
CN108283466A (zh) * 2017-12-27 2018-07-17 信利光电股份有限公司 一种扫地机器人的障碍物高度检测装置和方法以及跨越装置和方法
CN108010360A (zh) 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN107993512A (zh) 2018-01-03 2018-05-04 深圳市欣横纵技术股份有限公司 一种核安保Table Top Tool系统及使用方法
CN108444390B (zh) * 2018-02-08 2021-01-26 天津大学 一种无人驾驶汽车障碍物识别方法及装置
CN108416306B (zh) * 2018-03-12 2020-12-25 海信集团有限公司 连续型障碍物检测方法、装置、设备和存储介质
CN108470469A (zh) * 2018-03-12 2018-08-31 海信集团有限公司 道路障碍物预警方法、装置及终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
KR20160047087A (ko) * 2014-10-22 2016-05-02 주식회사 만도 터널 높이 추정 장치 및 터널 높이 추정 방법
CN104457569A (zh) * 2014-11-27 2015-03-25 大连理工大学 一种大型复合板材几何参数视觉测量方法
US9812838B2 (en) * 2015-11-30 2017-11-07 Luminar Technologies, Inc. Pulsed laser for lidar system
RO132599A2 (ro) * 2016-11-23 2018-05-30 Centrul It Pentru Ştiinţă Şi Tehnologie S.R.L. Echipament modular pentru inspecţia drumurilor rutiere, incluzând carosabilul şi zona adiacentă, destinat pentru a fi montat pe vehicule nespecializate
CN107832806A (zh) * 2017-12-06 2018-03-23 四川知创空间孵化器管理有限公司 一种车牌类型判别方法和系统
CN108256506A (zh) * 2018-02-14 2018-07-06 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658819A (zh) * 2019-09-30 2020-01-07 北京猎户星空科技有限公司 一种避障方法、装置、电子设备和存储介质
CN110658819B (zh) * 2019-09-30 2022-04-15 北京猎户星空科技有限公司 一种避障方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN109059780B (zh) 2019-10-15
CN110375659A (zh) 2019-10-25
US20200080835A1 (en) 2020-03-12
US11519715B2 (en) 2022-12-06
EP3623994A3 (en) 2020-07-22
JP6768890B2 (ja) 2020-10-14
EP3623994A2 (en) 2020-03-18
CN110375659B (zh) 2021-07-27
US11047673B2 (en) 2021-06-29
US20210278199A1 (en) 2021-09-09
JP2020042010A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
CN109145931B (zh) 物体检测方法、装置及存储介质
CN108520536B (zh) 一种视差图的生成方法、装置及终端
CN106952308B (zh) 运动物体的位置确定方法及系统
JP6131704B2 (ja) 連続型道路分割体の検知方法及び連続型道路分割体の検知装置
DE102011100927B4 (de) Objekt- und Fahrzeugdetektion und -verfolgung unter Verwendung von 3-D-Laserentfernungsmesser
CN107038723B (zh) 棒状像素估计方法和系统
US10643091B2 (en) Automatic feature point detection for calibration of multi-camera systems
US20150178900A1 (en) Depth image processing apparatus and method based on camera pose conversion
CN105868688B (zh) 行驶路面检测装置和行驶路面检测方法
US10645365B2 (en) Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium
CN109165629B (zh) 多焦距视觉障碍物感知方法、装置、设备及存储介质
CN111295667B (zh) 图像立体匹配的方法和辅助驾驶装置
CN109059780B (zh) 检测障碍物高度的方法、装置、设备及存储介质
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
DE112017004047T5 (de) Straßenoberflächenabschätzungsvorrichtung, Fahrzeugsteuervorrichtung, Straßenoberflächenabschätzungsverfahren und Programm
KR101431373B1 (ko) 스테레오 정합을 이용한 차량의 움직임 측정 장치
CN106570482A (zh) 人体动作识别方法及装置
CN109325388A (zh) 车道线的识别方法、系统以及汽车
CN113903188B (zh) 车位检测方法、电子设备及计算机可读存储介质
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN104408437B (zh) 一种基于合成孔径雷达的道路检测方法
CN113147746A (zh) 坡道车位的探测方法及装置
DE102011111856B4 (de) Verfahren und Vorrichtung zur Detektion mindestens einer Fahrspur in einem Fahrzeugumfeld
DE102010009620B4 (de) Verfahren und Vorrichtung zur Detektion mindestens eines Hindernisses in einem Fahrzeugumfeld
JP3700681B2 (ja) 走行路検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211012

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Patentee after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Patentee before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.