CN106183990B - 用于在车辆中识别障碍物位置的装置和方法 - Google Patents

用于在车辆中识别障碍物位置的装置和方法 Download PDF

Info

Publication number
CN106183990B
CN106183990B CN201510388800.XA CN201510388800A CN106183990B CN 106183990 B CN106183990 B CN 106183990B CN 201510388800 A CN201510388800 A CN 201510388800A CN 106183990 B CN106183990 B CN 106183990B
Authority
CN
China
Prior art keywords
camera
image data
linear edge
edge
car
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510388800.XA
Other languages
English (en)
Other versions
CN106183990A (zh
Inventor
崔在燮
柳成淑
尹大仲
崔赈旭
蒋裕珍
郑昊基
徐在逵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanyang Hak Won Co Ltd
Hyundai Motor Co
Kia Corp
Original Assignee
Hanyang Hak Won Co Ltd
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanyang Hak Won Co Ltd, Hyundai Motor Co, Kia Motors Corp filed Critical Hanyang Hak Won Co Ltd
Publication of CN106183990A publication Critical patent/CN106183990A/zh
Application granted granted Critical
Publication of CN106183990B publication Critical patent/CN106183990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B60R2021/01345—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems using mechanical sensing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Abstract

本公开涉及用于在车辆中识别障碍物位置的装置和方法。用于在车辆中识别障碍物位置的装置通过照相机和超声波传感器来获得图像数据和超声波传感器数据；检测图像数据中的与地面垂直的线性边缘；检测非连续位置，在该非连续位置处超声波传感器数据不是连续的；当非连续位置与照相机位置一致时，从图像数据检测在连续图像中检测出的线性边缘的交叉点；以及将交叉点估计为障碍物的位置。

Description

用于在车辆中识别障碍物位置的装置和方法
相关申请的交叉引用
本申请基于并且要求于2014年11月3日提交给韩国知识产权局的韩国专利申请第10-2014-0151564号的优先权的权益，通过引用将其全部内容结合于此。
技术领域
本公开涉及用于在车辆中识别障碍物位置的装置和方法，并且更具体地涉及能够使用图像信息精确地测量障碍物位置的用于在车辆中识别障碍物位置的装置和方法。
背景技术
根据汽车与信息技术(IT)的技术之间的组合，已经推动了许多与智能汽车技术有关的研究。在它们之中，有助于停车的停车支持系统(parking support system)已经被应用于汽车并且被商业化。
停车支持系统使用超声波传感器、激光扫描仪、照相机等测量障碍物的位置以识别停车空间(parking space)。
由于超声波传感器的物理特性，使用超声波传感器的停车支持系统可能无法精确地检测障碍物(例如，车辆)的边缘的位置。例如，停车支持系统难以通过超声波传感器精确地测量狭窄支柱或圆形支柱的位置。
发明内容
创作本公开以解决在现有技术中出现的上述问题，同时保持通过现有技术所实现的优势不受影响。
本公开的一方面提供了在通过检测图像信息中的与地面垂直的障碍物的线性边缘而能够精确地测量障碍物位置的用于在车辆中识别障碍物位置的装置和方法。
根据本公开的示例性实施方式，一种用于在车辆中识别障碍物位置的方法，包括：通过照相机和超声波传感器分别获得图像数据和超声波传感器数据；检测图像数据中的与地面垂直的线性边缘；检测非连续位置，在非连续位置处超声波传感器数据不是连续的；当非连续位置与照相机位置一致时，从图像数据检测在连续图像中检测出的线性边缘的交叉点；以及将交叉点估计为障碍物的位置。
检测线性边缘可以包括：基于图像数据的边缘图像来执行距离转换；在执行了距离转换的图像中创建极座标图；以及提取线性边缘，在线性边缘中通过极座标图分布了大多数的边缘像素。
在检测线性边缘的过程中，可以通过基于照相机信息和障碍物信息估计图像数据中的障碍物的线性边缘开始位置和线性边缘结束位置来检测线性边缘。
在检测非连续位置的过程中，可以确认与照相机位置一致的非连续位置是否是障碍物感测开始位置。
在检测线性边缘的交叉点的过程中，当确定了照相机位置是障碍物感测开始位置时，可以检测出从图像数据和随后的图像中检测出的线性边缘朝向照相机延伸的直线的交叉点。
在检测非连续位置的过程中，可以确认与照相机位置一致的非连续位置是否是障碍物感测结束位置。
在检测线性边缘的交叉点的过程中，当确定了照相机位置是障碍物感测结束位置时，可以检测出从图像数据和先前的图像中检测出的线性边缘朝向照相机延伸的多条直线的交叉点。
在检测线性边缘的交叉点的过程中，可以检测出距离多条直线的垂直距离最小的一个点。
根据本公开的另一示例性实施方式，一种用于在车辆中识别障碍物位置的装置，包括：照相机，被配置为拍摄车辆周围的图像数据；超声波传感器，被配置为感测车辆周围的障碍物；以及控制器，被配置为基于车辆的移动信息检测图像数据中的与地面垂直的线性边缘以在存储器中存储线性边缘；检测从超声波传感器输出的超声波传感器数据的非连续位置；并且当非连续位置与照相机位置一致时，检测在基于照相机位置的预定距离内所获得的连续图像数据中检测出的线性边缘的交叉点，以识别交叉点作为障碍物的边缘的位置。
控制器可以将图像数据转换为边缘图像；对边缘图像执行距离转换；并且然后创建极座标图以提取其中分布了大多数的边缘像素的线性边缘。
控制器可以基于照相机信息和障碍物信息估计图像数据中的障碍物的线性边缘开始位置和线性边缘结束位置以检测线性边缘。
控制器可以检测在基于超声波传感器数据而设定的关注区域内的线性边缘的交叉点。
当照相机位置与障碍物感测开始位置一致时，控制器可以检测从图像数据与随后的图像数据中检测出的线性边缘朝向照相机延伸的多条直线的交叉点。
当照相机位置与障碍物感测结束位置一致时，控制器可以检测从图像数据与先前的图像数据中检测出的线性边缘朝向照相机延伸的多条直线的交叉点。
当照相机位置与障碍物感测结束位置一致时，控制器可以检测从图像数据与先前的图像数据中检测出的线性边缘朝向照相机延伸的多条直线的交叉点。
控制器可以计算位于一直线上的距离多条直线的垂直距离最小的一个点。
附图说明
从下面结合附图的详细说明，本公开的上述以及其他目的、特征和优点将变得更加显而易见。
图1示出了根据本公开示例性实施方式的用于在车辆中识别障碍物位置的装置的框图。
图2示出了根据本公开的设定关注区域的实例的视图。
图3示出了根据本公开的检测障碍物的边缘位置的实例的视图。
图4示出了根据本公开的通过拍摄真实世界中的与地面垂直的障碍物的线性边缘而获得的图像数据的示意图。
图5示出了根据本公开的在真实世界中的与地面垂直的障碍物的线性边缘与图像数据内的线性边缘之间的关系的视图。
图6示出了根据本公开的创建极座标图(polar histogram)的实例的视图。
图7示出了根据本公开示例性实施方式的用于在车辆中识别障碍物位置的方法的流程图。
具体实施方式
在下文中，将参考附图详细描述本公开的示例性实施方式。
本公开利用一特征来精确地估计障碍物位置，该特征为在障碍物的曲率小的情况下，真实世界中的与地面垂直的障碍物的线性边缘在全景泊车监测(AVM)图像周围的一个点处彼此相遇，并且这个点的位置变为障碍物的轮廓线点位置。
图1示出了根据本公开示例性实施方式的用于在车辆中识别障碍物位置的装置的框图，图2示出了根据本公开的设定关注区域的实例的视图，并且图3示出了根据本公开的检测障碍物的边缘位置的实例的视图。
参考图1，用于在车辆中识别障碍物位置的装置被配置为包括驾驶员操作检测器10、照相机20、超声波传感器30、控制器40以及显示器50。
驾驶员操作检测器10检测基于驾驶员操作的输入信息。在此，输入信息包括是否激活了停车支持功能；与变速杆的位置、方向盘转向角度有关的信息等。
拍摄车辆周围的图像的多个照相机20可以被安装在车辆中。例如，照相机20可以被各自安装在车辆的后视镜(mirror)的前面、后面和两侧。
另外，照相机20可以被实施为超广角照相机(super wide angle camera)，该超广角照相机可以确保宽广的视角。
超声波传感器30用于检测车辆周围的障碍物。超声波传感器30测量在发射超声波与接收在障碍物上反射且返回至超声波传感器30的反射波之间的时间间隔，或测量反射波的信号大小。另外，超声波传感器30使用所测量出的在发射超声波与接收所反射的波之间的时间间隔来计算从车辆至障碍物的距离。
控制器40通过照相机20和超声波传感器30获得车辆周围的图像数据和超声波传感器数据。在此，控制器40每预定时间或无论何时车辆每移动预定距离来通过照相机20和超声波传感器30获得图像数据和超声波传感器数据。
控制器40使用从超声波传感器30输出的超声波传感器数据来设定用于识别障碍物的边缘的关注区域。在此，作为其中执行障碍物位置估计的区域的关注区域是基于障碍物与空旷空间之间的边界位置而设定的预定区域。
即，控制器40检测超声波传感器数据迅速改变的非连续位置并且将与基于非连续位置而预先设定的尺寸相对应的区域设定为关注区域。例如，控制器40检测超声波传感器数据迅速下降的下降位置101和超声波传感器数据迅速上升的上升位置102，并且基于所检测出的位置101和102以宽度140cm×长度100cm的尺寸来设定关注区域103和104，如图2中所示。
控制器40检测图像数据中的与地面垂直的障碍物的线性边缘。下面将单独描述用于检测图像中的与地面垂直的障碍物的线性边缘的详细方法。
控制器40在存储器件(未示出)中存储基于车辆的移动信息在图像数据中检测出的线性边缘。
另外，当基于超声波传感器数据检测出非连续位置时，控制器40确认该非连续位置与照相机的位置是否相互一致。即，控制器40确认当前时间点是否是其中检测出线性边缘的交叉点的时间点。在此，控制器40确认该非连续位置是开始感测到障碍物的开始位置(障碍物轮廓线开始点)还是感测到障碍物结束的结束位置(障碍物轮廓线结束点)。
当与照相机20的中心位置(照相机位置)一致的非连续位置是障碍物感测开始位置(上升位置)时，控制器40检测在当前图像数据与随后的图像数据中检测出的线性边缘的交叉点。在此，控制器40使用在车辆移动方向上距离当前照相机位置的预定距离内获得的图像数据中检测出的线性边缘。
同时，当与照相机位置一致的非连续位置是障碍物感测结束位置(下降位置)时，控制器40检测在当前图像数据与先前图像数据中检测出的线性边缘的交叉点。在此，控制器40使用在与车辆移动方向相反的方向上距离当前照相机位置预定距离内所获得的图像数据中检测出的线性边缘。
为了检测线性边缘的交叉点，控制器40基于车辆的移动信息将在连续图像(当前图像与先前的图像或当前图像与随后的图像)中检测出的线性边缘彼此合并。例如，控制器40基于车辆的移动信息估计在先前的图像(图像数据)中检测出的线性边缘位于当前图像上的位置，并且然后将所估计的位置与在当前图像中检测出的线性边缘合并。如在图3中所示，将在先前的图像中检测出的线性边缘与照相机的中心位置彼此连接的多条直线(实线)与将当前时间点处所获得的在图像中检测出的线性边缘与照相机20的中心位置彼此连接的多条直线(点划线)彼此结合。
控制器40在关注区域中检测将在连续图像中检测出的线性边缘与照相机的中心位置彼此连接的多条直线的交叉点。在此，控制器40检测其至多条直线的垂直距离最小的点作为交叉点。换言之，控制器40利用随机抽样一致性(RANSAC)方案来移除异常值(outliers)，并且检测在关注区域R中检测出的线性边缘(虚线)之间的交叉点P(参见图3)。
控制器40将所检测出的交叉点估计为障碍物的边缘位置。即，控制器40识别所检测出的交叉点作为障碍物的位置。
显示器50显示障碍物的边缘位置，从而基于控制器40的控制与图像数据相重叠。在此，显示器50以诸如特定形状、杆形、数字、文本、符号、图表、图像等形式来显示边缘的位置。
显示器50可通过指示灯(pilot lamp)、发光二极管(LED)、电致发光元件(EL)、真空荧光显示器(VFD)、阴极射线管(CRT)、等离子体显示器、液晶显示器(LCD)、平视显示器(head up display)(HUD)等来实施。
接下来，将详细地描述用于检测图像中的与地面垂直的障碍物的线性边缘的方法。
作为用于检测线性边缘的方法，存在两种方法。用于检测线性边缘的第一种方法是通过基于真实世界中的照相机与障碍物位置信息来估计图像数据中的障碍物的线性边缘开始位置和线性边缘结束位置来检测线性边缘的方法。用于检测线性边缘的第二种方法是用于通过预测与地面垂直的多条直线将被分布在图像中的区域并且仅在对应区域中创建极座标图来检测线性边缘的方法。
首先，将参考图4和图5描述用于检测线性边缘的第一种方法。在此，图4示出了根据本公开的通过拍摄真实世界中的与地面垂直的障碍物的线性边缘而获得的图像数据的示意图，并且图5示出了根据本公开的在真实世界中的与地面垂直的障碍物的线性边缘与图像数据内的线性边缘之间的关系的视图。
如在图4中所示，真实世界中的与地面垂直的障碍物的线性边缘将以斜线的形式出现在图像中。使用以下等式1和等式2来分别计算线性边缘的开始位置S和结束位置E。
[等式1]
[等式2]
在此，H指代照相机高度，照相机高度是从地面至安装照相机20的点的距离。可通过照相机校准处理预先识别照相机高度。
D是从车辆至通过超声波传感器30测量出的障碍物的距离，T是障碍物上端的高度，且B是障碍物下端的高度。可基于一般参照物(例如，车辆保险杠)来假设障碍物上端的高度T和障碍物下端的高度B。
接下来，将描述用于通过预测与地面垂直的多条直线可能将分布在图像中的区域并且通过仅在对应区域中创建极座标图来检测线性边缘的方法。
首先，控制器40处理通过照相机20所获得的图像数据，以提取边缘图像(二进制数据)。在此，控制器40使用诸如索贝尔(Sobel)边缘提取方案等的预定边缘提取方案来将图像数据转换为边缘图像。
另外，控制器40对从图像数据检测出的边缘图像执行距离转换，并且然后创建极座标图。即，控制器40从照相机20的中心位置放射状地搜索图像，以提取边缘的分布。在此，控制器40不为不存在超声波传感器数据的区域创建极座标图。
控制器40检测其中在极座标图中累加值(像素值的累加)小于阈值的局部最小值的位置作为与地面垂直的障碍物的线性的边缘(在下文中，称之为线性边缘)。在此，累加值越小，则边缘像素的量越多。
如上所述，控制器40使用极座标图的局部最小值检测图像数据中的与地面垂直的障碍物的线性边缘。当真实世界中的与地面垂直的线性边缘在全方位全景图像(鸟瞰图像(bird's eye view image))中延伸时，它们穿过照相机20的位置。即，控制器40使用极座标图检测指向图像数据中的照相机20中心的线性边缘。
例如，如在图6中所示，控制器40在其中存在超声波传感器数据201的区域中创建极座标图，并且检测极座标图的局部最小值202作为线性边缘。
图7示出了根据本公开示例性实施方式的用于在车辆中识别障碍物位置的方法的流程图。
首先，控制器40通过照相机20和超声波传感器30获得车辆周围的图像数据和超声波传感器数据(S11)。
控制器40使用极座标图的局部最小值检测图像数据中的与地面垂直的线性边缘(S12)。换言之，控制器40检测图像数据中的指向照相机20的线性边缘。
在此，为了检测图像中的线性边缘，控制器40将通过照相机20拍摄的图像数据转换为边缘图像，并且对所转换的边缘图像执行距离转换。另外，控制器40在对其执行距离转换的图像中创建极座标图，并且检测比极座标图中的阈值小的最小值，以检测线性边缘。即，控制器40提取其中大多数边缘像素通过极座标图分布的线性边缘。
控制器40在存储器(未示出)中存储基于车辆的移动所检测出的线性边缘以及照相机位置信息。
控制器40检测超声波传感器数据迅速改变的非连续位置(S13)。
当检测出非连续位置时，控制器40确认该非连续位置和照相机位置是否彼此一致。在此，控制器40确认照相机位置是否处于开始感测到障碍物的开始位置(S14)。
当控制器40确认照相机位置是障碍物感测开始位置时，控制器40检测在当前时间点处的图像数据与随后的图像数据中检测出的线性边缘的交叉点(S15)。
另外，控制器40将所检测出的交叉点估计为障碍物的边缘位置(S16)。
同时，当控制器40确认照相机位置并非障碍物感测开始位置时，则控制器40确认该照相机位置是否是障碍物感测结束位置，该障碍物感测结束位置是开始感测不到障碍物的位置(S24)。
当控制器40确认照相机位置是障碍物感测结束位置时，控制器40检测当前时间点处的图像数据与先前的图像数据中检测出的线性边缘的交叉点(S25)。为了检测线性边缘的交叉点，将基于车辆的移动信息在连续图像中检测出的线性边缘彼此合并，并且检测从所检测出的线性边缘至照相机中心位置延伸的多条直线的交叉点。在此，在本公开中，使用位于一直线上的至多条直线的垂直距离最小的一个点检测为交叉点的RANSAC方案来检测多条直线的交叉点。
另外，根据本公开的控制器40在基于超声波传感器数据而设定的关注区域内检测线性边缘的交叉点。
根据本公开，因为检测出与地面垂直的线性边缘的多个交叉点并且在所检测出的交叉点之中移除在车辆表面上创建的交叉点，所以可估计与障碍物的侧轮廓线以及障碍物的位置有关的信息。因此，在本公开适用于在停车空间识别技术的情况下可更精确地识别停车环境。
另外，在本公开中，当利用在其上测量障碍物位置的所布置并测量的超声波传感器数据回溯(back-track)和所布置并测量的超声波传感器数据与超声波叶模型(ultrasonic lobe model)信息时，可获得与障碍物的边缘位置有关的额外的信息。
如上所述，根据本公开的示例性实施方式，在连续图像中检测真实世界中的与地面垂直的障碍物的线性边缘，并且所检测出的线性边缘的交叉点被估计作为障碍物的边缘的位置，以弥补超声波传感器的缺点，从而使得可以精确地测量障碍物的位置。
虽然已经描述了配置本公开示例性实施方式的所有部件被彼此结合为一个部件或被彼此结合且操作为一个部件，但是本公开不必限于上述示例性实施方式。即，在不背离本公开范围的前提下，还可将所有部件选择性地彼此结合且操作为一个或多个部件。另外，虽然所有部件中的每一个可通过一个独立硬件加以实施，但是作为选择性地彼此结合的各个部件中的一些或者全部可以通过计算机程序加以实施，计算机程序具有在一个或多个硬件中执行彼此结合的一些或所有功能的程序模块。本公开所属领域的技术人员可以容易地推理出配置计算机程序的代码和代码段。计算机程序被存储在计算机可读介质中并且通过计算机来读取并且实行，从而使其可以实施本公开的示例性实施方式。计算机可读介质的实例可包括磁性记录介质、光学记录介质、载波介质等。
另外，在上文中，因为除非具体描述并非如此，否则术语“包括”、“配置”、“具有”等意指可以包括对应的部件，故它们被解释为暗示包括其他部件而非排除其他部件。除非定义并非如此，否则所包含的技术与科学术语的所有术语具有与本公开所属领域的技术人员通常所理解的含义相同的含义。除非在本说明书中清晰地定义，否则通常使用的术语(诸如在词典中定义的术语)应当被解释为与相关技术背景内的含义相同的含义并且不应当被解释为理想或过度形式化的含义。
上文中已经说明性地描述了本公开的精神。本领域中的技术人员将理解的是，在不背离本公开的实质特性的前提下可进行各种修改和改变。因此，在本公开中公开的示例性实施方式不限于本公开的精神而是用于描述本公开的精神。本公开的范围不限于这些示例性实施方式。本公开的范围应当由所附权利要求来解释，并且应当解释的是，等同于所附权利要求的所有精神均落在本公开的范围内。
图中的各个元件的符号
10：驾驶员操作检测器
20：照相机
30：超声波传感器
40：控制器
50：显示器

Claims (18)

1.一种用于在车辆中识别障碍物的位置的方法，包括以下步骤：
通过照相机和超声波传感器分别获得图像数据和超声波传感器数据；
检测所述图像数据中的与地面垂直的线性边缘；
检测非连续位置，在所述非连续位置处，所述超声波传感器数据不是连续的；
当所述非连续位置与照相机位置一致时，检测来自所述图像数据的连续图像中检测出的所述线性边缘与所述照相机的中心位置彼此连接的多条直线的交叉点；以及
将所述交叉点估计为所述障碍物的位置。
2.根据权利要求1所述的用于在车辆中识别障碍物的位置的方法，其中，检测所述线性边缘包括：
基于所述图像数据的边缘图像来执行距离转换；
在执行了所述距离转换的图像中创建极座标图；以及
提取所述线性边缘，在所述线性边缘中，通过所述极座标图分布了大多数的边缘像素。
3.根据权利要求1所述的用于在车辆中识别障碍物的位置的方法，其中，在检测所述线性边缘的过程中，通过基于照相机信息和障碍物信息估计所述图像数据中的所述障碍物的线性边缘开始位置和线性边缘结束位置来检测所述线性边缘。
4.根据权利要求1所述的用于在车辆中识别障碍物的位置的方法，检测所述非连续位置进一步包括确认与所述照相机位置一致的所述非连续位置是否是障碍物感测开始位置。
5.根据权利要求4所述的用于在车辆中识别障碍物的位置的方法，其中，在检测所述线性边缘的所述交叉点的过程中，当确认了所述照相机位置是所述障碍物感测开始位置时，检测出从所述图像数据和随后的图像中检测出的线性边缘朝向所述照相机延伸的多条直线的交叉点。
6.根据权利要求5所述的用于在车辆中识别障碍物的位置的方法，其中，在检测所述线性边缘的所述交叉点的过程中，检测出距离所述多条直线的垂直距离最小的一个点。
7.根据权利要求1所述的用于在车辆中识别障碍物的位置的方法，其中，在检测所述非连续位置的过程中，确认与所述照相机位置一致的所述非连续位置是否是障碍物感测结束位置。
8.根据权利要求7所述的用于在车辆中识别障碍物的位置的方法，其中，在检测所述线性边缘的所述交叉点的过程中，当确认了所述照相机位置是所述障碍物感测结束位置时，检测出从所述图像数据和先前的图像中检测出的线性边缘朝向所述照相机延伸的多条直线的交叉点。
9.根据权利要求8所述的用于在车辆中识别障碍物的位置的方法，其中，在检测所述线性边缘的所述交叉点的过程中，检测出距离所述多条直线的垂直距离最小的一个点。
10.一种用于在车辆中识别障碍物的位置的装置，包括：
照相机，被配置为拍摄所述车辆周围的图像数据；
超声波传感器，被配置为感测所述车辆周围的障碍物；以及
控制器，被配置为基于所述车辆的移动信息检测所述图像数据中的与地面垂直的线性边缘以在存储器中存储所述线性边缘；检测从所述超声波传感器输出的超声波传感器数据的非连续位置；并且当所述非连续位置与所述照相机位置一致时，检测在基于照相机位置的预定距离内所获得的连续图像数据中检测出的所述线性边缘与所述照相机的中心位置彼此连接的多条直线的交叉点，以识别所述交叉点作为所述障碍物的边缘的位置。
11.根据权利要求10所述的用于在车辆中识别障碍物的位置的装置，其中，所述控制器将所述图像数据转换为边缘图像；对所述边缘图像执行距离转换；并且然后创建极座标图以提取其中分布了大多数的边缘像素的线性边缘。
12.根据权利要求10所述的用于在车辆中识别障碍物的位置的装置，其中，所述控制器基于照相机信息和障碍物信息估计所述图像数据中的所述障碍物的线性边缘开始位置和线性边缘结束位置以检测所述线性边缘。
13.根据权利要求10所述的用于在车辆中识别障碍物的位置的装置，其中，所述控制器检测在基于所述超声波传感器数据而设定的关注区域内的所述线性边缘的所述交叉点。
14.根据权利要求10所述的用于在车辆中识别障碍物的位置的装置，其中，当所述照相机位置与障碍物感测开始位置一致时，所述控制器检测从所述图像数据与随后的图像数据中检测出的线性边缘朝向所述照相机延伸的多条直线的交叉点。
15.根据权利要求12所述的用于在车辆中识别障碍物的位置的装置，其中，当所述照相机位置与障碍物感测开始位置一致时，所述控制器检测从所述图像数据与随后的图像数据中检测出的线性边缘朝向所述照相机延伸的多条直线的交叉点。
16.根据权利要求15所述的用于在车辆中识别障碍物的位置的装置，其中，所述控制器计算位于一直线上的距离所述多条直线的垂直距离最小的一个点。
17.根据权利要求10所述的用于在车辆中识别障碍物的位置的装置，其中，当所述照相机位置与障碍物感测结束位置一致时，所述控制器检测从所述图像数据与先前的图像数据中检测出的线性边缘朝向所述照相机延伸的多条直线的交叉点。
18.根据权利要求17所述的用于在车辆中识别障碍物的位置的装置，其中，所述控制器计算位于一直线上的距离所述多条直线的垂直距离最小的一个点。
CN201510388800.XA 2014-11-03 2015-07-03 用于在车辆中识别障碍物位置的装置和方法 Active CN106183990B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140151564A KR101637716B1 (ko) 2014-11-03 2014-11-03 차량의 장애물 위치 인식 장치 및 방법
KR10-2014-0151564 2014-11-03

Publications (2)

Publication Number Publication Date
CN106183990A CN106183990A (zh) 2016-12-07
CN106183990B true CN106183990B (zh) 2019-09-06

Family

ID=55853204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510388800.XA Active CN106183990B (zh) 2014-11-03 2015-07-03 用于在车辆中识别障碍物位置的装置和方法

Country Status (3)

Country Link
US (1) US10186039B2 (zh)
KR (1) KR101637716B1 (zh)
CN (1) CN106183990B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017192144A1 (en) * 2016-05-05 2017-11-09 Harman International Industries, Incorporated Systems and methods for driver assistance
KR101932041B1 (ko) * 2017-03-02 2018-12-24 충북대학교 산학협력단 듀얼 라이다 센서 캘리브레이션 방법 및 장치
CN106951861A (zh) * 2017-03-20 2017-07-14 上海与德科技有限公司 超声波手势识别方法及装置
US10742959B1 (en) * 2017-12-29 2020-08-11 Perceive Corporation Use of machine-trained network for misalignment-insensitive depth perception
DE102018205532A1 (de) * 2018-04-12 2019-10-17 Robert Bosch Gmbh Verfahren zum Erkennen eines Hindernisses vor einem Fahrzeug
US20200063401A1 (en) * 2018-08-22 2020-02-27 Deere & Company Terrain Feed Forward Calculation
US10380440B1 (en) 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
CN109784344B (zh) * 2019-01-24 2020-09-29 中南大学 一种用于地平面标识识别的图像非目标滤除方法
US11847833B2 (en) 2020-02-12 2023-12-19 Strattec Security Corporation Broad coverage non-contact obstacle detection
CN112946661B (zh) * 2021-02-08 2023-10-20 同致电子科技（厦门）有限公司 一种基于360°环视系统多目视觉的路沿检测方法及装置
CN113486836B (zh) * 2021-07-19 2023-06-06 安徽江淮汽车集团股份有限公司 针对低通度障碍物的自动驾驶操控方法
CN117148363B (zh) * 2023-09-06 2024-05-07 广州优创电子有限公司 一种超声波探测障碍物高度的方法及系统

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US6963661B1 (en) * 1999-09-09 2005-11-08 Kabushiki Kaisha Toshiba Obstacle detection system and method therefor
JP2001315603A (ja) * 2000-05-09 2001-11-13 Matsushita Electric Ind Co Ltd 運転支援装置
DE60207655T2 (de) * 2001-09-07 2006-06-08 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum Anzeigen der Umgebung eines Fahrzeuges und System zur Bildbereitstellung
SE526913C2 (sv) * 2003-01-02 2005-11-15 Arnex Navigation Systems Ab Förfarande i form av intelligenta funktioner för fordon och automatiska lastmaskiner gällande kartläggning av terräng och materialvolymer, hinderdetektering och styrning av fordon och arbetsredskap
JP3915746B2 (ja) * 2003-07-01 2007-05-16 日産自動車株式会社 車両用外界認識装置
DE102005013225A1 (de) * 2005-03-18 2006-09-28 Fluyds Gmbh Objektverfolgungs- und Situationsanalysesystem
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP4352034B2 (ja) * 2005-09-13 2009-10-28 株式会社東芝 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム
JP4760272B2 (ja) * 2005-09-30 2011-08-31 アイシン精機株式会社 車両周辺監視装置及びセンサユニット
JP4682816B2 (ja) 2005-11-17 2011-05-11 アイシン精機株式会社 障害物位置検出装置
JP5130638B2 (ja) * 2006-03-22 2013-01-30 日産自動車株式会社 回避操作算出装置、回避制御装置、各装置を備える車両、回避操作算出方法および回避制御方法
JP4835459B2 (ja) * 2007-02-16 2011-12-14 富士通株式会社 表認識プログラム、表認識方法および表認識装置
JP4793307B2 (ja) * 2007-04-03 2011-10-12 株式会社デンソー 車両周辺監視装置
JP5050735B2 (ja) * 2007-08-27 2012-10-17 マツダ株式会社 車両用運転支援装置
JP5380941B2 (ja) * 2007-10-01 2014-01-08 日産自動車株式会社 駐車支援装置及び方法
JP2009083743A (ja) 2007-10-02 2009-04-23 Alpine Electronics Inc 車両用警報装置
JP5177510B2 (ja) * 2008-03-27 2013-04-03 アイシン精機株式会社 超音波センサ
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
US8442755B2 (en) * 2008-09-29 2013-05-14 GM Global Technology Operations LLC Systems and methods for preventing motor vehicle side doors from coming into contact with obstacles
KR101244605B1 (ko) 2008-12-02 2013-03-25 주식회사 만도 주차공간 인식 방법 및 그 장치
JP5035284B2 (ja) * 2009-03-25 2012-09-26 株式会社日本自動車部品総合研究所 車両周辺表示装置
DE102009029439A1 (de) 2009-09-14 2011-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
KR101283792B1 (ko) 2009-11-17 2013-07-08 주식회사 만도 주차공간 인식 방법 및 장치
JP5511431B2 (ja) 2010-02-22 2014-06-04 本田技研工業株式会社 駐車支援装置
JP5484123B2 (ja) 2010-02-26 2014-05-07 三菱電機株式会社 車両周辺障害物検出装置
JP5501452B2 (ja) * 2010-05-19 2014-05-21 三菱電機株式会社 車両後方監視装置
JP2012071635A (ja) * 2010-09-28 2012-04-12 Aisin Seiki Co Ltd 駐車支援装置
JP2013002927A (ja) * 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
EP2741270B1 (en) * 2011-08-02 2020-11-25 Nissan Motor Co., Ltd. Driving assistance apparatus and driving assistance method
US8842495B2 (en) * 2011-09-23 2014-09-23 Rethink Robotics, Inc. Ultrasonic motion detection
JP5682788B2 (ja) * 2011-09-27 2015-03-11 アイシン精機株式会社 車両周辺監視装置
CN102508246B (zh) 2011-10-13 2013-04-17 吉林大学 车辆前方障碍物检测跟踪方法
JP5986364B2 (ja) * 2011-10-17 2016-09-06 キヤノン株式会社 三次元形状計測装置、三次元形状計測装置の制御方法、およびプログラム
US9740943B2 (en) * 2011-12-19 2017-08-22 Nissan Motor Co., Ltd. Three-dimensional object detection device
KR20130072709A (ko) 2011-12-22 2013-07-02 현대자동차주식회사 영상인식 및 초음파 센서 기술 융합기반 주차 지원 시스템
DE102012001554A1 (de) 2012-01-26 2013-08-01 Connaught Electronics Ltd. Verfahren zum Betreiben einer Fahrerassistenzeinrichtung eines Kraftfahrzeugs,Fahrerassistenzeinrichtung und Kraftfahrzeug
US9429650B2 (en) 2012-08-01 2016-08-30 Gm Global Technology Operations Fusion of obstacle detection using radar and camera
DE102012022336A1 (de) * 2012-11-14 2014-05-15 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Kraftfahrzeugs in eine Garage, Parkassistenzsystem und Kraftfahrzeug
DE112013007129B4 (de) * 2013-05-31 2021-08-12 Toyota Jidosha Kabushiki Kaisha Bewegungstrajektorienvorhersagevorrichtung und Bewegungstrajektorienvorhersageverfahren
US9224060B1 (en) * 2013-09-17 2015-12-29 Amazon Technologies, Inc. Object tracking using depth information
US9529074B2 (en) * 2013-10-10 2016-12-27 Dizic Co., Ltd. Ranging method, ranging device, location device and location method
US9020442B1 (en) * 2013-10-10 2015-04-28 Dizic Co., Ltd. Ranging method, ranging device, location device and location method
KR101470240B1 (ko) * 2013-11-14 2014-12-08 현대자동차주식회사 주차 영역 검출 장치 및 그 방법
DE102013021326A1 (de) * 2013-12-17 2015-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren einer auf einem Boden aufgebrachten Markierung, Fahrerassistenzeinrichtung und Kraftfahrzeug
DE112014006876T5 (de) * 2014-08-21 2017-05-18 Mitsubishi Electric Corporation Fahrassistenzvorrichtung, Fahrassistenzverfahren und Programm
US9792688B2 (en) * 2015-10-02 2017-10-17 Mitsubishi Electric Corporation Position detection device
CN111542860A (zh) * 2016-12-30 2020-08-14 迪普迈普有限公司 用于自主车辆的高清地图的标志和车道创建
US10410340B2 (en) * 2017-03-04 2019-09-10 Wipro Limited Method and system for marking content on the surface of an object using laser

Also Published As

Publication number Publication date
US20160125588A1 (en) 2016-05-05
KR20160051462A (ko) 2016-05-11
KR101637716B1 (ko) 2016-07-07
US10186039B2 (en) 2019-01-22
CN106183990A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106183990B (zh) 用于在车辆中识别障碍物位置的装置和方法
CN109017570B (zh) 车辆周围场景呈现方法和装置、车辆
CN107738612B (zh) 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN104517111B (zh) 车道线检测方法、系统、车道偏离预警方法及系统
KR101609303B1 (ko) 카메라 캘리브레이션 방법 및 그 장치
EP3110145B1 (en) External-environment recognition system, vehicle, and camera-dirtiness detection method
TWI417207B (zh) Image - based obstacle detection reversing warning system and method
CN106324618B (zh) 实现基于激光雷达检测车道线系统的方法
CN106183979B (zh) 一种根据车距对车辆进行提醒的方法和装置
CN106289159B (zh) 基于测距补偿的车辆测距方法及装置
US20180101739A1 (en) Rear obstacle detection and distance estimation
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
Lin et al. Lane departure and front collision warning using a single camera
CN103630122B (zh) 一种单目视觉车道线检测方法及其测距方法
EP3594853A2 (en) Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
CN106546257B (zh) 车距测量方法及装置、车辆相对速度测量方法及装置
CN104834889A (zh) 标志线检测系统和标志线检测方法
JP6139465B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
EP2579230A1 (en) Device for monitoring vicinity of vehicle
JP2008168811A (ja) 車線認識装置、車両、車線認識方法、及び車線認識プログラム
JP2017138736A (ja) 画像処理装置及び水滴除去システム
JP6394440B2 (ja) 汚れ判定装置
CN104076363A (zh) 基于多传感器的自动导引小车障碍物快速检测方法
JP2009245042A (ja) 交通流計測装置及びプログラム
KR101612822B1 (ko) 차선 인식 장치 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant