CN107662560A - 车辆边界检测 - Google Patents

车辆边界检测 Download PDF

Info

Publication number
CN107662560A
CN107662560A CN201710622324.2A CN201710622324A CN107662560A CN 107662560 A CN107662560 A CN 107662560A CN 201710622324 A CN201710622324 A CN 201710622324A CN 107662560 A CN107662560 A CN 107662560A
Authority
CN
China
Prior art keywords
vehicle
image
size
combination
combination image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710622324.2A
Other languages
English (en)
Other versions
CN107662560B (zh
Inventor
埃里克·迈克尔·拉沃伊
胡征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107662560A publication Critical patent/CN107662560A/zh
Application granted granted Critical
Publication of CN107662560B publication Critical patent/CN107662560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种车辆包括摄像机和处理器，该处理器配置为：通过摄像机记录图像；组合记录的图像；通过将组合图像的每个像素与阈值进行比较来识别组合图像中的边缘；基于识别的边缘来更新车辆的尺寸；基于更新的尺寸执行自动停车程序。

Description

车辆边界检测
技术领域
本公开涉及车辆尺寸的自动检测。
背景技术
现有车辆包括取决于精确的车辆尺寸的自主驾驶技术(例如，自动停车程序或自动转向程序)。例如，当确定潜在的地点是否可以容纳车辆时，自主停车程序依赖于车辆的长度和宽度。一个解决方案是在制造时对车辆尺寸进行预编程。然而，客户可能会将物体(例如自行车架)附加到车辆上，这改变车辆的尺寸并且使得编程尺寸不准确。需要一个新的解决方案来准确地和自动地确定车辆的更新尺寸。
发明内容
符合本公开的一种车辆包括摄像机和处理器，该车辆配置为：通过摄像机记录图像；组合记录的图像；通过将组合图像的每个像素与阈值进行比较来识别组合图像中的边缘；基于识别的边缘来更新车辆的尺寸；基于更新的尺寸来执行自动停车程序。
根据本发明，提供一种车辆，包括摄像机和处理器，处理器配置为：
通过摄像机记录图像；
组合记录的图像；
识别组合图像中的边缘；
基于识别的边缘来更新车辆的尺寸。
根据本发明的一个实施例，其中处理器配置为：仅在组合中包括满足预定标准的记录的图像。
根据本发明的另一个实施例，其中预定标准是当前钥匙循环，使得处理器配置为仅在组合中包括当前钥匙循环的记录的图像。
根据本发明的另一个实施例，其中处理器配置为：在执行组合之前校准记录的图像。
根据本发明的另一个实施例，其中处理器配置为：通过将组合图像的每个像素与像素阈值进行比较来识别组合图像中的边缘。
根据本发明的另一个实施例，其中处理器配置为：基于检测到的组合图像的特征来计算像素阈值。
根据本发明的另一个实施例，其中处理器配置为：在更新车辆的尺寸之前，确认识别的边缘的连续性。
根据本发明的另一个实施例，其中处理器配置为：基于更新的尺寸来执行自动停车程序。
根据本发明的另一个实施例，该车辆包括指向车辆后部的多个摄像机，并且其中处理器配置为：针对每个摄像机生成组合图像；将车辆的尺寸与每个组合图像相关联；确定相关联的尺寸是否不一致。
根据本发明的另一个实施例，其中处理器配置为：识别组合图像中的最外边缘，只有识别的最外边缘位于组合图像的预定像素区域内，才基于识别的最外边缘来更新车辆的尺寸，预定像素区域仅包括组合图像的像素的一部分。
根据本发明，还提供一种通过包括摄像机的车辆的处理器来测定尺寸的方法，方法包括：
通过摄像机记录图像；
组合记录的图像；
识别组合图像中的边缘；
基于识别的边缘来更新车辆的尺寸。
根据本发明的另一个实施例，该方法包括：仅在组合中包括满足预定标准的记录的图像。
根据本发明的另一个实施例，其中预定标准是当前钥匙循环，使得方法仅在组合中包括当前钥匙循环的记录的图像。
根据本发明的另一个实施例，该方法包括：在执行组合之前校准记录的图像。
根据本发明的另一个实施例，该方法包括：通过将组合图像的每个像素与像素阈值进行比较来识别组合图像中的边缘。
根据本发明的另一个实施例，该方法包括：基于检测到的组合图像的特征来计算像素阈值。
根据本发明的另一个实施例，该方法包括：在更新车辆的尺寸之前，确认识别的边缘的连续性。
根据本发明的另一个实施例，该方法包括：基于更新的尺寸来执行自动停车程序。
根据本发明的另一个实施例，其中车辆包括指向车辆后部的多个摄像机，并且其中方法包括：针对每个摄像机生成组合图像；将车辆的尺寸与每个组合图像相关联；确定相关联的尺寸是否不一致。
根据本发明的另一个实施例，该方法包括：识别组合图像中的最外边缘，只有识别的最外边缘位于组合图像的预定像素区域内，才基于识别的最外边缘来更新车辆的尺寸，预定像素区域仅包括组合图像的像素的一部分。
附图说明
为了更好地理解本发明，可以参考以下附图中所示的实施例。附图中的部件不一定按比例绘制，并且可以省略相关的元件，或者在某些情况下可能会夸大其比例，以便强调并且清楚地说明本文所描述的新颖的特征。此外，如本领域已知的系统部件可以被不同地布置。进一步地，在附图中，在几个视图中相同的附图标记表示相应的部件。
图1是车辆计算系统的框图；
图2是包括车辆计算系统的车辆的示意图；
图3是由局部传感器记录的图像的示意图；
图4是由局部传感器记录的示例图像；
图5是图4的图像的分析；
图6是示例组合图像；
图7是图6的组合图像的分析；
图8是方法的框图；
图9是示出图8的方法的框的细节的框图。
具体实施方式
虽然可以以各种形式实施本发明，但是在附图中示出并且将在下文中描述一些示例性和非限制性实施例，应当理解，本公开被认为是本发明的示例，并且不旨在将本发明限制于所示的具体实施例。
在本申请中，反义连接词的使用旨在包括连接词。使用的定冠词或不定冠词不旨在表示基数。特别地，对“所述”或“一个”和“一个”物体的引用也用于表示可能的多个这样的物体中的一个。进一步地，连接词“或”可以用于传达作为一个选择的同时存在的特征和作为另一选择的相互排斥的替代物。换句话说，连接词“或”应该理解为包括作为一个选项的“和/或”，并且包括作为另一选项的“任一/或”。
图1示出了示例车辆200的计算系统100。车辆200也被称为第一车辆200。车辆200包括马达、电池、由马达驱动的至少一个车轮以及转向系统，转向系统配置为绕轴线转动至少一个车轮。合适的车辆也描述在例如以下美国专利文献中：Miller等人的美国专利申请第14/991,496号(“Miller”)、授予Prasad等人的美国专利第8,180,547号(“Prasad”)、Lavoie等人的美国专利申请第15/186,850号(“Lavoie”)以及Hu等人是美国专利申请第14/972,761号(“Hu”)，其全部内容通过引用并入本文。计算系统100能够自动控制装置内的机械系统。它还能与外部装置通信。计算系统100包括数据总线101、一个或多个处理器108、易失性存储器107、非易失性存储器106、用户界面105、远程信息处理单元104、执行器和马达103以及局部传感器102。
数据总线101在电子部件之间传送电子信号或数据。处理器108对电子信号或数据执行操作以产生经修改的电子信号或数据。易失性存储器107存储用于由处理器108立即调用的数据。非易失性存储器106存储用于调用到易失性存储器107和/或处理器108的数据。非易失性存储器106包括一系列非易失性存储器，包括硬盘驱动器、SSD(固态存储器)、DVD(数字化视频光盘)、蓝光光盘等。用户界面105包括显示器、触摸屏显示器、键盘、按钮和使得用户能够与计算系统交互的其他装置。远程信息处理单元104能够通过蓝牙、蜂窝数据(例如，3G(第三代移动通信)、LTE(长期演进技术))、USB(通用串行总线)等与外部处理器进行有线和无线通信。远程信息处理单元104可以配置为以特定频率播送信号。
执行器/马达103产生物理结果。执行器/马达的例子包括燃料喷射器、挡风玻璃刮水器、制动灯回路、变速箱、安全气囊、发动机、动力传动系统马达、转向器等。局部传感器102将数字读数或测量值传送到处理器108。合适的传感器的例子包括温度传感器、旋转传感器、座椅安全带传感器、速度传感器、摄像机、激光雷达传感器、雷达传感器等。应当理解，图1的各种连接的部件可以包括单独的或专用的处理器和存储器。例如，在Miller和/或Prasad中描述了计算系统100的结构和操作的进一步细节。
图2大体地示出和阐明了包括计算系统100的车辆200。虽然未示出，车辆200与诸如移动电话的移动装置进行操作性无线通信。一些局部传感器102安装在车辆200的外部。局部传感器102a可以是超声波传感器、激光雷达传感器、摄像机、视频摄像机和/或麦克风等。局部传感器102a可以配置为检测车辆200前方的物体。局部传感器102b可以是超声波传感器、激光雷达传感器、摄像机、视频摄像机和/或麦克风等。局部传感器102b可以配置为检测车辆200后面的物体，如后方感测范围109b所示。左传感器102c和右传感器102d可以配置为对车辆200的左和右侧执行相同的功能。车辆200包括位于车辆内部或车辆外部上的大量其他传感器102。这些传感器可以包括在Prasad中公开的任何或全部传感器。
应当理解，车辆200配置为执行下面描述的方法和操作。在一些情况下，车辆200配置为通过存储在计算系统100的易失性和/或非易失性存储器上的计算机程序来执行这些功能。当处理器与存储具有体现本公开操作的代码或指令的软件程序的存储器进行操作性通信时，处理器“配置为”执行所公开的操作。关于处理器、存储器和程序如何协作的进一步说明在Prasad中存在。应当理解，移动装置或与车辆200操作性通信的外部服务器执行下面讨论的一些或全部方法和操作。
根据各种实施例，车辆200包括Prasad的车辆100a的一些或全部特征。根据各种实施例，计算系统100包括Prasad的图2的车辆计算和通信系统(VCCS)102的一些或全部特征。根据各种实施例，车辆200与Prasad的图1所示的一些或全部装置通信，包括移动装置110、通信塔116、电信网络118、因特网120和数据处理中心122。根据各种实施例，车辆200是Hu的车辆14，并且计算系统100包括Hu的图2中所示的拖车倒车辅助系统10的一些或全部特征。
当在权利要求中使用时，术语“负载车辆”在此定义为：“一种车辆，包括：马达、多个车轮、动力源和转向系统；其中马达将扭矩传递到多个车轮中的至少一个，从而驱动多个车轮中的至少一个；其中动力源向马达供应能量；并且其中转向系统配置为转向多个车轮中的至少一个。”当在权利要求中使用时，术语“全配备的电动车辆”在此定义为：“一种车辆，包括：电池、多个车轮、马达、转向系统；其中马达将扭矩传递到多个车轮中的至少一个，从而驱动多个车轮中的至少一个；其中电池是可再充电的并且配置为向马达供应电能，从而驱动马达；并且其中转向系统配置为转向多个车轮中的至少一个。”
图3是具有拖车牵引装置202的车辆后部201的由后部摄像机102b拍摄的图像300。图像300是后方感测范围109b的视图。拖车牵引装置202具有外边界201a和内边界201b。内边界201b构成特征的外边缘，例如延伸穿过拖车牵引装置202的孔或在拖车牵引装置202上垂直延伸的柱。图像300包括地面301a(例如，路面或草坪)和外部物体301b(例如垃圾，动物)。地面301a和外部物体301b对车辆200的尺寸没有贡献并且因此称为噪声。
应当理解，拖车牵引装置202仅是附加到车辆200上的物体的示例。本发明可以应用于附加到车辆端201的任何其它物体(例如，自行车架)。应当理解，本文公开的方法可以应用于车辆的任何侧面或部分(例如，侧门或格栅)。应当进一步理解，本文公开的方法可以应用于车辆环境以外(例如，测定建筑物的尺寸)。
如上所述，诸如自主驾驶程序和自主停车程序的一系列软件程序取决于车辆200的精确尺寸(例如长度、宽度、高度)。当客户将物体固定在车辆上(例如拖车牵引装置202、自行车架)时，车辆的工厂预加载尺寸不再精确(例如为技术目的车辆的实际长度应为车辆的原始长度加上附加物体的长度)。本发明配置为确定固定到车辆200上的物体(例如，拖车牵引装置202或自行车架)的尺寸，然后相应地更新或扩大工厂预加载尺寸。软件程序依赖于更新或扩大的尺寸，而不是工厂预加载尺寸。
图8是更新车辆尺寸以考虑附加物体的方法800的框图。车辆200(通过存储在存储器中并且由处理器执行的适当的程序)配置为执行方法800。方法800通常涉及通过由局部传感器102之一记录的图像或照片得到附加到车辆200的物体的尺寸。
在框802处，方法800开始。方法800可以响应于各种命令或检测状态的范围而开始。根据各种实施例，方法800响应于(a)车辆检测到从驻车挡位到驱动挡位或倒车挡位的转换，(b)车辆达到一定速度，(c)来自相关程序(例如自主驾驶程序)的命令，和/或(d)车辆启动(即新的钥匙循环)而在框802处开始。
在框804处，局部传感器102之一捕获车辆的一系列图像。例如，后部局部传感器102b可以捕获车辆201的端部的一系列静止图像300。如前所述，图像300包括车辆200的部分、附加到车辆200的物体(例如，拖车牵引装置202)、噪音301、302(例如地面垃圾、动物等)。
对于方法800的每个周期，捕获的图像的数量可以预定。捕获图像之间经过的时间可以预定。如下所述，捕获图像的预定数量可以取决于平均或组合图像的像素或强度值。例如，车辆200可以继续捕获图像300，直到捕获图像的识别部分(例如左上侧)的平均像素值达到预定值或预定值的范围。或者或另外，车辆200可以继续捕获图像，直到平均或组合图像的至少预定数量的像素遵循一些预定关系(例如一半像素在彼此15个像素或强度值之内)。
如上所述，在框804处，车辆200将所捕获的图像300平均或组合成平均或组合的图像。根据各种实施例，车辆200仅平均满足预定标准(例如，在当前钥匙循环内的最后X秒内获取的图像300，在方法800的当前周期内获取(方法800重复))的捕获图像300。
通常，平均过程包括在可选地稳定图像之后(即，将它们校准以考虑到局部传感器102的轻微振动)来平均一系列捕获图像300中的像素。例如，在一些图像300中，每个像素与范围从0到255的像素或强度值相关联。车辆200选择像素位置(例如左上像素)。车辆200添加每个拍摄图像的左上像素的像素或强度值。车辆200将附加值除以拍摄图像的数量。车辆200针对每个像素位置重复该过程。
在框806处，车辆200找到平均或组合图像内的物体的外边缘。外边缘将示出车辆200(例如车辆后部201)以及附加到车辆(例如拖车牵引装置202)的物体的外边缘。车辆200通过分析平均或组合的图像来找到外边缘。下面参照图9更详细地描述分析过程。通常，分析过程涉及确定在静态地附加到车辆200上的物体和模糊背景噪声之间的界面。
在框808处，车辆200参考与记录图像的局部传感器102(例如局部传感器102b)有关的校准数据。校准数据可以包括局部传感器102的位置和角度。如下所述，校准数据使得车辆200能够将平均图像上的特定像素与真实世界的空间位置相关联。因此，校准数据使得车辆200能够确定由特定像素限定的物体的尺寸。
在框810处，车辆200基于在框806处确定的平均图像的识别的外边缘来确定车辆200(例如车辆后部201)和附加到车辆(例如拖车牵引装置202)的任何物体的尺寸，并且在框808处加载校准数据。如果尺寸满足预定标准，则车辆200进行到框812和814。
预定标准可以是落在预定区域内的新确定的尺寸。图3示出了示例性预定区域302。如果任何尺寸落在预定区域302之外，则车辆200可以在框816处自动拒绝该尺寸。区域302可以是预设的，并且如图3所示，以预定的长度和宽度延伸。应当理解，可以在在测定尺寸之前通过确认平均或组合图像的外边缘落入预定像素区域(预定区域302可以对应于预定像素区域，使得如果平均或组合的图像的外边缘落在预定像素区域之外，则外边缘不满足预定标准)来执行该过程。
如果在框810处，尺寸(或如上所述的外边缘)满足预定标准，则在框812处，车辆200以安全系数增加尺寸。安全系数可以是应用于尺寸的乘数(例如1.3)(例如，如果附加物体的长度为10cm，则附加物体的长度增加为13cm)。框812是可选的。车辆200在框814处保存增加的尺寸，以供上述其他技术使用。例如，自主停车程序可以当确定空闲空间是否适合作为停车地点时或当确定停车操纵进入开放停车位时应用增加的尺寸。
如果尺寸(或外边缘，如上所述)不能满足预定标准，则车辆200在框816处拒绝尺寸并且返回到框802。在方法800的预定数量的周期(可以是单个周期)之后，如果车辆200不能找到满足预定标准的尺寸(或外边缘)，则车辆200将尺寸标记为未知。未知标记可能导致依赖于车辆尺寸的其他程序(例如，自主停车程序)显示错误消息或禁用。当车辆200将尺寸标记为未知时，车辆200可以自动地在用户界面105上的屏幕呈现，使得客户能够手动输入尺寸。车辆200将手动输入尺寸保存为增加的尺寸。
图9大体地示出并阐述了框806的细节。如上所述，框806使得车辆200能够找到出现在平均或组合图像中的物体或结构的外边缘。在框902处，车辆200加载或确定一个或多个阈值。阈值可以是预定的。阈值可以基于平均或组合图像的特征(例如，预定像素的特定部分的平均值)。在框904处，车辆200将平均或组合图像的每个像素与阈值之一进行比较。如果比较的像素超过阈值至少预定的程度(例如，一个像素或强度值)，则车辆200将像素标记为活跃的。否则，车辆200将像素标记为不活跃。框904继续，直到车辆200确定平均或组合图像的每个像素的活跃的/不活跃的状态。
在框906处，车辆200找到平均或组合图像内的物体的外边缘。更具体地，车辆200将外边缘设置为等于最外的活跃的像素，使得每个活跃的像素在外边缘之一或位于外边缘内。在框908处，车辆200确认外边缘是连续的(即形成完整边界)。如果外边缘是不连续的(例如包括中断)，则车辆200进行到图8的框816。如果边缘是连续的(例如，不包括中断)，则车辆200进行到框808和810。
图4是由后部局部传感器102b拍摄的图像300a。图像300a示出了地面301a、外部物体301b(在这种情况下是石头)、车辆后部201和拖车牵引装置202。图5示出了图像300a的分析400a。分析400a已经结合了框806的步骤，但不包括框804的步骤。白色像素表示活跃的像素。暗像素表示不活跃的像素。注意，地面301a和外部物体301b的部分已被错误地标记为活跃的。因此外边缘将是错误的。
图6是平均或组合图像600a。图6示出了框804的结果。注意，作为平均或组合的结果，地面301a和外部物体301b一起模糊，而车辆201和拖车牵引装置202的端部保持清楚。图7示出了图像600a的分析600b。这里，分析600b包括框804和806两者。注意，与图5的分析300b相比，现在已经正确地标记了车辆200和拖车牵引装置202的边缘。在分析600b的顶部上的一些像素由于模糊不清而被错误地标记为活跃的。因此，附加图像必须被合并到平均或组合图像600a中以产生连续的外边缘。
应当理解，车辆200可以包括指向相同大体位置(例如，车辆200的后部)的多个局部传感器102。因此，车辆200可以为每个局部传感器执行方法800，然后比较与每个局部传感器102相关联的尺寸。如果尺寸不一致，则车辆200可以拒绝每个局部传感器102的结果并且将尺寸标记为未知。

Claims (15)

1.一种车辆，包括摄像机和处理器，所述处理器配置为：
通过所述摄像机记录图像；
组合所述记录的图像；
识别所述组合图像中的边缘；
基于所述识别的边缘来更新所述车辆的尺寸。
2.根据权利要求1所述的车辆，其中所述处理器配置为：
仅在所述组合中包括满足预定标准的记录的图像。
3.根据权利要求2所述的车辆，其中所述预定标准是当前钥匙循环，使得所述处理器配置为仅在所述组合中包括所述当前钥匙循环的记录的图像。
4.根据权利要求1所述的车辆，其中所述处理器配置为：
在执行所述组合之前校准所述记录的图像。
5.根据权利要求1所述的车辆，其中所述处理器配置为：
通过将所述组合图像的每个像素与像素阈值进行比较来识别所述组合图像中的所述边缘。
6.根据权利要求5所述的车辆，其中所述处理器配置为：
基于检测到的所述组合图像的特征来计算所述像素阈值。
7.根据权利要求6所述的车辆，其中所述处理器配置为：
在更新所述车辆的所述尺寸之前，确认所述识别的边缘的连续性。
8.根据权利要求1所述的车辆，包括指向所述车辆后部的多个摄像机，并且其中所述处理器配置为：
针对每个摄像机生成组合图像；
将所述车辆的尺寸与每个组合图像相关联；
确定所述相关联的尺寸是否不一致。
9.根据权利要求1所述的车辆，其中所述处理器配置为：
识别所述组合图像中的最外边缘，
只有当所述识别的最外边缘位于所述组合图像的预定像素区域内时，才基于所述识别的最外边缘来更新所述车辆的所述尺寸，所述预定像素区域仅包括所述组合图像的所述像素的一部分。
10.一种通过包括摄像机的车辆的处理器来测定尺寸的方法，所述方法包括：
通过所述摄像机记录图像；
组合所述记录的图像；
识别所述组合图像中的边缘；
基于所述识别的边缘来更新所述车辆的尺寸。
11.根据权利要求10所述的方法，包括：
仅在所述组合中包括满足预定标准的所述记录的图像,
其中所述预定标准是当前钥匙循环，使得所述方法仅在所述组合中包括所述当前钥匙循环中的记录的图像。
12.根据权利要求10所述的方法，包括：
基于检测到的所述组合图像的特征来计算像素阈值；
通过将所述组合图像的每个像素与所述像素阈值进行比较来识别所述组合图像中的所述边缘；并且
在更新所述车辆的所述尺寸之前，确认所述识别的边缘的连续性。
13.根据权利要求10所述的方法，包括：
基于所述更新的尺寸执行自动停车程序。
14.根据权利要求10所述的方法，其中所述车辆包括指向所述车辆后部的多个摄像机，并且其中所述方法包括：
针对每个摄像机生成组合图像；
将所述车辆的尺寸与每个所述组合图像相关联；
确定所述相关联的尺寸是否不一致。
15.根据权利要求10所述的方法，包括：
识别所述组合图像中的最外边缘，
仅当所述识别的最外边缘位于所述组合图像的预定像素区域内时，才基于所述识别的最外边缘来更新所述车辆的所述尺寸，所述预定像素区域仅包括所述组合图像的所述像素的一部分。
CN201710622324.2A 2016-07-27 2017-07-27 车辆边界检测 Active CN107662560B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/221,507 2016-07-27
US15/221,507 US10489662B2 (en) 2016-07-27 2016-07-27 Vehicle boundary detection

Publications (2)

Publication Number Publication Date
CN107662560A true CN107662560A (zh) 2018-02-06
CN107662560B CN107662560B (zh) 2022-08-09

Family

ID=59771645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710622324.2A Active CN107662560B (zh) 2016-07-27 2017-07-27 车辆边界检测

Country Status (6)

Country Link
US (1) US10489662B2 (zh)
CN (1) CN107662560B (zh)
DE (1) DE102017116565A1 (zh)
GB (1) GB2554791A (zh)
MX (1) MX2017009635A (zh)
RU (1) RU2017126727A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108445889A (zh) * 2018-05-15 2018-08-24 深圳市沃特沃德股份有限公司 一种基于智能音响辅助扫地机清扫的方法及其系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635933B2 (en) * 2018-01-23 2020-04-28 Ford Global Technologies, Llc Vision-based methods and systems for determining trailer presence

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198300A (zh) * 2013-03-28 2013-07-10 南通大学 基于双层背景的停车事件检测方法
US20140160276A1 (en) * 2012-09-26 2014-06-12 Magna Electronics Inc. Vehicle vision system with trailer angle detection
GB2530649A (en) * 2014-08-18 2016-03-30 Jaguar Land Rover Ltd Display system and method

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7301479B2 (en) 2003-09-26 2007-11-27 Chrysler Llc Trailer detection circuit for a vehicle park assist system
US20070047834A1 (en) * 2005-08-31 2007-03-01 International Business Machines Corporation Method and apparatus for visual background subtraction with one or more preprocessing modules
US8180547B2 (en) 2009-03-27 2012-05-15 Ford Global Technologies, Llc Telematics system and method for traction reporting and control in a vehicle
DE102009021282A1 (de) 2009-05-14 2010-11-25 GM Global Technology Operations, Inc., Detroit Kraftfahrzeug mit einem Parkassistenzsystem
WO2011014497A1 (en) * 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
CN102782720B (zh) * 2009-12-25 2015-08-05 株式会社理光 对象识别装置、移动主体控制装置及信息提供装置
US8618955B2 (en) 2010-02-23 2013-12-31 GM Global Technology Operations LLC Park assist system and method
US9085261B2 (en) * 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
DE112013000936T5 (de) 2012-02-10 2014-11-27 Zachary T. Bonefas System und Verfahren zum Materialtransport mit einem Bildgebungsgerät am übernehmenden Fahrzeug zur Steuerung der Materialverteilung im Laderaum des übernehmenden Fahrzeugs
DE102012015435A1 (de) 2012-08-03 2014-02-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Rangieren eines Anhängers
US9446713B2 (en) 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
DE102012222443A1 (de) 2012-12-06 2014-06-12 Robert Bosch Gmbh Erkennung eines stationären Objekts mittels eines Kamerasystems
US9533625B2 (en) 2014-10-16 2017-01-03 Ford Global Technologies, Llc Bike rack attachment for vehicle
US9880253B2 (en) 2014-10-28 2018-01-30 Nissan North America, Inc. Vehicle object monitoring system
GB2536429B (en) * 2015-03-13 2018-01-10 Imagination Tech Ltd Image noise reduction
US9854188B2 (en) * 2015-12-16 2017-12-26 Google Llc Calibration of defective image sensor elements

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140160276A1 (en) * 2012-09-26 2014-06-12 Magna Electronics Inc. Vehicle vision system with trailer angle detection
CN103198300A (zh) * 2013-03-28 2013-07-10 南通大学 基于双层背景的停车事件检测方法
GB2530649A (en) * 2014-08-18 2016-03-30 Jaguar Land Rover Ltd Display system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108445889A (zh) * 2018-05-15 2018-08-24 深圳市沃特沃德股份有限公司 一种基于智能音响辅助扫地机清扫的方法及其系统

Also Published As

Publication number Publication date
GB2554791A (en) 2018-04-11
US20180032821A1 (en) 2018-02-01
DE102017116565A1 (de) 2018-02-01
RU2017126727A (ru) 2019-01-28
CN107662560B (zh) 2022-08-09
GB201712063D0 (en) 2017-09-06
US10489662B2 (en) 2019-11-26
MX2017009635A (es) 2018-09-10

Similar Documents

Publication Publication Date Title
US10757330B2 (en) Driver assistance system with variable image resolution
JP5083841B2 (ja) 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
CN110910655A (zh) 一种停车管理方法、装置及设备
CN101933065B (zh) 车辆周围监测装置、车辆及车辆周围监测方法
US8422737B2 (en) Device and method for measuring a parking space
US7280141B1 (en) Fixed pattern noise subtraction in a digital image sensor
US20140071240A1 (en) Free space detection system and method for a vehicle using stereo vision
JP6571424B2 (ja) 故障診断装置
JP2009280109A (ja) 車両周辺監視装置
CN103523014A (zh) 车载装置
JP7108847B2 (ja) 駐車監視システム、駐車監視方法およびプログラム
CN107662560A (zh) 车辆边界检测
CN102713988A (zh) 车辆周围监测装置
CN112509354A (zh) 一种车位检测方法、装置、车辆、可读介质
KR102053268B1 (ko) 차량용 블랙박스 및 이를 이용한 충격 이벤트 판정방법
JP2008184763A (ja) レール継目板の締結ボルト脱落検出方法および脱落検出装置
CN111783595A (zh) 一种车辆泊车方法、装置、车载设备及存储介质
JP3112400B2 (ja) 駐車場の空き場所認識装置および方法
JP5743580B2 (ja) ドライブレコーダ装置
JP4312728B2 (ja) レール継目板の締結ボルトの脱落検出装置
US20220132029A1 (en) Imaging device, image recording device, and imaging method
KR101339454B1 (ko) 모바일 기기의 멀티 센서를 이용한 차량 운행 정보 제공 방법
CN112016533A (zh) 物料检测方法、装置、电子设备和计算机可读存储介质
CN111832418A (zh) 车辆控制方法、装置、车辆和存储介质
JP6970546B2 (ja) 画像記録装置および画像記録方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant