CN112348845A - 用于停车位检测和跟踪的系统和方法 - Google Patents

用于停车位检测和跟踪的系统和方法 Download PDF

Info

Publication number
CN112348845A
CN112348845A CN202010503712.0A CN202010503712A CN112348845A CN 112348845 A CN112348845 A CN 112348845A CN 202010503712 A CN202010503712 A CN 202010503712A CN 112348845 A CN112348845 A CN 112348845A
Authority
CN
China
Prior art keywords
parking space
potential parking
vehicle
potential
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010503712.0A
Other languages
English (en)
Other versions
CN112348845B (zh
Inventor
宋易霖
王祚官
顾群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Black Sesame Intelligent Technology Chongqing Co Ltd
Original Assignee
Black Sesame Intelligent Technology Chongqing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Black Sesame Intelligent Technology Chongqing Co Ltd filed Critical Black Sesame Intelligent Technology Chongqing Co Ltd
Publication of CN112348845A publication Critical patent/CN112348845A/zh
Application granted granted Critical
Publication of CN112348845B publication Critical patent/CN112348845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种停车位跟踪方法，包括：从附接至运动中的车辆的多个相机接收多个相机图像；拼接所述多个相机图像以模拟所述车辆的周围视野；识别所述车辆的所述周围视野中的至少一个潜在停车位；通过所述多个相机的相机运动估算来估算运动参数；以及基于所述运动参数来跟踪所述至少一个潜在停车位。

Description

用于停车位检测和跟踪的系统和方法
技术领域
本发明涉及自动停车辅助(APA)系统，更具体地，涉及利用光学检测来进行APA停车位检测和跟踪。
背景技术
自动停车辅助(automatic parking assist，APA)是一种用于通过在环境受限的空间中定位停车位来增强驾驶员的安全性以及舒适性的设备。当前的停车辅助依赖于用于障碍物检测和停车位定位的超声检测。这种超声检测遭受与雷达检测类似的问题。例如，雷达可以辨别到障碍物的距离，而不是利用诸如车道和标志的可视化线索。此外，相比于光学检测，雷达检测的检测范围有限。因此，在空闲车位的两侧中任一侧停有车辆的情况下，超声或雷达检测束缚了现有的自动停车辅助系统的使用。
因此，为了更好地辅助驾驶员，需要一种在变化的条件下产生鲁棒的光学检测信号的方法和计算机可读介质。
发明内容
本发明提供了一种停车位检测和跟踪方法的示例，包括以下步骤中的至少一个：从附接至运动中的车辆的多个相机接收多个相机图像；拼接所述多个相机图像以模拟所述车辆的周围视野；识别所述车辆的所述周围视野中的至少一个潜在停车位；通过所述多个相机的相机运动估算来估算运动参数；以及基于所述运动参数来跟踪所述至少一个潜在停车位。
本发明还提供了一种包含有指令的非瞬时性计算机可读介质的示例，当所述指令被处理器读取时使得所述处理器执行以下步骤中的至少一个：从附接至运动中的车辆的多个相机接收多个相机图像；拼接所述多个相机图像以模拟所述车辆的周围视野；识别所述车辆的所述周围视野中的至少一个潜在停车位；通过所述多个相机的相机运动估算来估算运动参数；基于所述运动参数来跟踪所述至少一个潜在停车位；确定所述至少一个潜在停车位的位置；确定所述至少一个潜在停车位周围的空闲车位(free space)的数量；确定从车辆位置到所述至少一个潜在停车位的方向；确定从所述车辆位置到所述至少一个潜在停车位的距离；确定所述至少一个潜在停车位的两个入口转角(entrance Corner)；将所述至少一个潜在停车位聚类为一组群集；以及基于距离阈值选择所述一组群集中的一个群集。
附图说明
在附图中：
图1是根据本发明的一个实施例的第一示例性系统的示意图；
图2是根据本发明的一个实施例的第二示例性系统的示意图；
图3是根据本发明的一个实施例的示例性的已拼接的相机视图的示意图；
图4是根据本发明的一个实施例的示例性系统概览图；
图5是根据本发明的一个实施例的用于停车位检测的示例性的模型融合的示意图；
图6是根据本发明的一个实施例的示例性的跟踪停车位的逻辑流程图；
图7是根据本发明的一个实施例的停车位检测方法的第一示例性方法的流程图；以及
图8是根据本发明的一个实施例的停车位检测方法的第二示例性方法的流程图。
具体实施方式
以下列出的实施例仅用于说明装置和方法的应用，而不是限制本发明的范围。对该装置和方法的修改的等同形式的修改应归入到权利要求的范围内。
贯穿以下说明书和权利要求使用的某些术语用于指代特定系统部件。如本领域技术人员将理解的，不同的公司可以以不同的名称来指代部件和/或方法。该文献无意区分名称不同但功能并非不同的部件和/或方法。
在以下讨论和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此可以被解释为“包括，但不限于…”。此外，术语“联接”或“连接联接(第三人称)”旨在表示间接或直接的连接。因此，如果第一设备与第二设备联接，则该连接可以通过直接连接或通过经由其他设备和连接的间接连接来实现。
图1描绘了示例性的自动停车辅助系统100，该系统可以用于实现与过程700和800中的一个或多个部分或步骤相关联的深度神经网络。在该示例中，与所述混合系统相关联的处理器包括现场可编程门阵列(FPGA)122、图形处理单元(GPU)120和中心处理单元(CPU)118。
所述处理单元118、120、122具有提供深度神经网络的能力。CPU是可以执行许多不同功能的通用处理器，它的通用性导致其能够执行许多不同的任务的能力，然而，它对于多个数据流的处理是有限的，并且它关于神经网络的功能是非常有限的。GPU是图形处理器，其具有能够依次处理并行任务的许多小的处理内核。FPGA是现场可编程设备，其具有被重配置并且以硬连线电路的方式来执行任何可被编程到CPU或GPU中的功能的能力。由于FPGA的编程是以电路形式的，因此其速度是CPU的几倍快，并且明显快于GPU。
系统可以包含其他类型的处理器，例如：加速处理单元(APU，其包括有CPU并且在芯片上具有GPU元件)以及专门用于执行高速数字数据处理的数字信号处理器(DSP)。专用集成电路(ASIC)也可以执行FPGA的硬连线功能，然而，设计和生产ASIC的交付周期约为三个月，其并不是在对FPGA进行编程中可用的快速周转实现实施方案。
所述GPU120、CPU 118和FPGA 122彼此连接并且连接至存储器接口和控制器112。所述FPGA通过可编程逻辑电路(PLC)到存储器的互连130连接至存储器接口。由于FPGA的工作带宽非常大的事实并且为了将FPGA的用来执行存储任务的电路最小化，可以使用附加设备。存储器接口和控制器112另外连接至永久存储盘110、存储系统114和只读存储器(ROM)116。
图2的系统可以用于对FPGA进行编程和训练。GPU利用非结构化数据良好地运行并且可以被用于进行训练，一旦数据被训练完成，则可以找到确定性推论模型(deterministic inference model)，并且CPU可以利用由GPU确定的模型数据对FPGA进行编程。
存储器接口和控制器被连接至中心互连124，该中心互连124另外连接至GPU 120、CPU118和FPGA 122。中心互连124另外连接至输入和输出接口128和网络接口126，该输入和输出接口128连接至相机132至138。
图2描绘了第二示例性的混合计算系统200，该系统可以用于实施与流程500中的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与所述系统相关联的处理器包括现场可编程门阵列(FPGA)210和中心处理单元(CPU)220。
FPGA电连接至FPGA控制器212，该FPGA控制器212与直接存储器访问(DMA)218接口连接。DMA 218连接至输入缓冲器214和输出缓冲器216，输入缓冲器214和输出缓冲器216都与FPGA联接，以分别将数据缓冲到FPGA和将数据从FPGA缓冲出来。DMA 218具有两个先进先出(FIFO)缓冲器，一个用于主CPU，另一个用于FPGA，DMA 218允许向适当的缓冲器写入数据或者从适当的缓冲器读取数据。
在DMA的CPU侧是主交换机228，其将数据和命令往返传送至DMA。DMA还连接至同步动态随机存取存储器(SDRAM)控制器224，该控制器允许数据在FPGA和CPU220之间往返传送，SDRAM控制器还连接至外部SDRAM 226和CPU 220。主交换机228连接至外围接口230，该外围接口230连接至相机232至238。闪存控制器222控制永久存储器并且连接至CPU 220。
图3公开了所公开的系统的已拼接的视图的鸟瞰图。所公开的系统生成变化的条件中的鲁棒的光学检测信号，如图所示，所述变化的条件包括但不限于，不清晰的车道标线、严重的光反射以及阴暗或光线不佳的条件。由多个相机来提供系统照片，这些相机强调向下的视野。在该示例中，具有四个相机，并且分别位于车辆的四侧。
所公开的系统在由安装在车辆侧的四个相机所生成的已拼接的视频序列中检测并跟踪可用的停车位和可驶入的空闲车位区域。使用深度神经网络来预测特定帧的停车位。所公开的方法利用自下而上的信息融合。所公开的模型预测低级别的输出(例如线、角度、距离等)并且遵循所设计的规则将低级别的输出转换成最终停车位检测。由于车辆和周围物体可能是移动的，因此跟踪架构(tracking framework)随时间流逝而更新已识别的停车位的位置。为了提高跟踪效率，利用摄像机运动来估算即将到来的帧中的停车位位置。
所公开的系统利用相机作为检测传感器。周围视野系统利用安装在车辆侧的四个相机。为了精确地估算障碍物、停车道和标志的位置，利用校准技术来生成图3所示的已拼接的视图。
在周围视野图像中的障碍物受预期投影失真的影响，这增加了在周围视野图像中检测障碍物的挑战。所公开的系统可以预测可驶入车位以及空闲车位。甚至在停车位在被障碍物严重阻挡时，所公开的系统也可以同时跟踪多个空闲车位。所述系统的计算效率高。所公开的检测和跟踪系统对于光照条件和剧烈的运动也是鲁棒的。这有助于下游的路径规划和控制模块。
系统概览
在该部分，我们给出了该自下而上的停车位检测方案的总体结构的简要概览。使用深度神经网络来预测特定帧的停车位。所公开的方法使用自下而上的信息融合。这种自下而上的信息融合预测低级别的输出(例如线、角度、距离等)并且遵循所设计的规则将低级别的输出转换成最终停车位检测。由于车辆和周围物体可能是移动的，因此跟踪架构被设计成随时间流逝而更新已定位的停车位的位置。为了提高跟踪效率，利用摄像机运动来估算即将到来的帧中的停车位位置。
图4描绘了系统400的示例性的总体概览。在提供新帧412的多个相机的一部分中包括检测模块410。系统分析由多个相机提供的照片并且将这些照片拼接在一起。通过处理器(在这里为GPU)来识别潜在的停车位414。通过分析所述新帧420和旧帧422以提供相机运动估算(其将相机运动参数418发送至跟踪模块)来提供对车辆的跟踪。之前检测的停车位424的相对于车辆的位置和定位被更新426。所述车辆的相对位置和潜在的停车位由识别移动、位置等的踪片(tracklet)428来捕获。
检测模块
所述检测模块利用语义分割(semantic segmentation)网络设计来预测停车位的两个入口转角。在停车进入时，预测到相应停止点的相应方向和距离。此外，该系统预测可用的空闲车位，以指示哪些区域是最安全驶入的。该模型融合过程在图5中示出。
在图5中，进入点和空闲车位以语义方式预测。为了生成停车位实例，将进入点聚类并且为其分配标签。由于停车位具有两个进入点并且停车位的形状由某些规则限定，利用用于匈牙利算法(例如Kuhn-Munkres算法)的成本函数在进入点中找到最佳匹配。所述匈牙利算法在二分图中提供了最大权重匹配并且提供了时间多项式中的分配问题的解。在潜在的停车位中，将使用空闲车位在潜在停车位中的百分比来作为该潜在停车位是否是可用停车位的指标。
图5描绘了定位和选择停车位的流程500。从相机接收510图像，并且创建鸟瞰图。分析所述图像并且识别514空闲车位，确定516可能的停车位以及到相应停止点的方向和距离。进一步分析所述停车位的边缘，以确定进入点518。基于所述进入点执行聚类520，从而获得停车位角点实例分割(parking instance segmentation)522。来自516的到停止点的方向和距离以及来自522的停车位角点实例分割被馈送到匈牙利分配引擎中524，该匈牙利分配引擎输出潜在的停车位526。给出来自510的已识别的空闲车位以及在522识别的潜在的停车位，确定到当前车辆位置的距离的阈值528以及选择停车位530。
相机运动估算
相机运动是车辆移动的逆变换，一旦找到估算的相机运动，就可以从车辆坐标来跟踪停车位。一个计算密集的任务是执行已拼接的鸟瞰图车位中的相机运动估算，以定位地面上的特征点。非地面水平点的运动模式与地面水平点的运动模式不同，因此不包括在内。应用空闲车位估算，作为地面水平像素的粗略预测。因此，利用空闲车位区域中的点来确定光学流程(optical flow)，从而确定相机的运动。
跟踪
利用相机运动来跟踪停车位的位置。之前检测的帧和相机运动参数被用于更新后续帧中的停车位位置。这作为后续帧中的停车位的位置的粗略估算。之后做出判定，以确定新检测的帧与之前的跟踪结果是否相同。基于距离的成本函数被用于匈牙利算法。如果新检测的车位与变换的旧停车位匹配，则利用新检测的位置来更新该停车位。否则，其将被视为新的停车位。在图6中图示了用于跟踪的总体架构。
图6描绘了跟踪停车位的示例性的流程600。该跟踪停车位的方法由具有一组输入和输出的跟踪模块610来执行。已被识别的潜在的停车位被输入到跟踪模块610中。相机运动参数M 614和之前识别的停车位628被输入到模块中，并且停车位被变换622。在子模块616中使用匹配算法，如果距离小于预定阈值，则进行匹配620，其中旧停车位626接收位置更新630并且被输入到已更新的停车位632中。如果匹配算法发现所述距离不大于预定阈值618，则将新停车位624分配至潜在停车位，并且输入到已更新的停车位632中。已更新的停车位632被馈送到之前检测到的停车位628中。
图7描绘了停车位追踪的示例方法700，包括：从附接至运动中的车辆的多个相机接收多个相机图像710，拼接所述多个相机图像以模拟所述车辆的周围视野712。所述方法包括：识别所述车辆的所述周围视野中的至少一个潜在停车位714，通过所述多个相机的相机运动估算来估算运动参数716，以及基于所述运动参数来跟踪所述至少一个潜在停车位718。
该示例性的方法还可以包括：从所述至少一个潜在停车位的车辆位置中确定位置、方向和距离。该方法还可以提供：确定所述至少一个潜在停车位的两个入口转角，将所述至少一个潜在停车位聚类为一组群集，将所述至少一个潜在停车位的所述一组群集进行分割，基于组合优化对所述一组群集进行排序，以及基于距离阈值选择所述一组群集中的一个群集。
图8描绘了示例性的包含有指令的非瞬时性计算机可读介质800，所述指令在被处理器读取时使得所述处理器执行：从附接至运动中的车辆的多个相机接收多个相机图像810，拼接所述多个相机图像以模拟所述车辆的周围视野812。该计算机指令还包括：识别所述车辆的所述周围视野中的至少一个潜在停车位814，通过所述多个相机的相机运动估算来估算运动参数816，以及基于所述运动参数来跟踪所述至少一个潜在停车位818。该计算机指令还包括：确定所述至少一个潜在停车位的位置820，确定所述至少一个潜在停车位周围的空闲车位的数量822，以及确定从车辆位置到所述至少一个潜在停车位的方向824。该计算机指令还包括：确定从所述车辆位置到所述至少一个潜在停车位的距离826，确定所述至少一个潜在停车位的两个入口转角828，将所述至少一个潜在停车位聚类为一组群集830，以及基于距离阈值选择所述一组群集中的一个群集832。
本领域的技术人员将了解，本文中所描述的各种说明性的块、模块、元件、部件、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经在其功能方面对各种说明性的块、模块、元件、部件、方法和算法进行了总体描述。将该功能实施为硬件还是软件取决于强加于整个系统的特定应用和设计约束。熟练的技术人员可以针对每个特定应用以不同方式来实施所描述的功能。在不脱离本主题技术的范围的情况下，各种部件和块可以被不同地布置(例如以不同的顺序布置，或以不同的方式划分)。
应理解，所公开的过程中的步骤的特定顺序或层级是对示例方法的一种说明。基于设计偏好，可以理解，过程中的步骤的特定顺序或层级可以被重新排列。一些步骤可以同时进行。所附方法权利要求以样本顺序呈现各个步骤的要素，并不意味着受限于所呈现的特定顺序或层级。
提供前面的描述是为了使本领域技术人员能够实践本文中所描述的各种方面。前面的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对于本领域技术人员来说，对这些方面的各种修改是明显的，并且本文限定的一般原理可以应用于其他方面。因此，权利要求并不旨在受限于本文所示的方面，而是旨在使全部范围与权利要求的语言表述相一致，其中对单数元素的引用并不旨在表示“一个且仅一个”，除非具体如此陈述，而是表示“一个或多个”。除非另外特别说明，否则术语“一些”是指一个或多个。男性中的代词(例如，他的)包括女性和中性(例如，她和它的)，反之亦然。标题和副标题(如果有的话)仅为了方便而使用，并不限制本发明。谓语“被配置以”、“可操作以”和“被编程以”并不暗示着对主语的任何特定的有形或无形修改，而是旨在可被互换地使用。例如，被配置以监视和控制操作或部件的处理器，还可以表示，该处理器被编程以监视和控制操作，或者处理器可操作以监视和控制操作。同样地，被配置以执行代码的处理器，可以被解释为，被编程以执行代码的处理器或可操作以执行代码的处理器。
诸如“方面”之类的短语并不暗示这样的方面对于本技术是必不可少的，或者这样的方面适用于主题技术的所有配置。涉及一方面的公开可适用于所有配置、或一个或多个配置。一个方面可以提供一个或多个示例。诸如“方面”的短语可以指代一个或多个方面，反之亦然。诸如“实施例”之类的短语并不暗示这样的实施例对于主题技术是必不可少的，或者这样的实施例适用于主题技术的所有配置。涉及一个实施例的公开可应用于所有实施例，或一个或多个实施例。一个实施例可提供一个或多个示例。诸如“实施例”的短语可以指代一个或多个实施例，反之亦然。诸如“配置”之类的短语并不暗示这样的配置对于主题技术是必不可少的，或者这样的配置适用于主题技术的所有配置。涉及一种配置的公开可应用于所有配置、或一个或多个配置。一种配置可提供一个或多个示例。诸如“配置”的短语可以指一个或多个配置，反之亦然。
本文使用词语“示例”来表示“用作示例或说明”。本文描述为“示例”的任何方面或设计不必被解释为比其他方面或设计更优选或更具优势。
本领域普通技术人员已知或以后将知道的，贯穿本发明所描述的各个方面的元件的所有结构和功能等同物通过引用被明确地并入本文，并且旨在由权利要求所涵盖。此外，无论在权利要求中是否明确地叙述了这样的公开，本文的公开都不旨在捐献于公众。任何权利要求的要素均不得根据35U.S.C.§112第六段的规定进行解释，除非使用短语“用于…的装置”明确叙述该要素，或者在方法权利要求的情况下，使用短语“用于…的步骤”叙述该要素。此外，关于在说明书或权利要求书中使用“包括”、“具有”或类似术语的含义，这样的术语旨在被包括在术语“包含”的方式内，类似于当“包括”在权利要求中被用作连接词时，对“包括”的解释那样。
对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”或类似表述的引用表明特定元件或特性被包括在本发明的至少一个实施例中。虽然短语可能出现在多个地方，但短语不一定是指同一个实施例。结合本发明，本领域技术人员将能够设计和并入适合于实现上述功能的各种机制中的任何一种。
应理解，本发明仅教导了说明性的实施例的一个示例，并且本领域技术人员在阅读本发明之后可以容易地设计出本发明的许多变型，并且本发明的范围由以下权利要求确定。

Claims (20)

1.一种停车位检测和跟踪方法，包括：
从附接至运动中的车辆的多个相机接收多个相机图像；
拼接所述多个相机图像以模拟所述车辆的周围视野；
识别所述车辆的所述周围视野中的至少一个潜在停车位；
通过所述多个相机的相机运动估算来估算运动参数；以及
基于所述运动参数来跟踪所述至少一个潜在停车位。
2.根据权利要求1所述的方法，其特征在于，进一步包括：确定所述至少一个潜在停车位的位置。
3.根据权利要求2所述的方法，其特征在于，进一步包括：基于所述相机运动估算来更新所述至少一个潜在停车位的位置。
4.根据权利要求2所述的方法，其特征在于，进一步包括：确定所述至少一个潜在停车位的两个入口转角。
5.根据权利要求2所述的方法，其特征在于，进一步包括：确定从车辆位置到所述至少一个潜在停车位的方向。
6.根据权利要求2所述的方法，其特征在于，进一步包括：确定从车辆位置到所述至少一个潜在停车位的距离。
7.根据权利要求2所述的方法，其特征在于，进一步包括：确定从车辆位置到所述至少一个潜在停车位的停止点。
8.根据权利要求2所述的方法，其特征在于，进一步包括：确定所述至少一个潜在停车位周围的空闲车位的数量。
9.根据权利要求8所述的方法，其特征在于，进一步包括：确定从车辆位置到所述至少一个潜在停车位的方向。
10.根据权利要求9所述的方法，其特征在于，进一步包括：确定从所述车辆位置到所述至少一个潜在停车位的距离。
11.根据权利要求10所述的方法，其特征在于，进一步包括：确定所述至少一个潜在停车位的两个入口转角。
12.根据权利要求11所述的方法，其特征在于，进一步包括：将所述至少一个潜在停车位聚类为一组群集。
13.根据权利要求12所述的方法，其特征在于，进一步包括：将所述至少一个潜在停车位的所述一组群集进行分割。
14.根据权利要求13所述的方法，其特征在于，进一步包括：基于组合优化对所述一组群集进行排序。
15.根据权利要求14所述的方法，其特征在于，进一步包括：基于距离阈值选择所述一组群集中的一个群集。
16.一种包含有指令的非瞬时性计算机可读介质，当所述指令被处理器读取时使得所述处理器执行：
从附接至运动中的车辆的多个相机接收多个相机图像；
拼接所述多个相机图像以模拟所述车辆的周围视野；
识别所述车辆的所述周围视野中的至少一个潜在停车位；
通过所述多个相机的相机运动估算来估算运动参数；
基于所述运动参数来跟踪所述至少一个潜在停车位；
确定所述至少一个潜在停车位的位置；
确定所述至少一个潜在停车位周围的空闲车位的数量；
确定从车辆位置到所述至少一个潜在停车位的方向；
确定从所述车辆位置到所述至少一个潜在停车位的距离；
确定所述至少一个潜在停车位的两个入口转角；
将所述至少一个潜在停车位聚类为一组群集；以及
基于距离阈值选择所述一组群集中的一个群集。
17.根据权利要求16所述的非瞬时性计算机可读介质，其特征在于，进一步包括：将所述至少一个潜在停车位的所述一组群集进行分割。
18.根据权利要求17所述的非瞬时性计算机可读介质，其特征在于，进一步包括：基于组合优化对所述一组群集进行排序。
19.根据权利要求18所述的非瞬时性计算机可读介质，其特征在于，所述排序基于匈牙利算法。
20.根据权利要求16所述的非瞬时性计算机可读介质，其特征在于，所述车辆的所述周围视野是鸟瞰视野。
CN202010503712.0A 2019-08-06 2020-06-05 用于停车位检测和跟踪的系统和方法 Active CN112348845B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/533,422 US10867192B1 (en) 2019-08-06 2019-08-06 Real-time robust surround view parking space detection and tracking
US16/533,422 2019-08-06

Publications (2)

Publication Number Publication Date
CN112348845A true CN112348845A (zh) 2021-02-09
CN112348845B CN112348845B (zh) 2024-02-23

Family

ID=73746984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010503712.0A Active CN112348845B (zh) 2019-08-06 2020-06-05 用于停车位检测和跟踪的系统和方法

Country Status (2)

Country Link
US (1) US10867192B1 (zh)
CN (1) CN112348845B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7367375B2 (ja) * 2019-08-07 2023-10-24 株式会社アイシン 特定領域検知装置
US11783597B2 (en) 2020-12-30 2023-10-10 Continental Autonomous Mobility US, LLC Image semantic segmentation for parking space detection
US11972617B2 (en) * 2021-06-16 2024-04-30 Sesame Technologies Inc. Hybrid lane model

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207045A1 (en) * 2008-02-14 2009-08-20 Mando Corporation Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same
US20090243889A1 (en) * 2008-03-27 2009-10-01 Mando Corporation Monocular motion stereo-based free parking space detection apparatus and method
CN103453913A (zh) * 2013-08-29 2013-12-18 镇江青思网络科技有限公司 停车场中车辆的组合定位方法
US20140085112A1 (en) * 2009-05-13 2014-03-27 Rutgers, The State University Of New Jersey Vehicular information systems and methods
CN104236539A (zh) * 2013-06-21 2014-12-24 北京四维图新科技股份有限公司 导航方法、导航终端以及导航系统
DE102015206752A1 (de) * 2014-04-17 2015-10-22 Ford Global Technologies, Llc Einparkhilfe für ein Fahrzeug
WO2017068698A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 駐車支援方法及び駐車支援装置
CN107738612A (zh) * 2017-09-22 2018-02-27 西安电子科技大学 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
US20180178840A1 (en) * 2016-12-28 2018-06-28 Automotive Research & Testing Center Automatic vehicle parking assistance correcting system with instant environmental detection and correcting method thereof
CN109697860A (zh) * 2017-10-20 2019-04-30 上海欧菲智能车联科技有限公司 车位检测和跟踪系统及方法及车辆
CN109785661A (zh) * 2019-02-01 2019-05-21 广东工业大学 一种基于机器学习的停车引导方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101947826B1 (ko) * 2012-04-10 2019-02-13 현대자동차주식회사 차량의 주차구획 인식방법
KR101566912B1 (ko) * 2014-08-04 2015-11-13 현대모비스 주식회사 Avm 장치 및 방법

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207045A1 (en) * 2008-02-14 2009-08-20 Mando Corporation Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same
US20090243889A1 (en) * 2008-03-27 2009-10-01 Mando Corporation Monocular motion stereo-based free parking space detection apparatus and method
US20140085112A1 (en) * 2009-05-13 2014-03-27 Rutgers, The State University Of New Jersey Vehicular information systems and methods
CN104236539A (zh) * 2013-06-21 2014-12-24 北京四维图新科技股份有限公司 导航方法、导航终端以及导航系统
CN103453913A (zh) * 2013-08-29 2013-12-18 镇江青思网络科技有限公司 停车场中车辆的组合定位方法
CN104999962A (zh) * 2014-04-17 2015-10-28 福特全球技术公司 用于车辆的停车辅助设备
DE102015206752A1 (de) * 2014-04-17 2015-10-22 Ford Global Technologies, Llc Einparkhilfe für ein Fahrzeug
WO2017068698A1 (ja) * 2015-10-22 2017-04-27 日産自動車株式会社 駐車支援方法及び駐車支援装置
CN108140319A (zh) * 2015-10-22 2018-06-08 日产自动车株式会社 停车辅助方法及停车辅助装置
US20180178840A1 (en) * 2016-12-28 2018-06-28 Automotive Research & Testing Center Automatic vehicle parking assistance correcting system with instant environmental detection and correcting method thereof
CN107738612A (zh) * 2017-09-22 2018-02-27 西安电子科技大学 基于全景视觉辅助系统的自动泊车停车位检测与识别系统
CN109697860A (zh) * 2017-10-20 2019-04-30 上海欧菲智能车联科技有限公司 车位检测和跟踪系统及方法及车辆
CN109785661A (zh) * 2019-02-01 2019-05-21 广东工业大学 一种基于机器学习的停车引导方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JAE KYU SUHR 等: "Automatic free parking space detection by using motion stereo-based 3D reconstruction", 《MACHINE VISION AND APPLICATIONS 》, pages 163 - 176 *
YANG DIANGE;JIANG KUN;ZHAO DING;YU CHUNLEI;CAO ZHONG;XIE SHICHAO;XIAO ZHONGYANG;JIAO XINYU;WANG SIJIA;ZHANG KAI;: "Intelligent and connected vehicles: Current status and future perspectives", SCIENCE CHINA(TECHNOLOGICAL SCIENCES), no. 10, pages 20 - 45 *
于青青;张可;唐恒亮;赵箐;盖;汪鸣;: "基于视频跟踪轨迹的全过程路侧停车行为检测与识别技术", 计算机与现代化, no. 09, pages 71 - 77 *
李文琳: "基于车载自组织网络的智能停车导航系统研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 2016, pages 034 - 645 *
胡煦;黄俊;袁梅;: "基于视频的路侧停驶事件实时检测算法", 信息通信, no. 03, pages 9 - 12 *

Also Published As

Publication number Publication date
CN112348845B (zh) 2024-02-23
US10867192B1 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
EP3732657B1 (en) Vehicle localization
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
CN111081064B (zh) 一种车载以太网的自动泊车系统及自动代客泊车方法
CN112348845B (zh) 用于停车位检测和跟踪的系统和方法
Satzoda et al. Multipart vehicle detection using symmetry-derived analysis and active learning
CN111874006B (zh) 路线规划处理方法和装置
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
JP2021523443A (ja) Ｌｉｄａｒデータと画像データの関連付け
US20170068863A1 (en) Occupancy detection using computer vision
JP7078021B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP7359735B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
EP3690728B1 (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
WO2020154990A1 (zh) 目标物体运动状态检测方法、设备及存储介质
US20220410931A1 (en) Situational awareness in a vehicle
CN109682388A (zh) 跟随路径的确定方法
Berriel et al. A particle filter-based lane marker tracking approach using a cubic spline model
Rajendar et al. Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection
CN113496612B (zh) 自主行驶车辆的运行管理装置以及运行管理方法
CN113361299B (zh) 一种异常停车的检测方法、装置、存储介质及电子设备
US11120292B2 (en) Distance estimation device, distance estimation method, and distance estimation computer program
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
CN110705495A (zh) 交通工具的检测方法、装置、电子设备和计算机存储介质
KR101875517B1 (ko) 영상 처리 방법 및 장치
EP4414746A1 (en) Multi-object detection and tracking
US20240331410A1 (en) Visual Detection of Hands on Steering Wheel

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant