CN111144190A - 用于检测慢速车辆运动的装置和方法 - Google Patents

用于检测慢速车辆运动的装置和方法 Download PDF

Info

Publication number
CN111144190A
CN111144190A CN201910499710.6A CN201910499710A CN111144190A CN 111144190 A CN111144190 A CN 111144190A CN 201910499710 A CN201910499710 A CN 201910499710A CN 111144190 A CN111144190 A CN 111144190A
Authority
CN
China
Prior art keywords
vehicle
wheel
moving
frame
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910499710.6A
Other languages
English (en)
Inventor
S·B·迈赫迪
胡亚森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111144190A publication Critical patent/CN111144190A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90Details or parts not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60NSEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/90Details or parts not otherwise provided for
    • B60N2002/981Warning systems, e.g. the seat or seat parts vibrates to warn the passenger when facing a danger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于检测慢速移动车辆的运动的方法和装置。该方法包括在多个视频帧中检测车辆的车轮,在包括车辆的车轮的帧的部分周围生成边界框,将包括车辆的车轮的帧的部分缩放到预定的恒定大小,通过分析图像的缩放部分来确定车辆的车轮是否正在移动,并且如果该确定确定车辆的车轮正在移动,则输出指示车辆正在移动的信息。

Description

用于检测慢速车辆运动的装置和方法
引言
与示例性实施例一致的装置和方法涉及检测车辆运动。更具体地,与示例性实施例一致的装置和方法涉及检测以慢速行驶的车辆的运动。
发明内容
一个或多个示例性实施例提供了一种通过使用视频图像来检测慢速移动车辆的方法和装置。更具体地,一个或多个示例性实施例提供了一种通过分析车轮视频图像以检测车轮和检测到的车轮的运动来检测慢速移动车辆的方法和装置。
根据示例性实施例的一方面,提供了一种用于检测慢速移动车辆的运动的方法。该方法包括在多个视频帧中检测车辆的车轮,在包括车辆的车轮的帧的部分周围生成边界框,将包括车辆的车轮的帧的部分缩放到预定的恒定大小,通过分析帧的缩放部分来确定车辆的车轮是否正在移动,并且如果该确定确定车辆的车轮正在移动,则输出指示车辆正在移动的信息。
确定车辆的车轮是否正在移动可以包括确定车辆的车轮是否正在旋转。
确定车辆的车轮是否正在移动可以进一步包括确定车轮的移动方向。
输出信息可以包括:如果确定确定车辆正在将阻碍主车辆的路径的方向中移动,则提供指示车辆正在移动的通知。
通知可以包括显示主车辆的备用路径,经由主车辆中的座椅的触觉反馈,以及在主车辆中的显示器上显示与移动车辆相关联的警告中的至少一个。
分析图像的缩放部分可以包括识别与图像的帧中的车辆的车轮对应的多个特征点,并确定图像的帧中的多个特征点的坐标的变化。
确定图像的帧中的多个特征点的坐标的变化可以包括计算相对于所识别的多个特征点的角度变化。
分析图像的缩放部分可以包括识别与图像的帧中的车辆的车轮对应的形状,并确定图像的帧中的识别的形状的坐标的变化。
识别形状可以包括执行边缘检测、线检测和椭圆或圆检测中的一个或多个。车轮可包括多个车轮。
该方法还可以包括基于指示车辆正在移动的信息来控制主车辆改变路径。
根据另一示例性实施例的一方面,提供了一种用于检测慢速移动车辆的运动的装置。该装置包括至少一个包括计算机可执行指令的存储器;以及至少一个处理器,其被配置为读取和执行计算机可执行指令。计算机可执行指令使至少一个处理器在多个视频帧中检测车辆的车轮,在包括车辆的车轮的帧的部分周围生成边界框,将包括车辆的车轮的帧的部分缩放到预定的恒定大小,通过分析帧的缩放部分确定车辆的车轮是否正在移动,并且如果该确定确定车辆的车轮正在移动,则输出指示车辆正在移动的信息。
计算机可执行指令使至少一个处理器通过确定车辆的车轮是否正在旋转来确定车辆的车轮是否正在移动。
计算机可执行指令可以使至少一个处理器通过确定车轮的移动方向来确定车辆的车轮是否正在移动。
如果该确定确定车辆正在将阻碍主车辆的路径的方向中移动,则计算机可执行指令可以通过提供指示车辆正在移动的通知来使至少一个处理器输出信息。
通知可以包括显示主车辆的备用路径,经由主车辆中的座椅的触觉反馈,以及在主车辆中的显示器上显示与移动车辆相关联的警告中的至少一个。
计算机可执行指令进一步使至少一个处理器通过在图像的帧中识别与车辆的车轮对应的多个特征点并且确定图像的帧中的多个特征点的坐标的变化来分析图像的缩放部分。
计算机可执行指令使至少一个处理器通过计算相对于所识别的多个特征点的角度变化来确定图像的帧中的多个特征点的坐标的变化。
计算机可执行指令使至少一个处理器通过识别与图像的帧中的车辆的车轮对应的形状并且确定图像的帧中所识别的形状的坐标的变化来分析图像的缩放部分。
计算机可执行指令使至少一个处理器通过执行边缘检测、线检测和椭圆或圆检测中的一个或多个来识别形状。
车轮可以是多个车轮。
根据示例性实施例的以下详细描述和附图,示例性实施例的其它目的、优点和新颖特征将变得更加明显。
附图说明
图1示出了根据示例性实施例的检测慢速移动车辆的运动的装置的框图;
图2示出了根据示例性实施例的检测慢速移动车辆的运动的方法的流程图;
图3示出了根据示例性实施例的一方面的生成边界框和识别车辆的车轮上的特征点的图示;以及
图4示出了根据示例性实施例的一方面的停车场中的慢速移动车辆的通知警告的图示。
具体实施方式
现在将参考附图的图1-4详细描述检测慢速移动车辆的运动的装置和方法,其中相同的附图标记始终表示相同的元件。
以下公开内容将使本领域技术人员能够实践本发明构思。然而,在此公开的示例性实施例仅仅是示例性的,并不将本发明构思限制于本文描述的示例性实施例。此外,通常应当认为每个示例性实施例的特征或方面的描述可用于其它示例性实施例的各方面。
还应理解,在本文中陈述第一元件“连接到”、“附接到”、“形成在”或“设置在”第二元件上的情况下,第一元件可以直接连接到第二元件,直接形成或直接设置在第二元件上,或者在第一元件和第二元件之间可以存在中间元件,除非声明第一元件“直接”连接到、附接到、形成或设置在第二元件上。另外,如果第一元件被配置为从第二元件“发送”或“接收”信息,则第一元件可以直接向第二元件发送信息或从第二元件接收信息,经由总线发送或接收信息,经由网络发送或接收信息,或者经由中间元件发送或接收信息,除非第一元件被指示为“直接”向第二元件发送信息或从第二元件接收信息。
在整个公开内容中,所公开的一个或多个元件可以组合到单个设备中或组合成一个或多个设备。另外,可以在单独的设备上提供单独的元件。
现在,车辆包括许多传感器和相机。例如,主车辆可以包括主车辆四周区域的相机捕获图像。此外,车辆还可以包括配置成检测可能是主车辆的潜在碰撞危险的外部障碍物或移动对象的雷达。传感器(诸如雷达和激光雷达)的一个问题是它们可能不具有精确检测慢速移动的外部车辆的移动所需的分辨率或精度,尤其是当运动垂直于主车辆的视线和/或主车辆例如在停车场驾驶、停车标志交叉路口以及邻近车道中正在快速移动时。
为了解决上述问题,可以依靠相机通过使用移动对象的相对位置来检测慢速移动的障碍物或对象的移动。然而,需要处理和分析由相机提供的视频信息以确定诸如外部车辆的障碍物或对象是否正在移动以及移动方向以便更好地检测。该装置检测到慢速移动的车辆的运动识别视频图像中的车轮,处理和分析包括所识别的车轮的图像的帧,以便确定障碍物或对象(诸如慢速移动的外部车辆)的移动。此外,可以使用车轮旋转而不是车轮或对象在帧中的相对位置来确定移动。
图1示出了根据示例性实施例的检测慢速移动车辆100的运动的装置的框图。如图1中所示,根据示例性实施例,检测慢速移动车辆100的运动的装置包括控制器101、电源102、存储设备103、输出104、主车辆控制装置105、用户输入106,图像传感器107以及通信设备108。然而,检测慢速移动车辆100的运动的装置不限于上述配置,并且可以配置为包括附加元件和/或省略上述元件中的一个或多个。检测慢速移动车辆100的运动的装置可以实现为车辆的一部分,作为独立组件,作为车载和车辆外设备之间的混合,或者实现在另一计算设备中。
控制器101控制检测慢速移动车辆100的运动的装置的整体操作和功能。控制器101可以控制检测慢速移动车辆100的运动的装置的存储设备103、输出104、主车辆控制装置105、用户输入106、图像传感器107和通信设备108中的一个或多个。控制器101可以包括处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路以及硬件、软件和固件组件的组合中的一个或多个。
控制器101被配置为从检测慢速移动车辆100的运动的装置的存储设备103、输出104、主车辆控制装置105、用户输入106、图像传感器107和通信设备108中的一个或多个发送和/或接收信息。可以经由总线或网络发送和接收信息,或者可以直接从检测慢速移动车辆100的运动的装置的存储设备103、输出104、用户输入106、图像传感器107和通信设备108中的一个或多个读取或写入。合适的网络连接的示例包括控制器区域网络(CAN)、面向媒体的系统传输(MOST)、本地互连网络(LIN)、局域网(LAN)、诸如蓝牙和802.11的无线网络,以及诸如以太网的其它适当的连接。
电源102向检测慢速移动车辆100的运动的装置的控制器101、存储设备103、输出104、主车辆控制装置105、用户输入106、图像传感器107和通信设备108中的一个或多个提供电力。电源102可包括电池、插座、电容器、太阳能电池、发电机、风能设备、交流发电机等中的一个或多个。
存储设备103被配置用于存储信息并检索由检测慢速移动车辆100的运动的装置使用的信息。存储设备103可以由控制器101控制以存储和检索从图像传感器107接收的信息。所存储的信息可以包括由图像传感器107捕获的图像信息,包括关于视觉特征、对象、结构、对象移动等的信息。图像信息可以包括具有车辆周围区域的多个视频帧的视频图像。此外,存储的信息还可以包括用于识别对象、结构、视觉特征等的卷积神经网络。存储设备103还可以包括被配置为由处理器执行以执行检测慢速移动车辆100的运动的装置的功能的计算机指令。
存储设备103可以包括软盘、光盘、CD-ROM(光盘只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、高速缓冲存储器以及适用于存储机器可执行指令的其它类型的介质/机器可读介质中的一个或多个。
输出104以一种或多种形式输出信息,该形式包括:视觉、听觉和/或触觉形式。输出104可以由控制器101控制,以向检测慢速移动车辆100的运动的装置的用户提供输出。输出104可以包括扬声器、音频装置、显示器、位于中央的显示器、抬头显示器、挡风玻璃显示器、触觉反馈设备、振动设备、触觉反馈设备、分接反馈设备、全息显示器、仪表灯、指示灯等中的一个或多个。
输出104可以输出包括可听通知、灯通知、触觉通知和显示通知中的一个或多个的通知。该通知可以包括显示主车辆的备用路线,经由主车辆的座椅中的振动设备提供触觉反馈,或者在主车辆的显示器上显示与移动车辆相关联的警告。警告可以是在显示器上显示在移动车辆上或附近的图形符号。
主车辆控制装置105可以包括电子硬件组件形式的车辆系统模块(VSM),该车辆系统模块位于整个车辆中并且通常从一个或多个传感器接收输入并使用所感测的输入来执行诊断、监视、控制、报告和/或其它功能。每个VSM可以通过通信总线连接到其它VSM以及控制器101,并且可以编程为运行车辆系统和子系统诊断测试。控制器101可以被配置为从VSM发送和接收信息并控制VSM以执行车辆功能。作为示例,一个VSM可以是控制发动机操作(诸如燃料点火和点火正时)的各个方面的发动机控制模块(ECM);另一个VSM可以是外部传感器模块,其被配置为从诸如相机、雷达、LIDAR和激光器的外部传感器接收信息;另一个VSM可以是动力系控制模块,其调节车辆动力系的一个或多个部件的操作;另一个VSM可以是车辆动力学传感器,其检测方向盘角度参数、速度参数、加速度参数、横向加速度参数、自动对准扭矩参数和/或动力转向扭矩参数;以及另一个VSM可以是车身控制模块,其控制位于整个车辆中的各种电气组件,如车辆的动力门锁和前灯。如本领域技术人员所理解的,上述VSM仅是可以在车辆中使用的一些模块的示例,许多其它模块也是可用的。
用户输入106被配置为向检测慢速移动车辆100的运动的装置提供信息和命令。用户输入106可以用于向控制器101提供用户输入等。用户输入106可以包括触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、相机、触控板、鼠标、触摸板等中的一个或多个。用户输入106可以被配置为接收用户输入以确认或解除输出104输出的通知。此外,用户输入106还可以被配置为接收激活或停用检测慢速移动车辆100的运动的装置的输入。
图像传感器107可以包括多个传感器中的一个或多个,包括成像传感器、相机、红外相机和摄像机。图像传感器107可以从面向车辆周围区域的一个或多个相机或图像传感器提供一个或多个图像或帧。可以分析的帧或图像以识别车轮、车辆、特征点、形状、边缘、线。
在一个示例中,图像传感器107的相机的焦距、边缘和视觉特征检测,和/或像素坐标和距离信息可用于分析由图像传感器107提供的图像以确定车辆、车轮等的尺寸和位置。在几个不同时间的若干图像中的车辆、车轮、特征点等的尺寸和位置可以由控制器101分析,以确定车辆、车轮、特征点等的其它信息的移动、旋转、角度的变化。
来自图像传感器的图像信息可用于通过在车轮周围绘制边界框来检测车轮。例如,车轮边缘在图像中显示为椭圆或具有垂直长轴和水平短轴的圆。轴由具有长轴和短轴的暗椭圆(例如,轮胎)围绕。在一个示例中,使用预训练的深度神经网络模型,例如卷积神经网络(CNN),找到“粗略”边界框。如果已经可以得到或找到粗略边界框,则在粗略边界框内部和略微外部的区域中执行椭圆检测,和/或可以基于车轮独特特征在图像中移动或调节边界框的位置、高度、宽度。
可以使用边缘或形状检测技术来检测车轮边缘和轮胎以及它们对应的椭圆/圆圈。可以使用形状、边缘和交叉点检测方法来检测与车轮边缘、车轮边缘、辐条以及辐条与车轮边缘的交叉点对应的特征点。
此外,除了坡度角度之外,图像帧中的车轮旋转对于相机平移和相机取向是不变的。例如,无论相机平移如何,现实世界中的车轮顶部都显示为图像帧中的车轮顶部。然而,在平滑道路上低速时坡度角不会变化太大,并且可以使用惯性测量单元测量由相机的坡度角变化引起的图像帧中的车轮旋转。
通信设备108可以由检测慢速移动车辆100的运动的装置使用,以根据各种通信方法与多种类型的外部装置通信。通信设备108可以用于发送/接收包括来自图像传感器107的信息的信息,诸如图像信息,和其它类型的信息。通信设备108还可以被配置为发送指示外部车辆正在移动的信息和与外部车辆的移动对应的信息。
通信设备108可以包括各种通信模块,诸如远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收器、有线通信模块或无线通信模块中的一个或多个。广播接收模块可以包括地面广播接收模块,其包括用于接收地面广播信号的天线、解调器和均衡器等。NFC模块是根据NFC方法与位于附近距离的外部装置通信的模块。GPS接收器是从GPS卫星接收GPS信号并检测当前位置的模块。有线通信模块可以是通过诸如局域网、控制器局域网(CAN)或外部网络的有线网络接收信息的模块。无线通信模块是通过使用诸如IEEE 802.11协议、WiMAX、Wi-Fi或IEEE通信协议的无线通信协议连接到外部网络并与外部网络通信的模块。无线通信模块可以进一步包括移动通信模块,其访问移动通信网络并根据各种移动通信标准(诸如第3代(3G)、第3代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee)执行通信。
根据示例性实施例,检测慢速移动车辆100的运动的装置的控制器101可以被配置为在多个视频帧中检测车辆的车轮,在包括车辆的车轮的帧的部分周围生成边界框,将包括车辆的车轮的帧的部分缩放到预定的恒定大小,通过分析帧的缩放部分来确定车辆的车轮是否正在移动,并且如果该确定确定车辆的车轮正在移动,则输出指示车辆正在移动的信息。车轮可包括多个车轮。
检测慢速移动车辆100的运动的装置的控制器101可以被配置为通过确定车辆的车轮是否正在旋转和/或车轮的移动方向来确定车辆的车轮是否正在移动。
检测慢速移动车辆100的运动的装置的控制器101可以被配置为通过控制输出104输出信息,以便如果该确定确定车辆正在将阻碍主车辆的路径的方向中移动,则提供指示车辆正在移动的通知。
控制器101还可以被配置为通过在图像的帧中识别与车辆的车轮对应的多个特征点并且确定图像的帧中多个特征点的坐标的变化来分析图像的缩放部分。由控制器101分析的图像信息通过在车轮周围绘制边界框来检测车轮。例如,车轮边缘在图像中显示为椭圆或具有垂直长轴和水平短轴的圆。轴由具有长轴和短轴的暗椭圆(例如,轮胎)围绕。车轮边缘、轮胎及其对应的椭圆/圆圈可以由控制器101使用边缘或形状检测技术来检测。与车轮边缘、轮胎边缘、辐条以及辐条与车轮边缘的交叉点的特征点也可由控制器101使用形状、边缘和交叉点检测方法来检测。
控制器101还可以被配置为通过计算相对于所识别的多个特征点的角度变化来确定图像的帧中的多个特征点的坐标的变化。
控制器101还可以被配置为通过在图像的帧中识别与车辆的车轮对应的形状并且确定图像的帧中的所识别的形状的坐标的变化来分析图像的缩放部分。控制器101还可以被配置为通过执行边缘检测、线检测和椭圆或圆检测中的一个或多个来识别形状。
控制器101还可以被配置为如果控制器确定外部车辆正在将阻碍主车辆的路径的方向中移动,则控制主车辆控制装置105停止主车辆或围绕慢速移动的外部车辆驱动主车辆。
图2示出了根据示例性实施例的用于检测慢速移动车辆的运动的方法的流程图。图2的方法可以由检测慢速移动车辆100的运动的装置执行,或者可以编码到计算机可读介质中作为可由计算机执行以执行该方法的指令。
参考图2,在操作S210中检测多个视频帧中的外部车辆的车轮。例如,可以使用视觉或神经网络来检测相机帧中的所有车辆的所有车轮。
在操作S220中,生成围绕包括车辆的车轮的帧的部分的边界框。例如,可以在相机帧中的所有车辆的所有车轮周围生成边界框。可以使用椭圆检测方法确定边界框的尺寸以精确地适合车轮。在一个示例中,帧也可以被裁剪到边界框。此外,帧的边界框可以与前一帧中的对应车轮周围的边界框匹配。
在操作S230中,将包括车辆的车轮的帧的部分缩放到预定的恒定大小。如果在前一帧中的对应车轮周围没有对应的边界框,则该过程可以将检测到的车轮添加到帧中的车轮总数。然后在操作S240中通过分析帧的缩放部分来确定车辆的车轮是否正在移动。
在一个示例中,可以通过检测可以在边界框中检测到车轮的特征点来执行确定,并且可以将平均车轮角度变化确定为从一帧到另一帧横跨车轮的所有特征点的角度的平均变化。基于平均车轮角度变化,可以确定车轮在边界框中的旋转。可替代地,在另一个示例中,包含车轮的帧可以输入到与车轮相关联的训练的神经网络(例如RNN、LSTM、GRU等),以接收作为输出的总车轮旋转角度变化。
然后,在操作S250中,如果车轮正在移动,则可以输出指示车辆正在移动的信息。如果车轮的旋转大于预定的阈值旋转,则可确定车轮正在移动。在操作210-250中,可以检测多个车轮,并且可以关于多个车轮执行操作210-250。
图3示出了根据示例性实施例的一方面的生成边界框和识别车辆的车轮上的特征点的图示。参考图3,围绕在图像或帧中检测到的车轮生成边界框301。
然后缩放边界框的区域,并检测特征点、形状或线。特征点302示出了概述车轮形状的线和示出车轮轮辐与车轮边缘相交的点。特征点303简单地示出了车轮的轮辐与车轮的边缘相交的点。
图4示出了根据示例性实施例的一方面的停车场中的慢速移动车辆的通知警告的图示。
参考图4,当检测到如401中所示的慢速移动的外部车辆时,可以在主车辆中输出以座椅振动的形式提供的触觉反馈。可以在座椅的与外部车辆的位置对应的一侧提供触觉反馈。
可以在显示器的与慢速移动车辆对应的区域中提供警告图形指示符405,以向主车辆的乘员警告外部慢速移动的车辆。此外,可以向主车辆的驾驶员警告可能经由显示器与外部车辆碰撞的主车辆411的不期望路径,以及可以显示避免与外部车辆的潜在碰撞的更期望的路径412。另外,主车辆控制装置105可以使用更期望的路径来控制车辆沿着更期望的路径行驶。
本文公开的过程、方法或算法可以由处理设备、控制器或计算机递送/实施,该处理设备、控制器或计算机可以包括任何现有的可编程电子控制设备或专用电子控制设备。类似地,过程、方法或算法可以存储为可由控制器或计算机以许多形式执行的数据和指令,该形式包括但不限于永久存储在诸如ROM设备的不可写存储介质上的信息和可变地存储在可写存储介质(诸如软盘、磁带、CD、RAM设备和其它磁性和光学介质)上的信息。过程、方法或算法也可以在软件可执行对象中实现。可替代地,可以使用合适的硬件组件(诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其它硬件组件或设备,或硬件、软件和固件组件的组合)全部或部分地实现过程、方法或算法。
上面已经参考附图描述了一个或多个示例性实施例。上述示例性实施例应仅被认为是描述性的,而不是为了限制的目的。此外,在不脱离由所附权利要求限定的本发明构思的精神和范围的情况下,可以修改示例性实施例。

Claims (10)

1.一种检测慢速移动车辆的运动的装置,所述装置包括:
至少一个存储器,其包括计算机可执行指令;以及
至少一个处理器,其被配置为读取和执行所述计算机可执行指令,所述计算机可执行指令使所述至少一个处理器:
在多个视频帧中检测所述车辆的车轮;
在包括所述车辆的所述车轮的所述帧的部分周围生成边界框;
将包括所述车辆的所述车轮的所述帧的所述部分缩放到预定的恒定大小;
通过分析所述帧的所述缩放部分来确定所述车辆的所述车轮是否正在移动;以及
如果所述确定确定所述车辆的所述车轮正在移动,则输出指示所述车辆正在移动的信息。
2.根据权利要求1所述的装置,其中,所述计算机可执行指令使所述至少一个处理器通过确定所述车辆的所述车轮是否正在旋转来确定所述车辆的所述车轮是否正在移动。
3.根据权利要求2所述的装置,其中,所述计算机可执行指令使所述至少一个处理器通过确定所述车轮的移动方向来确定所述车辆的所述车轮是否正在移动。
4.根据权利要求1所述的装置,其中,如果所述确定确定所述车辆正在将阻碍主车辆的路径的方向中移动,则所述计算机可执行指令通过提供指示所述车辆正在移动的通知来使所述至少一个处理器输出信息。
5.根据权利要求4所述的装置,其中,所述通知包括显示所述主车辆的备用路径,经由主车辆中的座椅的触觉反馈,以及在所述主车辆中的显示器上显示与所述移动车辆相关联的警告中的至少一个。
6.根据权利要求1所述的装置,其中,所述计算机可执行指令进一步使所述至少一个处理器通过在所述图像的所述帧中识别与所述车辆的所述车轮对应的多个特征点并且确定所述图像的所述帧中的所述多个特征点的坐标的变化来分析所述图像的所述缩放部分。
7.根据权利要求6所述的装置,其中,所述计算机可执行指令使所述至少一个处理器通过计算相对于所识别的多个特征点的角度变化来确定所述图像的所述帧中的所述多个特征点的坐标的变化。
8.根据权利要求1所述的装置,其中,所述计算机可执行指令使所述至少一个处理器通过在所述图像的所述帧中识别与所述车辆的所述车轮对应的形状并且确定所述图像的所述帧中的所识别的形状的坐标的变化来分析所述图像的所述缩放部分。
9.根据权利要求8所述的装置,其中,所述计算机可执行指令使所述至少一个处理器通过执行边缘检测、线检测和椭圆或圆检测中的一个或多个来识别所述形状。
10.根据权利要求1所述的装置,其中,所述计算机可执行指令使所述至少一个处理器通过确定所述车轮的移动方向来确定所述车辆的所述车轮是否进一步移动。
CN201910499710.6A 2018-11-05 2019-06-11 用于检测慢速车辆运动的装置和方法 Pending CN111144190A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/180,743 US20200143546A1 (en) 2018-11-05 2018-11-05 Apparatus and method for detecting slow vehicle motion
US16/180743 2018-11-05

Publications (1)

Publication Number Publication Date
CN111144190A true CN111144190A (zh) 2020-05-12

Family

ID=70459948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910499710.6A Pending CN111144190A (zh) 2018-11-05 2019-06-11 用于检测慢速车辆运动的装置和方法

Country Status (3)

Country Link
US (1) US20200143546A1 (zh)
CN (1) CN111144190A (zh)
DE (1) DE102019115241A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037440B2 (en) * 2018-12-19 2021-06-15 Sony Group Corporation Vehicle identification for smart patrolling
CN114509283A (zh) * 2022-01-05 2022-05-17 中车唐山机车车辆有限公司 系统故障监测方法、装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170371344A1 (en) * 2016-06-27 2017-12-28 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected movement of a target vehicle
US10019805B1 (en) * 2015-09-29 2018-07-10 Waymo Llc Detecting vehicle movement through wheel movement

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019805B1 (en) * 2015-09-29 2018-07-10 Waymo Llc Detecting vehicle movement through wheel movement
US20170371344A1 (en) * 2016-06-27 2017-12-28 Mobileye Vision Technologies Ltd. Controlling host vehicle based on detected movement of a target vehicle

Also Published As

Publication number Publication date
US20200143546A1 (en) 2020-05-07
DE102019115241A1 (de) 2020-05-07

Similar Documents

Publication Publication Date Title
JP5939357B2 (ja) 移動軌跡予測装置及び移動軌跡予測方法
US10332002B2 (en) Method and apparatus for providing trailer information
US9963069B2 (en) Alarm method for reversing a vehicle by sensing obstacles using structured light
US20140156178A1 (en) Road marker recognition device and method
US9892329B2 (en) Animal type determination device
US20150371542A1 (en) Warning device and travel control device
CN109086786B (zh) 对lidar数据进行分类以实现目标探测的方法和装置
JP2019091412A5 (zh)
CN103373349A (zh) 自动泊车辅助系统的障碍物避碰装置及方法
JP2018127084A (ja) 自動運転車両
CN111273650A (zh) 在向后运动期间进行指引侧向控制的方法和设备
CN112537369B (zh) 用于横向运动控制的方法和设备
CN112009479A (zh) 调整传感器视场的方法和设备
CN111144190A (zh) 用于检测慢速车辆运动的装置和方法
US20220092981A1 (en) Systems and methods for controlling vehicle traffic
CN109323674B (zh) 用于混合离地间隙确定的设备和方法
US11423674B2 (en) Vehicle occupant gaze detection
US11198437B2 (en) Method and apparatus for threat zone assessment
CN112519786A (zh) 用于评估乘员目光的设备和方法
KR102079291B1 (ko) 전방 차량 충돌 경고 장치 및 방법
US20190210513A1 (en) Vehicle and control method for the same
US20190122382A1 (en) Method and apparatus that display view alert
JP3222638U (ja) 安全運転支援装置
US20230127465A1 (en) System and method for approaching vehicle detection
US11117573B2 (en) Method and apparatus for object identification using non-contact chemical sensor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200512