CN111002900A - 倒车警告设备及其方法和控制系统 - Google Patents

倒车警告设备及其方法和控制系统 Download PDF

Info

Publication number
CN111002900A
CN111002900A CN201910121380.7A CN201910121380A CN111002900A CN 111002900 A CN111002900 A CN 111002900A CN 201910121380 A CN201910121380 A CN 201910121380A CN 111002900 A CN111002900 A CN 111002900A
Authority
CN
China
Prior art keywords
vehicle
height
warning
depth
rear object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910121380.7A
Other languages
English (en)
Inventor
田京根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Halla Creedong Electronics Co ltd
Original Assignee
Mando Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mando Corp filed Critical Mando Corp
Publication of CN111002900A publication Critical patent/CN111002900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/20—Road profile, i.e. the change in elevation or curvature of a plurality of continuous road segments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了一种倒车警告设备及其方法和控制系统。该倒车警告设备包括安装在车辆后部的图像传感器以及控制器，该控制器在车辆向后移动时经由图像传感器获得后视图像，在后视图像中识别可行驶区域的边界并生成与车辆后方的表面的高度/深度关联的表面轮廓，基于可行驶区域的边界和表面轮廓确定后方物体的属性，并通过基于与车辆关联的信息与后方物体的属性关联确定是否存在危险来输出警告。根据本公开，提供与高度矮的后方物体关联的信息，从而有效地利用停车空间并防止对车辆的车身的损坏。

Description

倒车警告设备及其方法和控制系统
技术领域
本公开涉及一种可使用经由车辆的后相机获得的图像提供警告的倒车警告设备及其方法和控制系统。
背景技术
车辆配备有提供与驾驶者的视野无法到达的车辆的后方关联的信息的装置。例如，在车辆处安装报警装置、停车辅助装置等。当车辆向后移动时，报警装置使用安装在车辆后侧的传感器(例如，超声波传感器、雷达传感器等)来确定与后方物体碰撞关联的情况，并向驾驶者提供警告。停车辅助装置使用后相机来显示后视图像。
报警装置或停车辅助装置提供与后方物体关联的警告，以向驾驶者提供便利。然而，与低于地面的地形水平(例如，下水道或道路的凹陷)或者高度较矮的物体(例如，安在道路上的路缘)关联，报警装置或停车辅助装置可能难以提供警告。
因此，期望有一种在驾驶者向后移动车辆时识别存在于车辆后方的低于地面的地形水平或者具有相对矮的高度的物体并告知驾驶者的方法。
发明内容
在此背景下，本公开的一方面在于提供一种倒车警告设备及其方法和控制系统，其可基于从车辆的后视图像识别的可行驶区域(free space)并且基于表面轮廓来确定后方物体的属性，并且可输出基于与车辆关联的信息和后方物体的属性确定的与是否存在危险关联的警告，由此可提供与具有相对矮的高度的后方物体关联的信息。
本公开的另一方面在于提供一种倒车警告设备及其方法和控制系统，其可基于到车辆的车身的高度和后方物体的高度来差异性地输出警告，从而有效地利用停车空间并防止在车辆向后移动时对车身造成损坏。
根据本公开的一方面，提供了一种倒车警告设备，该设备包括：图像传感器，其被安装到车辆并被配置为捕获该车辆后方的图像数据；图像处理器，其被配置为处理由图像传感器捕获的图像数据；至少一个传感器，其被配置为获得与车辆关联的信息；以及控制器，其包括非暂时性存储器和处理器，并且被配置为基于图像数据的处理来输出倒车警告。控制器被配置为执行：当车辆向后移动时，基于图像数据的处理来获得后视图像；在后视图像中识别可行驶区域的边界，并生成与车辆后方的表面的高度或深度关联的表面轮廓；基于可行驶区域的边界和表面轮廓确定后方物体的属性，并且基于与车辆关联的信息确定是否存在与后方物体的属性关联的危险，并且输出警告。
根据本公开的另一方面，提供了一种倒车警告设备，该设备包括：图像传感器，其被安装到车辆并被配置为捕获车辆后方的图像数据；和控制器，其被配置为处理由图像传感器捕获的图像数据，并控制安装在车辆中的至少一个驾驶者辅助系统。域控制单元被配置为执行：基于图像数据的处理获得后视图像；在后视图像中识别可行驶区域的边界并生成与表面的高度/深度关联的表面轮廓；基于可行驶区域的边界和表面轮廓确定后方物体的属性；并且基于与车辆关联的信息确定是否存在与后方物体的属性关联的危险，并且如果检测到危险，则基于所确定的属性输出不同的警告。
根据本公开的另一方面，提供了一种图像传感器，该图像传感器被设置在车辆中以具有车辆后方的视野，并且被配置为捕获图像数据，其中，图像数据由处理器处理，用于在车辆向后移动时获得后视图像，并且用于在后视图像中识别可行驶区域的边界并生成与表面的高度/深度关联的表面轮廓，并且可行驶区域的边界和表面轮廓用于确定后方物体的属性，并且用于基于与车辆关联的信息确定是否存在与后方物体的属性关联的危险。
根据本公开的另一方面，提供了一种车辆的倒车警告方法，该方法包括以下步骤：当车辆向后移动时，经由按照在车辆后部的图像传感器获得后视图像；在后视图像中识别可行驶区域的边界并生成与车辆后方的表面的高度/深度关联的表面轮廓；基于可行驶区域的边界和表面轮廓确定后方物体的属性；以及基于与车辆关联的信息确定是否存在与后方物体的属性关联的危险，并输出警告。
根据本公开的另一方面，提供了一种控制系统，该系统包括：倒车警告设备，其被配置为当车辆向后移动时经由安装在车辆的后侧的图像传感器获得后视图像，在后视图像中识别可行驶区域的边界并生成与车辆后方的表面的高度/深度关联的表面轮廓，基于可行驶区域的边界和表面轮廓确定后方物体的属性，并且通过基于与车辆关联的信息确定是否存在与后方物体的属性关联的危险来输出警告；以及电子控制单元，其被配置为基于由倒车警告设备确定的是否存在危险来控制车辆。
如上所述，根据本公开，可提供一种倒车警告设备及其方法和控制系统，其可基于从车辆的后视图像识别的可行驶区域并且基于表面轮廓来确定后方物体的属性，并且可输出与是否存在基于与车辆和后方物体关联的信息确定的危险关联的警告，由此可提供与具有相对矮的高度的后方物体关联的信息。传统上，难以提供与具有相对矮的高度的后方物体关联的警告。
另外，倒车警告设备及其方法和控制系统可基于到车辆的车身的高度和后方物体的高度来差异性地输出警告，从而有效地利用停车空间并防止在车辆向后移动时对车身造成损坏。
附图说明
本公开的以上和其它方面、特征和优点将从以下结合附图进行的详细描述更显而易见，附图中：
图1是包括根据本公开的倒车警告设备的控制系统的框图；
图2至图7是示出根据本公开的倒车警告设备的操作的示图；
图8是示出根据本公开的倒车警告方法的流程图；
图9是示出根据本公开的基于后方物体的高度的倒车警告方法的流程图；以及
图10是示出根据本公开的基于后方物体的深度的倒车警告方法的流程图。
具体实施方式
以下，将参照附图详细描述本公开的实施方式。在通过标号指代附图的元件时，尽管示出于不同的图中，相同的元件将由相同的标号指代。此外，在本公开的以下描述中，本文中所包含的已知功能和配置的详细描述在可能使本公开的主题不清楚时将被省略。
另外，本文中在描述本公开的组件时可使用诸如第一、第二、A、B、(a)、(b)等的术语。这些术语仅用于将一个结构元件与其它结构元件相区分，对应结构元件的性质、次序、顺序等不由该术语限制。应该注意的是，如果在说明书中描述了一个组件“连接”、“联接”或“接合”到另一组件，则尽管第一组件可直接连接、联接或接合到第二组件，但是第三组件可“连接”、“联接”和“接合”在第一和第二组件之间。
除非另外定义，否则如本文所用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。除非在本公开中清楚地定义，否则诸如常用字典中定义的那些术语不应被解释为具有理想或过度含义。如下所述的术语考虑本公开的功能来定义，但是术语的含义可根据用户、操作者的意图或惯例而改变。因此，术语的定义应该基于整个说明书中的内容进行。
在本公开中，“当车辆向后移动时”指示车辆实际向后移动的情况或者感测到用于倒车的信号的情况。另外，“可行驶区域”指示基于车辆的当前位置，车辆可行驶的区域。另外，“表面轮廓”指示与从侧面示出的截面图中车辆后方的表面的高度/深度(相对高度)关联的信息。将理解，车辆可例如在铺砌的街道或者可铺砌或可非铺砌的停车场上向后移动。因此，出于本申请的目的，除非另外明确地指明，否则术语“道路”是指可铺砌或可非铺砌的表面。另外，“后方物体的属性”指示与存在于车辆后方的诸如障碍物(例如，路缘)、凹陷区域等的物体的类型、位置或深度关联的信息。
以下，将参照附图描述根据本公开的实施方式的倒车警告设备及其方法和控制系统。
图1是包括根据本公开的倒车警告设备的控制系统的框图。图2至图7是示出根据本公开的倒车警告设备的操作的示图。
参照图1，根据本公开的控制系统10包括：倒车警告设备100，其当车辆向后移动时经由安装在车辆后侧的相机获得后视图像，从后视图像识别可行驶区域的边界并生成与道路的高度/深度关联的表面轮廓，基于可行驶区域的边界和表面轮廓来确定后方物体的属性，并通过基于与车辆关联的信息，通过确定是否存在与后方物体的属性关联的危险来输出警告；以及电子控制单元(ECU)200，其基于由倒车警告设备100确定的是否存在危险来控制车辆。
控制系统10可基于从相机110和传感器130获得的信息来确定是否存在可归因于存在于车辆后方的物体的危险。控制系统10可基于确定是否存在危险来经由输出装置150输出警告。另外，基于确定是否存在危险，控制系统10可经由电子控制单元200控制或停止倒车。
包括在控制系统10中的倒车警告设备100可包括：相机110，其安装在车辆后侧；至少一个传感器130，其被配置为获得与车辆关联的信息；输出装置150，其被配置为根据控制器的控制来输出警告；以及控制器170，其当车辆向后移动时经由相机获得后视图像，从后视图像识别可行驶区域的边界并生成与道路的高度/深度关联的表面轮廓，基于可行驶区域的边界和表面轮廓来确定后方物体的属性，并通过基于与车辆关联的信息确定是否存在与后方物体的属性关联的危险来控制输出装置150输出警告。
根据实施方式，相机110可包括：图像传感器，其设置在车辆中以具有车辆后方的视野，并被配置为捕获图像数据；以及处理器，其被配置为处理由图像传感器捕获的图像数据。根据实施方式，图像传感器和处理器可被实现为单个模块。
图像传感器可被设置在车辆中以具有相对于自主车辆外部的视野。至少一个图像传感器可被安装在车辆的各个部分中以具有车辆前方的视野、与车辆侧面对应的视野或者车辆后方的视野。
经由图像传感器的拍摄获得的图像信息被配置为图像数据，因此，图像信息可指由图像传感器捕获的图像数据。以下，在本公开中，经由图像传感器的拍摄获得的图像信息可指示由图像传感器捕获的图像数据。由图像传感器捕获的图像数据可按照例如Raw AVI、MPEG-4、H.264、DivX和JPEG的格式之一来生成。由图像传感器捕获的图像数据可由处理器处理。
另外，图像传感器可被设置在车辆中以具有车辆后方的视野，并且被配置为捕获图像数据。由图像传感器捕获的图像数据可由处理器处理，并且可用于在车辆向后移动时获得后视图像，并且可用于从后视图像识别可行驶区域的边界并生成与道路的高度/深度关联的表面轮廓。可行驶区域的边界和表面轮廓可用于确定后方物体的属性，并且可用于基于与车辆关联的信息，确定是否存在与后方物体的属性关联的危险。
处理器可操作以处理由图像传感器捕获的图像数据。例如，获得后视图像和获得可行驶区域的边界和表面轮廓的操作的至少一部分可由处理器执行。
处理器可使用能够处理图像数据并执行其它功能的电气单元中的至少一个来实现，例如专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等。
如图2所示，相机110可被安装在安装有控制系统10的车辆1的后侧。根据实施方式，尽管图2示出设置单个相机，但不限于此。根据实施方式，相机110可被实现为具有车辆1后方的视野的多个相机。在这种情况下，控制器170可通过将从相机获得的图像组合来获得图像。
传感器130被安装在车辆1中并且可获得与车辆1关联的各种信息。从传感器130获得的与车辆关联的信息可包括与到车辆1的车身的高度(到车辆的车身的高度表示从道路表面到车辆的车身下表面的垂直距离)、后轮的位置、车辆的最后部的位置等关联的信息。为了从传感器130获得与车辆关联的信息，倒车警告设备100还可包括用于存储与车辆1的数据关联的信息的存储器(未示出)。
根据实施方式，传感器130可使用与车辆1的数据关联的信息以及与车辆1的当前状态关联的信息来获得与到车辆1的车身的高度、后轮的位置、车辆的最后部的位置等关联的信息。不管传感器的类型如何，能够获得与车辆关联的所需信息的任何传感器可用作传感器130。
输出装置150可根据控制器170的控制输出与控制器170就是否存在可归因于车辆后方的物体的危险所做的确定对应的警告。输出装置150可输出视觉、听觉或触觉警告。根据实施方式，输出装置150可包括用于输出视觉警告的显示器、用于输出听觉警告的扬声器以及安装有触觉模块以输出触觉警告的方向盘。
控制器170可控制倒车警告设备100的操作。根据实施方式，控制器170可被实现为电子控制单元(ECU)。控制器170可从处理器接收处理图像数据的结果。控制器170可基于图像数据的处理来执行倒车警告。
当车辆1向后移动时，控制器170可经由相机110获得后视图像。根据实施方式，当感测到用于倒车的信号时，控制器170可操作安装在后侧的相机110。例如，用于倒车的信号可指示车辆1切换为倒档模式的情况。当车辆1向后移动时，控制器170可经由相机110获得后视图像。
控制器170可从所获得的后视图像识别车辆1能够行驶的可行驶区域的边界。控制器170可通过对经由相机110获得的后视图像应用对象检测算法来识别可行驶区域。从图像检测可行驶区域的算法基于公知的方法。该方法不限于预定算法，可使用能够识别可行驶区域的任何方法。
参照图3，示出从自相机110获得的图像识别的可行驶区域。在对应图像中，在上部示出通过路缘(s)区分的建筑和人行道。在路缘(s)下方的部分中，不包括预定障碍物(o)或无车区域并且允许车辆1行驶的可行驶区域(FS)可按照将可行驶区域与其它区域相区分的方式来显示。
控制器170可从所获得的后视图像生成与道路的高度/深度关联的表面轮廓。根据实施方式，可基于所识别的可行驶区域的边界，生成与可行驶区域关联的表面轮廓。
为了生成表面轮廓，控制器170可获得随着车辆1移动，从相机110前方的预定点识别的斜率的变化，并且可确定对应点的高度。例如，参照图4，示出凹陷地形(o1)和路缘(o2)作为车辆1的后方物体。随着车辆1向后移动，相机110的位置改变。可从各个位置110和110’获得包括预定点(p)的图像。控制器170可基于从各个位置获得的图像中的预定点(p)识别的斜率的变化来确定预定点(p)的高度/深度。
控制器170可基于可行驶区域的边界和表面轮廓来确定后方物体的属性。后方物体的属性可包括与存在于车辆后方的诸如障碍物(例如，路缘)、凹陷区域等的物体的类型、位置或深度关联的信息。例如，控制器170可将可行驶区域中高度低于其它区域的区域确定为凹陷区域，并且可获得与对应区域的位置、面积和深度关联的信息。另选地，控制器170可将可行驶区域的边界处高度高于其它区域的区域确定为路缘，并且可获得与该区域的位置、高度等关联的信息。
控制器170可基于从传感器130获得的与车辆关联的信息确定是否存在与后方物体的属性关联的危险。参照图5，控制器170可使用可行驶区域的边界和表面轮廓基于车辆1的一部分来计算后方物体(o3)的位置和高度/深度。
根据实施方式，当后方物体的高度(H1)高于到车辆1的车身的高度(H2)时，控制器170可基于车辆1的最后部2来计算距后方物体(o3)的距离(D1)。当距后方物体(o3)的距离(D1)变得短于预定危险距离时，随着车辆1向后移动，控制器170可输出警告。即，如图6所示，当物体(o3)的高度高于车辆1的车身时，驾驶者可接收到警告，并且可在车辆的最后部不越过物体(o3)的范围内安全地将车辆1倒车。
根据另一实施方式，当后方物体的高度(H1)低于到车辆1的车身的高度(H2)时，控制器170可基于车辆1的后轮3的位置来计算距后方物体(o3)的距离(D2)。当距后方物体(o3)的距离(D2)变得短于预定危险距离时，随着车辆1向后移动，控制器170可输出警告。即，如图7所示，当物体(o3)的高度低于到车辆1的车身的高度时，驾驶者可在车辆的后轮不遇到物体(o3)的范围内将车辆1倒车。因此，与图6的情况相比，驾驶者可更有效地利用停车空间。
根据另一实施方式，假设后方物体的深度大于到车辆1的车身的高度(H2)。即，当深度大于到车辆1的车身的高度的凹陷区域存在于车辆1后方时，控制器170可基于车辆1的后轮3的位置来计算距凹陷区域的距离。当距后方物体的距离变得短于预定危险距离时，随着车辆1向后移动，控制器170可输出警告。
在这种情况下，根据实施方式，控制器170可计算凹陷区域的直径。当凹陷区域的直径窄于车辆1的后轮的宽度时，控制器170可不输出警告，或者可输出不同的警告。
根据实施方式，当确定倒车危险时(例如，当车辆以比预定危险距离更近的距离接近后方物体时)，控制器170可基于后方物体的属性经由输出装置150输出不同的警告。
根据实施方式，当后方物体的高度(H1)高于到车辆1的车身的高度(H2)时，控制器170可指示与车辆1的最后部关联的碰撞危险。例如，控制器170可在安装在车辆内部的显示器上显示指示与最后部关联的碰撞危险的文本、图形等。另选地，控制器170可经由扬声器输出与最后部关联的碰撞危险的语音警告。另选地，控制器170可向方向盘输出按照规则间隔振动的第一模式的振动。
根据另一实施方式，当后方物体的高度(H1)低于到车辆1的车身的高度(H2)时，控制器170可指示与车辆的后轮关联的碰撞危险。例如，控制器170可在安装在车辆内部的显示器上显示指示与后轮关联的碰撞危险的文本、图形等。另选地，控制器170可经由扬声器输出与后轮关联的碰撞危险的语音警告。另选地，控制器170可向方向盘输出按照不同于第一模式的规则间隔振动的第二模式的振动。
根据另一实施方式，当后方物体的深度大于到车辆1的车身的高度时，控制器170可指示车辆的后轮落入凹陷区域中的危险。例如，控制器170可在安装在车辆内部的显示器上显示指示与后轮关联的下落危险的文本、图形等。另选地，控制器170可经由扬声器输出与后轮关联的下落危险的语音警告。另选地，控制器170可向方向盘输出按照不同于第一模式和第二模式的规则间隔振动的第三模式的振动。
在这种情况下，当凹陷区域的直径窄于车辆1的后轮的宽度时，控制器170可输出与随着后轮通过凹陷区域可能发生的冲击关联的警告。
根据以上描述，基于从车辆的后视图像识别的可行驶区域和表面轮廓来确定后方物体的属性，并且输出与是否存在基于与车辆关联的信息和后方物体的属性确定的危险关联的警告。因此，可提供与具有相对矮的高度的后方物体关联的信息。另外，基于到车辆的车身的高度和后方物体的高度输出不同的警告，从而有效地利用停车空间并防止当驾驶者向后移动车辆以停放车辆时对车身的损坏。
根据本公开的倒车警告设备100可包括：图像传感器，其设置在车辆中以具有车辆后方的视野，并且被配置为捕获图像数据；至少一个传感器，其被配置为获得与车辆关联的信息；以及域控制单元(DCU)，其被配置为执行：处理由图像传感器捕获的图像数据，并控制安装在车辆中的至少一个驾驶者辅助系统。
根据实施方式，上面所描述的用于处理图像数据的处理器、控制器、电子控制单元等可被集成并实现为域控制单元。在这种情况下，域控制单元可生成各种车辆控制信号，并且可控制安装在车辆中的驾驶辅助系统以及车辆的各种相关装置。
域控制单元可在车辆向后移动时基于图像数据的处理获得后视图像，可从后视图像识别可行驶区域的边界并且可生成与道路的高度/深度关联的表面轮廓，可基于可行驶区域的边界和表面轮廓确定后方物体的属性，并且可通过基于与车辆关联的信息确定是否存在与后方物体的属性关联的危险来输出警告。为此，域控制单元可包括至少一个处理器。
域控制单元被安装在车辆中，并且可与安装在车辆中的至少一个图像传感器和至少一个非图像传感器通信。为此，还可包括用于数据传输或信号传输的合适的数据链路或通信链路(例如，车辆网络总线等)。
域控制单元可操作以控制用于车辆的各种驾驶者辅助系统(DAS)当中的一个或更多个。域控制单元可基于由多个非图像传感器捕获的感测数据以及由图像传感器捕获的图像数据来控制诸如盲点检测(BSD)系统、自适应巡航控制(ACC)系统、车道偏离警告系统(LDWS)、车道保持辅助系统(LKAS)、车道变换辅助系统(LCAS)等的驾驶者辅助系统(DAS)。
当车辆1向后移动时，域控制单元可通过处理由图像传感器捕获的图像数据来获得后视图像。根据实施方式，当感测到用于倒车的信号时，域控制单元可操作安装在后侧的图像传感器。例如，用于倒车的信号可指示车辆1切换为倒档模式的情况。当车辆1向后移动时，域控制单元可经由图像传感器获得后视图像。
域控制单元可从所获得的后视图像识别车辆1能够行驶的可行驶区域的边界。域控制单元可通过对经由相机110获得的后视图像应用对象检测算法来识别可行驶区域。从图像检测可行驶区域的算法基于公知的方法。该方法不限于预定算法，可使用能够识别可行驶区域的任何方法。
域控制单元可从所获得的后视图像生成与道路的高度/深度关联的表面轮廓。根据实施方式，可基于所识别的可行驶区域的边界生成与可行驶区域关联的表面轮廓。
为了生成表面轮廓，域控制单元可获得随着车辆1移动，从相机110前方的预定点识别的斜率的变化，并且可确定对应点的高度。域控制单元可使用从各个位置获得的图像中的预定点识别的斜率的变化来确定预定点的高度/深度。
域控制单元可基于可行驶区域的边界和表面轮廓来确定后方物体的属性。后方物体的属性可包括与存在于车辆后方的诸如障碍物(例如，路缘)、凹陷区域等的物体的类型、位置或深度关联的信息。例如，域控制单元可将可行驶区域中高度低于其它区域的区域确定为凹陷区域，并且可获得与对应区域的位置、面积和深度关联的信息。另选地，域控制单元可将可行驶区域的边界处高度高于其它区域的区域确定为路缘，并且可获得与该区域的位置、高度等关联的信息。
域控制单元可基于从传感器130获得的与车辆关联的信息确定是否存在与后方物体的属性关联的危险。参照图5，域控制单元可使用可行驶区域的边界和表面轮廓基于车辆1的一部分来计算后方物体(o3)的位置和高度/深度。
根据实施方式，当后方物体的高度(H1)高于到车辆1的车身的高度(H2)时，域控制单元可基于车辆1的最后部2来计算距后方物体(o3)的距离(D1)。当距后方物体(o3)的距离(D1)变得短于预定危险距离时，随着车辆1向后移动，域控制单元可输出警告。即，如图6所示，当物体(o3)的高度高于到车辆1的车身的高度时，驾驶者可接收到警告，并且可在车辆的最后部不越过物体(o3)的范围内安全地将车辆1倒车。
根据另一实施方式，当后方物体的高度(H1)低于到车辆1的车身的高度(H2)时，域控制单元可基于车辆1的后轮3的位置来计算距后方物体(o3)的距离(D2)。当距后方物体(o3)的距离(D2)变得短于预定危险距离时，随着车辆1向后移动，域控制单元可输出警告。即，如图7所示，当物体(o3)的高度低于到车辆1的车身的高度时，驾驶者可在车辆的后轮不遇到物体(o3)的范围内将车辆1倒车。因此，与图6的情况相比，驾驶者可更有效地利用停车空间。
根据另一实施方式，假设后方物体的深度大于到车辆1的车身的高度(H2)。即，当深度大于到车辆1的车身的高度的凹陷区域存在于车辆1后方时，域控制单元可基于车辆1的后轮3的位置来计算距凹陷区域的距离。当距凹陷区域的距离变得短于预定危险距离时，随着车辆1向后移动，域控制单元可输出警告。
在这种情况下，根据实施方式，域控制单元可计算凹陷区域的直径。当凹陷区域的直径窄于车辆1的后轮的宽度时，域控制单元可不输出警告，或者可输出不同的警告。
根据实施方式，当确定倒车危险时(例如，当车辆以比预定危险距离更近的距离接近后方物体时)，域控制单元可基于后方物体的属性经由输出装置150输出不同的警告。
根据实施方式，当后方物体的高度(H1)高于到车辆1的车身的高度(H2)时，域控制单元可指示与车辆的最后部关联的碰撞危险。例如，域控制单元可在安装在车辆内部的显示器上显示指示与最后部关联的碰撞危险的文本、图形等。另选地，域控制单元可经由扬声器输出与最后部关联的碰撞危险的语音警告。另选地，域控制单元可向方向盘输出按照规则间隔振动的第一模式的振动。
根据另一实施方式，当后方物体的高度(H1)低于到车辆1的车身的高度(H2)时，域控制单元可指示与车辆的后轮关联的碰撞危险。例如，域控制单元可在安装在车辆内部的显示器上显示指示与后轮关联的碰撞危险的文本、图形等。另选地，域控制单元可经由扬声器输出与后轮关联的碰撞危险的语音警告。另选地，域控制单元可向方向盘输出按照不同于第一模式的规则间隔振动的第二模式的振动。
根据另一实施方式，当后方物体的深度大于到车辆1的车身的高度时，域控制单元可指示车辆的后轮落入凹陷区域中的危险。例如，域控制单元可在安装在车辆内部的显示器上显示指示与后轮关联的下落危险的文本、图形等。另选地，域控制单元可经由扬声器输出与后轮关联的下落危险的语音警告。另选地，域控制单元可向方向盘输出按照不同于第一模式和第二模式的规则间隔振动的第三模式的振动。
在这种情况下，当凹陷区域的直径窄于车辆1的后轮的宽度时，域控制单元可输出与随着后轮通过凹陷区域可能发生的冲击关联的警告。
根据以上描述，基于从车辆的后视图像识别的可行驶区域和表面轮廓来确定后方物体的属性，并且输出与是否存在基于与车辆关联的信息和后方物体的属性确定的危险关联的警告。因此，可提供与具有相对矮的高度的后方物体关联的信息。另外，基于到车辆的车身的高度和后方物体的高度输出不同的警告，从而有效地利用停车空间并防止当驾驶者向后移动车辆以停放车辆时对车身的损坏。
图8是示出根据本公开的倒车警告方法的流程图。图9是示出根据本公开的基于后方物体的高度的倒车警告方法的流程图。图10是示出根据本公开的基于后方物体的深度的倒车警告方法的流程图。
根据本公开的倒车警告方法可由已参照图1描述的倒车警告设备100实现。以下，将参照与之相关的附图详细描述根据本公开的倒车警告方法以及用于实现该倒车警告方法的倒车警告设备100的操作。
参照图8，在操作S110中，当车辆向后移动时倒车警告设备经由安装在车辆的后侧的相机获得后视图像。
当车辆向后移动时，倒车警告设备可经由相机获得后视图像。根据实施方式，当感测到用于倒车的信号时，倒车警告设备可操作安装在后侧的相机。例如，用于倒车的信号可指示车辆切换为倒档模式的情况。当车辆向后移动时，倒车警告设备可经由相机获得后视图像。
再参照图8，在操作S120中，倒车警告设备可在后视图像中识别可行驶区域的边界，并且可生成与道路的高度/深度关联的表面轮廓。
倒车警告设备可从所获得的后视图像识别车辆能够行驶的可行驶区域的边界。倒车警告设备可通过对经由相机获得的后视图像应用对象检测算法来识别可行驶区域。从图像检测可行驶区域的算法基于公知的方法。该方法不限于预定算法，可使用能够识别可行驶区域的任何方法。
倒车警告设备可从所获得的后视图像生成与道路的高度/深度关联的表面轮廓。根据实施方式，可基于所识别的可行驶区域的边界与可行驶区域关联生成表面轮廓。为了生成表面轮廓，倒车警告设备可获得随着车辆移动，从相机前方的预定点识别的斜率的变化，并且可确定对应点的高度。
在以上描述中，在识别可行驶区域之后生成表面轮廓。然而，操作顺序不限于此。倒车警告设备可被配置为从所获得的后视图像识别可行驶区域并基本上同时生成表面轮廓。
再参照图8，在操作S130中，倒车警告设备可基于可行驶区域的边界和表面轮廓来确定后方物体的属性。
倒车警告设备可基于可行驶区域的边界和表面轮廓来确定后方物体的属性。后方物体的属性可包括与存在于车辆后方的诸如障碍物(例如，路缘)、凹陷区域等的物体的类型、位置或深度关联的信息。
再参照图8，在操作S140中，倒车警告设备可通过基于与车辆关联的信息确定是否存在与后方物体的属性关联的危险来输出警告。
倒车警告设备可基于从安装在车辆中的传感器获得的与车辆关联的信息确定是否存在与后方物体的属性关联的危险。倒车警告设备可使用可行驶区域的边界和表面轮廓基于车辆的一部分计算后方物体的位置和高度/深度。
当车辆的该部分与后方物体之间的距离小于或等于预定危险距离时，倒车警告设备可输出基于后方物体的高度/深度相区分的不同警告。以下，将参照图9和图10详细描述输出警告的处理。
图9是详细示出图8的操作S140的流程图。参照图9，在操作S210中，倒车警告设备可获得与车辆关联的信息。倒车警告设备可使用安装在车辆处的各种传感器来获得与车辆关联的各种信息。从传感器获得的与车辆关联的信息可包括与到车辆的车身的高度、后轮的位置、车辆的最后部的位置等关联的信息。为了从传感器获得与车辆关联的信息，倒车警告设备还可包括存储器以用于存储与车辆的数据关联的信息。
倒车警告设备可使用与车辆的数据关联的信息以及与车辆的当前状态关联的信息来获得与到车辆的车身的高度、后轮的位置和车辆的最后部的位置关联的信息。不管传感器的类型如何，能够获得与车辆关联的所需信息的任何传感器可用作传感器130。
再参照图9，在操作S220中，倒车警告设备可将从后视图像检测的后方物体的高度与到车辆的车身的高度进行比较。当在操作S220中后方物体的高度高于到车辆的车身的高度时(是)，倒车警告设备可在操作S230中基于车辆的最后部计算距后方物体的距离。
在操作S250中，随着车辆向后移动，倒车警告设备可监测距后方物体的距离是否变得短于预定危险距离。当在操作S250中随着车辆向后移动距后方物体的距离变得短于预定危险距离时(是)，倒车警告设备可在操作S260中输出警告。在这种情况下，倒车警告设备可显示与车辆的最后部关联的碰撞危险。
例如，倒车警告设备可在安装在车辆内部的显示器上显示指示与最后部关联的碰撞危险的文本、图形等。另选地，倒车警告设备可经由扬声器输出与最后部关联的碰撞危险语音警告。另选地，倒车警告设备可向方向盘输出按照规则间隔振动的第一模式的振动。因此，当物体的高度高于到车辆的车身的高度时，驾驶者可在车辆的最后部不越过物体的范围内安全地倒车。
再参照图9，当在操作S220中后方物体的高度低于到车辆的车身的高度时(否)，倒车警告设备可在操作S240中基于车辆的后轮的位置计算距后方物体的距离。当在操作S250中随着车辆向后移动距后方物体的距离变得短于预定危险距离时(是)，倒车警告设备可在操作S260中输出警告。在这种情况下，倒车警告设备可显示与车辆的后轮关联的碰撞危险。
例如，倒车警告设备可在安装在车辆内部的显示器上显示指示与后轮关联的碰撞危险的文本、图形等。另选地，倒车警告设备可经由扬声器输出与后轮关联的碰撞危险的语音警告。另选地，倒车警告设备可向方向盘输出按照不同于第一模式的规则间隔振动的第二模式的振动。因此，允许车辆在车辆的最后部置于后方物体上方的状态下停放，并且驾驶者可有效地使用停车空间。
图10是根据另一实施方式详细示出图8的操作S140的流程图。参照图10，在操作S310中，倒车警告设备可获得与车辆关联的信息。这基本上与图9的操作S210相同，因此，将省略其详细描述。
再参照图10，在操作S320中，倒车警告设备可将从后视图像检测的后方物体的高度与到车辆的车身的高度进行比较。当在操作S320中后方物体的深度大于到车辆的车身的高度时(是)，倒车警告设备可在操作S330中基于车辆的后轮的位置计算距后方物体的距离。
在操作S340中随着车辆向后移动，倒车警告设备可监测距后方物体的距离是否变得短于预定危险距离。当在操作S340中随着车辆向后移动距后方物体的距离变得短于预定危险距离时(是)，倒车警告设备可在操作S350中输出警告。在这种情况下，倒车警告设备可显示与车辆的后轮关联的碰撞危险。
例如，倒车警告设备可在安装在车辆内部的显示器上显示指示与后轮关联的下落危险的文本、图形等。另选地，倒车警告设备可经由扬声器输出与后轮关联的下落危险的语音警告。另选地，倒车警告设备可向方向盘输出按照不同于第一模式和第二模式的规则间隔振动的第三模式的振动。
当凹陷区域的直径窄于后轮的宽度时，倒车警告设备可输出与随着后轮通过凹陷区域可能发生的冲击关联的警告。因此，当物体的深度大于到车辆的车身的高度时，驾驶者可在车辆的后轮不越过物体的范围内安全地倒车。
根据以上描述，基于从车辆的后视图像识别的可行驶区域和表面轮廓来确定后方物体的属性，并且输出与是否存在基于与车辆关联的信息和后方物体的属性确定的危险关联的警告。因此，可提供与具有相对矮的高度的后方物体关联的信息。另外，基于到车辆的车身的高度和后方物体的高度输出不同的警告，从而有效地利用停车空间并防止当驾驶者向后移动车辆以停放车辆时对车身的损坏。
上面所描述的本公开可通过计算机可从记录程序的介质读取的代码来实现。计算机可读记录介质包括存储可由计算机系统读取的数据的所有类型的记录装置。计算机可读记录介质包括例如硬盘驱动器(HDD)、固态盘(SSD)、硅磁盘驱动器(SDD)、ROM、RAM、CD-ROM、磁带、软盘、光学数据存储装置等，并且还包括载波形式的实现(例如，经由互联网网的传输)。
以上描述和附图仅出于例示目的提供了本公开的技术构思的示例。本公开所属技术领域的普通技术人员将认识到，在不脱离本公开的基本特征的情况下，可进行形式上的各种修改和改变，例如配置的组合、分离、置换和改变。因此，本公开所公开的实施方式旨在示出本公开的技术构思的范围，并且本公开的范围不由实施方式限制。即，在不脱离本公开的范围的情况下，所有结构元件中的至少两个元件可选择性地接合并操作。本公开的范围应该基于所附权利要求来解释，使得包括在权利要求的等同范围内的所有技术构思属于本公开。
相关申请的交叉引用
本申请要求2018年10月8日提交的韩国专利申请No.10-2018-0120091的优先权，其出于所有目的通过引用并入本文，如同在本文中充分阐述一样。

Claims (21)

1.一种倒车警告设备，该设备包括：
图像传感器，该图像传感器被安装到车辆并被配置为捕获该车辆后方的图像数据；
图像处理器，该图像处理器被配置为处理由所述图像传感器捕获的图像数据；
传感器，该传感器被配置为获得与所述车辆关联的信息；以及
控制器，该控制器包括非暂时性存储器和处理器，并且被配置为基于所述图像数据的处理来输出倒车警告，
其中，所述控制器还被配置为：
当所述车辆向后移动时，基于所述图像数据的处理来获得后视图像；
在所述后视图像中识别可行驶区域的边界，并生成与所述车辆后方的表面的高度或深度关联的表面轮廓；
基于表面轮廓和所述可行驶区域的边界确定后方物体的位置和高度或深度，并且
基于与所述车辆关联的信息，确定是否存在与所述后方物体的属性关联的危险，并且
输出警告，该警告取决于所确定的所述后方物体的位置和高度或深度。
2.根据权利要求1所述的设备，其中，与所述车辆关联的信息包括与到所述车辆的车身的高度、后轮的位置、所述车辆的最后部的位置以及所述车辆的在所述后轮后方的车身的最下部的位置关联的信息。
3.根据权利要求1所述的设备，其中，所述控制器被配置为：
如果所述后方物体的高度高于到所述车辆的车身的高度，则基于所述车辆的最后部与所述后方物体之间的距离来输出警告。
4.根据权利要求1所述的设备，其中，所述控制器被配置为：
如果所述后方物体的高度低于到所述车辆的车身的高度，则基于所述车辆的后轮的位置与所述后方物体之间的距离来输出警告。
5.根据权利要求1所述的设备，其中，所述控制器被配置为：
如果所述后方物体的深度大于到所述车辆的车身的高度，则基于所述车辆的后轮的位置与所述后方物体之间的距离来输出警告。
6.根据权利要求1所述的设备，其中，所述控制器被配置为基于所述后方物体的位置和高度或深度在不同的时间输出不同的警告。
7.一种倒车警告设备，该设备包括：
图像传感器，该图像传感器被安装到车辆并被配置为捕获该车辆后方的图像数据；以及
控制器，该控制器被配置为处理由所述图像传感器捕获的图像数据，并且控制安装在所述车辆中的至少一个驾驶者辅助系统；
其中，所述控制器被配置为：
当所述车辆向后移动时，基于所述图像数据的处理来获得后视图像；
在所述后视图像中识别可行驶区域的边界并生成与所述车辆后方的表面的高度或深度关联的表面轮廓；
基于表面轮廓和所述可行驶区域的边界确定后方物体的属性；并且
基于与所述车辆关联的信息确定是否存在与所述后方物体的属性关联的危险，并且如果检测到危险，则基于所确定的属性输出不同的警告。
8.根据权利要求7所述的设备，其中，与所述车辆关联的信息包括与到所述车辆的车身的高度、后轮的位置、所述车辆的最后部的位置以及所述车辆的在所述后轮后方的车身的最下部的位置关联的信息。
9.根据权利要求7所述的设备，其中，所述控制器被配置为：
基于所述表面轮廓和所述可行驶区域的边界来确定所述后方物体的位置和高度或深度，并且
当所述后方物体的高度高于到所述车辆的车身的高度时，基于所述车辆的最后部与所述后方物体之间的距离来输出警告。
10.根据权利要求7所述的设备，其中，所述控制器被配置为：
基于所述表面轮廓和所述可行驶区域的边界来确定所述后方物体的位置和高度或深度，并且
当所述后方物体的高度低于到所述车辆的车身的高度时，基于所述车辆的后轮的位置与所述后方物体之间的距离来输出警告。
11.根据权利要求7所述的设备，其中，所述控制器被配置为：
基于所述表面轮廓和所述可行驶区域的边界来确定所述后方物体的位置和高度或深度，并且
当所述后方物体的深度大于到所述车辆的车身的高度时，基于所述车辆的后轮的位置与所述后方物体之间的距离来输出警告。
12.根据权利要求7所述的倒车警告设备，该倒车警告设备还包括被配置为获得与所述车辆关联的信息的传感器。
13.一种车辆的倒车警告方法，该方法包括以下步骤：
当所述车辆向后移动时，经由安装在所述车辆后部的图像传感器获得后视图像；
在所述后视图像中识别可行驶区域的边界并生成与表面的高度/深度关联的表面轮廓；
基于所述表面轮廓和所述可行驶区域的边界来确定后方物体的位置和高度或深度；以及
基于与所述车辆关联的信息确定是否存在与所述后方物体的位置和高度或深度关联的危险，以及
输出警告，该警告基于所述后方物体的位置和高度或深度而不同。
14.根据权利要求13所述的方法，其中，如果所述后方物体的高度高于到所述车辆的车身的高度，则输出警告的步骤包括：基于所述车辆的最后部与所述后方物体之间的距离来输出警告。
15.根据权利要求13所述的方法，其中，如果所述后方物体的高度低于到所述车辆的车身的高度，则输出警告的步骤包括：基于所述车辆的后轮的位置与所述后方物体之间的距离来输出警告。
16.根据权利要求13所述的方法，其中，如果所述后方物体的深度大于到所述车辆的车身的高度，则输出警告的步骤包括：基于所述车辆的后轮的位置与所述后方物体之间的距离来输出警告。
17.根据权利要求13所述的方法，其中，所述不同的警告在不同的时间输出。
18.一种用于车辆的警告设备，该警告设备包括：
图像传感器，该图像传感器被安装到车辆并被配置为捕获该车辆后方的视野中的图像数据；
图像处理器，该图像处理器被配置为处理由所述图像传感器捕获的所述图像数据；以及
控制器，该控制器包括非暂时性存储器和处理器，并且被配置为：
生成所述车辆后方的表面的表面轮廓，
识别所述车辆后方的所述表面上的物体并识别所述车辆的最后部分与所识别的物体之间的可行驶区域的边界，
基于所识别的边界和所述表面轮廓确定所述物体的高度、深度或高度和深度二者，并且
确定所述物体的高度、深度或高度和深度二者是否对所述车辆构成危险并确定所述车辆的被构成所述危险的部分，
基于所构成的危险的类型来输出警告。
19.根据权利要求18所述的警告设备，其中，根据所述后方物体的高度是否高于到所述车辆的车身的高度、所述后方物体的高度是否低于到所述车辆的车身的高度或者所述后方物体的深度是否大于到所述车辆的车身的高度来输出不同的警告。
20.根据权利要求19所述的警告设备，其中，在检测到所述物体构成危险之后在不同的时间发起所述不同的警告的输出。
21.根据权利要求18所述的警告设备，其中，与所述车辆关联的信息包括与到所述车辆的车身的高度、后轮的位置、所述车辆的最后部的位置以及所述车辆的在所述后轮后方的车身的最下部的位置关联的信息。
CN201910121380.7A 2018-10-08 2019-02-19 倒车警告设备及其方法和控制系统 Pending CN111002900A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0120091 2018-10-08
KR1020180120091A KR102616205B1 (ko) 2018-10-08 2018-10-08 후방 경보 장치, 그 방법 및 제어 시스템

Publications (1)

Publication Number Publication Date
CN111002900A true CN111002900A (zh) 2020-04-14

Family

ID=70052904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910121380.7A Pending CN111002900A (zh) 2018-10-08 2019-02-19 倒车警告设备及其方法和控制系统

Country Status (3)

Country Link
US (1) US10752259B2 (zh)
KR (1) KR102616205B1 (zh)
CN (1) CN111002900A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113415279B (zh) * 2021-06-24 2022-11-01 东风汽车集团股份有限公司 一种车辆倒车辅助方法、系统及车辆

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006182108A (ja) * 2004-12-27 2006-07-13 Nissan Motor Co Ltd 車両周辺監視装置
WO2009141019A1 (de) * 2008-05-19 2009-11-26 Robert Bosch Gmbh Verfahren und vorrichtung zur vermessung eines hindernisses
DE102008027180A1 (de) * 2008-06-06 2009-12-10 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeuges
CN101616832A (zh) * 2007-02-20 2009-12-30 丰田自动车株式会社 车辆行驶辅助装置以及车辆行驶辅助方法
KR20140052506A (ko) * 2012-10-24 2014-05-07 현대모비스 주식회사 차량 후방 함몰위치 인식방법 및 장치
KR20140130824A (ko) * 2013-05-02 2014-11-12 현대모비스 주식회사 주차 모드 자동 변경 시스템 및 방법
JP2015507776A (ja) * 2011-12-07 2015-03-12 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車体部及び／又は車輪と対象物との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法
CN206096446U (zh) * 2016-09-05 2017-04-12 罗伯特·博世有限公司 车辆及其障碍物检测装置
US20180101739A1 (en) * 2016-10-07 2018-04-12 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
US20180268229A1 (en) * 2015-11-27 2018-09-20 Otoichi NAKATA Image processing apparatus, imaging apparatus, and device control system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4741847B2 (ja) 2005-01-20 2011-08-10 株式会社アトム技研 後方監視装置
US7741961B1 (en) * 2006-09-29 2010-06-22 Canesta, Inc. Enhanced obstacle detection and tracking for three-dimensional imaging systems used in motor vehicles
KR101417110B1 (ko) 2008-09-29 2014-07-08 현대자동차주식회사 차량의 입체 안내선 표시된 영상 제공 시스템
US10703299B2 (en) * 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
JP2012065225A (ja) 2010-09-17 2012-03-29 Panasonic Corp 車載用画像処理装置、周辺監視装置、および、車両
KR20150051735A (ko) * 2013-11-05 2015-05-13 현대모비스 주식회사 주차 보조 시스템 및 그 방법
CN109884618B (zh) * 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航系统、包括导航系统的车辆和导航车辆的方法
DE102015201317A1 (de) * 2015-01-27 2016-07-28 Bayerische Motoren Werke Aktiengesellschaft Vermessen einer Abmessung auf einer Oberfläche

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006182108A (ja) * 2004-12-27 2006-07-13 Nissan Motor Co Ltd 車両周辺監視装置
CN101616832A (zh) * 2007-02-20 2009-12-30 丰田自动车株式会社 车辆行驶辅助装置以及车辆行驶辅助方法
WO2009141019A1 (de) * 2008-05-19 2009-11-26 Robert Bosch Gmbh Verfahren und vorrichtung zur vermessung eines hindernisses
DE102008027180A1 (de) * 2008-06-06 2009-12-10 Daimler Ag Verfahren und Vorrichtung zum Betrieb eines Fahrzeuges
JP2015507776A (ja) * 2011-12-07 2015-03-12 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車体部及び／又は車輪と対象物との衝突を回避するための能動的警報及び／又はナビゲーション補助の方法
KR20140052506A (ko) * 2012-10-24 2014-05-07 현대모비스 주식회사 차량 후방 함몰위치 인식방법 및 장치
KR20140130824A (ko) * 2013-05-02 2014-11-12 현대모비스 주식회사 주차 모드 자동 변경 시스템 및 방법
US20180268229A1 (en) * 2015-11-27 2018-09-20 Otoichi NAKATA Image processing apparatus, imaging apparatus, and device control system
CN206096446U (zh) * 2016-09-05 2017-04-12 罗伯特·博世有限公司 车辆及其障碍物检测装置
US20180101739A1 (en) * 2016-10-07 2018-04-12 Ford Global Technologies, Llc Rear obstacle detection and distance estimation

Also Published As

Publication number Publication date
US20200108841A1 (en) 2020-04-09
US10752259B2 (en) 2020-08-25
KR102616205B1 (ko) 2023-12-21
KR20200040153A (ko) 2020-04-17

Similar Documents

Publication Publication Date Title
KR101915167B1 (ko) 자동 주차 시스템 및 자동 주차 방법
CN108275143B (zh) 自动泊车系统和自动泊车方法
CN111231831B (zh) 车辆窄路通行检测方法、电子设备及汽车
US20070069873A1 (en) Vehicle surrounding monitoring system
JP4223320B2 (ja) 車両用運転支援装置
US20160176342A1 (en) Vehicle-reversing display system capable of automatically switching multiple field-of-view modes and vehicle-reversing image capture device
JP2018072105A (ja) 物体検知装置
JP6500984B2 (ja) 車両制御装置及び車両制御方法
CN113593301B (zh) 车辆加塞的预判断方法、车辆及计算机可读存储介质
JP3915766B2 (ja) 運転支援装置
JP6885022B2 (ja) 運転支援装置
JP7069539B2 (ja) 運転支援装置
KR20180065527A (ko) 차량 후측방 경고 장치 및 이를 이용한 경고 방법
CN113895433B (zh) 通过传感器角度调整的前向避撞系统及其方法
EP3545465A1 (en) Information processing apparatus, imaging apparatus, apparatus control system, movable object, information processing method, and information processing program
CN111002900A (zh) 倒车警告设备及其方法和控制系统
JP4872517B2 (ja) 障害物認識装置
JP4309184B2 (ja) 車両用運転支援装置
KR102023863B1 (ko) 이동체 주위 표시 방법 및 이동체 주위 표시 장치
JP2018136713A (ja) ドライバの視界推定装置及び車両用制御装置
JP2004302609A (ja) 車両用周囲監視装置
JP7468159B2 (ja) 運転支援装置
JP7485228B2 (ja) 物体検知装置、物体検知方法、および物体検知プログラム
JP7415393B2 (ja) 運転支援装置
KR102559534B1 (ko) 악천후에서의 차량의 주행차선 지원 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211206

Address after: Gyeonggi Do, South Korea

Applicant after: Wandu Mobile System Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Applicant before: MANDO Corp.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220920

Address after: Inchon, Korea

Applicant after: Halla Creedong Electronics Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Applicant before: Wandu Mobile System Co.,Ltd.

TA01 Transfer of patent application right