CN108137096B - 用于停放车辆的系统 - Google Patents

用于停放车辆的系统 Download PDF

Info

Publication number
CN108137096B
CN108137096B CN201680057339.2A CN201680057339A CN108137096B CN 108137096 B CN108137096 B CN 108137096B CN 201680057339 A CN201680057339 A CN 201680057339A CN 108137096 B CN108137096 B CN 108137096B
Authority
CN
China
Prior art keywords
vehicle
parking
mobile terminal
information
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680057339.2A
Other languages
English (en)
Other versions
CN108137096A (zh
Inventor
E·马夏尔-西蒙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN108137096A publication Critical patent/CN108137096A/zh
Application granted granted Critical
Publication of CN108137096B publication Critical patent/CN108137096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/028—Guided parking by providing commands to the driver, e.g. acoustically or optically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/09—Other types of propulsion units, e.g. fluid motors, or type not specified
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B60W2720/106—Longitudinal acceleration

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于停放车辆(10)的系统(1)，包括：移动终端(20)，其包括至少一个用于获取第一图像数据(24)的第一图像捕获装置(21)、构造用于从第一图像捕获装置(21)接收第一图像数据(24)并基于第一图像数据(24)生成指示停放位置(2)的信息(25)的第一计算单元(22)和用于传输信息(25)的传输装置(23)；车辆(10)，其包括构造用于接收信息(25)的接收装置(14)和构造用于基于信息(25)确定停车策略(16)的第二计算单元(15)，其中，所述车辆(10)包括停车装置(13)，其构造用于在考虑停车策略(16)的情况下将车辆(10)停放在停放位置(2)处。

Description

用于停放车辆的系统
技术领域
本发明涉及一种用于通过使用移动终端停放车辆、尤其是机动车的系统。
背景技术
操纵车辆通常会对车辆造成或轻或重的损坏。尤其是停车过程基于其复杂性总是会损坏停放车辆和/或相邻障碍物。原因可在于驾驶员因视线情况受限而无法完全检测到车辆周围的环境或出于驾驶员的疏忽，即其忽略了这些障碍物。因此有必要在停车时减轻驾驶员的负担并确保将所有可用的环境信息纳入停车过程中。
为了在停车时减轻驾驶员的负担，已知车辆能够自主停放到停车位中并且从其中驶出。这通常要求车辆驾驶员坐在车内并驾驶到某个停车位。如果车辆已识别出该停车位，则其向驾驶员发出信号并且驾驶员可启动停车过程。如果车辆不能将该停车位识别为停车位，例如当视线被障碍物、如柱子或墙壁干扰时，则驾驶员必须将车辆操纵到该停车位能够被识别的位置中。此外，在自主进行停车时可能在停车的后期才能看到进一步的障碍物，以致车辆必须调整其停车战略，即通常必须多次转向或向前和向后行驶。这可导致明显更长的停车时间并且在最糟糕的情况下不能继续停车过程。
发明内容
因此，本发明的任务在于提供一种用于停放车辆的系统，该系统能够改进车辆、优选机动车的(自主)停放。此外，该系统应设计为改善人机接口。
所述任务尤其是通过一种用于停放车辆、尤其是机动车的系统来解决。该系统包括移动终端、尤其是智能设备、特别是智能手机、智能玻璃或智能手表。移动终端又包括至少一个用于获取第一图像数据的第一图像捕获装置、构造用于从第一图像捕获装置接收第一图像数据并基于第一图像数据生成指示停放位置的信息的第一计算单元和用于传输信息的传输装置。此外，车辆包括构造用于接收信息的接收装置和构造用于基于信息确定停车策略的第二计算单元，其中，所述车辆包括停车装置，其构造用于在考虑停车策略的情况下将车辆停放在停放位置处。
所描述系统的一个特殊优点在于，移动终端独立于车辆获取用于生成指示停放位置的信息的图像数据。这些信息在传输之后被相应地提供给车辆。基于所述信息，车辆可确定用于将车辆停放在停放位置处的停车策略。车辆因此不仅仅依赖于其自身的安装在该车辆中的传感器。在车辆不能从其当前位置完整地“看到”、即通过激光雷达扫描仪、RGB相机，雷达系统或类似传感器检测到停车位的情况下，仍可借助根据本发明的系统可靠地停车。此外，该系统可确认已经在车辆上执行的对停车位的检测。因此可防止因停车位检测不充分而造成的车辆损坏。
此外，根据本发明的系统可改进通过车辆确定的停车策略，因为提供了更多的基于车辆和移动终端的不同位置而不能由车辆单独确定的信息。
在一种实施方式中，指示停放位置的信息可包括停放位置相对于移动终端的方向和距离。
因此，信息可以矢量表示呈现，在此空间维度构成该矢量的维度。当信息包括停放位置相对于移动终端的方向和距离时，如果车辆本身能够确定停放位置，则车辆可确定移动终端的位置。此外，根据本发明，车辆也可基于该信息行驶到如下位置中，从该位置车辆可利用内置传感器更好地检测由信息描述的停放位置。此外，借助停放位置相对于移动终端的方向和距离可更精确地检测停放位置。
此外，第一计算单元可构造用于基于第一图像数据来确定车辆相对于移动终端的相对位置和/或定向。
移动终端可构造用于识别第一图像数据中的车辆。由于车辆几何形状是已知的，因此可基于第一图像数据中的尺寸比例非常精确地确定移动终端相对于车辆的间距。此外，也可基于已知的车辆几何形状来确定车辆在第一图像数据中的定向。因此可确定移动终端相对于车辆的相对位置。此外，如果车辆的相对位置是指示停放位置的信息的一部分，则可将车辆相对于移动终端的相对位置发送给车辆。这是有利的，因为车辆在第一图像数据中的尺寸通常非常大。因此可以很容易识别车辆边缘。此外，车辆通常具有单一颜色或至少几个颜色并且因此可以很容易与背景区分。
在另一种实施方式中，移动终端可包括加速度传感器，该加速度传感器构造用于检测移动终端的移动并且也基于移动终端的移动生成指示停放位置的信息。
当移动终端包括加速度传感器时，可检测移动终端的移动。由此尤其是可检测移动终端的用户的行走过程。行走例如可通过使用分类器、如支持向量机(SVM)来识别。因此，在生成指示停放位置的信息时可补偿操作移动终端的用户的移动。
此外，车辆可包括至少一个用于获取第二图像数据的第二图像捕获装置，此时第二计算单元可构造用于基于第二图像数据确定移动终端相对于车辆的相对位置。
当车辆包括第二图像捕获装置时，车辆可在由其生成的图像数据中借助图像处理装置识别移动终端并且首先确定车辆相对于移动终端的方向。考虑到移动终端通常由驾驶员保持在特定高度、如1.5m、尤其是1.3m，还可估算车辆到移动终端的间距。这例如可通过三角测量进行，在其中通过使用已知方法、如随机样本一致性(Random Sample Consensus，简称为RANSAC)算法来识别地面，然后推算移动终端正交于地面的垂直高度。作为替代方案，位置传感器可用于确定地面。
在另一种实施方式中，车辆可在车辆通过第二图像捕获装置检测移动终端时移动。
通过诸如“同时定位和构建地图”(SLAM)的方法，车辆可在车辆移动期间确定和/或估算移动终端的位置。另外，也可组合附加的车辆信息、如瞬时速度或转向角，以便进一步改进移动终端位置的确定。
此外，第一计算单元、第二计算单元和/或服务器的第三计算单元可构造用于基于指示停放位置的信息识别用于车辆的停车位。
停车位可通过许多特征来表征。因此例如停车位可以是两个车辆之间的区域，该区域足够宽以容纳另一辆车。另外，停车位可通过地面上的标记表示。另一种可能性在于，停车位是两个前后停放车辆之间的区域，只要该区域具有足够用于相应车辆的空间。当然，还可想到表征停车位的特征的各种其它可能性。
也可借助图像识别方法或图像处理方法在图像数据中识别各种视觉特征。识别图像数据中的特征的一种可能方法例如是尺度不变特征变换(SIFT)。在该方法中使用如下特征描述，所述特征描述在一定范围内相对于缩放、旋转和平移是不变的并且因此尤其是在车辆导航领域中适合用于找出对象、如停车位。
因此，一个优点在于，不仅识别停放位置，而且识别停车位本身。这对于以吸引人的方式向驾驶员显示可能的停放位置特别重要。此外，服务器的计算单元可执行停车位识别的计算。这具有如下优点：避免不必要地要求车辆和/或移动终端的资源。此外，服务器可具有能够进行特别快速的计算的专用或特殊硬件。
移动终端还可构造用于基于车辆数据和指示停放位置的信息提供停车过程的模拟。
因此，可在停车过程之前就已经在移动终端、如智能手机上为车辆驾驶员示出例如在停车过程之后的车辆状态。在此尤其是可使用车辆数据，所述车辆数据例如可包括车辆的高度、宽度和/或长度。因此可使用接近真实的数据进行模拟。另外，可将模拟结果提供给车辆驾驶员。这可以移动动画的形式来提供。
指示停放位置的信息还可包括停车位的绝对位置。
移动终端例如可包括GPS接收器，移动终端因此可确定其绝对位置。借助该数据可确定停放位置的绝对位置。这具有如下优点：车辆不必进一步计算来确定停车位的绝对位置。在车辆本身包括GPS接收器、即可确定其绝对位置的情况下，车辆可简单地自主到达停车位。在此情况下可节省资源。
此外，移动终端可包括用于输出惯性数据的惯性传感器，并且第一计算单元可构造用于基于惯性数据确定移动终端的位置和定向。
当移动终端包括用于输出惯性数据的惯性传感器时，可改进停放位置或停车位的确定。如果已知移动终端的位置和定向，则可如上所述通过图像处理装置非常精确地确定移动终端到停车位或停放位置的间距。
此外，所述任务还通过一种用于尤其是通过使用上述系统来停放车辆的方法来解决，该方法包括以下步骤：
-通过移动终端的第一图像捕获装置获取第一图像数据；
-基于第一图像数据识别停放位置；
-将指示停放位置的信息传输至车辆；
-基于所述信息确定停车策略；
-使用停车策略将车辆停放到停放位置处。
在一种实施方式中，指示停放位置的信息可包括相对于移动终端的方向和距离。
此外，指示停车位的信息可包括停车位的绝对位置。在另一种实施方式中，该方法可进一步包括：
-通过车辆的至少一个第二图像捕获装置获取第二图像数据；
-基于第二图像数据确定移动终端的相对位置。
在一种实施方式中，该方法可进一步包括基于第一图像数据确定车辆相对于移动终端的相对位置和/或车辆相对于移动终端的定向，其中，车辆的相对位置和/或相对定向是信息的一部分。产生与上述系统类似的优点。
此外，所述任务还通过一种计算机可读存储介质来解决，其包含指令，当所述指令被处理器执行时，该指令使处理器实施所描述的方法。
附图说明
下面借助参考附图解释的多个实施例来说明本发明。附图如下：
图1示出包括多个图像捕获装置的车辆；
图2示出移动终端的示意图；
图3示出第一种实施方式中的系统的示意图；
图4示出第二种实施方式中的系统的示意图；
图5示出第三种实施方式中的系统的示意图；
图6示出系统部件和停放位置之间的几何关系；
图7示出处于第一状态的示例性停车状况；
图8示出处于第二状态的示例性停车状况；
图9示出停车过程在移动终端上的第一显示；
图10示出停车过程在移动终端上的第二显示。
具体实施方式
在下述说明中相同的附图标记用于相同和相同作用的部件。
图1示出车辆10，其包括四个图像捕获装置11、11'、11”、11”'、停车装置13、接收装置14和计算单元15。图像捕获装置11、11'、11”、11”'在车辆10的第一种实施方式中是用于检测图像区域12、12'、12”、12”'的RGB相机。在其它实施方式中，完全可想到图像捕获装置11、11'、11”、11”'包括雷达单元、激光雷达扫描仪、深度相机、超声波传感器或传感器的任何其它形式，其能够检测车辆的周围环境。停车装置13构造用于将车辆10自主停放到识别出的停车位中。为此停车装置13生成控制信号，其被发送到车辆10的未示出的控制装置，从而该控制装置使车辆10进行相应的转向和加速或减速过程。车辆10的图像捕获装置11、11'、11”、11”'的数据被传送到计算单元15以进行处理。计算单元15在第一种实施方式中是车载计算机。接收装置14构造用于无线接收指示停车位的信息25。该信息25由移动终端20提供。
图2以非常简化的视图示出这种移动终端20。移动终端20包括图像捕获装置21、计算单元22和传输装置23。移动终端20的图像捕获装置21在移动终端20的第一种实施方式中是RGB相机。移动终端20在第一种实施方式中是智能手机。移动终端20的图像捕获装置21获取的图像数据24被传送到移动终端20的计算单元22以用于进一步处理。在处理之后，信息25被传送到传输装置23，该传输装置将信息25发送至车辆10。这一方面可以是一次性传输，另一方面传输装置也可连续地向车辆10发送数据。这种连续传输数据的优点在于移动终端20本身只需进行少量运算。因此，移动终端20的计算单元22的尺寸可设计得非常小，这有利于移动终端20的电池寿命。即移动终端20的计算单元22要么处理图像捕获装置21获取的数据和/或将其传送到传输装置23。
图3示出第一种实施方式中的用于停放车辆10的系统1。在第一种实施方式中，移动终端20的图像捕获装置21获取图像数据24，该图像数据被发送到移动终端20的计算单元22。计算单元22由图像数据24确定指示停放位置的信息25。在第一种实施方式中，计算单元22检测图像数据24中的停车位。
在图3的实施方式中，计算单元22使用哈里斯检测器来检测确定停车位的特征。哈里斯检测器尤其是可用于确定之前通过使用RANSAC算法提取的地面上的线条。通过在图像中设置特征，在训练阶段中训练的系统可辨认停放位置2。
在进一步的实施方式中，可附加地验证停放位置2。这表示检验停放位置中是否有足够空间用于车辆10。为此尤其是可使用关于车辆10的元数据、如车辆10的高度、宽度和长度。基于验证结果可继续使用停放位置2。如果验证为否定，则该方法可针对另一可能的位置重新开始。
信息25现在被发送至移动终端20的传输装置23，以便随后由传输装置23发送到车辆10。在第一种实施方式中，传输通过例如根据IEEE 802.11标准的无线网络进行。但在其它实施方式中，也可使用例如蓝牙、红外线或无线传输的任何其它形式。当然也可进行有线传输。
车辆10借助接收装置14接收信息25。接收装置14接着将信息25发送给车辆10的计算单元15。计算单元15进一步处理信息25。基于信息25，计算单元15确定用于车辆10的停车策略16。
在第一种实施方式中，停车策略16是从车辆10的位置指向停车位2的矢量V3。但在其它实施方式中可能是更复杂的停车策略、如通过移动计划器确定的轨迹。为了确定轨迹可使用多种已知算法、如RRT(“快速探索随机树”)。
停车策略16随后被传输到停车装置13。停车装置13于是可将车辆10停放到停车位2中。
图4示出第二种实施方式中的系统1。在第二种实施方式中，移动终端还包括惯性传感器26。惯性传感器26构造用于将惯性数据27输出到移动终端20的计算单元22。惯性数据27包括指示移动终端20的位置和定向的数据。连同移动终端20的图像捕获装置21的图像数据24一起，计算单元22可提供指示停放位置2的信息25，该信息25包括停放位置2与移动终端20的相对间距和方向。然后移动终端20的传输装置23将信息25发送到车辆10的接收装置14。在第二种实施方式中，车辆10包括图像捕获装置11、11'、11”、11”'，其将图像数据19发送到车辆10的计算单元15。计算单元15因此获得图像数据19以及指示停放位置2的信息25。计算单元15构造用于在图像数据19中识别移动终端20。因此车辆10可确定移动终端20相对于车辆10的位置。通过使用指示车辆10停放所在的位置2的信息25，计算单元15可确定停放位置2的绝对位置。可借助如三角测量的简单措施来确定。基于所确定的停放位置2关于车辆10的相对位置，计算单元15可计算停车策略16。在第二种实施方式中，停车策略16指示车辆10应如何停放到停放位置2中。这包括车辆10应沿其行驶的轨迹。从计算单元15获得停车策略16的停车装置13使车辆10遵循停车策略16中指示的轨迹行进。
图5示出第三种实施方式中的系统1。在第三种实施方式中，移动终端20将信息25发送到服务器30。在此，信息25作为连续数据流被发送到服务器30。在第三种实施方式中，信息25仅包含移动终端20获取的图像数据24。服务器30具有第三计算单元31，其构造用于由信息25确定停放位置2。在第三种实施方式中，服务器30是可通过因特网到达的网络服务器。信息25的传输因此可由移动终端20通过无线标准如LTE或UMTS进行。服务器30的计算单元31将停放位置2输出到车辆10。车辆10因此可如前面的实施方式中那样计算停车策略16。
图6以简化的二维图示出车辆10、移动终端20和停放位置2的几何关系。由此可看出，当移动终端20已识别停放位置2时，可计算指示停放位置2相对于移动终端20的相对位置的矢量V1。如果车辆10构造用于在获取的图像区域12、12'、12”、12”'中定位移动终端20，则车辆10可确定指示移动终端20相对于车辆10的相对位置的矢量V2。因此借助矢量相加可确定指示停放位置2相对于车辆10的位置的矢量V3。通过使用矢量V3，车辆10可确定前述停车策略16。当然，可在三维空间中提供该相对位置。由此也可检测不同停放位置不在一个平面中的情况。
图7和8示出车辆10的驾驶员发起车辆10停车过程的示例性场景。图7示出位于车辆10之外的移动终端20。两辆停放的车辆3、3'限定了车辆10可停放其中的一个停车位2。驾驶员首先将移动终端20对准车辆10，以便使车辆位于移动终端20获取的图像区域12中。移动终端20随后可确定其相对于车辆10的位置。作为替代方案，移动终端20也可构造用于接收车辆10相对于移动终端20的相对定向和/或相对位置。
在进一步的过程中，驾驶员可通过转动运动使移动终端对准停放位置2。这在图8中示出。
移动终端20检测限定停放位置2的停放的车辆3、3'并因此可确定这是可能的用于车辆10的停车位。此外，如上所述通过使用估算的移动终端高度，移动终端20可确定停放位置2的间距和方向。移动终端20随后将该信息发送给车辆10，如已经结合其它附图所描述的那样。
在车辆10的实际停车过程之前，移动终端20可向车辆10的驾驶员提供计划停车过程的模拟。图9示出具有显示器28的移动终端20。在图9所示的模拟中，车辆10这样停放，使得车辆10前侧17在图9的视图中指向上方。相反，图10示出车辆10前侧17指向下方的模拟。车辆10的驾驶员可通过在移动终端20上输入来确定车辆10应以何种方式驶入停放位置2中。为此，驾驶员可在触摸屏上进行表示转动运动的手势。当驾驶员想要接近行李箱以便例如存放购买物时，这是特别有利的。
在其它实施方式中，模拟可通过增强现实(“Augmented Reality”)为驾驶员在显示器和/或智能玻璃上显示。在此模拟被叠加在移动终端20的图像捕获装置21获取的图像上。因此为驾驶员提供复杂停车状况的非常简单的显示。停车状况可包括停放位置2和/或车辆10的周围物体或停车位和/或车辆几何形状和/或车辆部件的几何形状。因此，模拟也可包括对其它车辆部件、如门和行李箱最大开启位置的模拟。由此驾驶员可识别出是否留有足够的空间打开车门并在判断停放位置2时直接考虑这点。
可选地，所提供的模拟可由驾驶员来检验。如果驾驶员认为选择了不利或甚至识别了错误的停放位置2，则驾驶员可对其纠正。驾驶员尤其是可通过选出另一停放位置2来进行修正。在另一种实施方式中，另一停放位置2的选择可自动通过车辆10和/或移动终端20和/或外部服务器30进行。
另外，驾驶员的输入可传送到车辆10。之后，车辆10可在确定停车策略16时考虑传输来的输入。
在所描述的实施方式中，移动终端可以是智能手机、具有图像捕获装置的智能手表、或智能玻璃。智能玻璃尤其是具有如下优点：驾驶员仅通过看向停放位置2就可对其进行扫描并能够使车辆10停放到停放位置2中。因此可实现对车辆10的非常简单的操作。
附图标记列表
1 系统
2 停放位置
3、3' 停放的车辆
10 车辆
11、11'、11”、11”' 第二图像捕获装置
12、12'、12”、12”' 获取的图像区域
13 停车装置
14 接收装置
15 第二计算单元
16 停车策略
17 前侧
19 第二图像数据
20 移动终端
21 第一图像捕获装置
22 第一计算单元
23 传输装置
24 第一图像数据
25 信息
26 惯性传感器
27 惯性数据
28 显示器
30 服务器
31 第三计算单元
V1、V2、V3 矢量

Claims (11)

1.用于停放车辆(10)的系统(1)，包括：
-移动终端(20)，其包括至少一个用于获取第一图像数据(24)的第一图像捕获装置(21)、构造用于从所述第一图像捕获装置(21)接收所述第一图像数据(24)并基于所述第一图像数据(24)生成指示停放位置(2)的信息(25)的第一计算单元(22)和用于传输所述信息(25)的传输装置(23)；
-车辆(10)，其包括构造用于接收所述信息(25)的接收装置(14)、构造用于基于所述信息(25)确定停车策略(16)的第二计算单元(15)、用于获取第二图像数据(19)的第二图像捕获装置(11、11'、11”、11”')和停车装置(13)，所述停车装置构造用于在考虑所述停车策略(16)的情况下将所述车辆(10)停放在所述停放位置(2)处，
其特征在于，所述移动终端(20)包括用于输出惯性数据(27)的惯性传感器(26)，并且所述第一计算单元(22)构造用于基于所述惯性数据(27)确定所述移动终端(20)的位置和定向，并且所述第二计算单元(15)构造用于基于所述第二图像数据(19)和所述移动终端(20)的位置和定向确定所述移动终端(20)相对于所述车辆(10)的相对位置。
2.根据权利要求1所述的系统，其特征在于，所述信息(25)包括所述停放位置(2)相对于所述移动终端(20)的方向和距离。
3.根据权利要求1或2所述的系统，其特征在于，所述第一计算单元(22)构造用于基于所述第一图像数据(24)确定所述车辆(10)相对于所述移动终端(20)的相对位置和/或定向。
4.根据权利要求1或2所述的系统，其特征在于，所述第一计算单元(22)、所述第二计算单元(15)和/或服务器的第三计算单元构造用于基于所述信息(25)识别用于所述车辆(10)的停放位置。
5.根据权利要求1或2所述的系统，其特征在于，所述移动终端(20)构造用于基于车辆数据和所述信息(25)提供对停车过程的模拟。
6.根据权利要求1或2所述的系统，其特征在于，所述信息(25)包括停放位置(2)的绝对位置。
7.用于停放车辆(10)的方法，包括：
-通过移动终端(20)的第一图像捕获装置(21)获取第一图像数据(24)；
-基于所述第一图像数据(24)识别停放位置(2)；
-将指示停放位置的信息(25)传输至车辆(10)；
-基于所述信息(25)确定停车策略(16)；
-通过使用所述停车策略(16)而将所述车辆(10)停放在所述停放位置(2)处，
其特征在于，该方法还包括：
-由所述移动终端(20)的惯性传感器输出惯性数据；
-基于所述惯性数据确定所述移动终端(20)的位置和定向；
-通过所述车辆(10)的至少一个第二图像捕获装置(11、11'、11”、11”')获取第二图像数据(19)；
-基于所述第二图像数据(19)和所述移动终端(20)的位置和定向确定所述移动终端(20)的相对位置。
8.根据权利要求7所述的方法，其特征在于，所述信息(25)包括相对于所述移动终端(20)的方向和距离。
9.根据权利要求7或8所述的方法，其特征在于，所述信息(25)包括停放位置(2)的绝对位置。
10.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：
-基于所述第一图像数据(24)确定所述车辆(10)相对于所述移动终端(20)的相对位置和/或所述车辆(10)相对于所述移动终端(20)的定向，其中，所述车辆(10)的相对位置和/或相对定向是所述信息(25)。
11.计算机可读存储介质，包含指令，当所述指令被处理器执行时，该指令使所述处理器实施根据权利要求7至10之一所述的方法。
CN201680057339.2A 2015-11-26 2016-09-01 用于停放车辆的系统 Active CN108137096B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015223471.1A DE102015223471A1 (de) 2015-11-26 2015-11-26 System zum Einparken eines Fahrzeugs
DE102015223471.1 2015-11-26
PCT/EP2016/070576 WO2017088997A1 (de) 2015-11-26 2016-09-01 System zum einparken eines fahrzeugs

Publications (2)

Publication Number Publication Date
CN108137096A CN108137096A (zh) 2018-06-08
CN108137096B true CN108137096B (zh) 2021-05-18

Family

ID=56853628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680057339.2A Active CN108137096B (zh) 2015-11-26 2016-09-01 用于停放车辆的系统

Country Status (5)

Country Link
US (1) US10800405B2 (zh)
EP (1) EP3380391B1 (zh)
CN (1) CN108137096B (zh)
DE (1) DE102015223471A1 (zh)
WO (1) WO2017088997A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3048557B1 (fr) * 2016-03-07 2018-03-30 Valeo Comfort And Driving Assistance Equipement electronique d'aide au stationnement pour vehicule automobile
DE102017200148B4 (de) * 2017-01-09 2021-01-28 Ford Global Technologies, Llc Verfahren zur Verwendung von Sensoren eines mobilen Endgeräts mit einem Fahrzeug, Fahrzeug, Computerprogramm und computerlesbares Medium
JP6816684B2 (ja) 2017-09-20 2021-01-20 株式会社デンソー 携帯端末、遠隔操作方法
DE102017123581A1 (de) * 2017-10-11 2019-04-11 Valeo Schalter Und Sensoren Gmbh Fahrerassistenz-Steuerungssystem für ein Fahrzeug
DE102018215186A1 (de) * 2018-09-06 2020-03-12 Volkswagen Aktiengesellschaft Konzept zum Überwachen und Planen einer Bewegung eines Fortbewegungsmittels
US10717432B2 (en) * 2018-09-13 2020-07-21 Ford Global Technologies, Llc Park-assist based on vehicle door open positions
DE102018221186A1 (de) * 2018-12-07 2020-06-10 Volkswagen Aktiengesellschaft Verfahren zum autonomen Parken
JP7167716B2 (ja) 2019-01-07 2022-11-09 トヨタ自動車株式会社 車外から車両を操作するためのプログラム
CN109655075B (zh) * 2019-01-16 2021-09-14 北京百度网讯科技有限公司 无人车定位方法及设备
DE102019206447A1 (de) * 2019-05-06 2020-11-12 Volkswagen Aktiengesellschaft Verfahren zum Durchführen eines Rangiervorgangs eines Kraftfahrzeugs mit kamerabasierter Bestimmung eines Abstands zum Kraftfahrzeug, sowie Rangierassistenzsystem
KR20200139311A (ko) * 2019-06-03 2020-12-14 현대자동차주식회사 차량 및 그 제어방법
CN111754809A (zh) * 2020-06-22 2020-10-09 重庆长安汽车股份有限公司 手机app遥控泊车动态显示方法、系统、车辆及存储介质
DE102020004425A1 (de) 2020-07-22 2020-09-10 FEV Group GmbH Kamerabasiertes Fahrerassistenzsystem
CN113777996A (zh) * 2021-09-23 2021-12-10 东风汽车有限公司东风日产乘用车公司 基于移动终端的远程控制方法、装置及设备
CN115179925A (zh) * 2022-05-18 2022-10-14 合众新能源汽车有限公司 一种基于移动终端的泊车方法及系统
CN115743093A (zh) * 2022-08-01 2023-03-07 惠州市德赛西威汽车电子股份有限公司 车辆控制方法、装置、自动泊车辅助控制器、终端及系统
DE102023105193B3 (de) 2023-03-02 2024-07-18 Bayerische Motoren Werke Aktiengesellschaft Automatisiertes rangieren eines kraftfahrzeugs unter verwendung eines einen optischen umfeldsensor umfassenden mobilen kommunikationsgeräts, welches von einem nutzer entlang eines bewegungswegs bewegt wird

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506369A (ja) * 1997-10-24 2001-05-15 コミツサリア タ レネルジー アトミーク １つまたは複数の移動カメラの初期位置および向きを校正するための方法ならびに固定対象の３次元的位置測定に対してのこの方法の応用
CN1690657A (zh) * 2004-04-27 2005-11-02 爱信精机株式会社 停车辅助装置
JP2008174192A (ja) * 2007-01-22 2008-07-31 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
CN101563581A (zh) * 2006-11-03 2009-10-21 电子地图有限公司 用于图像中的平面对象的识别和位置确定的方法和设备
WO2011150946A1 (en) * 2010-06-01 2011-12-08 Valeo Schalter Und Sensoren Gmbh Method of determining an arrangement of a portable communication device within a coordinate system of a vehicle, corresponding computing unit and portable communication device
CN103857583A (zh) * 2011-10-12 2014-06-11 宝马股份公司 用于驻车辅助系统的遥控器和通过遥控器可控制的驻车辅助系统
DE102014200611A1 (de) * 2014-01-15 2015-07-16 Robert Bosch Gmbh Verfahren zum autonomen Parken eines Fahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Fahrzeug mit der Fahrerassistenzvorrichtung

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10339075A1 (de) * 2003-08-26 2005-03-24 Daimlerchrysler Ag Kraftfahrzeug
DE102006007343A1 (de) 2006-02-17 2007-08-30 Robert Bosch Gmbh Bilderfassungseinrichtung für ein Fahrerassistenzsystem
DE102007032720A1 (de) * 2007-07-13 2009-01-15 Daimler Ag Verfahren zur Unterstützung des Fahrers eines Fahrzeugs beim Rangieren und/oder Einparken
KR101182853B1 (ko) * 2008-12-19 2012-09-14 한국전자통신연구원 자동 주차 대행 시스템 및 방법
DE102009040372A1 (de) * 2009-09-07 2011-03-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzeinrichtung und Kraftfahrzeug mit einer Fahrerassistenzeinrichtung
DE102009041587A1 (de) * 2009-09-15 2011-03-17 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Kraftfahrzeugs
DE102010042063B4 (de) 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
DE102012007984A1 (de) * 2011-09-13 2013-03-14 Valeo Schalter Und Sensoren Gmbh Rangiersystem und Verfahren zum automatischen Rangieren eines Kraftfahrzeugs, Kraftfahrzeug, tragbares Kommunikationsgerät und Computerprogramm
DE102012016868A1 (de) * 2012-08-25 2014-02-27 Audi Ag Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Fortbewegung des Fahrzeugs mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
DE102012022087A1 (de) * 2012-11-09 2014-05-15 Volkswagen Aktiengesellschaft Verfahren zum Steuern eines Ein- oder Ausparkvorgangs eines Fahrzeugs
EP3039617B1 (en) * 2013-08-31 2020-05-20 ML Netherlands C.V. User feedback for real-time checking and improving quality of scanned image
DE102014000978A1 (de) * 2014-01-25 2015-07-30 Audi Ag Verfahren und Vorrichtung zur Steuerung eines Gespanns in einen Parkraum
GB2533983A (en) * 2015-06-04 2016-07-13 Ford Global Tech Llc Parking assist method and system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506369A (ja) * 1997-10-24 2001-05-15 コミツサリア タ レネルジー アトミーク １つまたは複数の移動カメラの初期位置および向きを校正するための方法ならびに固定対象の３次元的位置測定に対してのこの方法の応用
CN1690657A (zh) * 2004-04-27 2005-11-02 爱信精机株式会社 停车辅助装置
CN101563581A (zh) * 2006-11-03 2009-10-21 电子地图有限公司 用于图像中的平面对象的识别和位置确定的方法和设备
JP2008174192A (ja) * 2007-01-22 2008-07-31 Aisin Aw Co Ltd 駐車支援方法及び駐車支援装置
WO2011150946A1 (en) * 2010-06-01 2011-12-08 Valeo Schalter Und Sensoren Gmbh Method of determining an arrangement of a portable communication device within a coordinate system of a vehicle, corresponding computing unit and portable communication device
CN103857583A (zh) * 2011-10-12 2014-06-11 宝马股份公司 用于驻车辅助系统的遥控器和通过遥控器可控制的驻车辅助系统
DE102014200611A1 (de) * 2014-01-15 2015-07-16 Robert Bosch Gmbh Verfahren zum autonomen Parken eines Fahrzeugs, Fahrerassistenzvorrichtung zur Durchführung des Verfahrens, sowie Fahrzeug mit der Fahrerassistenzvorrichtung

Also Published As

Publication number Publication date
DE102015223471A1 (de) 2017-06-01
US10800405B2 (en) 2020-10-13
WO2017088997A1 (de) 2017-06-01
US20180273029A1 (en) 2018-09-27
EP3380391B1 (de) 2021-06-09
EP3380391A1 (de) 2018-10-03
CN108137096A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
CN108137096B (zh) 用于停放车辆的系统
US11288860B2 (en) Information processing apparatus, information processing method, program, and movable object
US11216673B2 (en) Direct vehicle detection as 3D bounding boxes using neural network image processing
US10152059B2 (en) Systems and methods for landing a drone on a moving base
US10885791B2 (en) Vehicle dispatch system, autonomous driving vehicle, and vehicle dispatch method
US9863775B2 (en) Vehicle localization system
US10745002B2 (en) Autonomously guiding a vehicle to a desired parking location selected with a remote device
JPWO2019230474A1 (ja) 道路標識検出方法、非一時的コンピュータ可読媒体及び道路標識検出システム
JP6665506B2 (ja) 遠隔操作装置、方法及びプログラム
KR102056147B1 (ko) 자율주행차량을 위한 거리 데이터와 3차원 스캔 데이터의 정합 방법 및 그 장치
KR102117313B1 (ko) 그래디언트 추정 장치, 그래디언트 추정 방법, 컴퓨터 프로그램 및 제어 시스템
US20220036043A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
JP6337811B2 (ja) 画像処理装置及び画像処理方法
US20220058428A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
KR20210112672A (ko) 객체를 검출하기 위한 프로세서 및 객체 검출 방법
US11906970B2 (en) Information processing device and information processing method
JP5968178B2 (ja) 遠隔操縦用画像処理装置、遠隔操縦システム、及び遠隔操縦用画像処理方法
JP7278740B2 (ja) 移動体制御装置
CN112528719A (zh) 推定装置、推定方法以及存储介质
JP6901870B2 (ja) 位置推定装置、制御方法、及びプログラム
KR101578434B1 (ko) 차선 인식 장치 및 그 방법
Moriyama et al. Development of a Kinect-sensor-based navigation component for JAUS compliant mobile robots
US20230305562A1 (en) Positioning system and mobile object equipped therewith
US20240280371A1 (en) Information processing device, information processing method, and recording medium
US20220290996A1 (en) Information processing device, information processing method, information processing system, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant