CN103625477B - 运行车辆的方法和系统 - Google Patents

运行车辆的方法和系统 Download PDF

Info

Publication number
CN103625477B
CN103625477B CN201310373329.8A CN201310373329A CN103625477B CN 103625477 B CN103625477 B CN 103625477B CN 201310373329 A CN201310373329 A CN 201310373329A CN 103625477 B CN103625477 B CN 103625477B
Authority
CN
China
Prior art keywords
vehicle
operator
operation device
motion
described vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310373329.8A
Other languages
English (en)
Other versions
CN103625477A (zh
Inventor
R·莱因费尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Publication of CN103625477A publication Critical patent/CN103625477A/zh
Application granted granted Critical
Publication of CN103625477B publication Critical patent/CN103625477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种用于运行车辆的方法,其中车辆进行自主控制的运动。该方法的特征在于,按时间顺序检测车辆的各个当前位置(S2),借助于由位于车辆之外的操作者持有的移动式操作装置的第一摄像装置按时间顺序采集图像(S3),通过分析装置基于所采集的图像确定出操作者当前的头部姿态和/或视线方向(S4),以及对于以下情况自动地暂停或停止车辆的自主控制的运动(S8),即不能确定出操作者当前的头部姿态和/或视线方向(S5),或者操作者的头部姿态和/或视线方向比一可预定的持续时间还长地偏离车辆当前位置(S6)和/或与车辆当前位置的偏离大于一可预定的角度(S7)。本发明也涉及一种用于运行车辆的相应的系统。

Description

运行车辆的方法和系统
技术领域
本发明涉及一种用于运行车辆的方法以及一种用于运行车辆的系统。
背景技术
在过去进行了很多努力并且多种技术方案是已知的,借助于这些技术方案可以自主控制车辆、特别是机动车。
在车辆的自主控制——经常也称为“导航行驶/无人驾驶(PilotiertesFahren)”——中,主要借助于车辆侧的传感装置和促动器(也称为执行机构)而不通过驾驶员直接操作车辆来进行车辆的运动。
用于导航行驶的例子之一是停车-转向-辅助系统,它们能实现车辆的自动的停放/泊车和驶出停车场。
因此例如文献EP 1 249 379 A2描述了一种用于使机动车到达目标位置的方法,其中所述机动车被置于接近所需要的目标位置的初始位置上,在驾驶员侧的第一激活之后扫描机动车的周围环境并且至少为了探测目标位置连续地进行扫描并且连续地确定当前的车辆位置,根据所获取的环境信息和位置信息来获取用于使机动车到达目标位置的控制信息;在驾驶员侧的第二激活之后将依赖于控制信息的控制命令输出到机动车的传动系和/或制动设备和/或转向装置,由此机动车不依赖于驾驶员行驶到目标位置。
并且由DE 10 2009 051 463 A1已知一种机动车,其具有配属的外部的控制装置和停车-转向-辅助系统,其包括在机动车侧的控制装置,其中外部的控制装置被设计为用于与在机动车侧的控制装置通信并且在机动车侧的控制装置被设计为用于在考虑到在通信的范围中传输的信号的情况下获取关于驾驶员的停留地点和/或由驾驶员预定的目标地点的地点信息,其中通过在机动车侧的控制装置控制的驶出停车场过程可在考虑到地点信息的情况下实施。
在(机动)车的这样的自主的或导航行驶过程中需要的是,驾驶员随时能干涉该过程、特别是暂停该过程。因此例如已经提到的EP 1249379A1描述了,可以借助于发射装置开始和暂停自动的停放过程或调车过程。所述自动的停放过程和调车过程在此仅仅当驾驶员保持与车辆的接触——例如通过按压发射装置上的停放按键或调车按键——时才会维持。如果松开所述按键,那么立即暂停停放过程或调车过程并且自动停止车辆。发射装置可以例如集成到车辆钥匙中或者集成到移动电话中。
此外由DE 10 2009 041 587 A1已知用于具有控制装置的机动车的驾驶员辅助装置,其被设计为用于将控制信号输出到机动车的驱动装置和/或转向装置——该控制信号引起自主停放过程的进行——并且接收远程操作装置的命令并且在接收到预定的暂停命令之后暂停机动车的已经开始的停放过程,其中设有至少一个与所述控制装置耦合的摄像机用于获取关于机动车的周围环境区域的图像数据,其中控制装置被设计为用于将信号发射到远程操作装置,所述信号包括通过至少一个摄像机获取的图像数据和/或由此计算出的图像数据。驾驶员通过该驾驶员辅助装置在监控机动车的自主停放过程时以如下方式得到支持,即驾驶员在便携式或者说移动式远程操作装置的显示装置上通过显示得到关于机动车的周围环境区域的图像。驾驶员因此可以看到位于机动车的周围环境区域中的物体并且当产生危险情况时在必要时暂停所述自主的停放过程。
由DE 10 2009 041 587 A1已知的驾驶员辅助装置就以下情况而言是不利的,即驾驶员必须观察在移动式远程操作装置中通常比较小的显示装置并且基于在此显示的图示决定是否产生了危险情况。但是通过比较小的显示装置经常不能或者仅能不准确地识别到拍摄的周围环境区域的细节。该情况在亮的周围环境光线下是更不利的,因为显示的图像和信息在此经常不能被识别出或者仅能受限制地被识别出。
发明内容
本发明的目的在于,提供一种相比于现有技术改善的车辆操作方法和改善的车辆操作系统。
根据本发明提出了一种用于运行车辆的方法,其中该车辆进行自主控制的运动/持续运动(Fortbewegung)。根据本发明的方法的特征在于,按时间顺序检测车辆的各个当前位置,借助于由位于车辆之外的操作者持有的移动式操作装置的第一摄像装置按时间顺序采集图像,通过分析装置基于所采集的图像确定出操作者当前的头部姿态/方向和/或视线方向,以及对于以下情况以下情况自动地暂停或停止所述车辆的自主控制的运动,即不能确定出操作者当前的头部姿态和/或视线方向,或者操作者的头部姿态和/或视线方向比一可预定的持续时间还长地偏离车辆当前位置和/或与车辆当前位置的偏离大于一可预定的角度。
在车辆的自主的或导航的运动过程期间,因此一方面检测车辆的各个当前位置而另一方面确定操作者的各个当前的头部姿态和/或视线方向。在可预定的情况下,例如如果确定操作者在长于一可预定的持续时间(的时间)内没有朝(机动)车的方向看,那么自动暂停或停止(机动)车的自主的或导航的运动过程,而不需要操作者的主动干涉。
因此,根据本发明的方法相比于现有技术的优点在于,操作者(其经常是车辆的驾驶员)——其在车辆的自主的或导航的运动过程中位于该车辆之外——必须以其视线观察车辆以及车辆的运动,才不自动暂停或停止该运动过程。
根据本发明的一个第一有利的改进方案,车辆的当前位置借助于(a)按时间顺序拍摄的车辆图像——其中图像由移动式操作装置的第二摄像装置拍摄——和/或(b)关于当前位置的数据或关于初始位置的数据、速度数据和/或速度进程数据以及方向数据和/或方向进程数据,来检测出。
根据上述选项(a)产生的优点在于,两个对于根据本发明的方法需要的信息(车辆的当前位置;操作者的头部姿态和/或视线方向)由仅仅一个装置检测。此外在此有利的是,第二摄像装置的检测区域的朝车辆的方向的定向是需要的,由此操作者的视线方向经常也被转向车辆的方向,由此同时满足了用于车辆的自主控制的运动的继续进行的标准。
如果移动式操作装置例如不具有第二摄像装置,那么车辆的位置可以根据上述选项(b)借助于关于当前位置的数据或者关于初始位置的数据、速度数据和/或速度进程数据以及方向数据和/或方向进程数据来检测出。关于车辆的当前位置的数据或初始位置的数据可以例如借助于用于卫星支持定位的车辆侧的模块(GPS模块)得到。如果可以借助于当今已经可用的卫星支持定位在几分米的范围中准确地确定车辆的位置,那么未来的发展可以期待具有几厘米精度的卫星支持定位。并且速度数据和/或速度进程数据以及方向数据和/或方向进程数据可以例如由车辆侧的控制装置提供。
然而根据本发明,车辆的绝对位置的确定在根据本发明的方法的实施期间是不需要的,而是确定相对于操作者的车辆位置就足够了。
根据本发明的第二有利的改进方案,对于所述方法而言将智能手机用作移动式操作装置。事实上所有现代的移动电话——其现在通常也称为“智能手机”——都具有至少一个摄像装置。由此可能的是,在任何情况下都按时间顺序采集图像,其中显示出操作者的头部。因为智能手机通常也具有另外的装置,例如数字罗盘、位置传感器、加速度传感器、GPS模块等等,所以可以结合适合的分析软件或分析装置不仅确定出操作者相对于智能手机的相对头部姿态和/或视线方向,而且也确定出在空间中(方位,即水平方向和竖直方向)的头部姿态和/或视线方向并继而也确定出相对于车辆当前位置的头部姿态和/或视线方向。这当然不仅仅适用于智能手机而且适用于所有的以适合的方式配备的移动式或者说便携式操作装置。
根据本发明的又一有利的改进方案,将在移动式操作装置和/或在车辆中的数字式计算装置用作分析装置。例如现代的智能手机现在已经具有直至四核的高效的处理器用以每秒钟处理大量的计算操作。通过类似的方式,用于不同计算任务的高效处理器或者计算装置在(机动)车中得到采用。该可用的计算能力——其在将来很可能将进一步提高——可以以低成本的方式用于根据本发明的方法。
根据本发明的又一有利的改进方案,借助于无线的无线电通信,在应用根据IEEE-802.11a、IEEE-802.11b、IEEE-802.11g、IEEE-802.11n、IEEE-802.15.1、IEEE-802.15.2、IEEE-802.15.3、IEEE-802.15.4的无线标准、上述标准的变型和/或改进或者移动通信标准的情况下,在车辆与移动式操作装置之间传输数据。借助于这些无线标准——其已经实施在多种(机动)车和移动式操作装置、例如智能手机中——可以以低成本并且同时可靠的方式实现无线的数据交换。
此外有利的是,为了开始车辆的自主控制的运动,将信号经由无线电通过位于车辆之外的操作者借助于手持式发射机和/或移动式操作装置发送到车辆。同样适合的是,为了暂停或停止车辆的自主控制的运动,能将信号经由无线电通过位于车辆之外的操作者借助于手持式发射机和/或移动式操作装置发送到车辆。
根据本发明的方法并不限于特定类型的、自主控制的车辆运动,而特别是可以用于自主停放过程、自主驶出停车场过程和/或自主继续行驶。此外有利的是,根据本发明的又一有利的改进方案,由移动式操作装置的第二摄像装置按时间顺序拍摄的图像被实时地在移动式操作装置的显示装置上显示。
本发明也涉及一种用于运行车辆的系统,其特征在于,该系统包括车辆和移动式操作装置,所述车辆和所述移动式操作装置被设置用于实施根据本发明的方法或所述方法的有利的改进方案之一。
附图说明
根据附图对本发明详细进行说明。
附图示出了用于根据本发明的方法的流程的例子的示意图。
具体实施方式
以下所说明的各实施例是本发明的优选的实施方式。本发明当然不限于这些实施方式。
在根据本发明的优选的实施例的在图中示出的流程图中,在第一步骤S1中检查,是否开始车辆的自主控制的运动。这可以例如通过读出为车辆的自主控制的运动设置的控制装置的状态或者通过检测相应的控制命令实现。
如果该检查或查询得出的结果是开始车辆的自主控制的运动,那么按照步骤S2按时间顺序检测车辆的当前位置。车辆位置的检测可以通过各种适合的方式实现,例如借助于卫星支持的定位。这是因为本发明方法的实施并不依赖于在几厘米的量级上准确地确定车辆位置,所以定位的精度借助于现在可用的GPS对于实施根据本发明的方法就足够了。
例如也可以通过确定车辆在方法开始时的初始位置(例如借助于GPS),和随后检测车辆的速度和/或速度进程以及方向和/或方向进程(转向角、转向性能)来确定车辆的各个当前位置。这些数据可以通过车辆的相应的车辆侧的装置提供。
也可以例如借助于GPS模块的数据结合导航系统的数据以及结合车辆侧的摄像装置(借助于该摄像装置可以检测车辆周围环境,并且其图像通过为此设置的图像分析程序被分析)的数据很准确地确定车辆的当前的位置。
如已经提到的,根据本发明不需要绝对地、亦即在给出确定的坐标(经度和纬度)的情况下确定车辆的当前位置,而是确定车辆相对于位于车辆之外的操作者的当前位置就足够了。
这可以通过特别适合的方式实现,即只要移动式操作装置具有第二摄像装置,借助于该第二摄像装置可以按时间顺序拍摄车辆的图像。例如多数现代的移动电话具有第一和第二摄像装置,这些移动电话根据本发明的有利的改进方案可以用作移动式操作装置。
第一摄像装置在此设置在智能手机的一侧上,(主)显示装置(显示器)也位于该侧上。这种第一摄像装置在智能手机中通常被设置用于视频电话。借助于这种第一摄像装置可以通过有利的方式按时间顺序采集操作者头部的图像,如随后关于在附图中示出的步骤S3所说明的那样。
在与(主)显示装置对置的一侧上,大多数智能手机都具有第二摄像装置,该第二摄像装置通常设置用于拍摄静止图像和/或运动图像(图像和/或视频)。借助于该第二摄像装置可以通过有利的方式按时间顺序拍摄车辆的图像,其可以用于在步骤S2中确定车辆的当前位置。
车辆的借助于第二摄像装置拍摄的图像可以通过适合的分析软件或分析装置被以下面的方式进行分析:车辆位于拍摄的图像的哪个区域中,例如车辆关于第二摄像装置的中央拍摄轴线位于哪个角度上。假如智能手机具有一个可动的第二摄像装置,那么当然也可以确定,车辆关于智能手机的另一不可动的元件位于哪个角度上。智能手机的这种另外的不可动的元件可以是例如智能手机的一个想象的中轴线或表面(例如主显示装置的中轴线或表面)。
与车辆当前位置的确定同时地或者与之在时间上紧邻地,在步骤S3中借助于移动式操作装置的第一摄像装置按时间顺序采集图像。这些图像应该用于确定操作者的当前的头部姿态和/或视线方向。为此在步骤S4中基于由第一摄像装置采集的图像借助于例如对此适合的图像分析软件或图像分析装置确定操作者的当前的头部姿态和/或视线方向或者至少尝试确定操作者的当前的头部姿态和/或视线方向。
操作者的头部姿态和/或视线方向可以例如由此确定,即借助于对此适合的图像分析软件或图像分析装置对由移动式操作装置的第一摄像装置采集的图像进行分析并且在图像中识别出的头部例如在眼睛的位置、耳朵的位置和/或鼻子的位置方面被分析。由此在任何情况下都能确定操作者关于移动式操作装置的第一摄像装置或关于移动式操作装置的头部姿态和/或视线方向。
应说明的是,经常不需要确定驾驶员的具体的视线方向,而是确定头部姿态就足够了。因为一方面可以经常从人的头部姿态比较准确地推断出其视线方向,这是因为人的头部姿态经常跟随相应的当前视线。并且另一方面因此可以经常也不需要准确地确定人的视线方向,因为具有健康的眼睛的人也能觉察到位于其(通过头部姿态基本上预定的)视线方向轴线之外的物体。
如果操作者在通过第一摄像装置采集图像期间以一种方式和方法保持移动式操作装置,其中其头部位于第一摄像装置的采集区域之外,或者其中其头部未以足够的完整度、质量和/或大小包含在图像中,那么借助于所述的图像分析软件或图像分析装置当然不能确定当前的头部姿态和/或视线方向。
因此在步骤S5中查询并且检查,是否能确定操作者的头部姿态和/或视线方向。如果该查询或检查的结果是否定的,那么也就是说不能确定操作者正在看向哪里,并且因此也不能确保操作者使自主控制运动的车辆位于其视线中,那么跳转到步骤S8,其中停止或者暂停车辆的自主控制的运动。假如在本申请中使用了术语“停止”,那么这也可以表示:车辆的自主控制的运动绝不会开始,亦即“停止”例如在用于紧接在自主控制的运动的开始信号之后进行。
如果查询或检查在步骤S5中得到肯定的结果,那么也就是说在步骤S4中能确定操作者的当前的头部姿态和/或视线方向,在步骤S6中查询或检查操作者的头部姿态和/或视线方向是否偏离于车辆的当前位置。
对此需要将在步骤S2中确定的车辆当前位置与在步骤S4中确定的操作者的当前的头部姿态和/或视线方向进行比较。这种比较可以通过各种适合的方式和方法实施。
如果例如移动式操作装置仅仅具有第一摄像装置,那么可以通过移动式操作装置自身仅仅确定操作者的当前的头部姿态和/或视线方向。借助于移动式操作装置的另外的装置(例如GPS模块、位置传感器、加速度传感器等等)可以确定(由操作者持有的)移动式操作装置的当前位置以及操作者的头部姿态和/或视线方向(各个沿水平和垂直方向以及在空间上的定向或者姿态)。
如上面已经提到的,能在这样的情况下例如借助于车辆侧的GPS模块确定(机动)车的当前位置。因此为了进行比较而提供有移动式操作装置的当前位置、基于移动式操作装置的操作者的视线方向以及(机动)车的当前位置。由此能通过简单的方式检查,操作者的当前的头部姿态和/或视线方向是否(以至少足够的程度地)指向(机动)车的当前位置的方向。
更简单地,如果移动式操作装置具有第二摄像装置并且通过该第二摄像装置按时间顺序拍摄车辆的图像,就能在步骤S6中进行查询或检查。在根据本发明的方法的该设计方案中可以因此以仅仅一个装置检测并且在必要时也确定或者分析不仅是车辆的当前位置而且还包括操作者的当前的头部姿态和/或视线方向。
在此也能完全省去车辆和移动式操作装置的绝对定位,而足够的是:确定在利用第二摄像装置拍摄的图像(例如关于第二摄像装置的中央拍摄轴线)内车辆的位置(例如利用对此适合的图像分析软件或图像分析装置)以及关于通过第一摄像装置拍摄的图像的操作者的头部姿态和/或视线方向。
如果操作者想要利用第二摄像装置检测车辆的位置,那么产生的另外的优点在于,操作者经常在拍照和/或拍摄中的情况那样地持有智能手机。操作者也就将移动式操作装置(智能手机)在其前面保持在近似眼睛的高度处。这特别在以下情况下进行,即——如这根据本发明的有利的改进方案所设计地那样——按时间顺序拍摄的车辆图形被实时地在移动式操作装置的(主)显示装置上显示。在根据本发明的方法的这种实施方式中,车辆的当前位置的检测因此类似于如下情况:该位置在借助于智能手机在视频的显示中被给出。由此操作者的头部姿态和/或视线方向也经常指向自主控制的车辆的方向,从而与在根据本发明的其它设计方案中的情况相比更少地需要停止或暂停车辆的自主控制的运动。
作为对于根据本发明的实施方式的另外的优点可以提及的是,由于上面提及的通常将移动式操作装置保持在近似眼睛高度处,也能以大的概率由移动式操作装置的第一摄像装置检测到操作者的头部。
假如按时间顺序拍摄的车辆图形被实时地在移动式操作装置的(主)显示装置上显示,那么所述图形自身可以是采集到的图像,但是也可能的是:图形被修改,图形例如基于通过分析装置进行的评估或分析以在视觉上对于人眼可更好地识别出的方式而被示出,图形包含风格/样式,图形具有对车辆图形的限制和/或另外的信息(例如可能的危险点的标记)。
通过步骤S2和步骤S4的结果比较能确定操作者的头部姿态和/或视线方向是否与车辆的当前位置相偏离。
在两个根据本发明的方法的上述提及的实施方式中经常需要的是,从车辆到移动式操作装置传输数据或者从移动式操作装置到车辆传输数据、在车辆与移动式操作装置之间交换数据,或者从车辆和/或移动式操作装置到分析装置传输数据。
因此例如能将关于车辆的当前位置的数据从车辆传输到设置在移动式操作装置中的分析装置。或者将关于操作者的当前的头部姿态和/或视线方向的数据传输到车辆侧的分析装置。或者将关于车辆的自主控制的运动的继续进行和/或停止或暂停的控制命令从移动式操作装置传输到相应的车辆侧的控制装置。
在此优选的是,借助于无线的无线电通信传输数据。作为适合的例子在此提及的是根据IEEE-802.11a、IEEE-802.11b、IEEE-802.11g、IEEE-802.11n(也称为无线的局域网标准、WLAN标准或WiFi标准)、IEEE-802.15.1、IEEE-802.15.2、IEEE-802.15.3、IEEE-802.15.4(也称为无线个人网络标准、WPAN标准或蓝牙标准)的无线标准、上述标准的变型和/或扩展或者移动通信标准。特别是根据IEEE-802族的无线标准现在看来特别适合于通过在根据本发明的方法中给出的比较短的距离的足够快速和安全的无线通信。
如果在步骤S6中的查询或检查的结果是,操作者的头部姿态和/或视线方向与车辆的当前的位置之间不存在偏差,那么继续车辆的自主控制的运动。如果与之相反地在步骤S6中确定操作者的头部姿态和/或视线方向与车辆的当前的位置存在偏差,那么在下面的步骤S7中检查,该偏差是否在长于一可预定的持续时间(的时间)内存在和/或该偏差(相应的角度)是否大于一可预定的角度。
在此可以通过适合的方式选择持续时间的阈值以及角度的阈值。例如作为操作者的头部姿态和/或视线方向与车辆的当前位置的偏差持续的持续时间可以预定0.1s、0.2s、0.3s、0.4s、0.5s、0.6s、0.7s、0.8s、0.9s或1s。另外,如果车辆侧的传感装置没有在车辆的附近周围环境中探测到障碍物,则也可以动态地确定该持续时间、例如更长的时长,并且也可以确定较短的持续时间,或者在车辆的周围环境中障碍物越近则将持续时间确定得越短。而且为了确定(动态的)持续时间可以考虑车辆的速度。
类似地也适用于操作者的头部姿态和/或视线方向与车辆的当前的位置的偏差的允许的阈值。如上已经提及的,经常可以容许操作者的头部姿态和/或视线方向与车辆的当前的位置存在一定的偏差,因为人用眼睛也能识别出位于中央视线轴线之外的物体。因此例如可以将5°、10°、15°、20°、25°、30°、35°、40°、或45°的角度预定为操作者的头部姿态和/或视线方向与车辆的当前的位置的偏差的仍允许的阈值。以类似的方式如上关于允许的持续时间所设计地那样,也可以根据刚好存在的行驶情况不同地选择允许的偏差角度。
如果在步骤S7中确定所有的偏差(都)处在可预定的阈值范围内,那么按照步骤S9实现继续车辆的自主控制的运动。如果至少一个所述偏差大于所述允许的预定的阈值,那么按照步骤S8实现车辆的自主控制的运动的停止或暂停。然而也可以设定,在组合地存在在时间方面自身还可容许的偏差以及操作者的视线方向和/或头部姿态与车辆的当前的位置的自身还可容许的偏差的情况下同样跳转到步骤S8。
关于可用于实施根据本发明的方法的(多个)分析装置不存在特别的限制。例如可以在车辆侧的分析装置中分析关于车辆的位置的数据,并且在移动式操作装置的分析装置中分析由所述第一或如果必要第二摄像装置所采集的图像。在装置中/由装置(车辆、移动式操作装置)采集的数据可以例如也经由无线电传输到另一装置(移动式操作装置、车辆)的分析装置并且在那里被分析。作为(多个)分析装置可以例如应用移动式操作装置中和/或车辆中的数字式计算装置,在其上安装有能够执行的各种适合的计算机程序编码。当然也可以考虑纯硬件解决方案作为分析装置。
假如在本申请中提及“时间顺序”,那么其中包括所有适合的时间间隔。因此例如可以以1/30s,1/25s,1/20s,1/15s,1/10s,1/5s或者1s的时间间隔检测例如车辆的位置。以类似的方式可以选择所述时间间隔,其中由第一摄像装置拍摄图像。根据本发明,用于相应的检测的特定时间间隔不是必要的,而是可以选择每个对于正好产生的情况适合的时间间隔。
如上面已经提及的,根据本发明的方法不限于车辆的自主控制的运动的特定的方式和方法。以现在优选的方式然而可以将根据本发明的方法用于自主停放过程、自主驶出停车场过程和/或自主继续行驶。因此可以例如以对于自主控制的继续行驶有利的方式在农业和林业的领域中以及在送货服务(邮局服务和包裹邮递服务)中应用根据本发明的方法。
在图中未示出,但是当然也由本发明包括另外的步骤,这些步骤可以被附加地实施以用于实施根据本发明的方法。因此可以例如在步骤S9中车辆的自主控制的运动的停止/暂停之后不是仅仅结束所述方法,而是——必要时在一可预定的持续时间之后和/或在使用者的重新操作处理之后——重新返回到开始点或者必要时(假如仅仅暂停车辆的自主控制的运动)返回到一个随后的步骤、例如S5。在步骤S9中车辆的自主控制的运动的继续有规律地仅仅一直被实施,直至例如通过车辆侧的控制装置确定了其成功的完成或结束。
此外可以在根据本发明的方法中设计为,在移动式操作装置中存储关于待观察的车辆的信息,在待观察的车辆中存储关于移动式操作装置的信息和/或在移动的(可携带的)操作装置与车辆之间进行适合的通信,从而可以确保,根据本发明的方法在“正确的”车辆与“正确的”移动式操作装置之间实施。
也可以例如进一步设计为,操作者的头部的图像和/或头部的相应的(生物测量的)数据被存储在移动式操作装置中,以便通过这种方式确保,由移动式操作装置的第一摄像装置检测的头部也是操作者的头部而不是第三者的头部。
同样可以设计为,一旦通过车辆侧的控制装置确定了例如障碍物或者车辆侧的传感装置故障和/或促动器的故障,那么可以通过该车辆侧的控制装置随时停止或暂停车辆的自主控制的运动。
此外可以在一个在图中未示出的步骤中借助于分析装置在质量方面分析所采集的图像。在此可以例如检查或分析,是否在所采集的图像内以足够的方式采集了使用者的头部的图形和/或车辆的图形。应如何理解“以足够的方式”可以以相应适合的方式来预定。因此例如可以作为一个阈值设定,在所采集的图像内的亮度和/或对比度方面必须达到的一定的边界值。
本发明也涉及一种用于运行车辆的系统,其特征在于,所述系统包括车辆和移动式操作装置,该车辆和移动式操作装置被设置用于实施根据本发明的方法。
对于本领域内技术人员来说基于根据本发明的方法的上述描述很容易就清楚的是,需要哪个车辆侧的装置(控制装置、传感装置和促动器)用于自主控制的运动。此外对于本领域内技术人员已知的是,能借助于哪个车辆侧的通信装置确保例如与移动式操作装置的通信(例如用于交换数据、用于开始/停止/停止/暂停自主控制的运动)。
关于移动式操作装置的特征(第一摄像装置、如果必要第二摄像装置、如果必要显示装置、与车辆的通信可能性、位置识别等)也是如此。
而且关于分析装置对于本领域内技术人员已知的是,何种要求是适合的或者需要的。对于在分析装置上执行的(多个)计算机程序也是如此。
假如在本发明中选择、识别并且追踪(Tracking)在采集的图像中的一个或多个目标是需要的或者被实施,那么可以使用所有的适合的现在可用的以及将来可用的解决方案(方法/装置)。
用于实施根据本发明的方法的一个典型的例子可以流程如下:
操作者(驾驶员)寻找停车空位,已经发现一个这样的停车空位并且该停车空位的大小和适用性由车辆侧的传感装置测量并且被评定为是至少足够的。该操作者(驾驶员)靠近所述停车空位停下车辆并且离开所述车辆。
为了开始或者实施自主控制的停放过程,操作者经由无线电借助于手持式发射机(其可以例如位于车辆钥匙中)和/或移动式操作装置发送一个用于开始自主控制的停放过程的信号到所述车辆。一个这样的信号可以例如借助于按压移动式操作装置的按键、借助于按压显示在移动式操作装置的显示装置上的图标或者借助于语言命令被触发。
此后移动式操作装置从车辆得到发送的关于其当前位置的数据。同时或者不久之后移动式操作装置(智能手机)的第一摄像装置开始按时间顺序拍摄图像。这些图像由例如存在于移动式操作装置中的分析装置分析。如果可以在图像上以足够的质量识别出操作者的头部并继而确定其头部姿态和/或视线方向,并且满足用于开始或继续自主控制的停放过程的其它标准,那么由移动式操作装置经由无线电发送一个相应的信号到相应的车辆侧的装置。
该车辆随后开始自主控制的停放过程。在停放过程持续期间,由车辆以适合的时间间隔将关于其当前位置的数据传输到移动式操作装置。并且由移动式操作装置分析进一步由第一摄像装置拍摄的图像。假如满足用于继续自主控制的停放过程的标准,那么所述车辆继续自主的停放过程。如果不再满足用于继续自主的停放过程的标准,那么由移动式操作装置将用于停止或暂停自主控制的停放过程的信号发送到所述车辆,随后车辆停止或暂停停放过程,特别是也就是因此尽可能快速地停止其运动。
如果又满足了用于继续自主的停放过程的标准,即操作者例如又以适合的方式握持移动式操作装置或者操作者又朝车辆的方向看,那么可以自动地由移动式操作装置发送用于继续停放过程的信号,也可以通过操作者的操作处理被触发这种信号。
在实施自主控制的停放过程期间操作者也具有的可能性是,只要该操作者期望,为了暂停或停止车辆的自主控制的运动,经由无线电借助于手持式发射机和/或移动式操作装置将信号发送到所述车辆。
如果所述车辆已经达到其自主控制的最终位置,那么例如可以通过从车辆到移动式操作装置传输相应的信号结束根据本发明的方法。根据本发明的方法的结束可以通过在移动式操作装置的显示装置上的相应的显示、通过相应的信号声或者通过相应的语言输出而以信号形式通知给操作者。

Claims (13)

1.一种用于运行车辆的方法,其中所述车辆进行自主控制的运动,其特征在于,
按时间顺序检测所述车辆的各个当前位置(S2),
借助于由位于所述车辆之外的操作者持有的移动式操作装置的第一摄像装置按时间顺序采集图像(S3),
通过分析装置基于所采集的图像确定出操作者当前的头部姿态和/或视线方向(S4),以及
对于以下情况自动地暂停或停止所述车辆的自主控制的运动(S8):即不能确定出操作者当前的头部姿态和/或视线方向(S5),或者所述操作者的头部姿态和/或视线方向比一能预定的持续时间还长地偏离车辆当前位置(S6)和/或与车辆当前位置的偏离大于一能预定的角度(S7)。
2.根据权利要求1所述的方法,其特征在于,车辆的当前位置借助于:
(a)按时间顺序拍摄的车辆图像,其中所述图像由所述移动式操作装置的第二摄像装置拍摄,和/或
(b)关于当前位置的数据或关于初始位置的数据、速度数据以及方向数据,
来检测出。
3.根据权利要求1所述的方法,其特征在于,车辆的当前位置借助于速度进程数据和/或方向进程数据来检测出。
4.根据权利要求1-3中任一项所述的方法,其特征在于,将智能手机用作所述移动式操作装置。
5.根据权利要求1-3中任一项所述的方法,其特征在于,将所述移动式操作装置和/或车辆中的数字式计算装置用作所述分析装置。
6.根据权利要求1-3中任一项所述的方法,其特征在于,借助于无线电通信,在应用根据IEEE-802.11a、IEEE-802.11b、IEEE-802.11g、IEEE-802.11n、IEEE-802.15.1、IEEE-802.15.2、IEEE-802.15.3、IEEE-802.15.4的无线标准、上述标准的变型标准和/或扩展标准或者移动通信标准的情况下,在车辆与移动式操作装置之间传输数据。
7.根据权利要求1-3中任一项所述的方法,其特征在于,为了开始所述车辆的自主控制的运动,由位于所述车辆之外的操作者借助于移动式操作装置将一信号经由无线电发送到所述车辆。
8.根据权利要求1-3中任一项所述的方法,其特征在于,为了开始所述车辆的自主控制的运动,由位于所述车辆之外的操作者借助于手持式发射机将一信号经由无线电发送到所述车辆。
9.根据权利要求1-3中任一项所述的方法,其特征在于,为了暂停或停止所述车辆的自主控制的运动,能由位于所述车辆之外的操作者借助于移动式操作装置将一信号经由无线电发送到所述车辆。
10.根据权利要求1-3中任一项所述的方法,其特征在于,为了暂停或停止所述车辆的自主控制的运动,能由位于所述车辆之外的操作者借助于手持式发射机将一信号经由无线电发送到所述车辆。
11.根据权利要求1-3中任一项所述的方法,其特征在于,所述车辆的自主控制的运动包括自主停放过程、自主驶出停车场过程和/或自主继续行驶。
12.根据权利要求2所述的方法,其特征在于,由所述移动式操作装置的所述第二摄像装置按时间顺序拍摄的图像被实时地在所述移动式操作装置的显示装置上显示。
13.一种用于运行车辆的系统,其特征在于,所述系统包括车辆和移动式操作装置,所述车辆和所述移动式操作装置被设置用于实施根据权利要求1至12中任一项所述的方法。
CN201310373329.8A 2012-08-25 2013-08-23 运行车辆的方法和系统 Active CN103625477B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012016871.3A DE102012016871A1 (de) 2012-08-25 2012-08-25 Verfahren und System zum Betreiben eines Fahrzeugs unter Überwachung der Kopforientierung und/oder Blickrichtung eines Bedieners mit Hilfe einer Kameraeinrichtung einer mobilen Bedieneinrichtung
DE102012016871.3 2012-08-25

Publications (2)

Publication Number Publication Date
CN103625477A CN103625477A (zh) 2014-03-12
CN103625477B true CN103625477B (zh) 2016-08-10

Family

ID=48948188

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310373329.8A Active CN103625477B (zh) 2012-08-25 2013-08-23 运行车辆的方法和系统

Country Status (4)

Country Link
US (1) US8948930B2 (zh)
EP (1) EP2700566B1 (zh)
CN (1) CN103625477B (zh)
DE (1) DE102012016871A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9562776B2 (en) * 2013-04-23 2017-02-07 Intelligent Mechatronic Systems Inc. Location-based security
US10088844B2 (en) * 2013-11-22 2018-10-02 Ford Global Technologies, Llc Wearable computer in an autonomous vehicle
DE102014214078A1 (de) * 2014-07-18 2016-01-21 Continental Automotive Gmbh Verfahren zur Interaktion mit einem Fahrer eines Fahrzeugs beim automatisierten Fahren
DE102014011864B4 (de) 2014-08-09 2021-07-22 Audi Ag Überwachung eines teilautonomen Fahrvorgangs eines Kraftfahrzeugs
DE102015200044B4 (de) 2015-01-06 2022-07-07 Ford Global Technologies, Llc Verfahren und Vorrichtung zur Unterstützung eines Manövriervorganges eines Kraftfahrzeugs
US9701305B2 (en) * 2015-03-10 2017-07-11 GM Global Technology Operations LLC Automatic valet parking
US9925841B2 (en) 2015-09-14 2018-03-27 Ford Global Technologies, Llc Active vehicle suspension
US20170088165A1 (en) * 2015-09-29 2017-03-30 GM Global Technology Operations LLC Driver monitoring
US9841813B2 (en) * 2015-12-22 2017-12-12 Delphi Technologies, Inc. Automated vehicle human-machine interface system based on glance-direction
DE102016100993A1 (de) * 2016-01-21 2017-07-27 Valeo Schalter Und Sensoren Gmbh Verfahren zum Ausparken eines Kraftfahrzeugs aus einer Parklücke mit zumindest semiautonomen Manövrieren des Kraftfahrzeugs bis zu einer Endposition, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102016211021B4 (de) * 2016-06-21 2024-04-18 Robert Bosch Gmbh Verfahren und Vorrichtung zur Absicherung einer vollautomatischen Bewegung eines Fahrzeuges
DE102016212687A1 (de) * 2016-07-12 2018-01-18 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung eines Kraftfahrzeugs
KR20180070401A (ko) * 2016-12-16 2018-06-26 현대자동차주식회사 자율주행차량의 운전 제어권 이양을 판단하는 시스템 및 방법
CN106938647B (zh) * 2017-04-11 2019-05-31 北京汽车研究总院有限公司 一种发动机控制系统及方法
US10268903B2 (en) * 2017-06-11 2019-04-23 Jungo Connectivity Ltd. Method and system for automatic calibration of an operator monitor
CN111032443B (zh) * 2017-08-10 2023-03-07 日产自动车株式会社 泊车控制方法及泊车控制装置
CN109547970A (zh) * 2017-08-11 2019-03-29 法雷奥舒适驾驶助手公司 用于为机动车辆的远程控制操纵提供安全性的方法
DE102017217784A1 (de) * 2017-10-06 2019-04-11 Robert Bosch Gmbh Verfahren und System zur Unterstützung eines Manövriervorgangs eines Fahrzeugs
DE102017218525A1 (de) * 2017-10-17 2019-04-18 Ford Global Technologies, Llc Verfahren zum Rufen eines autonomen Taxis
JP7218172B2 (ja) * 2018-12-25 2023-02-06 フォルシアクラリオン・エレクトロニクス株式会社 車載処理装置、及び車載処理装置の制御方法
CN109733388B (zh) * 2019-02-27 2020-05-12 湖北亿咖通科技有限公司 自动泊车监控确认方法和系统
JP7269069B2 (ja) * 2019-03-29 2023-05-08 本田技研工業株式会社 車両制御システム
JP7184695B2 (ja) * 2019-03-29 2022-12-06 本田技研工業株式会社 車両制御システム
DE102019206446A1 (de) * 2019-05-06 2020-11-12 Volkswagen Aktiengesellschaft Verfahren zum Durchführen eines Rangiervorgangs eines Kraftfahrzeugs mit Aufmerksamkeitsbeurteilung eines Nutzers sowie Rangierassistenzsystem für ein Kraftfahrzeug
JP7000401B2 (ja) * 2019-11-21 2022-01-19 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
DE102019132759A1 (de) * 2019-12-03 2021-06-10 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Führen eines Kraftfahrzeugs mit einem Teleoperator,Computerprogrammprodukt und Teleoperationsführungssystem
US12077210B2 (en) * 2020-02-13 2024-09-03 Steering Solutions Ip Holding Corporation Vehicle steering control system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002120742A (ja) * 2000-10-12 2002-04-23 Mitsubishi Electric Corp 駐車補助装置
JP2006146811A (ja) * 2004-11-24 2006-06-08 Nissan Motor Co Ltd 車両駐車装置及び車両駐車方法
DE102008051982A1 (de) * 2008-10-16 2009-06-10 Daimler Ag Verfahren und Vorrichtung zu einem ferngesteuerten Rangieren eines Fahrzeugs
WO2010043944A1 (en) * 2008-10-14 2010-04-22 Toyota Jidosha Kabushiki Kaisha Parking assistance apparatus and control method thereof
EP2295281A1 (de) * 2009-09-15 2011-03-16 Valeo Schalter und Sensoren GmbH Fahrerassistenzeinrichtung für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Karftfahrzeugs
WO2011132309A1 (ja) * 2010-04-23 2011-10-27 トヨタ自動車株式会社 駐車支援装置
CN102598080A (zh) * 2010-04-12 2012-07-18 丰田自动车株式会社 车辆远程操作系统以及车载机器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10117650A1 (de) * 2001-04-09 2002-10-10 Daimler Chrysler Ag Verfahren und Vorrichtung zum Verbringen eines Kraftfahrzeuges in eine Zielposition
JP2007295033A (ja) * 2006-04-20 2007-11-08 Toyota Motor Corp 遠隔操作制御装置およびその操作端末
DE102009051463B4 (de) 2009-10-30 2014-08-21 Audi Ag Kraftfahrzeug, externe Steuerungsvorrichtung sowie Verfahren zum Durchführen eines Ausparkvorgangs eines Kraftfahrzeugs
DE102011079703A1 (de) * 2011-07-25 2013-01-31 Robert Bosch Gmbh Verfahren zur Unterstützung eines Fahrers eines Kraftfahrzeugs

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002120742A (ja) * 2000-10-12 2002-04-23 Mitsubishi Electric Corp 駐車補助装置
JP2006146811A (ja) * 2004-11-24 2006-06-08 Nissan Motor Co Ltd 車両駐車装置及び車両駐車方法
WO2010043944A1 (en) * 2008-10-14 2010-04-22 Toyota Jidosha Kabushiki Kaisha Parking assistance apparatus and control method thereof
DE102008051982A1 (de) * 2008-10-16 2009-06-10 Daimler Ag Verfahren und Vorrichtung zu einem ferngesteuerten Rangieren eines Fahrzeugs
EP2295281A1 (de) * 2009-09-15 2011-03-16 Valeo Schalter und Sensoren GmbH Fahrerassistenzeinrichtung für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Karftfahrzeugs
CN102598080A (zh) * 2010-04-12 2012-07-18 丰田自动车株式会社 车辆远程操作系统以及车载机器
WO2011132309A1 (ja) * 2010-04-23 2011-10-27 トヨタ自動車株式会社 駐車支援装置

Also Published As

Publication number Publication date
DE102012016871A1 (de) 2014-02-27
US8948930B2 (en) 2015-02-03
EP2700566B1 (de) 2015-10-14
EP2700566A3 (de) 2014-08-20
US20140058587A1 (en) 2014-02-27
CN103625477A (zh) 2014-03-12
EP2700566A2 (de) 2014-02-26

Similar Documents

Publication Publication Date Title
CN103625477B (zh) 运行车辆的方法和系统
CN103632413B (zh) 运行车辆的方法和系统
CN105185134B (zh) 电子装置、电子装置的控制方法及计算机可读记录介质
CN103950409B (zh) 泊车辅助方法和系统
US10460186B2 (en) Arrangement for creating an image of a scene
US20220274588A1 (en) Method for automatically parking a vehicle
CN105916758A (zh) 用于车辆的自主泊车的方法、用于执行所述方法的驾驶员辅助设备以及具有所述驾驶员辅助设备的车辆
JP6708785B2 (ja) 走行経路提供システムおよびその制御方法、並びにプログラム
US20180229654A1 (en) Sensing application use while driving
KR101673927B1 (ko) 자동차 원격 제어 시스템 및 그 제어 방법
CN112639689A (zh) 基于隔空手势的控制方法、装置及系统
KR20200032547A (ko) 자율주행차량용 ar게임 장치 및 그 방법
KR20150080940A (ko) 지능형 골프카트
WO2019047443A1 (zh) 一种轮椅、控制方法及计算机可读存储介质
US8570166B2 (en) System and method for assisting driver when reversing motor vehicle
EP2808648B1 (en) Apparatus, server and method for providing route guidance
JP2020166673A (ja) 駐車位置案内システム
US20200265252A1 (en) Information processing apparatus and information processing method
CN109050404A (zh) 带有机械臂的汽车的大视角成像监控及自动步行系统
CN113778125B (zh) 基于语音的飞行设备控制方法、装置、车辆及存储介质
US20210208584A1 (en) Moving body control device, moving body control method, and computer readable recording medium
US20230305562A1 (en) Positioning system and mobile object equipped therewith
US20230364992A1 (en) System for recognizing gesture for vehicle and method for controlling the same
US20210373561A1 (en) Movable body control device, movable body, movable body management system, movable body control method, and program
KR20170011883A (ko) 이동형 카메라 장치, 및 이를 구비한 차량

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant