CN108602466A - 用于跟踪运动对象以避免干扰车门操作的系统及方法 - Google Patents

用于跟踪运动对象以避免干扰车门操作的系统及方法 Download PDF

Info

Publication number
CN108602466A
CN108602466A CN201780008841.9A CN201780008841A CN108602466A CN 108602466 A CN108602466 A CN 108602466A CN 201780008841 A CN201780008841 A CN 201780008841A CN 108602466 A CN108602466 A CN 108602466A
Authority
CN
China
Prior art keywords
vehicle
period
action
during
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780008841.9A
Other languages
English (en)
Other versions
CN108602466B (zh
Inventor
O·M·杰罗明
泓·S·裵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faraday and Future Inc
Original Assignee
Faraday and Future Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faraday and Future Inc filed Critical Faraday and Future Inc
Publication of CN108602466A publication Critical patent/CN108602466A/zh
Application granted granted Critical
Publication of CN108602466B publication Critical patent/CN108602466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/40Safety devices, e.g. detection of obstructions or end positions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/40Safety devices, e.g. detection of obstructions or end positions
    • E05F15/42Detection using safety edges
    • E05F15/43Detection using safety edges responsive to disruption of energy beams, e.g. light or sound
    • E05F2015/434Detection using safety edges responsive to disruption of energy beams, e.g. light or sound with optical sensors
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/70Power-operated mechanisms for wings with automatic actuation
    • E05F15/73Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F2015/767Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using cameras
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2400/00Electronic control; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/10Electronic control
    • E05Y2400/30Electronic control of motors
    • E05Y2400/40Control units therefore
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME RELATING TO HINGES OR OTHER SUSPENSION DEVICES FOR DOORS, WINDOWS OR WINGS AND DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION, CHECKS FOR WINGS AND WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05Y2900/00Application of doors, windows, wings or fittings thereof
    • E05Y2900/50Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53Application of doors, windows, wings or fittings thereof for vehicles characterised by the type of wing
    • E05Y2900/531Doors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了一种执行一种方法的系统。接收来自安装在车辆上的第一相机的图像数据,该车辆包括第一元件,该第一元件被配置成打开到车辆外面的第一空间中,并且图像数据指示第一对象在第一时段内的运动,第一对象位于第一空间外部。确定第一对象在第一时段期间的运动是否指示第一对象将在第一时段之后的第二时段期间干扰第一元件的操作。根据确定第一对象的运动指示第一对象将在第二时段期间干扰第一元件的操作,执行避免该干扰的动作。

Description

用于跟踪运动对象以避免干扰车门操作的系统及方法
相关申请的交叉引用
本申请要求于2016年1月29日提交的美国临时申请第62/288,835的优先权,出于所有目的,其全部内容通过引用合并于此。
技术领域
本发明总体上涉及对象检测,更具体地,涉及一种使用车辆上的一个或多个相机跟踪运动对象以确定对象是否会干扰车门操作的系统及方法。
背景技术
现代车辆,尤其是汽车越来越多地包括用于检测和收集关于车辆周围的信息的各种传感器。这些传感器可以包括用于检测车辆与车辆的周围中的对象的接近度的超声波传感器,并且可以用于提供关于对象相对于车辆的当前位置的信息。然而,可以干扰车辆操作(例如,打开车门)的一些对象可能是运动对象,该运动对象尽管目前并不干扰车辆操作,但将来可能会干扰车辆操作。当前的对象检测技术没有考虑到这种未来的干扰。
发明内容
本公开的示例针对于使用一个或多个传感器(例如,相机)来检测车辆周围中的对象的运动。在一些示例中,基于那些运动,车辆可以估计那些对象的轨迹,并且确定那些对象未来是否会干扰车门的操作(例如,打开车门、保持车门打开而不与对象碰撞等)。如果确定了未来的干扰,则车辆可以采取适当的动作以避免干扰,例如通过以下操作来警告驾驶员或乘客潜在干扰:使车辆中的一个或多个扬声器播放声音、使车辆内的一个或多个灯闪烁、在车辆内的一个或多个显示屏上显示视觉指示和/或向车辆的方向盘或车辆的驾驶员座位提供振动。在一些示例中,附加地或可替代地,车辆可以在被阻碍的危险的情况下开始自动地关闭一个或多个门(如果一个或多个门已经打开)、在被阻碍的危险的情况下防止一个或多个门被打开(如果一个或多个门尚未被打开),和/或向对象(在该对象是人或者受人控制的情况下)提供警报以努力提醒此人潜在的碰撞。
附图说明
图1示出了根据本公开的示例的具有门的示例性车辆。
图2示出了根据本公开的示例的具有用于跟踪对象的运动和确定对象轨迹的相机的示例性车辆。
图3示出了根据本公开的示例的用于跟踪对象以避免干扰车门的示例性过程。
图4示出了根据本公开的示例的车辆控制系统的示例性系统框图。
具体实施方式
在以下的示例的描述中,参考形成该描述的一部分的附图,并且在附图中通过示例性的方式示出了可以实施的具体示例。应当理解的是,在不脱离所公开的示例的范围的情况下,可以使用其他示例并且可以进行结构上的更改。
一些车辆,例如汽车可以包括用于检测车辆与车辆周围对象的接近度的超声波传感器。这些传感器可用于提供关于对象相对于车辆的当前位置的信息。然而,可能干扰车辆操作(例如,打开车门)的一些对象可能是运动对象,该运动对象尽管目前并不干扰车辆操作,但可能将来会干扰车辆操作。本公开的示例针对于使用一个或多个传感器(例如,相机)来检测车辆周围的对象的运动。在一些示例中,基于那些运动,车辆可以估计那些对象的轨迹,并且确定那些对象未来是否会干扰车门的操作(例如,打开车门、保持车门打开而不与对象碰撞等)。如果确定了未来的干扰,则车辆可以采取适当的动作以避免干扰,例如通过以下操作来警告驾驶员或乘客潜在干扰:通过车辆中的一个或多个扬声器播放声音、使车辆内的一个或多个灯闪烁,在车辆内的一个或多个显示屏上显示视觉指示,和/或向车辆的方向盘或车辆的驾驶员座位提供振动。在一些示例中,附加地或可替代地,车辆可以在被撞击的情况下开始自动地关闭一个或多个门(如果一个或多个门已经打开)、在被撞击的情况下防止一个或多个门被打开(如果一个或多个门尚未被打开),和/或向对象提供警报(在该对象是人或者受人控制的情况下)以努力提醒此人潜在的碰撞。
图1示出了根据本公开的示例的具有门102的示例性车辆100。在一些示例中,门102a、门102b、门102c以及门102d(统称为102)可以至少部分地自动化。例如,一个或多个门102可以响应于车辆100内的用户输入(例如,按钮按压)而自动打开。门102可以打开到车辆100外面的作用空间104。尽管门102被描述为至少部分地自动化,但是本公开的示例可以另外应用于完全没有自动化或者以相同方式操作的门。此外,尽管车辆100被描述为具有四个门,但具有少于四个门或多于四个门的车辆也在本公开的范围内。
在一些示例中,车辆100可包括一个或多个用于检测靠近车辆的区域中对象的存在的传感器(例如,超声波传感器、激光雷达传感器、相机等,其并未示出)。该近端区域可以表示为图1中的区域106。在一些示例中,当一个或多个门102打开时,车辆100可以感测区域106内的对象的存在。如果对象在被打开的一个或多个门102的一个或多个作用空间104内时,则车辆100可以警告驾驶员缓慢地或者停止打开一个或多个车门,或者缓慢进行或者停止许多其他动作,以尝试防止一个或多个门与对象碰撞。
然而,可能干扰打开门102的一些对象或所有对象可能并不是静止对象,而是运动对象。这样,有利的是,车辆100跟踪对象的运动(不仅是它们的方位)并且估计它们的轨迹以确定它们的估计轨迹是否将以任何方式干扰门102;例如,对象是否会干扰打开门102,对象在门102打开时是否会与门102碰撞等。此外,有利的是,车辆100能够不仅跟踪区域106内的对象而且跟踪区域106外的对象的运动,因为区域106外的对象也可以通过最终运动到作用空间104中而干扰门102。例如,对象108尽管在区域106外,但是可以沿着轨迹110朝向门102d和作用空间104d运动,潜在地干扰门102d的打开,或者,如果门102d已经打开,则潜在地与门102d碰撞。如果车辆100能够跟踪对象108及其运动,并确定轨迹110,则车辆可以确定对象108是否会干扰门102的操作。将在门的背景下描述本公开的示例,但是应当理解的是,本公开的示例可以在车辆102上的可以打开到车辆外的空间的任何元件(例如引擎盖、行李箱盖、窗户、气顶通路盖、侧视镜等)的背景下实现。
图2示出了根据本公开的示例的具有用于跟踪对象的运动和确定对象轨迹的相机220、相机224和相机230的示例性车辆200。车辆200可以具有能够打开到作用空间204中的门202,如参考图1所描述的那样。尽管不是必须的,但是车辆200可以包括用于检测车辆附近(例如,图1中的车辆100的区域106内)的对象的一个或多个传感器,然而为简单起见,传感器并没有示出。
为了便于跟踪对象的运动和确定对象轨迹,车辆可以包括相机220、相机224a和相机224b(统称为224)以及相机230。尽管在图2中示出了四个相机,但是应当理解的是,在实现本公开的示例时,车辆200可以包括少于四个相机或多于四个相机。此外,尽管车辆200被描述为包括用于跟踪对象的运动和确定对象轨迹的相机,但是可以使用附加的或可替代的传感器用于此目的;例如,附加地或可替代地,可以使用超声波传感器、激光雷达传感器等。
相机220可以大体上是面向前的,并且可以具有视场222——因此,相机220可以跟踪大体上在车辆200前方的对象。相机224可以基本上面向后方,并且可以具有视场226和视场228,尽管不是必须的,但是视野226和228可以至少部分地包括门202打开到其中的作用空间204——因此,相机224可以大体上跟踪车辆200左右侧的旁边和后面的对象。在一些示例中,除了用于跟踪对象之外,相机224a还可以用作车辆200上的传统左侧视镜的替代物,并且相机224b可以用作车辆上的传统右侧视镜的替代物。相机230可以大体上面向后方,并且可以具有视野232——因此,相机230可以跟踪大体上在车辆200后面的对象。在一些示例中,除了用于跟踪对象之外,相机230还可以用作车辆200上的传统后视镜的替代物。
使用相机220、相机224和相机230中的一个或多个相机,车辆200可以跟踪对象的运动,并确定对象是否可能干扰一个或多个门202的操作。例如,基于相机230所捕获的图像,车辆200可以识别对象208的当前方位,并且基于由车辆存储的对象208的当前方位和过去方位,确定对象208的估计轨迹210。可以使用任何数量的适当运动外推技术来执行轨迹210的这种确定。轨迹210可以指示对象208正朝门202d的作用空间204d运动,并且最终将运动到门202d的作用空间204d中。这样,车辆200可以采取如上文所述的适当的动作以避免对象208干扰门202d的操作。例如,车辆200可以警告(例如,音频警报、视觉警报、触觉警报等)车辆的驾驶员或乘客存在潜在碰撞,使得驾驶员或乘客可以采取行动来纠正该情况。在一些示例中,警报可以包括车辆200进行如下操作:通过车辆中的一个或多个扬声器播放声音、使车辆内的一个或多个灯闪烁、在车辆内的一个或多个显示屏(例如,液晶显示器、有机发光二极管显示器等)上显示视觉指示和/或向车辆的方向盘或车辆的驾驶员座椅提供振动。附加地或可替代地,车辆200可以在被撞击的危险的情况下开始自动关闭一个或多个门(如果一个或多个门已经打开),或者可以在被撞击的危险的情况下防止打开一个或多个门(如果一个或多个门尚未打开)。附加地或可替代地,车辆200可以向对象提供警报(在对象是人或者受人控制的情况下)以努力警告此人潜在的碰撞。例如,包括在门202(在一些示例中,对象仅会干扰门)中的照明条被照亮,以使门对于车辆200外的那些人而言更加明显。
类似地,基于相机224b所捕获的图像,车辆200可以识别对象212相对于该车辆的当前方位,并且基于由车辆所存储的对象212的当前方位和过去方位来确定对象212的估计轨迹214。轨迹214可以指示对象212没有分别朝向门202c和门202d的作用空间204c或作用空间204d(或者车辆200的其他门的任何其他作用空间)运动。这样,车辆200可以确定对象212可能不会干扰门202c和门202d(或车辆的任何其他门)的打开,并且可以放弃提供该效果的警报。在一些示例中,车辆200可以使用第一相机开始跟踪一个或多个对象的运动,并且可以适当地转换为使用第二相机跟踪一个或多个对象的运动(例如,当对象208从视场232运动到视场228朝向作用空间204d时,从使用相机230转换到使用相机224b来跟踪对象208的运动)。美国斯普林格(Springer)的本阿比得贾德尔·C.(BenAbdelkader,C.)、布利纳·P.(Burl ina,P.)和戴维斯·L.(Davis,L.)的《用于多目标跟踪的单相机复用》(Single camera mul t iplexing for mul t i-target tracking)(2000年)、《基于多媒体视频的监视系统》(Mul t imedia Video-Based Survei l lance Sys tems)(130页至142页)中描述了使用相机跟踪对象的示例性技术,出于所有目的,其内容通过引用合并于此。
应当理解的是,本公开的对象-门干扰的确定可以在一个或多个门202打开之前、在一个或多个门正在打开时和/或在一个或多个门已经打开时执行。因此,例如,当一个或多个门202打开时,车辆200可以使用相机220、相机224和/或相机230跟踪对象的运动,并且如果车辆确定对象将与一个或多个门碰撞,则车辆可以采取适当的行动来避免这种碰撞。例如,车辆可以警告(例如,利用听觉警报、视觉警报、触觉警报等)车辆200的驾驶员或乘客潜在的碰撞,使得驾驶员或乘客可以采取行动来纠正该情况。附加地或可替代地,车辆200可以在被撞击的危险的情况下停止/暂停操作门或者开始自动关闭一个或多个门,和/或向对象提供警报(在对象是人或受人控制的情况下)从而努力警告此人潜在的碰撞。例如,包括在门202(在一些示例中,仅会碰撞对象的门)中的照明条可以被照亮,以使门对于车辆200外的那些人而言更加明显。如果当车辆200确定对象会干扰一个或多个门202时所述一个或多个门202正在打开,则车辆可以警告车辆的驾驶员或乘客潜在的干扰,防止一个或多个门进一步打开,和/或自动开始关闭一个或多个门。
在上面所公开的每个示例中,车辆200可以连续地跟踪车辆周围的对象的运动。结果,如果在确定对象将干扰一个或多个门202的操作之后,对象的运动改变从而使得由车辆200确定该对象的轨迹不再表示该对象将会干扰一个或多个门,则车辆可以取消和/或反转之前为避免干扰而采取的任何行动。例如,如果车辆200先前已经向车辆的驾驶员或乘客提供警报,则车辆可以停止提供警报。类似地,如果车辆200先前已经开始关闭一个或多个门202,则车辆可以停止关闭一个或多个门和/或可以开始自动地将一个或多个门重新打开到其原始方位。再例如,如果车辆200先前已经阻止了一个或多个门202的打开,则车辆可以允许打开一个或多个门和/或开始自动打开一个或多个门。可以类似地执行由车辆200先前采取的动作的其他取消或反转。
图3示出了根据本公开的示例的用于跟踪对象以避免干扰车门的示例性过程300。过程300可以在任意时候执行,例如在车门打开之前、当车门正在打开时和/或在车门已经打开时。在302处,可以接收车辆周围的一个或多个图像。一个或多个图像可以由安装在车辆上的一个或多个相机捕获(例如,如参考图2所述的那样)。
在步骤304处,随着时间的推移所述一个或多个图像中的对象可以被识别和跟踪。例如,车辆可以确定在所述一个或多个图像中存在一个或多个对象,并且对那些对象随时间的推移的方位(例如,如参考图2所描述的那样)进行跟踪。在一些示例中,可以连续地执行在304处的对象跟踪,使得即使在执行了过程300的步骤306、步骤308和步骤310(下文描述)之后也可以继续进行对象跟踪。
在步骤306处,车辆可以确定用于所述一个或多个图像中的对象的估计轨迹(例如,如参考图2所描述的那样)。这些确定可以使用任何适当的轨迹确定技术(诸如,各种预测滤波技术)来执行。在一些示例中,可以连续地执行在306处的估计轨迹确定,使得即使在执行过程300的步骤308和步骤310(下文描述)之后也可以继续估计轨迹确定,并且使得与对象相关联的估计轨迹能够随着对象的运动的变化而变化。
在步骤308处,车辆可以确定在306处所确定的轨迹是否表示存在潜在的对象干扰车辆上的一个或多个门的操作(例如,如参考图2所描述的那样)。例如,车辆可以确定一个或多个图像中的对象的轨迹是否与车辆门将打开到其中的作用空间、车辆门正在打开到其中的作用空间或者车辆门已经打开到其中的作用空间相交。如果是,车辆可以确定对象将干扰该门的操作(例如,打开或者保持打开)。在一些示例中,如果车辆(例如,基于对象的运动速度)确定在比阈值时段更长的时段内对象将不会到达门的作用空间,尽管该对象的估计轨迹与该门的作用空间相交,车辆也可以确定对象不会干扰门的操作。该阈值时段可以是例如如果门当前关闭时门完全打开所花费的时间,并且可以作为预定时段被存储在车辆的存储器中。可替代地,如果门当前关闭时,则该阈值时段可以是例如门完全打开所需的时间、人通过门进入或离开车辆所需的时间以及门完全关闭所需的时间——该阈值时段也可以作为预定时段存储在车辆的存储器中。在一些示例中,该阈值时段可以是例如如果门当前打开时门完全关闭所花费的时间。应当理解的是,根据本公开的示例,可以使用任何适当的阈值时段。此外,在一些示例中,可以连续地执行在308处的干扰确定,使得即使在执行过程300的步骤310(下文描述)之后也可以继续干扰确定,并且使得与对象相关联的干扰确定可以随着对象的运动和/或轨迹的变化而变化。
在步骤310处,如果车辆在308处确定一个或多个对象将干扰车辆上的一个或多个门的操作,则车辆可以采取适当的动作以试图避免这种干扰,如上面参考图2所描述的那样。如果车辆设置成自动驾驶模式,则在310处,车辆可以附加地或可替代地自动地运动(例如,通过自动地解除接合车辆的制动器、接合车辆的驱动马达以及调整转向角从而以所计算的速度和方向运动)到新位置,在该新位置处,一个或多个对象将不再干扰车辆门的操作。在一些示例中,车辆可以利用从GPS服务动态地获得的GPS数据来自动确定要运动到的新位置,和/或利用来自车辆上的其他传感器的数据确定可用位置和/或至该位置的驾驶路径。另外,在一些示例中,步骤310可以包括由于对象运动或轨迹的变化取消或反转先前由车辆执行的动作,如前面所描述的那样。
图4示出了根据本公开的示例的车辆控制系统400的示例性系统框图。车辆控制系统400可以执行参考图2至图3所描述的任何方法。系统400可以被包含到诸如消费型汽车之类的车辆中。可以包含系统400的其他示例性车辆包括但不限于飞机、船或工业汽车。车辆控制系统400可以包括一个或多个能够捕获图像数据(例如,视频数据)的相机406,如先前关于图2至图3所描述的那样。车辆控制系统400还可以包括能够检测车辆周围的对象的一个或多个其他传感器407(例如,雷达、超声波等),以及能够确定车辆位置的全球定位系统(GPS)接收器408。车辆控制系统400可以包括车载计算机410,车载计算机410被耦合至相机406、传感器407以及GPS接收器408,并且车载计算机410能够从相机接收图像数据和/或从传感器407以及GPS接收器408接收输出。车载计算机410能够跟踪一个或多个物体的运动并确定一个或多个对象是否会干扰一个或多个车门的操作,如本公开中所描述的那样。车载计算机410可包括存储设备(s torage)412、存储器416以及处理器414。处理器414可以执行参考图2至图3所描述的任何方法。此外,存储设备412和/或存储器416可以存储用于执行参考图2至图3所描述的任何方法的数据和指令。在其他可能中,存储设备412和/或存储器416可以是任何非暂时性计算机可读存储介质,诸如固态驱动器或硬盘驱动器等。车辆控制系统400还可以包括控制器420,该控制器420能够基于车载计算机410的确定来控制车辆操作的一个或多个方面,例如向驾驶员或乘客提供警报、控制一个或多个车门的状态以及使车辆运动。
在一些示例中,车辆控制系统400可以(例如,经由控制器420)被连接至车辆中的一个或多个致动器系统430和车辆中的一个或多个指示器系统440。所述一个或多个致动器系统430可以包括但不限于马达431或者发动机432、电池系统433、传动装置434、悬挂装置435、制动器436、转向系统437以及门系统438。车辆控制系统400可以在车辆操作期间经由控制器420控制这些致动器系统430中的一个或多个;例如,使用门致动器系统438打开或关闭车辆的一个或多个门,或者使用马达431或发动机432、电池系统433、传动装置434、悬挂装置435、制动器436和/或转向系统437来移动车辆。一个或多个指示器系统440可以包括但不限于:车辆中的一个或多个扬声器441(例如,作为车辆中的娱乐系统的部分)、车辆中的一个或多个灯442(例如,内置于车门内)、车辆中的一个或多个显示器443(例如,作为车辆中的控制系统或娱乐系统的一部分)以及车辆中的一个或多个触觉致动器444(例如,作为车辆中的方向盘或座位的部分)。车辆控制系统400可以经由控制器420控制这些指示器系统440中的一个或多个,以向驾驶员提供潜在的对象干扰车门的操作的指示。这可以例如如参考图2和图3所描述的那样进行。
因此,本公开的示例提供了防止运动对象干扰车门操作的各种方式。
因此,根据上述内容,本公开的一些示例针对于一种系统,该系统包括:一个或多个处理器;以及存储器,该存储器包括指令,当所述指令被所述一个或多个处理器执行时,所述指令使所述一个或多个处理器执行包括以下步骤的方法:从安装在车辆上的第一相机接收图像数据,所述车辆包括被配置成打开到车辆外面的第一空间中的第一元件,并且所述图像数据指示第一对象在第一时段期间的运动,第一对象位于第一空间外部;确定第一对象在第一时段期间的运动是否表示第一对象将在第一时段之后的第二时段期间干扰第一元件的操作;以及根据确定第一对象的运动指示第一对象将在第二时段内干扰第一元件的操作,执行避免该干扰的动作。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,第一元件包括门,所述门被配置成打开到车辆外面的作用空间。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,在第一时段内,第一元件是打开的,干扰第一元件的操作包括在第一元件打开时与第一元件碰撞。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,在第一时段期间,第一元件是关闭的,并且干扰第一元件的操作包括防止在第一元件与第一对象不发生碰撞的情况下打开第一元件。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,确定第一对象在第一时段期间的运动是否表示第一对象将在第二时段期间干扰第一元件的操作包括:确定第一对象在第一时段期间的估计轨迹;根据确定第一对象的估计轨迹指示第一对象将在第二时段期间到达第一空间,确定第一对象将干扰第一元件的操作;以及根据确定第一对象的估计轨迹指示第一对象将不会到达第一空间,确定第一对象将不会干扰第一元件的操作。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,第一对象在第一时段期间的运动指示第一对象将在第二时段期间干扰第一元件的操作包括:根据确定第二时段大于第一时段之后的预定阈值时间,放弃确定第一对象将干扰第一元件的操作。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,第一相机被附加地用作侧视镜替代物。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,第一相机在车辆上大体上朝向前方。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,第一相机被附加地用作后视镜替代物。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,所述动作包括自动关闭第一元件。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,所述动作包括自动阻止打开第一元件。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,所述动作包括使车辆自动运动到新位置,该新位置基于第一对象在第一时段期间的运动,以及来自GPS接收器的数据指示车辆的当前位置。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,所述动作包括向车辆的驾驶员或乘客提供警报。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,所述动作包括向第一对象提供警报。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,所述方法还包括:在第一时段之后,确定第一对象将不再干扰第一元件的操作;并且响应于确定第一对象将不再干扰第一元件的操作,取消所述动作。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,所述方法还包括:在第一时段之后,确定第一对象将不再干扰第一元件的操作;并且响应于确定第一对象将不再干扰第一元件的操作,反转所述动作。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,所述车辆包括不同于第一元件的第二元件,所述第二元件被配置成打开到车辆外面的第二空间中,该第二空间不同于第一空间,确定第一对象的运动指示第一对象将干扰第一元件的操作包括确定第一对象的运动指示第一对象将不干扰第二元件的操作,以及执行所述动作包括针对第一元件执行所述动作,而不是针对第二元件执行所述动作。除了上文所公开的一个或多个示例以外或者作为上文所公开的一个或多个示例的替代,在一些示例中,所述方法还包括接收指示第二对象在第一时段期间的运动的图像数据,第二对象位于第二空间外部,车辆包括不同于所述第一元件的第二元件,所述第二元件被配置成打开到车辆外面的第二空间,第二空间不同于第一空间,以及执行所述动作包括:根据确定第二对象在第一时段之后的第三时段期间将干扰第二元件的操作:执行关于第一元件的第一动作,该第一动作避免第一对象干扰第一元件的操作;以及执行关于第二元件的不同于第一动作的第二动作,该第二动作避免第二对象干扰第二元件的操作。
本公开的一些示例针对于一种包括指令的非易失性计算机可读介质,当所述指令被一个或多个处理器执行时,所述指令使所述一个或多个处理器执行包括以下步骤的方法:从安装在车辆上的第一相机接收图像数据,所述车辆包括被配置成打开到车辆外面的第一空间中的第一元件,并且所述图像数据指示第一对象在第一时段期间的运动,第一对象位于第一空间外部;确定第一对象在第一时段期间的运动是否表示第一对象将在第一时段之后的第二时段期间干扰第一元件的操作;以及根据确定第一对象的运动指示第一对象在第二时段内将干扰第一元件的操作,执行避免干扰的动作。
本公开的一些示例针对于一种车辆,该车辆包括:第一相机;一个或多个处理器,所述一个或多个处理器被耦合至所述第一相机;门致动器,所述门致动器被耦合至所述一个或多个处理器;第一元件,所述第一元件被配置成使用所述门致动器打开到车辆外面的第一空间中;以及包括指令的存储器,当所述指令被一个或多个处理器执行时,所述指令使所述一个或多个处理器执行包括以下步骤的方法:从第一相机接收图像数据,所述图像数据指示第一对象在第一时段期间的运动,第一对象位于第一空间外部;确定第一对象在第一时段期间的运动是否表示第一对象将在第一时段之后的第二时段内干扰第一元件的操作;以及根据确定第一对象的运动指示第一对象在第二时段内将干扰第一元件的操作执行避免干扰的动作。
尽管已经参考附图对本公开的示例进行了充分描述,但是应该注意的是,各种变化和修改对于本领域技术人员而言将变得明显。这些变化和修改应当被理解为包括在本公开的由所附权利要求限定的示例的范围内。

Claims (20)

1.一种系统,包括:
一个或多个处理器;以及
包括指令的存储器,当所述指令被所述一个或多个处理器执行时,所述指令使得所述一个或多个处理器执行包括以下步骤的方法:
从车辆的第一相机接收图像数据,所述车辆包括第一元件,所述第一元件被配置成打开到所述车辆外面的第一空间中,并且所述图像数据指示第一对象在第一时段期间的运动,所述第一对象位于所述第一空间外部;
确定所述第一对象在所述第一时段期间的运动是否指示所述第一对象将在所述第一时段之后的第二时段期间干扰所述第一元件的操作,以及
根据确定所述第一对象的运动指示所述第一对象将在所述第二时段期间干扰所述第一元件的操作,执行避免所述干扰的动作。
2.根据权利要求1所述的系统,其中所述第一元件包括门,所述门被配置成打开到所述车辆外面的作用空间中。
3.根据权利要求1所述的系统,其中:
在所述第一时段期间,所述第一元件是打开的,
干扰所述第一元件的操作包括在所述第一元件打开时与所述第一元件碰撞。
4.根据权利要求1所述的系统,其中:
在所述第一时段期间,所述第一元件是关闭的,以及
干扰所述第一元件的操作包括防止在与所述第一对象不碰撞的情况下打开所述第一元件。
5.根据权利要求1所述的系统,其中确定所述第一对象在所述第一时段期间的运动是否指示所述第一对象将在所述第二时段期间干扰所述第一元件的操作包括:
确定所述第一对象在所述第一时段期间的估计轨迹;
根据确定所述第一对象的所述估计轨迹指示所述第一对象将在所述第二时段期间到达所述第一空间,确定所述第一对象将干扰所述第一元件的操作;以及
根据确定所述第一对象的所述估计轨迹指示所述第一对象将不会到达所述第一空间,确定所述第一对象将不会干扰所述第一元件的操作。
6.根据权利要求5所述的系统,其中,确定所述第一对象在所述第一时段期间的运动是否指示所述第一对象将在所述第二时段期间干扰所述第一元件的操作包括:
根据确定所述第二时段大于所述第一时段之后的预定阈值时间,放弃确定所述第一对象将干扰所述第一元件的操作。
7.根据权利要求1所述的系统,其中所述第一相机被附加地用作侧视镜替代物。
8.根据权利要求1所述的系统,其中所述第一相机在所述车辆上大体上朝向前方。
9.根据权利要求1所述的系统,其中所述第一相机被附加地用作后视镜替代物。
10.根据权利要求1所述的系统,其中,所述动作包括自动地关闭所述第一元件。
11.根据权利要求1所述的系统,其中,所述动作包括自动地防止打开所述第一元件。
12.根据权利要求1所述的系统,其中,所述动作包括使所述车辆自动地运动到新位置,所述新位置基于所述第一对象在所述第一时段期间的运动,以及来自GPS接收器的数据指示所述车辆的当前位置。
13.根据权利要求1所述的系统,其中,所述动作包括向所述车辆的驾驶员或乘客提供警报。
14.根据权利要求1所述的系统,其中所述动作包括向所述第一对象提供警报。
15.根据权利要求1所述的系统,其中所述方法还包括:
在所述第一时段之后,确定所述第一对象将不再干扰所述第一元件的操作;以及
响应于确定所述第一对象将不再干扰所述第一元件的操作,取消所述动作。
16.根据权利要求1所述的系统,其中,所述方法还包括:
在所述第一时段之后,确定所述第一对象将不再干扰所述第一元件的操作;以及
响应于确定所述第一对象将不再干扰所述第一元件的操作,反转所述动作。
17.根据权利要求1所述的系统,其中:
所述车辆包括不同于所述第一元件的第二元件,所述第二元件被配置成打开到所述车辆外面的第二空间中,所述第二空间不同于所述第一空间,
确定所述第一对象的运动指示所述第一对象将干扰所述第一元件的操作包括确定所述第一对象的运动指示所述第一对象将不干扰所述第二元件的操作,以及
执行所述动作包括执行关于所述第一元件而不是所述第二元件的所述动作。
18.根据权利要求1所述的系统,其中:
所述方法还包括接收指示第二对象在所述第一时段期间的运动的图像数据,所述第二对象位于所述第二空间外部,
所述车辆包括不同于所述第一元件的第二元件,所述第二元件被配置成打开到所述车辆外面的第二空间中,所述第二空间不同于所述第一空间,以及
执行所述动作包括:根据确定所述第二对象将在所述第一时段之后的第三时段期间干扰所述第二元件的操作:
关于所述第一元件执行第一动作,所述第一动作避免所述第一对象干扰所述第一元件的操作;以及
关于所述第二元件执行不同于所述第一动作的第二动作,所述第二动作避免所述第二对象干扰所述第二元件的操作。
19.一种包括指令的非易失性计算机可读介质,当所述指令被一个或多个处理器执行时,所述指令使得所述一个或多个处理器执行包括以下步骤的方法:
从车辆的第一相机接收图像数据,所述车辆包括第一元件,所述第一元件被配置成打开到所述车辆外面的第一空间中,并且所述图像数据指示第一对象在第一时段期间的运动,所述第一对象位于所述第一空间外部;
确定所述第一对象在所述第一时段期间的运动是否指示所述第一对象将在所述第一时段之后的第二时段期间干扰所述第一元件的操作,以及
根据确定所述第一对象的运动指示所述第一对象将在所述第二时段期间干扰所述第一元件的操作,执行避免所述干扰的动作。
20.一种车辆,包括:
第一相机;
一个或多个处理器,所述一个或多个处理器被耦合至所述第一相机;
门致动器,所述门致动器被耦合至所述一个或多个处理器;
第一元件,所述第一元件被配置成使用所述门致动器打开到所述车辆外面的第一空间中;以及
包括指令的存储器,当所述指令由所述一个或多个处理器执行时,所述指令使得所述一个或多个处理器执行包括以下步骤的方法:
从所述第一相机接收图像数据,所述图像数据指示第一对象在第一时段期间的运动,所述第一对象位于所述第一空间外部;
确定所述第一对象在所述第一时段期间的运动是否指示所述第一对象将在所述第一时段之后的第二时段期间干扰所述第一元件的操作;以及
根据确定所述第一对象的运动指示所述第一对象将在所述第二时段期间干扰所述第一元件的操作,执行避免所述干扰的动作。
CN201780008841.9A 2016-01-29 2017-01-24 用于跟踪运动对象以避免干扰车门操作的系统及方法 Active CN108602466B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662288835P 2016-01-29 2016-01-29
US62/288,835 2016-01-29
PCT/US2017/014738 WO2017132143A1 (en) 2016-01-29 2017-01-24 System and method for tracking moving objects to avoid interference with vehicular door operations

Publications (2)

Publication Number Publication Date
CN108602466A true CN108602466A (zh) 2018-09-28
CN108602466B CN108602466B (zh) 2023-04-25

Family

ID=59398801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780008841.9A Active CN108602466B (zh) 2016-01-29 2017-01-24 用于跟踪运动对象以避免干扰车门操作的系统及方法

Country Status (3)

Country Link
US (1) US11261642B2 (zh)
CN (1) CN108602466B (zh)
WO (1) WO2017132143A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111520026A (zh) * 2019-02-05 2020-08-11 沃尔沃汽车公司 车辆门的远程触发的操作的处理

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2545651B (en) * 2015-12-18 2018-10-24 Jaguar Land Rover Ltd Door protection system and method
US10776636B2 (en) 2015-12-29 2020-09-15 Faraday&Future Inc. Stereo camera-based detection of objects proximate to a vehicle
JP6825300B2 (ja) * 2016-10-24 2021-02-03 アイシン精機株式会社 車両用ドア装置
US11021150B2 (en) * 2016-12-08 2021-06-01 CO-AX Technology, Inc. Controlling a motor vehicle based upon wind
US9953538B1 (en) * 2017-01-17 2018-04-24 Lyft, Inc. Autonomous vehicle notification system
KR102001916B1 (ko) * 2017-05-30 2019-07-19 엘지전자 주식회사 주차 보조 시스템
US10562538B2 (en) * 2017-11-22 2020-02-18 Uatc, Llc Object interaction prediction systems and methods for autonomous vehicles
DE102018220145A1 (de) * 2018-11-23 2020-05-28 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verfahren und Verstellvorrichtung zum Verstellen eines Fahrzeugverstellteils mit ausgegebener Statusinformation
JP7298213B2 (ja) * 2019-03-15 2023-06-27 株式会社アイシン 車両用開閉体制御装置
DE102019121638A1 (de) * 2019-06-04 2020-12-10 Inventus Engineering Gmbh Verfahren zum Steuern von Türbewegungen einer Tür eines Kraftfahrzeugs und Kraftfahrzeugkomponente
US20210225168A1 (en) * 2020-01-21 2021-07-22 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for assisting occupants to exit a parked vehicle safely
US11351998B2 (en) * 2020-03-18 2022-06-07 Denso Corporation Systems and methods for adapting activation of alerts according to curvature of a target path
CN111746390A (zh) * 2020-07-10 2020-10-09 苏州科技大学 一种汽车防撞智能报警系统
US11325563B2 (en) * 2020-08-06 2022-05-10 GM Global Technology Operations LLC Approach-based vehicle system actuation
US20230087119A1 (en) * 2021-09-22 2023-03-23 Motional Ad Llc Switchable wheel view mirrors

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050280518A1 (en) * 2003-08-26 2005-12-22 Arne Bartels Door system for a motor vehicle
CN101357622A (zh) * 2007-08-01 2009-02-04 Gm全球科技运作股份有限公司 汽车的运行方法和控制装置
DE102012014939A1 (de) * 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kollisionsvermeidung
US20150232027A1 (en) * 2014-02-20 2015-08-20 GM Global Technology Operations LLC Systems and methods to indicate clearance for vehicle door
CN104859651A (zh) * 2014-12-16 2015-08-26 北汽福田汽车股份有限公司 一种提高停车开门安全性的危险探测与预防方法
CN105109486A (zh) * 2015-09-18 2015-12-02 智车优行科技(北京)有限公司 车辆安全监测与控制装置及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1897773B1 (en) 2006-09-08 2009-11-11 Ford Global Technologies, LLC An object awareness determination system and a method for determining awareness of an object.
US20090000196A1 (en) 2007-06-27 2009-01-01 Gmglobal Technology Operations, Inc. Systems and methods for preventing motor vehicle doors from coming into contact with obstacles
JP4561863B2 (ja) * 2008-04-07 2010-10-13 トヨタ自動車株式会社 移動体進路推定装置
DE102011011929A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren zum Detektieren von Zielobjekten in einem Überwachungsbereich
ES2680568T3 (es) 2011-07-04 2018-09-10 Iveco France S.A.S. Dispositivo de seguridad para vehículo de transporte de pasajeros, vehículo de transporte de pasajeros que comprende tal dispositivo y método para aplicar tal dispositivo

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050280518A1 (en) * 2003-08-26 2005-12-22 Arne Bartels Door system for a motor vehicle
CN101357622A (zh) * 2007-08-01 2009-02-04 Gm全球科技运作股份有限公司 汽车的运行方法和控制装置
DE102012014939A1 (de) * 2012-07-27 2014-01-30 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Kollisionsvermeidung
US20150232027A1 (en) * 2014-02-20 2015-08-20 GM Global Technology Operations LLC Systems and methods to indicate clearance for vehicle door
CN104859651A (zh) * 2014-12-16 2015-08-26 北汽福田汽车股份有限公司 一种提高停车开门安全性的危险探测与预防方法
CN105109486A (zh) * 2015-09-18 2015-12-02 智车优行科技(北京)有限公司 车辆安全监测与控制装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111520026A (zh) * 2019-02-05 2020-08-11 沃尔沃汽车公司 车辆门的远程触发的操作的处理
US11661785B2 (en) 2019-02-05 2023-05-30 Volvo Car Corporation Handling of remotely triggered operation of a vehicle door

Also Published As

Publication number Publication date
US11261642B2 (en) 2022-03-01
CN108602466B (zh) 2023-04-25
US20190024430A1 (en) 2019-01-24
WO2017132143A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
CN108602466A (zh) 用于跟踪运动对象以避免干扰车门操作的系统及方法
US10239528B2 (en) Vehicle and method of controlling the vehicle
US9481295B2 (en) Emergency vehicle maneuver communications
JP6417994B2 (ja) 車両用表示制御装置及び車両用表示制御方法
US20110057782A1 (en) Methods and systems for displaying vehicle rear camera images in different modes
US20200047747A1 (en) Vehicle and control method thereof
EP3313706A1 (en) Cognitive drive assist with variable warning for automated vehicles
CN111663865A (zh) 用于汽车应用的雷达的自学习、噪声过滤
US20120221236A1 (en) Collision Monitoring for a Motor Vehicle
DE102018127008A1 (de) Aussengeräuschüberwachung für rückfahrhilfe in einem fahrzeug mittels beschleunigungsmesser
US10836390B2 (en) Monitoring driver movement
JP2004203126A (ja) 車両用周辺監視装置
CN109552308A (zh) 用于车辆的驾驶辅助设备和方法
CN106997454A (zh) 基于摄相机检测接近车辆的物体的系统和方法
CN104340129A (zh) 车辆的侧梯的操作装置和操作控制方法
WO2020157108A1 (en) Method and system for limiting the movement of a door of a vehicle
CN107640107B (zh) 用于车辆的行驶前检测的设备及方法
WO2016152000A1 (ja) 安全確認支援装置、安全確認支援方法
WO2018177702A1 (en) Parking assist system and method and a vehicle equipped with the system
KR102460043B1 (ko) 차량의 적응형 순항 제어를 위한 추월 가속 지원
CN107134191A (zh) 交通工具操作者培训系统
CN110388159A (zh) 用于防止车库门在举升式车门打开时关闭的系统和方法
US11052822B2 (en) Vehicle control apparatus, control method, and storage medium for storing program
CN107060555A (zh) 用于机动车辆的后部闭合件障碍物检测系统
US20230243200A1 (en) Vehicle door safety system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant