CN105579289B - 具有自身运动检测的成像系统和方法 - Google Patents
具有自身运动检测的成像系统和方法 Download PDFInfo
- Publication number
- CN105579289B CN105579289B CN201480051871.4A CN201480051871A CN105579289B CN 105579289 B CN105579289 B CN 105579289B CN 201480051871 A CN201480051871 A CN 201480051871A CN 105579289 B CN105579289 B CN 105579289B
- Authority
- CN
- China
- Prior art keywords
- interest
- imager
- upright position
- imaging
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 73
- 238000006073 displacement reaction Methods 0.000 title claims description 20
- 238000000034 method Methods 0.000 title abstract description 19
- 238000001514 detection method Methods 0.000 title description 8
- 238000010276 construction Methods 0.000 claims abstract description 4
- 230000008859 change Effects 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000000712 assembly Effects 0.000 claims description 4
- 238000000429 assembly Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000271460 Crotalus cerastes Species 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种用于车辆的成像系统和方法，成像系统包括成像器，成像器构造成对车辆的外部和前方场景进行成像并且产生对应于所获得的图像的图像数据。控制器被构造成接收图像数据并且分析连续的图像帧之间的光流以便计算成像器与所成像的场景之间的相对运动，其中，光流包括所关注的物体在连续的图像帧中的视在运动的模式。
Description
技术领域
本发明大致涉及成像系统，并且更具体地涉及用于车辆的成像系统。
发明内容
根据本发明的一个方面，提供一种用于车辆的成像系统。该系统包括构造成对车辆外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据的成像器。控制器被构造成接收图像数据并且分析连续的图像帧之间的光流以便计算成像器与成像的场景之间的相对运动，其中，光流包括所关注的物体在连续的图像帧中的视在运动的模式。
根据本发明的另一个方面，提供一种用于车辆的成像方法。该方法包括以下步骤：提供成像器，该成像器用于对受控车辆的外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；提供用于接收以及分析图像数据的控制器；以及基于连续的图像帧之间的光流计算成像器与所成像的场景之间的相对运动，其中，光流包括所关注的物体在连续的图像帧中的视在运动的模式。
根据本发明的再一个方面，提供一种非暂时性计算机可读介质。非暂时性可读介质具有存储在其上的软件指令，软件指令在通过处理器执行时包括以下步骤：利用成像器以对受控车辆外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；接收并分析控制器中的图像数据；以及基于连续的图像帧之间的光流计算成像器与所成像的场景之间的相对运动，其中，光流包括所关注的物体在连续的图像帧中的视在运动的模式。
本领域技术人员通过参考以下说明书、权利要求书和附图将进一步地理解和领会本发明的这些以及其他特征、优点和目的。
附图说明
通过详细说明和附图将更加全面地理解本发明，其中：
图1是根据本发明的实施例构造的受控车辆的成像系统的框图；
图2是结合根据图1中所示的实施例的成像系统的后视镜组件的局部截面；
图3是示出用于计算用于根据图1和图2中所示的实施例的成像系统中的成像系统的自身运动的程序的流程图；
图4是表示连续的图像帧之间的光流的图示，其中，图像帧被叠加以帮助说明垂直位置值的计算；以及
图5是与图4所示相同的图示，但替代地示出垂直运动值的计算。
具体实施方式
现在将对本发明的当前优选的实施例做出详细的参考，这些实施例的例子在附图中示出。只要可能，相同的附图标记将在整个附图中被用于指代相同或类似的零件。在附图中，所描述结构元件并非按比例并且为了强调和理解一些部件相对于其他部件被放大。
本文中说明的实施例涉及用于车辆的成像系统，该成像系统可被用于检测以及可选择地分类车辆前方场景中的物体。为了帮助理解这些实施例的应用，所提供的示例关于成像系统在外部灯控系统中的使用，用于响应于从捕捉车辆前方图像的图像传感器获得的图像数据控制受控车辆的外部灯。控制机动车辆前方的光束照明的自动远光束(AHB)和交替方法通过识别对向车辆和在前车辆以及自动控制远光束照明模式使晚上对远光束的使用最大化。这防止了对其他车辆的眩目，仍然保持远光束光分布以照亮未由其他车辆占用的区域。现有系统已知为用于响应于车辆前方捕捉的图像控制外部车灯。在这些现有系统中，控制器将分析捕捉的图像并且确定任何在前或迎面车辆是否存在于采用该系统的车辆前方的眩目区域中。该“眩目区域”是如果外部灯处于远光束状态(或除近光束状态以外的一些状态)，外部灯将引起驾驶员的过度眩目的区域。如果车辆存在于眩目区域中，则控制器将通过改变外部灯的状态做出响应，以便不会对其他驾驶员引起眩目。这种系统的示例在以下美国专利中进行了说明，No.5,837,994、No.5,990,469、No.6,008,486、No.6,049,171、No.6,130,421、No.6,130,448、No.6,166,698、No.6,255,639、No.6,379,013、No.6,403,942、No.6,587,573、No.6,593,698、No.6,611,610、No.6,631,316、No.6,653,614、No.6,728,393、No.6,774,988、No.6,861,809、No.6,906,467、No.6,947,577、No.7,321,112、No.7,417,221、No.7,565,006、No.7,567,291、No.7,653,215、No.7,683,326、No.7,881,839、No.8,045,760、No.8,120,652和No.8,543,254，上述专利的全部公开内容通过参引结合到本文中。
在利用控制机动车辆的前方的光束照明的AHB或可替代方法的现有系统的一些中，成像系统将对前方场景进行成像，控制器将分析所捕获的图像以检测车辆是否处于被充分地照亮的村庄(或城镇)中或是否进入该村庄(或城镇)。控制器然后通常将外部灯设置在近光束状态或者禁止远光束前灯的操作。当退出村庄区域时，然后重新触发远光束或可替代的光束照明。当进入村庄以确定是否触发或重新触发远光束前灯时，采用包括检测街灯或测量环境亮度级的各种方法。这种系统的示例在美国专利No.6,861,809、No.7,565,006和No.8,045,760中说明，还在美国专利申请公开No.US 20130320193A1中公开，上述专利及专利申请公开的全部内容通过参引结合在本文中。
上述现有系统仅说明了其中可以响应于改变驾驶条件来控制受控车辆的外部灯的几种方式。一般地，这些以及其他相似系统的正确操作需要对所成像场景中的一个或更多个所关注物体的进行准确检测。根据该申请，这些所关注的物体可以是比如为街灯、车道标线、标记的静止物体和/或比如为其他行驶车辆的前灯或尾灯的运动物体。如果成像系统相对于所成像场景的运动(在此称为“自身运动”)是未知的，则可能影响所关注的物体的正确检测。在日常驾驶情况期间，存在可以改变成像系统相对于所成像场景的运动的许多共用条件，比如崎岖道路、急剧转弯、倾斜/下降等等。这些条件可能使得所关注的静止物体具有连续图像帧的视在运动。因此，如果没有考虑成像系统的自身运动，由于该系统可能不能确定哪个物体实际上在运动以及哪个物体由于成像系统的自身运动而仅仅看上去在运动并且达到与受控车辆的自身运动的相似程度，则成像系统可能难以执行各种成像操作。因此，根据如上所述，受控车辆的成像系统有利地在本文中提供并被构造成分析连续的图像帧之间的光流，以估算其成像系统的自身运动以便修正所成像物体的视在运动。如本文中所使用的，“光流”被定义为所关注的物体在连续的图像帧中的由成像系统与被成像的场景之间的相对运动所引起的视在运动的模式。
图1中示出成像系统10的第一实施例。可以提供一种用于控制受控车辆的外部灯80以及可选择地控制受控车辆的其他设备(50、62)的成像系统10。系统10包括成像器20和控制器30。成像器20包括图像传感器(图2中的201)，图像传感器构造成对受控车辆的外部和前方场景进行成像并且产生对应于所获得的图像的图像数据。控制器30接收并分析图像数据并且产生可被用于控制外部灯80的外部灯控制信号，以及可以产生控制任何附加设备(50、62)的控制信号。这些控制信号可以响应于对图像数据的分析而产生。
如果成像系统10用于车辆设备控制系统，控制器30则可被构造成直接连接至被控制的设备(50)，由此使所产生的控制信号直接控制该设备。可替代地，控制器30可被构造成连接至设备控制器(60和70)，设备控制器接着连接至被控制的设备(62和80)，由此通过控制器30产生的控制信号仅间接地控制该设备。例如，在设备是外部灯80的情况下，控制器30可以分析来自成像器20的图像数据，以便产生在控制外部灯80时所使用的更多是对于外部灯控制器70的推荐的控制信号。因此，可以说控制信号用于控制设备。控制信号还可以不仅包括推荐，而且包括表示对于该推荐的理由的代码，使得设备控制(60和70)可以确定是否超越该推荐。
如图1所示，各个输入(比如输入21-24)可被提供至控制器30，在分析图像数据或者形成推荐或直接控制信号中可以考虑上述输入。在一些例子中，这些输入可替代地提供至设备控制(60和70)。例如，来自手动开关的输入可被提供至设备控制(60和70)，上述输入可以使得设备控制(60和70)能够超越来自控制器30的推荐。将可以理解的是可以存在控制器30与设备控制(60和70)之间的各种级别的相互作用和协作。分离控制功能的一个理由是使得成像器20能够定位在车辆中的用于获取图像的最佳位置中，该最佳位置可以距离被控制的设备一定距离并且允许在车辆总线25上通信。
根据一个实施例，系统10能够控制的设备可以包括一个或更多个外部灯80，由控制器30产生的控制信号可以是外部灯控制信号。在该实施例中，外部灯80可以通过控制器30或通过外部灯控制器70直接控制，外部灯控制器70接收来自控制器30的控制信号。如本文中使用的，“外部灯”广义上包括车辆上的任何外部照明。这种外部灯可以包括前灯(如果彼此分离则为近光束和远光束两者)、尾灯、比如为雾灯的恶劣天气灯、刹车灯、居中安装的停车灯(CHMSL)、转弯指示灯、备用灯等等。外部灯可以以包括常规近光束状态和远光束状态的多种不同的模式操作。外部灯还可以作为日间行车灯操作，并且另外还可作为在被允许的那些国家中的超亮远光束。
外部灯亮度还可以在低、高和超高状态之间连续地变化。单独的灯可被提供用于获得这些外部照明状态中的每一者，或者外部灯的实际亮度可以变化以提供这些不同的外部照明状态。在任何情况下，外部灯的“感知亮度”或照明模式可以变化。如在本文中使用的，术语“感知亮度”指的是如由车辆外部的观察者所感知的外部灯的亮度。最一般地，这些观察者是在前车辆中或在相反方向上沿着相同街道行驶的车辆中的驾驶员或乘客。理论上，外部灯被控制为使得如果观察者位于相对于车辆的“眩目区域”内的车辆中(即，其中的观察者将觉察到外部灯的亮度能够引起过度眩目的区域)，光束照明模式被改变，由此观察者不再位于眩目区域中。可以通过改变一个或更多个外部灯的照明输出、通过使一个或更多个灯转向以改变一个或多个外部灯的目标、选择性地阻挡或者以其他方式触发或关闭外部灯中的一些或全部、改变车辆的前方的照明模式、或者上述方式的组合来改变外部灯的感知亮度和/或眩目区域。
成像器20可以是任何常规成像器。适当的成像器的示例在公开的美国专利申请公开No.US 20080192132A1和US 20120072080A1中以及在由Jon H.Bechtel等于2011年6月23日提交的名称为“中值滤波器(MEDIAN FILTER)”的美国临时申请No.61/500,418、由JonH.Bechtel等于2011年10月7日提交的名称为“中值滤波器(MEDIAN FILTER)”的美国临时申请No.61/544,315以及由Jon H.Bechtel等于2011年11月8日提交的名称为“高动态范围照相机低光能级过滤(HIGH DYNAMIC RANGE CAMERA LOW LIGHT LEVEL FILTERING)”的美国临时申请No.61/556,864中公开，这些专利申请公开和临时申请的全部内容通过参引结合到本文中。
成像系统10可以包括图像传感器(图2的201)或照相机以捕获图像，捕获的图像然后可以被显示和/或分析以便检测和可选择地分类物体或者可选择地控制除外部灯之外的车辆设备。例如，这种成像器已被用于车道偏离警报系统、前方碰撞警告系统、自适应巡航控制系统、行人检测系统、夜视系统、地形检测系统、停车辅助系统、交通标志识别系统和倒车照相机显示系统。采用用于这些目的的成像器的系统的示例在美国专利No.5,837,994、No.5,990,469、No.6,008,486、No.6,049,171、No.6,130,421、No.6,130,448、No.6,166,698、No.6,379,013、No.6,403,942、No.6,587,573、No.6,611,610、No.6,631,316、No.6,774,988、No.6,861,809、No.7,321,112、No.7,417,221、No.7,565,006、No.7,567,291、No.7,653,215、No.7,683,326、No.7,881,839、No.8,045,760和No.8,120,652中公开，以及在由Brock R.Rycenga等于2011年7月27日提交的名称为“凸起车道标线检测系统及其方法(RAISED LANE MARKER DETECTION SYSEM AND METHOD THEREOF)”的美国临时申请No.61/512,213和由Brock R.Rycenga等于2011年7月27日提交的名称为“碰撞警告系统及其方法(COLLISION WARNING SYSTEM AND METHOD THEREOF)”的美国临时申请No.61/512,158中公开，两者一起对应于美国专利公开No.US 20130028473A1，上述专利和临时申请的全部内容通过参引结合到本文中。
在图1所示的示例中，成像器20可以由控制器30控制。成像系统参数以及图像数据的通信在通信总线40上发生，通信总线40可以是双向串行总线、并行总线、两者的组合或其他合适的方式。控制器30用于通过分析来自成像器20的图像、基于在那些图像内检测的信息确定设备(或外部灯)状态以及通过总线42将确定的设备(或外部灯)状态通信至设备50、设备控制器60或外部光控制器70来执行设备控制功能，总线42可以是车辆总线25、CAN总线、LIN总线或任何其他适当的通信线路。控制器30可以控制成像器20以具有不同曝光时间和不同读出窗口的多种不同模式触发。控制器30可被用于执行设备或外部灯控制功能以及控制成像器20的参数。
控制器30还可以利用在做出关于外部灯80的操作的决定时经由分立式连接或通过车辆总线25通信的信号的有效性(比如车辆速度、方向盘角度、俯仰、侧滚和横摆)。特别地，速度输入21向控制器30提供车辆速度信息，由此速度可以是确定用于外部灯80或其他设备的控制状态的因素。倒车信号22通知控制器30车辆处于倒车中，响应于此，控制器30可以清空电致变色镜元件，而与从光传感器输出的信号无关。自动ON/OFF开关输入23连接至具有两个状态的开关，以向控制器30发出指令确定车辆外部灯80是否应该被自动或手动控制。连接至ON/OFF开关输入23的自动ON/OFF开关(未示出)可以与前灯开关结合，前灯开关通常安装在车辆仪表盘上或结合在方向盘柱高度内。手动减光器开关输入24连接至手动致动开关(未示出)以提供用于外部灯控制状态的手动超越信号。输入21、22、23、24和输出42a、42b和42c以及比如为方向盘输入的任何其他可能的输入或输出中的一些或全部可选择地通过图1中所示的车辆总线25提供。可替代地，这些输入21-24可以提供至设备控制器60或外部灯控制器70。
控制器30可以至少部分地控制车辆内的经由车辆总线42连接至控制器30的其他设备50。具体地，以下是可以由控制器30控制的一个或更多个设备50的一些示例：外部灯80、雨量传感器、罗盘、信息显示器、风挡刮水器、加热器、除霜器、扫雾器、空调系统、电话系统、导航系统、安全系统、轮胎气压监测系统、车库门打开发送器、远程无钥匙进入系统、信息通讯系统、比如为基于数字信号处理器的声音驱动系统的语音识别系统、车辆速度控制器、内部灯、后视镜、音频系统、发动机控制系统以及可以定位在整个车辆上的各种其他开关和其他显示装置。
另外，控制器30可以至少部分地定位在车辆的后视组件内或定位在车辆内的其他位置。控制器30还可以利用比如为设备控制器60的第二控制器(或更多个控制器)，第二控制器可以位于后视组件中或车辆中的其他位置以便控制一些类型的设备62。设备控制器60可被连接成经由车辆总线42接收由控制器30产生的控制信号。设备控制器60随后经由总线61连通并控制设备62。例如，设备控制器60可以是控制风挡刮水器设备的风挡雨刷控制单元，将该设备打开或关闭(ON或OFF)。设备控制器还可以是电致变色镜控制单元，控制器30被编程以与电致变色控制单元通信，以使电致变色控制单元响应于从环境光传感器、眩目传感器以及联接至处理器的任何其他部件获得的信息来改变电致变色镜的反射率。具体地，与控制器30通信的设备控制单元60可以控制以下设备：外部灯、雨量传感器、罗盘、信息显示器、风挡雨刷、加热器、除霜器、扫雾器、空调器、电话系统、导航系统、安全系统、轮胎气压监测系统、车库门打开发送器、远程无钥匙进入系统、遥测系统、比如为基于数字信号处理器的声音驱动系统的语音识别系统、车辆速度、内部灯、后视镜、音频系统、气候控制器、发动机控制器以及可以定位在整个车辆上的各种其他开关和其他显示装置。
系统10的部分可以有利地如图2所示地集成在后视组件200内，其中，成像器20集成在后视组件200的安装件203内。该位置提供了穿过车辆的挡风玻璃202的通常由车辆的风挡雨刷(未示出)清理的区域的无阻挡前方视野。另外，将成像器20的图像传感器201安装在后视组件200中允许共用电路，比如电源、微控制器和光传感器。
参照图2，图像传感器201安装在后视安装件203内，后视安装件203安装至车辆挡风玻璃202。后视安装件203提供了用于图像传感器的除通过其接收来自前方外部场景的光的孔之外的不透明外壳。
图1的控制器30可以设置在主电路板215上并且如图2所示安装在后视壳体204中。如上所述，控制器30可以通过总线40或其他装置连接至成像器20。主电路板215可以通过传统方法安装在后视壳体204内。通过车辆线束217(图2)提供电源和与包括外部灯80(图1)的车辆电气系统的通信线路42。
后视组件200可以包括显示后方视野的镜元件或显示器。镜元件可以是棱形元件或电光学元件，比如电致变色元件。
系统10可被集成到后视镜组件200中的方式的另外的细节在美国专利No.6,611,610中进行了说明，该专利的全部内容通过参引结合到本文中。用于实施成像系统的可替代的后视镜组件构造在美国专利No.6,587,573中公开，该专利的全部内容通过参引结合到本文中。
现在将说明用于计算和修正自身运动的方法，并且其可被用于在前说明的成像系统10。为了例示目的，以下说明由控制器30利用从成像器20接收的图像数据执行的方法。该方法可以是由任何处理器执行的子程序，并且因此该方法可以在其上已存储软件指令的非暂时性计算机可读介质中实施，当通过处理器执行时，软件指令使得处理器通过执行如下所述的方法步骤控制受控车辆的设备。换句话说，可以通过存储在非暂时性计算机可读介质上的软件或软件修改或者对存在于非暂时性计算机可读介质中的现有软件的更新实现创造性方法的方面。这种软件或软件更新可以通常在安装到车辆中之前从远离第一非暂时性计算机可读介质32定位的第二非暂时性计算机可读介质90(见图1)下载到控制器30(或者与控制器30或某个其他处理器本地相关)的第一非暂时性计算机可读介质32内。第二非暂时性计算机可读介质90可以通过任何适当的方式与第一非暂时性计算机可读介质32通信，任何适当的方式可以至少部分地包括因特网或者局域或广域有线或无线网络。
根据一个实施方式，用于计算成像系统10的自身运动的方法包括计算成像器20和所成像的场景之间沿水平X轴方向和垂直Y轴方向的相对运动，现在将参照图3进行更加详细的说明。
图3示出说明通过控制器30执行的各个步骤的流程图。从步骤1000开始，控制器30启动自身运动计算和修正方法。当控制器在图像数据中检测所关注的一个或更多个物体时可以启动该方法。如前所述，所关注的物体可以包括比如为街灯、车道标线、标记的静止物体和/或比如为其他行驶车辆的前灯或尾灯的运动物体。控制器30则前进至可被并行地执行的步骤1100和1200。在步骤1100中，控制器30开始用于计算和修正自身运动的Y轴分量的自身Y轴处理，而在步骤1200中，控制器30开始用于计算和修正自身运动的X轴分量的自身X轴处理。
讨论首先转向步骤1100，由此控制器30前进至可被并行地执行的步骤1300和1400。在步骤1300中，控制器30基于在连续的图像帧中出现的所关注的多个检测物体的垂直位置的变化计算垂直位置值，以下将参照图4对其进行进一步详细地说明。
图4示例性地示出限定为当前帧250和在前帧252一系列二个连续图象帧中的物体A、B、C和D的光流。为了例示目的，当前帧和在前帧在图4中叠置以更好地示出其间的光流。根据当前帧250，物体A、B、C和D示出为成像在相应的位置300、302、304和306，而在在前帧252中，物体A、B、C和D则成像在相应的位置400、402、404和406。为了确定垂直位置值，物体A-D在当前帧250和在前帧252中的平均垂直位置在步骤1500中计算并且在图4中通过相应的线1和2示出。接着，在步骤1600中，控制器30计算当前帧250(线1)的平均垂直位置与在前帧252(线2)的平均垂直位置之间的差值。在步骤1700中将差值作为垂直位置值输出，在步骤1300结束时发出信号。
返回参照步骤1400，控制器30计算垂直运动值。垂直运动值基于在连续的图像帧中出现并且具有沿垂直方向的共同的视在运动的仅所关注的那些检测物体的垂直位置的变化。将参照图5进一步详细地说明垂直运动值的计算，图5还示出之前在图4中示出的物体A-D的光流。为了确定垂直运动值，在步骤1800中，控制器30计算当前帧250和在前帧252之间的每个物体A-D的垂直位置的变化，其在图5中示出为对于物体A为δA、对于物体B为δB、对于物体C为δC以及对于物体D为δD。接着，在步骤1900中，控制器30识别在垂直位置中具有共同变化的任何物体，比如物体A、B和C，因为这示出了其在图像帧之间的运动很可能是视在的而非实际的。一旦识别了在垂直位置中具有共同变化的物体，控制器30合计其在垂直位置中的相应的变化(δA、δB和δC)并且在步骤2000中取平均值，在步骤2100中将平均值输出为垂直运动值，在步骤1400结束时发出信号。根据一个实施方式，在计算垂直运动值时不考虑在垂直位置中不具有共同变化的物体(例如物体D)。
完成步骤1300和1400之后，在步骤2200中，控制器30计算垂直位置值与垂直运动值之间的加权平均。加权平均表示成像器20与成像的场景之间沿垂直方向的相对运动。因此，加权平均可被用于修正由成像器20的自身运动所引起的沿垂直方向的视在运动。一旦已做出修正，控制器30在步骤2400结束自身Y轴处理，并且只要所关注的物体存在于后续图像帧中，则可以返回到步骤1100以重复自身Y轴处理。
论述限制转向自身X轴处理，这在步骤1200开始。在步骤2500中，控制器30获得车辆的横摆信号并且将其转换至图像域。在步骤2600中，基于转换的横摆信号，控制器30计算车辆航向。在步骤2700中，控制器30则采取车辆航向的时间平均值，其表示成像器20与所成像的场景之间沿水平方向的相对运动，并且由此可以在步骤2800中被用于修正由照相机20的自身运动所引起的沿水平方向的视在运动。一旦已经做出修正，在步骤2400，控制器30结束自身X轴处理。只要所关注的物体存在于后续图像帧中，则控制器30可以返回到步骤1200以重复自身X轴处理。
以上说明书仅被视为对优选实施例的说明。本领域技术人员以及做出或使用本发明的人员将想到本发明的变型。因此，可以理解的是附图中示出以及如上所述的实施例仅用于例示目的而非旨在限制本发明的范围，本发明的范围由根据包括等同原则的专利法的原则解释的权利要求书限定。
Claims (20)
1.一种用于车辆的成像系统，包括：
成像器，所述成像器构造成对所述车辆外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；以及
控制器，所述控制器构造成:
接收图像数据并且在图像数据中检测所关注的物体；
分析连续的图像帧之间的光流以便计算所述成像器与所成像的场景之间的相对运动，其中，所述光流包括所关注的所述物体在所述连续的图像帧中的视在运动的模式；
基于在连续的图像帧中出现的所关注的多个物体的垂直位置的变化,计算垂直位置值；
基于在连续的帧中出现并且具有沿垂直方向的共同的视在运动的仅所关注的物体的垂直位置的变化，计算垂直运动值；以及
计算垂直位置值与垂直运动值之间的加权平均，其中所述加权平均表示成像器与成像的场景之间沿垂直方向的相对运动。
2.根据权利要求1所述的成像系统，其中，所述控制器通过计算在当前帧和在前帧中出现的所述所关注的多个物体的平均垂直位置，并且计算当前帧的平均垂直位置与在前帧的平均垂直位置之间的差值来确定垂直位置值。
3.根据权利要求2所述的成像系统，其中，所述控制器通过计算当前帧和在前帧之间的每个所关注的物体的垂直位置的变化，识别在垂直位置中具有共同变化的任何所关注的物体，合计在垂直位置中具有共同变化的所关注的物体在垂直位置中的变化，并且取平均值来确定垂直运动值。
4.根据权利要求1-3中的任一项所述的成像系统，其中所述加权平均被用于修正由成像器的自身运动所引起的沿垂直方向的视在运动。
5.根据权利要求1-3中的任一项所述的成像系统，其中，所述控制器构造成基于所述车辆的横摆信号计算车辆航向。
6.根据权利要求5所述的成像系统，其中，所述控制器被构造成采用所述车辆航向的时间平均以确定所述成像器与所成像的场景之间沿水平方向的相对运动，并且所述时间平均被用于修正由成像器的自身运动所引起的沿水平方向的视在运动。
7.根据权利要求1-3中的任一项所述的成像系统，所述成像系统集成在后视镜组件中。
8.根据权利要求1-3中的任一项所述的成像系统，其中，所关注的物体包括静止物体和/或运动物体。
9.一种用于车辆的成像方法，包括以下步骤：
提供成像器，所述成像器构造成对受控车辆的外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；
提供控制器，所述控制器被构造成接收并分析所述图像数据；
在图像数据中检测所关注的物体；
基于连续的图像帧之间的光流计算所述成像器与所成像的场景之间的相对运动，其中，所述光流包括所关注的所述物体在所述连续的图像帧中的视在运动的模式；
基于在连续的图像帧中出现的所关注的多个物体的垂直位置的变化,计算垂直位置值；
基于在连续的帧中出现并且具有沿垂直方向的共同的视在运动的仅所关注的物体的垂直位置的变化，计算垂直运动值；以及
计算垂直位置值与垂直运动值之间的加权平均，其中所述加权平均表示成像器与成像的场景之间沿垂直方向的相对运动。
10.根据权利要求9所述的成像方法，其中，所述计算所述垂直位置值的步骤包括计算在当前帧和在前帧中出现的所述所关注的多个物体的平均垂直位置，并且计算当前帧的平均垂直位置与在前帧的平均垂直位置之间的差值。
11.根据权利要求10所述的成像方法，其中，所述计算所述垂直运动值的步骤包括计算当前帧和在前帧之间的每个所关注的物体的垂直位置的变化，识别在垂直位置中具有共同变化的任何所关注的物体，合计在垂直位置中具有共同变化的所关注的物体在垂直位置中的变化，并且取平均值。
12.根据权利要求9-11中的任一项所述的成像方法，还包括使用所述加权平均来修正由成像器的自身运动所引起的沿垂直方向的视在运动。
13.根据权利要求9-11中的任一项所述的成像方法，还包括基于所述车辆的横摆信号计算车辆航向的步骤。
14.根据权利要求13所述的成像方法，还包括采用所述车辆航向的时间平均以确定所述成像器与所成像的场景之间沿水平方向的相对运动的步骤，以及使用所述时间平均来修正由成像器的自身运动所引起的沿水平方向的视在运动的步骤。
15.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质具有存储在其上的软件指令，所述软件指令在通过处理器执行时包括以下步骤：
利用成像器以对受控车辆的外部和前方的场景进行成像并且产生对应于所获得的图像的图像数据；
在控制器中接收并分析图像数据；
在图像数据中检测所关注的物体；
基于连续的图像帧之间的光流计算所述成像器与所成像的场景之间的相对运动，其中，所述光流包括所关注的物体在所述连续的图像帧中的视在运动的模式；
基于在连续的图像帧中出现的所关注的多个物体的垂直位置的变化,计算垂直位置值；
基于在连续的帧中出现并且具有沿垂直方向的共同的视在运动的仅所关注的物体的垂直位置的变化，计算垂直运动值；以及
计算垂直位置值与垂直运动值之间的加权平均，其中所述加权平均表示成像器与成像的场景之间沿垂直方向的相对运动。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述计算所述垂直位置值的步骤包括计算在当前帧和在前帧中出现的所述所关注的多个物体的平均垂直位置，并且计算当前帧的平均垂直位置与在前帧的平均垂直位置之间的差值。
17.根据权利要求16所述的非暂时性计算机可读介质，其中，所述计算所述垂直运动值的步骤包括计算当前帧和在前帧之间的每个所关注的物体的垂直位置的变化，识别在垂直位置中具有共同变化的任何所关注的物体，合计在垂直位置中具有共同变化的所关注的物体在垂直位置中的变化，并且取平均值。
18.根据权利要求15-17中的任一项所述的非暂时性计算机可读介质，还包括使用所述加权平均来修正由成像器的自身运动所引起的沿垂直方向的视在运动。
19.根据权利要求15-17中的任一项所述的非暂时性计算机可读介质，其中，所述软件指令还包括基于所述车辆的横摆信号计算车辆航向的步骤。
20.根据权利要求19所述的非暂时性计算机可读介质，其中，所述软件指令还包括采用所述车辆航向的时间平均以确定所述成像器与所成像的场景之间沿水平方向的相对运动的步骤，以及使用所述时间平均来修正由成像器的自身运动所引起的沿水平方向的视在运动的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361867379P | 2013-08-19 | 2013-08-19 | |
| US61/867,379 | 2013-08-19 | ||
| PCT/US2014/051676 WO2015026817A1 (en) | 2013-08-19 | 2014-08-19 | Imaging system and method with ego motion detection |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105579289A CN105579289A (zh) | 2016-05-11 |
| CN105579289B true CN105579289B (zh) | 2018-01-19 |
Family
ID=52466565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480051871.4A Active CN105579289B (zh) | 2013-08-19 | 2014-08-19 | 具有自身运动检测的成像系统和方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US9721172B2 (zh) |
| EP (1) | EP3036131B1 (zh) |
| KR (1) | KR101738995B1 (zh) |
| CN (1) | CN105579289B (zh) |
| WO (1) | WO2015026817A1 (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6256239B2 (ja) * | 2014-07-25 | 2018-01-10 | 株式会社デンソー | 歩行者検出装置および歩行者検出方法 |
| US9889790B2 (en) * | 2016-06-24 | 2018-02-13 | Gentex Corporation | Imaging system with adaptive high beam control |
| CN109283856B (zh) * | 2017-07-21 | 2021-10-22 | 长城汽车股份有限公司 | 一种行车记录仪及其拍摄角度调节装置和方法 |
| US10594940B1 (en) * | 2018-01-12 | 2020-03-17 | Vulcan Inc. | Reduction of temporal and spatial jitter in high-precision motion quantification systems |
| US10872400B1 (en) | 2018-11-28 | 2020-12-22 | Vulcan Inc. | Spectral selection and transformation of image frames |
| US11044404B1 (en) | 2018-11-28 | 2021-06-22 | Vulcan Inc. | High-precision detection of homogeneous object activity in a sequence of images |
| CN109922372B (zh) * | 2019-02-26 | 2021-10-12 | 深圳市商汤科技有限公司 | 视频数据处理方法及装置、电子设备和存储介质 |
| US11390209B2 (en) * | 2020-03-18 | 2022-07-19 | Grote Industries, Llc | System and method for adaptive driving beam headlamp |
| DE102020120713A1 (de) | 2020-08-05 | 2022-02-10 | Ford Global Technologies Llc | Verfahren zum Betreiben eines Fernlichtassistenzsystems eines Kraftwagens sowie Kraftwagen |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999759A (zh) * | 2012-11-07 | 2013-03-27 | 东南大学 | 一种基于光流的车辆运动状态估计方法 |
Family Cites Families (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6611610B1 (en) | 1997-04-02 | 2003-08-26 | Gentex Corporation | Vehicle lamp control |
| US5990469A (en) | 1997-04-02 | 1999-11-23 | Gentex Corporation | Control circuit for image array sensors |
| US6049171A (en) | 1998-09-18 | 2000-04-11 | Gentex Corporation | Continuously variable headlamp control |
| US6130421A (en) | 1998-06-09 | 2000-10-10 | Gentex Corporation | Imaging system for vehicle headlamp control |
| US6774988B2 (en) | 2002-07-30 | 2004-08-10 | Gentex Corporation | Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing |
| US8120652B2 (en) | 1997-04-02 | 2012-02-21 | Gentex Corporation | System for controlling vehicle equipment |
| US6631316B2 (en) | 2001-03-05 | 2003-10-07 | Gentex Corporation | Image processing system to control vehicle headlamps or other vehicle equipment |
| US5837994C1 (en) | 1997-04-02 | 2001-10-16 | Gentex Corp | Control system to automatically dim vehicle head lamps |
| US6861809B2 (en) | 1998-09-18 | 2005-03-01 | Gentex Corporation | Headlamp control to prevent glare |
| US7653215B2 (en) | 1997-04-02 | 2010-01-26 | Gentex Corporation | System for controlling exterior vehicle lights |
| US6587573B1 (en) | 2000-03-20 | 2003-07-01 | Gentex Corporation | System for controlling exterior vehicle lights |
| US6008486A (en) | 1997-12-31 | 1999-12-28 | Gentex Corporation | Wide dynamic range optical sensor |
| JP2001527372A (ja) | 1997-12-31 | 2001-12-25 | ジェンテクス・コーポレーション | 車両視覚システム |
| US6130448A (en) | 1998-08-21 | 2000-10-10 | Gentex Corporation | Optical sensor package and method of making same |
| EP1147031B1 (en) | 1999-01-25 | 2011-12-28 | Gentex Corporation | Vehicle equipment control with semiconductor light sensors |
| US6166698A (en) | 1999-02-16 | 2000-12-26 | Gentex Corporation | Rearview mirror with integrated microwave receiver |
| US6403942B1 (en) | 2000-03-20 | 2002-06-11 | Gentex Corporation | Automatic headlamp control system utilizing radar and an optical sensor |
| JP2002200936A (ja) * | 2000-11-06 | 2002-07-16 | Semiconductor Energy Lab Co Ltd | 表示装置及び車両 |
| JP2003150941A (ja) * | 2001-11-19 | 2003-05-23 | Daihatsu Motor Co Ltd | 移動物体の認識装置及び認識方法 |
| US7683326B2 (en) | 2002-07-09 | 2010-03-23 | Gentex Corporation | Vehicle vision system with high dynamic range |
| CN101023407A (zh) | 2002-08-21 | 2007-08-22 | 金泰克斯公司 | 自动车辆外部照明控制的图像采集和处理方法 |
| JP3791490B2 (ja) | 2002-12-18 | 2006-06-28 | トヨタ自動車株式会社 | 運転補助システム及び装置 |
| US8045760B2 (en) | 2003-02-21 | 2011-10-25 | Gentex Corporation | Automatic vehicle exterior light control systems |
| CA2533735C (en) | 2003-08-18 | 2011-10-18 | Gentex Corporation | Optical elements, related manufacturing methods and assemblies incorporating optical elements |
| JP4838261B2 (ja) | 2004-11-18 | 2011-12-14 | ジェンテックス コーポレイション | 車両機器制御用の画像収集及び処理システム |
| US7417221B2 (en) | 2005-09-08 | 2008-08-26 | Gentex Corporation | Automotive vehicle image sensor |
| JP4367475B2 (ja) | 2006-10-06 | 2009-11-18 | アイシン精機株式会社 | 移動物体認識装置、移動物体認識方法及びコンピュータプログラム |
| JP5410730B2 (ja) | 2008-10-09 | 2014-02-05 | 日立オートモティブシステムズ株式会社 | 自動車の外界認識装置 |
| US8004425B2 (en) | 2009-09-30 | 2011-08-23 | Gentex Corporation | Blind spot detection system and method using preexisting vehicular imaging devices |
| US9098751B2 (en) | 2011-07-27 | 2015-08-04 | Gentex Corporation | System and method for periodic lane marker identification and tracking |
| US8543254B1 (en) | 2012-03-28 | 2013-09-24 | Gentex Corporation | Vehicular imaging system and method for determining roadway width |
| US8983135B2 (en) | 2012-06-01 | 2015-03-17 | Gentex Corporation | System and method for controlling vehicle equipment responsive to a multi-stage village detection |
| JP6100635B2 (ja) * | 2012-12-13 | 2017-03-22 | 株式会社デンソー | 移動体検出装置 |
| JP6285958B2 (ja) * | 2013-01-15 | 2018-02-28 | モービルアイ ビジョン テクノロジーズ リミテッド | ローリングシャッターを伴うステレオ支援 |
-
2014
- 2014-08-19 KR KR1020167006698A patent/KR101738995B1/ko active IP Right Grant
- 2014-08-19 CN CN201480051871.4A patent/CN105579289B/zh active Active
- 2014-08-19 WO PCT/US2014/051676 patent/WO2015026817A1/en active Application Filing
- 2014-08-19 EP EP14837276.6A patent/EP3036131B1/en active Active
- 2014-08-19 US US14/462,888 patent/US9721172B2/en active Active
-
2017
- 2017-07-31 US US15/664,921 patent/US9892331B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999759A (zh) * | 2012-11-07 | 2013-03-27 | 东南大学 | 一种基于光流的车辆运动状态估计方法 |
Non-Patent Citations (1)
| Title |
|---|
| Real-Time Estimation and Tracking of Optical Flow Vectors for Obstacle Detection;KRUGER W ET AL;《INTELLIGENT VEHICLES ’95 SYMPSIUM., PROCEEDINGS OF THE DETROIT, MI, USA 25-26 SEPT. 1995, NEW YORK, NY, USA, IEEE, US》;19950925;摘要、正文第1-8节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US9892331B2 (en) | 2018-02-13 |
| EP3036131A4 (en) | 2016-09-07 |
| EP3036131B1 (en) | 2021-04-07 |
| KR101738995B1 (ko) | 2017-05-23 |
| US20150049198A1 (en) | 2015-02-19 |
| CN105579289A (zh) | 2016-05-11 |
| US20170357865A1 (en) | 2017-12-14 |
| KR20160044523A (ko) | 2016-04-25 |
| WO2015026817A1 (en) | 2015-02-26 |
| EP3036131A1 (en) | 2016-06-29 |
| US9721172B2 (en) | 2017-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105579289B (zh) | 具有自身运动检测的成像系统和方法 | |
| CN105593061B (zh) | 用于在快车道上控制外部车灯的系统和方法 | |
| CN105555611B (zh) | 车辆成像系统和用于判别反射物体与另一车辆的灯的方法 | |
| US8964024B2 (en) | System and method for controlling exterior vehicle lights responsive to detection of a semi-truck | |
| US9185363B2 (en) | Vehicle imaging system and method for categorizing objects using relative motion analysis | |
| CN105555606B (zh) | 用于在车辆尾灯与闪烁的红色停车灯之间进行判别的车辆成像系统和方法 | |
| US20140198213A1 (en) | Imaging system and method for detecting fog conditions | |
| US9511708B2 (en) | Method and system for imaging an external scene by employing a custom image sensor | |
| CN105705353B (zh) | 包括对颜色衰减进行动态补偿的成像系统 | |
| US20140153782A1 (en) | Imaging system and method for detecting a winding road |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240125 Address after: Inchon, Korea Patentee after: Halla Creedong Electronics Co.,Ltd. Country or region after: Republic of Korea Address before: michigan Patentee before: GENTEX Corp. Country or region before: U.S.A. |