CN101933065A - 车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法 - Google Patents

车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法 Download PDF

Info

Publication number
CN101933065A
CN101933065A CN2008801261548A CN200880126154A CN101933065A CN 101933065 A CN101933065 A CN 101933065A CN 2008801261548 A CN2008801261548 A CN 2008801261548A CN 200880126154 A CN200880126154 A CN 200880126154A CN 101933065 A CN101933065 A CN 101933065A
Authority
CN
China
Prior art keywords
monitored target
image
distance
camera
screening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2008801261548A
Other languages
English (en)
Other versions
CN101933065B (zh
Inventor
横地裕次
长冈伸治
谷口文则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN101933065A publication Critical patent/CN101933065A/zh
Application granted granted Critical
Publication of CN101933065B publication Critical patent/CN101933065B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明提供一种车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法,包括:距离检测机构(20),由其测定摄像头(2R、2L)到被监测对象的距离;被监测对象影像抽取机构(21),由其从摄像头拍到的图像中筛选被监测对象的第一影像部分;筛选机构(23),用盖博滤波器对上述图像进行筛选处理,其中,盖博滤波器的设定状态为:根据行人在水平方向上的宽度的推定数值,和摄像头到对应于所述第一影像部分的被监测对象的距离,当该宽度的推定数值越小、该距离越长时,将筛选对象端缘的宽度设定得较窄,同时将筛选对象端缘方向设定为垂直方向;被监测对象种类判别机构(24),根据上述筛选处理筛选的影像部分的形状,判别对应于该影像部分的实际空间中的被监测对象的种类是否是行人。采用本发明时,根据从摄像头拍到的图像中筛选的被监测对象的影像部分的轮廓线的形状,可以精准地判别该被监测对象的种类。

Description

车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法
技术领域
本发明涉及一种利用车载摄像头拍到的车辆周围的图像来检测车辆周围的被监测对象,从而对车辆周围的情况进行监测的车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法。
背景技术
在现有技术中,人们公知如下一种车辆周围监测装置,即,利用车载摄像头拍到车辆周围的图像来检测车辆周围的被监测对象,从而求出实际空间中的被监测对象和车辆的相对位置和相对速度,并且判断在规定时间内车辆和被监测对象触碰可能性的大小(例如参照日本发明专利公开公报特开2001-6096号)。
另外,为了判别被监测对象的种类(人、车辆、大型动物等),对摄像头所拍到的多值图像进行二值转换处理,并且对二值图像中的影像部分的形状(面积、轮廓线、长宽比等)进行筛选处理(例如参照日本发明专利公开公报特开平8-313632号)。
在日本发明专利公开公报特开平8-313632号所述的装置中,对二值图像中包含影像部分的窗口而言,求出水平方向上的端缘坐标最小值和最大值之间的差值,以及垂直方向上的端缘坐标最小值和最大值之间的差值,以其比值作为长宽比R,根据长宽比R判断在实际空间中与该影像部分所对应的被监测对象是不是人。
但是,采用上述方法根据端缘之间的差值判断被监测对象是不是人时,如果上述窗口中有多个被监测对象的影像部分出现,有时会出现无法正确求出被监测对象的影像部分的宽度的问题。这样一来,就会导致判别被监测对象的种类的准确度下降。
发明内容
鉴于上述情况,本发明的目的是提供一种能够解决上述技术问题的车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法,利用从摄像头拍到的图像中筛选出的被监测对象的影像部分的轮廓线形状,就可以精准地判别该被监测对象的种类。
为了实现上述目的,本发明所述的车辆周围监测装置利用车载摄像头拍到的显示车辆周围情况的图像来监测该车辆的周围情况。
上述车辆周围监测装置包括:距离检测机构,用于测定上述摄像头到被监测对象的距离;被监测对象影像抽取机构,用于从上述摄像头拍到的图像中抽取与被监测对象对应的第一影像部分;筛选机构,用盖博滤波器对上述图像进行筛选处理,其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由上述距离检测机构测得、上述第一影像部分在实际空间中所对应的被监测对象到上述摄像头之间的距离,并按上述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与上述规定方向垂直相交的方向;被监测对象种类判别机构,根据上述筛选处理筛选出的第二影像部分的形状,对该第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是上述特定种类。
另外,本发明所述的车辆具有对其周围情况进行拍摄的摄像头,该车辆具有利用上述摄像头拍到的图像来监测其周围情况的功能。
还有,本发明所述的车辆包括如下机构:距离检测机构,用于测定上述摄像头到被监测对象的距离;被监测对象影像抽取机构,用于从上述摄像头拍到的图像中抽取与被监测对象对应的第一影像部分;筛选机构,用盖博滤波器对上述图像进行筛选处理,其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由上述距离检测机构测得、上述第一影像部分在实际空间中所对应的被监测对象到上述摄像头之间的距离,并按上述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与上述规定方向垂直相交的方向;被监测对象种类判别机构,根据上述筛选处理筛选出的第二影像部分的形状,对该第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是上述特定种类。
在本发明所述的车辆周围监测装置和车辆中,由于对上述摄像头拍到的图像中被监测对象的影像部分的大小而言,被监测对象越小时其影像部分越小,另外,上述摄像头到被监测对象的距离越远时其影像部分也越小。因此,由上述筛选机构通过盖博滤波器进行筛选处理时,可以只将上述特定种类的被监测对象的影像部分中,预想的与上述筛选对象端缘的宽度上的上述规定方向垂直相交方向上的端缘区域进行强调后,再筛选出上述第二影像部分。接下来可根据通过上述方法筛选出的第二影像部分的形状,精准地判别与该第二影像部分在实际空间中所对应的被监测对象的种类。其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由上述距离检测机构测得、上述第一影像部分在实际空间中所对应的被监测对象到上述摄像头之间的距离,并按上述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与上述规定方向垂直相交的方向。
另外,本发明所述的车辆周围监测装置和车辆中还包括局部处理区域设定机构,根据上述特定种类的被监测对象的大小的推定数值,和由上述距离检测机构测得、第一影像部分在实际空间中所对应的被监测对象到上述摄像头之间的距离,将包含上述第一影像部分和周围范围在内的范围设定为局部处理区域,上述筛选机构在设定的上述局部处理区域内进行上述筛选处理,上述被监测对象种类判别机构,根据对上述局部处理区域进行筛选处理而筛选的上述第二影像部分的形状,对上述第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是上述特定种类。
采用本发明时,由于可在由上述局部处理区域设定机构所设定、范围被限定在上述第一影像部分周围的上述局部处理区域内进行上述筛选处理,所以可减少上述筛选处理中的运算量,从而可以更加有效地筛选第二影像部分。
另外,上述特定种类是行人,上述规定方向是水平方向,和上述规定方向垂直相交的方向是与上述水平方向垂直相交的方向,上述被监测对象种类判别机构,对上述局部处理区域中,由上述筛选处理筛选的上述第二影像部分的下端包含在该局部处理区域的下半部分时,将上述第二影像部分在实际空间中所对应的被监测对象判别为行人。
采用本发明时,由于可以用上述筛选处理的方法,从上述摄像头拍到的图像中,筛选具有对应于行人在水平方向上的宽度的推定数值距离的水平方向上的端缘宽度,并且端缘方向为垂直方向的上述第二影像部分,上述第二影像部分的下端包含在上述局部处理区域的下半部分时,判断为上述第二影像部分中包括行人的脚的影像部分,从而可以将上述第二影像部分在实际空间中所对应的被监测对象判别为行人。
接下来,本发明所述的车辆周围监测程序可以使具有访问数据功能的电脑起到监测该车辆的周围情况的作用,该电脑可访问搭载在车辆上并拍摄该车辆周围情况的摄像头拍到的图像数据。车辆周围监测程序可以使具有访问数据功能的电脑起到监测该车辆的周围情况的作用,该电脑可访问搭载在车辆上并拍摄该车辆周围情况的摄像头拍到的图像数据。
本发明可以使上述电脑起到如下机构的功能,即,距离检测机构,用于测定上述摄像头到被监测对象的距离;被监测对象影像抽取机构,用于从上述摄像头拍到的图像中抽取与被监测对象对应的第一影像部分;筛选机构,用盖博滤波器对上述图像进行筛选处理,其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由上述距离检测机构测得、上述第一影像部分在实际空间中所对应的被监测对象到上述摄像头之间的距离,并按上述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与上述规定方向垂直相交的方向;被监测对象种类判别机构,根据上述筛选处理筛选出的第二影像部分的形状,对该第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是上述特定种类。
将本发明所述的车辆周围监测程序应用于上述电脑时,可以使上述本发明所述的车辆周围监测装置和本发明所述的车辆包括上述距离检测机构、被监测对象影像筛选机构、筛选机构和被监测对象种类判别机构。
本发明所述的车辆周围监测方法是可以使具有访问数据功能的电脑利用拍到的图像来监测该车辆周围情况的方法,该电脑可访问搭载在车辆上并拍摄该车辆周围情况的摄像头拍到的图像数据。
该电脑中包括以下步骤:距离检测步骤,此时由上述电脑测定上述摄像头到被监测对象的距离;被监测对象影像抽取步骤,此时由上述电脑从上述摄像头拍到的图像中抽取与被监测对象对应的第一图影像像部分;筛选步骤,此时由上述电脑用盖博滤波器对上述图像进行筛选处理,其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由上述距离检测步骤测得、上述第一影像部分在实际空间中所对应的被监测对象到上述摄像头之间的距离,并按上述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与上述规定方向垂直相交的方向;被监测对象种类判别步骤,根据上述筛选处理筛选的第二影像部分的形状,对该第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是上述特定种类。
在本发明中,由于对上述摄像头拍到的图像中被监测对象的影像部分的大小而言,被监测对象越小时其影像部分就越小,另外,上述摄像头到被监测对象的距离越远时其影像部分业越小。因此,由上述筛选步骤通过盖博滤波器进行筛选处理时,可以只将上述特定种类的被监测对象的影像部分中,预想的与上述筛选对象端缘的宽度上的上述规定方向垂直相交方向上的端缘区域进行强调后,再筛选出上述第二影像部分。接下来通过被监测对象种类判别步骤,根据所筛选出的第二影像部分的形状,对该第二影像部分在实际空间中所对应的被监测对象的种类进行判别,这样能够精准地判别与该第二影像部分在实际空间中所对应的被监测对象的种类。其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由上述距离检测机构测得、上述第一影像部分在实际空间中所对应的被监测对象到上述摄像头之间的距离,并按上述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与上述规定方向垂直相交的方向。
附图说明
图1是本发明中车辆周围监测装置的结构图。
图2是说明将图1所示车辆周围监测装置安装到车辆中的状态下的示意图。
图3是表示图1所示的图像处理单元中对被监测对象的种类进行判别处理的流程图。
图4是说明用盖博滤波器进行筛选处理的示意图。
图5是说明用盖博滤波器进行筛选处理的示意图。
图6是说明被监测对象宽度的推定数值的示意图。
图7是说明对应于被监测对象的距离设定盖博滤波器的被监测对象端缘宽度的示意图。
图8是说明行人判别方法和设定影像部分宽度的示意图。
具体实施方式
下面,参照图1~图8说明本发明的实施方式。
图1是本发明中车辆周围监测装置的结构图。本发明的车辆周围监测装置包括图像处理单元1、可测到远红外线的红外线摄像头(相对于本发明的摄像头)2R和2L、用来检测车辆的偏航角速度的偏航角速度传感器13、用来检测车速的车速传感器4、用声音进行提醒的扬声器6、用来将被监测对象显示给驾驶员的平视显示器(以下称为HUD)7和用来检测摄像头2R、2L到被监测对象的距离的毫米波雷达装置8。
参照图2可知,红外线摄像头2R、2L设置在车辆10的前部,位于车辆10的车宽方向的中心部的大致对象位置。另外,红外线摄像头2R、2L以光轴相互平行且与路面的距离相等的方式固定。还有,红外线摄像头2R、2L具有如下特性,即,被拍摄对象的温度越高其输出值越高(辉度变大)。另外,显示装置7设置成在车辆10的前车窗一侧的前方位置有显示屏7a。
另外,毫米波雷达装置8安装在车辆10的前部,其位于红外线摄像头2R、2L的上侧。毫米波雷达装置8向车辆10的前方发射毫米波并接收该毫米波的反射波(由在车辆10前方的物体反射的毫米波)。毫米波雷达装置8发出的射线的扫描范围设定为包含红外线摄像头2R、2L的拍摄范围(视角范围)。
毫米波雷达装置8根据所接收的反射波中强度大于规定数值以上的反射波,检测在发出信号方向上的被监测对象。另外,毫米波雷达装置8根据发出信号和接收信号的时间差检测对该毫米波产生反射的被监测对象到摄像头2R、2L的距离。
参照图1可知,图像处理单元1是由微电脑(未图示,相当于本发明的电脑)等构成的电子单元,其将红外线摄像头2R、2L输出的模拟图像信号转换为数字信号,并存储在图像存储器(未图示)中,上述微电脑可通过接口回路(未图示,相对于本发明的用来访问图像的机构)对存储在上述图像存储器中的车辆前方的图像进行各种运算处理。
将本发明所述的车辆监测程序应用于上述微电脑时,该微电脑会起到如下机构的作用,即,距离检测机构20,由其测定包含在摄像头2R、2L的拍摄范围内拍到的图像中、影像部分在实际空间中所对应的被监测对象到摄像头2R、2L的距离(实际空间距离);被监测对象影像抽取机构21,由其从摄像头2R拍到的图像中抽取被监测对象的影像部分;局部处理区域设定机构22,由其将包含被监测对象的影像部分在内的周围区域设定为局部处理区域;筛选机构23,其通过盖博滤波器对上述局部处理区域进行筛选处理;被监测对象种类判别机构24,由其判别对应于上述筛选处理筛选出的影像部分在实际空间中所对应的被监测对象的种类。
另外,通过上述微电脑中的运行本发明所述的车辆周围监测方法中的各步骤得以实现。
红外线摄像头2R、2L输出的、显示车辆周围情况的红外线图像的模拟信号会输入图像处理单元1中,该模拟信号经A/D(模拟/数字)处理转换为数字信号的多值(灰色)图像并存储在图像存储器(未图示)中。
接下来由图像处理单元1判别对应于包含在右侧图像中的影像部分在实际空间中所对应的被监测对象的种类。下面根据图3所示的流程图说明该处理过程。
图3中的STEP(步骤。下同)1表示由距离检测机构20所做的处理。距离检测机构20根据从毫米波雷达装置8输出的被扫描物的测距数据,来测定车辆周围的被监测对象到摄像头2R、2L的距离Z。另外,通过距离检测机构20所做的测定被监测对象到摄像头2R、2L的距离Z的处理,相当于本发明所述的车辆周围监测方法中的距离检测步骤。
下一个STEP2表示由被监测对象影像抽取机构21和局部处理区域设定机构22所做的处理。被监测对象影像抽取机构21以右侧图像作为基准图像进行二值转换处理(将辉度在规定的二值阈值以上的像素当作“1”(白),而将辉度在上述二值阈值以下的像素当作“0”(黑)的处理)而形成二值图像。接下来,再由被监测对象影像抽取机构21将包含在二值图像中的高辉度(空白区域)中的影像部分中,筛选出第一影像部分,该第一影像部分是在步骤STEP1中已由距离检测机构20在实际空间中距离已测出的被监测对象所对应的部分。
另外,通过被监测对象影像抽取机构21所做的筛选被监测对象的第一影像部分的处理,相当于本发明所述的车辆周围监测方法中的被监测对象影像筛选步骤。
接下来参照图4,由局部处理区域设定机构22将在右侧图像50中筛选的被监测对象的第一影像部分51,设定以行人为判别对象的局部处理区域52。另外,即使对其他被监测对象的第一影像部分53也设定以行人为判别对象的局部处理区域54。
具体地讲,根据行人身高的推定数值GH(例如为170cm,相当于本发明的被监测对象在实际空间中的大小的推定数值)和行人宽度的推定数值GW(例如为60cm,相当于本发明的被监测对象在实际空间中的大小的推定数值),以及测得的被监测对象到摄像头2R、2L的距离Z,由局部处理区域设定机构22按照以下公式(1)和公式(2)求出局部处理区域52和54的高度gh和宽度gw。
【公式1】
gh=(f/p)×(GH/Z)......(1)
【公式2】
gw=(f/p)×(GW/Z)......(2)
其中,f为红外线摄像头2R、2L的焦距,p为红外线摄像头2R、2L的受光元件的像素间隔,GH为行人身高的推定数值,GW为行人宽度的推定数值,Z为红外线摄像头2R、2L到被监测对象的距离。
如上所述,通过确定局部处理区域52和54的高度gh和宽度gw,如果第一影像部分51和53是行人的影像部分时,可将包含整个行人的影像部分附近范围的区域设定为局部处理区域52、54。另外,对于局部处理区域54而言,由于行人呈并排状态,所以局部处理区域54的宽度较宽。
接下来的STEP3~STEP4表示由筛选机构23所做的处理。首先,由筛选机构23将行人作为判别对象,设定具有对应于被监测对象到摄像头2R、2L的距离的对象端缘宽度和对象端缘方向的盖博滤波器。
其中,该盖博滤波器是具有类似于人类的感受野特性的滤波器,能对特定方向上的特定宽度的端缘(轮廓线)进行抽取。如图4所示,当右侧图像50中包含距离红外线摄像头2R、2L较近的行人的影像部分51和距离较远的行人的影像部分53时,以距离较近的行人的影像部分的宽度的推定数值w1为抽取对象端缘的宽度,垂直方向(行人的身高方向)为筛选对象端缘方向的方式设定盖博滤波器60。
接下来在用盖博滤波器对右侧图像50进行筛选处理时,在经过筛选处理后的图像55中会出现影像部分56,在影像部分56中距离较近的行人的图像部分51的纵向端缘得到强调。而对于距离较远的行人的影像部分53而言,则会出现纵向端缘模糊的影像部分57。
另外,图5表示使用以距离较远的行人的影像部分的宽度的推定数值为筛选对象端缘的宽度,垂直方向为筛选对象端缘方向设定的盖博滤波器61,对图像50进行筛选处理的状态。此时,在经过筛选处理后的图像70中会出现影像部分72,影像部分72中距离较远的行人的影像部分53的纵向端缘得到强调。而对于距离较近的行人的影像部分51而言,则会出现纵向端缘模糊的影像部分71。
如上所述,根据红外线摄像头2R、2L到被监测对象的距离设定的筛选对象端缘的宽度,用这样设定的盖博滤波器进行筛选处理,可使离开特定距离的行人的图像部分的纵向端缘得到强调。
因此,如图6中(a)所示,在筛选机构23中,根据影像部分在实际空间中所对应的被监测对象到摄像头2R、2L的距离Z,将行人宽度的推定数值Wp(例如50cm,Wp数据预先存储在存储器中)按照以下公式(3)确定筛选对象端缘的宽度Wt。
【公式3】
Wt=(f/p)×(Wp/Z)......(1)
其中,Wt为盖博滤波器的筛选对象端缘的宽度,f为红外线摄像头2R、2L的焦距,p为红外线摄像头2R、2L的受光元件的像素间隔,Wp为行人宽度的推定数值,Z为被监测对象到红外线摄像头2R、2L的距离。
当判别被监测对象的种类是不是车辆时,如图6中(b)所示,只需根据车宽的推定数值Wc和被监测对象到摄像头2R、2L的距离Z,按照上述公式(3),用Wc替换Wp而求出盖博滤波器的筛选对象端缘的宽度Wt即可。
在下一个STEP4中,由筛选机构23利用如上所述对筛选对象端缘宽度进行设定的并且筛选对象端缘方向为垂直方向的盖博滤波器,对局部处理区域进行筛选处理。另外,由筛选机构23通过盖博滤波器进行的筛选处理,相当于本发明所述的车辆周围监测方法中的筛选步骤。
接下来的STEP5~STEP6表示由被监测对象种类判别机构24所做的处理。被监测对象种类判别机构24会对已经用盖博滤波器进行过筛选处理后的局部处理区域中的图像进行二值转换处理。图7表示当图像90中包含距离摄像头2R、2L较近的行人的图像部分91、距离摄像头2R、2L中等的行人的图像部分92和距离摄像头2R、2L较远的行人的图像部分93时,用盖博滤波器对图像90进行筛选处理并进行二值转换处理时的二值图像100、110、120(相当于本发明的第二图像部分)。
二值图像100是对右侧图像90用对应于图像部分93的远距离用盖博滤波器进行筛选处理后进行二值转换处理后的二值图像,其中的具有对应于图像部分93的纵向端缘的空白区域101被筛选出。另外,二值图像110是对右侧图像90用对应于图像部分92的中距离用盖博滤波器进行筛选处理后进行二值转换处理后的二值图像,其中的具有对应于图像部分92的纵向端缘的空白区域111被筛选出。
另外,二值图像120是对右侧图像90用对应于图像部分91的近距离用盖博滤波器进行筛选处理后进行二值转换处理后的二值图像,其中的具有对应于图像部分91的纵向端缘的空白区域121被筛选出。如上所述,用对应于被监测对象的距离Z的盖博滤波器进行筛选处理后再对其进行二值转换处理,就可以明确地筛选被监测对象的端缘的形状。
在下一个STEP6中,由被监测对象种类判别机构25判别通过STEP5中的二值转换处理而筛选的具有纵向端缘的空白区域的形状中,对应于该空白区域的实际空间中的被监测对象是否是行人。
参照图8可知,当包含在局部处理区域130中的空白区域131的下端处于局部处理区域130的下半部分时(假设行人的脚的影像部分被筛选),由被监测对象种类判别机构25将对应于空白区域131的实际空间中的被监测对象的种类判别为行人。
另外,根据通过盖博滤波器进行筛选处理而筛选的影像部分(第二影像部分)的形状,由被监测对象种类判别机构25判别对应于该影像部分在实际空间中所对应的被监测对象的种类的处理,相当于本发明所述的车辆周围监测方法中的被监测对象种类判别步骤。
另外,当根据空白区域131的形状进行是不是行人的判别时,也可以根据其他基准进行。例如,该判别基准可以是空白区域131的垂直方向上的宽度(高度)、或水平方向上的宽度相对于局部处理区域130的高度gh的空白区域131的高度比例等基准。
图像处理单元1通过被监测对象种类判别机构24判别为被监测对象的种类是行人时,会通过扬声器6输出声音和在HUD上进行显示等方法提醒驾驶员以使其引起注意。
另外,在本实施方式中,以被监测对象的影像部分的周围区域作为局部处理区域,并限定在该局部区域内用盖博滤波器进行筛选处理后再进行二值转换处理。但是也可以不设定局部处理区域,而在整个图像范围内用盖博滤波器进行筛选处理后再进行二值转换处理。
另外,在本实施方式中,用毫米波雷达装置8测定被监测对象到摄像头2R、2L的距离。但是也可以使用激光雷达等其他测距装置。或者也可通过2台摄像头2R、2L拍到的同一被监测对象的图像部分在水平方向上的错位(视差),测定实际空间中的被监测对象到红外线摄像头2R、2L的距离。此时,也可以读取由车速传感器4测得的车速(VCAR)和由倾角变化量传感器3测得的倾角变化量(YR),以时间为变量对倾角变化量(YR)进行积分运算求出车辆10的倾角,通过修正倾角而修正实际空间位置(图2中的X、Y、Z的坐标值)。
另外,也可用1台摄像头在不同时刻拍到的图像中的同一被监测对象的图像部分的尺寸变化,测定被监测对象到摄像头2R、2L的距离。
另外,在本实施方式中举了拍摄车辆前方的例子,但也可以采用拍摄车辆的后方或侧部等其他方向而监测车辆的周围情况的结构。
另外,在本实施方式中将红外线摄像头2R、2L用作本发明的摄像头,但是也可以用拍摄可见光图像的可见光摄像头。
还有,在本实施方式中将2台红外线摄像头2R、2L用作本发明的摄像头,但是也可以使用1台。
【工业实用性】
如上所述,采用本发明的车辆周围监测装置、车辆、车辆周围监测程序及车辆周围监测方法时,由于可以根据从摄像头拍到的图像中筛选的被监测对象的影像部分的轮廓线的形状精准地判别所述被监测对象的种类,所以本发明有助于监测车辆周围的情况。

Claims (6)

1.一种车辆周围监测装置,利用车载摄像头拍到的显示该车辆周围情况的图像来监测该车辆的周围情况,其特征在于,包括:
距离检测机构,用于测定所述摄像头到被监测对象的距离;
被监测对象影像抽取机构,用于从所述摄像头拍到的图像中抽取与被监测对象对应的第一影像部分;
筛选机构,用盖博滤波器对所述图像进行筛选处理,其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由所述距离检测机构测得、所述第一影像部分在实际空间中所对应的被监测对象到所述摄像头之间的距离,并按所述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与所述规定方向垂直相交的方向;
被监测对象种类判别机构,根据所述筛选处理筛选出的第二影像部分的形状,对该第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是所述特定种类。
2.根据权利要求1所述的车辆周围监测装置,其特征在于,
还包括局部处理区域设定机构,根据所述特定种类的被监测对象的大小的推定数值,和由所述距离检测机构测得、第一影像部分在实际空间中所对应的被监测对象到所述摄像头之间的距离,将包含所述第一影像部分在内的周围范围设定为局部处理区域,
所述筛选机构在设定的所述局部处理区域内进行所述筛选处理,
所述被监测对象种类判别机构,根据对所述局部处理区域进行筛选处理而筛选的所述第二影像部分的形状,对所述第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是所述特定种类。
3.根据权利要求2所述的车辆周围监测装置,其特征在于,
所述特定种类是行人,
所述规定方向是水平方向,
和所述规定方向垂直相交的方向是与所述水平方向垂直相交的方向,
所述被监测对象种类判别机构,对所述局部处理区域中,由所述筛选处理筛选的所述第二影像部分的下端包含在所述局部处理区域的下半部分时,将所述第二影像部分在实际空间中所对应的被监测对象判别为行人。
4.一种车辆,具有对其周围情况进行拍摄的摄像头,并且具有利用上述摄像头拍到的图像来监测其周围情况的功能,其特征在于,包括:
距离检测机构,用于测定所述摄像头到被监测对象的距离;
被监测对象影像抽取机构,用于从所述摄像头拍到的图像中抽取与被监测对象对应的第一影像部分;
筛选机构,用盖博滤波器对所述图像进行筛选处理,其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由所述距离检测机构测得、所述第一影像部分在实际空间中所对应的被监测对象到所述摄像头之间的距离,并按所述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与所述规定方向垂直相交的方向;
被监测对象种类判别机构,根据所述筛选处理筛选出的第二影像部分的形状,对该第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是所述特定种类。
5.一种车辆周围监测程序,可使具有访问功能的电脑起到监测该车辆的周围情况的作用,该电脑可访问搭载在车辆上并拍摄该车辆周围情况的摄像头拍到的图像数据,其特征在于,
可使所述电脑具有如下机构的功能,即,
距离检测机构,用于测定所述摄像头到被监测对象的距离;
被监测对象影像抽取机构,用于从所述摄像头拍到的图像中抽取与被监测对象对应的第一影像部分;
筛选机构,用盖博滤波器对所述图像进行筛选处理,其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由所述距离检测机构测得、所述第一影像部分在实际空间中所对应的被监测对象部到所述摄像头之间的距离,并按所述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与所述规定方向垂直相交的方向;
被监测对象种类判别机构,根据所述筛选处理筛选出的第二影像部分的形状,对该第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是所述特定种类。
6.一种车辆周围监测方法,可使具有访问功能的电脑起到监测该车辆的周围情况的作用,该电脑可访问搭载在车辆上并拍摄该车辆周围情况的摄像头拍到的图像数据,其特征在于,包括以下步骤:
距离检测步骤,此时由所述电脑测定所述摄像头到被监测对象的距离;
被监测对象影像抽取步骤,此时由所述电脑从所述摄像头拍到的图像中抽取与被监测对象对应的第一影像像部分;
筛选步骤,此时由所述电脑用盖博滤波器对所述图像进行筛选处理,其中,盖博滤波器按以下方式设定:根据特定种类被监测对象在规定方向上的宽度的推定数值,和由所述距离检测步骤测得、所述第一影像部分在实际空间中所对应的被监测对象部到所述摄像头之间的距离,并按所述宽度的推定数值越小或测得的距离越长时,筛选对象的端缘宽度较窄的原则进行设定,并且筛选对象的端缘方向设定为与所述规定方向垂直相交的方向;
被监测对象种类判别步骤,根据所述筛选处理筛选的第二影像部分的形状,对该第二影像部分在实际空间中所对应的被监测对象的种类进行判别,判别它是否是所述特定种类。
CN200880126154.8A 2008-02-04 2008-11-18 车辆周围监测装置、车辆及车辆周围监测方法 Expired - Fee Related CN101933065B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-024402 2008-02-04
JP2008024402A JP4359710B2 (ja) 2008-02-04 2008-02-04 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
PCT/JP2008/003371 WO2009098743A1 (ja) 2008-02-04 2008-11-18 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法

Publications (2)

Publication Number Publication Date
CN101933065A true CN101933065A (zh) 2010-12-29
CN101933065B CN101933065B (zh) 2014-05-28

Family

ID=40951831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880126154.8A Expired - Fee Related CN101933065B (zh) 2008-02-04 2008-11-18 车辆周围监测装置、车辆及车辆周围监测方法

Country Status (5)

Country Link
US (1) US8077204B2 (zh)
EP (1) EP2234086B1 (zh)
JP (1) JP4359710B2 (zh)
CN (1) CN101933065B (zh)
WO (1) WO2009098743A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170558A (zh) * 2010-12-30 2011-08-31 财团法人车辆研究测试中心 障碍物侦测警示系统及方法
CN103303235A (zh) * 2012-03-12 2013-09-18 本田技研工业株式会社 车辆周围监测装置
CN103797528A (zh) * 2011-09-28 2014-05-14 本田技研工业株式会社 生物体识别装置
CN103786645A (zh) * 2012-10-30 2014-05-14 现代摩比斯株式会社 侧方影像提供装置及包括其的车辆
CN104160434A (zh) * 2012-03-12 2014-11-19 本田技研工业株式会社 车辆周围监视装置
CN104798124A (zh) * 2012-11-21 2015-07-22 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
CN104885122A (zh) * 2012-12-25 2015-09-02 本田技研工业株式会社 车辆周围监测装置
CN105320928A (zh) * 2014-06-30 2016-02-10 本田技研工业株式会社 对象物识别装置
CN105474635A (zh) * 2014-01-23 2016-04-06 日立建机株式会社 作业机械的周围监视装置
CN106255997A (zh) * 2014-05-15 2016-12-21 本田技研工业株式会社 移动辅助装置
CN106471522A (zh) * 2014-07-02 2017-03-01 株式会社电装 物体检测用方法及装置、以及计算机程序产品
CN108431631A (zh) * 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
CN109792482A (zh) * 2016-09-28 2019-05-21 京瓷株式会社 摄像机模块、选择器、控制器、摄像机监视系统以及移动体
US11187805B2 (en) 2015-12-21 2021-11-30 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11204425B2 (en) 2015-12-21 2021-12-21 Koito Manufacturing Co., Ltd. Image acquisition device for vehicles and vehicle provided with same

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916480B1 (en) * 2005-07-26 2013-04-03 Kyocera Corporation Brazed structure, ceramic heater, and glow plug
WO2012029382A1 (ja) * 2010-08-31 2012-03-08 本田技研工業株式会社 車両周辺監視装置
JP5486031B2 (ja) * 2012-03-06 2014-05-07 本田技研工業株式会社 配光制御装置
JP5935118B2 (ja) * 2012-05-30 2016-06-15 株式会社日立製作所 物体検出装置および物体検出方法
JP5502149B2 (ja) * 2012-06-29 2014-05-28 本田技研工業株式会社 車両周辺監視装置
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
US9602806B1 (en) * 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
CN103413025B (zh) * 2013-07-19 2017-07-18 上海华美络信息技术有限公司 一种监控急救车的系统及方法
CN106033609B (zh) * 2015-07-24 2018-10-19 广西科技大学 仿生物跳跃眼动信息处理机制的目标轮廓检测方法
CN106033607B (zh) * 2015-07-24 2018-10-19 广西科技大学 仿生物跳跃眼动信息处理机制的目标轮廓检测方法
CN106033608B (zh) * 2015-07-24 2018-10-19 广西科技大学 仿生物平滑跟踪眼动信息处理机制的目标轮廓检测方法
CN106033606B (zh) * 2015-07-24 2018-10-19 广西科技大学 仿生物平滑跟踪眼动信息处理机制的目标轮廓检测方法
CN106033610B (zh) * 2016-03-22 2018-10-26 广西科技大学 基于非经典感受野空间总和调制的轮廓检测方法
US11215459B2 (en) * 2016-05-18 2022-01-04 Pioneer Corporation Object recognition device, object recognition method and program
US10591586B2 (en) 2017-07-07 2020-03-17 Infineon Technologies Ag System and method for identifying a target using radar sensors
JP6975003B2 (ja) * 2017-09-29 2021-12-01 株式会社デンソー 周辺監視装置およびその校正方法
JP7204612B2 (ja) * 2019-08-06 2023-01-16 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
WO2021118570A1 (en) 2019-12-12 2021-06-17 Google Llc Radar-based monitoring of a fall by a person
US11406281B2 (en) 2020-08-11 2022-08-09 Google Llc Contactless cough detection and attribution
US11754676B2 (en) * 2020-08-11 2023-09-12 Google Llc Precision sleep tracking using a contactless sleep tracking device
US11808839B2 (en) 2020-08-11 2023-11-07 Google Llc Initializing sleep tracking on a contactless health tracking device
US11832961B2 (en) 2020-08-11 2023-12-05 Google Llc Contactless sleep detection and disturbance attribution
CN117553695B (zh) * 2024-01-11 2024-05-03 摩斯智联科技有限公司 计算车辆高度的方法、装置及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927100A (ja) * 1995-07-12 1997-01-28 Yazaki Corp 前方車両認識方法及び前方車両認識装置並びにそれを用いた車両用追突防止装置
US6590521B1 (en) * 1999-11-04 2003-07-08 Honda Giken Gokyo Kabushiki Kaisha Object recognition system
JP2005128815A (ja) * 2003-10-24 2005-05-19 Matsushita Electric Ind Co Ltd 人物検出装置及び人物検出方法
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
CN1812572A (zh) * 2006-01-13 2006-08-02 浙江工业大学 基于机器视觉的全方位可视化振动入侵图像探测器
CN1897015A (zh) * 2006-05-18 2007-01-17 王海燕 基于机器视觉的车辆检测和跟踪方法及系统
JP2007037011A (ja) * 2005-07-29 2007-02-08 Toyota Motor Corp 画像処理装置
CN101038165A (zh) * 2007-02-16 2007-09-19 北京航空航天大学 基于双目视觉的车载环境及距离测量系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JPH08313632A (ja) 1995-05-19 1996-11-29 Omron Corp 警報発生装置および方法,ならびにこの警報発生装置を搭載した車両
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
JP3938532B2 (ja) * 2002-09-05 2007-06-27 本田技研工業株式会社 車両制御装置、プログラム及び方法
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP3934119B2 (ja) 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
JP4970926B2 (ja) * 2006-01-16 2012-07-11 本田技研工業株式会社 車両周辺監視装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0927100A (ja) * 1995-07-12 1997-01-28 Yazaki Corp 前方車両認識方法及び前方車両認識装置並びにそれを用いた車両用追突防止装置
US6590521B1 (en) * 1999-11-04 2003-07-08 Honda Giken Gokyo Kabushiki Kaisha Object recognition system
JP2005128815A (ja) * 2003-10-24 2005-05-19 Matsushita Electric Ind Co Ltd 人物検出装置及び人物検出方法
JP2006101384A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2007037011A (ja) * 2005-07-29 2007-02-08 Toyota Motor Corp 画像処理装置
CN1812572A (zh) * 2006-01-13 2006-08-02 浙江工业大学 基于机器视觉的全方位可视化振动入侵图像探测器
CN1897015A (zh) * 2006-05-18 2007-01-17 王海燕 基于机器视觉的车辆检测和跟踪方法及系统
CN101038165A (zh) * 2007-02-16 2007-09-19 北京航空航天大学 基于双目视觉的车载环境及距离测量系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102170558A (zh) * 2010-12-30 2011-08-31 财团法人车辆研究测试中心 障碍物侦测警示系统及方法
CN103797528A (zh) * 2011-09-28 2014-05-14 本田技研工业株式会社 生物体识别装置
CN103303235A (zh) * 2012-03-12 2013-09-18 本田技研工业株式会社 车辆周围监测装置
CN104160434A (zh) * 2012-03-12 2014-11-19 本田技研工业株式会社 车辆周围监视装置
CN103786645A (zh) * 2012-10-30 2014-05-14 现代摩比斯株式会社 侧方影像提供装置及包括其的车辆
CN104798124A (zh) * 2012-11-21 2015-07-22 丰田自动车株式会社 驾驶辅助装置以及驾驶辅助方法
CN104885122A (zh) * 2012-12-25 2015-09-02 本田技研工业株式会社 车辆周围监测装置
CN104885122B (zh) * 2012-12-25 2017-06-23 本田技研工业株式会社 车辆周围监测装置
CN105474635A (zh) * 2014-01-23 2016-04-06 日立建机株式会社 作业机械的周围监视装置
CN106255997A (zh) * 2014-05-15 2016-12-21 本田技研工业株式会社 移动辅助装置
CN105320928A (zh) * 2014-06-30 2016-02-10 本田技研工业株式会社 对象物识别装置
CN105320928B (zh) * 2014-06-30 2019-05-21 本田技研工业株式会社 对象物识别装置
CN106471522A (zh) * 2014-07-02 2017-03-01 株式会社电装 物体检测用方法及装置、以及计算机程序产品
CN108431631A (zh) * 2015-12-21 2018-08-21 株式会社小糸制作所 车辆用图像获取装置、控制装置、包括了车辆用图像获取装置或控制装置的车辆和车辆用图像获取方法
US11187805B2 (en) 2015-12-21 2021-11-30 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11204425B2 (en) 2015-12-21 2021-12-21 Koito Manufacturing Co., Ltd. Image acquisition device for vehicles and vehicle provided with same
CN109792482A (zh) * 2016-09-28 2019-05-21 京瓷株式会社 摄像机模块、选择器、控制器、摄像机监视系统以及移动体
CN109792482B (zh) * 2016-09-28 2021-07-23 京瓷株式会社 摄像机模块、选择器、控制器、摄像机监视系统以及移动体

Also Published As

Publication number Publication date
CN101933065B (zh) 2014-05-28
EP2234086B1 (en) 2013-08-28
EP2234086A1 (en) 2010-09-29
US20100283845A1 (en) 2010-11-11
WO2009098743A1 (ja) 2009-08-13
US8077204B2 (en) 2011-12-13
JP4359710B2 (ja) 2009-11-04
JP2009187135A (ja) 2009-08-20
EP2234086A4 (en) 2011-03-02

Similar Documents

Publication Publication Date Title
CN101933065B (zh) 车辆周围监测装置、车辆及车辆周围监测方法
CN103852067B (zh) 调整飞行时间(tof)测量系统的操作参数的方法
CN103852754B (zh) 飞行时间(tof)测量系统中的干扰抑制的方法
CN100574376C (zh) 摄像装置、摄像系统以及摄像方法
CN104081443B (zh) 用于操作机动车辆的驾驶员辅助装置的方法、驾驶员辅助装置和机动车辆
CN108020825A (zh) 激光雷达、激光摄像头、视频摄像头的融合标定系统及方法
KR100879623B1 (ko) Ptz 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
US20070211919A1 (en) Vehicle surroundings monitoring apparatus
JP4173902B2 (ja) 車両周辺監視装置
JP4528283B2 (ja) 車両周辺監視装置
US20130107052A1 (en) Driver Assistance Device Having a Visual Representation of Detected Objects
CN102792314A (zh) 交叉通行碰撞警报系统
CN107633703A (zh) 一种行车记录仪及其前向防撞预警方法
JP2007310705A (ja) 車両周辺監視装置
US20130236063A1 (en) Multiple view transportation imaging systems
CN106573588A (zh) 驾驶辅助装置、驾驶辅助方法和程序
KR20160035121A (ko) 깊이 영상정보에서 추출된 위치정보를 이용한 개체계수 방법 및 장치
CN103370224A (zh) 具有用于监控车辆周边环境的装置的车辆
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
CN108268833A (zh) 图像处理设备和图像处理方法
WO2010007718A1 (ja) 車両周辺監視装置
CN108830785A (zh) 背景虚化方法及装置、电子装置、计算机设备和存储介质
JP2022017619A (ja) 画像解析装置、画像解析システム、および制御プログラム
JP4765113B2 (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140528

Termination date: 20161118