具体实施方式
以下对本发明进行详细说明。但是,以下的详细说明和附图并不限定发明。
本发明的障碍物检测系统包括:摄像装置,对车辆的周边进行拍摄而生成影像信息;障碍物检测装置,基于影像信息检测车辆附近的障碍物;以及灯具装置,搭载在车辆上,障碍物检测装置包括:灯具控制单元,控制灯具装置的点亮状态;差分影像生成单元,生成在灯具装置点亮时由摄像装置生成的影像信息和在灯具装置熄灭时由摄像装置生成的影像信息之间的差分影像;以及障碍物判定单元,基于差分影像中所包含的影像,判定有无障碍物。
根据该结构,能够使用车辆上装备的灯具装置进行障碍物的检测,并且无需除摄像机之外的传感器,即使在低照度环境下也能够可靠地检测障碍物。由此,能够廉价提供障碍物检测系统。
本发明的障碍物检测系统也可以包括:灯具状态变化判定单元,判定灯具装置的点亮状态的变化;以及影像数据存储单元,存储从摄像装置发送的影像信息。在灯具状态变化判定单元判定为灯具装置的点亮状态发生了变化时,该差分影像生成单元生成从摄像装置发送的影像信息和影像数据存储单元中所存储的影像信息之间的差分影像。
根据该结构,由于能够获取灯具装置的点亮状态发生变化的前后的影像信息,生成差分信息,所以能够降低由被拍摄体的移动导致误检测的顾虑。
在本发明的障碍物检测系统中,灯具控制单元在摄像装置中的各拍摄帧的拍摄期间之间,使灯具装置的点亮状态变化。根据该结构,由于能够在例如灯具装置熄灭的期间,在摄像装置中获取影像信息,所以能够可靠地提取在灯具装置点亮时和熄灭时的影像信号之间的差分信息。
在本发明的障碍物检测系统中,灯具装置根据车辆上设置的摄像装置的位置或根据车辆的行驶方向来确定。根据该结构,由于能够检测与拍摄范围或车辆的行驶方向相对应的障碍物,所以能够提高障碍物检测的精度。
在本发明的障碍物检测系统中,在差分影像中的水平线的上侧的区域中检测出超过阈值的差分信息时,障碍物判定单元判定为存在障碍物。根据该结构,能够消除例如对虽不存在障碍物,但对由灯具装置照射的区域误检测出障碍物的顾虑。
在本发明的障碍物检测系统中,在判定为存在障碍物时,灯具控制单元使灯具装置的点亮状态变化。根据该结构,在例如障碍物是行人的情况下,能够对该行人通知车辆在靠近。
本发明的障碍物检测方法包括:对车辆的周边进行拍摄而生成影像信息的步骤;控制车辆上搭载的灯具装置的点亮状态的步骤;生成在灯具装置点亮时由摄像装置生成的影像信息和在灯具装置熄灭时由摄像装置生成的影像信息之间的差分影像的步骤;基于差分影像中所包含的影像判定有无障碍物的步骤。根据该结构,如上所述,能够使用车辆上装备的灯具装置进行障碍物的检测,无需除摄像机以外的传感器,而即使在低照度的环境下也能够可靠地检测障碍物。
本发明的障碍物检测装置,基于摄像装置所生成的车辆的周边的影像信息检测车辆附近的障碍物,包括:灯具控制单元,控制车辆上搭载的灯具装置的点亮状态;差分影像生成单元,生成在灯具装置点亮时由摄像装置生成的影像信息和在灯具装置熄灭时由摄像装置生成的影像信息之间的差分影像;以及障碍物判定单元,基于差分影像中所包含的影像判定有无障碍物。根据该结构,如上述所述,能够使用车辆上所装备的灯具装置进行障碍物的检测,无需除摄像机以外的传感器,而即使在低照度的环境下也能够可靠地检测障碍物。
以下,利用附图说明本发明的实施方式的障碍物检测系统。图1是表示本发明的一实施方式的障碍物检测系统的结构的框图。障碍物检测系统10包括:摄像装置20,对被拍摄体进行拍摄而输出影像信号;障碍物检测装置30,检测有无障碍物;以及灯具装置40,搭载在车辆上。
摄像装置20以规定角度安装在例如车辆前侧或后侧的汽车牌照的周边的规定位置上,并具有被配置在光路上的拍摄透镜21、摄像元件22、A/D变换器23以及信号处理单元24,该摄像装置20对车辆周边的被拍摄体进行拍摄而生成影像信号。拍摄透镜21使来自被拍摄体的光成像在摄像元件22上。摄像元件22是例如CCD或CMOS的固体摄像元件,将由拍摄透镜21成像的被拍摄体光进行光电变换而输出模拟信号。A/D变换器23将从摄像元件22输出的模拟信号变换为数字信号。信号处理单元24通过对于来自A/D变换器23的数字信号进行公知的信号处理,生成并输出亮度信号、色差信号、光圈信号(aperture signal)。另外,信号处理单元24进行减去与黑电平(level)相当的信号成分的OB(Optical Black;光学黑体)减法、白平衡调整、噪声处理这样的公知的影像信号处理。
障碍物检测装置30包括灯具状态控制单元31、灯具状态变化判定单元32、灯具状态存储单元33、差分影像生成单元34、影像数据存储单元35、差分阈值处理单元36、有差分像素提取单元37、以及障碍物判定单元38。
障碍物检测装置30被输入来自摄像元件22的同步信号及来自信号处理单元24的影像信号,以及从车辆主体输入的档位信息,基于在灯具装置40点亮时以及熄灭时的影像信号的差分信息,检测在车辆的周边存在的障碍物。这里,摄像元件22的同步信号是表示在摄像元件22进行曝光动作的定时的信号,根据该同步信号的定时,从摄像装置20输出影像信号。档位信息是表示所选择的档位的信息。
在本实施方式中,灯具装置40是在车辆上标准地搭载的灯具,例如是前照灯、尾灯、倒车灯、刹车灯、车宽灯,接收来自后述的灯具状态控制单元31的控制信号来进行点亮/熄灭的控制。此外,在本实施方式中,采用由障碍物检测装置30直接控制灯具装置40的结构,但是,也可以经由发动机控制单元来连接障碍物检测装置30和灯具装置40。另外,控制信号和档位信息的传递能够经由例如CAN(Controller Area Network;控制器局域网)、LIN(Local Interconnect Network;本地互联网)这样的车载网络来进行。
灯具状态控制单元31控制灯具装置40的点亮状态,并且被输入来自摄像元件22的同步信号。由于本实施方式的障碍物检测系统假定在夜间使用,所以灯具装置40基本上处于点亮状态。因此,在检测车辆周边的障碍物的情况下,灯具状态控制单元31向灯具装置40发送控制信号,以使灯具装置40暂时地熄灭。
图2是表示灯具装置40的点亮和熄灭的控制定时的图。图2(a)是表示摄像装置20的曝光定时的图,图2(b)是表示灯具装置的点亮/熄灭的定时的图。灯具状态控制单元31控制灯具装置40的熄灭定时,以使该定时与摄像装置20的曝光定时同步。即,在图2(a)中,在第N帧的曝光期间中,灯具装置40受到控制而为熄灭状态。这样,通过将灯具装置40熄灭以使灯具装置与摄像装置20的曝光定时同步,由此能够准确提取灯具装置40点亮时和熄灭时的影像信号之间的差分信息。
在本实施方式中,将灯具装置40熄灭相当于1帧的曝光期间的时间,但也可以将灯具装置40熄灭相当于多帧的曝光期间的时间。这里,如果将灯具装置40的熄灭期间加长,则能够获取相当于至少1帧的影像信号,因而不一定与摄像装置20的曝光定时取得同步,但是,当熄灭时间加长时,人能够察觉灯具装置40熄灭,其结果,夜间行驶中灯具装置40被识别为忽亮忽灭,因而优选灯具装置40的熄灭期间短。
灯具状态控制单元31根据摄像装置20的设置位置或车辆的行进方向来切换作为控制对象的灯具装置40。例如,在摄像装置20设置在车辆的前部的情况下,灯具状态控制单元31将设置在车辆前部的前照灯、车宽灯作为控制对象,在摄像装置20设置在车辆的后部的情况下,灯具状态控制单元31控制设置在车辆后部的尾灯、倒车灯、刹车灯、车宽灯。另外,在摄像装置20设置在车辆的多个部位的情况下,灯具状态控制单元31根据车辆的行进方向,切换作为控制对象的灯具装置40。例如,在车辆前进时,灯具状态控制单元31将在车辆前部设置的前照灯、车宽灯作为控制对象,在车辆倒车时,灯具状态控制单元31控制在车辆后部设置的尾灯、倒车灯、刹车灯、车宽灯。灯具状态控制单元31能够利用档位信息来检测车辆的行进方向。
灯具状态控制单元31将表示灯具装置40的状态(点亮/熄灭)的灯具状态信息,根据与来自摄像元件22的同步信号的定时相同的定时,发送到灯具状态存储单元33以及灯具状态变化判定单元32。灯具状态存储单元33存储一定期间的灯具状态信息。灯具状态变化判定单元32比较从灯具状态控制单元31输入的灯具状态信息和灯具状态存储单元33中存储的先前的灯具状态信息,检测灯具装置40的点亮状态是否发生变化(即,从点亮状态改变为熄灭状态或从熄灭状态改变为点亮状态)。灯具状态变化判定单元32在检测到灯具装置40的点亮状态发生变化时,向差分影像生成单元34发送该意向的信号。
差分影像生成单元34计算在灯具装置40点亮时以及熄灭时生成的影像信号之间的差分,并作为差分影像输出。图3是表示差分影像生成单元34中生成差分影像的情况的图。图3(a)是在灯具装置40熄灭时拍摄的图像,表示作为障碍物的人物52在道路50上行走。图3(b)是在灯具装置40点亮时拍摄得到的图像,表示人物52和道路50的一部分54被灯具装置40照射的状态。图3(c)是表示基于图3(a)以及(b)的图像,在差分影像生成单元34中计算出的差分影像的图像。由此,由于仅提取由灯具装置40照射的人物52和道路的一部分54,所以能够检测伴随灯具装置40的点亮状态的变化产生的影像信号的变化。
差分影像生成单元34在从灯具状态变化判定单元32输入了信号时(即,检测到灯具装置40的点亮状态发生了变化时),生成从摄像装置20输入的当前的帧的影像信号和影像数据存储单元35中存储的先前的帧的影像信号之间的差分影像。在影像数据存储单元35中存储有从摄像装置20输入的影像信号。
该影像数据存储单元35中所存储的影像信号和灯具状态存储单元33中所存储的灯具状态信息,彼此通过帧号信息而关联。因此,灯具状态存储单元33能够对于影像数据存储单元35中所存储的帧的影像存储其是否在灯具装置40点亮的状态下拍摄得到的信息。由此,差分影像生成单元34能够计算因灯具装置40的点亮/熄灭生成的影像之间的差分,并且能够消除误检测与灯具装置40的点亮/熄灭无关地生成的影像之间的差分(例如车辆或被拍摄体移动的情况)的顾虑。
差分阈值处理单元36对于构成在差分影像生成单元34中生成的差分影像的各像素的差分信息,进行差分阈值处理,输出阈值影像。这里,差分阈值处理是指,比较各像素的差分值和规定值DiffTH,在差分值大于阈值DiffTH的情况下,判定为有差分的像素(有差分像素),在小于阈值DiffTH的情况下,判定为没有差分的像素(无差分像素)的处理。通过将阈值DiffTH调整为恰当的值,能够除去由噪声引起的微少的差分、伴随被拍摄体和车辆的移动产生的微少的差分,因而能够可靠地检测反映了灯具装置40的点亮状态的变化的差分信息。
有差分像素提取单元37对于从差分阈值处理单元36输入的阈值影像,将影像帧中的障碍物的检测所需的区域确定为提取对象区域,提取该提取对象区域中的有差分像素。在本实施方式中,例如设定为检测距路面有一定值以上的高度的障碍物,有差分像素提取单元37检测影像中的水平线,将处于该水平线之上的区域作为提取对象区域。这里,对影像中的水平线的检测能够采用公知的方法。
图4是表示有差分像素提取单元37中提取有差分像素的情况的图。图4(a)是在灯具装置40熄灭时拍摄的影像帧,道路50上的行人52是障碍物。在图4(b)中,由作为灯具装置40的刹车灯照射道路50的一部分54以及行人52。
这里,在通过对图4(a)和(b)的差分影像进行差分阈值处理而得到的差分影像(图4(c))中,在刹车灯所照射的道路上的区域(未假定有障碍物的区域)也发生差分影像,所以有可能无法准确地检测障碍物。因此,在有差分像素提取单元37中,对图4(c)的差分影像,除去处于水平线H之下的区域,而提取在处于水平线H之上的区域(提取对象区域)中存在的有差分像素。
图4(d)是在水平线H之上的区域中提取的有差分像素,提取作为障碍物的行人52的头部56的区域中的有差分像素。另外,在不存在行人(障碍物)的情况下,在图4(c)中,有差分像素全部存在于水平线H之下的除去区域,因而不存在最终提取的有差分像素。
障碍物判定单元38基于有差分像素提取单元37中的提取结果,判定有无障碍物。例如,在从有差分像素提取单元37输出的阈值影像中存在有差分像素的情况下,判定为存在障碍物。
以下,使用图5的流程图,说明上述结构的障碍物检测装置的动作。首先,在摄像装置20中,对车辆周边进行拍摄,生成影像信号(S10)。生成的影像信号和帧号相关联而存储在影像数据存储单元35中。另外,灯具状态控制单元31接受来自摄像元件22的同步信号,将表示灯具装置40的控制状态的灯具状态信息与帧号相关联而存储在灯具状态存储单元33中(S11)。
这里,灯具状态变化判定单元32检测灯具装置40的点亮状态是否发生了变化(S12)。在灯具状态没有发生变化的情况下,再返回到步骤S10,重复进行与上述同样的动作。另一方面,在灯具的点亮状态发生了变化的情况下,差分影像生成单元34进行刚刚存储在影像数据存储单元中的帧的影像信号和来自摄像装置20的影像信号之间的差分处理,作为差分影像输出到差分阈值处理单元36(S13)。
差分阈值处理单元36判定来自差分影像生成单元34的差分影像中的各像素的差分值是否超过阈值,通过仅提取超过阈值的像素而生成阈值影像,并向有差分像素提取单元37发送该阈值影像(S14)。由此,能够仅提取灯具照射的区域的影像,并能够消除由噪声等引起的误检测的顾虑。
有差分像素提取单元37仅提取来自差分阈值处理单元36的阈值影像中的、仅超过规定高度的部分的像素信息,向障碍物判定单元38发送(S15)。由此,由于从被灯具装置40照射的区域中除去不存在障碍物的区域,所以能够消除误检测障碍物的顾虑。
障碍物判定单元38检测在来自有差分像素提取单元37的信号中是否包含有超过阈值的差分信息(S16)。如果包含,则判定为在灯具装置40的照射区域内中存在障碍物,并将障碍物检测结果发送到车内网络。由此,例如通过将表示存在障碍物的信息显示在驾驶座的显示器上,从而能够通知驾驶员存在障碍物。
另外,能够以对车辆周边存在的行人等通知存在车辆的用途而进行灯具装置40的控制。在由障碍物判定单元38判定为在车辆周边存在障碍物的情况下,灯具状态控制单元31控制灯具装置40以使其处于与通常不同的点亮状态。例如,使灯具装置40在一定时间内忽亮忽灭,或者使灯具装置40的照射强弱发生变化。由此,由于车辆周边的行人等能够识别车辆的照明状态的变化,而能够识别车辆正在接近。
根据上述实施方式的障碍物检测系统,通过利用在灯具装置点亮时以及熄灭时期间的影像之间的差分,能够在检测夜间等低照度状况下的车辆周边的障碍物,输出车辆周边的影像的同时,向驾驶员提示在影像中有无存在的障碍物,并能够同时对车辆周边警告车辆正接近。
以上,说明了本发明的实施方式的一实例,但本发明并不限于该实施方式。例如,在上述的实施方式中,进行影像仍为像素单位的处理,但也可以在缩小影像后进行处理。在该情况下,由于能够削减运算量,所以具有缩短检测时间或削减运算器数量的优点。
另外,在上述的实施方式中,有差分像素提取单元检测影像中的水平线,从而求得提取对象区域,但是,提取对象区域也可以与影像无关而被固定。另外,也可以在影像中不反映出水平线,而仅在水平线无法提取的情况下采用被固定的水平线。当车辆处于没有障碍物的水平的路面上时,在路面上灯具装置的照射范围到达的范围受到限制。若还考虑上述实施方式的差分阈值处理,则判定为在夜间来自路面的灯具装置的反射光拍摄所得的像素是有差分像素的距离受到限制。因而,可以考虑灯具装置的照射角度以及照射强度、假定的夜间的暗度、以及差分阈值处理中的阈值等而设定被固定的水平线的位置。
另外,在上述实施方式中,作为灯具装置,举出前照灯、车宽灯、尾灯、倒车灯、刹车灯等原本在车辆上搭载的灯具进行了说明,但作为灯具装置并不限于此。例如,也可以是为了在夜间辅助车辆周边的识别性而搭载的辅助灯具,也可以是为了检测障碍物而另外搭载便宜的灯具。
在上述实施方式中,包括判定灯具状态的变化的灯具状态变化判定单元,但也可以省略该灯具状态变化判定单元。在该情况下,例如可以从灯具状态控制单元直接将灯具状态信息发送到差分影像生成单元34,并且,在差分影像生成单元34中检测到灯具状态变化时,生成差分影像。另外,也可以使影像数据存储单元35中所存储的影像信号包含拍摄时的灯具状态的信息,在该情况下,能够省略灯具状态存储单元。
另外,在上述实施方式中,摄像装置(摄像机)和障碍物检测装置为不同的构件,整体上构成障碍物检测系统,但是,摄像装置和障碍物检测装置也可以一体地构成。在本申请中,将这样一体地构成摄像装置和障碍物检测装置的系统也称为障碍物检测系统。
以上说明了当前所考虑的本发明的优选的实施方式,但应该理解,能够对于本实施方式进行各种变形,并且,权利要求书包括在本发明的精神和范围内的所有变形。
工业实用性
如上所述,本发明的障碍物检测系统,使用车辆上具备的灯具装置来检测车辆周边的障碍物,因而具有不另外需要除摄像装置以外的传感器,在低照度的状态下也能够检测车辆周边的障碍物这样优良的效果,作为用在低照度的环境下检测车辆周边的障碍物的障碍物检测系统等是有用的。