CN102971776B - 障碍物检测系统以及方法、障碍物检测装置 - Google Patents

障碍物检测系统以及方法、障碍物检测装置 Download PDF

Info

Publication number
CN102971776B
CN102971776B CN201080067919.2A CN201080067919A CN102971776B CN 102971776 B CN102971776 B CN 102971776B CN 201080067919 A CN201080067919 A CN 201080067919A CN 102971776 B CN102971776 B CN 102971776B
Authority
CN
China
Prior art keywords
lamp device
barrier
camera head
vehicle
differential images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080067919.2A
Other languages
English (en)
Other versions
CN102971776A (zh
Inventor
村松洋一
竹内大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102971776A publication Critical patent/CN102971776A/zh
Application granted granted Critical
Publication of CN102971776B publication Critical patent/CN102971776B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Abstract

障碍物检测系统(10)具有:摄像装置(20),对车辆周边进行拍摄而输出影像信号;障碍物检测装置(30),从影像信号检测有无障碍物;以及灯具装置(40),搭载在车辆上。在障碍物检测装置(30)中,灯具状态控制单元(31)控制灯具装置(40)的点亮/熄灭。在灯具装置(40)的点亮状态发生了变化时,差分影像生成单元(34)生成摄像装置(20)所输出的影像信号和影像数据存储单元(35)所存储的先前的帧的影像信号之间的差分影像。障碍物判定单元(38)基于差分影像判定有无障碍物。

Description

障碍物检测系统以及方法、障碍物检测装置
技术领域
本发明涉及障碍物检测系统,特别涉及在低照度的状况下可检测在车辆周边存在的障碍物的障碍物检测系统。
背景技术
近年来,以辅助汽车的安全驾驶为目的,车载摄像机被广泛应用。例如,利用在车辆的后方设置的摄像装置拍摄车辆后方的图像,并将所拍摄的图像显示在驾驶座上设置的显示器上,由此,驾驶员在车辆倒车时能够识别在车辆后方有无行人或立体物等障碍物。
这里,在夜间等低照度的环境下,通过车载摄像机得到的图像变暗,成为不鲜明的图像的情况居多。因此,观察在显示器上显示的图像的驾驶员难以识别有无障碍物,漏看障碍物的可能性高。因此,在专利文献1记载的停车辅助装置中,公开了如下发明,即,通过同时使用拍摄车辆后方的摄像机和采用了超声波、电波、激光等的传感器,并在低照度的状况下利用来自传感器的信号,从而能够检测有无障碍物。
现有技术文献
专利文献
专利文献1:日本特开2002-29345号公报
发明内容
发明所要解决的问题
但是,在上述专利文献记载的方法中,存在如下问题,即,需要与摄像机分开设置的传感器而增加装置整体的成本,并且用于配置摄像机和传感器这两者的布线等变得复杂。另外,近年来,为了能够在宽范围内检测有无障碍物,有使用鱼眼镜头等广角镜头的趋势,为了能够用传感器对与该广角的图像同等的区域进行扫描而需要多个传感器,因此成为导致成本进一步增加的主要原因。
本发明在上述背景下完成。本发明的目的在于,提供不另外需要除摄像机以外的传感器,并在低照度的环境下也能够可靠地检测车辆周边的障碍物的障碍物检测系统以及方法。
用于解决问题的方案
本发明的一个形态是障碍物检测系统。该障碍物检测系统具有:摄像装置,对车辆的周边进行拍摄而生成影像信息;障碍物检测装置,基于影像信息来检测车辆附近的障碍物;以及灯具装置,搭载在车辆上;障碍物检测装置包括:灯具控制单元,控制灯具装置的点亮状态;差分影像生成单元,生成在灯具装置点亮时由摄像装置生成的影像信息和在灯具装置熄灭时由摄像装置所生成的影像信息之间的差分影像;以及障碍物判定单元,基于差分影像中所包含的影像,判定有无障碍物,在所述差分影像中的水平线的上侧的区域检测到超过阈值的差分信息时,所述障碍物判定单元判定为存在所述障碍物。
本发明的另一形态是障碍物检测方法。该障碍物检测方法包括:由摄像装置对车辆的周边进行拍摄而生成影像信息的步骤;控制车辆上所搭载的灯具装置的点亮状态的步骤;生成在灯具装置点亮时由摄像装置生成的影像信息和在灯具装置熄灭时由摄像装置生成的影像信息之间的差分影像的步骤;基于差分影像中所包含的影像判定有无障碍物的步骤,在判定有无所述障碍物的步骤中,在所述差分影像中的水平线的上侧的区域检测到超过阈值的差分信息时,判定为存在所述障碍物。
本发明的另一形态是障碍物检测装置。该障碍物检测装置基于在摄像装置中生成的车辆周边的影像信息,检测所述车辆附近的障碍物,包括:灯具控制单元,控制在所述车辆上搭载的灯具装置的点亮状态;差分影像生成单元,生成在所述灯具装置点亮时由所述摄像装置生成的影像信息和在所述灯具装置熄灭时由所述摄像装置生成的影像信息之间的差分影像;以及障碍物判定单元,基于所述差分影像中所包含的影像判定有无所述障碍物,在所述差分影像中的水平线的上侧的区域检测到超过阈值的差分信息时,所述障碍物判定单元判定为存在所述障碍物。
如以下说明那样,本发明存在其他形态。因此,本发明的公开中,意图是提供本发明的一部分形态,而并不意图限制在此记述请求的发明的范围。
附图说明
图1是表示本发明的一实施方式的障碍物检测系统的结构的框图。
图2是表示灯具装置的控制定时的一实例的定时图。
图3(a)是表示灯具装置熄灭时的拍摄图像的一实例的说明图。
图3(b)是表示灯具装置点亮时的拍摄图像的一实例的说明图。
图3(c)是表示差分图像的一实例的说明图。
图4(a)是表示灯具装置熄灭时的拍摄图像的一实例的说明图。
图4(b)是表示灯具装置点亮时的拍摄图像的一实例的说明图。
图4(c)是表示有差分图像的一个例子的说明图。
图4(d)是表示有差分图像的提取结果的说明图。
图5是表示障碍物检测系统的动作的流程图。
标号说明
10  障碍物检测系统
20  摄像装置
22  摄像元件
30  障碍物检测装置
31  灯具状态控制单元
32  灯具状态变化判定单元
33  灯具状态存储单元
34  差分影像生成单元
35  影像数据存储单元
36  差分阈值处理单元
37  有差分像素提取单元
38  障碍物判定单元
40  灯具装置
具体实施方式
以下对本发明进行详细说明。但是,以下的详细说明和附图并不限定发明。
本发明的障碍物检测系统包括:摄像装置,对车辆的周边进行拍摄而生成影像信息;障碍物检测装置,基于影像信息检测车辆附近的障碍物;以及灯具装置,搭载在车辆上,障碍物检测装置包括:灯具控制单元,控制灯具装置的点亮状态;差分影像生成单元,生成在灯具装置点亮时由摄像装置生成的影像信息和在灯具装置熄灭时由摄像装置生成的影像信息之间的差分影像;以及障碍物判定单元,基于差分影像中所包含的影像,判定有无障碍物。
根据该结构,能够使用车辆上装备的灯具装置进行障碍物的检测,并且无需除摄像机之外的传感器,即使在低照度环境下也能够可靠地检测障碍物。由此,能够廉价提供障碍物检测系统。
本发明的障碍物检测系统也可以包括:灯具状态变化判定单元,判定灯具装置的点亮状态的变化;以及影像数据存储单元,存储从摄像装置发送的影像信息。在灯具状态变化判定单元判定为灯具装置的点亮状态发生了变化时,该差分影像生成单元生成从摄像装置发送的影像信息和影像数据存储单元中所存储的影像信息之间的差分影像。
根据该结构,由于能够获取灯具装置的点亮状态发生变化的前后的影像信息,生成差分信息,所以能够降低由被拍摄体的移动导致误检测的顾虑。
在本发明的障碍物检测系统中,灯具控制单元在摄像装置中的各拍摄帧的拍摄期间之间,使灯具装置的点亮状态变化。根据该结构,由于能够在例如灯具装置熄灭的期间,在摄像装置中获取影像信息,所以能够可靠地提取在灯具装置点亮时和熄灭时的影像信号之间的差分信息。
在本发明的障碍物检测系统中,灯具装置根据车辆上设置的摄像装置的位置或根据车辆的行驶方向来确定。根据该结构,由于能够检测与拍摄范围或车辆的行驶方向相对应的障碍物,所以能够提高障碍物检测的精度。
在本发明的障碍物检测系统中,在差分影像中的水平线的上侧的区域中检测出超过阈值的差分信息时,障碍物判定单元判定为存在障碍物。根据该结构,能够消除例如对虽不存在障碍物,但对由灯具装置照射的区域误检测出障碍物的顾虑。
在本发明的障碍物检测系统中,在判定为存在障碍物时,灯具控制单元使灯具装置的点亮状态变化。根据该结构,在例如障碍物是行人的情况下,能够对该行人通知车辆在靠近。
本发明的障碍物检测方法包括:对车辆的周边进行拍摄而生成影像信息的步骤;控制车辆上搭载的灯具装置的点亮状态的步骤;生成在灯具装置点亮时由摄像装置生成的影像信息和在灯具装置熄灭时由摄像装置生成的影像信息之间的差分影像的步骤;基于差分影像中所包含的影像判定有无障碍物的步骤。根据该结构,如上所述,能够使用车辆上装备的灯具装置进行障碍物的检测,无需除摄像机以外的传感器,而即使在低照度的环境下也能够可靠地检测障碍物。
本发明的障碍物检测装置,基于摄像装置所生成的车辆的周边的影像信息检测车辆附近的障碍物,包括:灯具控制单元,控制车辆上搭载的灯具装置的点亮状态;差分影像生成单元,生成在灯具装置点亮时由摄像装置生成的影像信息和在灯具装置熄灭时由摄像装置生成的影像信息之间的差分影像;以及障碍物判定单元,基于差分影像中所包含的影像判定有无障碍物。根据该结构,如上述所述,能够使用车辆上所装备的灯具装置进行障碍物的检测,无需除摄像机以外的传感器,而即使在低照度的环境下也能够可靠地检测障碍物。
以下,利用附图说明本发明的实施方式的障碍物检测系统。图1是表示本发明的一实施方式的障碍物检测系统的结构的框图。障碍物检测系统10包括:摄像装置20,对被拍摄体进行拍摄而输出影像信号;障碍物检测装置30,检测有无障碍物;以及灯具装置40,搭载在车辆上。
摄像装置20以规定角度安装在例如车辆前侧或后侧的汽车牌照的周边的规定位置上,并具有被配置在光路上的拍摄透镜21、摄像元件22、A/D变换器23以及信号处理单元24,该摄像装置20对车辆周边的被拍摄体进行拍摄而生成影像信号。拍摄透镜21使来自被拍摄体的光成像在摄像元件22上。摄像元件22是例如CCD或CMOS的固体摄像元件,将由拍摄透镜21成像的被拍摄体光进行光电变换而输出模拟信号。A/D变换器23将从摄像元件22输出的模拟信号变换为数字信号。信号处理单元24通过对于来自A/D变换器23的数字信号进行公知的信号处理,生成并输出亮度信号、色差信号、光圈信号(aperture signal)。另外,信号处理单元24进行减去与黑电平(level)相当的信号成分的OB(Optical Black;光学黑体)减法、白平衡调整、噪声处理这样的公知的影像信号处理。
障碍物检测装置30包括灯具状态控制单元31、灯具状态变化判定单元32、灯具状态存储单元33、差分影像生成单元34、影像数据存储单元35、差分阈值处理单元36、有差分像素提取单元37、以及障碍物判定单元38。
障碍物检测装置30被输入来自摄像元件22的同步信号及来自信号处理单元24的影像信号,以及从车辆主体输入的档位信息,基于在灯具装置40点亮时以及熄灭时的影像信号的差分信息,检测在车辆的周边存在的障碍物。这里,摄像元件22的同步信号是表示在摄像元件22进行曝光动作的定时的信号,根据该同步信号的定时,从摄像装置20输出影像信号。档位信息是表示所选择的档位的信息。
在本实施方式中,灯具装置40是在车辆上标准地搭载的灯具,例如是前照灯、尾灯、倒车灯、刹车灯、车宽灯,接收来自后述的灯具状态控制单元31的控制信号来进行点亮/熄灭的控制。此外,在本实施方式中,采用由障碍物检测装置30直接控制灯具装置40的结构,但是,也可以经由发动机控制单元来连接障碍物检测装置30和灯具装置40。另外,控制信号和档位信息的传递能够经由例如CAN(Controller Area Network;控制器局域网)、LIN(Local Interconnect Network;本地互联网)这样的车载网络来进行。
灯具状态控制单元31控制灯具装置40的点亮状态,并且被输入来自摄像元件22的同步信号。由于本实施方式的障碍物检测系统假定在夜间使用,所以灯具装置40基本上处于点亮状态。因此,在检测车辆周边的障碍物的情况下,灯具状态控制单元31向灯具装置40发送控制信号,以使灯具装置40暂时地熄灭。
图2是表示灯具装置40的点亮和熄灭的控制定时的图。图2(a)是表示摄像装置20的曝光定时的图,图2(b)是表示灯具装置的点亮/熄灭的定时的图。灯具状态控制单元31控制灯具装置40的熄灭定时,以使该定时与摄像装置20的曝光定时同步。即,在图2(a)中,在第N帧的曝光期间中,灯具装置40受到控制而为熄灭状态。这样,通过将灯具装置40熄灭以使灯具装置与摄像装置20的曝光定时同步,由此能够准确提取灯具装置40点亮时和熄灭时的影像信号之间的差分信息。
在本实施方式中,将灯具装置40熄灭相当于1帧的曝光期间的时间,但也可以将灯具装置40熄灭相当于多帧的曝光期间的时间。这里,如果将灯具装置40的熄灭期间加长,则能够获取相当于至少1帧的影像信号,因而不一定与摄像装置20的曝光定时取得同步,但是,当熄灭时间加长时,人能够察觉灯具装置40熄灭,其结果,夜间行驶中灯具装置40被识别为忽亮忽灭,因而优选灯具装置40的熄灭期间短。
灯具状态控制单元31根据摄像装置20的设置位置或车辆的行进方向来切换作为控制对象的灯具装置40。例如,在摄像装置20设置在车辆的前部的情况下,灯具状态控制单元31将设置在车辆前部的前照灯、车宽灯作为控制对象,在摄像装置20设置在车辆的后部的情况下,灯具状态控制单元31控制设置在车辆后部的尾灯、倒车灯、刹车灯、车宽灯。另外,在摄像装置20设置在车辆的多个部位的情况下,灯具状态控制单元31根据车辆的行进方向,切换作为控制对象的灯具装置40。例如,在车辆前进时,灯具状态控制单元31将在车辆前部设置的前照灯、车宽灯作为控制对象,在车辆倒车时,灯具状态控制单元31控制在车辆后部设置的尾灯、倒车灯、刹车灯、车宽灯。灯具状态控制单元31能够利用档位信息来检测车辆的行进方向。
灯具状态控制单元31将表示灯具装置40的状态(点亮/熄灭)的灯具状态信息,根据与来自摄像元件22的同步信号的定时相同的定时,发送到灯具状态存储单元33以及灯具状态变化判定单元32。灯具状态存储单元33存储一定期间的灯具状态信息。灯具状态变化判定单元32比较从灯具状态控制单元31输入的灯具状态信息和灯具状态存储单元33中存储的先前的灯具状态信息,检测灯具装置40的点亮状态是否发生变化(即,从点亮状态改变为熄灭状态或从熄灭状态改变为点亮状态)。灯具状态变化判定单元32在检测到灯具装置40的点亮状态发生变化时,向差分影像生成单元34发送该意向的信号。
差分影像生成单元34计算在灯具装置40点亮时以及熄灭时生成的影像信号之间的差分,并作为差分影像输出。图3是表示差分影像生成单元34中生成差分影像的情况的图。图3(a)是在灯具装置40熄灭时拍摄的图像,表示作为障碍物的人物52在道路50上行走。图3(b)是在灯具装置40点亮时拍摄得到的图像,表示人物52和道路50的一部分54被灯具装置40照射的状态。图3(c)是表示基于图3(a)以及(b)的图像,在差分影像生成单元34中计算出的差分影像的图像。由此,由于仅提取由灯具装置40照射的人物52和道路的一部分54,所以能够检测伴随灯具装置40的点亮状态的变化产生的影像信号的变化。
差分影像生成单元34在从灯具状态变化判定单元32输入了信号时(即,检测到灯具装置40的点亮状态发生了变化时),生成从摄像装置20输入的当前的帧的影像信号和影像数据存储单元35中存储的先前的帧的影像信号之间的差分影像。在影像数据存储单元35中存储有从摄像装置20输入的影像信号。
该影像数据存储单元35中所存储的影像信号和灯具状态存储单元33中所存储的灯具状态信息,彼此通过帧号信息而关联。因此,灯具状态存储单元33能够对于影像数据存储单元35中所存储的帧的影像存储其是否在灯具装置40点亮的状态下拍摄得到的信息。由此,差分影像生成单元34能够计算因灯具装置40的点亮/熄灭生成的影像之间的差分,并且能够消除误检测与灯具装置40的点亮/熄灭无关地生成的影像之间的差分(例如车辆或被拍摄体移动的情况)的顾虑。
差分阈值处理单元36对于构成在差分影像生成单元34中生成的差分影像的各像素的差分信息,进行差分阈值处理,输出阈值影像。这里,差分阈值处理是指,比较各像素的差分值和规定值DiffTH,在差分值大于阈值DiffTH的情况下,判定为有差分的像素(有差分像素),在小于阈值DiffTH的情况下,判定为没有差分的像素(无差分像素)的处理。通过将阈值DiffTH调整为恰当的值,能够除去由噪声引起的微少的差分、伴随被拍摄体和车辆的移动产生的微少的差分,因而能够可靠地检测反映了灯具装置40的点亮状态的变化的差分信息。
有差分像素提取单元37对于从差分阈值处理单元36输入的阈值影像,将影像帧中的障碍物的检测所需的区域确定为提取对象区域,提取该提取对象区域中的有差分像素。在本实施方式中,例如设定为检测距路面有一定值以上的高度的障碍物,有差分像素提取单元37检测影像中的水平线,将处于该水平线之上的区域作为提取对象区域。这里,对影像中的水平线的检测能够采用公知的方法。
图4是表示有差分像素提取单元37中提取有差分像素的情况的图。图4(a)是在灯具装置40熄灭时拍摄的影像帧,道路50上的行人52是障碍物。在图4(b)中,由作为灯具装置40的刹车灯照射道路50的一部分54以及行人52。
这里,在通过对图4(a)和(b)的差分影像进行差分阈值处理而得到的差分影像(图4(c))中,在刹车灯所照射的道路上的区域(未假定有障碍物的区域)也发生差分影像,所以有可能无法准确地检测障碍物。因此,在有差分像素提取单元37中,对图4(c)的差分影像,除去处于水平线H之下的区域,而提取在处于水平线H之上的区域(提取对象区域)中存在的有差分像素。
图4(d)是在水平线H之上的区域中提取的有差分像素,提取作为障碍物的行人52的头部56的区域中的有差分像素。另外,在不存在行人(障碍物)的情况下,在图4(c)中,有差分像素全部存在于水平线H之下的除去区域,因而不存在最终提取的有差分像素。
障碍物判定单元38基于有差分像素提取单元37中的提取结果,判定有无障碍物。例如,在从有差分像素提取单元37输出的阈值影像中存在有差分像素的情况下,判定为存在障碍物。
以下,使用图5的流程图,说明上述结构的障碍物检测装置的动作。首先,在摄像装置20中,对车辆周边进行拍摄,生成影像信号(S10)。生成的影像信号和帧号相关联而存储在影像数据存储单元35中。另外,灯具状态控制单元31接受来自摄像元件22的同步信号,将表示灯具装置40的控制状态的灯具状态信息与帧号相关联而存储在灯具状态存储单元33中(S11)。
这里,灯具状态变化判定单元32检测灯具装置40的点亮状态是否发生了变化(S12)。在灯具状态没有发生变化的情况下,再返回到步骤S10,重复进行与上述同样的动作。另一方面,在灯具的点亮状态发生了变化的情况下,差分影像生成单元34进行刚刚存储在影像数据存储单元中的帧的影像信号和来自摄像装置20的影像信号之间的差分处理,作为差分影像输出到差分阈值处理单元36(S13)。
差分阈值处理单元36判定来自差分影像生成单元34的差分影像中的各像素的差分值是否超过阈值,通过仅提取超过阈值的像素而生成阈值影像,并向有差分像素提取单元37发送该阈值影像(S14)。由此,能够仅提取灯具照射的区域的影像,并能够消除由噪声等引起的误检测的顾虑。
有差分像素提取单元37仅提取来自差分阈值处理单元36的阈值影像中的、仅超过规定高度的部分的像素信息,向障碍物判定单元38发送(S15)。由此,由于从被灯具装置40照射的区域中除去不存在障碍物的区域,所以能够消除误检测障碍物的顾虑。
障碍物判定单元38检测在来自有差分像素提取单元37的信号中是否包含有超过阈值的差分信息(S16)。如果包含,则判定为在灯具装置40的照射区域内中存在障碍物,并将障碍物检测结果发送到车内网络。由此,例如通过将表示存在障碍物的信息显示在驾驶座的显示器上,从而能够通知驾驶员存在障碍物。
另外,能够以对车辆周边存在的行人等通知存在车辆的用途而进行灯具装置40的控制。在由障碍物判定单元38判定为在车辆周边存在障碍物的情况下,灯具状态控制单元31控制灯具装置40以使其处于与通常不同的点亮状态。例如,使灯具装置40在一定时间内忽亮忽灭,或者使灯具装置40的照射强弱发生变化。由此,由于车辆周边的行人等能够识别车辆的照明状态的变化,而能够识别车辆正在接近。
根据上述实施方式的障碍物检测系统,通过利用在灯具装置点亮时以及熄灭时期间的影像之间的差分,能够在检测夜间等低照度状况下的车辆周边的障碍物,输出车辆周边的影像的同时,向驾驶员提示在影像中有无存在的障碍物,并能够同时对车辆周边警告车辆正接近。
以上,说明了本发明的实施方式的一实例,但本发明并不限于该实施方式。例如,在上述的实施方式中,进行影像仍为像素单位的处理,但也可以在缩小影像后进行处理。在该情况下,由于能够削减运算量,所以具有缩短检测时间或削减运算器数量的优点。
另外,在上述的实施方式中,有差分像素提取单元检测影像中的水平线,从而求得提取对象区域,但是,提取对象区域也可以与影像无关而被固定。另外,也可以在影像中不反映出水平线,而仅在水平线无法提取的情况下采用被固定的水平线。当车辆处于没有障碍物的水平的路面上时,在路面上灯具装置的照射范围到达的范围受到限制。若还考虑上述实施方式的差分阈值处理,则判定为在夜间来自路面的灯具装置的反射光拍摄所得的像素是有差分像素的距离受到限制。因而,可以考虑灯具装置的照射角度以及照射强度、假定的夜间的暗度、以及差分阈值处理中的阈值等而设定被固定的水平线的位置。
另外,在上述实施方式中,作为灯具装置,举出前照灯、车宽灯、尾灯、倒车灯、刹车灯等原本在车辆上搭载的灯具进行了说明,但作为灯具装置并不限于此。例如,也可以是为了在夜间辅助车辆周边的识别性而搭载的辅助灯具,也可以是为了检测障碍物而另外搭载便宜的灯具。
在上述实施方式中,包括判定灯具状态的变化的灯具状态变化判定单元,但也可以省略该灯具状态变化判定单元。在该情况下,例如可以从灯具状态控制单元直接将灯具状态信息发送到差分影像生成单元34,并且,在差分影像生成单元34中检测到灯具状态变化时,生成差分影像。另外,也可以使影像数据存储单元35中所存储的影像信号包含拍摄时的灯具状态的信息,在该情况下,能够省略灯具状态存储单元。
另外,在上述实施方式中,摄像装置(摄像机)和障碍物检测装置为不同的构件,整体上构成障碍物检测系统,但是,摄像装置和障碍物检测装置也可以一体地构成。在本申请中,将这样一体地构成摄像装置和障碍物检测装置的系统也称为障碍物检测系统。
以上说明了当前所考虑的本发明的优选的实施方式,但应该理解,能够对于本实施方式进行各种变形,并且,权利要求书包括在本发明的精神和范围内的所有变形。
工业实用性
如上所述,本发明的障碍物检测系统,使用车辆上具备的灯具装置来检测车辆周边的障碍物,因而具有不另外需要除摄像装置以外的传感器,在低照度的状态下也能够检测车辆周边的障碍物这样优良的效果,作为用在低照度的环境下检测车辆周边的障碍物的障碍物检测系统等是有用的。

Claims (8)

1.障碍物检测系统,具有:摄像装置,对车辆的周边进行拍摄而生成影像信息;障碍物检测装置,基于所述影像信息检测所述车辆附近的障碍物;以及灯具装置,搭载在所述车辆上,其特征在于,
所述障碍物检测装置包括:
灯具控制单元,控制所述灯具装置的点亮状态;
差分影像生成单元,生成在所述灯具装置点亮时由所述摄像装置生成的影像信息和在所述灯具装置熄灭时由所述摄像装置生成的影像信息之间的差分影像;以及
障碍物判定单元,基于所述差分影像中所包含的影像,判定有无所述障碍物,
在所述差分影像中的水平线的上侧的区域检测到超过阈值的差分信息时,所述障碍物判定单元判定为存在所述障碍物。
2.权利要求1所述的障碍物检测系统,其特征在于,
所述障碍物检测装置还包括:灯具状态变化判定单元,判定所述灯具装置的点亮状态的变化;以及影像数据存储单元,存储从所述摄像装置发送的所述影像信息,
在所述灯具状态变化判定单元判定为所述灯具装置的点亮状态发生了变化时,所述差分影像生成单元生成从所述摄像装置发送的所述影像信息和所述影像数据存储单元中所存储的所述影像信息之间的差分影像。
3.权利要求1所述的障碍物检测系统,其特征在于,
在所述摄像装置中的各拍摄帧的拍摄期间之间,所述灯具控制单元使所述灯具装置的点亮状态变化。
4.权利要求1所述的障碍物检测系统,其特征在于,
所述灯具装置根据所述车辆上设置的所述摄像装置的位置来确定。
5.权利要求1所述的障碍物检测系统,其特征在于,
所述灯具装置根据所述车辆的行驶方向来确定。
6.权利要求1所述的障碍物检测系统,其特征在于,
在判定为存在所述障碍物时,所述灯具控制单元使所述灯具装置的点亮状态变化。
7.障碍物检测方法,包括:
由摄像装置对车辆的周边进行拍摄而生成影像信息的步骤;
控制所述车辆上搭载的灯具装置的点亮状态的步骤;
生成在所述灯具装置点亮时由所述摄像装置生成的影像信息和在所述灯具装置熄灭时由所述摄像装置生成的影像信息之间的差分影像的步骤;以及
基于所述差分影像中所包含的影像判定有无所述障碍物的步骤,
在判定有无所述障碍物的步骤中,在所述差分影像中的水平线的上侧的区域检测到超过阈值的差分信息时,判定为存在所述障碍物。
8.障碍物检测装置,基于在摄像装置中生成的车辆周边的影像信息,检测所述车辆附近的障碍物,其特征在于,包括:
灯具控制单元,控制在所述车辆上搭载的灯具装置的点亮状态;
差分影像生成单元,生成在所述灯具装置点亮时由所述摄像装置生成的影像信息和在所述灯具装置熄灭时由所述摄像装置生成的影像信息之间的差分影像;以及
障碍物判定单元,基于所述差分影像中所包含的影像判定有无所述障碍物,
在所述差分影像中的水平线的上侧的区域检测到超过阈值的差分信息时,所述障碍物判定单元判定为存在所述障碍物。
CN201080067919.2A 2010-07-29 2010-11-26 障碍物检测系统以及方法、障碍物检测装置 Active CN102971776B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-170442 2010-07-29
JP2010170442A JP5629521B2 (ja) 2010-07-29 2010-07-29 障害物検知システム及び方法、障害物検知装置
PCT/JP2010/006925 WO2012014266A1 (ja) 2010-07-29 2010-11-26 障害物検知システム及び方法、障害物検知装置

Publications (2)

Publication Number Publication Date
CN102971776A CN102971776A (zh) 2013-03-13
CN102971776B true CN102971776B (zh) 2015-09-16

Family

ID=45529514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080067919.2A Active CN102971776B (zh) 2010-07-29 2010-11-26 障碍物检测系统以及方法、障碍物检测装置

Country Status (5)

Country Link
US (1) US20130088598A1 (zh)
EP (1) EP2600327A4 (zh)
JP (1) JP5629521B2 (zh)
CN (1) CN102971776B (zh)
WO (1) WO2012014266A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012018118A1 (de) * 2012-09-13 2014-03-13 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Frontkamera eines Kraftfahrzeugs unter Berücksichtigung des Lichts des Scheinwerfers, entsprechende Vorrichtung und Kraftfahrzeug
JP6081250B2 (ja) * 2013-03-21 2017-02-15 アルパイン株式会社 運転支援装置および運転支援処理の制御方法
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
JP2015009570A (ja) * 2013-06-26 2015-01-19 富士重工業株式会社 前照灯制御装置
KR101723401B1 (ko) * 2013-08-12 2017-04-18 주식회사 만도 야간 카메라 영상 저장 장치 및 그 영상 저장 방법
JP2016203836A (ja) * 2015-04-24 2016-12-08 日立建機株式会社 車両及び鉱山用運搬車両の運用システム
EP3136291A1 (de) * 2015-08-31 2017-03-01 Continental Automotive GmbH Verfahren und vorrichtung zur erkennung von objekten bei dunkelheit mittels einer fahrzeugkamera und einer fahrzeugbeleuchtung
WO2018173715A1 (ja) * 2017-03-21 2018-09-27 コニカミノルタ株式会社 照明撮像装置
JP2019055756A (ja) * 2017-09-22 2019-04-11 トヨタ自動車株式会社 車両用認知支援装置
JP7252755B2 (ja) 2018-12-27 2023-04-05 株式会社小糸製作所 アクティブセンサ、物体識別システム、車両、車両用灯具
CN116068956B (zh) * 2023-03-07 2023-07-14 深圳华龙讯达信息技术股份有限公司 基于plc的生产线过程监视系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011671A (ja) * 2004-06-24 2006-01-12 Alpine Electronics Inc 車載周辺状況検出装置
CN101022563A (zh) * 2006-02-14 2007-08-22 高田株式会社 对象物检测系统、工作装置控制系统、车辆
CN101081608A (zh) * 2006-05-31 2007-12-05 爱信艾达株式会社 驾驶支援方法以及驾驶支援装置
CN101211473A (zh) * 2006-12-26 2008-07-02 上海乐金广电电子有限公司 车辆事故信息存储装置及后方监视装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3714116B2 (ja) * 1999-08-09 2005-11-09 トヨタ自動車株式会社 操縦安定性制御装置
JP3906892B2 (ja) * 2000-07-14 2007-04-18 三菱自動車工業株式会社 駐車支援装置
JP2002189075A (ja) * 2000-12-20 2002-07-05 Fujitsu Ten Ltd 道路上方静止物検知方法
WO2006118076A1 (ja) * 2005-04-28 2006-11-09 Aisin Seiki Kabushiki Kaisha 車両周辺監視システム
JP4732371B2 (ja) * 2007-01-12 2011-07-27 富士通テン株式会社 周辺監視装置及び周辺監視方法
US8184159B2 (en) * 2007-03-26 2012-05-22 Trw Automotive U.S. Llc Forward looking sensor system
EP2674323B1 (en) * 2007-04-30 2018-07-11 Mobileye Vision Technologies Ltd. Rear obstruction detection
JP4775391B2 (ja) * 2008-03-18 2011-09-21 株式会社デンソー 障害物検出装置
JP5180641B2 (ja) * 2008-03-25 2013-04-10 富士重工業株式会社 車両用運転支援装置
JP5437855B2 (ja) * 2010-03-02 2014-03-12 パナソニック株式会社 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011671A (ja) * 2004-06-24 2006-01-12 Alpine Electronics Inc 車載周辺状況検出装置
CN101022563A (zh) * 2006-02-14 2007-08-22 高田株式会社 对象物检测系统、工作装置控制系统、车辆
CN101081608A (zh) * 2006-05-31 2007-12-05 爱信艾达株式会社 驾驶支援方法以及驾驶支援装置
CN101211473A (zh) * 2006-12-26 2008-07-02 上海乐金广电电子有限公司 车辆事故信息存储装置及后方监视装置

Also Published As

Publication number Publication date
WO2012014266A1 (ja) 2012-02-02
EP2600327A4 (en) 2015-08-05
JP2012032921A (ja) 2012-02-16
CN102971776A (zh) 2013-03-13
EP2600327A1 (en) 2013-06-05
US20130088598A1 (en) 2013-04-11
JP5629521B2 (ja) 2014-11-19

Similar Documents

Publication Publication Date Title
CN102971776B (zh) 障碍物检测系统以及方法、障碍物检测装置
JP4853389B2 (ja) 顔画像撮像装置
CN103303205B (zh) 车辆周围监视装置
WO2016092537A1 (en) Object detection enhancement of reflection-based imaging unit
US20090219386A1 (en) Pupil detection device and pupil detection method
CN103249597A (zh) 车辆配光控制装置以及方法
JP2009276849A (ja) 運転者撮像装置および運転者撮像方法
JP2012080517A (ja) イメージ獲得ユニット、方法及び連関付けられた制御ユニット{imageacquisitionunit、acquisitionmethodandassociatedcontrolunit}
JP2008276328A (ja) 顔画像撮像装置
JP2011178301A (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
JP5772714B2 (ja) 灯火検出装置及び車両制御システム
JP2004104646A (ja) 車載用画像処理装置
JP4927647B2 (ja) 車両周辺監視装置
JP4731177B2 (ja) 車両の赤外線撮影表示装置及び赤外線撮影表示方法
JP2007015660A (ja) 赤外画像撮像装置
JP4782491B2 (ja) 撮像装置
JP2006252363A (ja) 車両周囲物体検出装置、および車両周囲物体検出方法
CN109987025A (zh) 用于夜晚环境的车辆驾驶辅助系统及方法
EP2698743B1 (en) Driver assisting system and method for a motor vehicle
WO2008078187A2 (en) On-vehicle night vision device and on-vehicle night vision method
US20230252660A1 (en) Image-capturing apparatus for vehicle
RU2746614C1 (ru) Способ подавления встречной засветки при формировании изображений дорожного окружения перед транспортным средством и устройство для осуществления способа
JP2010260380A (ja) 車両用監視システム
JP2005117136A (ja) 車両用物体検出装置
JP3929420B2 (ja) 車両用光量検出装置及び車両用照明制御装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20151112

Address after: Osaka Japan

Patentee after: PANASONIC INTELLECTUAL PROPERTY MANAGEMENT Co.,Ltd.

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.