CN1619584A - 车辆周围环境监控设备及其方法 - Google Patents

车辆周围环境监控设备及其方法 Download PDF

Info

Publication number
CN1619584A
CN1619584A CNA2004100949516A CN200410094951A CN1619584A CN 1619584 A CN1619584 A CN 1619584A CN A2004100949516 A CNA2004100949516 A CN A2004100949516A CN 200410094951 A CN200410094951 A CN 200410094951A CN 1619584 A CN1619584 A CN 1619584A
Authority
CN
China
Prior art keywords
image
candidate person
pedestrian candidate
pedestrian
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100949516A
Other languages
English (en)
Other versions
CN1306450C (zh
Inventor
河合昭夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Publication of CN1619584A publication Critical patent/CN1619584A/zh
Application granted granted Critical
Publication of CN1306450C publication Critical patent/CN1306450C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明的一个方面提供了一种车辆周围环境监控设备，包括：被配置用于从拍摄的红外图象中提取发射红外线的目标的目标提取单元，被配置用于根据目标提取单元提取的目标图象形状提取行人候选者的行人候选者提取单元，以及被配置用于根据行人候选者图象灰度从行人候选者排除结构体的结构体排除处理单元。

Description

车辆周围环境监控设备及其方法
技术领域
本发明涉及一种车辆周围环境监控设备，其被配置用于检测车辆附近存在的行人。
背景技术
日本专利申请公开No.2001-6069提出了一种车辆周围环境监控设备，其被配置用于使用由安装在车辆上的摄象装置拍摄的红外图象来检测车辆附近存在的行人。在该文献中描述的车辆周围环境监控设备使用两台红外摄象机获得的图象计算车辆与位于车辆附近的目标之间的距离，并根据利用时间序列得到的位置数据计算目标的运动向量。然后，根据车辆行驶的方向和目标运动向量，该设备检测是否存在车辆与目标相撞的很大可能性。
日本专利申请公开No.2001-108758提出了一种技术，其使用由安装在车辆上的摄象装置拍摄的红外图象检测车辆附近存在的目标，同时排除温度与行人体温明显不同的区域。如果在排除温度与行人体温明显不同的区域之后从剩余的区域中提取出一个目标，则检查目标的垂直与水平尺寸之比，从而判断目标是否是行人。
日本专利申请公开No.2003-16429提出了一种技术，从摄象设备拍摄的红外图象中提取出发射红外线的目标。提取目标的图象与用作识别结构体(structure)的参考图象比较，并判断每个目标是否是一个结构体。然后排除判定为结构体的目标，且剩余目标检测为行人、动物或运动的目标。
发明内容
虽然日本专利申请公开No.2001-6069和日本专利申请公开No.2001-108758能够检测发射红外线的目标，但是这些技术都遭遇检测到除行人之外的目标的问题。例如，他们检测到诸如自动贩卖机等目标和其它自主发热的目标，例如已经在白天由太阳加热的电话线杆和灯柱，以及对于车辆操作无关紧要的其它目标。更特别的是，这些技术不能区分行人与垂直尺寸和行人的相似、温度和行人体温相似的目标。此外，当试图只通过使用象检查垂直尺寸与水平尺寸比这样的外形识别方法从检测到的目标中提取行人时，难于提高准确度。
同时，日本专利申请公开No.2003-16429中提出的技术使用指定模板，以通过执行模板匹配处理来判断目标是否是结构体。立体红外摄象机对于执行用于设定模板的距离测量是必需的，因此设备变得非常昂贵。此外，模板匹配处理产生非常重的计算机处理负荷，使得必须使用高速CPU(中央处理单元)和专用DSP(数字信号处理器)，这也使设备变得昂贵。另外，因为不能准备覆盖所有实际存在的可能结构体模型的模板，所以不能与任何用于与提取目标比较的模板匹配的结构体被识别为行人，从而使检测行人的准确度低。
本发明针对这些问题提出，其目的是提供一种高准确度、低成本的车辆周围环境监控设备。
本发明的一个方面提供一种车辆周围环境监控设备，包括：目标提取单元，其被配置成从拍摄的红外图象中提取发射红外线的目标；行人候选者提取单元，其被配置成根据由目标提取单元提取的目标图象形状来提取行人候选者；以及结构体排除处理单元，其被配置成根据行人候选者图象灰度从行人候选者中排除结构体。
本发明的另一方面提供一种车辆周围环境监控方法，包括：从车辆发射红外线、接收从车辆附近存在的目标反射的红外线并生成红外图象、从红外图象中提取那些反射的红外线量等于或超过指定量的目标、根据提取目标的图象形状提取行人候选者的图象、根据行人候选者的灰度判断行人候选者是否是结构体、判定没有被判定为结构体的行人候选者为行人。
附图说明
图1的框图显示根据本发明的车辆周围环境监控设备的一个实施方案。
图2的简图用于说明车辆周围环境监控设备和检测目标之间的位置关系。
图3的流程图显示车辆周围环境监控设备101执行的处理步骤。
图4A显示由红外摄象机102拍摄的原始图象，图4B用于说明，例如，如图2显示的行人P1、标志B1、交通标志B2和B3存在于车辆前方情况下的亮区提取图象。
图5的简图说明识别为行人候选者区域的亮区。
图6的简图说明在已经排除通过结构体排除处理判定为结构体的行人候选者区域之后剩余的行人候选者区域。
图7显示强调了行人区域的拍摄图象。在步骤S111，图象处理单元112将加框的原始图象输出到HUD单元104。
图8的流程图说明用来从提取的亮区中提取行人候选者区域的处理。
图9A、9B和9C的简图用于说明根据亮区的垂直与水平尺寸比判断亮区是否是行人候选人区域的方法。
图10的流程图用于说明从提取的亮区中提出行人候选者区域的另一种处理。
图11A的灰度直方图说明在交通标志或其它道路标志的情况下的典型像素灰度分布，图11B的灰度直方图说明在行人情况下的典型像素灰度分布。
图12的流程图用于说明从提取的亮区中提出行人候选者区域的另一种处理。
具体实施方式
本发明的各种实施方案将参照附图来描述。请注意，所有附图中相同或相似的部分和单元使用相同或相似的引用数字，相同或相似的部分和单元的描述将忽略或简化。
(实施方案1)
图1的框图显示根据本发明的车辆周围环境监控设备的一个实施方案。车辆周围环境监控设备装配有CPU 111和图象处理单元112，并电连接到下列部分：一个用于泛光灯103的开关继电器124，该泛光灯103被配置用于以具有近红外波长的光照亮车辆前方指定区域；一个能够检测近红外光的红外摄象机102；被配置用于打开或关闭车辆周围环境监控设备101的开关(SW)106；以及一个被配置用于检测安装了车辆周围环境监控设备101的车辆的行驶速度(下文中称作“车速”)的车速传感器107。
车辆周围环境监控设备101还能够电连接到一个扬声器105，用于发出警报声，和一个前导显示单元(下文中称作“HUD单元”)104，其被配置用于在例如挡风玻璃上驾驶员能够在不移动他或她的视线的情况下看到信息的预定位置，显示由红外摄象机102拍摄的图象和显示使驾驶员注意具有相撞危险的目标的信息。
现在详细描述该设备的各组成特征。车辆周围环境监控设备101的图象处理单元112包括：一个配置用于将来自红外摄象机102的模拟输入信号转换成数字信号的A/D转换器电路127、一个图象处理器125、一个配置用于存储数字化图象信号的图象存储器(下文中称作“VRAM”)121、和一个配置用于将数字图象信号恢复为模拟图象信号的D/A转换器电路126。图象处理单元112连接到CPU 111和HUD单元104。
CPU 111执行各种计算机处理并总体上控制车辆周围环境监控设备。CPU 111连接到一个用于存储设置值和可执行程序的只读存储器(ROM)122以及一个用于存储处理操作期间的数据的随机存取存储器(RAM)123。CPU 111还配置用于发送声音信号给扬声器105和发送ON/OFF信号给开关继电器124，以及用于从开关106接收ON/OFF信号和从车速传感器107接收车速信号。
图2的简图用于说明车辆周围环境监控设备和检测目标之间的位置关系。红外摄象机102安装在沿着车辆纵向中心线的车辆110前部，这样其光轴指向车辆前方。泛光灯103安装在前保险杠部分的左边和右边。泛光灯103在开关继电器124为ON时接通，并用于在前方提供近红外照明。
红外摄象机102的输出特性如下：在从目标反射回的近红外辐射较多的图象部分输出信号电平较高(亮度较高)，在从目标反射回红外辐射较少的图象部分输出信号电平较低。泛光灯103发射的近红外光束照亮行人P1、垂直方向长的标志B1、水平方向长的矩形交通标志B2和一连串垂直排列的圆形交通标志B3。这些对象都反射近红外光，如虚线箭头所示，红外摄象机102捕捉反射光R，并生成灰度等于或高于阈值的图象。
图3的流程图显示车辆周围环境监控设备101执行的处理步骤。该流程图中显示的处理通过CPU 111和图象处理单元112的图象处理器125执行的程序来完成。当接通车辆110的点火开关时，车辆周围环境监控设备启动。在步骤S101，CPU 111进入等待状态，在该状态检查车辆周围环境监控设备101的开关106是否为ON。如果开关106为ON，CPU 111进入步骤S102，如果开关106为OFF，进入步骤S113。在步骤S102，CPU 111检查由车速传感器107检测的车速，并判断车速是否等于或大于指定值。在该实施方案中，指定车速是例如30km/h。如果车速等于或大于30km/h，CPU 111进入步骤S103。如果车速小于30km/h，CPU 111进入步骤S113，在步骤S113中，关闭红外摄象机102、泛光灯103和HUD单元104(如果它们处于打开状态)并返回步骤S101。
在车速小于指定车速时返回步骤S101的原因是，当车辆低速行驶时不需要关注位于车辆前方远距离处的障碍物，而位于中距离的障碍物能够被驾驶员视觉地发现。因此，关闭泛光灯103，以防止近红外照亮远处目标导致的不必要功耗。但是本发明不限于在30km/h和更高的车速上运行，而且配置该设备以使得能够选择任意希望的车速也是可以接受的。
在步骤S103，CPU 111打开红外摄象机102、泛光灯103和HUD单元104(如果它们关闭的话)。红外摄象机102获取亮度图象，即灰度图象，其亮度按照从由泛光灯103照亮的目标反射回来的光强度而变化。在下面的说明中，该图象称作“原始图象”。
图4A显示由红外摄象机102拍摄的原始图象，图4B用于说明在例如如图2显示的车辆前方存在行人P1、标志B1以及交通标志B2和B3的情况下的亮区提取图象。在图4A显示的原始图象中，行人P1、标志B1、交通标志B2和交通标志B3按从左到右的顺序成像。在步骤S104，图象处理单元112从红外摄象机102读取图象，用A/D转换器将原始图象转换成数字图象，并在VRAM 121中存储数字化的原始图象。本实施方案给出的情况是以8位的方式表示每个像素的灰度，即使用具有256种不同灰度的灰度级，其中0是最黑的值，255是最亮的值。但是，本发明不限于这种灰度级安排。
在步骤S105，图象处理单元112将原始图象中灰度小于阈值的像素灰度替换为0，并保持原始图象中灰度等于或大于该阈值的像素灰度，由此得到一幅如图4B显示的亮区提取图象。然后图象处理单元112在VRAM 121中存储亮区提取图象。作为该处理的结果，提取泛光灯103的近红外光强烈照射的车辆正前方的路面区域A5，以及与(原始图象中从左到右)行人P1、标志B1、交通标志B2和交通标志B3对应的亮区A1、A2、A3和A4。设置用于从原始图象中提取目标的阈值的方法包括基于原始图象灰度直方图将阈值设置为对应于该灰度分布中的谷值的灰度和将阈值设置为通过试验得到的固定值。在本实施方案中，阈值是一个固定的灰度值150，该阈值使反射一定程度近红外光的目标能够在夜晚根据夜间近红外图象特性提取出来。但是，应该根据用于提供近红外照明的泛光灯103的输出特性和红外摄象机103相对于近红外光的灵敏度特性将阈值设置为一个适当值，而且本发明不限于150的阈值。
在步骤S106，图象处理单元112读取在步骤S105存储在VRAM121中的亮区提取图象，并将描述各个独立亮区的信息输出到CPU111。然后CPU 111执行标记处理，为每个亮区分配一个标记。已标记的提取区域数量表示为N1。在这个例子中N1＝5。
在步骤S107，图象处理单元112执行提取处理，从亮区中提取行人候选者区域。图8的流程图显示了该步骤的处理。该行人候选者区域提取处理提取的区域数量N2存储在RAM 123中。
图5的简图说明被识别为行人候选者的亮区。如果在图4B显示的亮区提取图象的已经判定不是行人候选者区域的亮区中的像素暂时设置为灰度0，则剩余的图象将是图5中显示的行人候选者提取图象。行人候选者提取图象只包含那些垂直尺寸与水平尺寸之比在指定范围内的亮区。
在步骤S108，图象处理单元112执行相对于存储在VRAM 121中的亮区提取图象的结构体排除处理，以判断N2个行人候选者区域中的每一个是否为一个非行人的目标(下文中这样的目标称作“结构体”)。结构体排除处理的细节将在后面参照图10的流程图来讨论。
图6的简图说明在已经排除由结构体排除处理判定为结构体的行人候选者区域之后剩余的行人候选者区域。在结构体排除处理之后剩余作为行人候选者区域的亮区数量N3存储在RAM 123中。因此，如果在图5显示的行人候选者提取图象的已经判定为结构体区域的亮区中的像素暂时设置为灰度0，则剩余的图象将只包含对应于行人的亮区，如图6所示。
在步骤S109，CPU 111读取在步骤S108存储在RAM 123中的数量N3，并判断是否有行人区域。如果有行人区域，则CPU 111进入步骤S110。如果没有，CPU 111返回步骤S101。在步骤S110，图象处理单元112执行处理来强调被判定为行人的亮区。该处理包括读取在步骤S104存储在VRAM 121中的原始图象，并加上用于围住已经最终判定为行人区域的亮区的框。框是矩形的或任何其它合理的形状，并可以用虚线、折线、点划线、粗实线等来绘制。通过将行人区域的所有像素替换为最大灰度255来强调行人区域也是可以接受的。强调行人区域的方法不限于这里描述的方法。
图7显示强调了行人区域的拍摄图象。在步骤S111，图象处理单元112将其上加框的原始图象输出到HUD单元104。图7说明了图象从HUD单元104投射到前挡风玻璃上的情况。显示了强调行人P1的框M。在步骤S112，CPU 111发出一个警报声信号给扬声器105以发出警报声。发出警报声持续指定时间量，然后自动停止。在步骤S112后，控制返回步骤S101，并重复该处理程序。
图8的流程图说明用于从提取的亮区中提取行人候选者区域的处理。该处理在图3所示主流程图的步骤S107中由CPU 111和图象处理单元112(其由CPU 111控制)来执行。
在步骤S201，CPU 111从RAM 123读取分配给提取亮区的提取区域标号的数量N1。在步骤S202，CPU 111通过设置n＝1和m＝0来初始化标号计数器，其中n是一个用于亮区数量的参数(在该例中最大值是N1＝5)，m是一个关于在该流程图处理期间提取作为行人候选者的亮区数量的参数。
在步骤S203，图象处理单元112设置一个相对于已经被分配第n个(初始时n＝1)提取区域标号的亮区的限定矩形。为了设置限定矩形，例如，图象处理单元112检测已经被分配一个提取区域标号(初始时n＝1)的亮区的上和下边缘的像素位置以及左和右边缘的像素位置。结果，在整个原始图象的坐标系中，亮区封闭在由两条通过亮区的检测到的最上和最下像素位置(坐标)的水平线段和两条通过亮区的检测到的最左和最右像素位置(坐标)的垂直线段构成的矩形内。
在步骤S204，CPU 111计算步骤S203中得到的矩形的垂直尺寸与水平尺寸之比。如果比值在指定范围内，例如如果垂直尺寸除以水平尺寸在4/1和4/3之间，则CPU 111进入步骤S205。
4/1到4/3的垂直与水平尺寸之比的范围是使用标准人体形状作为参考设置的，但预想到如许多人站在一起、一个人双手拿着东西或一个人抱着孩子等情况，该范围包含大的水平尺寸的可允许的误差。如果垂直与水平尺寸比在范围4/1到4/3之外，则CPU进入步骤S206。
如果垂直与水平尺寸比在指定范围内，则在步骤S205，CPU 111将该区域记录为行人候选者区域并将标号计数器m加1(m＝m+1)。CPU 111还存储行人候选者区域标号m对应于RAM 123中提取区域标号n(MX(m)＝n)的事实。CPU 111从步骤S205进入步骤S206。
在步骤S206，CPU 111判断标号计数器n是否已经达到最大值N1。如果没有，CPU 111进入步骤S207并将标号计数器n加1(n＝n+1)。然后其返回步骤S203，并使用n＝2重复步骤S203到S206。反复重复这些步骤，每次将n加1。当标号计数器n达到值N1时，CPU111进入步骤S208，在步骤S208将标号计数器m的值作为N2存储在RAM 123中(N2＝m)。然后，CPU 111进入图3所示主流程图的步骤S108。N2表示行人候选者区域的总数。步骤S201到S208系列执行的处理用于从亮区中提取行人候选者区域。现在针对图4B所示的亮区A1到A5中的每一个来更为具体地描述该处理。
图9A的简图用于说明根据亮区的垂直与水平尺寸比来判断一个亮区是否是行人候选者区域的方法。如图9A所示，区域A1的垂直与水平尺寸比为3/1，因此是行人候选者区域。图4B所示的区域A2是一个垂直方向长、垂直与水平尺寸比在范围4/1到4/3内的标志，且也是行人候选者区域。图4B所示的区域A3是一个水平方向长的交通标志，因为如图9B所示其垂直与水平尺寸比为1/1.5，所以其从行人候选者区域中排除。图4B所示的区域A4是垂直的一系列圆形交通标志，因为如图9C所示其垂直与水平尺寸比为2/1，所以是行人候选者区域。图4B所示的区域A5是一个对应于车辆正前方、由泛光灯103发出的近红外光照亮路面的半椭圆高亮部分的区域。因为其垂直与水平尺寸比小于1，所以从行人候选者区域中排除。因此，如果只显示用这里说明的方法判定为行人候选者区域的亮区，将得到图5中显示的图象。
接下来，检查被判定为行人候选者区域的亮区，看它们是否为结构体。现在参照图10所示的流程图说明用于从作为行人候选者区域的区域中排除作为结构体的区域的结构体排除处理。该处理在图3所示主流程图的步骤S108中由CPU 111和图象处理单元112(其由CPU111控制)来执行。
在步骤S301，CPU 111从RAM 123读取行人候选者区域标号的数量N2。在步骤S302，CPU 111通过设置m＝1和k＝0来初始化标号计数器，其中m是一个用于行人候选者区域数量的参数，k是一个关于在该流程图处理期间保留作为行人候选者区域的亮区的数量的参数。在步骤S303，图象处理单元112计算对应于行人候选者区域标号m(即，提取区域标号MX(m))的亮区的平均灰度值E(m)。
使用下面的等式(1)可以得到平均灰度值E(m)，其中P(i)是对应于行人候选者区域标号m的亮区的第i个像素的灰度，Im是对应于行人候选者区域标号m的亮区的像素总数。
E ( m ) = Σ i = 1 I m P m ( i ) I m K - - - ( 1 )
在步骤S304，CPU 111判断在步骤S303计算的平均灰度值E(m)是否超过指定灰度值。使该指定灰度值相应于非常亮的值是适当的。在8位灰度级的情况下，指定灰度值设置为例如240，且灰度值大于该值的区域判定为结构体，例如交通标志或其它标志。这种方法的原因在于交通标志和其它标志通常进行了表面处理，以使它们成为光的良好反射体，因此，当由泛光灯103发出的近红外光照亮时这种标志产生强反射光。所以，这种标志在红外摄象机102捕捉的近红外图象中被再现为具有高灰度的图象区域。
但是，因为行人的衣物反射产生高灰度图象区域也是可能的，所以CPU 111不会只因为其平均灰度值E(m)超过240就判定目标是行人。相反它进入步骤S305。同时，如果平均灰度值E(m)为240或更小，CPU 111进入步骤S308。在步骤S305，图象处理单元112计算对应于行人候选者区域标号m的亮区的灰度分散值(dispersion value)V(m)。使用下面显示的等式(2)计算灰度分散值V(m)。
V ( m ) = Σ i = 1 I m { P m ( i ) - E ( m ) } 2 I m K - - - ( 2 )
在步骤S306，CPU 111判断在步骤S305中计算的灰度分散值V(m)是否小于指定灰度分散值。小于指定分散的值表示对应于行人候选者区域标号m的亮区的灰度变化小。指定分散值通过试验获得，并设置为这样一个值，例如50。
图11A的灰度直方图说明在交通标志或其它道路标志情况下的典型像素灰度分布。横轴表示灰度，纵轴表示频率。结构体有一个平坦的平面部分，照射在其上的近红外光以近乎均匀的方式反射，因此如图11A所示，灰度值高且方差小。在这个例子中，平均灰度值是250，灰度分散值是30。
类似的，图11B的灰度直方图说明在行人情况下的典型像素灰度分布。在很多情况下，从行人衣服反射的光强度弱且灰度值小。另外，因为人具有三维形状而且因为衣服和皮肤的反射特性不同，所以不会以均匀的方式反射光。因此，在人的情况下，反射整体上是不均匀的，分散值大。在这个例子中，平均灰度值是180，灰度分散值是580。如果分散值V(m)小于50，CPU 111进入步骤S307，如果分散值V(m)是50或更高，CPU 111进入步骤S308。
在步骤S307，CPU 111从行人候选者中排除对应于行人候选者区域标号m的区域。在本实施方案中，排除区域的处理是将MX(m)的值设置为0并将其存储在RAM 123中。CPU 111在步骤S307之后进入步骤S309。在CPU 111在步骤S304和S305之后进入步骤S308的情况下，CPU 111将对应于行人候选者区域标号m的区域记录为行人区域。在本实施方案中，记录区域的过程是将MX(m)按原样存储在RAM 123中并将标号计数器k的值加1(k＝k+1)。在步骤S308之后，CPU 111进入步骤S309。
在步骤S309，CPU 111判断标号计数器m是否已经达到N2。如果标号计数器m没有达到N2，CPU 111进入步骤S310，在该步骤将m加1(m＝m+1)，然后返回步骤S303，从该步骤重复步骤S303到S309。如果标号计数器m已经达到N2，CPU 111进入步骤S311，在该步骤将N3的值设置为k，并将N3存储在RAM 123中作为记录的行人区域的总数。在步骤S311之后，因为所有行人候选者区域已经经历了结构体排除处理，所以CPU 111返回图3的主流程图并进入步骤S109。
现在将描述图3所示主流程图的步骤S110中使用的强调处理方法。在强调处理期间，CPU 111对于参数m＝1到N2，读取存储在RAM 123中的MX(m)值，并获得值大于0的提取区域标号L(＝MX(m))。然后图象处理单元112访问在步骤S104存储在VRAM121中的原始图象，并加框(如前所述)围住对应于提取区域标号L的亮区，即最终确定为行人区域的区域。
在本实施方案中，红外摄象机102构成了本发明的摄象装置，前导显示单元4构成显示设备，车辆周围环境监控控制单元1构成显示控制单元，流程图的步骤S105构成本发明的目标提取装置，步骤S107(即步骤S201到S208)构成行人候选者提取装置，步骤S108(即步骤S301到S311)构成结构体判断装置。另外，步骤S203构成矩形设置装置，步骤S204构成垂直与水平尺寸计算装置，步骤S303构成平均灰度计算装置，步骤S305构成灰度方差计算装置。
如在此之前描述的，本实施方案根据对应于提取目标的亮区的垂直与水平尺寸比来提取行人候选者区域，计算行人候选者区域的平均灰度值和灰度分散值，如果平均灰度值大于一个指定值且灰度分散值小于一个指定值，则判定行人候选者区域是结构体。这种方法增加了检测行人的准确度。因此，即使在多个交通标志和行人混合在一起的情况下，也能够减少系统将交通标志错误地向驾驶员表示为行人的概率。
因为使用泛光灯用近红外光照亮车辆前方的目标，并用红外摄象机拍摄从被照亮目标反射的近红外光以获得从中提取目标的图象，所以位于较远距离的目标能够拍摄的更为清楚。因此，易于确定由从目标反射的光获得的拍摄图象的亮区的灰度分布。
因为没有使用模板匹配处理，并且计算垂直与水平尺寸比和灰度分布(平均灰度值和灰度分散值)，所以车辆周围环境监控设备的图象处理负荷轻，且可以用便宜的元件来实现监控设备。
现在将描述本发明的变体。图12是通过修改图10所示流程图的一部分而获得的，图10显示了用于从提取的行人候选者区域排除结构体的处理。更详细来讲，各个步骤S401到S411的处理细节与步骤S301到S311的相同。该两个流程图之间的差别在于步骤S404到S409中的部分。现在将从步骤S404开始描述图12的流程图。
在步骤S404，CPU 111判断在步骤S403中计算的平均灰度值E(m)是否超过指定灰度值。如果平均灰度值E(m)超过240，将区域判定为结构体，CPU 111进入步骤S407。如果平均灰度值E(m)等于或小于240，CPU 111进入步骤S405。
在步骤S405，图象处理单元112计算对应于行人候选者区域标号m的亮区的灰度分散值V(m)。在步骤S406，如果在步骤S405中计算的灰度分散值V(m)小于50，CPU 111进入步骤S407，如果是50或更高，则CPU 111进入步骤S408。
在步骤S407，CPU 111从行人候选者中排除对应于行人候选者区域标号m的区域。在本实施方案中，排除区域的过程是将MX(m)的值设置为0并将其存储在RAM 123中。在步骤S407之后，CPU 111进入步骤S409。在CPU 111于步骤S406之后进入步骤S408的情况下，CPU 111将对应于行人候选者区域标号m的区域记录为行人区域。在本实施方案中，记录区域的过程是将MX(m)按原样存储在RAM 123中并将标号计数器k的值加1(k＝k+1)。在步骤S408之后，CPU111进入步骤S409。
在步骤S409，CPU 111判断标号计数器m是否已经达到N2。如果标号计数器m没有达到N2，CPU 111进入步骤S410，在该步骤将m加1(m＝m+1)，然后返回步骤S403，从该步骤重复步骤S403到S409。如果标号计数器m已经达到N2，CPU 111进入步骤S411，在该步骤将N3的值设置为k，并将N3存储在RAM 123中作为记录的行人区域的总数。在步骤S411之后，因为所有行人候选者区域已经经历了结构体排除处理，所以CPU 111返回图3的主流程图并进入步骤S109。
使用前面描述的实施方案，即使对应于标号m的行人候选者区域的平均灰度值超过240，除非区域的分散值小于50，否则也不会将该区域判定为结构体。相反，使用在此之前描述的变体，如果对应于标号m的区域的平均灰度值超过240，就直接将其判定为结构体，并且，即使该区域的平均灰度值小于240，除非分散值不是50或更大，否则不会将该区域判定为行人。
因此，与该实施方案相比，该变体倾向于将更少的目标识别为行人。因为进行高精度的关于目标是否为行人的判断所需的平均灰度值和分散值取决于所使用的红外摄象机和泛光灯的特性，所以配置车辆周围环境监控设备以使得用户能够在这两种行人判断控制方法之间选择也是可以接受的。此外，配置车辆周围环境监控设备以使得用户能够改变行人判断控制方法也是可以接受的。
在该实施方案和变体中，当根据红外摄象机图象检测到行人区域时都在步骤S112中发出警报声。配置车辆周围环境监控设备，以便根据摄象机图象中最终判定为行人区域的亮区的最下面的摄象机图象坐标(对应于行人的脚)来计算前方从车辆到行人的距离，并且如果计算的距离小于指定距离则发出警告声，这也是可以接受的。
另外，根据车速改变指定距离，以使得车速越快设置的指定距离值越大，这也是可以接受的。这种方法能够减少以下情况的发生：即使从车辆到行人的距离对于驾驶员来说足以独立作出反应，但仍会发出报警声。
虽然该实施方案和变体都使用HUD单元作为车辆周围环境监控设备的显示设备，但是本发明不限于HUD单元。例如，嵌入车辆仪表板的传统液晶显示器也是可以接受的。
这里描述的实施方案及其变体配置用于提取形状接近行人形状的目标图象作为行人候选者图象，然后根据灰度用简单的方法判断每个行人候选者图象是否为结构体。然后将余下的(即没有判定为结构体的)行人候选者图象识别为行人。因为加在CPU上的负荷轻且不需立体摄象设备，所以这种图象处理方法能够提供便宜的车辆周围环境监控设备。
2003年11月20日申请的日本专利申请P2003-390369的全部内容在此引用作为参考。
本发明在不偏离其精神或关键特性的情况下可以用其它特定形式来实现。因此本实施方案在各个方面都应看作是说明性而不是限制性的，本发明的范围是由附后权利要求而不是通过前面的描述限定的，因此在权利要求及等同的含义和范围内的所有变化都计划包含在其中。

Claims (18)

1.一种车辆周围环境监控设备，包括：
目标提取单元，其被配置用于从拍摄的红外图象中提取发射红外线的目标；
行人候选者提取单元，其被配置用于根据由目标提取单元提取的目标的图象形状来提取行人候选者；以及
结构体排除处理单元，其被配置用于根据行人候选者的图象灰度来从行人候选者中排除结构体。
2.如权利要求1中所述的车辆周围环境监控设备，其中
行人候选者提取单元包括：
矩形设置单元，其被配置用于设置用来限定由目标提取单元提取的目标的图象的矩形框；
垂直与水平尺寸比计算单元，其被配置用于计算由矩形设置单元设置的矩形框的垂直与水平尺寸之比；以及
行人判断单元，其被配置用于当相应框的垂直与水平尺寸比在一个指定数值范围内时判定目标是行人候选者。
3.如权利要求1中所述的车辆周围环境监控设备，其中
行人判断单元当垂直与水平尺寸比在4∶1到4∶3的范围内时，判定目标是行人候选者。
4.如权利要求1中所述的车辆周围环境监控设备，其中
结构体排除处理单元包括：
平均灰度计算单元，其被配置用于计算行人候选者图象的灰度分布的平均值；
灰度分散计算单元，其被配置用于计算行人候选者图象的灰度分布的分散值；以及
结构体判定单元，其被配置用于当行人候选者图象的平均灰度值等于或大于一个指定值时或当行人候选者图象的灰度分散值等于或小于一个指定值时，判定行人候选者的图象是结构体并从行人候选者中排除该图象。
5.如权利要求1中所述的车辆周围环境监控设备，其中
结构体排除处理单元包括：
平均灰度计算单元，其被配置用于计算行人候选者图象的灰度分布的平均值；
灰度分散计算单元，其被配置用于计算行人候选者图象的灰度分布的分散值；以及
结构体判定单元，其被配置用于当行人候选者图象的平均灰度值等于或大于一个指定值并且行人候选者图象的灰度分散值等于或小于一个指定值时，判定行人候选者的图象是结构体。
6.如权利要求1中所述的车辆周围环境监控设备，还包括一个电连接到红外摄象机的图象处理单元，该图象处理单元被配置用于从红外摄象机获取红外图象并存储该红外图象；以及
其中，目标提取单元被配置用于使用由图象处理单元获取的红外图象来提取目标。
7.如权利要求6中所述的车辆周围环境监控设备，还包括一个显示设备，其安装在车辆驾驶员座位前方并被配置用于显示由红外摄象机拍摄的红外图象；以及
其中，显示控制设备被配置用于强调没有由结构体排除处理单元判定为结构体的行人候选者图象。
8.如权利要求3中所述的车辆周围环境监控设备，其中
显示控制设备被配置用于通过将所述图象封闭在用虚线、折线、点划线或粗实线画出的框内，从而强调没有被判定为结构体的行人候选者图象。
9.如权利要求6中所述的车辆周围环境监控设备，还包括车速传感器，其被配置用于检测其中安装了该车辆周围环境监控设备的车辆的速度；以及
其中，显示控制单元被配置用于当车速等于或大于指定值时在显示设备上显示红外图象。
10.一种车辆周围环境监控设备，包括：
目标提取装置，用于从拍摄的红外图象中提取发射红外线的目标；
行人候选者提取装置，用于根据由目标提取装置提取的目标的图象的形状来提取行人候选者；以及
结构体排除处理装置，用于根据行人候选者的图象灰度来从行人候选者中排除结构体。
11.一种车辆周围环境监控方法，包括：
从车辆发射红外线；
接收从车辆附近存在的目标反射的红外线并生成红外图象；
从红外图象中提取那些反射的红外线量等于或超过指定量的目标；
根据提取目标的图象形状来提取行人候选者图象；
根据行人候选者图象的灰度来判断行人候选者是否为结构体；以及
确定没有被判定为结构体的行人候选者为行人。
12.如权利要求11中所述的车辆周围环境监控方法，其中
根据提取目标的图象形状来提取行人候选者图象的过程包括：
设置用来限定由目标提取单元提取的目标图象的矩形框；
计算由矩形设置单元设置的矩形框的垂直与水平尺寸比；以及
判定其图象由垂直与水平尺寸比在指定数值范围内的矩形框所限定的目标为行人候选者。
13.如权利要求12中所述的车辆周围环境监控方法，其中
垂直与水平尺寸比在4∶1到4∶3的范围内。
14.如权利要求11中所述的车辆周围环境监控方法，其中
根据行人候选者图象的灰度判断行人候选者是否为结构体的过程包括：
计算行人候选者图象的灰度分布的平均值；
计算行人候选者图象的灰度分布的分散值；以及
当行人候选者图象的平均灰度值等于或大于一个指定值时或当行人候选者图象的灰度分散值等于或小于一个指定值时，判定行人候选者的图象为结构体并从行人候选者中排除该图象。
15.如权利要求11中所述的车辆周围环境监控方法，其中
根据行人候选者图象的灰度判断行人候选者是否为结构体的过程包括：
计算行人候选者图象的灰度分布的平均值；
计算行人候选者图象的灰度分布的分散值；以及
当行人候选者图象的平均灰度值等于或大于一个指定值并且行人候选者图象的灰度分散值等于或小于一个指定值时，判定行人候选者的图象为结构体。
16.如权利要求11中所述的车辆周围环境监控方法，还包括：
强调性地显示没有被判定为结构体的行人候选者图象。
17.如权利要求16中所述的车辆周围环境监控方法，其中
通过将所述图象封闭在用虚线、折线、点划线或粗实线画出的框内来执行强调性显示。
18.如权利要求16中所述的车辆周围环境监控方法，其中
在车速等于或大于指定值时执行强调性显示。
CNB2004100949516A 2003-11-20 2004-11-19 车辆周围环境监控设备及其方法 Expired - Fee Related CN1306450C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003390369A JP3922245B2 (ja) 2003-11-20 2003-11-20 車両周辺監視装置および方法
JP390369/2003 2003-11-20

Publications (2)

Publication Number Publication Date
CN1619584A true CN1619584A (zh) 2005-05-25
CN1306450C CN1306450C (zh) 2007-03-21

Family

ID=34587441

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100949516A Expired - Fee Related CN1306450C (zh) 2003-11-20 2004-11-19 车辆周围环境监控设备及其方法

Country Status (3)

Country Link
US (1) US20050111698A1 (zh)
JP (1) JP3922245B2 (zh)
CN (1) CN1306450C (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102187377A (zh) * 2008-10-20 2011-09-14 本田技研工业株式会社 车辆的周围监测装置
CN102197418A (zh) * 2008-10-24 2011-09-21 本田技研工业株式会社 车辆周围监测装置
CN102473281A (zh) * 2009-09-03 2012-05-23 本田技研工业株式会社 车辆周围监测装置
CN101246219B (zh) * 2007-02-16 2013-01-09 福特全球技术公司 利用远红外线图像探测物体的方法和系统
CN102985958A (zh) * 2010-08-31 2013-03-20 本田技研工业株式会社 车辆周围监测装置
CN104160434A (zh) * 2012-03-12 2014-11-19 本田技研工业株式会社 车辆周围监视装置
CN104554003A (zh) * 2013-10-15 2015-04-29 长春威视追光科技有限责任公司 智能车载悬挂式夜视平视显示器
CN106030679A (zh) * 2014-01-23 2016-10-12 丰田自动车株式会社 车辆周围监视装置
CN107807358A (zh) * 2016-09-09 2018-03-16 福特全球技术公司 利用红外灯来检测迎面而来的车辆
CN108604382A (zh) * 2015-12-03 2018-09-28 奥斯兰姆施尔凡尼亚公司 用于移动运输系统的基于光的车辆定位
CN111491530A (zh) * 2017-12-18 2020-08-04 循环周期工程公司 包括多种图案的便携式物品
CN113056782A (zh) * 2018-09-10 2021-06-29 亮锐控股有限公司 具有减少的数据管理的大型led阵列

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005350010A (ja) * 2004-06-14 2005-12-22 Fuji Heavy Ind Ltd ステレオ式車外監視装置
US8531562B2 (en) * 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
WO2006064655A1 (ja) * 2004-12-14 2006-06-22 Matsushita Electric Industrial Co., Ltd. 情報提示装置及び情報提示方法
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
JP4456086B2 (ja) * 2006-03-09 2010-04-28 本田技研工業株式会社 車両周辺監視装置
JP4701116B2 (ja) * 2006-03-30 2011-06-15 株式会社デンソーアイティーラボラトリ 物体撮像装置及び物体撮像方法
JP5061767B2 (ja) * 2006-08-10 2012-10-31 日産自動車株式会社 画像処理装置および画像処理方法
JP4732985B2 (ja) * 2006-09-05 2011-07-27 トヨタ自動車株式会社 画像処理装置
US7580547B2 (en) 2006-10-24 2009-08-25 Iteris, Inc. Electronic traffic monitor
JP4263737B2 (ja) * 2006-11-09 2009-05-13 トヨタ自動車株式会社 歩行者検知装置
GB2443664A (en) * 2006-11-10 2008-05-14 Autoliv Dev An infra red object detection system de-emphasizing non relevant hot objects
US8254626B2 (en) * 2006-12-22 2012-08-28 Fujifilm Corporation Output apparatus, output method and program for outputting a moving image including a synthesized image by superimposing images
JP4887540B2 (ja) * 2008-02-15 2012-02-29 本田技研工業株式会社 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP5031617B2 (ja) * 2008-02-25 2012-09-19 パイオニア株式会社 関連領域特定装置及び方法、並びに画像認識装置及び方法
JP5120627B2 (ja) * 2008-03-26 2013-01-16 トヨタ自動車株式会社 画像処理装置および画像処理プログラム
EP2288520B1 (en) * 2008-06-25 2014-09-24 Autoliv Development AB A system for detecting objects in the vicinity of a vehicle
WO2011013179A1 (ja) * 2009-07-31 2011-02-03 富士通株式会社 移動体位置検出装置および移動体位置検出方法
DE102009048066A1 (de) 2009-10-01 2011-04-07 Conti Temic Microelectronic Gmbh Verfahren zur Verkehrszeichenerkennung
WO2011067790A2 (en) * 2009-12-02 2011-06-09 Tata Consultancy Services Limited Cost-effective system and method for detecting, classifying and tracking the pedestrian using near infrared camera
JP5479956B2 (ja) * 2010-03-10 2014-04-23 クラリオン株式会社 車両用周囲監視装置
US10703299B2 (en) * 2010-04-19 2020-07-07 SMR Patents S.à.r.l. Rear view mirror simulation
DE102010020330A1 (de) * 2010-05-14 2011-11-17 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
KR101161979B1 (ko) * 2010-08-19 2012-07-03 삼성전기주식회사 나이트 비전용 영상 처리 장치 및 방법
JP5482670B2 (ja) * 2011-01-12 2014-05-07 株式会社デンソー 物体検出装置
DE102011109387A1 (de) 2011-08-04 2013-02-07 Conti Temic Microelectronic Gmbh Verfahren zur Erkennung von Verkehrszeichen
JP5479438B2 (ja) * 2011-11-16 2014-04-23 本田技研工業株式会社 車両周辺監視装置
JP5250855B2 (ja) * 2012-02-16 2013-07-31 コニカミノルタ株式会社 撮像装置および撮像方法
JP2013186819A (ja) * 2012-03-09 2013-09-19 Omron Corp 画像処理装置、画像処理方法、および画像処理プログラム
US9738253B2 (en) 2012-05-15 2017-08-22 Aps Systems, Llc. Sensor system for motor vehicle
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
KR102021152B1 (ko) * 2013-05-07 2019-09-11 현대모비스 주식회사 원적외선 카메라 기반 야간 보행자 인식 방법
DE102013219909A1 (de) 2013-10-01 2015-04-02 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Erkennung von Verkehrszeichen
JP5995899B2 (ja) * 2014-03-24 2016-09-21 日立建機株式会社 自走式産業機械の画像処理装置
US10356337B2 (en) * 2014-10-07 2019-07-16 Magna Electronics Inc. Vehicle vision system with gray level transition sensitive pixels
KR101680833B1 (ko) 2014-11-11 2016-11-29 경희대학교 산학협력단 보행자 검출 경보 장치 및 방법
JP6596889B2 (ja) * 2015-04-03 2019-10-30 日産自動車株式会社 物体検出装置
US9600894B2 (en) * 2015-04-07 2017-03-21 Toshiba Tec Kabushiki Kaisha Image processing apparatus and computer-readable storage medium
KR101996417B1 (ko) * 2016-12-30 2019-07-04 현대자동차주식회사 자세 정보 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
WO2018151759A1 (en) 2017-02-20 2018-08-23 3M Innovative Properties Company Optical articles and systems interacting with the same
DE102017119394A1 (de) * 2017-08-28 2019-02-28 HELLA GmbH & Co. KGaA Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium
US11314971B2 (en) 2017-09-27 2022-04-26 3M Innovative Properties Company Personal protective equipment management system using optical patterns for equipment and safety monitoring
JP6930350B2 (ja) * 2017-10-02 2021-09-01 トヨタ自動車株式会社 車両用認知支援装置
JP7155991B2 (ja) * 2018-12-17 2022-10-19 トヨタ自動車株式会社 報知装置
CN110392239B (zh) * 2019-08-13 2020-04-21 北京积加科技有限公司 指定区域监控方法及装置
EP4030154A4 (en) 2019-09-11 2022-11-09 Koito Manufacturing Co., Ltd. VEHICLE LAMP SYSTEM
DE102019214198A1 (de) * 2019-09-18 2021-03-18 Robert Bosch Gmbh Ereignisbasierte Erkennung und Verfolgung von Objekten
CN111833373B (zh) * 2020-06-01 2024-01-23 浙江双视科技股份有限公司 基于目标环境中移动物体的红外监测方法、装置及系统
JP7468176B2 (ja) 2020-06-17 2024-04-16 株式会社リコー 画像処理装置および画像読取方法
CN113111883B (zh) * 2021-03-23 2023-06-06 浙江大华技术股份有限公司 车牌检测方法、电子设备及存储介质
CN113332110B (zh) * 2021-06-02 2023-06-27 西京学院 一种基于景物听觉感知的导盲手电及导盲方法
WO2024155407A1 (en) * 2023-01-16 2024-07-25 Apple Inc. Displays with exterior views

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001108758A (ja) * 1999-10-06 2001-04-20 Matsushita Electric Ind Co Ltd 人物検出装置
JP2003016429A (ja) * 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
JP2003075893A (ja) * 2001-09-06 2003-03-12 Murakami Corp 車両用周囲撮像装置
US7366325B2 (en) * 2003-10-09 2008-04-29 Honda Motor Co., Ltd. Moving object detection using low illumination depth capable computer vision

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246219B (zh) * 2007-02-16 2013-01-09 福特全球技术公司 利用远红外线图像探测物体的方法和系统
CN102187377A (zh) * 2008-10-20 2011-09-14 本田技研工业株式会社 车辆的周围监测装置
CN102187377B (zh) * 2008-10-20 2014-05-28 本田技研工业株式会社 车辆的周围监测装置
CN102197418A (zh) * 2008-10-24 2011-09-21 本田技研工业株式会社 车辆周围监测装置
CN102197418B (zh) * 2008-10-24 2014-08-06 本田技研工业株式会社 车辆周围监测装置
CN102473281A (zh) * 2009-09-03 2012-05-23 本田技研工业株式会社 车辆周围监测装置
CN102473281B (zh) * 2009-09-03 2015-06-10 本田技研工业株式会社 车辆周围监测装置
CN102985958B (zh) * 2010-08-31 2015-04-01 本田技研工业株式会社 车辆周围监测装置
CN102985958A (zh) * 2010-08-31 2013-03-20 本田技研工业株式会社 车辆周围监测装置
CN104160434A (zh) * 2012-03-12 2014-11-19 本田技研工业株式会社 车辆周围监视装置
CN104554003A (zh) * 2013-10-15 2015-04-29 长春威视追光科技有限责任公司 智能车载悬挂式夜视平视显示器
CN106030679A (zh) * 2014-01-23 2016-10-12 丰田自动车株式会社 车辆周围监视装置
CN106030679B (zh) * 2014-01-23 2018-04-27 丰田自动车株式会社 车辆周围监视装置
CN108604382A (zh) * 2015-12-03 2018-09-28 奥斯兰姆施尔凡尼亚公司 用于移动运输系统的基于光的车辆定位
CN107807358A (zh) * 2016-09-09 2018-03-16 福特全球技术公司 利用红外灯来检测迎面而来的车辆
CN111491530A (zh) * 2017-12-18 2020-08-04 循环周期工程公司 包括多种图案的便携式物品
CN111491530B (zh) * 2017-12-18 2024-05-28 循环周期工程公司 包括多种图案的便携式物品
CN113056782A (zh) * 2018-09-10 2021-06-29 亮锐控股有限公司 具有减少的数据管理的大型led阵列

Also Published As

Publication number Publication date
JP2005159392A (ja) 2005-06-16
CN1306450C (zh) 2007-03-21
US20050111698A1 (en) 2005-05-26
JP3922245B2 (ja) 2007-05-30

Similar Documents

Publication Publication Date Title
CN1306450C (zh) 车辆周围环境监控设备及其方法
US7366325B2 (en) Moving object detection using low illumination depth capable computer vision
JP2901112B2 (ja) 車両周辺監視装置
EP2150437B1 (en) Rear obstruction detection
CN102859567B (zh) 车辆周边监视装置
CN102197418B (zh) 车辆周围监测装置
JP2018195301A (ja) 制御装置及び制御方法
CN105857180B (zh) 雾霾天车辆驾驶辅助系统及其方法
CN103959041A (zh) 附着物探测器和附着物检测方法
CN112771858A (zh) 自动车辆的相机评估技术
JP2007293627A (ja) 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム
JP5547160B2 (ja) 車両周辺監視装置
EP3553461A1 (en) Classification device, classification method, and program
CN110334601A (zh) 一种结合机器学习和计算机视觉的限速标志牌识别方法
CN105718893B (zh) 一种用于夜间环境的车辆尾灯对检测方法
JP2024086761A (ja) システム、プログラム、機械学習方法、及び機械学習モデル等
CN102589515A (zh) 一种雾天距离测量方法及装置、距离预警方法及装置
CN105787456A (zh) 一种夜间远红外图像中的行人检测方法
CN109229012A (zh) 一种基于多路况智能识别的汽车远近光灯自动切换方法
CN115050342B (zh) 一种车载显示屏的亮度控制方法及车载显示屏
JP5251673B2 (ja) 車両用表示装置
JP5056679B2 (ja) ナイトビューシステム
JP6877651B1 (ja) 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム
JP5330120B2 (ja) 三次元形状計測装置および半導体集積回路
JP5383246B2 (ja) 車両の周辺監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20070321

Termination date: 20091221