CN106030679B - 车辆周围监视装置 - Google Patents
车辆周围监视装置 Download PDFInfo
- Publication number
- CN106030679B CN106030679B CN201480073673.8A CN201480073673A CN106030679B CN 106030679 B CN106030679 B CN 106030679B CN 201480073673 A CN201480073673 A CN 201480073673A CN 106030679 B CN106030679 B CN 106030679B
- Authority
- CN
- China
- Prior art keywords
- image
- top view
- icon
- vehicle
- shows
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 26
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 7
- 238000013481 data capture Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 17
- 230000000153 supplemental effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 206010068829 Overconfidence Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
- B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
当车辆速度等于或低于车辆速度阈值vth时,显示器显示图标在与对象对应的位置处显示的成像图像作为俯视图显示图像。当车辆速度超过车辆速度阈值vth时,显示器显示图标在与对象对应的位置处显示的图标显示图像作为俯视图显示图像。通过在显示器上显示的俯视图显示图像根据车辆速度的变化而在成像图像和图标显示图像之间切换,可连续地显示表示对象的图标。
Description
技术领域
本发明的实施例涉及车辆周围监视装置。
背景技术
提出了用于通过对主车辆的外部的图像进行成像来监视在主车辆外面存在的对象的装置。例如,在文献1中公开的装置以叠加的方式在屏幕上对用户显示图标,以指示车辆的周围的图像的切换。
专利文献
[专利文献1]日本未审查专利申请公开No.2003-116125
发明内容
附带地,在用于监视主车辆外面的对象的装置中,需要主车辆的驾驶者更容易识别在主车辆外面的对象。
考虑以上问题而导出本发明的实施例,并且期望提供一种车辆周围监视装置,通过该车辆周围监视装置可以更容易地识别对象。
根据本发明的实施例的车辆周围监视装置包括:图像数据获取单元,其获取主车辆的外部的图像数据;对象检测单元,其检测在主车辆外面的对象;车辆速度检测单元,其检测主车辆的车辆速度;第一俯视图显示图像数据生成单元,其从图像数据中生成主车辆的周围的第一俯视图显示图像数据;第二俯视图显示图像数据生成单元,其根据对象检测单元的检测结果,生成主车辆的周围的第二俯视图显示图像数据,所述第二俯视图显示图像数据将对象显示为图标;俯视图显示图像生成单元,其基于第一俯视图显示图像数据和第二俯视图显示图像数据,生成主车辆的周围的俯视图显示图像;以及显示单元,其显示俯视图显示图像。当车辆速度等于或低于阈值时,俯视图显示图像生成单元使用第一俯视图显示图像数据和第二俯视图显示图像数据,生成其中图标在与对象对应的位置处显示的成像图像,作为俯视图显示图像。当车辆速度超过阈值时,俯视图显示图像生成单元使用第二俯视图显示图像数据来生成其中图标在与对象对应的位置处显示的图标显示图像,作为俯视图显示图像。
根据该配置,当车辆速度等于或低于阈值时,显示单元显示其中图标在与对象对应的位置处显示的成像图像作为俯视图显示图像。另一方面,当车辆速度超过阈值时,显示单元显示其中图标在与对象对应的位置处显示的图标显示图像作为俯视图显示图像。因此,即使在显示单元上显示的俯视图显示图像根据车辆速度的变化在成像图像和图标显示图像之间切换,表示对象的图标也可连续地显示。因此,容易识别对象。
在这种情况下,俯视图显示图像生成单元可生成其中包括图标非显示区域的成像图像,在该图标非显示区域中,图标没有显示在主车辆的周围。
当对象在距主车辆短距离处存在时,在某些情况下,需要关于该对象精细的驾驶操作。因此,根据本实施例,对于在距主车辆短距离处存在的在图标非显示区域中的对象,不显示表示该对象的图标。因此,可以防止在俯视图显示图像中的对象的识别被图标阻挡。
当车辆速度等于或低于阈值时,俯视图显示图像生成单元可生成成像图像,该成像图像显示表示在图像数据获取单元的成像范围以外的对象的图标。
根据该配置,对于在图像数据获取单元的成像范围以外的对象,显示表示该对象的图标。因此,在图像数据获取单元的成像范围以外的对象可通过图标识别。
在这种情况下,俯视图显示图像生成单元可生成比例随着车辆速度增加而变小的成像图像。
随着车辆速度增加,精确识别狭窄范围的必要性降低,因此,识别大范围的必要性增加。根据上述的配置,随着车辆速度增加,成像图像的比例变小。因此,根据车辆速度的增加,可以扩大从中获取信息的区域。
根据本发明的实施例中的车辆周围监视装置,容易识别对象。
附图说明
图1是示出实施例中的车辆周围监视装置的配置的框图;
图2是示出实施例中的车辆周围监视装置的操作的流程图;
图3是示出当车辆速度等于或低于阈值并且对象在图标非显示区域中存在时在显示器上显示的俯视图显示图像的示意图;
图4是示出当车辆速度等于或低于阈值且高于图3中的速度并且对象在图标非显示区域中不存在时在显示器上显示的俯视图显示图像的示意图;
图5是示出当车辆速度等于或低于阈值且高于图4中的速度时在显示器上显示的俯视图显示图像的示意图;
图6是示出当车辆速度是超过阈值的速度时在显示器上显示的俯视图显示图像的示意图。
具体实施方式
在下文中,将参考附图来描述本发明的实施例中的车辆周围监视装置。如在图1中所示,实施例中的车辆周围监视装置10包括照相机12a至12d、雷达22a至22d、速度传感器24、ECU 50、显示器36、制动致动器44以及转向致动器46。车辆周围监视装置10被安装在主车辆上。车辆周围监视装置10监视主车辆外面的对象。车辆周围监视装置10通过干预驾驶者的关于主车辆外面的对象的驾驶操作来执行驾驶辅助。
照相机12a至12d用作图像数据获取单元,其获取主车辆的外部的图像。图像数据是通过在由诸如照相机12a至12d的光学装置获取的图像中包含的多个像素的每一个的位置、色调和颜色来规定该图像的数据。照相机12a至12d是单眼照相机,在其中使用了诸如CCD或CMOS的半导体装置。在照相机12a至12d上安装了广角镜头或鱼眼镜头。
在实施例中,在其上安装了广角镜头或鱼眼镜头的照相机12a至12d中的每一个被安装在主车辆的车体的前侧、后侧、右侧和左侧。通过照相机12a至12d,在主车辆外面的整个周围可被成像。照相机12a至12d的光轴以预定角度朝下。因此,照相机12a至12d的成像范围是距离主车辆的前侧、右侧、左侧和后侧的每一侧大约2米或3米的区域。
雷达22a至22d用作检测在主车辆外面的对象的对象检测单元。在本实施例中,由对象检测单元检测的在主车辆外面的对象是可能移动的对象,诸如另一个车辆、摩托车、自行车、行人等。在本实施例中,诸如建筑物、防护栏等的固定障碍物也可被假定为由对象检测单元检测的在主车辆外面的对象。
毫米波雷达或激光雷达可用作雷达22a至22d。雷达22a至22d可检测在主车辆外面的对象的距离、方向、位置、大小和相对速度。在本实施例中,四个雷达22a至22d的每一个被安装在主车辆的车体的前侧、右侧、左侧和后侧。通过雷达22a至22d,可检测在主车辆外面的整个周围存在的所有对象。通过雷达22a至22d,可检测在照相机12a至12d的成像范围以外存在的对象。为了检测距主车辆短距离存在的对象,在主车辆的车体的前侧、右侧、左侧和后侧安装的四组声呐中的每一组可用作对象检测单元。
速度传感器24用作检测主车辆的速度的车辆速度检测单元。速度传感器24根据主车辆的轮轴的旋转速度检测主车辆的速度。
电子控制单元(ECU)50基于由雷达22a至22d和速度传感器24获得的信息,控制显示器36、制动致动器44以及转向致动器46。ECU 50包括图像输入单元14、成像图像数据生成单元16、对象类型确定单元26、图标显示图像数据生成单元28、显示图像切换确定单元32、俯视图显示图像生成单元34和驾驶辅助执行单元42。
图像输入单元14和成像图像数据生成单元16用作第一俯视图显示图像数据生成单元,该第一俯视图显示图像数据生成单元根据由照相机12a至12d成像的主车辆的外部的图像数据,生成成像图像数据,该成像图像数据是主车辆的周围的第一俯视图显示图像数据。第一俯视图显示图像数据是基于主车辆的外部的图像数据生成的从主车辆的外围的上方的视角的图像的数据。图像输入单元14获取由照相机12a至12d成像的图像数据。对于帧的每一个恒定更新周期,图像输入单元14获取由照相机12a至12d成像的四个静止图像的图像数据。
成像图像数据生成单元16将由图像输入单元14获取的从四个水平方向的视角的静止图像的多个图像数据的每一个转换成从主车辆的外围的上方的视角的图像数据。成像图像数据生成单元16通过修正从主车辆的外围的上方的视角的静止图像的四个图像数据的边界来合成这些图像数据,以变成一个连续的成像图像数据。这样,成像图像数据生成单元16根据由图像输入单元14获取的静止图像的图像数据,生成成像图像数据,该成像图像数据是主车辆的周围的第一俯视图显示图像数据。
例如,成像图像数据可被生成为在相对于地面垂直的方向上从主车辆的外围的上方的视角的成像图像数据。成像图像数据可被生成为在除了相对于地面垂直的方向以外的方向上从主车辆的外围的上方的视角的成像图像数据。
对象类型确定单元26和图标显示图像数据生成单元28用作第二俯视图显示图像数据生成单元,该第二俯视图显示图像数据生成单元根据雷达22a至22d的检测结果,生成将对象表示为图标的图标显示图像数据,该图标显示图像数据是主车辆的周围的第二俯视图显示图像数据。图标是表示对象的符号。第二俯视图显示图像数据是从主车辆的上方的视角的主车辆的周围的图的数据,在该图上,表示对象的图标在与该对象对应的位置处示出。
对象类型确定单元26从雷达22a至22d获取关于对象的大小的信息。对象类型确定单元26基于由雷达22a至22d检测的对象与主车辆之间的相对速度以及由速度传感器24获取的主车辆的车辆速度,获取关于对象的地面速度的信息。对象类型确定单元26根据所获取的关于对象的地面速度和大小的信息,确定对象的类型,诸如另一个车辆、摩托车、自行车和行人等。对象类型确定单元26向图标显示图像数据生成单元28传输由雷达22a至22d检测的关于对象的距离、方向和位置的信息。对象类型确定单元26向驾驶辅助执行单元42传输由雷达22a至22d检测的关于对象相对于主车辆的距离、相对速度和方向的信息。
图标显示图像数据生成单元28从预先准备的用于每种类型的对象,诸如另一个车辆、摩托车、自行车、行人等的图标中,选择与由对象类型确定单元26确定的对象的类型匹配的图标。图标显示图像数据生成单元28基于从对象类型确定单元26发送的对象与主车辆之间的距离和方向的信息,生成对象被示为图标的图标显示图像数据,该图标显示图像数据是主车辆的周围的第二俯视图显示图像数据。
例如,图标显示图像数据可以是在相对于地面垂直的方向上从主车辆的上方的视角的图标显示图像数据。图标显示图像数据可以是在除了相对于地面垂直的方向之外的方向上从主车辆的上方的视角的图标显示图像数据。可以将成像图像数据中从主车辆的上方的视角与图标显示图像数据中从主车辆的上方的视角相匹配。
显示图像切换确定单元32和俯视图显示图像生成单元34用作俯视图显示图像生成单元,该俯视图显示图像生成单元基于成像图像数据和图标显示图像数据来生成主车辆的周围的俯视图显示图像。俯视图显示图像是基于第一俯视图显示图像数据和第二俯视图显示图像数据生成的从主车辆的上方的视角的成像图像或图。
如下所述,显示图像切换确定单元32基于由速度传感器24检测的主车辆的车辆速度,确定成像图像或图标显示图像中的哪一个作为俯视图显示图像进行显示。成像图像使用成像图像数据和图标显示图像数据生成,并且是其中图标在与对象对应的位置处显示的主车辆的周围的俯视图显示图像。图标显示图像使用图标显示图像数据生成,并且是其中图标在与对象对应的位置处显示的主车辆的周围的俯视图显示图像。显示图像切换确定单元32基于由雷达22a至22d检测的对象与主车辆之间的距离、方向和位置,确定是否显示表示该对象的图标。
俯视图显示图像生成单元34基于成像图像数据和图标显示图像数据,根据来自显示图像切换确定单元32的指令来生成主车辆的周围的俯视图显示图像。俯视图显示图像可以是在相对于地面垂直的方向上从主车辆的上方的视角的俯视图显示图像。俯视图显示图像可以是从除了垂直方向之外的方向的从主车辆的上方的视角的俯视图显示图像。
驾驶辅助执行单元42基于关于由对象类型确定单元26确定的对象的类型的信息和从对象类型确定单元26发送的关于对象与主车辆之间的距离、相对速度和方向的信息,干预驾驶员的驾驶操作,并提供增加制动力的指令信号或者改变主车辆的转向角的指令信号。根据对象的类型,当对象与主车辆之间的距离等于或小于辅助阈值的预定距离时,或者当直到对象和主车辆彼此接触为止的时间等于或小于辅助阈值的预定时间时,驾驶辅助执行单元42提供增加制动力的指令信号或者改变主车辆的转向角的指令信号。
显示器36用作显示俯视图显示图像的显示单元。显示器36向主车辆的驾驶者呈现由俯视图显示图像生成单元34生成的显示图像。一般地,液晶监视器或者用于导航装置的监视器可应用于显示单元。平视显示器可应用于显示单元。可安装在主车辆的驾驶者的身体上的显示单元可用作显示单元。作为可安装在主车辆的驾驶者的身体上的显示单元,例如可以使用可安装在驾驶者的身体上的具有眼镜形状的并且其中俯视图显示图像在眼镜的镜片上显示的显示单元。
当对象与主车辆之间的距离等于或小于辅助阈值的预定距离时,或者当直到对象和主车辆彼此接触为止的时间等于或小于辅助阈值的预定时间时,制动致动器44基于来自驾驶辅助执行单元42的指令信号,使制动力增加。当对象与主车辆之间的距离等于或小于辅助阈值的预定距离时,或者当直到对象和主车辆彼此接触为止的时间等于或小于辅助阈值的预定时间时,转向致动器46基于来自驾驶辅助执行单元42的指令信号,使主车辆的转向角改变。
以下将描述在本实施例中的车辆周围监视装置10的操作。如在图2中所示,雷达22a至22d检测在主车辆外面的对象(S101)。成像图像数据生成单元16根据由照相机12a至12d成像的图像,生成用于显示俯视图的成像图像数据(S102)。速度传感器24检测主车辆的车辆速度(S103)。
对象类型确定单元26和显示图像切换确定单元32获取关于由雷达22a至22d检测的对象的距离、方向、位置和相对主车辆的相对速度的信息(S104)。对象类型确定单元26根据有关对象的地面速度和大小的信息,确定对象的类型,诸如另一个车辆、摩托车、自行车、行人等(S105)。图标显示图像数据生成单元28选择与由对象类型确定单元26确定的对象的类型匹配的图标,并基于关于从对象类型确定单元26发送的对象与主车辆之间的距离、方向和位置的信息,生成主车辆的周围的图标显示图像数据(S106)。
显示图像切换确定单元32确定由速度传感器24检测的车辆速度是否等于或低于车辆速度阈值(S107)。例如,在主车辆的变速器是自动变速器的情况下,车辆速度阈值可以是在没有踩压加速器踏板下爬行时的最大速度。具体地,车辆速度阈值可以是5至20km/h。车辆速度阈值可以是固定值。主车辆的驾驶者可设定任何车辆速度阈值。车辆速度阈值可以根据情况改变。
当由速度传感器24检测的车辆速度等于或低于车辆速度阈值时(S107),俯视图显示图像生成单元34使用成像图像数据和图标显示图像数据,根据来自显示图像切换确定单元32的指令,生成其中图标在与对象对应的位置处显示的成像图像,作为俯视图显示图像(S108)。具体地,俯视图显示图像生成单元34生成比例随着车辆速度增加变小并且显示表示在照相机12a至12d的成像范围以外的对象的图标的成像图像,作为俯视图显示图像。
显示图像切换确定单元32确定对象是否在图标未在主车辆周围显示的图标非显示区域中存在(S109)。图标非显示区域例如可以是俯视图显示图像中的矩形区域,该矩形区域的每一侧远离主车辆的前侧、右侧、左侧和后侧大约1至2米。可替代地,图标非显示区域可以是具有除了矩形形状之外的形状的区域。图标非显示区域可以是固定区域。图标非显示区域可以由主车辆的驾驶者任意设定。图标非显示区域可以根据情况改变。
当对象在图标非显示区域中存在时(S109),俯视图显示图像生成单元34根据来自显示图像切换确定单元32的指令,生成不显示表示图标非显示区域中的对象的图标的成像图像(S110)。俯视图显示图像生成单元34生成显示表示在图标非显示区域外面的对象的图标的成像图像,而无论对象是否存在于图标非显示区域中(S111)。显示器36显示所生成的俯视图显示图像(S113)。
返回到S107,当显示图像切换确定单元32确定由速度传感器24检测的车辆速度超过车辆速度阈值时(S107),俯视图显示图像生成单元34使用图标显示图像数据,根据来自显示图像切换确定单元32的指令,生成图标在与对象对应的位置处显示的图标显示图像,作为俯视图显示图像(S112)。显示器36显示所生成的俯视图显示图像(S113)。
将详细描述步骤S107至S113。在下面的示例中,假定车辆速度阈值为vth=10km/h。在下面的示例中,假定图标非显示区域是俯视图显示图像中的矩形区域,该矩形区域的每一侧远离主车辆的前侧、右侧、左侧和后侧1m。假定照相机12a至12d的成像范围是分别远离主车辆的前侧、右侧、左侧和后侧2m。
首先,如在图3中所示,例如,假定主车辆从停车场出来或者主车辆在停车场中停车。在这种情况下,主车辆的车辆速度等于或低于车辆速度阈值vth,并且是1至3km/h的极低速度。如在图3中所示,俯视图显示图像生成单元34生成从主车辆的上方的视角的主车辆成像图像Mpv的周围的成像图像PV(S107和S108)。
在对象存在于距离主车辆的前侧、右侧、左侧和后侧等于或小于1m的极短距离内的情况下,需要相对于对象的精细驾驶操作。然而,当对于在距离主车辆的极短距离内的对象显示图标时,存在成像图像PV中的对象不能识别的情况。
因此,在本实施例中,如在图3中所示,关于在图标非显示区域N中的距离d1=0.7m内存在的另一个车辆的另一个车辆成像图像,俯视图显示图像生成单元34生成仅显示另一个车辆成像图像OPV而不显示表示图标非显示区域N中的所述车辆的图标的成像图像PV,作为俯视图显示图像V(S110)。
另一方面,关于在图标非显示区域N以外的距离d2=1.1m内存在的另一个车辆的另一个车辆成像图像OPV,俯视图显示图像生成单元34生成表示所述车辆的另一个车辆图标OIC在图标非显示区域N以外的区域中叠加在另一个车辆成像图像OPV上的成像图像PV,作为俯视图显示图像V(S111)。
此外,关于在照相机12a至12d的成像范围R以外的距离d3=4.5m内存在的另一个车辆,俯视图显示图像生成单元34生成显示另一个车辆图标OIC的成像图像PV,作为俯视图显示图像V,该另一个车辆图标OIC是表示在与成像范围R以外的所述车辆的位置对应的位置处的所述车辆的图标(S108)。
在以上示例中,由于在主车辆外面的对象是另一个车辆,因此,俯视图显示图像生成单元34生成包括另一个车辆图标OIC的成像图像PV,该另一个车辆图标OIC表示由图标显示图像数据生成单元28选择的车辆。然而,在对象的类型由对象类型确定单元26确定为摩托车、自行车、行人等的情况下,图标显示图像数据生成单元28选择与对象的类型匹配的图标。俯视图显示图像生成单元34生成包括与诸如摩托车、自行车、行人等的对象的类型对应的图标的成像图像PV。
当车辆速度处于等于或低于上述车辆速度阈值vth的范围中时,例如是1至3km/h的低速范围,俯视图显示图像生成单元34可生成仅显示照相机12a至12d的成像范围R或者图标非显示区域N的成像图像PV,作为俯视图显示图像V。
接着,如在图4中所示,例如,假定主车辆从在交叉点处的停止线启动的情况。在这种情况下,主车辆的车辆速度等于或低于车辆速度阈值vth,但是高于图3中的速度,是3至7km/h。俯视图显示图像生成单元34生成比例与图3中的成像图像PV的比例相比更小的成像图像PV,作为俯视图显示图像V(S108)。
在图4中的示例中,另一个车辆在图标非显示区域N以外的距离d4=1.3m内存在。因此,关于在距离d4处的另一个车辆的另一个车辆成像图像OPV,俯视图显示图像生成单元34生成表示车辆的另一个车辆图标OIC在图标非显示区域N以外的区域中叠加在另一个车辆成像图像OPV上的俯视图显示图像V,作为俯视图显示图像V(S111)。
接着,如在图5中所示,假定主车辆从图4所示的状态进一步加速的情况。在这种情况下,主车辆的车辆速度等于或低于车辆速度阈值vth,但是高于图4中的速度,是7至10km/h。俯视图显示图像生成单元34生成比例与图4中的成像图像PV的比例相比更小的成像图像PV,作为俯视图显示图像V(S108)。
在图5的示例中,另一个车辆在图标非显示区域N内且照相机12a至12d的成像范围R以外的距离d5=2.1m内存在。因此,关于在距离d5处的所述车辆的另一个车辆成像图像OPV,俯视图显示图像生成单元34生成包括另一个车辆图标OIC的俯视图显示图像V,作为俯视图显示图像V,其中另一个车辆图标OIC是表示在成像范围R以外的区域中的所述车辆的图标(S111)。
此外,如在图6中所示,例如,假定主车辆在汽车道路上行驶的情况。在这种情况下,主车辆的车辆速度是11至100km/h,超过车辆速度阈值vth。俯视图显示图像生成单元34生成图标显示图像IV,作为俯视图显示图像V(S112)。俯视图显示图像生成单元34生成图标显示图像IV作为俯视图显示图像V,在该图标显示图像IV中,表示主车辆的主车辆图标MIC被显示在图标显示图像IV的中心处,另一个车辆图标OIC被显示在图标显示图像IV的区域中与该车辆对应的位置处。
即使在俯视图显示图像生成单元34生成图标显示图像IV作为俯视图显示图像V的情况下,与上述的生成成像图像PV作为俯视图显示图像V的情况类似,俯视图显示图像生成单元34生成包括与诸如摩托车、自行车、行人等的对象的类型对应的图标的图标显示图像IV。
当主车辆的车辆速度超过车辆速度阈值vth时,不显示成像图像PV,即使对象在图标非显示区域N中的近距离处存在,也不需要关于对象的精细驾驶操作。因此,当主车辆的车辆速度超过车辆速度阈值vth时,俯视图显示图像生成单元34生成包括表示车辆的另一个车辆图标OIC的图标显示图像IV,而无论对象是否在图标非显示图像N中存在。
如上所示,当主车辆的车辆速度从等于或小于车辆速度阈值vth的速度增加到超过车辆速度阈值vth的速度时,俯视图显示图像V连续改变,如在图3至图6中所示。另一方面,当主车辆的车辆速度反过来从超过车辆速度阈值vth的速度减小到等于或小于车辆速度阈值vth的速度时,俯视图显示图像V连续改变,如在图6至图3中所示。
如上所述,当显示器36显示俯视图显示图像V时,根据对象的类型,当对象与主车辆之间的距离等于或小于辅助阈值的预定距离时,或者当对象和主车辆将要彼此接触的时间等于或小于辅助阈值的预定时间时,驾驶辅助执行单元42向制动致动器44提供增加主车辆的制动力的指令信号,并向转向致动器46提供改变主车辆的转向角的指令信号。
在本实施例中,当车辆速度等于或低于车辆速度阈值vth时,显示器36显示图标在与对象对应的位置处显示的成像图像PV,作为俯视图显示图像V。另一方面,当车辆速度超过车辆速度阈值vth时,显示器36显示图标在与对象对应的位置处显示的图标显示图像IV,作为俯视图显示图像V。因此,即使在显示器36上显示的俯视图显示图像V在成像图像PV和图标显示图像IV之间切换,表示对象的图标也可连续地显示。因此,容易识别对象。
当对象在距离主车辆的短距离处存在时,在某些情况下,需要关于对象的精细驾驶操作。因此,根据本实施例,关于在距主车辆的短距离处存在的图标非显示区域N中的对象,不显示表示对象的图标。因此,可以防止俯视图显示图像V中的对象的识别不被图标阻挡。
在本实施例中,关于在照相机12a至12d的成像范围R以外的对象,显示表示对象的图标。因此,在照相机12a至12d的成像范围R以外的对象可通过图标识别。
随着车辆速度增加,精确识别狭窄范围的必要性减小,因此,识别大范围的必要性增加。因此,在本实施例中,随着车辆速度增加,成像图像PV的显示比例变小。因此,根据车辆速度的增加,可以扩大从中获取信息的区域。
成像图像PV是通过由具有广角镜头或鱼眼镜头的照相机12a至12d成像的图像的视角转换而生成的图像。因此,存在成像图像PV中的对象失真并且难以识别对象的情况。然而,在本实施例中,关于由雷达22a至22d检测到并在图标非显示区域N以外的对象,可以识别该对象,因为显示了表示对象的图标。
在车辆周围监视装置10中,关于没有被雷达22a至22d检测到的对象,不显示关于该对象的图标。因此,在本实施例中,主车辆的驾驶者可了解将被车辆周围监视装置10识别的对象。此外,关于没有被雷达22a至22d检测到的对象,不显示关于该对象的图标。因此,在本实施例中,主车辆的驾驶者可了解未被车辆周围监视装置10识别的对象。因此,可以防止主车辆的驾驶者对车辆周围监视装置10的过度自信。
本发明的实施例中的车辆周围监视装置并不限于上述的实施例,无需说明,在不脱离本发明的实施例的范围内可进行各种修改。例如,在上述的实施例中,描述集中于在相对于地面垂直的方向上从主车辆的上方的视角的俯视图显示图像V被显示为俯视图显示图像V。然而,本发明的实施例也可包括在除了相对于地面垂直的方向之外的方向上从主车辆的上方的视角的俯视图显示图像V可立体地显示在显示器36上作为俯视图显示图像V。
参考符号列表:
10:车辆周围监视装置;12a至12d:摄像机;14:图像输入单元;16:图像数据生成单元;22a至22d:雷达;24:速度传感器;26:对象类型确定单元;28:图标显示图像数据生成单元;32:显示图像切换确定单元;34:俯视图显示图像生成单元;36:显示器;42:驾驶辅助执行单元;44:制动致动器;46:转向致动器;50:ECU;V:俯视图显示图像;PV:成像图像;IV:图标显示图像;N:图标非显示区域;R:成像容许范围;MPV:主车辆成像图像;OPV:另一个车辆成像图像;MIC:主车辆图标;OIC:另一个车辆图标;d1至d5:距离。
Claims (4)
1.一种车辆周围监视装置,包括:
图像数据获取单元,其获取主车辆的外部的图像数据;
对象检测单元,其检测在所述主车辆外面的对象;
车辆速度检测单元,其检测所述主车辆的车辆速度;
第一俯视图显示图像数据生成单元,其从所述图像数据中生成所述主车辆的周围的第一俯视图显示图像数据;
第二俯视图显示图像数据生成单元,其根据所述对象检测单元的检测结果,生成所述主车辆的周围的第二俯视图显示图像数据,其将所述对象显示为图标;
俯视图显示图像生成单元,其基于所述第一俯视图显示图像数据和所述第二俯视图显示图像数据,生成所述主车辆的周围的俯视图显示图像;以及
显示单元,其显示所述俯视图显示图像,
其中,当所述车辆速度等于或低于阈值时,所述俯视图显示图像生成单元使用所述第一俯视图显示图像数据和所述第二俯视图显示图像数据来生成成像图像作为所述俯视图显示图像,在所述成像图像中,所述图标在与所述对象对应的位置处显示,以及
其中,当所述车辆速度超过所述阈值时,所述俯视图显示图像生成单元使用所述第二俯视图显示图像数据来生成图标显示图像作为所述俯视图显示图像,在所述图标显示图像中,所述图标在与所述对象对应的位置处显示。
2.根据权利要求1所述的车辆周围监视装置,其中,所述俯视图显示图像生成单元生成包括图标非显示区域的成像图像,在所述图标非显示区域中,所述图标没有在所述主车辆周围显示。
3.根据权利要求1或2所述的车辆周围监视装置,其中,当所述车辆速度等于或低于所述阈值时,所述俯视图显示图像生成单元生成成像图像,所述成像图像显示表示在所述图像数据获取单元的成像范围以外的对象的图标。
4.根据权利要求3所述的车辆周围监视装置,其中,所述俯视图显示图像生成单元生成比例随着所述车辆速度增加而变小的成像图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-010166 | 2014-01-23 | ||
JP2014010166A JP6307895B2 (ja) | 2014-01-23 | 2014-01-23 | 車両用周辺監視装置 |
PCT/JP2014/084748 WO2015111367A1 (en) | 2014-01-23 | 2014-12-25 | Vehicle surroundings monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106030679A CN106030679A (zh) | 2016-10-12 |
CN106030679B true CN106030679B (zh) | 2018-04-27 |
Family
ID=52781232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480073673.8A Active CN106030679B (zh) | 2014-01-23 | 2014-12-25 | 车辆周围监视装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9620009B2 (zh) |
JP (1) | JP6307895B2 (zh) |
CN (1) | CN106030679B (zh) |
DE (1) | DE112014006255B4 (zh) |
WO (1) | WO2015111367A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6307895B2 (ja) * | 2014-01-23 | 2018-04-11 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
KR101684939B1 (ko) * | 2014-11-05 | 2016-12-09 | 현대모비스 주식회사 | 차량의 주행모드를 고려한 디스플레이 장치 및 방법 |
WO2016140016A1 (ja) * | 2015-03-03 | 2016-09-09 | 日立建機株式会社 | 車両の周囲監視装置 |
JP6975945B2 (ja) * | 2016-02-24 | 2021-12-01 | パナソニックIpマネジメント株式会社 | 判定装置、判定方法、プログラムおよびプログラムを記録した記録媒体 |
JP6536521B2 (ja) * | 2016-09-22 | 2019-07-03 | 株式会社デンソー | 物体検知装置及び物体検知方法 |
JP6443418B2 (ja) * | 2016-10-03 | 2018-12-26 | トヨタ自動車株式会社 | 車両運転支援装置 |
US10322696B2 (en) * | 2017-01-18 | 2019-06-18 | Gm Global Technology Operations Llc. | Vehicle environment imaging systems and methods |
JP6439233B2 (ja) * | 2017-03-31 | 2018-12-19 | マツダ株式会社 | 車両用画像表示装置及び画像処理方法 |
JP6990248B2 (ja) | 2017-08-25 | 2022-01-12 | 本田技研工業株式会社 | 表示制御装置、表示制御方法およびプログラム |
CN111034186B (zh) * | 2017-08-25 | 2021-04-02 | 日产自动车株式会社 | 周围车辆显示方法及周围车辆显示装置 |
EP3785048A1 (en) * | 2018-04-25 | 2021-03-03 | Waymo LLC | Underbody radar units |
JP2019211249A (ja) * | 2018-05-31 | 2019-12-12 | パナソニック株式会社 | 飛行物体検知システムおよび飛行物体検知方法 |
JP6731022B2 (ja) * | 2018-09-14 | 2020-07-29 | 本田技研工業株式会社 | 駐車支援装置、車両及び駐車支援方法 |
CN109703466B (zh) * | 2019-01-03 | 2022-04-12 | 京东方科技集团股份有限公司 | 抬头显示装置、驱动方法、车辆及电子设备 |
US11457181B1 (en) * | 2021-03-19 | 2022-09-27 | Denso International America, Inc. | Vehicle maneuver assist with environment-fixed overhead composite image |
JP2023154265A (ja) * | 2022-04-06 | 2023-10-19 | キヤノン株式会社 | 画像処理装置、移動体、画像処理方法、及びコンピュータプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1607818A (zh) * | 2003-10-15 | 2005-04-20 | 富士通天株式会社 | 图像处理装置、驾驶支援装置和驾驶支援系统 |
CN1619584A (zh) * | 2003-11-20 | 2005-05-25 | 日产自动车株式会社 | 车辆周围环境监控设备及其方法 |
CN1834583A (zh) * | 2005-03-09 | 2006-09-20 | 三菱自动车工业株式会社 | 车辆周边监视装置 |
CN101438590A (zh) * | 2006-05-09 | 2009-05-20 | 日产自动车株式会社 | 车辆周围图像提供装置和车辆周围图像提供方法 |
CN101816175A (zh) * | 2007-10-01 | 2010-08-25 | 日产自动车株式会社 | 停车辅助装置以及停车辅助方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003116125A (ja) | 2001-10-03 | 2003-04-18 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
US7145519B2 (en) * | 2002-04-18 | 2006-12-05 | Nissan Motor Co., Ltd. | Image display apparatus, method, and program for automotive vehicle |
JP4573242B2 (ja) * | 2004-11-09 | 2010-11-04 | アルパイン株式会社 | 運転支援装置 |
US7375620B2 (en) * | 2005-12-08 | 2008-05-20 | Gm Global Technology Operations, Inc. | Speed-sensitive rear obstacle detection and avoidance system |
JP4846426B2 (ja) * | 2006-04-20 | 2011-12-28 | パナソニック株式会社 | 車両周囲監視装置 |
JP5087051B2 (ja) * | 2009-07-02 | 2012-11-28 | 富士通テン株式会社 | 画像生成装置及び画像表示システム |
WO2011158609A1 (ja) * | 2010-06-15 | 2011-12-22 | アイシン精機株式会社 | 運転支援装置 |
JP5699679B2 (ja) * | 2011-02-24 | 2015-04-15 | 富士通セミコンダクター株式会社 | 画像処理装置、画像処理システム、及び画像処理方法 |
JP5741173B2 (ja) * | 2011-04-19 | 2015-07-01 | トヨタ自動車株式会社 | 画像表示装置、及び、画像表示方法 |
WO2012169355A1 (ja) | 2011-06-09 | 2012-12-13 | アイシン精機株式会社 | 画像生成装置 |
JP5516998B2 (ja) | 2011-06-09 | 2014-06-11 | アイシン精機株式会社 | 画像生成装置 |
US20150116494A1 (en) * | 2012-05-08 | 2015-04-30 | Toyota Jidosha Kabushiki Kaisha | Overhead view image display device |
MY158375A (en) * | 2012-07-27 | 2016-09-26 | Nissan Motor | Three-dimensional object detection device, three-dimensional object detection method |
JP5643272B2 (ja) * | 2012-09-21 | 2014-12-17 | 株式会社小松製作所 | 作業車両用周辺監視システム及び作業車両 |
CN104871204B (zh) * | 2012-11-27 | 2018-01-26 | 歌乐株式会社 | 车载图像处理装置 |
JP6328369B2 (ja) * | 2012-11-27 | 2018-05-23 | クラリオン株式会社 | 車載用制御装置 |
CN104822566B (zh) * | 2012-11-27 | 2016-07-06 | 歌乐牌株式会社 | 车载图像处理装置 |
JP6307895B2 (ja) * | 2014-01-23 | 2018-04-11 | トヨタ自動車株式会社 | 車両用周辺監視装置 |
-
2014
- 2014-01-23 JP JP2014010166A patent/JP6307895B2/ja active Active
- 2014-12-25 CN CN201480073673.8A patent/CN106030679B/zh active Active
- 2014-12-25 US US15/103,943 patent/US9620009B2/en active Active
- 2014-12-25 WO PCT/JP2014/084748 patent/WO2015111367A1/en active Application Filing
- 2014-12-25 DE DE112014006255.3T patent/DE112014006255B4/de active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1607818A (zh) * | 2003-10-15 | 2005-04-20 | 富士通天株式会社 | 图像处理装置、驾驶支援装置和驾驶支援系统 |
CN1619584A (zh) * | 2003-11-20 | 2005-05-25 | 日产自动车株式会社 | 车辆周围环境监控设备及其方法 |
CN1834583A (zh) * | 2005-03-09 | 2006-09-20 | 三菱自动车工业株式会社 | 车辆周边监视装置 |
CN101438590A (zh) * | 2006-05-09 | 2009-05-20 | 日产自动车株式会社 | 车辆周围图像提供装置和车辆周围图像提供方法 |
CN101816175A (zh) * | 2007-10-01 | 2010-08-25 | 日产自动车株式会社 | 停车辅助装置以及停车辅助方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2015139128A (ja) | 2015-07-30 |
US20160321920A1 (en) | 2016-11-03 |
JP6307895B2 (ja) | 2018-04-11 |
DE112014006255T5 (de) | 2016-11-03 |
US9620009B2 (en) | 2017-04-11 |
WO2015111367A1 (en) | 2015-07-30 |
DE112014006255B4 (de) | 2022-05-12 |
CN106030679A (zh) | 2016-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106030679B (zh) | 车辆周围监视装置 | |
JP6232759B2 (ja) | 情報処理装置、接近対象物通知方法及びプログラム | |
JP5577398B2 (ja) | 車両の周辺監視装置 | |
JP5706874B2 (ja) | 車両の周辺監視装置 | |
JP5503728B2 (ja) | 車両の周辺監視装置 | |
CN102859567B (zh) | 车辆周边监视装置 | |
US9691283B2 (en) | Obstacle alert device | |
US20140327772A1 (en) | Vehicle vision system with traffic sign comprehension | |
WO2011043006A1 (ja) | 制御装置および車両周囲監視装置 | |
JP2010130646A (ja) | 車両周辺確認装置 | |
CN103843325A (zh) | 图像显示装置及图像显示方法 | |
CN103843326A (zh) | 图像显示装置及图像显示方法 | |
US20150165974A1 (en) | Image monitoring apparatus, movable object, program and failure determining method | |
JP2005242606A (ja) | 画像生成装置、画像生成プログラム、及び画像生成方法 | |
JP2014026177A (ja) | 車両用表示制御装置、車両用表示装置及び車両用表示制御方法 | |
TW201601955A (zh) | 車用安全系統及其運作方法 | |
JP2012247847A (ja) | 車両用情報伝達制御装置、及び、情報伝達制御方法 | |
JP5861449B2 (ja) | 障害物警報装置 | |
CN108422932A (zh) | 驾驶辅助系统、方法和车辆 | |
JP5192007B2 (ja) | 車両の周辺監視装置 | |
JP2019188855A (ja) | 車両用視認装置 | |
JP5345992B2 (ja) | 車両周辺監視装置 | |
JP4176558B2 (ja) | 車両周辺表示装置 | |
JP5245471B2 (ja) | 撮像装置、並びに、画像処理装置および方法 | |
JP6365409B2 (ja) | 車両の運転者のための画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |