CN102951077A - 驾驶辅助设备 - Google Patents
驾驶辅助设备 Download PDFInfo
- Publication number
- CN102951077A CN102951077A CN201210091749.2A CN201210091749A CN102951077A CN 102951077 A CN102951077 A CN 102951077A CN 201210091749 A CN201210091749 A CN 201210091749A CN 102951077 A CN102951077 A CN 102951077A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- place ahead
- display screen
- clipping region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 13
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 10
- 230000011218 segmentation Effects 0.000 description 10
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000001915 proofreading effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种驾驶辅助设备。驾驶辅助设备包括：成像单元，其设置在车辆后方位置；图像处理器，其生成利用成像单元获得的图像；以及显示单元，其显示图像。图像处理器根据获得的后方周边图像生成后方图像、右后方图像和左后方图像。后方图像显示在显示单元的上方位置，右后方图像和左后方图像显示在其下部位置。右后方图像被生成为其垂直宽度随着位置与中央部分远离而靠近显示单元的右侧而增加，以及左后方图像被生成为其垂直宽度随着位置与中央部分远离而靠近显示单元的左侧而增加。
Description
技术领域
本发明涉及用于车辆辅助驾驶的驾驶辅助设备，更具体地，涉及利用使用安装至车辆的成像装置拍摄车辆周边图像而获得的图像在设置在车辆内部的装置上显示驾驶辅助图像的驾驶辅助设备。
背景技术
在用于辅助驾驶员在驾驶过程中检查车辆周边的现有设备中，有一种驾驶辅助设备，其利用安装至车辆规定位置(诸如车辆后方的位置)处的成像装置拍摄车辆周边的图像、并在设置在车辆内的显示装置上显示得到的图像的驾驶辅助设备。在例如驾驶员在停车场中通过倒车进行停车时，利用这种驾驶辅助设备允许驾驶员更容易的检查车后是否存在障碍物或人。
在这种驾驶辅助设备中，驾驶员检查车辆周边有多容易取决于显示在设置在车辆内的显示器上的图像。因此，已经提出了各种驾驶辅助设备，这些驾驶辅助设备通过对由成像装置拍摄的图像进行视点变换和图像处理来在显示装置上显示允许驾驶员更容易地检查周边的图像。
例如，日本专利申请公开No.JP-A-2009-81664公开了一种驾驶辅助设备，其设置有位于车辆的规定的后方位置的作为成像装置的广角后置照相机、和设置在车辆内部并显示由该广角后置照相机拍摄的图像的显示装置。在该驾驶辅助设备中，对通过拍摄车辆右后方区域以及车辆左方和右方的区域的图像而获得的广角图像的多个部分进行裁剪来产生后方图像、右后方图像、和左后方图像。通过以以下方式在显示装置的显示区中排布这些图像来将驾驶辅助图像呈现给驾驶员：后方图像显示在显示区的中央、右后方图像显示在后方图像的右侧、而左后方图像显示在后方图像的左侧。
驾驶辅助设备以以下方式呈现驾驶辅助图像。通过对所拍摄的广角图像的裁剪部分的图像数据进行诸如坐标变换的图像处理来生成后方图像，使得所生成的后方图像具有与车辆驾驶员通过望后镜可视识别出的车辆正后方区域的镜面反射图像相对应的尺寸。右后方图像和左后方图像通过对所拍摄的广角图像的裁剪部分的图像数据进行诸如图像压缩的图像处理而生成，使得这些图像与这些图像在显示区中的显示空间(即，显示在中央的后方图像的左侧和右侧的空间)相适应。
对于以上述方式生成的驾驶辅助图像，可以在显示装置的有限显示区中有效地显示宽区域(即，车辆的右后方区域和车辆的左右方区域)的图像。由于后方图像显示为具有与车辆驾驶员通过望后镜可视识别出的车辆正后方区域的镜面反射图像相对应的尺寸，因此驾驶员可以以正确的距离感来识别图像。
然而，JP-A-2009-81664具有如下缺陷。驾驶员利用JP-A-2009-81664中公开的驾驶辅助设备的一种示例情形为驾驶员通过倒车将车辆停入停车位。在将车辆引入停车位或将车停靠在停车位(即，相对于停车位来定位车辆)的过程中，驾驶员主要观看显示在显示装置的显示区中央的后方图像来执行必需的驾驶操作。此外，在执行这样的驾驶操作时，驾驶员需要利用驾驶辅助图像的右后方图像和左后方图像来检查他或她自己车辆的左方或右方是否有行人、其他车辆等。
由于显示在后方图像的左右侧的右后方图像和左后方图像已经进行了图像处理从而与显示区相适应，因此这些图像相比于驾驶员裸眼观看车辆的右后方或左后方区域的情况而存在变形。因此，当驾驶员试图通过观看右后方图像和左后方图像来检查是否存在从停车位的左方或右方方向过来的行人、其他车辆等时，驾驶员难以辨认右后方图像或左后方图像中包括的接近的行人的距离、接近的其他车辆的距离，以及行人或其他车辆接近停车位的速度。从而，对于驾驶员来说，JP-A-2009-81664中公开的驾驶辅助设备用起来不是很舒服。
发明内容
本发明的示出的各方面提供了一种驾驶辅助设备，其能够利用通过利用安装至车辆规定位置的成像装置拍摄车辆周边的图像而获得的图像来显示使驾驶员使用起来更舒服的驾驶辅助图像。
根据本发明的第一方面，一种驾驶辅助设备包括：至少一个成像装置，其设置在车辆后方的规定位置；图像处理器，其被构造为通过对利用成像装置拍摄车辆后方周边的图像而获得的后方周边图像进行图像处理来生成驾驶辅助图像；以及显示装置，其被构造为在显示屏幕上显示从图像处理器输出的驾驶辅助图像，其中：所述图像处理器被构造为获取所述后方周边图像，以设置作为所述后方周边图像的中央部分且与车辆的正后方区域对应的后方裁剪区域，以及在所述后方周边图像中设置与位于车辆右后方的区域对应的右后方裁剪区域、和与位于车辆左后方的区域对应的左后方裁剪区域；所述图像处理器被构造为基于从所述后方周边图像裁剪出的图像生成后方图像作为对应于后方裁剪区域的图像、基于从所述后方周边图像裁剪出的图像生成右后方图像作为对应于右后方裁剪区域的图像、以及基于从所述后方周边图像裁剪出的图像生成左后方图像作为对应于左后方裁剪区域的图像；所述驾驶辅助图像以如下方式显示在显示屏幕上，其中所述右后方图像以所述右后方图像的垂直中心线作为翻转轴而左右翻转地显示在显示屏幕的处于后方图像上方的右侧区域中，所述左后方图像以所述左后方图像的垂直中心线作为翻转轴而左右翻转地显示在显示屏幕的处于后方图像上方的左侧区域中，而所述后方图像以后方图像的垂直中心线为翻转轴而左右翻转地显示在所述右后方图像和所述左后方图像的下方；以及所述图像处理器被构造为通过以下方式生成右后方图像：进行图像处理以使得右后方图像的垂直宽度随着位置从右后方图像的更靠近显示屏幕垂直中心线的边线远离而靠近其右外侧线而增大，并且被构造为通过以下方式生成左后方图像：进行图像处理以使得左后方图像的垂直宽度随着位置从左后方图像的更靠近显示屏幕垂直中心线的边线远离而靠近其左外侧线而增大。
本发明的其他方面和优点将从下面的说明书、附图和权利要求书而变得显而易见。
附图说明
图1是示出根据本发明一个实施例的驾驶辅助设备的构造的框图；
图2A和图2B分别是示出了如何定义裁剪区域的车辆的侧视图和俯视图；
图3示出了根据所述实施例拍摄的并在其中设置了裁剪区域的示例后方周边图像；以及
图4A示出了其中示出了裁剪角度的示例后方周边图像，而图4B示出了从图4A的后方周边图像获得的驾驶辅助图像。
具体实施方式
下面将参照图1至图4B详细描述本发明的一个实施例。该实施例涉及其中在车辆后方位置设置一个成像装置的示例驾驶辅助设备。
本发明不限于下面的实施例，而是在不背离本发明的精神和范围的条件下可以进行各种修改。
[实施例]
图1是示出根据该实施例的驾驶辅助设备的框图。如图1所示，驾驶辅助设备10设置有成像装置1、显示装置3、和图像处理器20。图像处理器20设置有ROM 4、RAM 5、成像装置I/F模块6、显示装置I/F模块7、和用于控制这些模块的控制器2。
尽管任何图中都未示出，但是成像装置1设置有诸如鱼眼镜头的广角镜头、保持广角镜头的镜头架、膜片、滤光器、和在其上形成由穿过广角镜头的光束所载送的图像的成像装置(诸如CCD)。如图2A和图2B所示，单个成像装置1设置在车辆40的后保险杠40a上车辆宽度方向的大约中央处(例如，布置在车辆40的后方位置的牌照的上方)。成像装置1在其整个可拍摄范围内拍摄车辆40后方周边的图像。尽管该实施例是针对于安装了单个成像装置1的情况，但是也可以安装多个成像装置以拍摄车辆40后方周边的各分割区域的图像。
显示装置3设置有具有触摸屏功能的液晶面板，并且基于由图像处理器20提供的数据来显示图像。尽管未详细描述，但是显示装置3可以显示由设置在车辆40内的汽车导航系统(未示出)传输的地图图像或由设置在车辆40内的诸如DVD播放器的图像再现设备传输的图像。
接下来，将描述图像处理器20。成像装置I/F模块6是设置在成像装置1和控制器2之间的接口，其获取由成像装置1拍摄的图像并将相应的图像数据输出至控制器2。结合图像ASIC等(未示出)，控制器2对与由成像装置1拍摄的图像对应并由成像装置I/F模块6提供的图像数据进行图像处理(诸如图像裁剪和失真校正)。显示装置I/F模块7是设置在控制器2和显示装置3之间、并接收经过控制器2的图像处理后的图像数据的接口，并且其将相应的图像数据输出至显示装置3。
ROM 4存储用于要由控制器2进行的图像处理的程序、在对由控制器2获取的图像进行坐标变换处理过程中要参考的坐标变换表、以及其他信息。控制器2根据这些程序和坐标变换表进行上述的图像处理。RAM 5用作控制器2的工作区；例如，RAM 5临时存储始终由成像装置1拍摄的车辆40后方周边的图像、以及在控制器2执行图像处理时临时存储受到图像处理的图像。
接下来，将参照图1至图3描述根据该实施例的驾驶辅助设备10的操作原理。在下面的描述中，参照图2B，车辆40的设置有右侧后视镜40b的一侧称作右侧，而设置有左侧后视镜40c的一侧称作左侧。当驾驶员通过倒行车辆40而启动了停放车辆40的动作(例如，在车辆40是AT车辆的情况下，驾驶员将变速杆变换至“R(倒车)”时)时，驾驶辅助设备10开始工作。图像处理器20的控制器2从RAM 5读取图3所示的后方周边图像60，并开始对后方周边图像60进行处理。
后方周边图像60是通过在成像装置1的整个可拍摄范围内拍摄车辆40后方周边的图像而获得、并被存储在RAM 5中的图像。成像装置1的整个后方可拍摄范围表示图2A的侧视图中垂直成像边界51a(即，穿过成像装置1的中心并垂直于地面的线)后方、以及图2B的俯视图中的水平成像边界51b(即，穿过成像装置1的中心并平行于车辆40的后端的线)后方的整个成像范围50。
如图2B所示，控制器2从后方周边图像60裁剪出作为后方裁剪区域50a、右后方裁剪区域50b、和左后方裁剪区域50c的图像区域，其中，后方裁剪区域50a对应于车辆40的后保险杠40a的正后方区域，右后方裁剪区域50b对应于位于车辆40的右后方、并位于后方裁剪区域50a右侧的区域(区域50a和50b之间有重叠)，左后方裁剪区域50c对应于位于车辆40的左后方、并位于后方裁剪区域50a左侧的区域(区域50a和50c之间有重叠)。下面将描述如何裁剪这些区域。
如图2A所示，后方裁剪区域50a的垂直范围由边界线52和边界线53定义，边界线52连接成像装置1的中心和在前后方向上与保险杠40a的后端相距规定距离(即，即使在驾驶员在低速倒行车辆40时看到障碍物后踩下制动器，也允许车辆40停下来而不会撞到位于车辆40后的诸如边石的障碍物的距离(例如，1m))的地面上的位置，边界线53是从成像装置1的中心斜向后绘制、且与边界线52形成规定角度d1的直线。如图2B所示，后方裁剪区域50a的水平范围由从成像装置1的中心斜向后绘制、且与水平成像边界51b形成角度r3的边界线56和57定义。由边界线56和57形成的角度被设置为规定值r1(＝180°-2×r3)。
控制器2在后方周边图像60中设置这样的后方裁剪区域50a。更具体的，如图3所示，控制器2在后方周边图像60中心附近将由对应于边界线52、53、56、和57的粗线围起来的区域设置为后方裁剪区域50a。
另一方面，如图2A所示，右后方裁剪区域50b和左后方裁剪区域50c中的每一个的垂直范围由边界线54和边界线55定义，边界线54连接成像装置1的中心和地面上从边界线52与地面的交点向车辆40移近规定距离的位置，边界线55是从成像装置1的中心斜向后绘制、且与边界线54形成规定角度d2的直线。如图2B所示，右后方裁剪区域50b的水平范围由水平成像边界51b和边界线58定义，边界线58是从成像装置1斜向后绘制、且与水平成像边界51b形成规定角度r2(＞r3)的直线。左后方裁剪区域50c的水平范围由水平成像边界51b和边界线59定义，边界线59是从成像装置1斜向后绘制、且与水平成像边界51b形成规定角度r2的直线。
控制器2在后方周边图像60中设置这样的右后方裁剪区域50b和左后方裁剪区域50c。更具体地，如图3所示，控制器2在后方周边图像60中的后方裁剪区域50a的左侧将由对应于边界线54、55和58的粗线以及水平成像边界51b围起来的区域设置为右后方裁剪区域50b。控制器2在后方周边图像60中的后方裁剪区域50a的右侧将由对应于边界线54、55和59的粗线以及水平成像边界51b围起来的区域设置为左后方裁剪区域50c。
控制器2以上述方式在后方周边图像60中设置后方裁剪区域50a、右后方裁剪区域50b、和左后方裁剪区域50c，并裁剪对应于裁剪区50a、50b、和50c的图像以及将这些图像作为图像数据存入RAM5。更具体的，被裁剪为对应于后方裁剪区域50a的数据的图像数据、被裁剪为对应于右后方裁剪区域50b的数据的图像数据、和被裁剪为对应于左后方裁剪区域50c的数据的图像数据分别作为后方图像数据、右后方图像数据、和左后方图像数据被存入RAM 5中。
在后方周边图像60中虚拟地定义上述边界线(水平成像边界51b和边界线52至59)以执行图像处理。
然后，控制器2执行图像合并，即，将存储在RAM 5中的后方图像数据、右后方图像数据、和左后方图像数据合并在一起，从而在显示屏的上部区域中并排地显示对应于右后方图像数据和左后方图像数据的图像，并在对应于右后方图像数据和左后方图像数据的图像下方显示对应于后方图像数据的图像，并将得到的图像数据作为驾驶辅助图像数据经由显示装置I/F模块7输出至显示装置3。对应于驾驶辅助图像数据的图像作为驾驶辅助图像70(后面进行描述)显示在显示装置3的显示屏幕上。
接下来，将参照图1至图4B描述根据本实施例的驾驶辅助设备10的具体操作和优点。下面的描述将针对驾驶员通过倒行车辆40来将车辆40停放到如有很多人和其他车辆来往的商用设施的停车场之类的区域的停车位中的情况。
驾驶员开始倒行车辆40以将车辆40停放到由图4A所示的后方周边图像60所包括的白线围起来的停车位中。如上所述，控制器2在后方周边图像60中设置后方裁剪区域50a、右后方裁剪区域50b、和左后方裁剪区域50c，裁剪对应于各裁剪区域50a、50b、和50c的图像数据以及将这些裁剪图像数据存入RAM 5。如图4A所示，假设由垂直平面和水平平面中的边界线形成且代表裁剪区域50a、50b、和50c的尺寸的角度如下：d1＝90°，d2＝66°，r1＝110°，以及r2＝40°。
控制器2通过执行图像处理来生成驾驶辅助图像，从而使得在显示装置3的显示屏幕的下部区域中将与被裁剪为对应于后方裁剪区域50a的数据的后方图像数据对应的后方图像70a显示为以后方图像70a垂直中线为翻转轴进行了左右翻转；使得在显示装置3的显示屏幕的右上部区域中将与被裁剪为对应于右后方裁剪区域50b的数据的右后方图像数据对应的右后方图像70b显示为左右翻转；以及使得在显示装置3的显示屏幕的左上部区域中将与被裁剪为对应于左后方裁剪区域50c的数据的左后方图像数据对应的左后方图像70c显示为左右翻转。然后，控制器2将所生成的驾驶辅助图像数据输出至显示装置3以在显示装置3的显示屏幕上显示图4B所示的驾驶支持图像70。
在图4B所示的驾驶支持图像70中，在右后方图像70b和左后方图像70c之间显示顶部视点图像70d。尽管未详细描述，但是顶部视点图像70d是当从位于车辆40后方预定高度的虚拟视点向下看时会得到的、且由控制器2对后方周边图像60的规定区域执行诸如坐标变换的图像处理而生成的图像。尽管在该实施例中，驾驶支持图像70包括顶部视点图像70d，但是可以通过将右后方图像70b和左后方图像70c的显示区向显示屏幕的垂直中线扩展、或将后方图像70a的显示区向上扩展以取代顶部视点图像70d的显示区来省略顶部视点图像70d。
在生成驾驶辅助图像数据的过程中，控制器2执行图像处理以校正被裁剪为对应于各裁剪区50a、50b、和50c的数据的图像数据的失真。在如此做的过程中，控制器2可以执行图像扩大或缩小，以使对应于各图像数据的图像显示在显示装置3的显示屏幕上，而不会引起各图像数据的内容的过多或短缺显示。涉及校正这种失真的技术是已知的(例如，JP-A-2008-311890)，但不会对其进行详细描述，这是因为它们不直接涉及本发明。
在将车辆40停放到图4A的后方周边图像60所示的停车位的过程中，驾驶员需要驾驶车辆40进行停靠同时进行安全检查，即，检查正通过停车位前面的道路部分的其他车辆或从车辆40的一边靠近停车位的行人。
在JP-A-2009-81664中公开的驾驶辅助设备中，为了允许驾驶员以正确的距离感识别后方图像，将后方图像生成为具有与当车辆驾驶员通过望后镜可视地识别车辆正后方区域时的镜面反射图像对应的尺寸。然而，显示在后方图像的右侧和左侧的右后方图像和左后方图像失真，这是因为这些图像已经进行了图像压缩以适于显示区。因此，当驾驶员尝试检查是否有行人、其他车辆等正从他或他自己的车辆的左侧或右侧方向靠近时，驾驶员难以识别出他或她自己的车辆与包括在右后方图像或左后方图像中的正靠近的行人、正靠近的其他车辆等之间的距离，以及行人、其他车辆等的靠近速度。
相反，在根据本实施例生成的驾驶辅助图像70中，后方图像70a以显示屏幕的整个水平宽度显示在显示装置3的显示屏幕下部区域中，而右后方图像70b和左后方图像70c并排显示在后方图像70a的上方。因此，右后方图像70b和左后方图像70c可以显示在比JP-A-2009-81664的显示模式(其中右后方图像和左后方图像显示在后方图像的右侧和左侧)更大的区域中。结果，右后方图像70b和左后方图像70c可以在视觉上变大，这是因为减小了失真和水平压缩。
如图4B所示，左后方图像70c和右后方图像70b中的每一个都在受到这种图像处理后进行显示，其中所述图像处理使得图像的垂直宽度随着位置从更靠近显示屏幕垂直中线的边线远离而靠向右或左外侧线而增大。更具体的，对于右后方图像70b，执行图像处理以使得区域分割线70ba用作右后方图像70b和后方图像70a之间的边界，其中，区域分割线70ba通常为从左上延伸至右下的倾斜直线、且连接右后方图像70b和顶部视点图像70d之间的区域分割线70bb的底端和右后方图像70b的右边线70bc的底端。对于左后方图像70c，执行图像处理以使得区域分割线70ca用作左后方图像70c和后方图像70a之间的边界，其中，区域分割线70ca通常为从右上延伸至左下的倾斜直线、且连接左后方图像70c和顶部视点图像70d之间的区域分割线70cb的底端和左后方图像70c的左边线70cc的底端。
因此，在检查有行人、其他车辆等从车辆40的左侧或右侧方向靠近时，驾驶员可以看到车辆40右后方和左后方更宽的区域，并且可以容易地识别车辆40与右后方图像70b或左后方图像70c中包括的行人、其他车辆等之间的距离，以及行人、其他车辆等的靠近速度。由于区域分割线70ba和70ca是斜线，因此可以在后方图像70a中示出作为车辆40的移动目标的停车位及其附近，而不会引起其显示内容的过多或不足。此外，由于后方图像70a显示在显示屏幕的整个水平宽度上，因此目标停车位周围的其他停放车辆等显示为大图像，因此驾驶员可以识别出目标停车位及其附近的情况。
在根据本实施例生成的驾驶辅助图像70中，如图4所示，为了允许驾驶员更容易地进行停车驾驶操作，在后方图像70a中显示了指示车辆40的宽度的两条车辆宽度线71、以及指示与车辆40的后保险杠40a相距规定距离(例如，1m和5m)的位置的两条虚拟距离指示线72和73，并将区域分割线70ba和70ca设置为与各车辆宽度线71平行。因此，驾驶员可以容易地在驾驶辅助图像70中将后方图像70a与右后方图像70b和左后方图像70c区分开，并可以不会感觉到异样的观看其中后方图像70a与右后方图像70b和左后方图像70c分离的驾驶辅助图像70。因此对于驾驶辅助图像70驾驶员使用起来很舒服。
区域分割线70ba和70ca可以不与各车辆宽度线71平行，但是在这种情况中驾驶员会感觉到异样。此外，区域分割线70ba和70ca可以是曲线、波形线、或其他线型。同样在这些情况中，可以容易地将后方图像70a与右后方图像70b和左后方图像70c区分开，从而提高了它们的可视性。
如上所述，在根据本发明的驾驶辅助设备中，后方图像(或前方图像)显示在显示装置的显示屏幕的下部区域中。右后方图像(或右前方图像)和左后方图像(或左前方图像)并排显示在显示屏幕的上部区域中，其中它们各自垂直方向上的宽度随着位置从更靠近显示屏幕的垂直中线的边线远离而靠向右或左外侧线而增大。利用该手段，可以在后方图像(或前方图像)中显示存在于车辆移动方向前方的显示对象(停车位中的白线或阻挡物、附近的水泥阻挡墙等)，而不会引起其过度或短缺显示。在右后方图像(或右前方图像)和左后方图像(或左前方图像)中，驾驶员可以容易地识别出从他或她自己的车辆的左边或右边方向靠近的行人、其他车辆等。从而可以提供驾驶员用起来很舒服的驾驶辅助图像。
在上述实施例中，利用设置在车辆40后方位置的成像装置1拍摄车辆40后方周边的图像，并且通过对得到的图像数据进行图像处理而产生驾驶辅助图像70并呈现给驾驶员。如下所述的其他结构也是可能的，其中利用设置在车辆40前方位置的成像装置1拍摄车辆40前方周边的图像并且通过对得到的图像数据进行图像处理而产生驾驶辅助图像。
在成像装置1设置在车辆40的前方位置的情况下，单个成像装置1在大约车辆宽度中心的位置处设置在车辆40的前保险杠上方(例如，设置在车辆40前方位置处的牌照上方)。除了在图2A和图2B中将前方和后方切换以外，成像装置1的前方周边图像的成像范围、以及将在前方周边图像中设置的前方裁剪区域、右前方裁剪区域、和左前方裁剪区域可以以与将成像装置1设置在车辆40的后方位置的情况相同的方式进行设置。
即，前方周边图像的成像范围是位于垂直成像边线51a和水平成像边界51b的前方的整个范围。前方裁剪区域(其对应于图2A和图2B所示的后方裁剪区域)由垂直方向中的边界线52和53以及水平方向中的边界线56和57定义。
右前方裁剪区域(其对应于图2A和图2B所示的左后方裁剪区域50c)由垂直方向中的边界线54和55以及由水平成像边界51b和边界线59定义。左前方裁剪区域(其对应于图2A和图2B所示的右后方裁剪区域50b)由垂直方向中的边界线54和55以及由水平成像边界51b和边界线58定义。
控制器2在前方周边图像中设置前方裁剪区域、右前方裁剪区域、和左前方裁剪区域，裁剪出对应于各裁剪区域的前方图像数据、右前方图像数据、和左前方图像数据，并将裁剪图像数据存入RAM 5。然后，控制器2组合前方图像数据、右前方图像数据、和左前方图像数据，从而在显示屏幕的上部区域中并排显示对应于右前方图像数据和左前方图像数据的图像，以及使得对应于前方图像数据的图像显示在对应于右前方图像数据和左前方图像数据的图像的下方。然后，控制器2将得到的驾驶辅助图像数据经由显示装置I/F模块7输出至显示装置3。因此，对应于驾驶辅助图像数据的图像，即驾驶支持图像被显示在显示装置3的显示屏幕上。
在由设置在车辆40的前方位置的成像装置1拍摄车辆前方周边的图像的情况中，驾驶员的视线方向与成像装置1的成像方向相同，因此无需在基于所拍摄的图像生成驾驶辅助图像的过程中进行左右翻转。
当驾驶员沿公路驾驶车辆40时，可能会有行人、其他车辆等从侧道突然进入公路。尤其是在车辆40的前端距驾驶员座位的距离较长的情况中，只要驾驶员的视力是进行识别的唯一手段就会在驾驶员识别出这样的行人、车辆等之前出现相当大的延迟。如果根据本发明在显示装置3上显示车辆40的前方周边的驾驶辅助图像，则驾驶员可以通过观看右前方图像或左前方图像而更早地识别出突然进入公路的行人、其他车辆等。因此提供了使驾驶员用起来很舒服的驾驶辅助图像。
虽然以上已经详细描述了根据本发明的示例性实施例，但本发明不限于该实施例，而在不背离权利要求书描述的本发明的主旨的条件下可以进行各种改变和修改。
Claims (6)
1.一种驾驶辅助设备，包括：
至少一个成像装置，其设置在车辆后方的规定位置；
图像处理器，其被构造为通过对利用成像装置拍摄车辆后方周边的图像而获得的后方周边图像进行图像处理来生成驾驶辅助图像；以及
显示装置，其被构造为在显示屏幕上显示从图像处理器输出的驾驶辅助图像，其中：
所述图像处理器被构造为获取所述后方周边图像，以设置作为所述后方周边图像的中央部分且与车辆的正后方区域对应的后方裁剪区域，以及在所述后方周边图像中设置与位于车辆右后方的区域对应的右后方裁剪区域、和与位于车辆左后方的区域对应的左后方裁剪区域；
所述图像处理器被构造为基于从所述后方周边图像裁剪出的图像生成后方图像作为对应于后方裁剪区域的图像、基于从所述后方周边图像裁剪出的图像生成右后方图像作为对应于右后方裁剪区域的图像、以及基于从所述后方周边图像裁剪出的图像生成左后方图像作为对应于左后方裁剪区域的图像；
所述驾驶辅助图像以如下方式显示在显示屏幕上，其中所述右后方图像以所述右后方图像的垂直中心线作为翻转轴而左右翻转地显示在显示屏幕的处于所述后方图像上方的右侧区域中，所述左后方图像以所述左后方图像的垂直中心线作为翻转轴而左右翻转地显示在显示屏幕的处于所述后方图像上方的左侧区域中，而所述后方图像以所述后方图像的垂直中心线为翻转轴而左右翻转地显示在所述右后方图像和所述左后方图像的下方；以及
所述图像处理器被构造为通过以下方式生成右后方图像：进行图像处理以使得右后方图像的垂直宽度随着位置从右后方图像的更靠近显示屏幕垂直中心线的边线远离而靠近其右外侧线而增大，并且被构造为通过以下方式生成左后方图像：进行图像处理以使得左后方图像的垂直宽度随着位置从左后方图像的更靠近显示屏幕垂直中心线的边线远离而靠近其左外侧线而增大。
2.根据权利要求1所述的驾驶辅助设备，其中，在所述显示屏幕上在右后方图像和左后方图像之间的后方图像上方还显示顶部视点图像，所述顶部视点图像是通过对从后方周边图像裁剪出作为从位于车辆的后上方位置的虚拟视点所拍摄的图像的图像进行图像处理而生成的图像。
3.根据权利要求1或2所述的驾驶辅助设备，其中，在所述后方图像中显示指示了车辆的宽度的车辆宽度线，以及
其中，所述右后方图像与所述后方图像之间的边界线和所述左后方图像与所述后方图像之间的边界线是与各车辆宽度线平行的直线。
4.一种驾驶辅助设备，包括：
至少一个成像装置，其设置在车辆前方的规定位置；
图像处理器，其被构造为通过对利用成像装置拍摄车辆前方周边的图像而获得的前方周边图像进行图像处理来生成驾驶辅助图像；以及
显示装置，其被构造为在显示屏幕上显示从图像处理器输出的驾驶辅助图像，其中：
所述图像处理器被构造为获取所述前方周边图像，以设置作为所述前方周边图像的中央部分且与车辆的正前方区域对应的前方裁剪区域，以及在所述前方周边图像中设置与位于车辆右前方的区域对应的右前方裁剪区域、和与位于车辆左前方的区域对应的左前方裁剪区域；
所述处理器被构造为基于从所述前方周边图像裁剪出的图像生成前方图像作为对应于前方裁剪区域的图像、基于从所述前方周边图像裁剪出的图像生成右前方图像作为对应于右前方裁剪区域的图像、以及基于从所述前方周边图像裁剪出的图像生成左前方图像作为对应于左前方裁剪区域的图像；
所述驾驶辅助图像以如下方式显示在显示屏幕上，其中所述右前方图像显示在显示屏幕的处于所述前方图像上方的右侧区域中，所述左前方图像显示在显示屏幕的处于所述前方图像上方的左侧区域中，而所述前方图像显示在所述右前方图像和所述左前方图像的下方；以及
所述图像处理器被构造为通过以下方式生成右前方图像：进行图像处理以使得右前方图像的垂直宽度随着位置从右前方图像的更靠近显示屏幕垂直中心线的边线远离而靠近其右外侧线而增大，并且被构成为通过以下方式生成左前方图像：进行图像处理以使得左前方图像的垂直宽度随着位置从左前方图像的更靠近显示屏幕垂直中心线的边线远离而靠近其左外侧线而增大。
5.根据权利要求4所述的驾驶辅助设备，其中，在所述显示屏幕上在右前方图像和左前方图像之间的前方图像上方还显示顶部视点图像，所述顶部视点图像是通过对从前方周边图像裁剪出作为从位于车辆的前上方位置的虚拟视点所拍摄的图像的图像进行图像处理而生成的图像。
6.根据权利要求4或5所述的驾驶辅助设备，其中，在所述前方图像中显示指示了车辆的宽度的车辆宽度线，以及
其中，所述右前方图像与所述前方图像之间的边界线和所述左前方图像与所述前方图像之间的边界线是与各车辆宽度线平行的直线。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011-181151 | 2011-08-23 | ||
| JP2011181151A JP5741321B2 (ja) | 2011-08-23 | 2011-08-23 | 運転支援装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102951077A true CN102951077A (zh) | 2013-03-06 |
Family
ID=45952885
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210091749.2A Pending CN102951077A (zh) | 2011-08-23 | 2012-03-30 | 驾驶辅助设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20130050490A1 (zh) |
| EP (1) | EP2562047A1 (zh) |
| JP (1) | JP5741321B2 (zh) |
| CN (1) | CN102951077A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105898338A (zh) * | 2015-12-18 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 全景视频播放方法及装置 |
| CN106379236A (zh) * | 2016-09-22 | 2017-02-08 | 广东远峰电子科技股份有限公司 | 一种汽车后视镜显示器的图像显示方法和装置 |
| CN108351958A (zh) * | 2015-10-22 | 2018-07-31 | 日产自动车株式会社 | 停车位的框线的检测方法及装置 |
| CN109120888A (zh) * | 2017-06-26 | 2019-01-01 | 阿尔派株式会社 | 显示控制装置、显示控制方法以及摄影机监视系统 |
| CN110211051A (zh) * | 2018-02-28 | 2019-09-06 | 株式会社电装 | 安装在车辆中的成像系统和对象识别装置以及由车辆实施的对象识别方法 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9672433B2 (en) | 2014-11-14 | 2017-06-06 | Toyota Motor Engineering & Manufacturing North America, Inc. | Multi-directional vehicle maneuvering assistance |
| US10906530B2 (en) * | 2015-11-10 | 2021-02-02 | Hyundai Motor Company | Automatic parking system and automatic parking method |
| US10683035B2 (en) | 2015-12-08 | 2020-06-16 | Panasonic Intellectual Property Management Co., Ltd. | Parking assistance device, parking assistance method, and non-transitory computer readable medium |
| JP6745456B2 (ja) * | 2015-12-08 | 2020-08-26 | パナソニックＩｐマネジメント株式会社 | 駐車支援装置、駐車支援方法及び駐車支援プログラム |
| JP6313355B2 (ja) | 2016-03-31 | 2018-04-18 | 株式会社Ｓｕｂａｒｕ | 車両周囲監視装置 |
| JP2020121638A (ja) * | 2019-01-30 | 2020-08-13 | アイシン精機株式会社 | 表示制御装置 |
| KR20210014021A (ko) | 2019-07-29 | 2021-02-08 | 삼성전자주식회사 | 이미지 센서, 이미지 처리 시스템 및 이의 동작 방법 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9513744B2 (en) * | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
| US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
| JP2005110202A (ja) * | 2003-09-08 | 2005-04-21 | Auto Network Gijutsu Kenkyusho:Kk | カメラ装置及び車両周辺監視装置 |
| JP2005167638A (ja) * | 2003-12-02 | 2005-06-23 | Sharp Corp | 移動体周囲監視装置、移動体および画像変換方法 |
| WO2006022630A1 (en) * | 2004-07-26 | 2006-03-02 | Silicon Optix, Inc. | Panoramic vision system and method |
| JP4609444B2 (ja) * | 2007-03-08 | 2011-01-12 | トヨタ自動車株式会社 | 駐車支援装置 |
| JP4661829B2 (ja) | 2007-06-14 | 2011-03-30 | 株式会社富士通ゼネラル | 画像データ変換装置、及びこれを備えたカメラ装置 |
| JP5194679B2 (ja) * | 2007-09-26 | 2013-05-08 | 日産自動車株式会社 | 車両用周辺監視装置および映像表示方法 |
| US8755997B2 (en) * | 2008-07-30 | 2014-06-17 | Honeywell International Inc. | Laser ranging process for road and obstacle detection in navigating an autonomous vehicle |
| JP5112998B2 (ja) * | 2008-09-16 | 2013-01-09 | 本田技研工業株式会社 | 車両周囲監視装置 |
| US8364334B2 (en) * | 2008-10-30 | 2013-01-29 | Honeywell International Inc. | System and method for navigating an autonomous vehicle using laser detection and ranging |
| JP5077307B2 (ja) * | 2009-08-05 | 2012-11-21 | 株式会社デンソー | 車両周囲画像表示制御装置 |
| WO2011030699A1 (ja) * | 2009-09-11 | 2011-03-17 | アイシン精機株式会社 | 車両周辺監視装置 |
| US8649930B2 (en) * | 2009-09-17 | 2014-02-11 | Agjunction Llc | GNSS integrated multi-sensor control system and method |
| US20120086798A1 (en) * | 2010-10-07 | 2012-04-12 | Sony Corporation | System and method for automatic dynamic guidelines |
| US8730330B2 (en) * | 2011-07-25 | 2014-05-20 | Aptina Imaging Corporation | Image sensors with dark pixels for real-time verification of imaging systems |
-
2011
- 2011-08-23 JP JP2011181151A patent/JP5741321B2/ja active Active
-
2012
- 2012-03-23 US US13/428,343 patent/US20130050490A1/en not_active Abandoned
- 2012-03-23 EP EP12160914A patent/EP2562047A1/en not_active Withdrawn
- 2012-03-30 CN CN201210091749.2A patent/CN102951077A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108351958A (zh) * | 2015-10-22 | 2018-07-31 | 日产自动车株式会社 | 停车位的框线的检测方法及装置 |
| CN108351958B (zh) * | 2015-10-22 | 2022-03-25 | 日产自动车株式会社 | 停车位的框线的检测方法及装置 |
| CN105898338A (zh) * | 2015-12-18 | 2016-08-24 | 乐视致新电子科技（天津）有限公司 | 全景视频播放方法及装置 |
| CN106379236A (zh) * | 2016-09-22 | 2017-02-08 | 广东远峰电子科技股份有限公司 | 一种汽车后视镜显示器的图像显示方法和装置 |
| CN109120888A (zh) * | 2017-06-26 | 2019-01-01 | 阿尔派株式会社 | 显示控制装置、显示控制方法以及摄影机监视系统 |
| CN109120888B (zh) * | 2017-06-26 | 2021-05-18 | 阿尔派株式会社 | 显示控制装置、显示控制方法以及摄影机监视系统 |
| CN110211051A (zh) * | 2018-02-28 | 2019-09-06 | 株式会社电装 | 安装在车辆中的成像系统和对象识别装置以及由车辆实施的对象识别方法 |
| CN110211051B (zh) * | 2018-02-28 | 2024-04-12 | 株式会社电装 | 成像系统和对象识别装置以及对象识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130050490A1 (en) | 2013-02-28 |
| EP2562047A1 (en) | 2013-02-27 |
| JP5741321B2 (ja) | 2015-07-01 |
| JP2013046124A (ja) | 2013-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102951077A (zh) | 驾驶辅助设备 | |
| KR100936558B1 (ko) | 차량용 주변 감시 장치 및 영상 표시 방법 | |
| JP5620472B2 (ja) | 車両の駐車に使用するためのカメラシステム | |
| EP1916846B1 (en) | Device and method for monitoring vehicle surroundings | |
| JP4914458B2 (ja) | 車両周辺表示装置 | |
| JP5099451B2 (ja) | 車両周辺確認装置 | |
| EP1696669B1 (en) | Vehicle surrounding monitoring device | |
| EP1961613B1 (en) | Driving support method and driving support device | |
| US20070206835A1 (en) | Method of Processing Images Photographed by Plural Cameras And Apparatus For The Same | |
| US20150077560A1 (en) | Front curb viewing system based upon dual cameras | |
| CN103587479A (zh) | 一种用于倒车的裸眼三维视频系统和包括该系统的车辆 | |
| CN102371944A (zh) | 车辆用视觉辅助系统以及具备该系统的车辆 | |
| US11601621B2 (en) | Vehicular display system | |
| KR101547415B1 (ko) | 상용차량 주위 근접부의 모니터링 | |
| JP5418249B2 (ja) | 車両制御装置 | |
| JP2009105660A (ja) | 車載用撮像装置 | |
| WO2016120874A1 (en) | Vision system | |
| JP2007336466A (ja) | 車両用周辺情報提示装置及び車両用周辺情報提示方法 | |
| CN109421535B (zh) | 车辆用显示装置和显示控制方法 | |
| CN112406703A (zh) | 车辆及其控制方法和控制装置 | |
| JP7550067B2 (ja) | 情報提供方法及び情報提供システム | |
| JP7381992B2 (ja) | 運転支援装置 | |
| JP2012010002A (ja) | 運転支援装置 | |
| US20220086368A1 (en) | Vehicular display system | |
| JP2019110390A (ja) | 車両周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130306 |