CN105453558B - 车辆周边监视装置 - Google Patents

车辆周边监视装置 Download PDF

Info

Publication number
CN105453558B
CN105453558B CN201480042246.3A CN201480042246A CN105453558B CN 105453558 B CN105453558 B CN 105453558B CN 201480042246 A CN201480042246 A CN 201480042246A CN 105453558 B CN105453558 B CN 105453558B
Authority
CN
China
Prior art keywords
vehicle
image
region
coordinate transform
monitoring apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480042246.3A
Other languages
English (en)
Other versions
CN105453558A (zh
Inventor
横田昇幸
松本宗昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Publication of CN105453558A publication Critical patent/CN105453558A/zh
Application granted granted Critical
Publication of CN105453558B publication Critical patent/CN105453558B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开的车辆周边监视装置具备：拍摄部，其被安装于本车辆，拍摄包括该本车辆的前方以及后方中的至少一方的路面的周边；图像处理部，其通过在原图像中，使用能够计算上述本车辆的端边位置以及相对于上述本车辆的地平线位置的参数，实施图像修正，来生成基于该原图像的虚拟的坐标变换图像；以及显示部，其将拍摄画面在车室内显示于规定的显示区域。

Description

车辆周边监视装置
关联申请的相互参照
本申请是基于2013年7月26日提出的日本专利申请2013-155662号的发明，在此通过参照引用其记载内容。
技术领域
本公开涉及通过拍摄包括本车辆的前方以及后方中的至少一方的路面的周边，并将该图像显示于车室内，从而车辆驾驶员从车室内监视路面的状态等的车辆周边监视装置。
背景技术
以往，这种车辆周边监视装置在车辆的后部安装设置后置相机，对后置相机拍摄到的车辆后方的原图像进行加工来生成虚拟的鸟瞰图像，并将该鸟瞰图像显示于车室内的显示装置。
在这样的车辆周边监视装置中，例如在进行从原图像向鸟瞰图像的坐标变换时，进行使用了表示后置相机的位置姿势的外部参数的坐标变换。在该情况下，若因后置相机的安装误差、车辆的摇晃，而后置相机的位置姿势变动，则有给坐标变换带来影响而不能够准确地生成鸟瞰图像之虞，所以提出了通过根据原图像检测车辆的保险杠的位置，并基于检测出的保险杠的位置计算后置相机的安装角度，来对外部参数进行修正(例如，参照专利文献1)。
本发明者对于车辆周边监视装置发现了以下情况。在以往的车辆周边监视装置中，例如有在车室内的显示装置仅映出路面的状态来作为鸟瞰图像的情况，根据这样的鸟瞰图像难以对车辆驾驶员传递车辆与路面的位置关系、高度方向的信息，从而存在给车辆驾驶员带来不协调感、压迫感之虞。
专利文献1：日本公开专利公报2004-64441号
发明内容
本公开的目的在于提供能够在车室内的显示图像中，进一步抑制车辆驾驶员的不协调感、压迫感的车辆周边监视装置以及程序。
根据本公开的一个例子，提供一种车辆周边监视装置，其具备：拍摄部，其被安装于本车辆，拍摄包括该本车辆的前方以及后方中的至少一方的路面的周边；图像处理部，其在由上述拍摄部拍摄到的原图像中，使用能够计算上述本车辆的端边位置以及相对于上述本车辆的地平线位置的参数，以根据上述端边位置以及上述地平线位置在上下方向划分的3个各划分区域的比例接近预先设定的目标比例的方式，实施包括规定的坐标变换的图像修正，来生成基于该原图像的虚拟的坐标变换图像；以及显示部，其将基于由上述图像处理部生成的坐标变换图像的拍摄画面在车室内显示于规定的显示区域。
而且根据本公开的一个例子，提供一种程序，该程序用于使与上述拍摄部以及上述显示部连接的计算机作为上述图像处理部发挥作用。
根据本公开所涉及的车辆周边监视装置以及程序，例如，若将坐标变换图像中的3个各划分区域分别设为比端边位置靠下侧的区域即端部区域、端边位置与地平线位置之间的区域即路面区域、比地平线位置靠上侧的区域即天空区域，则能够显示按照规定的比例平衡良好地分配了这些端部区域、路面区域、天空区域的拍摄画面。
即，根据本公开所涉及的车辆周边监视装置以及程序，在车室内的显示装置，作为坐标变换图像，能够不仅将路面的状态，还将本车辆的端边位置和相对于本车辆的地平线位置以容易理解的方式显示给车辆驾驶员，能够使车辆驾驶员从这样的坐标变换图像中直观地认知本车辆与路面的位置关系、高度方向的信息。
因此，根据本公开，能够在车室内的显示图像中，进一步抑制不能够直观地认知本车辆与路面的位置关系的不协调感、由不能够得到比路面高的位置的信息而引起的压迫感，即车辆驾驶员的不协调感、压迫感。
此外，上述参数包括表示拍摄部的位置姿势的外部参数，图像处理部通过使用该参数例如进行相机标定，能够根据搭载拍摄部的车辆(本车辆)的形状，预先计算原图像中的本车辆的端边位置以及相对于本车辆的地平线位置。即、即使在搭载拍摄部的车辆的种类(车种)不同的情况下，也能够预先计算与原图像中的本车辆的端边位置以及相对于本车辆的地平线位置有关的信息。
附图说明
通过参照附图的下述的详细的说明，有关本公开的上述以及其它目的、特征、优点变得更加明确。在附图中，
图1是例示车辆周边监视装置的整体结构的框图，
图2是例示向本车辆的相机的安装状态的说明图，
图3是在图像中例示各划分区域的说明图，
图4是例示车辆周边监视装置所进行的图像处理的内容的流程图，
图5A是例示图像处理中的模拟图像(保险杠图像)的合成的说明图，
图5B是例示图像处理中的模拟图像(天空图像)的合成的说明图。
具体实施方式
以下，与附图一起对本公开的实施方式进行说明。
此外，本公开不被下述的实施方式以任何方式限定以及解释。另外，只要能够解决课题，省略了下述的实施方式的一部分的方式也是本公开的实施方式。另外，在不脱离本公开的本质的限度内能够想到的所有的方式都包括于本公开的实施方式。另外，在下述的实施方式的说明中所使用的附图标记是以容易理解本公开为目的而使用的，并非意在限定本公开的技术范围。
＜整体结构＞
如图1所示，本实施方式的车辆周边监视装置1具备：被安装于车辆并拍摄包括该车辆(以下称为“本车辆”)的前方以及后方中的至少一方的路面的周边的相机2、在本车辆的车室内在规定的显示区域显示图像的显示部4、进行包括后述的规定的坐标变换的图像修正(以下称为“图像处理”)的控制部6、以及存储各种信息的存储部8等。
相机2相当于本公开的拍摄部(或者单元)的一个例子，显示部4相当于显示部(或者单元)的一个例子，控制部6相当于图像处理部(或者单元)的一个例子。
控制部6是以微型计算机为中心构成的公知的电子控制装置，通过该控制部6控制车辆周边监视装置1的各部。此外，控制部6可以是车辆周边监视装置1的控制专用而准备的部件，也可以是也进行车辆周边监视装置1以外的控制的通用的部件。另外，可以由单一的控制部6构成，也可以多个控制部6配合发挥作用。
相机2通过设置于本车辆的后部的多个鱼眼镜头，能够广域地拍摄包括本车辆的后方的路面、作为本车辆的后端部的保险杠、比路面高的位置的风景的车辆周边。另外，相机2具有控制装置，并且具备若从控制部6给出切出视角的指示，则以与该指示相应的视角从原图像切出原图像的一部分并提供的功能。在本实施方式中，从控制部6对相机2给出用于切出原图像中的形变较少的中央部的指示，相机2将根据该指示从原图像中切出中央部的图像(以下称为“相机图像”)提供给控制部6。
显示部4是在本车辆的车室内设置于仪表板或者其附近的中心显示器，该中心显示器显示基于通过控制部6对从相机2获取到的相机图像实施图像处理而生成的图像(对于详细内容后述)的拍摄画面。
存储部8是除了存储规定控制部6所实施的图像处理的程序、相机2固有的内部参数(即、透镜的焦距、视角、像素数等)以外，还存储表示世界坐标系中的相机2的位置姿势的外部参数(以下称为“相机2的安装参数”)等的非易失性存储器。另外，在存储部8中储存有在原图像中表示本车辆的保险杠位置以及相对于本车辆的地平线位置的信息(以下称为“保险杠及地平线位置信息”)。
换言之，也可以说地平线位置主要表示由相机2拍摄到的原图像中的天空与地面的边界，保险杠位置主要表示由相机2拍摄到的原图像中的地面与本车辆的边界。
详细而言，如图2所示，该保险杠及地平线位置信息由保险杠位置信息以及地平线位置信息构成，保险杠位置信息是用坐标表示从相机2观察而将车辆后部的保险杠中的位于最端部的边(沿车宽方向延伸的边)作为端边的情况下的、构成该端边位置(即、保险杠位置)的各点被投影到原图像的哪个位置的信息，地平线位置信息同样地是用坐标表示表示以相机2为起点的情况下的水平方向的位置(即、地平线位置)被投影到原图像的哪个位置的信息。
另外，相机2的安装参数包括：在世界坐标系中，对于本车辆，用三维(X，Y，Z)表示相机2的安装位置的位置信息、以及用侧偏、俯仰、偏航表示相机2的安装角度的角度信息，控制部6(或者相机2的控制装置)通过使用该相机2的安装参数(以及内部参数)，例如进行相机标定，能够预先计算出保险杠及地平线位置信息。
因此，能够根据设置相机2的车辆(本车辆)的形状预先计算出保险杠及地平线位置信息(进而相机2的安装参数等)，所以即使在本车辆的种类(车种)不同的情况下，也能够预先计算原图像中的本车辆的保险杠位置以及相对于本车辆的地平线位置。
此外，在以下，在能够从相机2获取的原图像(或者相机图像)、控制部6通过实施图像处理而生成的图像(后述的坐标变换图像或者修正图像)中，如图3所示，比保险杠位置靠下侧的区域因主要是表示车辆后部的保险杠的区域，所以称为保险杠区域(也称为端部区域)，保险杠位置与地平线位置之间的区域因主要是表示路面的状态的区域，所以称为路面区域，比地平线位置靠上侧的区域因在没有障碍物的情况下主要是表示天空的风景的区域，所以称为天空区域。
＜图像处理＞
接下来，根据图4的流程图对控制部6所实施的图像处理进行说明。此外，例如若伴随着发动机启动，基于由换档位置传感器(未图示)供给的检测信息来进行换档档位的检测，并且换档档位变更为R，则开始本处理。另外，控制部6基于存储部8所存储的程序，来执行本处理。
若开始本处理，首先，控制部6在S110中，从存储部8读入保险杠及地平线位置信息，在接下来的S120中，从相机2获取原图像。
然后，在接下来的S130中，基于在S110中读入的保险杠及地平线位置信息和在S120中获取到的原图像，确定分别表示在原图像中用保险杠位置以及地平线位置在上下方向划分的3个各划分区域(保险杠区域、路面区域以及天空区域)的坐标组(多个坐标的集合)。
在接下来的S140中，将用于基于在S120中获取到的原图像，从该原图像切出原图像中形变较少的中央部的指示供给至相机2。相机2若从控制部6接受该指示，则将上述的相机图像提供给控制部6。
然后，在接下来的S150中，基于随着S140而从相机2获取到的相机图像、和在S130中确定的分别表示3个各划分区域的坐标组，以在相机图像中，各划分区域的比例接近预先设定的目标比例的方式实施包括规定的坐标变换的图像修正，由此生成基于在S110中获取到的原图像的虚拟的坐标变换图像。在本实施方式中，以在相机图像中，至少各划分区域中的保险杠区域以及天空区域的大小分别在不超过基于目标比例的大小的范围内接近目标比例的方式进行图像修正。
此外，目标比例是按照在坐标变换图像(以及后述的修正图像)中，各划分区域(保险杠区域、路面区域、天空区域)在视觉上被平衡良好地分配的方式，通过感官检查等预先确定的规定比例。另外，在坐标变换中，进行使用相机2的安装参数(即、与相机2的安装有关的位置信息、角度信息等)，从来自相机2的实际的视点变换至在容易识别路面的状态的程度下进行俯瞰的视点的公知的视点变换处理。并且，在图像修正时，根据需要，除了视点变换处理以外，还变更图像的纵横比。
在接下来的S160中，对在S150中生成的坐标变换图像，判断各划分区域的比例是否与目标比例相等，在这里，在肯定判断的情况下，移至S170，在否定判断的情况下，移至S180。
在S170中，允许使基于在S160中判断为各划分区域的比例与目标比例相等的坐标变换图像的拍摄画面显示于显示部4，并结束本处理。
即，图像处理部6在坐标变换图像中的3个各划分区域的比例与目标比例相等的情况下(S160：是)，允许由显示部4进行的拍摄画面的显示(S170)。
另一方面，在S180中，对在S160中判断为各划分区域的比例不与目标比例相等的坐标变换图像，判断相对于目标比例，保险杠区域是否较少(保险杠区域是否比基于目标比例的大小小)，在保险杠区域小的情况下，移至S190。另外，在S180中否定判断的情况下，即在保险杠区域是基于目标比例的大小的情况下，变为天空区域少(天空区域比基于目标比例的大小小)，并移至S210。
在S190中，对在S150中生成的坐标变换图像，以保险杠区域成为基于目标比例的大小的方式，将模拟了本车辆的后端部(保险杠)的图像(保险杠图像)合成到保险杠区域的至少一部分(参照图5A)，并允许使基于通过像这样实施将保险杠图像合成到坐标变换图像的合成处理而生成的图像(以下称为“第一修正图像”)的拍摄画面显示于显示部4，并结束本处理。此外，在该合成处理中，可以对在保险杠区域中不足基于目标比例的大小的区域加入对应大小的保险杠图像，也可以对基于目标比例的保险杠区域的全部的区域加入对应大小的保险杠图像。另外，保险杠图像只要是模拟了本车辆的后端部(保险杠)的图像，则是什么样的图像都可以，例如作为简易的图像也可以是涂满黑色系的颜色后的图像。
在接下来的S200中，对在S160中判断为各划分区域的比例不与目标比例相等的坐标变换图像，判断相对于目标比例，天空区域是否较少(天空区域是否比基于目标比例的大小小)，在天空区域小的情况下，移至S210，在这里肯定判断的情况下，即在天空区域是基于目标比例的大小的情况下，结束本处理。
最后，在S210中，对在S150中生成的坐标变换图像(或者在S190中生成的第一修正图像)，以天空区域成为基于目标比例的大小的方式，将模拟了天空的风景的图像(天空图像)合成到天空区域的至少一部分(参照图5B)，并允许使基于通过像这样实施将天空图像合成到坐标变换图像(或者第一修正图像)的合成处理而生成的图像(第二修正图像)的拍摄画面显示于显示部4，并结束本处理。此外，在该合成处理中，可以对在天空区域中不足基于目标比例的大小的区域加入对应大小的天空图像，也可以对基于目标比例的天空区域的全部的区域加入对应大小的天空图像。另外，天空图像只要是模拟了天空的风景的图像，是什么样的图像都可以，例如作为简易的图像也可以是涂满了蓝色系的颜色的图像。
＜效果＞
如以上说明的那样，车辆周边监视装置1具备相机2、控制部6以及显示部4。相机2被安装于本车辆，拍摄包括该本车辆的后方的路面的车辆周边。显示部4将基于由控制部6生成的坐标变换图像的拍摄画面(包括基于修正图像的拍摄画面)在车室内显示于规定的显示区域。
在这里，控制部通过在由相机2拍摄到的原图像中，使用能够计算本车辆的端边位置(保险杠位置)以及相对于本车辆的地平线位置的相机2的安装参数，以根据这些保险杠位置以及地平线位置在上下方向划分的3个各划分区域的比例接近预先设定的目标比例的方式实施包括规定的坐标变换的图像修正，来生成基于原图像的虚拟的坐标变换图像。
在这样的结构中，能够将坐标变换图像中的3个各划分区域分别设为比保险杠位置靠下侧的区域即保险杠区域、端边位置与地平线位置之间的区域即路面区域、比地平线位置靠上侧的区域即天空区域，并且能够显示按照规定的比例平衡良好地分配了这些保险杠区域、路面区域、天空区域的拍摄画面。
即，在车辆周边监视装置1中，在车室内的显示部4，作为坐标变换图像，能够不仅将路面的状态，还将本车辆的保险杠位置和相对于本车辆的地平线位置以容易理解的方式显示给车辆驾驶员，能够使车辆驾驶员从这样的坐标变换图像中直观地认知本车辆与路面的位置关系、高度方向的信息。
因此，根据车辆周边监视装置1，能够在车室内的显示图像中，进一步抑制不能够直观地认知本车辆与路面的位置关系的不协调感、由不能够得到比路面高的位置的信息而引起的压迫感，即车辆驾驶员的不协调感、压迫感，能够显示对车辆驾驶员而言容易理解且美观的拍摄画面。
另外，在车辆周边监视装置1中，控制部6在坐标变换图像中的3个各划分区域的比例与目标比例相等的情况下，允许由显示部4进行的拍摄画面的显示。根据这样的结构，在车室内的显示图像中，本车辆的保险杠位置以及相对于本车辆的地平线位置总是保持固定，所以能够进一步避免给车辆驾驶员造成不协调感。
另外，在车辆周边监视装置1中，控制部6在相对于目标比例保险杠区域较少的情况下，将模拟了本车辆的后端部(保险杠)的图像合成到坐标变换图像。即，在坐标变换图像中，在本车辆的保险杠位置相对于规定的基准位置向下方偏离的情况下、端边位置消失的情况下等，为了提高视觉确认性而加入表示本车辆的端部的模拟图像，由此能够使本车辆的保险杠位置对准规定的基准位置。
由此，在仅通过包括坐标变换的图像修正不能够得到以所希望的平衡分配了保险杠区域的显示图像的情况下，也能够容易地应对，所以能够适当地抑制车辆驾驶员的不协调感。此外，在该情况下，在本车辆与路面的位置关系中，也有可能给车辆驾驶员与实际相比本车辆的保险杠位置向前方或者后方突出的感觉，但即使假如发生了这样的情况，由于对于本车辆的驾驶而言向安全方向作用(变得容易驾驶操作来早期避免与障碍物的碰撞)，所以从安全方面考虑认为没有问题。
另外，在车辆周边监视装置1中，控制部6在相对于目标比例天空区域较少的情况下，将模拟了天空的风景的图像合成到坐标变换图像。即，在坐标变换图像中，在相对于本车辆的地平线位置相对于规定的基准位置向上方偏离的情况下、地平线位置消失的情况下等，为了提高视觉确认性而加入表示天空的风景的模拟图像，由此能够使相对于本车辆的地平线位置对准规定的基准位置。由此，在仅通过包括坐标变换的图像修正不能够得到以所希望的平衡分配了天空区域的显示图像的情况下，也能够容易地应对，所以能够适当地抑制车辆驾驶员的压迫感。
＜其它实施方式＞
以上，对本公开的实施方式进行了说明，但本公开并不限定于上述实施方式，在不脱离本公开的主旨的范围内，能够以各种方式实施。
例如，在上述实施方式的车辆周边监视装置1中，显示部4由本车辆的中心显示器构成，但显示部4并不限于此，也能够由仪表显示器、平视显示器等各种显示装置构成。
另外，在上述实施方式的车辆周边监视装置1中，相机2由设置于本车辆的后部来拍摄包括本车辆的后方的路面的车辆周边的后视相机构成，但相机2并不限于此，也可以由设置于本车辆的前部来拍摄包括本车辆的前方的路面的车辆周边的前视相机构成。
另外，在上述实施方式的图像处理中，对在S150中生成的坐标变换图像，在各划分区域的比例与目标比例相等的情况下(S160：是)，允许使基于该坐标变换图像的拍摄画面显示于显示部4(S170)，但并不限于此，例如，也可以在各划分区域的比例在基于目标比例预先设定的允许范围内的情况下，允许使基于上述坐标变换图像的拍摄画面显示于显示部4。另外，例如，也可以在各划分区域中的保险杠区域在基于目标比例的大小以上，并且天空区域在基于目标比例的大小以上的情况下，允许使基于上述坐标变换图像的拍摄画面显示于显示部4。
为了实现上述目的而完成的本公开的车辆周边监视装置具备拍摄部、图像处理部以及显示部。拍摄部被安装于本车辆，拍摄包括该本车辆的前方以及后方中的至少一方的路面的周边。显示部使基于由图像处理部生成的坐标变换图像的拍摄画面在车室内显示于规定的显示区域。
在这里，在本公开中，图像处理部在由拍摄部拍摄到的原图像中，使用能够计算本车辆的端边位置以及相对于本车辆的地平线位置的参数，以根据这些端边位置以及地平线位置在上下方向划分的3个各划分区域的比例接近预先设定的目标比例的方式，实施包括规定的坐标变换的图像修正，来生成基于原图像的虚拟的坐标变换图像。
在这样的结构中，例如，若将坐标变换图像中的3个各划分区域分别设为比端边位置靠下侧的区域即端部区域、端边位置与地平线位置之间的区域即路面区域、比地平线位置靠上侧的区域即天空区域，则能够显示按照规定的比例平衡良好地分配了这些端部区域、路面区域、天空区域的拍摄画面。
即，在本公开的结构中，在车室内的显示装置，作为坐标变换图像，能够不仅将路面的状态，还将本车辆的端边位置和相对于本车辆的地平线位置以容易理解的方式显示给车辆驾驶员，能够使车辆驾驶员从这样的坐标变换图像中直观地认知本车辆与路面的位置关系、高度方向的信息。
因此，根据本公开，在车室内的显示图像中，能够进一步抑制不能够直观地认知本车辆与路面的位置关系的不协调感、由不能够得到比路面高的位置的信息而引起的压迫感，即车辆驾驶员的不协调感、压迫感。
此外，上述参数包括表示拍摄部的位置姿势的外部参数，图像处理部通过使用该参数例如进行相机标定，能够根据搭载拍摄部的车辆(本车辆)的形状，预先计算出原图像中的本车辆的端边位置以及相对于本车辆的地平线位置。即，即使在搭载拍摄部的车辆的种类(车种)不同的情况下，也能够预先计算出与原图像中的本车辆的端边位置以及相对于本车辆的地平线位置有关的信息。
另外，本公开能够作为程序在市场上流通。具体而言，是用于使与拍摄部以及显示部连接的计算机作为上述图像处理部发挥作用的程序。
通过将该程序组装到一个或多个计算机，能够得到与由本公开的车辆周边监视装置起到的效果等同的效果。此外，本公开的程序可以存储至组装于计算机的ROM、闪存等，并从这些ROM、闪存等加载至计算机来使用，也可以经由网络加载至计算机来使用。
另外，上述程序也可以记录于能够由计算机读取的所有形式的记录介质来使用。作为该记录介质，例如包括能够携带搬运的半导体存储器(例如USB存储器、存储卡(注册商标))等。
以上，例示了本公开所涉及的实施方式以及结构，但本公开所涉及的实施方式以及结构并不限定于上述的各实施方式以及各结构。对于将在不同的实施方式以及结构中分别公开的技术要素适当地组合而得到的实施方式以及结构，也包含于本公开所涉及的实施方式以及结构的范围。

Claims (5)

1.一种车辆周边监视装置，具备：
拍摄部(2)，其被安装于本车辆，拍摄包括该本车辆的前方以及后方中的至少一方的路面的周边；
图像处理部(6)，其通过在由所述拍摄部(2)拍摄到的原图像中，使用能够计算所述本车辆的端边位置以及相对于所述本车辆的地平线位置的参数，以根据所述端边位置以及所述地平线位置在上下方向划分的3个各划分区域的比例接近预先设定的目标比例的方式，实施包括规定的坐标变换的图像修正，来生成基于该原图像的虚拟的坐标变换图像；以及
显示部(4)，其将基于由所述图像处理部(6)生成的坐标变换图像的拍摄画面在车室内显示于规定的显示区域，
所述参数包括：在世界坐标系中，相对于本车辆，以三维表示拍摄部的安装位置的位置信息；以及用侧偏、俯仰、偏航表示拍摄部的安装角度的角度信息。
2.根据权利要求1所述的车辆周边监视装置，其中，
所述图像处理部(6)在所述坐标变换图像中的所述3个各划分区域的比例与所述目标比例相等的情况下，允许由所述显示部(4)进行的所述拍摄画面的显示。
3.根据权利要求1所述的车辆周边监视装置，其中，
将所述坐标变换图像中的所述3个各划分区域分别设为：比所述端边位置靠下侧的区域即端部区域、所述端边位置与所述地平线位置之间的区域即路面区域、比所述地平线位置靠上侧的区域即天空区域，
所述图像处理部(6)在相对于所述目标比例所述端部区域少的情况下，将模拟了所述本车辆的端部的图像合成到所述坐标变换图像。
4.根据权利要求1所述的车辆周边监视装置，其中，
将所述坐标变换图像中的所述3个各划分区域分别设为：比所述端边位置靠下侧的区域即端部区域、所述端边位置与所述地平线位置之间的区域即路面区域、比所述地平线位置靠上侧的区域即天空区域，
所述图像处理部(6)在相对于所述目标比例所述天空区域少的情况下，将模拟了天空的风景的图像合成到所述坐标变换图像。
5.根据权利要求1～4中任一项所述的车辆周边监视装置，其中，
所述地平线位置表示由所述拍摄部(2)拍摄到的原图像中的天空与地面的边界，
所述端边位置表示由所述拍摄部(2)拍摄到的原图像中的所述地面与所述本车辆的边界。
CN201480042246.3A 2013-07-26 2014-07-16 车辆周边监视装置 Active CN105453558B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-155662 2013-07-26
JP2013155662A JP5999043B2 (ja) 2013-07-26 2013-07-26 車両周辺監視装置およびプログラム
PCT/JP2014/003769 WO2015011897A1 (ja) 2013-07-26 2014-07-16 車両周辺監視装置およびプログラム

Publications (2)

Publication Number Publication Date
CN105453558A CN105453558A (zh) 2016-03-30
CN105453558B true CN105453558B (zh) 2018-09-04

Family

ID=52392962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480042246.3A Active CN105453558B (zh) 2013-07-26 2014-07-16 车辆周边监视装置

Country Status (5)

Country Link
US (1) US20160180179A1 (zh)
JP (1) JP5999043B2 (zh)
CN (1) CN105453558B (zh)
DE (1) DE112014003459T5 (zh)
WO (1) WO2015011897A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10152767B1 (en) * 2016-12-15 2018-12-11 The Mathworks, Inc. Memory efficient on-chip buffering for projective transformation
KR102551099B1 (ko) * 2017-01-13 2023-07-05 엘지이노텍 주식회사 어라운드뷰 제공장치, 제공방법 및 이를 구비한 차량
JP6964276B2 (ja) * 2018-03-07 2021-11-10 パナソニックＩｐマネジメント株式会社 表示制御装置、車両周辺表示システムおよびコンピュータプログラム
JP7104916B2 (ja) * 2018-08-24 2022-07-22 国立大学法人岩手大学 移動物体検出装置および移動物体検出方法
CN109353276B (zh) * 2018-09-21 2022-02-11 上海豫兴电子科技有限公司 一种车载摄像头角度标定方法和标定装置
CN109353275B (zh) * 2018-09-21 2022-03-25 上海豫兴电子科技有限公司 一种车载摄像头角度标定贴膜及标定方法
CN109774603A (zh) * 2019-02-28 2019-05-21 上海豫兴电子科技有限公司 一种车载摄像头角度辅助标定方法和装置
CN111652937B (zh) * 2019-03-04 2023-11-03 广州汽车集团股份有限公司 车载相机标定方法和装置
CN110285779A (zh) * 2019-06-12 2019-09-27 智久(厦门)机器人科技有限公司 一种深度相机的角度误差补偿方法、装置、存储介质
JP6692981B1 (ja) * 2019-09-13 2020-05-13 マレリ株式会社 表示装置及び表示方法
CN112565629B (zh) * 2020-12-03 2022-08-16 宁波视睿迪光电有限公司 一种图像处理方法、装置、系统、可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101636297A (zh) * 2007-07-05 2010-01-27 爱信精机株式会社 车辆的周边监视装置
JP2010081245A (ja) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd 車両用表示装置および表示方法
CN102958758A (zh) * 2010-11-29 2013-03-06 松下电器产业株式会社 驾驶辅助显示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369186A (ja) * 2001-06-07 2002-12-20 Sony Corp 車両後方画像表示装置、車両周囲画像表示方法
JP4512293B2 (ja) * 2001-06-18 2010-07-28 パナソニック株式会社 監視システムおよび監視方法
JP3952790B2 (ja) * 2002-01-25 2007-08-01 株式会社豊田中央研究所 車輌後方表示装置
JP4286294B2 (ja) * 2007-02-21 2009-06-24 三洋電機株式会社 運転支援システム
US8395824B2 (en) * 2008-07-17 2013-03-12 Samsung Electronics Co., Ltd. Method for determining ground line
JP5320970B2 (ja) * 2008-10-15 2013-10-23 日産自動車株式会社 車両用表示装置および表示方法
JP5451497B2 (ja) * 2010-04-08 2014-03-26 パナソニック株式会社 運転支援表示装置
JP5703255B2 (ja) * 2012-04-27 2015-04-15 株式会社東芝 画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101636297A (zh) * 2007-07-05 2010-01-27 爱信精机株式会社 车辆的周边监视装置
JP2010081245A (ja) * 2008-09-25 2010-04-08 Nissan Motor Co Ltd 車両用表示装置および表示方法
CN102958758A (zh) * 2010-11-29 2013-03-06 松下电器产业株式会社 驾驶辅助显示装置

Also Published As

Publication number Publication date
CN105453558A (zh) 2016-03-30
JP5999043B2 (ja) 2016-09-28
DE112014003459T5 (de) 2016-04-14
US20160180179A1 (en) 2016-06-23
WO2015011897A1 (ja) 2015-01-29
JP2015026989A (ja) 2015-02-05

Similar Documents

Publication Publication Date Title
CN105453558B (zh) 车辆周边监视装置
CN106464847B (zh) 影像合成系统和用于其的影像合成装置与影像合成方法
US11420559B2 (en) Apparatus and method for generating a composite image from images showing adjacent or overlapping regions external to a vehicle
JP6756327B2 (ja) 姿勢検出装置、及び姿勢検出プログラム
US10269139B2 (en) Computer program, head-mounted display device, and calibration method
JP6448196B2 (ja) 画像生成システム及びプログラム
CN104204847B (zh) 用于可视化车辆的周围环境的方法和装置
US20150245017A1 (en) Virtual see-through instrument cluster with live video
EP3508903A1 (en) Display device and adjustment method
US20030062675A1 (en) Image experiencing system and information processing method
JP5100845B2 (ja) 道路計測装置及び道路計測方法
CN106030680B (zh) 自身位置计算装置以及自身位置计算方法
CN106030681B (zh) 自身位置计算装置以及自身位置计算方法
CN107921871A (zh) 投影型显示装置、投影显示方法及投影显示程序
GB2559759A (en) Apparatus and method for displaying information
JP2008152424A (ja) 画像表示装置
CN102780873A (zh) 图像处理装置和方法
CN109118543A (zh) 沿至少三个不连续平面对机器视觉摄像机进行校准的系统和方法
WO2020261642A1 (ja) 表示制御装置、画像表示システム、移動体、表示制御方法及びプログラム
US20220398773A1 (en) Method for generating reproducible perspectives of photographs of an object, and mobile device with an integrated camera
CN105993042A (zh) 自身位置计算装置以及自身位置计算方法
US20130109475A1 (en) Game system, control method therefor, and a storage medium storing a computer program
CN108369344B (zh) 用于运行虚拟现实系统的方法和虚拟现实系统
US10410068B2 (en) Determining the position of an object in a scene
CN111108530B (zh) 信息显示装置和方法以及记录介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant