CN111095921A - 显示控制装置 - Google Patents

显示控制装置 Download PDF

Info

Publication number
CN111095921A
CN111095921A CN201880059730.5A CN201880059730A CN111095921A CN 111095921 A CN111095921 A CN 111095921A CN 201880059730 A CN201880059730 A CN 201880059730A CN 111095921 A CN111095921 A CN 111095921A
Authority
CN
China
Prior art keywords
image
vehicle
virtual
unit
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880059730.5A
Other languages
English (en)
Other versions
CN111095921B (zh
Inventor
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN111095921A publication Critical patent/CN111095921A/zh
Application granted granted Critical
Publication of CN111095921B publication Critical patent/CN111095921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective

Abstract

本发明包括：图像获取部，获取显示对象图像即车辆的前方图像以及后方图像中的至少一方；投影面获取部，获取至少包括从车辆的接地面在高度方向上上升的侧面的三维的虚拟投影面；校正部，在图像获取部所获得的显示对象图像投影于虚拟投影面时，沿从第一坐标指向第二坐标的第二方向对显示对象图像的投影位置进行校正，第一坐标对应于从拍摄了显示对象图像的前方拍摄部或者后方拍摄部起在车辆的车长方向即第一方向上延伸的第一虚拟直线与虚拟投影面相交的位置，第二坐标对应于在车辆的车宽方向上与第一虚拟直线隔开距离而在第一方向上延伸的虚拟基准线与虚拟投影面相交的位置；以及图像合成部，将显示对象图像投影于校正后的投影位置，生成三维图像。

Description

显示控制装置
技术领域
本发明的实施方式涉及一种显示控制装置。
背景技术
目前，提供有这样的图像处理装置：由设置于车辆周围的多个拍摄部对车辆周边进行拍摄，将该拍摄到的多个拍摄图像数据合成，生成三维的合成图像，并由车室内的显示装置进行显示，由此使驾驶员了解车辆周围的情况(例如，参见专利文献1)。
在上述的图像处理装置中，为了抑制在将由多个拍摄部拍摄到的图像合成时可能会产生的显示中的不自然感，会计算与拍摄物体之间的距离，并基于从拍摄部到物体的距离以及从投影面的基准点(例如中心)的距离，对投影面进行校正。
专利文献1：WO2013/175753号公报
发明内容
然而，在现有技术中，为了消除合成图像的显示中的不自然感，需要计算与物体之间的距离，处理繁琐且运算部的负荷大。此外，这也成为处理装置成本增加的原因。此外，显示的三维图像存在通过上述现有技术的校正无法解决的问题。例如存在显示的物体的大小不自然地变小、或道路宽度突然变窄等问题。
因此，本发明的课题之一，在于提供一种显示控制装置，其能够以更简单的结构，在生成三维图像时减轻不自然感。
实施方式的显示控制装置例如包括：图像获取部，其获取显示对象图像，该显示对象图像为从设置于车辆并对包含上述车辆的前方的区域进行拍摄的前方拍摄部得到的前方图像、以及从对包含上述车辆的后方的区域进行拍摄的后方拍摄部得到的后方图像中的至少一方；投影面获取部，其获取三维的虚拟投影面，该三维的虚拟投影面能够投影上述显示对象图像，并且至少具有从上述车辆的接地面在高度方向上上升的侧面；校正部，在上述图像获取部所获得的上述显示对象图像投影于上述虚拟投影面时，该校正部沿从第一坐标指向第二坐标的第二方向，对上述显示对象图像的投影位置进行校正，该第一坐标对应于第一虚拟直线与上述虚拟投影面相交的位置，该第一虚拟直线从拍摄了上述显示对象图像的上述前方拍摄部或者上述后方拍摄部起在第一方向上延伸，该第一方向为上述车辆的车长方向，该第二坐标对应于虚拟基准线与上述虚拟投影面相交的位置，该虚拟基准线在上述车辆的车宽方向上与上述第一虚拟直线隔开距离而在上述第一方向上延伸；以及图像合成部，其将上述显示对象图像投影于校正后的上述投影位置，生成三维图像。基于这样的构成，例如，显示对象图像的投影位置在虚拟投影面上，在宽度方向(车宽方向)上被校正而延展。其结果，能够减轻在虚拟投影面显示的物体的大小不自然地变小、或在第一方向上延伸的道路宽度突然变窄等不自然的显示。
此外，可以是：实施方式的显示控制装置的上述校正部例如基于第一距离与第二距离，获取沿上述第二方向对上述投影位置进行校正的校正率，该第一距离为第四坐标与上述第二坐标在上述第二方向上的距离，该第四坐标为第二虚拟直线与上述虚拟投影面相交的坐标，该第二虚拟直线将第三坐标与上述处理对象拍摄部连接，该第三坐标为虚拟参考面与上述虚拟基准线相交的坐标，该虚拟参考面设定于从拍摄了上述显示对象图像的处理对象拍摄部起在上述第一方向上隔开规定的距离处，该第二距离为上述第一虚拟直线与上述虚拟基准线在上述第二方向上的距离。基于这样的构成，例如，能够根据沿着虚拟参考面距第一虚拟直线的位置改变校正的反映度，能够在虚拟投影面上生成更加没有别扭感的三维合成图像。此外，在这种情况下，只要是存在于虚拟基准线上的物体，该物体就会投影于虚拟投影面上与虚拟基准线的交点附近。其结果，例如，容易了解以虚拟基准线为基准、在第一方向上存在于远方的物体存在于哪一侧。即，对车辆与物体的位置关系的了解变得容易。
此外，可以是：实施方式的显示控制装置的上述虚拟基准线例如以沿着上述车辆的车身的左侧面或者右侧面的方式，在上述第一方向上延伸。基于这样的构成，例如，只要是存在于沿着车身的左侧面的虚拟基准线上的物体，该物体就会投影于虚拟投影面上与虚拟基准线的交点附近。其结果，例如，容易了解以车辆的左侧面(外表面)为基准、在第一方向上存在于远方的物体存在于哪一侧。即，能够将易于了解在车辆移动时车身是否会与物体接触的三维合成图像投影于虚拟投影面。虚拟基准线沿着车身的右侧面的情况下也同样。
此外，可以是：实施方式的显示控制装置的上述图像获取部例如还获取侧向显示对象图像，该侧向显示对象图像为从对包含上述车辆的左侧的区域进行拍摄的左侧拍摄部得到的左侧图像以及从对包含上述车辆的右侧的区域进行拍摄的右侧拍摄部得到的右侧图像中的至少一方，上述虚拟基准线从在上述车宽方向上与上述左侧拍摄部或者上述右侧拍摄部重合的位置起，在上述第一方向上延伸，上述图像合成部对由上述校正部校正后的上述显示对象图像与上述侧向显示对象图像进行拼接，生成上述三维图像。基于这样的构成，例如，由左侧拍摄部拍摄的、存在于在第一方向上延伸的虚拟基准线上的物体，投影于虚拟基准线与虚拟投影面之间的交点附近。另一方面，例如由前方拍摄部拍摄了同一物体的情况下，虽然是斜视该物体但投影位置会通过校正部的校正被沿第二方向(朝向虚拟基准线的方向)校正。因此，能够减轻由左侧拍摄部与前方拍摄部拍摄到的物体在虚拟投影面上的投影位置的偏移，能够对三维合成图像的质量的提高作出贡献。此外，由右侧拍摄部拍摄的物体也同样。
实施方式的显示控制装置例如包括：图像获取部，其获取显示对象图像，该显示对象图像为从设置于车辆并对包含上述车辆的左侧的区域进行拍摄的左侧拍摄部得到的左侧图像、以及从对包含上述车辆的右侧的区域进行拍摄的右侧拍摄部得到的右侧图像中的至少一方；投影面获取部，其获取三维的虚拟投影面，该三维的虚拟投影面能够投影上述显示对象图像，并且至少具有从上述车辆的接地面在高度方向上上升的侧面；校正部，在上述图像获取部所获得的上述显示对象图像投影于上述虚拟投影面时，该校正部沿从第一坐标指向第二坐标的第二方向，对上述显示对象图像的投影位置进行校正，该第一坐标对应于第一虚拟直线与上述虚拟投影面相交的位置，该第一虚拟直线从拍摄了上述显示对象图像的上述左侧拍摄部或者上述右侧拍摄部起在第一方向上延伸，该第一方向为上述车辆的车宽方向，该第二坐标对应于虚拟基准线与上述虚拟投影面相交的位置，该虚拟基准线在上述车辆的车长方向上与上述第一虚拟直线隔开距离而在上述第一方向上延伸；以及图像合成部，其将上述显示对象图像投影于校正后的上述投影位置，生成三维图像。基于这样的构成，例如，显示对象图像的投影位置在虚拟投影面上，在车长方向上被校正而延展。其结果，能够减轻将由左侧拍摄部与右侧拍摄部中的至少一方拍摄到的显示对象图像投影于虚拟投影面时，在虚拟投影面显示的本车侧向的物体的大小不自然地变小、或在第一方向(本车侧向)上延伸的道路宽度突然变窄等不自然的显示。
此外，可以是：实施方式的显示控制装置的上述校正部例如基于第一距离与第二距离，获取沿上述第二方向对上述投影位置进行校正的校正率，该第一距离为第四坐标与上述第二坐标在上述第二方向上的距离，该第四坐标为第二虚拟直线与上述虚拟投影面相交的坐标，该第二虚拟直线将第三坐标与上述处理对象拍摄部连接，该第三坐标为虚拟参考面与上述虚拟基准线相交的坐标，该虚拟参考面设定于从拍摄了上述显示对象图像的处理对象拍摄部起在上述第一方向上隔开规定的距离处，该第二距离为上述第一虚拟直线与上述虚拟基准线在上述第二方向上的距离。基于这样的构成，例如，能够根据沿着虚拟参考面距第一虚拟直线的位置改变校正的反映度，能够在虚拟投影面上生成更加没有别扭感的三维合成图像。此外，在这种情况下，只要是存在于虚拟基准线上的物体，该物体就会投影于虚拟投影面上与虚拟基准线的交点附近。其结果，例如，容易了解以虚拟基准线为基准、在第一方向(本车侧向)上存在于远方的物体存在于哪一侧。即，对与存在于车辆的侧向的物体的位置关系的了解变得容易。
此外，可以是：实施方式的显示控制装置的上述虚拟基准线例如以沿着上述车辆的车身的前面或者后面的方式，在上述第一方向上延伸。基于这样的构成，例如，只要是存在于沿着车身的前面的虚拟基准线上的物体，该物体就会投影于虚拟投影面上与虚拟基准线的交点附近。其结果，例如，容易了解以车辆的前面(外表面)为基准、在第一方向(本车侧向)上存在于远方的物体存在于哪一侧。即，变得易于了解物体存在于车辆的前端的前方还是存在于后方，能够将易于了解在车辆移动时车身是否会与物体接触的三维合成图像投影于虚拟投影面。虚拟基准线沿着车身的后面的情况下也同样。
此外，可以是：实施方式的显示控制装置的上述图像获取部例如还获取前后方向显示对象图像，该前后方向显示对象图像为从对包含上述车辆的前方的区域进行拍摄的前方拍摄部得到的前方图像以及从对包含上述车辆的后方的区域进行拍摄的后方拍摄部得到的后方图像中的至少一方，上述虚拟基准线从在上述车长方向上与上述前方拍摄部或者上述后方拍摄部重合的位置起，在上述第一方向上延伸，上述图像合成部对由上述校正部校正后的上述显示对象图像与上述前后方向显示对象图像进行拼接，生成上述三维图像。基于这样的构成，例如，由前方拍摄部拍摄的、存在于在第一方向上延伸的虚拟基准线上的物体，投影于虚拟基准线与虚拟投影面之间的交点附近。另一方面，例如由左侧拍摄部拍摄了同一物体的情况下，虽然是斜视该物体但投影位置会通过校正部的校正被沿第二方向(朝向虚拟基准线的方向)校正。因此，能够减轻由前方拍摄部与左侧拍摄部拍摄到的物体在虚拟投影面上的投影位置的偏移，能够对三维合成图像的质量的提高作出贡献。此外，由后方拍摄部拍摄的物体也同样。
此外，可以是：实施方式的显示控制装置的上述校正部例如根据上述车辆相对上述接地面的高度，改变上述投影位置的校正。基于这样的构成，例如，能够避免在车辆的接地面与虚拟投影面的连接部分对投影位置突然应用沿第二方向的校正，易于保持接地面与虚拟投影面之间的连续性。
附图说明
图1为表示搭载实施方式涉及的显示控制装置的车辆的车室的一部分呈透视状态的一个示例的立体图。
图2为表示搭载实施方式涉及的显示控制装置的车辆的一个示例的平面图(俯视图)。
图3为表示具有实施方式涉及的显示控制装置的显示控制系统的构成方式的一个示例的框图。
图4为实施方式涉及的显示控制装置的CPU的构成方式的例示性的框图。
图5为表示实施方式涉及的显示控制系统中的拍摄图像在虚拟投影面上的投影的例示性的且是示意性的说明图。
图6为表示在实施方式涉及的显示控制装置中使用的虚拟投影面(三维形状模型)的例示性的且是示意性的说明图。
图7为表示实施方式涉及的显示控制系统中的车辆形状模型与包括底面和侧面的虚拟投影面的示意性的且是例示性的侧视图。
图8为表示实施方式涉及的显示控制系统中的车辆形状模型与仅包括侧面的虚拟投影面的示意性的且是例示性的侧视图。
图9为用于说明实施方式1涉及的显示控制系统中的图像的投影位置以及校正率的计算的示意性的且是例示性的说明图。
图10为表示实施方式1涉及的显示控制系统中不实施校正的情况下的三维显示图像的比较例的示意图。
图11为表示实施方式1涉及的显示控制系统中实施了校正的情况下的三维显示图像的显示例的示意图。
图12为用于说明实施方式1涉及的显示控制系统中的校正率的其他的计算方法的图，是表示拍摄部的位置坐标及与虚拟投影面的交点坐标以及与路面的交点坐标的说明图。
图13为用于说明实施方式1涉及的显示控制系统中的校正率的其他的计算方法的图，是用于说明使用图12的各坐标来得出校正率的示例的说明图。
图14为用于说明实施方式2涉及的显示控制系统中前方图像的投影位置以及校正率的计算的示意性的且是例示性的说明图。
图15为用于说明实施方式2涉及的显示控制系统中侧向图像的投影位置以及校正率的计算的示意性的且是例示性的说明图。
图16为用于说明在实施方式2涉及的显示控制系统中，使用前方图像与侧向图像进行图像的投影时，产生重影的情况以及能够减轻重影这点的示意性的且是例示性的说明图。
图17为表示实施方式2涉及的显示控制系统中不实施校正的情况下的三维显示图像的比较例的示意图。
图18为表示实施方式2涉及的显示控制系统中实施了校正的情况下的三维显示图像的显示例的示意图。
图19为表示实施方式2涉及的显示控制系统中实施了校正的情况下有可能新产生的显示错位的一个示例的示意图。
图20为用于说明实施方式3涉及的显示控制系统中的校正率的应用例的说明图。
图21为表示应用了实施方式3涉及的显示控制系统中的校正率的情况下的三维显示图像的显示例的示意图。
图22为用于说明实施方式4涉及的显示控制系统中的校正率的其他的应用例的说明图。
图23为表示应用了实施方式4涉及的显示控制系统中的校正率的情况下的三维显示图像的显示例的示意图。
具体实施方式
以下对本发明的例示性的实施方式进行公开。以下示出的实施方式的构成方式、以及由该构成方式带来的作用、结果和效果仅为一例。本发明也可以通过以下实施方式中公开的构成方式以外的构成方式来实现，并能够获得基于基本构成方式的各种效果及衍生的效果中的至少一种。
在本实施方式中，搭载显示控制装置(显示控制系统)的车辆1例如可以是以未图示的内燃机为驱动源的汽车即内燃机车，也可以是以未图示的电动机为驱动源的汽车即电动汽车或燃料电池汽车等。此外，也可以是以上述双方为驱动源的混合动力汽车，还可以是具有其他的驱动源的汽车。此外，车辆1可以搭载各种变速装置，也可以搭载驱动内燃机或电动机所需要的各种装置例如系统、部件等。可以使用四轮驱动车辆，作为驱动方式，对全部四个车轮3传递驱动力，将全部四轮作为驱动轮使用。与车轮3的驱动相关的装置的形式以及数量、布局等可以进行各种设定。此外，驱动方式也不限定于四轮驱动方式，例如也可以是前轮驱动方式或后轮驱动方式。
如图1所例示的那样，车身2构成有供未图示的乘车人员乘坐的车室2a。在车室2a内，以朝向作为乘车人员的驾驶员的座席2b的状态，设置有转向部4、加速操作部5、制动操作部6、变速操作部7等。转向部4例如是从仪表板24突出的方向盘；加速操作部5例如是位于驾驶员脚下的油门踏板；制动操作部6例如是位于驾驶员脚下的制动踏板；变速操作部7例如是从中央控制台突出的变速杆。另外，转向部4、加速操作部5、制动操作部6、变速操作部7等并不限定于此。
此外，在车室2a内，设置有显示装置8及语音输出装置9。显示装置8例如为LCD(liquid crystal display，液晶显示器)或OELD(organic electroluminescent display，有机电致发光显示器)等。语音输出装置9例如为扬声器。此外，显示装置8由例如触控面板等透明的操作输入部10覆盖。乘车人员能够透过操作输入部10观察显示于显示装置8的显示画面的图像。此外，乘车人员(驾驶员等)通过在与显示于显示装置8的显示画面的图像对应的位置以手指等对操作输入部10进行触碰、按压或划动等来进行操作，能够实施操作输入。上述显示装置8、语音输出装置9、操作输入部10等例如设置于位于仪表板24的车宽方向即左右方向上的中央部的监视装置11。监视装置11可以具有开关、旋钮、控制杆、按钮等未图示的操作输入部。此外，可以在车室2a内的与监视装置11不同的其他位置设置未图示的语音输出装置，也可以从监视装置11的语音输出装置9及其他的语音输出装置输出语音。另外，监视装置11例如可以兼用于导航系统或音响系统。
此外，如图1、图2所例示的那样，车辆1例如是四轮汽车，具有左右两个前轮3F及左右两个后轮3R。该四个车轮3均可以构成为能够转向。如图3所例示的那样，车辆1具有能使至少两个车轮3转向的转向系统13。转向系统13具有致动器13a及扭矩传感器13b。转向系统13由ECU14(electronic control unit，电子控制单元)等电控制，使致动器13a工作。转向系统13例如是电动助力转向系统或SBW(steer by wire，线控转向)系统等。转向系统13通过致动器13a对转向部4施加扭矩即辅助扭矩来补充转向力，或通过致动器13a对车轮3进行转向。这种情况下，致动器13a可以对一个车轮3进行转向，也可以对多个车轮3进行转向。此外，扭矩传感器13b例如检测驾驶员施加给转向部4的扭矩。
此外，如图2所例示的那样，在车身2设置有例如四个拍摄部15a～15d，作为多个拍摄部15。拍摄部15例如是内置CCD(Charge Coupled Device，电荷耦合器件)或CIS(CMOSimage sensor，互补金属氧化物半导体图像传感器)等拍摄元件的数码相机。拍摄部15可以以规定的帧率输出视频数据(拍摄图像数据)。拍摄部15分别具有广角镜头或鱼眼镜头，能够在水平方向上拍摄例如140°～220°的范围。此外，拍摄部15的光轴也可以设定为朝向斜下方。由此，拍摄部15依次拍摄包含车辆1能够在其上移动的路面及物体(作为障碍物的例如树木、人、自行车、车辆等)的车辆1外部的周边的环境，并作为拍摄图像数据输出。
拍摄部15a(后方拍摄部)例如位于车身2后侧的端部2e，设置于后备箱的门2h上的后窗的下方的壁部，拍摄包含包括车辆1后方区域的情况的后方图像。拍摄部15b(右侧拍摄部)例如位于车身2右侧的端部2f，设置于右侧的车门后视镜2g，拍摄包含包括车辆1右侧区域的情况的右侧图像。拍摄部15c(前方拍摄部)例如位于车身2的前侧即车辆前后方向上的前方侧的端部2c，设置于前保险杠或前格栅等，拍摄包含包括车辆1前方区域的情况的前方图像。拍摄部15d(左侧拍摄部)例如位于车身2的左侧的端部2d，设置于左侧的车门后视镜2g，拍摄包含包括车辆1左侧区域的情况的左侧图像。
此外，如图3所例示的那样，在显示控制系统100(显示控制装置)中，除ECU14、监视装置11、转向系统13等以外，还有制动系统18、转向角传感器19、油门传感器20、档位传感器21、轮速传感器22等，也通过作为电信线路的车内网络23电连接。车内网络23例如构成为CAN(controller area network，控制器区域网络)。ECU14通过车内网络23传送控制信号，由此能够控制转向系统13、制动系统18等。此外，ECU14通过车内网络23，能够接收扭矩传感器13b、制动传感器18b、转向角传感器19、油门传感器20、档位传感器21、轮速传感器22的检测结果、以及操作输入部10等的操作信号等。
ECU14例如具有：CPU14a(central processing unit，中央处理单元)、ROM14b(read only memory，只读存储器)、RAM14c(random access memory，随机存取存储器)、显示控制部14d、语音控制部14e、SSD14f(solid state drive，固态硬盘；flash memory，闪存)等。CPU14a读取在ROM14b等非易失性存储装置中存储(安装)的程序，并按照该程序实施运算处理。CPU14a例如实施与显示于显示装置8的图像相关的图像处理。例如，CPU14a对拍摄部15所拍摄的拍摄图像数据实施运算处理或图像处理，生成三维的周边图像(例如，俯视图像)。CPU14a能够改变生成的周边图像的视点。
RAM14c临时性地存储在CPU14a的运算使用的各种数据。此外，显示控制部14d在ECU14的运算处理中主要实施显示于显示装置8的图像数据的合成等。此外，语音控制部14e在ECU14的运算处理中主要实施由语音输出装置9输出的语音数据的处理。SSD14f是可擦写的非易失性的存储部，即使在ECU14的电源被断开的情况下也能够存储数据。另外，CPU14a、ROM14b及RAM14c等可以集成在同一个封装内。此外ECU14也可以是使用DSP(digitalsignal processor，数字信号处理器)等其他逻辑运算处理器或逻辑电路等来取代CPU14a的结构。此外也可以设置HDD(hard disk drive，硬盘驱动器)来代替SSD14f，并且SSD14f或HDD也可以与ECU14分别设置。
制动系统18例如是抑制制动的锁死的ABS(anti-lock brake system，防锁死制动系统)、抑制转弯时车辆1的侧滑的防止侧滑装置(ESC：electronic stability control，电子稳定控制)、增强制动力(实施制动辅助)的电动制动系统、BBW(brake by wire，线控制动)等。制动系统18通过致动器18a，对车轮3进而对车辆1施加制动力。此外，制动系统18能够基于左右的车轮3的旋转差等检测出制动的锁死、车轮3的空转以及侧滑的征兆等，并实施各种控制。制动传感器18b例如是检测制动操作部6的可动部的位置的传感器。
转向角传感器19例如是检测方向盘等转向部4的转向操作量的传感器。ECU14从转向角传感器19获取驾驶人员对转向部4的转向操作量、或自动转向时各车轮3的转向操作量等，并实施各种控制。油门传感器20例如是检测加速操作部5的可动部的位置的传感器。档位传感器21例如是检测变速操作部7的可动部的位置的传感器。轮速传感器22是检测车轮3的旋转量及单位时间的转速的传感器。轮速传感器22输出表示检测出的转速的轮速脉冲数作为传感器数值。ECU14基于从轮速传感器22获取的传感器数值来对车辆1的移动量等进行运算，并实施各种控制。
另外，上述各种传感器以及致动器的结构、配置、电连接的形态等仅为一例，可以进行各种设定(变更)。
包含在ECU14中的CPU14a例如以三维形态的图像显示上述的基于拍摄部15所拍摄的拍摄图像数据得到的车辆1周边的环境。为了实现该功能，CPU14a包含如图4所示的各种模块。CPU14a例如包括：图像获取部26、投影面获取部28、校正部30、图像合成部32、三维处理部34、周边图像生成部36等。这些模块可以通过读取安装并存储在ROM14b等存储装置的程序并将其运行来实现。
图像获取部26获取显示车辆1的周围所需要的信息。例如，图像获取部26从拍摄车辆1的周边的多个拍摄部15获取多个拍摄图像数据(例如，前方图像、右侧图像、左侧图像、后方图像等数据)。
投影面获取部28例如获取预先存储于ROM14b或SSD14f等的三维形状模型。三维形状模型例如是规定围绕车辆1的周围的虚拟投影面的数据。图5～图7示出三维形状模型的一个示例。另外，图5为表示将由拍摄部15d(左侧拍摄部)拍摄到的拍摄图像Ic投影于包含底面Spg与侧面Sps的虚拟投影面Sp的示例的示意图。此外，图6为示意性地表示虚拟投影面Sp的组成的图，图7为示意性地表示虚拟投影面Sp的整体形状的图。
虚拟投影面Sp例如如图5～图7所示，具有沿着地面Gr的底面Spg、以及从底面Spg即地面Gr上升的侧面Sps。地面Gr为与车辆1的高度方向Y(上下方向)正交的水平面，也是车轮3的接地面。底面Spg为例如大致呈圆形的平坦面，是以车辆1为基准的水平面。侧面Sps与底面Spg相接，从底面Spg的一部分起在高度方向上上升而将底面Spg的一部分包围，其例如是曲面。如图5所示，侧面Sps的、通过车辆1的中心Gc且与车辆1垂直的虚拟截面的形状为例如椭圆形或抛物线形。侧面Sps例如构成为绕通过车辆1的中心Gc且沿着车辆1的高度方向的中心线CL的旋转面。即，侧面Sps包围车辆1的周围。
如图6所示，作为三维形状模型的虚拟投影面Sp例如，在虚拟投影面Sp为对车辆1的主要示出前方情况的前方图像进行投影的投影面的情况下，包含从底面Spg上升而投影前方图像的侧面SpsF、投影右侧图像的侧面SpsR、以及投影左侧图像的侧面SpsL。虚拟投影面Sp为规定了坐标(X，Y，Z)的网格结构的数据，拍摄部15所拍摄的拍摄图像数据的各像素的数据例如投影于网格的交点(由坐标X，Y，Z规定的交点)。另外，图6中所示的虚拟投影面Sp的网格是为了说明而图示的，实际上设定为无法看到。
在图像获取部26所获得的由拍摄部15拍摄到的图像(显示对象图像)投影于虚拟投影面Sp时，校正部30进行用于消除在拍摄方向上显示的物体的大小不自然地变小、或道路宽度突然变窄等不合适处的校正。例如进行在宽度方向上延展投影的图像的校正。在本实施方式中，拍摄部15c例如设置于车辆1的车宽方向的大致中央部。即，拍摄部15c对存在于该拍摄部15c的正面的拍摄对象、例如在拍摄部15c的拍摄方向上延伸的拍摄中心线上的物体以外的物体，会呈斜视状态。由拍摄部15c拍摄到的图像投影于将所拍摄的物体与拍摄部15c连接的直线与虚拟投影面Sp相交的位置。其结果，拍摄中心线上的物体以外的物体，会投影于虚拟投影面Sp上比实际的位置更靠近拍摄中心线的位置。因此，会如前所述，显示的物体的大小会不自然地变小(朝向拍摄中心线被压缩)、或道路的道路宽度突然变窄。因此，校正部30进行减轻上述不自然显示的校正。例如，对显示对象图像进行校正，该显示对象图像为从对包含车辆1的前方的区域进行拍摄的拍摄部15c(前方拍摄部)得到的前方图像以及从对包含车辆1的后方的区域进行拍摄的拍摄部15a(后方拍摄部)得到的后方图像中的至少一方。此时，设从拍摄部15c或者拍摄部15a起在车辆1的车长方向即第一方向上延伸的直线为第一虚拟直线。并且，设对应于第一虚拟直线与虚拟投影面Sp相交的位置的坐标为第一坐标。此外，设在车辆1的车宽方向上与第一虚拟直线隔开距离而在第一方向上延伸的直线为虚拟基准线。虚拟基准线例如可以设定为以沿着车辆1的车身2的左侧面或者右侧面的方式在第一方向上延伸。并且，设对应于虚拟基准线与虚拟投影面Sp相交的位置的坐标为第二坐标。校正部30实施沿从第一坐标指向第二坐标的第二方向改变显示对象图像的投影位置的校正。关于投影位置的校正的细节在后文详述。另外，拍摄部15所具有的镜头可能是用于实现广范围拍摄的广角镜头或鱼眼镜头，图像可能会带有畸变。因此，校正部30可以基于镜头的畸变进行对拍摄图像数据的校正。
图像合成部32例如通过将由图像获取部26获取并由校正部30校正后的、拍摄部15c所拍摄的前方图像的拍摄图像数据、拍摄部15b所拍摄的右侧图像的拍摄图像数据、以及拍摄部15d所拍摄的左侧图像的拍摄图像数据在其边界部分合成来使其连接，生成单一拍摄图像数据。另外，在对前方图像的拍摄图像数据与右侧图像的拍摄图像数据进行合成时，以及在对前方图像的拍摄图像数据与左侧图像的拍摄图像数据进行合成时，可能存在若保持边界部分原样进行合成则会明确出现边界线的情况。例如存在：在拍摄部15c所拍摄的前方图像与拍摄部15b所拍摄的右侧图像、由于日光或灯光的照射情况等导致图像的亮度或色调不同的情况。这种情况下，存在由于亮度或色调的不同导致的边界线出现、基于合成的单一拍摄图像数据的图像的质量下降的情况。因此，如图6所示，在虚拟投影面Sp，设定有重复区域LA，该重复区域LA是投影前方图像的拍摄图像数据的侧面SpsF的水平方向端部与投影右侧图像的拍摄图像数据的侧面SpsR的水平方向端部重合的区域。在该重复区域LA中，图像合成部32可以实施分别利用前方图像的拍摄图像数据与右侧图像的拍摄图像数据的a％来合成图像的调和处理。通过实施调和处理，前方图像与右侧图像以逐渐变化的方式合成，能够使由于亮度或色调的不同而产生的边界线变得不醒目。同样地，对前方图像与左侧图像也能够通过实施调和处理来使在合成的周边图像整体中边界线变得不醒目。
此外，图像合成部32在ECU14显示表示车辆1后方的情况的周边图像时，同样地，将拍摄部15a所拍摄的后方图像的拍摄图像数据与拍摄部15b所拍摄的右侧图像的拍摄图像数据以及拍摄部15d所拍摄的左侧图像的拍摄图像数据合成，生成单一拍摄图像数据。
三维处理部34生成将由图像合成部32合成的拍摄图像数据投影于以车辆1所在的位置为基准确定的、包围车辆1的周围或者设定于周围的一部分的虚拟投影面Sp(三维形状模型)的虚拟投影图像的数据。如图5所示，三维处理部34计算将拍摄图像Ic投影于虚拟投影面Sp的虚拟投影图像Ip。若将拍摄图像Ic投影于地面Gr，则存在随着远离拍摄部15其成像变长、在输出图像中显示得比实际的长度长的情况。由图5可知，投影于从地面Gr(底面Spg)上升的侧面Sps的虚拟投影图像Ip与被投影于地面Gr的情况相比，成像变短，可抑制在输出图像中显示得比实际的长度长的情况。
此外，如图6、图7所示，三维处理部34在包含虚拟投影面Sp的三维虚拟空间内，配置存储于ROM14b或者SSD14f等的与车辆1对应的车辆形状模型M。三维处理部34对配置于三维虚拟空间内的车辆形状模型M设定规定的透明度。由此，在三维虚拟空间中，透过车辆形状模型M，能够观察相反侧的虚拟投影图像Ip。
周边图像生成部36生成对投影于拍摄图像数据被投影到的三维虚拟空间内的虚拟投影面Sp的虚拟投影图像Ip及车辆形状模型M，从设定于该三维虚拟空间内的视点Ep观察注视点En所看到的周边图像数据。周边图像生成部36将生成的周边图像数据提供至显示控制部14d，显示控制部14d使显示装置8显示三维的周边图像。
另外，显示控制系统100仅利用拍摄部15c(前方拍摄部)也可以进行三维形态的周边图像的显示。同样地，显示控制系统100仅利用拍摄部15a(后方拍摄部)、仅利用拍摄部15b(右侧拍摄部)、或仅利用拍摄部15d(左侧拍摄部)也可以进行三维形态的周边图像的显示。这种情况下，省略图像合成部32的处理等。图8为表示仅利用拍摄部15c的情况下的虚拟投影面Sp的其他的实施方式的概念性的示意图。如图8所示的虚拟投影面Sp仅具备：在距配置于地面Gr上的车辆形状模型M位于前方规定距离处从地面Gr垂直上升的侧面Sps1。侧面Sps1的情况也与如图7所示的具备底面Spg与侧面Sps的虚拟投影面Sp同样地，能够显示由周边图像生成部36生成的虚拟投影图像Ip及车辆形状模型M，能够将基于从设定于三维虚拟空间内的视点Ep观察注视点En所见的周边图像数据的三维投影图像提供给利用者。
以下、对将图像投影于虚拟投影面Sp的情况下用于投影位置的校正的校正率进行详细的说明，并对不实施投影位置的校正的情况与实施的情况的显示内容的区别进行说明。
实施方式1
图9为用于说明将由拍摄部15c(前方拍摄部：处理对象拍摄部)拍摄到的前方图像(显示对象图像)投影于仅具备如图8所示的侧面Sps1的虚拟投影面Sp的情况下的投影位置的偏移现象的产生、以及用于抑制该偏移现象的校正率的计算的示意性的且是例示性的说明图。
在以下的说明中，车辆1中的设置于前方的端部2c的拍摄部15c(前方拍摄部：处理对象拍摄部)设置于在车辆1的车长方向(前后方向)上延伸的车辆中心线OL1上，设从拍摄部15c起沿着该车辆中心线OL1、在车长方向即第一方向A上延伸的直线为第一虚拟直线Q1。因此，在实施方式1中，拍摄部15c的拍摄中心线为从拍摄部15c起在车辆1的车长方向即第一方向A上延伸的第一虚拟直线Q1的一个示例。此外，作为一个示例，设第一虚拟直线Q1为从拍摄部15c起与车辆1的接地面(地面Gr)平行地在第一方向A上延伸。并且，在第一方向A(第一虚拟直线Q1)的方向上与拍摄部15c隔开规定的距离L1的位置设定有虚拟投影面Sp(侧面Sps，Sps1)。此外，在虚拟投影面Sp的前方且在第一方向(第一虚拟直线Q1)的方向上与拍摄部15c隔开预先决定的距离L2(规定的距离)的位置设定有虚拟参考面Rp。并且，设第一虚拟直线Q1与虚拟投影面Sp相交的位置为第一坐标点S1(X1，Y1，Z1)。此外，如上所述，设在车辆1的车宽方向上与第一虚拟直线Q1隔开距离而在第一方向A上延伸的直线为虚拟基准线RL。在实施方式1的情况下，虚拟基准线RL设定于在车宽方向上与左右任一个拍摄部(拍摄部15b或者拍摄部15d)重合的位置(穿过设置于车辆1的侧面的车门后视镜2g的垂直面上)、并且与设置前方拍摄部即拍摄部15c的高度(离地高度)相同的高度处、与车辆1的接地面(地面Gr)平行地在第一方向A上延伸。虚拟基准线RL例如可以设定于与车辆中心线OL1隔开规定的距离W、例如在车宽方向的外侧与车辆中心线OL1隔开车宽W0的一半(W0/2)以上的位置。并且，设虚拟基准线RL与虚拟投影面Sp相交的位置为第二坐标点S2(X2，Y2，Z2)。此外，可以设定为在第一方向A上延伸。并且，设虚拟基准线RL与虚拟参考面Rp相交的位置为第三坐标点S3(X3，Y3，Z3)。
例如，如图9所示，考察将存在于虚拟参考面Rp的位置的物体T、即存在于比虚拟投影面Sp更远处的物体投影于虚拟投影面Sp的情况。在图9的情况下，作为易于理解将物体T投影于虚拟投影面Sp时的显示位置的变化的示例，示出物体T存在于虚拟基准线RL与虚拟参考面Rp相交的位置(第三坐标点S3(X3，Y3，Z3))的情况。在此情况下，即使车辆1直行前进，车辆1也能够不与物体T接触地开过物体T。
首先，考察不实施基于校正部30的校正的情况。例如，在物体T存在于虚拟参考面Rp上的情况下，与物体T上的第三坐标点S3(X3，Y3，Z3)对应的图像投影于：从拍摄部15c朝向物体T的延长线(将第三坐标点S3与拍摄部15c连接的延长线即第二虚拟直线Q2)与虚拟投影面Sp相交的第四坐标点S4(X4，Y4，Z4)。这种情况下，在车辆1直行前进时能够开过的物体T在虚拟投影面Sp上投影于靠近第一虚拟直线Q1的位置。即，投影于似乎会与车辆1接触的位置。特别地，驾驶员在对包括物体T的存在于车辆1的周围的物体的大小及空隙的宽窄进行认知时，可能会以自己驾驶的车辆1的车宽为基准。因此，当看到在虚拟投影面Sp上以靠近第一虚拟直线Q1的方式被投影于偏移了的位置且以缩小的方式被显示的物体T时，可能会误认物体T所在的位置及大小。图10为不实施基于校正部30的校正的情况下显示于显示装置8的作为比较例的三维投影图像。这种情况下，被显示为存在于本车(车辆形状模型M)的前方的车辆Ca(物体T)、被朝向第一虚拟直线Q1(拍摄中心线：参见图9)压缩，以看上去较小的方式被显示。这种情况下，可能会误认车辆Ca的大小，并且，例如在车辆Ca出车库后，本车想要停在其空出来的空间时，在显示装置8上进行了使车辆Ca曾经所在的空间看上去较窄的显示，因此车辆1(本车)的驾驶员可能难以判断能否停车。同样地，在投影在第一方向A上延伸的道路宽度并未变化的道路时，可能会显示为道路宽度突然变窄，使驾驶员产生别扭感。
这种情况下，例如进行了使虚拟投影面Sp上的第四坐标点S4(X4，Y4，Z4)投影于虚拟投影面Sp上的第二坐标点S2(X2，Y2，Z2)的校正的话，可减轻上述那样的不自然的投影。即，如图9所示，校正部30对于投影于第一虚拟直线Q1(拍摄中心线)右侧的图像，求取沿从对应于相对于拍摄部15c的第一虚拟直线Q1与虚拟投影面Sp相交的位置的第一坐标点S1(X1，Y1，Z1)起指向虚拟基准线RL与虚拟投影面Sp相交的第二坐标点S2(X2，Y2，Z2)的第二方向B对图像的投影位置进行校正的坐标的校正率α即可。同样地，对于投影于第一虚拟直线Q1左侧的图像，求取沿与第二方向B相反方向对图像的投影位置进行校正的坐标的校正率α即可。另外，可以使左右的校正率α相对于位于其中的第一虚拟直线Q1相同，因此在以下的说明中，仅进行单侧的说明。
首先，以计算与应投影于虚拟投影面Sp上的第二坐标点S2(X2，Y2，Z2)的拍摄部15c所拍摄的前方图像(显示对象图像)的二维坐标(U，V)对应的第四坐标点S4(X4，Y4，Z4)的方式，求取相对于第二坐标点S2(X2，Y2，Z2)的校正率α。求取与使该校正率α仅反映在虚拟投影面Sp的各坐标点的X分量上的校正坐标(αX，Y，Z)对应的前方图像的二维坐标(U，V)，并投影于本来应投影的虚拟投影面Sp上的坐标即可。
校正率α的计算存在各种方法。例如，使在虚拟投影面Sp上存在于第二方向B上的第四坐标点S4(X4，Y4，Z4)与第二坐标点S2(X2，Y2，Z2)之间的距离ΔX(第一距离)、与从第一虚拟直线Q1(车辆中心线OL1)至虚拟基准线RL的距离W(第二距离)的比、为沿第二方向B对投影位置进行校正时的校正率α。
由图9可得到：
α＝ΔX/W……式1
ΔX/(L2-L1)＝W/L2……式2
即，通过式1与式2，可求出如下所示的式3。
α＝(L2-L1)/L2……式3
如此，以拍摄部15c的位置为基准，基于距虚拟投影面Sp的距离L1与距虚拟参考面Rp的距离L2能够容易地定义出校正率α。
使用如此求得的校正率α，对拍摄部15c所拍摄的前方图像的投影位置进行校正后的三维合成图像为图11。校正部30基于校正率α，获取与三维形状模型所规定的虚拟投影面Sp上的校正坐标(αX，Y，Z)对应的前方图像的二维坐标(U，V)的图像。并且，投影于虚拟投影面Sp上的坐标(X，Y，Z)。其结果，如图11所示，被显示为存在于本车(车辆形状模型M)的前方的车辆Ca(物体T)、以第一虚拟直线Q1(拍摄中心线)为基准向左右延展，以与本车(车辆形状模型M)相比减轻了别扭感的大小显示。例如，第一虚拟直线Q1右侧的图像沿第二方向B延伸、第一虚拟直线Q1左侧的图像沿与第二方向B相反方向延伸。这种情况下，例如在车辆Ca出车库后，本车想要停在其空出来的空间时，在显示装置8上，停车空间以与本车(车辆形状模型M)相比减轻了别扭感的宽度显示，车辆1(本车)的驾驶员对能否停车的判断变得容易。同样地，能够使在第一方向A(前方)上延伸的道路的道路宽度的变化变得平缓，使驾驶员不易产生别扭感。另外，这种情况下，在虚拟基准线RL的延长线上，即，存在于与车辆1的车宽对应的位置的物体T，在虚拟投影面Sp上也显示于虚拟基准线RL上，因此对显示于显示装置8上的三维合成图像进行观察的驾驶员易于了解本车与物体T的位置关系。
另外，如上所述，在实施方式1中，第一虚拟直线Q1从前方拍摄部(拍摄部15c)起与车辆1的接地面(地面Gr)平行地在第一方向A上延伸。此外，虚拟基准线RL从在车宽方向上与左右任一个拍摄部(拍摄部15b或者拍摄部15d)重合的位置并且从设有前方拍摄部(拍摄部15c)的高度起，与车辆1的接地面(地面Gr)平行地在第一方向A上延伸。因此，第一虚拟直线Q1与虚拟基准线RL在从铅垂上方观察时，在车宽方向上隔开距离并向着第一方向A彼此平行地延伸，而以在从车辆1的侧向观察时看上去重合的方式延伸。如此，通过使第一虚拟直线Q1与虚拟基准线RL的高度一致，使第一坐标点S1～第四坐标点S4的高度方向的坐标相等。因此，在进行使用第一距离及第二距离的校正率α的运算时(式1～式3)，能够不受高度方向坐标的影响，获取稳定的校正率α，并实现使用校正率α的稳定的校正。
图12、图13为用于说明校正率α的其他的计算方法的图。在图12中，坐标C(X1，Y1，Z1)为拍摄部15c的位置。此外，坐标P(X2，Y2，Z2)为虚拟投影面Sp上的任意的点。坐标A(X3，0，Z3)为直线CP与地面Gr的交点。这种情况下，通过坐标C及坐标P的直线CP能够由以下的式子(向量式)表示。另外，t为参数。
Figure BDA0002410717160000171
并且，求取如图12所示的在直线CP的延长线上的地面Gr上的坐标A。
Figure BDA0002410717160000172
即，
t＝-Y1/(Y2-Y1)
X3＝X1+t(X2-X1)
Z3＝Z1+t(Z2-Z1)。
这种情况下，如图13所示，投影于虚拟投影面Sp上的坐标P的图像为与坐标A对应的图像。此时，与用图9说明过的情况同样地，用于存在于虚拟基准线RL上的物体T投影于虚拟投影面Sp上的坐标P的校正率α能够用从第一虚拟直线Q1(车辆中心线OL1)至虚拟基准线RL的距离W与坐标A的坐标X3之间的关系来求取。
α＝W/X3
使用这样求得的校正率α来对拍摄部15c所拍摄的前方图像的投影位置进行校正，则能够得到与图11同样的三维合成图像。另外，如图12、图13所示的示例的情况下，在虚拟投影面Sp中，只要是比拍摄部15c的设置高度(离地高度)低的位置，就能够得到直线CP与地面Gr的交点。即，能够分别计算虚拟投影面Sp上各高度的校正率α，能够与到地面Gr的高度对应地进行校正，能够进行更加减轻了别扭感的三维图像的显示。此外，在虚拟投影面Sp中，拍摄部15c的设置高度以上的校正率α能够使用规定的值、例如能够计算的最大校正率αmax。
如此，虚拟投影面Sp为本车前方的直立面，仅使用由拍摄部15c(前方拍摄部)拍摄到的前方图像来将三维合成图像显示于显示装置8的情况下，可减轻本车前方的情况(其他车辆或道路等)不自然地缩小显示、或道路宽度突然变窄等显示。其结果，通过显示于显示装置8的三维合成图像，能够使驾驶员易于更加恰当地、没有别扭感地、了解掌握以本车的前方为中心的周围的情况。另外，使用由拍摄部15a(后方拍摄部)拍摄到的后方图像同样能够生成示出后方的情况的三维合成图像，同样能够使驾驶员易于更加恰当地、没有别扭感地、了解掌握以本车的后方为中心的周围的情况。
另外，可以使每次点火开关打开(ON)时，校正部30都对拍摄部15c计算校正率α、并例如存储于RAM14c，每次生成三维合成图像时对各图像的投影位置进行校正。
实施方式2
图14为用于说明实施方式2的前方图像的投影位置及校正率的计算的示意性的且是例示性的说明图。在实施方式2的情况下，设定于车辆1(本车)前方的虚拟投影面Sp的形状例如为以车辆1的车辆中心1a为中心的曲面。其以外的组成与实施方式1的图9所示的组成相同，对相同的结构赋予相同的符号并省略对其的详细说明。另外，图14的情况下，距虚拟投影面Sp的距离L1以及距虚拟参考面Rp的距离L2以通过车辆1的车辆中心1a且在车宽方向上延伸的中心线OL2为基准进行定义。
图14的情况下也定义虚拟基准线RL(沿着车辆1的侧面的端部2f在第一方向A上延伸、且在车宽方向上与第一虚拟直线Q1(拍摄中心线)间隔距离W的位置的直线)。这种情况下也可以将第一虚拟直线Q1设定为从前方拍摄部(拍摄部15c)起与车辆1的接地面(地面Gr)平行地在第一方向A上延伸。此外，虚拟基准线RL可以设定为从在车宽方向上与左右任一个拍摄部(拍摄部15b或者拍摄部15d)重合的位置、并且从设置前方拍摄部(拍摄部15c)的高度起、与车辆1的接地面(地面Gr)平行地在第一方向A上延伸。并且，在虚拟投影面Sp为曲面的情况下，也会在不实施基于校正部30的校正时，将与存在于拍摄部15c所拍摄的虚拟参考面Rp与虚拟基准线RL的交点的物体T的第三坐标点S3对应的图像，投影于从固定于车辆1的前方的端部2c的中央部的拍摄部15c起朝向物体T的第二虚拟直线Q2(延长线)与虚拟投影面Sp相交的第四坐标点S4。因此，与用图9说明过的情况同样地，被显示为存在于车辆1(车辆形状模型M)的前方的车辆Ca(物体T)、被朝向第一虚拟直线Q1(拍摄中心线)压缩，以看上去较小的方式被显示。同样地，在投影在第一方向A上延伸的道路宽度不变的道路的情况下，会显示为道路宽度突然变窄，有可能使驾驶员产生别扭感。因此，在使用实施方式2中的曲面的虚拟投影面Sp的情况下，校正部30也计算前方图像用的校正率αf，并基于该校正率αf，获取与三维形状模型规定的虚拟投影面Sp上的校正坐标(αfX，Y，Z)对应的前方图像的二维坐标(U，V)的图像。并且，投影于虚拟投影面Sp上的坐标(X，Y，Z)。例如，在虚拟投影面Sp上存在于第二方向B上的第四坐标点S4与第二坐标点S2之间的距离ΔX(第一距离)、与从第一虚拟直线Q1(车辆中心线OL1)至虚拟基准线RL的距离W(第二距离)的比值，为在将投影位置沿第二方向B(从第一坐标点S1指向第二坐标点S2的方向)校正时的校正率αf。
由图14可得到：
αf＝ΔX/W……式1f
ΔX/(L2-L1)＝W/L2……式2f
即，通过式1f与式2f，可求出式3f。
αf＝(L2-L1)/L2……式3f
如此，以拍摄部15c的位置为基准，能够基于距虚拟投影面Sp的距离L1与距虚拟参考面Rp的距离L2容易地定义校正率αf。在使用校正率αf校正后的三维合成图像中，被显示为存在于本车(车辆形状模型M)的前方的车辆Ca(物体T)、与图11同样地、以第一虚拟直线Q1(拍摄中心线)为基准向左右延展，以与本车(车辆形状模型M)相比减轻了别扭感的大小显示。此外，向前方延伸的道路宽度的变化变得平缓，能够使驾驶员不易产生别扭感。如上所述，在实施方式2中，能够进行设定使第一虚拟直线Q1与虚拟基准线RL的高度一致，能够使第一坐标点S1～第四坐标点S4的高度方向的坐标相等。因此，在使用第一距离及第二距离的校正率αf的运算时(式1f～式3f)，能够不受高度方向的坐标的影响，获取稳定的校正率αf，并实现使用校正率αf的安定的校正。
图15为用于说明使用由拍摄部15b(右侧拍摄部：处理对象拍摄部)拍摄到的右侧图像(显示对象图像)来生成示出右侧的情况的三维合成图像的情况下的校正率αs的计算的示意性的且是例示性的说明图。这种情况下，除使用拍摄部15b(右侧拍摄部)而非拍摄部15c(前方拍摄部)这一点以外与图14的组成相同，对相同的结构赋予相同的符号并省略对其的详细说明。另外，有时拍摄部15b(右侧拍摄部)会设置为在车辆1的端部2f朝向铅垂下方。这种情况下，拍摄部15b的拍摄中心线朝向铅垂下方，因此在如本实施方式2这样以侧向的图像为显示对象图像的情况下，主要利用以广角镜头或鱼眼镜头拍摄到的拍摄图像的边缘区域。在使用拍摄部15b(右侧拍摄部)的情况下，设从拍摄部15b沿车辆1的车宽方向为第一方向A。并且，设在该第一方向A上从拍摄部15b起延伸的直线为第一虚拟直线Q1。这种情况下，作为一个示例，第一虚拟直线Q1可以设定为从拍摄部15b起与车辆1的接地面(地面Gr)平行地在第一方向A上延伸。并且，设第一虚拟直线Q1与虚拟投影面Sp相交的位置为第一坐标点S1。此外，在使用拍摄部15b的情况下，虚拟基准线RL可设定于在车长方向上与前方拍摄部(拍摄部15a)重合的位置(通过车辆1的前方的端部2c(车身的前面)的垂直面上)、并且是与设置右侧拍摄部(拍摄部15b)的高度相同的高度、并设定为与车辆1的接地面(地面Gr)平行地在第一方向A上延伸。另外，图15定义了以通过车辆1的车辆中心1a而在车辆1的车长方向上延伸的车辆中心线OL1以及在车宽方向上延伸的中心线OL2为基准进行运算时参照的距离。例如，拍摄部15b(右侧拍摄部)的位置以距中心线OL2的距离As来定义。此外，第二坐标点S2以距车辆中心线OL1的距离Bs来定义，第三坐标点S3以距车辆中心线OL1的距离Cs来定义。此外，虚拟参考面Rp的位置以距中心线OL2的距离Ds来定义。
在使用由拍摄部15b(右侧拍摄部)拍摄到的右侧图像来生成三维合成图像的情况下，在不实施基于校正部30的校正时，与存在于虚拟参考面Rp上的物体T上的第三坐标点S3对应的图像，也被投影于从固定于车辆1的车门后视镜2g的拍摄部15b朝向物体T的第二虚拟直线Q2(延长线)与虚拟投影面Sp(Sps)相交的第四坐标点S4。因此，与用图9、图14所说明的情况同样地，被显示为存在于车辆1(车辆形状模型M)的右侧的车辆Ca(物体T)、被朝向第一虚拟直线Q1压缩，以看上去较小的方式被显示。同样地，在第一方向A(本车的侧向)上的道路宽度不变的道路被投影的情况下，会显示为道路宽度突然变窄，有可能使驾驶员产生别扭感。例如，在车辆1(本车)的右侧存在于车辆1的端部2c的前方的行人在三维合成图像上，不自然地显示为存在于端部2c的后方。
因此，校正部30计算右侧图像用的校正率αs，并基于该校正率αs，获取与三维形状模型所规定的虚拟投影面Sp上的校正坐标(αsX，Y，Z)对应的右侧图像的二维坐标(U，V)的图像。并且，投影于虚拟投影面Sp上的坐标(X，Y，Z)。例如，在虚拟投影面Sp上存在于第二方向B(从第一坐标点S1指向第二坐标点S2的方向)上的第四坐标点S4与第二坐标点S2之间的距离ΔZ(第一距离)、与从第一虚拟直线Q1至虚拟基准线RL的第二距离即距离(Ds-As)的比值，可以作为将投影位置沿第二方向B校正时的校正率αs。
由图15可得到：
αs＝ΔZ/(Ds-As)……式1s
ΔZ/(Cs-Bs)＝(Ds-As)/C……式2s
即，通过式1s与式2s，可求出式3s。
αs＝(Cs-Bs)/Cs……式3s
另外，由图15可知：
Figure BDA0002410717160000211
Figure BDA0002410717160000212
如此，以中心线OL2为基准，能够基于距虚拟投影面Sp的距离L1与距虚拟参考面Rp的距离L2容易地定义校正率αs。在使用校正率αs校正后的三维合成图像中，被显示为存在于本车(车辆形状模型M)的右侧的车辆(物体T)、以第一虚拟直线Q1为基准向前后延展，以与本车(车辆形状模型M)相比减轻了别扭感的大小显示。此外，向车辆1的右侧延伸的道路的道路宽度的变化变得平缓，能够使驾驶员不易产生别扭感。此外，在存在行人等的情况下，显示于接近实际的位置。另外，在使用由拍摄部15d(左侧拍摄部)拍摄到的左侧图像来生成三维合成图像的情况下也能够进行同样的校正，能够得到同样的效果。在这种情况下，能够进行设定使第一虚拟直线Q1与虚拟基准线RL的高度一致，能够使第一坐标点S1～第四坐标点S4的高度方向的坐标相等。因此，在使用第一距离及第二距离的校正率αs的运算时(式1s～式3s)，能够不受高度方向的坐标的影响，获取稳定的校正率αs，并实现使用校正率αs的稳定的校正。
另外，关于以拍摄部15b为基准的第一虚拟直线Q1后方的区域，将虚拟基准线RL设定为在车辆1的后方的端部2e(车身的后面)沿着第一方向A，则同样能够进行减轻别扭感的校正。在拍摄部15b(拍摄部15d)的设置方向并非铅垂方向、而是与拍摄部15c同样地朝向侧向的情况下，作为第一虚拟直线Q1，可以使用朝向右侧(左侧)的拍摄部15b(拍摄部15d)的拍摄中心线来定义第一坐标点S1。
另外，如上所述，图像合成部32能够对各拍摄部15所拍摄的图像进行拼接来生成表示更广区域的三维合成图像。例如，能够合成在前方图像的左右拼接了右侧图像及左侧图像的图像。这种情况下，在不实施基于校正部30的校正的情况下，也有可能显示不自然的图像。例如，如图16所示，考虑用配置于车辆1的前方的端部2c的拍摄部15c、以及配置于车辆1的左侧的车门后视镜2g的拍摄部15d来拍摄车辆1的周围的情况。另外，图16示出了：作为其他的图像的投影例，使用如图7所示的、由底面Spg与侧面Sps构成的虚拟投影面Sp，来投影三维合成图像的示例。
图16为物体T存在于虚拟投影面Sp(侧面Sps)的更远处的位置时，将由拍摄部15c拍摄到的前方图像与由拍摄部15d拍摄到的左侧图像合成的情况。物体T存在于沿着车辆1的左侧的端部2d延伸的虚拟基准线RL上。这种情况下，拍摄部15d设置于接近虚拟基准线RL的位置，因此若将与拍摄部15d所拍摄的图像中拍到的物体T的第三坐标点S3对应的二维坐标(U，V)投影于虚拟投影面Sp(侧面Sps)上，则将投影于大致与物体T所在的位置(真正的位置)对应(投影时的偏移较少)的坐标。例如，投影于第二坐标点S2。
另一方面，在将与由拍摄部15c拍摄到的图像中拍到的物体T的第三坐标点S3对应的二维坐标(U，V)投影于虚拟投影面Sp(侧面Sps)上的情况下，在不实施基于校正部30的校正的情况下，被投影于第四坐标点S4。即，同一物体T被投影于虚拟投影面Sp上不同的点(第二坐标点S2与第四坐标点S4)，会产生所谓“重影”。图17为在不实施基于校正部30的校正的情况下显示于显示装置8的三维合成图像的一个示例。这种情况下，在三维合成图像中，特别是，在拍摄部15c(前方拍摄部)与拍摄部15d(左侧拍摄部)的接合区域DVL，同一车辆Ca1(物体T)显示成重影。同样地，在拍摄部15c(前方拍摄部)与拍摄部15b(右侧拍摄部)的接合区域DVR周边，同一车辆Ca2(物体T)显示成重影。另外，由于不实施基于校正部30的校正，与图10所示的例同样地，被显示为存在于本车(车辆形状模型M)的前方的车辆Ca、以看上去较小的方式被显示。
图18为将实施了基于校正部30的校正后的三维合成图像显示于显示装置8的情况下的显示例。另外，在如图18所示的示例中，由拍摄部15d(左侧拍摄部)拍摄到的侧向显示对象图像中的物体T，在投影于虚拟投影面Sp上时，投影于大致真实的位置，因此不实施基于校正部30的校正。在图18的示例中，校正部30对于由拍摄部15c(前方拍摄部)拍摄到的显示对象图像仅实施X方向上的校正。
实施基于校正部30的校正的结果，对与由拍摄部15c(前方拍摄部)拍摄到的显示对象图像中拍到的物体T的第三坐标点S3对应的二维坐标(U，V)，进行沿从第一坐标点S1指向第二坐标点S2的方向的校正。其结果，对由拍摄部15c(前方拍摄部)拍摄到的图像(物体T)，进行向与由拍摄部15d(左侧拍摄部)拍摄到的侧向显示对象图像中拍到的物体T的第三坐标点S3对应的二维坐标(U，V)所投影的位置(第二坐标点S2)靠近的校正。即，投影位置相近，重影会减轻(不醒目)。其结果，可以更加鲜明地显示接合区域DVL的车辆Ca1及接合区域DVR的车辆Ca2(图18的情况下，作为一个示例，图示出消除了重影的状态)。另外，关于由拍摄部15c(前方拍摄部)拍摄到的图像，由于实施了X方向上的校正，与如图11所示的示例同样地，被显示为存在于本车(车辆形状模型M)的前方的车辆Ca、以与本车(车辆形状模型M)相比减轻了别扭感的大小显示。
如此，若实施基于校正部30的校正，虚拟投影面Sp为包围本车的周围的曲面形状、使用由拍摄部15c(前方拍摄部)、拍摄部15d(左侧拍摄部)、拍摄部15b(右侧拍摄部)拍摄到的图像、将三维合成图像显示于显示装置8的情况下，能够减轻显示的不自然感。即，使重影不醒目，并且减轻本车前方的情况(其他车辆或道路等)不自然地变小的显示、或道路宽度突然变窄的显示。其结果，通过显示于显示装置8的三维合成图像，使驾驶员易于更加恰当地、没有别扭感地、了解掌握以本车的前方为中心的周围的情况。另外，对由拍摄部15c拍摄到的显示对象图像与由拍摄部15b拍摄到的右侧的显示对象图像进行拼接时也同样，能够得到同样的效果。此外，对由拍摄部15a拍摄到的显示对象图像与由拍摄部15b(拍摄部15d)拍摄到的侧向显示对象图像进行拼接时也同样，能够得到同样的效果。这种情况下，也如用实施方式1说明的那样，能够进行设定使第一虚拟直线Q1与虚拟基准线RL的高度一致，能够使第一坐标点S1～第四坐标点S4的高度方向的坐标相等。因此，在使用第一距离及第二距离的校正率α的运算时(式1～式3)，能够不受高度方向的坐标的影响，获取稳定的校正率α，并实现使用校正率α的稳定的校正。
实施方式3
如图16所示的示例，在虚拟投影面Sp由底面Spg及侧面Sps构成的情况下，如上所述，通过校正部30实施对虚拟投影面Sp(侧面Sps)的校正时，有时在底面Spg与侧面Sps的边界线部分会发生图像错位。例如关于左侧图像，在使用校正率αs实施了在车辆前后方向上延展的校正时，显著地表现出在侧面Sps部分的校正的影响。作为一个示例，如图19所示，在以区域J所示的部分的底面Spg与侧面Sps的边界线ja部分，产生了路面的白线错位的现象。
因此，在实施方式3中，如图20所示，使校正率α的值根据侧面Sps的高度Y而变化，由此保证底面Spg与侧面Sps之间的连续性。例如，在连接部分(侧面Sps的高度＝0)的部分，设校正率α(Y)＝1.0(未反映出校正的状态)，并设在侧面Sps的上端部(高度H)校正率最大(αmax)。另外，最大校正率αmax为由实施方式1，2等计算出的校正率α。即，高度Y处的校正率α(Y)能够由以下所示的式6表示。
校正率α(Y)＝1.0-(1.0-αmax)Y/H……式6
校正部30使用校正率α(Y)对拍摄部15d所拍摄的左侧图像的投影位置进行校正后的三维合成图像为图21。校正部30基于校正率α(Y)，获取与三维形状模型所规定的侧面Sps上的校正坐标(α(Y)X，Y，Z)对应的左侧图像的二维坐标(U，V)的图像。并且，投影于侧面Sps上的坐标(X，Y，Z)。其结果，如图21的区域J所示，对于侧面Sps，从底面Spg开始逐渐进行校正，能够生成底面Spg与侧面Sps平滑地连接、图像错位不醒目的三维合成图像。其结果，通过显示于显示装置8的三维合成图像，使驾驶员易于更加恰当地、没有别扭感地、了解掌握以本车的前方为中心的周围的情况。另外，关于拍摄部15c(前方拍摄部)所拍摄的前方图像也同样，通过使用校正率α(Y)，能够使底面Spg与侧面Sps的边界部分的图像错位不醒目，能够显示没有别扭感的三维合成图像。
实施方式4
实施方式3的情况下，通过使用校正率α(Y)，能够减轻底面Spg与侧面Sps的边界部分的图像错位，但在侧面Sps的上端部为最大校正率αmax，因此如图21所示，存在随着靠近侧面Sps的上部、显示的物体T的倾斜度增大的情况。图21的情况下，显示于本车(车辆形状模型M)的正面右侧的物体T(车辆)显示为向右倾斜。
因此，在实施方式4中，在使校正率α的值根据侧面Sps的高度Y而变化的情况下，如图22所示，在拍摄部15的高度CamH设为最大校正率αmax，在其以上直至侧面Sps的上端部，维持(固定)最大校正率αmax，以此来决定校正率α(Y)。这种情况下，也为了保证底面Spg与侧面Sps之间的连续性，而在连接部分(侧面Sps的高度＝0)的部分，使校正率α(Y)＝1.0。即，至拍摄部15的高度CamH为止的校正率α(Y)能够用如以下所示的式7来表示。
校正率α(Y)＝1.0-(1.0-αmax)Y/CamH……式7
这种情况下，在拍摄部15的高度CamH以上，维持最大校正率αmax，因此在侧面Sps的拍摄部15的高度CamH以上的部分，投影的物体T不会倾斜。其结果，在图21中整体向右方倾斜的物体T，如图23所示，从中途其倾斜得到抑制，作为物体T整体的倾斜变得不醒目，可进一步减轻显示的三维合成图像的别扭感。
另外，在上述的各实施方式中，示出了将由拍摄部15c拍摄到的前方图像作为主图像(中央显示图像)、并将由拍摄部15b或者拍摄部15d拍摄到的侧向图像拼接于其侧部来生成三维合成图像的示例。在其他的实施方式中，也可以将由拍摄部15b或者拍摄部15d拍摄到的侧向图像作为主图像(中央显示图像)，并将由拍摄部15c拍摄到的前方图像或由拍摄部15a拍摄到的后方图像拼接于其侧部来生成三维合成图像，能够得到同样的效果。
在上述的各实施方式中，说明了使每次点火开关打开时、校正部30都对各拍摄部15计算校正率、并存储于RAM14c等的示例，但各拍摄部15的位置在车辆的制造工厂或经销商等处被固定、在此之后除了拍摄部15的修理或交換等以外一般不会改变。因此，也可以在制造工厂或经销商等处预先对各拍摄部15计算校正率α，计算在校正图像的投影位置时使用的点S的三维坐标(αX，Y，Z)，并将对应的二维坐标(U，V)保存于ROM14b或SSD14f。这种情况下，可减轻ECU14的处理负担，使性能较低的ECU14也能够利用，具有扩展了选择ECU14时的选择范围、使低成本的ECU14的利用成为可能的优点。
以上对本发明的数个实施方式进行了说明，但这些实施方式仅是作为示例展示的，并不用于限定发明的范围。这些新的实施方式能够以其他各种方式来实施，在不脱离发明的要旨的范围内，可以进行各种省略、替换、以及变更。这些实施方式及其变形，均包含于发明的范围及要旨内，并且包含于权利要求书中记载的发明及其等同范围内。
符号说明
1…车辆、8…显示装置、14…ECU、14a…CPU、15，15a，15b，15c，15d…拍摄部、26…图像获取部、28…投影面获取部、30…校正部、32…图像合成部、34…三维处理部、36…周边图像生成部、100…显示控制系统。

Claims (9)

1.一种显示控制装置，其特征在于，包括：
图像获取部，其获取显示对象图像，该显示对象图像为从设置于车辆并对包含所述车辆的前方的区域进行拍摄的前方拍摄部得到的前方图像、以及从对包含所述车辆的后方的区域进行拍摄的后方拍摄部得到的后方图像中的至少一方；
投影面获取部，其获取三维的虚拟投影面，该三维的虚拟投影面能够投影所述显示对象图像，并且至少具有从所述车辆的接地面在高度方向上上升的侧面；
校正部，在所述图像获取部所获得的所述显示对象图像投影于所述虚拟投影面时，该校正部沿从第一坐标指向第二坐标的第二方向，对所述显示对象图像的投影位置进行校正，该第一坐标对应于第一虚拟直线与所述虚拟投影面相交的位置，该第一虚拟直线从拍摄了所述显示对象图像的所述前方拍摄部或者所述后方拍摄部起在第一方向上延伸，该第一方向为所述车辆的车长方向，该第二坐标对应于虚拟基准线与所述虚拟投影面相交的位置，该虚拟基准线在所述车辆的车宽方向上与所述第一虚拟直线隔开距离而在所述第一方向上延伸；以及
图像合成部，其将所述显示对象图像投影于校正后的所述投影位置，生成三维图像。
2.根据权利要求1所述的显示控制装置，其特征在于：
所述校正部基于第一距离与第二距离，获取沿所述第二方向对所述投影位置进行校正的校正率，该第一距离为第四坐标与所述第二坐标在所述第二方向上的距离，该第四坐标为第二虚拟直线与所述虚拟投影面相交的坐标，该第二虚拟直线将第三坐标与所述处理对象拍摄部连接，该第三坐标为虚拟参考面与所述虚拟基准线相交的坐标，该虚拟参考面设定于从拍摄了所述显示对象图像的处理对象拍摄部起在所述第一方向上隔开规定的距离处，该第二距离为所述第一虚拟直线与所述虚拟基准线在所述第二方向上的距离。
3.根据权利要求2所述的显示控制装置，其特征在于：
所述虚拟基准线以沿着所述车辆的车身的左侧面或者右侧面的方式，在所述第一方向上延伸。
4.根据权利要求2所述的显示控制装置，其特征在于：
所述图像获取部还获取侧向显示对象图像，该侧向显示对象图像为从对包含所述车辆的左侧的区域进行拍摄的左侧拍摄部得到的左侧图像以及从对包含所述车辆的右侧的区域进行拍摄的右侧拍摄部得到的右侧图像中的至少一方，
所述虚拟基准线从在所述车宽方向上与所述左侧拍摄部或者所述右侧拍摄部重合的位置起，在所述第一方向上延伸，
所述图像合成部对由所述校正部校正后的所述显示对象图像与所述侧向显示对象图像进行拼接，生成所述三维图像。
5.一种显示控制装置，其特征在于，包括：
图像获取部，其获取显示对象图像，该显示对象图像为从设置于车辆并对包含所述车辆的左侧的区域进行拍摄的左侧拍摄部得到的左侧图像、以及从对包含所述车辆的右侧的区域进行拍摄的右侧拍摄部得到的右侧图像中的至少一方；
投影面获取部，其获取三维的虚拟投影面，该三维的虚拟投影面能够投影所述显示对象图像，并且至少具有从所述车辆的接地面在高度方向上上升的侧面；
校正部，在所述图像获取部所获得的所述显示对象图像投影于所述虚拟投影面时，该校正部沿从第一坐标指向第二坐标的第二方向，对所述显示对象图像的投影位置进行校正，该第一坐标对应于第一虚拟直线与所述虚拟投影面相交的位置，该第一虚拟直线从拍摄了所述显示对象图像的所述左侧拍摄部或者所述右侧拍摄部起在第一方向上延伸，该第一方向为所述车辆的车宽方向，该第二坐标对应于虚拟基准线与所述虚拟投影面相交的位置，该虚拟基准线在所述车辆的车长方向上与所述第一虚拟直线隔开距离而在所述第一方向上延伸；以及
图像合成部，其将所述显示对象图像投影于校正后的所述投影位置，生成三维图像。
6.根据权利要求5所述的显示控制装置，其特征在于：
所述校正部基于第一距离与第二距离，获取沿所述第二方向对所述投影位置进行校正的校正率，该第一距离为第四坐标与所述第二坐标在所述第二方向上的距离，该第四坐标为第二虚拟直线与所述虚拟投影面相交的坐标，该第二虚拟直线将第三坐标与所述处理对象拍摄部连接，该第三坐标为虚拟参考面与所述虚拟基准线相交的坐标，该虚拟参考面设定于从拍摄了所述显示对象图像的处理对象拍摄部起在所述第一方向上隔开规定的距离处，该第二距离为所述第一虚拟直线与所述虚拟基准线在所述第二方向上的距离。
7.根据权利要求6所述的显示控制装置，其特征在于：
所述虚拟基准线以沿着所述车辆的车身的前面或者后面的方式，在所述第一方向上延伸。
8.根据权利要求6所述的显示控制装置，其特征在于：
所述图像获取部还获取前后方向显示对象图像，该前后方向显示对象图像为从对包含所述车辆的前方的区域进行拍摄的前方拍摄部得到的前方图像以及从对包含所述车辆的后方的区域进行拍摄的后方拍摄部得到的后方图像中的至少一方，
所述虚拟基准线从在所述车长方向上与所述前方拍摄部或者所述后方拍摄部重合的位置起，在所述第一方向上延伸，
所述图像合成部对由所述校正部校正后的所述显示对象图像与所述前后方向显示对象图像进行拼接，生成所述三维图像。
9.根据权利要求1～8中的任一项所述的显示控制装置，其特征在于：
所述校正部根据所述车辆相对所述接地面的高度，改变所述投影位置的校正。
CN201880059730.5A 2017-09-20 2018-02-27 显示控制装置 Active CN111095921B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-180532 2017-09-20
JP2017180532A JP6958163B2 (ja) 2017-09-20 2017-09-20 表示制御装置
PCT/JP2018/007263 WO2019058585A1 (ja) 2017-09-20 2018-02-27 表示制御装置

Publications (2)

Publication Number Publication Date
CN111095921A true CN111095921A (zh) 2020-05-01
CN111095921B CN111095921B (zh) 2021-06-08

Family

ID=65809622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880059730.5A Active CN111095921B (zh) 2017-09-20 2018-02-27 显示控制装置

Country Status (5)

Country Link
US (1) US10848724B2 (zh)
EP (1) EP3687165B1 (zh)
JP (1) JP6958163B2 (zh)
CN (1) CN111095921B (zh)
WO (1) WO2019058585A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019174436A1 (zh) * 2018-03-12 2019-09-19 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
US10380440B1 (en) 2018-10-23 2019-08-13 Capital One Services, Llc Method for determining correct scanning distance using augmented reality and machine learning models
DE102019206196A1 (de) * 2019-04-30 2020-11-05 Volkswagen Aktiengesellschaft Fahrzeug mit einer Benutzerschnittstelle
JP6692981B1 (ja) * 2019-09-13 2020-05-13 マレリ株式会社 表示装置及び表示方法
CN110991453B (zh) * 2019-12-23 2022-05-31 浙江凯拓机电有限公司 平面图像斜视梯形矫正方法及矫正系统
CN113119877A (zh) * 2021-04-16 2021-07-16 恒大恒驰新能源汽车研究院(上海)有限公司 车载屏幕控制系统及车载屏幕控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179099A1 (en) * 1998-11-25 2004-09-16 Donnelly Corporation, A Corporation Vision system for a vehicle
US20080136912A1 (en) * 2006-09-26 2008-06-12 Hirotaka Iwano Image generating apparatus and image generating method
CN103051867A (zh) * 2011-10-13 2013-04-17 爱信精机株式会社 图像生成器
CN103080976A (zh) * 2010-08-19 2013-05-01 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN103778649A (zh) * 2012-10-11 2014-05-07 通用汽车环球科技运作有限责任公司 用于相机建模和虚拟视图合成的成像表面建模
US20150334301A1 (en) * 2012-12-26 2015-11-19 Jia He System and method for generating a surround view
CN105556956A (zh) * 2013-09-19 2016-05-04 富士通天株式会社 图像生成装置、图像显示系统、图像生成方法以及图像显示方法
CN106994936A (zh) * 2016-01-22 2017-08-01 广州求远电子科技有限公司 一种3d全景泊车辅助系统
CN107133912A (zh) * 2017-04-01 2017-09-05 纵目科技（上海）股份有限公司 全景泊车图像畸变校正方法及装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2008102620A (ja) 2006-10-17 2008-05-01 Toyota Motor Corp 画像処理装置
JP2008271308A (ja) * 2007-04-23 2008-11-06 Sanyo Electric Co Ltd 画像処理装置及び方法並びに車両
JP5369465B2 (ja) * 2008-03-25 2013-12-18 富士通株式会社 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
WO2010119496A1 (ja) * 2009-04-13 2010-10-21 富士通株式会社 画像処理装置、画像処理プログラム、画像処理方法
KR100956858B1 (ko) * 2009-05-19 2010-05-11 주식회사 이미지넥스트 차량 주변 영상을 이용하는 차선 이탈 감지 방법 및 장치
US10178314B2 (en) * 2011-03-08 2019-01-08 Mitsubishi Electric Corporation Moving object periphery image correction apparatus
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
JP5938222B2 (ja) * 2012-02-07 2016-06-22 日立建機株式会社 運搬車両の周囲監視装置
US10089537B2 (en) * 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
JP5634643B2 (ja) 2012-05-22 2014-12-03 三菱電機株式会社 画像処理装置
JP6070262B2 (ja) * 2013-02-25 2017-02-01 スズキ株式会社 画像表示装置
US9509909B2 (en) * 2013-11-18 2016-11-29 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
US10449900B2 (en) * 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method
JP2016046747A (ja) * 2014-08-26 2016-04-04 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像表示システム
JP2016225865A (ja) 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP6897442B2 (ja) * 2017-09-12 2021-06-30 株式会社Ｊｖｃケンウッド 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179099A1 (en) * 1998-11-25 2004-09-16 Donnelly Corporation, A Corporation Vision system for a vehicle
US20080136912A1 (en) * 2006-09-26 2008-06-12 Hirotaka Iwano Image generating apparatus and image generating method
CN103080976A (zh) * 2010-08-19 2013-05-01 日产自动车株式会社 三维物体检测装置和三维物体检测方法
CN103051867A (zh) * 2011-10-13 2013-04-17 爱信精机株式会社 图像生成器
CN103778649A (zh) * 2012-10-11 2014-05-07 通用汽车环球科技运作有限责任公司 用于相机建模和虚拟视图合成的成像表面建模
US20150334301A1 (en) * 2012-12-26 2015-11-19 Jia He System and method for generating a surround view
CN105556956A (zh) * 2013-09-19 2016-05-04 富士通天株式会社 图像生成装置、图像显示系统、图像生成方法以及图像显示方法
CN106994936A (zh) * 2016-01-22 2017-08-01 广州求远电子科技有限公司 一种3d全景泊车辅助系统
CN107133912A (zh) * 2017-04-01 2017-09-05 纵目科技（上海）股份有限公司 全景泊车图像畸变校正方法及装置

Also Published As

Publication number Publication date
EP3687165A4 (en) 2020-07-29
US10848724B2 (en) 2020-11-24
JP2019057800A (ja) 2019-04-11
CN111095921B (zh) 2021-06-08
JP6958163B2 (ja) 2021-11-02
EP3687165B1 (en) 2022-05-25
EP3687165A1 (en) 2020-07-29
WO2019058585A1 (ja) 2019-03-28
US20200186767A1 (en) 2020-06-11

Similar Documents

Publication Publication Date Title
CN111095921B (zh) 显示控制装置
US11440475B2 (en) Periphery display control device
CN110945558B (zh) 显示控制装置
CN111066319B (zh) 图像处理装置
US9994157B2 (en) Periphery monitoring apparatus and periphery monitoring system
CN110997409B (zh) 周边监控装置
JP6876236B2 (ja) 表示制御装置
US10540807B2 (en) Image processing device
JP7000383B2 (ja) 画像処理装置および画像処理方法
JP2012138876A (ja) 画像生成装置、画像表示システム及び画像表示方法
US20200193183A1 (en) Periphery monitoring device
JP7314518B2 (ja) 周辺監視装置
CN110087022B (zh) 图像处理装置
CN111034188B (zh) 周边监控装置
JP2012065228A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP6816436B2 (ja) 周辺監視装置
JP6930202B2 (ja) 表示制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant