CN105556956B - 图像生成装置、图像显示系统、图像生成方法以及图像显示方法 - Google Patents

图像生成装置、图像显示系统、图像生成方法以及图像显示方法 Download PDF

Info

Publication number
CN105556956B
CN105556956B CN201480051322.7A CN201480051322A CN105556956B CN 105556956 B CN105556956 B CN 105556956B CN 201480051322 A CN201480051322 A CN 201480051322A CN 105556956 B CN105556956 B CN 105556956B
Authority
CN
China
Prior art keywords
vehicle
image
virtual view
sight
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480051322.7A
Other languages
English (en)
Other versions
CN105556956A (zh
Inventor
村角美纪
森山亲
森山亲一
山田正博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2013193909A external-priority patent/JP6257978B2/ja
Priority claimed from JP2013226161A external-priority patent/JP6258000B2/ja
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN105556956A publication Critical patent/CN105556956A/zh
Application granted granted Critical
Publication of CN105556956B publication Critical patent/CN105556956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

图像生成部使用多个拍摄图像数据和车辆(9)的车身数据,连续地生成表示从位于车辆(9)的车室内的虚拟视点(VP)观察到的车辆(9)的周边和车辆(9)的车身的虚拟视点图像。图像控制部以使虚拟视点(VP)的视线环绕车辆(9)的周围的方式改变该视线的俯视下的角度,并且沿车辆(9)的前后方向移动虚拟视点的位置。

Description

图像生成装置、图像显示系统、图像生成方法以及图像显示 方法
技术领域
本发明涉及用于生成表示车辆的周边的图像的技术。
背景技术
公知有生成表示机动车等车辆的周边的图像、并将该图像显示于车辆内的显示装置的图像显示系统。通过利用这样的图像显示系统,使用者(代表性地为驾驶员)能够几乎实时地确认车辆的周边的情况。
另外,还公知有使用由多个相机获得的多个拍摄图像来生成表示从虚拟视点观察到的车辆的周边的虚拟视点图像、并显示该虚拟视点图像的图像显示系统。作为这样的虚拟视点图像,例如提出有表示从车辆的驾驶员的视点观察到的车辆的周边的车内视点图像。
在生成车内视点图像的情况下,虚拟视点的位置固定为相当于驾驶员的视点的位置。使用者通过确认这样的车内视点图像,能够从与自己同样的视点确认车辆的周围情况,能够直观地把握车辆的周边情况。
另外,还提出有一边改变虚拟视点的视线的朝向一边连续地生成车内视点图像、以环绕车辆的周围的方式表示从驾驶员的视点观察到的车辆的周边情况的图像显示系统(例如,参照专利文献1)。
在先技术文献
专利文献
专利文献1:日本特许出愿公开2011-66763号公报
发明内容
发明要解决的技术问题
在上述那样的车内视点图像中,对车辆的周边的被摄体的像重叠表示车辆的车身的车辆像,以使得使用者能够直观地把握该车内视点图像表示车辆的周围的哪个方向。
如上所述,车内视点图像的虚拟视点的位置固定为相当于驾驶员的视点的位置。因此,根据虚拟视点的视线朝向的方向的不同,存在车内视点图像所包含的车辆像示出过多的车身部分的情况。一般而言,车辆在前后方向上较长,因此,在虚拟视点的视线朝向车辆的后方的情况下,车辆像表示车身的从前座的位置到后端的部分。这样,当车内视点图像包含较多的车身部分时,反而有可能妨碍车辆的周边的被摄体的像的视认性。
因此,本发明的第一目的在于提高虚拟视点图像所包含的车辆的周边的被摄体的像的视认性。
另外,为了以环绕车辆的周围的方式表示车辆的周边情况,需要一边逐渐改变虚拟视点的视线的方向一边朝向车辆的周边的对象范围的整体。因此,使用者为了确认车辆的周边的较宽的范围,需要比较长的时间(改变虚拟视点的视线方向的时间)。其结果是,根据使用者的不同,存在感到车辆的周边的确认很麻烦的情况。
因此,本发明的第二目的在于使用者能够在较短的时间内确认车辆的周边情况。
用于解决技术问题的手段
为了实现上述第一目的,本发明可采用的第一方案是搭载于车辆的图像生成装置,其具备:获取部,其从多个相机获取多个拍摄图像数据;生成部,其使用所述多个拍摄图像数据的至少一个和所述车辆的车身数据,连续地生成表示从位于所述车辆的车室内的虚拟视点观察到的所述车辆的周边与所述车辆的车身的虚拟视点图像;以及控制部,其以使所述虚拟视点的视线环绕所述车辆的周围的方式改变该视线的俯视下的角度,并且沿所述车辆的前后方向移动所述虚拟视点的位置。
根据这样的结构,由于虚拟视点的位置沿车辆的前后方向移动,因此,能够减少虚拟视点图像所示的车身的部分,能够提高车内视点图像所包含的车辆的周边的被摄体的像的视认性。
在第一方案涉及的图像生成装置中,所述控制部构成为,根据所述视线的方向来移动所述虚拟视点的位置。
根据这样的结构,由于虚拟视点的位置根据虚拟视点的视线朝向的方向来移动,因此,能够减少虚拟视点图像所示的车身的部分。
在第一方案涉及的图像生成装置中,所述控制部构成为,沿着所述车辆的车室的周缘在所述车辆的前后方向以及左右方向上移动所述虚拟视点的位置。
根据这样的结构,由于虚拟视点的位置沿着车辆的车室的周缘移动,因此,能够减少虚拟视点图像所示的车身的部分。
在第一方案涉及的图像生成装置中,所述控制部构成为,在所述视线的所述俯视下的角度的变更中维持所述虚拟视点的位置,在所述虚拟视点的位置的移动中维持所述视线的所述俯视下的角度。
根据这样的结构,能够使虚拟视点的视线的移动简单,虚拟视点图像能够容易清楚地示出车辆的周边。
在第一方案涉及的图像生成装置中,所述控制部构成为,同时改变所述视线的所述俯视下的角度和所述虚拟视点的位置。
根据这样的结构,由于虚拟视点的视线的俯视下的角度与虚拟视点的位置被同时改变,因此,能够缩短虚拟视点的视线环绕车辆的周围的时间。
在第一方案涉及的图像生成装置中,所述控制部构成为,使所述虚拟视点的位置以长轴沿着所述车辆的前后方向的椭圆状移动。
根据这样的结构,通过虚拟视点的位置以长轴沿着车辆的前后方向的椭圆状移动,从而能够减少虚拟视点图像所示的车身的部分,并且能够缩短虚拟视点的移动距离。
在第一方案涉及的图像生成装置中,在所述多个相机的至少一个的光轴的俯角与其他的相机不同的情况下,所述生成部构成为,将所述多个拍摄图像数据投影到虚拟的投影面,使用所述投影面的一部分区域来生成所述虚拟视点图像。另外,所述控制部构成为,调整所述视线的俯角,以使得所述虚拟视点图像不包含所述投影面中的位于被投影所述数据的投影区域的外侧的非投影区域。
根据这样的结构,由于虚拟视点图像不包含投影面中的非投影区域,因此,能够防止视认到虚拟视点图像的使用者感到不协调。
在第一方案涉及的图像生成装置中,所述控制部构成为,在所述视线朝向所述投影面中的所述投影区域最小的方向的情况下,将所述视线的俯角维持在所述虚拟视点图像不包含所述非投影区域的特定角度。
根据这样的结构,由于维持虚拟视点的视线的俯角,因此,能够使虚拟视点的视线的移动简单,虚拟视点图像能够容易清楚地示出车辆的周边。
在第一方案涉及的图像生成装置中,所述控制部构成为,根据所述投影面中的所述视线朝向的方向的所述投影区域的尺寸来改变所述视线的俯角。
根据这样的结构,由于根据投影区域的尺寸来改变虚拟视点的视线的俯角,因此,虚拟视点图像能够示出距离车辆比较远的被摄体。
在第一方案涉及的图像生成装置中,所述控制部构成为,在所述虚拟视点的位置为特定位置以外的情况下,将所述虚拟视点的视线的俯角维持在特定角度,该特定角度是在所述视线朝向所述投影面中的所述投影区域最小的方向的情况下、所述虚拟视点图像不包含所述非投影区域的特定角度,在所述虚拟视点的位置为所述特定位置的情况下,使所述虚拟视点的视线的俯角比所述特定角度小。
根据这样的结构,能够使虚拟视点的视线的移动简单,且虚拟视点图像能够关于车辆的特定方向而示出距离车辆比较远的被摄体。
为了达到上述第一目的,本发明可采用的第二方案是搭载于车辆的图像生成装置,其具备:获取部,其从多个相机获取多个拍摄图像数据;生成部,其将所述多个拍摄图像数据投影到虚拟的投影面上,使用所述投影面的一部分区域,连续地生成表示从位于所述车辆的车室内的虚拟视点观察到的所述车辆的周边的虚拟视点图像;控制部,其以使所述虚拟视点的视线环绕所述车辆的周围的方式改变该视线的俯视下的角度,所述多个相机的至少一个的光轴的俯角与其他相机不同,所述控制部调整所述视线的俯角,以使得所述虚拟视点图像不包含所述投影面中的成为被投影所述数据的投影区域的外侧的非投影区域。
根据这样的结构,由于虚拟视点图像不包含投影面中的非投影区域,因此,能够防止视认到虚拟视点图像的使用者感到不协调。
为了实现上述第一目的,本发明可采用的第三方案是搭载于车辆的图像显示系统,其具备:第一方案或第二方案涉及的图像生成装置;以及显示在所述图像生成装置中生成的虚拟视点图像的显示装置。
根据这样的结构,由于虚拟视点的位置沿车辆的前后方向移动,因此,能够减少虚拟视点图像所示的车身的部分,能够提高车内视点图像所包含的车辆的周边的被摄体的像的视认性。
为了实现上述第一目的,本发明可采用的第四方案是在车辆中执行的图像生成方法,其具备下述步骤:(a)从多个相机获取多个拍摄图像数据;(b)使用所述多个拍摄图像数据的至少一个和所述车辆的车身数据,连续地生成表示从位于所述车辆的车室内的虚拟视点观察到的所述车辆的周边与所述车辆的车身的虚拟视点图像;(c)以使所述虚拟视点的视线环绕所述车辆的周围的方式改变该视线的俯视下的角度,并且沿所述车辆的前后方向移动所述虚拟视点的位置。
根据这样的结构,由于虚拟视点的位置沿车辆的前后方向移动,因此,能够减少虚拟视点图像所示的车身的部分,能够提高车内视点图像所包含的车辆的周边的被摄体的像的视认性。
为了实现上述第一目的,本发明可采用的第五方案是在车辆中执行的图像生成方法,其具备下述步骤:(a)从多个相机获取多个拍摄图像数据;(b)将所述多个拍摄图像数据投影到虚拟的投影面上,使用所述投影面的一部分区域,连续地生成表示从位于所述车辆的车室内的虚拟视点观察到的所述车辆的周边的虚拟视点图像;(c)以使所述虚拟视点的视线环绕所述车辆的周围的方式改变该视线的俯视下的角度,所述多个相机的至少一个的光轴的俯角与其他相机不同,在所述步骤(c)中,调整所述视线的俯角,以使得所述虚拟视点图像不包含所述投影面中的位于被投影所述数据的投影区域的外侧的非投影区域。
根据这样的结构,由于虚拟视点图像不包含投影面中的非投影区域,因此,能够防止视认到虚拟视点图像的使用者感到不协调。
为了达到上述第二目的,本发明可采用的第六方案是在车辆中使用的图像显示系统,其具备:获取部,其从多个相机获取多个拍摄图像数据;第一生成部,其使用所述多个拍摄图像数据的至少一个,生成表示从位于所述车辆的车室内的第一虚拟视点观察到的所述车辆的周边的第一图像;第二生成部,其使用所述多个拍摄图像数据的至少一个,生成表示从位于所述车辆的车室内的第二虚拟视点观察到的所述车辆的周边的第二图像;显示部,其同时显示所述第一图像和所述第二图像;以及变更控制部,其使所述第一虚拟视点的视线的方向与所述第二虚拟视点的视线的方向分别彼此反转地改变。
根据这样的结构,同时显示第一图像和第二图像,并且使第一虚拟视点的视线的方向和第二虚拟视点的视线的方向分别彼此反转地改变。因此,使用者通过确认第一图像以及第二图像,能够在比较短的时间内确认车辆的周边情况。
在第六方案涉及的图像显示系统中,所述变更控制部构成为,使所述第一虚拟视点的视线的方向和所述第二虚拟视点的视线的方向分别从所述车辆的第一方向改变至与该第一方向相反的第二方向。
根据这样的结构,使用者能够在比较短的时间内确认车辆的周围的整体情况。
在第六方案涉及的图像显示系统中,所述变更控制部构成为,使所述第一虚拟视点的视线的方向经由所述车辆的左方而改变,并且使所述第二虚拟视点的视线的方向经由所述车辆的右方而改变。在该情况下,所述显示部构成为,在相对而言位于左侧的第一区域显示所述第一图像,并且在相对而言位于右侧的第二区域显示所述第二图像。
根据这样的结构,在相对而言位于左侧的第一区域显示主要表示车辆的左方的第一图像,在相对而言位于右侧的第二区域显示主要表示车辆的右方的第二图像。因此,使用者能够直观地把握第一图像以及第二图像分别表示的被摄体存在于车辆的左方与右方中的哪一方。
在第六方案涉及的图像显示系统中,所述变更控制部构成为,使所述第一虚拟视点的视线的方向经由所述车辆的前方而改变,并且使所述第二虚拟视点的视线的方向经由所述车辆的后方而改变。在该情况下,所述显示部构成为,在相对而言位于上侧的第一区域显示所述第一图像,在相对而言位于下侧的第二区域显示所述第二图像。
根据这样的结构,在相对而言位于上侧的第一区域显示主要表示车辆的前方的第一图像,在相对而言位于下侧的第二区域显示主要表示车辆的后方的第二图像。因此,使用者能够直观地把握第一图像以及第二图像表示的被摄体存在于车辆的前方与后方中的哪一方。
在第六方案涉及的图像显示系统中,所述第一虚拟视点的视线的方向与所述第二虚拟视点的视线的方向关于所述车辆的中心线对称。
根据这样的结构,第一虚拟视点的视线的方向与第二虚拟视点的视线的方向关于车辆的中心线对称。因此,使用者能够容易地把握第一图像以及第二图像各自所表示的被摄体的位置。
第六方案涉及的图像显示系统构成为还具备移动控制部,该移动控制部根据所述第一虚拟视点的视线的方向来移动所述第一虚拟视点的位置,并且根据所述第二虚拟视点的视线的方向来移动所述第二虚拟视点的位置。
根据这样的结构,第一虚拟视点的位置根据第一虚拟视点的视线的方向而移动,并且第二虚拟视点的位置根据第二虚拟视点的视线的方向而移动。因此,能够提高第一图像以及第二图像所包含的被摄体的像的视认性。
第六方案涉及的图像显示系统构成为还具备接收机构,该接收机构接收在所述车辆的周边存在的物体的检测结果。在该情况下,所述变更控制部构成为,在所述第一虚拟视点以及所述第二虚拟视点中的一方的虚拟视点的视线的方向朝向所述物体的情况下,与所述一方的虚拟视点的视线的方向未朝向所述物体的情况相比,使改变所述一方的虚拟视点的速度变慢。
根据这样的结构,在虚拟视点的视线的方向朝向物体的情况下,使改变该虚拟视点的速度变慢。因此,使用者能够详细地确认第一图像或第二图像表示的物体。
第六方案涉及的图像显示系统构成为还具备:接收部,其接收在所述车辆的周边存在的物体的检测结果;以及控制部,其在所述检测结果表示存在所述物体的情况下,使由所述显示部显示所述第一图像以及所述第二图像的显示功能有效化,在所述检测结果表示不存在所述物体的情况下,使所述显示功能无效化。
根据这样的结构,仅在检测到存在于车辆的周边的物体的情况下,使由显示部显示第一图像以及第二图像的显示功能有效化。因此,使用者能够意识到在车辆的周边存在有物体并确认车辆的周边情况。
为了达到上述第二目的,本发明可采用的第七方案是在车辆中执行的图像显示方法,具备下述步骤:(a)从多个相机获取多个拍摄图像数据;(b)使用所述多个拍摄图像数据的至少一个,生成表示从位于所述车辆的车室内的第一虚拟视点观察到的所述车辆的周边的第一图像;(c)使用所述多个拍摄图像数据的至少一个,生成表示从位于所述车辆的车室内的第二虚拟视点观察到的所述车辆的周边的第二图像;(d)同时显示所述第一图像以及所述第二图像;(e)使所述第一虚拟视点的视线的方向与所述第二虚拟视点的视线的方向分别彼此反转地改变。
根据这样的结构,同时显示第一图像和第二图像,使第一虚拟视点的视线的方向和第二虚拟视点的视线的方向分别彼此反转地改变。因此,使用者通过确认第一图像以及第二图像,能够在比较短的时间内确认车辆的周边情况。
附图说明
图1是表示第一实施方式涉及的图像显示系统的结构的图。
图2是表示图1的图像显示系统所具备的四个相机分别拍摄的方向的图。
图3是表示上述四个相机各自的光轴的俯角的图。
图4是说明图1的图像显示系统生成虚拟视点图像的手法的图。
图5是表示图1的图像显示系统的动作模式的转变的图。
图6是表示图1的图像显示系统中的包含俯瞰图像的显示图像的例子的图。
图7是表示图1的图像显示系统中的包含车内视点图像的显示图像的例子的图。
图8是表示图1的图像显示系统中的、虚拟视点的移动路径的图。
图9是表示图1的图像显示系统中的车内视点图像的一例的图。
图10是表示上述车内视点图像的另一例的图。
图11是表示上述车内视点图像的另一例的图。
图12是表示上述车内视点图像的另一例的图。
图13是表示比较例涉及的虚拟视点的移动路径的图。
图14是表示比较例涉及的由虚拟视点生成的车内视点图像的一例的图。
图15是表示比较例涉及的由虚拟视点生成的车内视点图像的另一例的图。
图16是表示图1的图像显示系统中的、虚拟视点图像的生成所使用的投影面的图。
图17是表示图1的图像显示系统中的虚拟视点的视线的俯角的图。
图18是表示图1的图像显示系统中的、车内视点图像的生成所使用的使用区域的图。
图19是表示图1的图像显示系统中的动作的流程的图。
图20是表示第二实施方式涉及的图像显示系统中的虚拟视点的移动路径的图。
图21是表示第三实施方式涉及的图像显示系统中的虚拟视点的移动路径的图。
图22是表示第四实施方式涉及的图像显示系统中的虚拟视点的移动路径的图。
图23是表示第五实施方式涉及的图像显示系统中的虚拟视点的视线的俯角的图。
图24是表示图23的图像显示系统中的车内视点图像的一例的图。
图25是表示图23的图像显示系统中的车内视点图像的另一例的图。
图26是表示图23的图像显示系统中的、车内视点图像的生成所使用的使用区域的图。
图27是表示第六实施方式涉及的图像显示系统中的虚拟视点的视线的俯角的图。
图28是表示第七实施方式涉及的图像显示系统的结构的图。
图29是表示图28的图像显示系统所具备的四个相机分别拍摄的方向的图。
图30是说明图28的图像显示系统生成虚拟视点图像的手法的图。
图31是表示图28的图像显示系统中的、示出从车室内观察到的车辆的周边的虚拟视点图像的图。
图32是表示图28的图像显示系统的动作模式的转变的图。
图33是说明图28的图像显示系统生成显示图像的手法的图。
图34是表示图28的图像显示系统中的两个虚拟视点的移动路径的图。
图35是表示图28的图像显示系统中的第一图像及第二图像的一例的图。
图36是表示图28的图像显示系统中的第一图像及第二图像的另一例的图。
图37是表示图28的图像显示系统中的第一图像及第二图像的另一例的图。
图38是表示比较例涉及的虚拟视点的移动路径的图。
图39是表示比较例涉及的由虚拟视点生成的虚拟视点图像的例子的图。
图40是表示图28的图像显示系统的动作的流程的图。
图41是表示第八实施方式涉及的图像显示系统中的两个虚拟视点的移动路径的图。
图42是表示图41的图像显示系统中的第一图像及第二图像的一例的图。
图43是表示图41的图像显示系统中的第一图像及第二图像的另一例的图。
图44是表示第九实施方式涉及的图像显示系统中的两个虚拟视点的移动路径的图。
图45是表示图44的图像显示系统中的第一图像及第二图像的例子的图。
图46是表示第十实施方式涉及的图像显示系统中的两个虚拟视点的移动路径的图。
图47是说明第十一实施方式涉及的图像显示系统生成显示图像的手法的图。
图48是表示图47的图像显示系统中的两个虚拟视点的移动路径的图。
图49是表示图47的图像显示系统中的第一图像及第二图像的一例的图。
图50是表示图47的图像显示系统中的第一图像及第二图像的另一例的图。
图51是表示图47的图像显示系统中的第一图像及第二图像的另一例的图。
图52是表示第十二实施方式涉及的图像显示系统中的两个虚拟视点的移动路径的图。
图53是表示第十三实施方式涉及的图像显示系统中的两个虚拟视点的移动路径的图。
图54是表示第十四实施方式涉及的图像显示系统中的两个虚拟视点的移动路径的图。
图55是表示第十五实施方式涉及的图像显示系统的结构的图。
图56是主要表示图55的图像显示系统中的物体检测装置的结构的图。
图57是表示图55的图像显示系统中的多个间隙声纳的配置的图。
图58是表示图55的图像显示系统中的两个虚拟视点的移动路径的一例的图。
图59是表示第十六实施方式涉及的图像显示系统的动作的流程的图。
图60是表示能够在各实施方式涉及的图像显示系统中应用的设定画面的一例的图。
具体实施方式
以下,参照附图详细地说明本发明涉及的实施方式的例子。
<1.第一实施方式>
<1-1.结构>
图1是表示第一实施方式涉及的图像显示系统10的结构的图。该图像显示系统10是在车辆(在本实施方式中为机动车)中使用的系统,具有生成表示车辆的周边区域的图像并在车室内显示的功能。图像显示系统10的使用者(代表性地为驾驶员)通过利用该图像显示系统10,能够几乎实时地把握该车辆的周边情况。
如图1所示,图像显示系统10具备多个相机5、图像生成装置2、显示装置3以及操作按钮4。多个相机5分别拍摄车辆的周边来获取拍摄图像,并将获取到的拍摄图像输入到图像生成装置2。图像生成装置2使用表示车辆的周边的拍摄图像来生成用于在显示装置3显示的显示图像。显示装置3显示由图像生成装置2生成的显示图像。另外,操作按钮4接受使用者的操作。
多个相机5分别具备透镜和拍摄元件,电子性地获取表示车辆的周边的拍摄图像。多个相机5包含前方相机5F、后方相机5B、左侧方相机5L以及右侧方相机5R。这四个相机5配置于车辆9上的彼此不同的位置,用于拍摄车辆9的周边的不同方向。
图2是表示四个相机5分别拍摄的方向的图。前方相机5F设于车辆9的前端,其光轴5Fa沿着车辆9的前后方向且朝向前方。后方相机5B设于车辆9的后端,其光轴5Ba沿着车辆9的前后方向且朝向后方。左侧方相机5L设于左侧的左侧后视镜93L,其光轴5La沿着车辆9的左右方向且朝向左方。另外,右侧方相机5R设于右侧的右侧后视镜93R,其光轴5Ra沿着车辆9的左右方向且朝向右方。
作为这些相机5的透镜,采用鱼眼透镜等广角透镜。各相机5具有180度以上的视场角θ。因此,通过利用四个相机5,能够拍摄车辆9的整个周围。
另外,前方相机5F、后方相机5B、侧方相机5L、5R的光轴的俯角(以水平方向为基准的向下的角度)彼此不同。图3是表示四个相机5各自的光轴的俯角的图。图3中所示的单点划线沿着水平方向。
如图3所示,关于左右的侧方相机5L、5R,光轴5La、5Ra的俯角αL、αR大致相同,为例如80°。与此相对,前方相机5F以及后方相机5B的光轴的俯角与侧方相机5L、5R不同。前方相机5F的光轴5Fa的俯角αF为例如20°,后方相机5B的光轴5Ba的俯角αB为例如50°。
因此,前方相机5F、后方相机5B和侧方相机5L、5R的能够在离开车辆9的方向上拍摄的距离彼此不同。四个相机5的光轴中的、前方相机5F的光轴5Fa最朝向上侧,因此,前方相机5F能够拍摄距离车辆9较远的区域。另一方面,左右的侧方相机5L、5R的光轴5La、5Ra最朝向下侧,因此,侧方相机5L、5R仅能够拍摄距离车辆9较近的区域。
如图1所示,显示装置3具备例如液晶等薄型显示面板,用于显示各种信息、图像。显示装置3配置于车辆9的仪表板等,以使得使用者能够视认显示面板的画面。显示装置3可以与图像生成装置2配置在同一壳体内并与图像生成装置2一体化,也可以为与图像生成装置2分体的装置。另外,显示装置3具备以与显示面板重叠的方式配置的触摸面板31,能够接受使用者的操作。显示装置3除了显示的功能以外,也可以具有进行到达目的地的路线引导的导航功能等其他的功能。
操作按钮4是接受使用者的操作的操作构件。操作按钮4例如设于车辆9的方向盘,主要接受来自驾驶员的操作。使用者能够通过该操作按钮4以及显示装置3的触摸面板31进行对图像显示系统10的各种操作。在使用者对操作按钮4与触摸面板31中的任一方进行了操作的情况下,向图像生成装置2输入表示其操作内容的操作信号。
图像生成装置2是能进行各种图像处理的电子装置。图像生成装置2具备图像获取部21、图像生成部22、图像调整部23和图像输出部24。
图像获取部21(获取部的一例)从四个相机5获取四个拍摄图像数据。图像获取部21具有将模拟拍摄图像转换成数字拍摄图像的功能等图像处理功能。图像获取部21对获取到的拍摄图像数据进行规定的图像处理,并将处理后的拍摄图像数据输入到图像生成部22。
图像生成部22(生成部的一例)是进行用于生成虚拟视点图像的图像处理的硬件电路。图像生成部22使用由四个相机5获取到的四个拍摄图像数据来生成表示从虚拟视点观察到的车辆9的周边的虚拟视点图像。图像生成部22使用在各相机5刚刚得到的拍摄图像连续地(在时间上连续)生成虚拟视点图像。由此,图像生成部22生成几乎实时地表示车辆的周边的虚拟视点图像。关于生成该虚拟视点图像的手法详见后述。
图像调整部23生成用于在显示装置3显示的显示图像。图像调整部23生成包含由图像生成部22生成的虚拟视点图像等的显示图像。
图像输出部24使由图像调整部23生成的显示图像显示于显示装置3。由此,在显示装置3显示几乎实时地表示从虚拟视点观察到的车辆9的周边的虚拟视点图像。
另外,图像生成装置2还具备控制部20、操作接受部25、信号接收部26和存储部27。控制部20例如是具备CPU、RAM以及ROM等的微型计算机,用于统一控制图像生成装置2的整体。
操作接受部25在使用者进行了操作的情况下接收从操作按钮4以及触摸面板31送出的操作信号。由此,操作接受部25接受使用者的操作。操作接受部25将接收到的操作信号输入到控制部20。
信号接收部26接收从与图像生成装置2独立地设于车辆9的其它装置送出的信号并输入到控制部20。信号接收部26能够接收从车辆9的换档传感器95送出的信号。换档传感器95检测车辆9的变速装置的变速杆的位置即档位,并将表示该档位的信号送出到图像生成装置2。基于该信号,控制部20能够判定车辆9的行进方向是前方和后方中的哪一方。
存储部27例如是闪存等非易失性存储器,用于存储各种信息。存储部27存储作为固件的程序27a以及供图像生成部22生成虚拟视点图像所使用的各种数据。这样的生成虚拟视点图像所使用的数据包含表示车辆9的车身的形状、尺寸的车身数据27b。
控制部20的各种功能通过执行存储于存储部27的程序27a(CPU按照程序27a进行的运算处理)来实现。图中所示的图像控制部20a是通过执行程序27a实现的功能部的一部分。
图像控制部20a(控制部的一例)对生成虚拟视点图像的图像生成部22以及生成显示图像的图像调整部23进行控制。例如,图像控制部20a改变图像生成部22生成的虚拟视点图像所涉及的虚拟视点的位置以及虚拟视点的视线的朝向。
<1-2.虚拟视点图像的生成>
接着,说明图像生成部22生成表示从虚拟视点观察到的车辆9的周边情况的虚拟视点图像的手法。图4是说明图像生成部22生成虚拟视点图像的手法的图。图像生成部22通过在虚拟视点图像的生成中使用虚拟的立体投影面TS,来生成接近真实的具有临场感的虚拟视点图像。
前方相机5F、后方相机5B、左侧方相机5L以及右侧方相机5R获取分别表示车辆9的前方、后方、左方以及右方的四个拍摄图像SF、SB、SL、SR。这四个拍摄图像SF、SB、SL、SR包含车辆9的整个周围的数据。
图像生成部22将这四个拍摄图像SF、SB、SL、SR所包含的数据(像素的值)投影到虚拟的三维空间中的立体曲面即投影面TS上。投影面TS例如呈大致半球状(碗形状),其中心区域(碗的底部分)确定为车辆9的位置。另外,投影面TS中的车辆9的位置的外侧相当于车辆9的周边的区域。
拍摄图像SF、SB、SL、SR所包含的数据的位置和投影面TS的位置预先被确定对应关系。表示这样的对应关系的表数据存储于存储部27。图像生成部22使用该表数据,将四个拍摄图像SF、SB、SL、SR所包含的数据投影到投影面TS的对应的位置。
图像生成部22将前方相机5F的拍摄图像SF的数据投影到投影面TS中的相当于车辆9的前方的部分。另外,图像生成部22将后方相机5B的拍摄图像SB的数据投影到投影面TS中的相当于车辆9的后方的部分。而且,图像生成部22将左侧方相机5L的拍摄图像SL的数据投影到投影面TS中的相当于车辆9的左方的部分,将右侧方相机5R的方向图像SR的数据投影到投影面TS中的相当于车辆9的右方的部分。
当这样地将拍摄图像的数据投影到投影面TS上时,图像生成部22使用存储于存储部27的车身数据27b,来虚拟地构成表示车辆9的三维形状的多边形模型。该车辆9的模型配置于虚拟的三维空间中的车辆9的位置即投影面TS的中心区域。
接着,图像生成部22通过图像控制部20a的控制而对三维空间设定虚拟视点VP。该虚拟视点VP由位置和视线朝向来规定。图像生成部22能够在三维空间内设定任意的位置且任意的视线朝向的虚拟视点VP。
接着,图像生成部22使用与设定好的虚拟视点VP相应的投影面TS的一部分区域来生成虚拟视点图像CP。即,图像生成部22将投影面TS中的从虚拟视点VP观察包含在规定的视场角中的区域的数据作为图像切出。被切出的图像包含车辆9的周边的被摄体的像。图像生成部22根据设定好的虚拟视点VP对车辆9的模型进行绘制,获取二维的车辆像90。图像生成部22将车辆像90与切出的图像重叠。由此,车辆像90表示从虚拟视点VP观察到的车辆9的车身的形状。图像生成部22生成表示从虚拟视点VP观察到的车辆9的周边和车辆9的车身的虚拟视点图像CP。
例如,如图4所示,在设定了位置为车辆9的正上方且视线朝向下方的虚拟视点VPa的情况下,能够生成俯瞰车辆9的周边和车辆9的车身的虚拟视点图像(俯瞰图像)CPa。另外,在设定了位置为车辆9的左后方且视线朝向车辆9的前方的虚拟视点VPb的情况下,能够生成表示从车辆9的左后方观察到的车辆9的周边和车辆9的车身的虚拟视点图像CPb。
本实施方式的图像生成部22不仅能在车辆9的外部设定这样的虚拟视点VP的位置,而且也能在车辆9的车室内设定这样的虚拟视点VP的位置。在将虚拟视点VP的位置设定于车辆9的车室内的情况下,能够生成表示从车辆9的车室内观察到的车辆9的周边和车辆9的车身(内部装饰)的具有临场感的虚拟视点图像。
<1-3.动作模式>
接着,说明图像显示系统10的动作模式。图5是表示图像显示系统10的动作模式的转变的图。图像显示系统10具有通常模式M0、俯瞰模式M1以及环绕模式M2这三个动作模式。这些动作模式根据车辆9的状态、使用者的操作而由控制部20的控制来切换。
通常模式M0是图像生成装置2的功能未被利用的动作模式。在显示装置3具有导航功能的情况下,在通常模式M0中,在显示装置3显示基于导航功能的地图图像等。
俯瞰模式M1以及环绕模式M2是利用图像生成装置2的功能、将包含由图像生成装置2生成的虚拟视点图像的显示图像显示在显示装置3的动作模式。因此,在这些动作模式中,使用者通过确认在显示装置3显示的显示图像,能够几乎实时地把握车辆9的周边情况。
俯瞰模式M1是显示从车辆9的正上方的视点俯瞰车辆9的周边的虚拟视点图像即俯瞰图像的动作模式。图6是表示在俯瞰模式M1中显示的、包含俯瞰图像CP1的显示图像DP的一例的图。该显示图像DP包含俯瞰图像CP1以及表示从相机5的位置观察到的车辆9的周边的虚拟视点图像即相机视点图像CP2。
相机视点图像CP2的虚拟视点VP基于车辆9的行进方向选择。在车辆9的行进方向为前方的情况下,设定与前方相机5F的光轴5Fa同样的虚拟视点VP。在车辆9的行进方向为后方的情况下,设定与后方相机5B的光轴5Ba同样的虚拟视点VP。车辆9的行进方向由图像控制部20a基于从换档传感器95送出的信号来判定。使用者通过确认这样的俯瞰图像CP1和相机视点图像CP2,能够把握车辆9的周围整体的情况和车辆9的行进方向的情况。
环绕模式M2是显示表示从车辆9的车室内的视点观察到的车辆9的周边的虚拟视点图像即车内视点图像的动作模式。图7是表示包含车内视点图像CP3的显示图像DP的一例的图。该车内视点图像CP3是表示从车室内的视点观察到的车辆9的车身(内部装饰)的车辆像90与从车辆9的车室内的视点观察到的车辆9的周边的被摄体的像重叠的具有临场感的图像。使用者通过确认这样的车内视点图像CP3,能够从车室内的视点确认车辆9的周围的情况,能够直观地把握车辆9的周边的情况。另外,使用者基于车内视点图像CP3所包含的车辆像90,能够直观地把握车内视点图像CP3表示车辆9的周围的哪个方向。
车辆像90分为相当于车身底面的部分和相当于车身底面以外的部分。车辆像90中的相当于车身底面的部分为非透明。另一方面,车辆像90中的相当于车身底面以外的部分除了轮胎及框架等具有特点的一部分以外为透明或半透明。由此,即使在车内视点图像CP3中包含有车辆像90,也能够确认车辆9的周边的被摄体的像。
在环绕模式M2中,进行如下的动画演示:使这样的车内视点图像连续地显示于显示装置3、以环绕车辆9的周围的方式表示从车室内的视点观察到的车辆9的周边的情况。因此,通过利用环绕模式M2,使用者能够确认车辆9的周围整体。
如图5所示,在图像显示系统10起动时,首先,其动作模式为环绕模式M2。在该环绕模式M2中,虚拟视点VP的视线绕车辆9的周围一周。当这样的虚拟视点VP的视线的环绕完成时,动作模式切换为通常模式M0。另外,在通常模式M0中,在使用者长按了操作按钮4的情况下(持续一定时间以上按压的情况下),动作模式切换为环绕模式M2。
另外,在通常模式M0中,在使用者以通常的长度按压了操作按钮4的情况下,或者在车辆9的档位为倒档的情况下,动作模式切换为俯瞰模式M1。另外,在俯瞰模式M1中,在使用者按压了操作按钮4的情况下,动作模式切换为通常模式M0。
<1-4.环绕模式>
接着,更详细地说明环绕模式M2。如前述那样,在环绕模式M2中,进行以环绕车辆9的周围的方式表示从车室内的视点观察到的车辆9的周边情况的动画演示。
由于进行这样的动画演示,在环绕模式M2中,图像控制部20a以虚拟视点VP的视线环绕车辆9的周围的方式改变虚拟视点VP的视线的朝向。具体而言,图像控制部20a逐渐改变虚拟视点VP的视线的俯视下的相对于车辆9的前后方向的角度(从上方观察车辆9的情况下的相对于车辆9的前后方向的角度;以下称为“俯视角”)。并且,在这样地图像控制部20a逐渐改变虚拟视点VP的视线的俯视角的状态下,图像生成部22连续地(在时间上连续)生成车内视点图像。
通过将由此生成的车内视点图像连续地在显示装置3显示,从而进行以环绕车辆9的周围的方式表示车辆9的周边情况的动画演示。通过确认这样的动画演示,使用者能够容易地确认车辆9的周围整体的情况。该动画演示例如进行20秒钟。
<1-4-1.虚拟视点的位置的移动>
在环绕模式M2中,图像控制部20a不仅改变虚拟视点VP的视线的朝向(俯视角),还改变虚拟视点VP的位置。
图8是表示环绕模式M2中的虚拟视点VP的移动路径的图,以俯视示出车辆9。图中的实线箭头分别表示虚拟视点VP,实线箭头的始点表示虚拟视点VP的位置。实线箭头的朝向表示俯视下的虚拟视点VP的视线的朝向。即,实线箭头的相对于车辆9的前后方向的角度相当于虚拟视点VP的视线的俯视角。
如图8所示,图像控制部20a以虚拟视点VP的视线右旋地绕车辆9的周围一周的方式逐渐改变虚拟视点VP的视线的俯视角。与此同时,图像控制部20a使虚拟视点VP的位置以绕车辆9的车室91的内部一周的方式沿着车室91的周缘在车辆9的前后方向以及左右方向上直线移动。
首先,图像控制部20a以使虚拟视点VP的视线朝向作为初始方向的沿着车辆9的前后方向的前方的方式设定虚拟视点VP的视线的俯视角。与此同时,图像控制部20a将虚拟视点VP的位置设定为作为初始位置的车室91的前部中央的位置(以下称为“前部中央位置”)P1。
图9是表示在虚拟视点VP的视线朝向车辆9的前方、虚拟视点VP的位置为前方中央位置P1的情况下、图像生成部22所生成的车内视点图像CP31的例子的图。车内视点图像CP31是在车辆9的前方的被摄体的像上重叠了表示车辆9的前方的车辆像90的图像。
接着,如图8所示,图像控制部20a一边维持虚拟视点VP的视线的俯视角一边使虚拟视点VP的位置向右方连续地朝向车室91的前部右端的位置P2移动(虚线箭头A1)。即,图像控制部20a在维持虚拟视点VP的视线朝向前方的状态的同时使虚拟视点VP的位置沿着车室91的前侧的周缘向右方移动。
当虚拟视点VP的位置移动到前方右端的位置P2时,图像控制部20a停止虚拟视点VP的位置的移动,然后以使虚拟视点VP的视线朝向沿着车辆9的左右方向的右方的方式连续地改变虚拟视点VP的视线的俯视角(虚线箭头A11)。即,图像控制部20a在将虚拟视点VP的位置维持在前方右端的位置P2的同时使虚拟视点VP的视线的俯视角顺时针旋转90°。
当虚拟视点VP的视线朝向车辆9的右方时,图像控制部20a一边维持虚拟视点VP的视线的俯视角一边使虚拟视点VP的位置向后方连续地朝向车室91的后部右端的位置P3移动(虚线箭头A2)。即,图像控制部20a在维持虚拟视点VP的视线朝向右方的状态的同时使虚拟视点VP的位置沿着车室91的右侧的周缘向后方移动。
图10是表示在虚拟视点VP的视线朝向车辆9的右方、虚拟视点VP的位置沿着车室91的右侧的周缘移动的情况下、图像生成部22所生成的车内视点图像CP32的例子的图。车内视点图像CP32是在车辆9的右方的被摄体的像上重叠了表示车辆9的右方的车辆像90的图像。
如图8所示,当虚拟视点VP的位置移动到后方右端的位置P3时,图像控制部20a停止虚拟视点VP的位置的移动,然后以使虚拟视点VP的视线朝向沿着车辆9的前后方向的后方的方式连续地改变虚拟视点VP的视线的俯视角(虚线箭头A12)。即,图像控制部20a在将虚拟视点VP的位置维持在后方右端的位置P3的同时使虚拟视点VP的视线的俯视角顺时针旋转90°。
当虚拟视点VP的视线朝向车辆9的后方时,图像控制部20a一边维持虚拟视点VP的视线的俯视角一边使虚拟视点VP的位置向左方连续地朝向车室91的后部左端的位置P5移动(虚线箭头A3)。即,图像控制部20a在维持虚拟视点VP的视线朝向后方的状态的同时使虚拟视点VP的位置沿着车室91的后侧的周缘向左方移动。在该移动中,虚拟视点VP的位置通过车室91的后部中央的位置(以下称为“后部中央位置”)P4。
图11是表示在虚拟视点VP的视线朝向车辆9的后方、虚拟视点VP的位置为后方中央位置P4的情况下、图像生成部22所生成的车内视点图像CP33的例子的图。车内视点图像CP33是在车辆9的后方的被摄体的像上重叠了表示车辆9的后方的车辆像90的图像。
如图8所示,当虚拟视点VP的位置移动到后方左端的位置P5时,图像控制部20a停止虚拟视点VP的位置的移动,然后以使虚拟视点VP的视线朝向沿着车辆9的左右方向的左方的方式连续地改变虚拟视点VP的视线的俯视角(虚线箭头A13)。即,图像控制部20a在将虚拟视点VP的位置维持在后方左端的位置P5的同时使虚拟视点VP的视线的俯视角顺时针旋转90°。
当虚拟视点VP的视线朝向车辆9的左方时,图像控制部20a一边维持虚拟视点VP的视线的俯视角一边使虚拟视点VP的位置向前方连续地朝向车室91的前部左端的位置P6移动(虚线箭头A4)。即,图像控制部20a在维持虚拟视点VP的视线朝向左方的状态的同时使虚拟视点VP的位置沿着车室91的左侧的周缘向前方移动。
图12是表示在虚拟视点VP的视线朝向车辆9的左方、虚拟视点VP的位置沿着车室91的左侧的周缘移动的情况下、图像生成部22所生成的车内视点图像CP34的例子的图。车内视点图像CP34是在车辆9的左方的被摄体的像上重叠了表示车辆9的左方的车辆像90的图像。
如图8所示,当虚拟视点VP的位置移动到前方左端的位置P6时,图像控制部20a停止虚拟视点VP的位置的移动,然后以使虚拟视点VP的视线朝向沿着车辆9的前后方向的前方的方式连续地改变虚拟视点VP的视线的俯视角(虚线箭头A14)。即,图像控制部20a在将虚拟视点VP的位置维持在前方左端的位置P6的同时使虚拟视点VP的视线的俯视角顺时针旋转90°。
当虚拟视点VP的视线朝向车辆9的前方时,图像控制部20a一边维持虚拟视点VP的视线的俯视角一边使虚拟视点VP的位置向右方连续地朝向前方中央位置P1移动(虚线箭头A5)。即,图像控制部20a在维持虚拟视点VP的视线朝向前方的状态的同时使虚拟视点VP的位置沿着车室91的前侧的周缘向右方移动。
最终,虚拟视点VP的位置返回到作为初始位置的前方中央位置P1。当虚拟视点VP的位置返回到前方中央位置P1时,图像生成部22生成与图9所示的车内视点图像CP31同样的车内视点图像。
这样,图像控制部20a在环绕模式M2下根据虚拟视点VP的视线方向来移动虚拟视点VP的位置。即,图像控制部20a在虚拟视点VP的视线朝向车辆9的前方的情况下,使虚拟视点VP的位置向车室91的前部移动。同样地,图像控制部20a在虚拟视点VP的视线朝向车辆9的后方的情况下,使虚拟视点VP的位置向车室91的后部移动。另外,图像控制部20a在虚拟视点VP的视线朝向车辆9的右方的情况下,使虚拟视点VP的位置向车室91的右部移动,在虚拟视点VP的视线朝向车辆9的左方的情况下,使虚拟视点VP的位置向车室91的左部移动。这样,通过根据虚拟视点VP的视线方向来移动虚拟视点VP的位置,能够提高车内视点图像所包含的车辆9的被摄体的像的视认性。
图13是表示比较例中的虚拟视点VP的移动路径的图。在该比较例中,在环绕模式下,虚拟视点VP的位置未移动而固定于车室91的相当于驾驶员的视点的位置P0。另外,以虚拟视点VP的视线绕顺时针一周的方式连续地改变虚拟视点VP的视线的俯视角。图14是表示在该比较例中、在虚拟视点VP的视线朝向车辆9的前方的情况下生成的车内视点图像CP41的例子的图。图15是表示在该比较例中、在虚拟视点VP的视线朝向车辆9的后方的情况下生成的车内视点图像CP43的例子的图。
对图14与图9进行比较、以及对图15与图11进行比较可知,在比较例的车内视点图像CP41、CP43中,与本实施方式的车内视点图像CP31、CP33相比,车辆像90包含过多的车身部分。因此,车辆像90可能导致车辆9的周边的被摄体的像的视认性降低。另外,在比较例的车内视点图像CP41、CP43中,从虚拟视点VP的位置到车辆9的周边的被摄体的距离较长,因此,应确认的被摄体的像变小,被摄体的像的视认性降低。
另一方面,在本实施方式中,图像控制部20a根据虚拟视点VP的视线方向来移动虚拟视点VP的位置。因此,能够减少车内视点图像所包含的表示为车辆像90的车身部分。另外,由于从虚拟视点VP的位置到车辆9的周边的被摄体的距离较短,因此,能增大应确认的被摄体的像。其结果是,能够提高车内视点图像所包含的车辆9的周边的被摄体的像的视认性。
一般而言,车辆在前后方向上较长,因此,通过根据虚拟视点VP的视线方向使虚拟视点VP的位置沿车辆的前后方向移动,能够有效地提高车内视点图像所包含的被摄体的像的视认性。另外,在本实施方式中,图像控制部20a根据虚拟视点VP的视线方向使虚拟视点VP的位置沿车辆9的前后方向移动并且还沿左右方向移动。因此,能够进一步有效地提高车内视点图像所包含的被摄体的像的视认性。另外,图像控制部20a使虚拟视点VP的视线沿着车辆的车室的周缘移动。因此,能够减少车内视点图像所包含的表示为车辆像90的车身部分,并且能够增大应确认的被摄体的像。
另外,在本实施方式中,图像控制部20a在环绕模式M2下在虚拟视点VP的视线的俯视角的改变中维持虚拟视点VP的位置,在虚拟视点的位置的移动中维持虚拟视点的视线的俯视角。即,图像控制部20a不同时改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置,而是在改变一方的情况下维持另一方。由此,虚拟视点VP的视线的移动不复杂,在环绕模式M2下连续生成的车内视点图像能够容易清楚地示出车辆9的周边情况。
<1-4-2.虚拟视点的俯角的调整>
顺便说明,虚拟视点VP的视线的朝向由俯视角和俯角(以水平方向为基准的向下的角度)来规定。在环绕模式M2下,图像控制部20a也调整这样的虚拟视点VP的视线的俯角。
图16是表示虚拟视点图像的生成所用的投影面TS的图。如图16所示,投影面TS在供拍摄图像的数据投影的区域(以下称为“投影区域”)R1的外侧包含不投影拍摄图像的数据的区域(以下称为“非投影区域”)R2。
如前所述,前方相机5F、后方相机5B、侧方相机5L、5R的光轴的俯角不同,能够在离开车辆9的方向上拍摄的距离不同。并且,左右的侧方相机5L、5R仅能拍摄距车辆9较近的区域,不能拍摄距车辆9较远的区域。因此,如图16所示,在投影面TS中的相当于车辆9的左方及右方的部分产生没有数据的非投影区域R2。
在未考虑这样的非投影区域R2的情况下,图像生成部22有可能在环绕模式M2下使用投影面TS中的包含非投影区域R2的区域生成车内视点图像。即,车内视点图像有可能包含非投影区域R2。由于在非投影区域R2没有数据,因此,包含非投影区域R2的车内视点图像的一部分区域未示出车辆9的周边的被摄体的像而成为单一色(一般为黑色)。视认到这样的车内视点图像的使用者有时会感到较大的不协调。
为了应对这样的问题,本实施方式的图像控制部20a在环绕模式M2下调整虚拟视点VP的视线的俯角,以使得车内视点图像不包含投影面TS中的非投影区域R2。
图17是表示图像控制部20a调整后的虚拟视点VP的视线的俯角β的图。在投影面TS中,在车辆9的整个周围中的左方及右方,投影区域R1的尺寸(离开车辆9的方向上的长度)最小,非投影区域R2的尺寸(离开车辆9的方向上的长度)最大(参照图16)。在图像控制部20a将虚拟视点VP的视线的俯角β设定为特定角度(例如60°)的情况下,即使虚拟视点VP的视线朝向这样的车辆9的左方或右方,也能使车内视点图像不包含非投影区域R2。
因此,图像控制部20a在环绕模式M2下将虚拟视点VP的视线的俯角β设定为该特定角度(60°)。并且,如图17所示,图像控制部20a即使以虚拟视点VP的视线环绕车辆9的周围的方式改变虚拟视点VP的视线的俯视角,也将虚拟视点VP的视线的俯角β始终维持在特定角度(60°)。即,图像控制部20a不论虚拟视点VP的视线方向如何都将虚拟视点VP的视线的俯角β维持在特定角度(60°)。
图18是表示在如参照图17说明的那样调整了虚拟视点VP的视线的俯角β的情况下、投影面TS中的供图像生成部22生成车内视点图像所用的使用区域R10的图。使用区域R10为距车辆9较近且包围车辆9的区域。使用区域R10仅包含具有数据的投影区域R1,不包含没有数据的非投影区域R2。
若将虚拟视点VP的视线的俯角β维持在特定角度(60°),则即使在虚拟视点VP的视线朝向投影区域R1的尺寸最小的方向的情况下,车内视点图像也不包含非投影区域R2。因此,当然在虚拟视点VP的视线朝向其他方向的情况下,车内视点图像也不包含非投影区域R2。因此,在环绕模式M2下,即使以环绕车辆9的周围的方式改变虚拟视点VP的视线的俯视角,车内视点图像也能够始终不包含非投影区域R2。其结果是,能够防止视认到车内视点图像的使用者感到不协调。
另外,在环绕模式M2下,图像控制部20a维持虚拟视点VP的视线的俯角β,因此,虚拟视点VP的视线的移动不复杂。因此,在环绕模式M2下连续生成的车内视点图像能够容易清楚地示出车辆9的周边情况。
<1-4-3.动作流程>
接着,参照图19说明环绕模式M2下的图像显示系统10的动作流程。
当动作模式成为环绕模式M2时,图像控制部20a首先将虚拟视点VP设定于车室内(步骤S11)。图像控制部20a以虚拟视点VP的视线朝向作为初始方向的车辆9的前方的方式设定其俯视角,且将虚拟视点VP的位置设定为作为初始位置的前方中央位置P1。另外,图像控制部20a将虚拟视点VP的视线的俯角设定为即使在虚拟视点VP的视线朝向车辆9的左方或右方的情况下虚拟视点图像也不包含非投影区域R2的特定角度(60°)。
接着,设于车辆9的四个相机5分别拍摄车辆9的周边。图像获取部21获取由四个相机5分别得到的四个拍摄图像数据(步骤S12)。
接着,图像生成部22使用获取到的四个拍摄图像数据生成车内视点图像(步骤S13)。然后,图像调整部23生成包含已生成的车内视点图像的显示图像DP,图像输出部24将该显示图像DP输出到显示装置3(步骤S14)。由此,包含车内视点图像的显示图像DP显示于显示装置3。
接着,图像控制部20a改变虚拟视点VP的视线的俯视角或虚拟视点VP的位置(步骤S16)。然后,处理再次返回到步骤S12,重复与上述步骤S12~S14同样的处理。这样的处理(步骤S12~S14、S16)以规定的周期(例如1/30秒周期)重复。
在步骤S16中,图像控制部20a如上述那样不同时改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置,而是在改变一方的情况下维持另一方(参照图8)。另外,图像控制部20a无论虚拟视点VP的视线的俯视角及虚拟视点VP的位置如何都将虚拟视点VP的视线的俯角维持在特定角度(参照图17)。
通过这样的处理,图像生成部22在图像控制部20a逐渐改变虚拟视点VP的期间连续地生成车内视点图像。其结果是,在显示装置3中,进行以环绕车辆9的周围的方式表示车辆9的周边情况的动画演示。
当虚拟视点VP的视线绕车辆9的周围一周、且虚拟视点VP的位置返回到作为初始位置的前方中央位置P1时(在步骤S15中为是),环绕模式M2下的图像显示系统10的动作结束。
<2.第二实施方式>
接着,说明第二实施方式。以下,主要说明与第一实施方式的不同点,关于与第一实施方式相同或同样的结构及动作,省略重复的说明。
在第一实施方式中,图像控制部20a在环绕模式M2下不同时改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置。在第二实施方式中,图像控制部20a同时改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置。
图20是表示第二实施方式的环绕模式M2下的虚拟视点VP的移动路径的图。在第二实施方式中,与第一实施方式同样地,图像控制部20a也使虚拟视点VP的位置以绕车辆9的车室91的内部一周(从前方中央位置P1经由位置P2~P6而再次到达前方中央位置P1)的方式沿着车室91的周缘直线移动。但是,图像控制部20a在位置P2、P3、P5、P6也不使虚拟视点VP的位置停止而使虚拟视点VP的位置继续移动。
另外,图像控制部20a在虚拟视点VP的位置的移动中也继续改变虚拟视点VP的视线的俯视角(虚线箭头A15)。由此,在环绕模式M2下,同时改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置。
在第二实施方式中,图像控制部20a也在环绕模式M2下根据虚拟视点VP的视线方向来移动虚拟视点VP的位置。即,图像控制部20a在虚拟视点VP的视线朝向车辆9的前方的情况下,使虚拟视点VP的位置向车室91的前部移动。同样地,图像控制部20a在虚拟视点VP的视线朝向车辆9的后方的情况下,使虚拟视点VP的位置向车室91的后部移动。另外,图像控制部20a在虚拟视点VP的视线朝向车辆9的右方的情况下,使虚拟视点VP的位置向车室91的右部移动,在虚拟视点VP的视线朝向车辆9的左方的情况下,使虚拟视点VP的位置向车室91的左部移动。由此,能够提高车内视点图像所包含的车辆9的被摄体的像的视认性。
如以上说明的那样,在第二实施方式中,同时改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置,因此,能够缩短虚拟视点的视线环绕车辆9的周围的时间。即,能够使进行以环绕车辆9的周围的方式表示车辆9的周边情况的动画演示的时间比较短(例如15秒)。因此,使用者能够在比较短的时间内确认车辆9的周围整体的情况。
<3.第三实施方式>
接着,说明第三实施方式。以下,主要说明与第二实施方式的不同点,关于与第二实施方式相同或同样的结构及动作,省略重复的说明。
在第二实施方式中,图像控制部20a使虚拟视点VP的位置沿着车室91的周缘直线移动。在第三实施方式中,图像控制部20a使虚拟视点VP的位置以大致椭圆形状移动。在第三实施方式中,图像控制部20a也同时改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置。
图21是表示第三实施方式的环绕模式M2下的虚拟视点VP的移动路径的图。如图21所示,在第三实施方式中,作为使虚拟视点VP的位置移动的路线,在车辆9的车室91的内部设定有长轴沿着车辆9的前后方向的大致椭圆形的路线。
首先,图像控制部20a以朝向作为初始方向的车辆9的前方的方式设定虚拟视点VP的视线的俯视角,且将虚拟视点VP的位置设定为作为初始位置的前方中央位置P1。
接着,图像控制部20a使虚拟视点VP的位置沿着大致椭圆形的路线的右侧的弧从前方中央位置P1绕顺时针移动到后方中央位置P4(虚线箭头A6)。进一步,图像控制部20a使虚拟视点VP的位置沿着大致椭圆形的路线的左侧的弧从后方中央位置P4绕顺时针移动到前方中央位置P1(虚线箭头A7)。图像控制部20a在这样的虚拟视点VP的位置的移动中也继续改变虚拟视点VP的视线的俯视角(虚线箭头A16)。
在第三实施方式中,图像控制部20a也在环绕模式M2下根据虚拟视点VP的视线方向来移动虚拟视点VP的位置。即,图像控制部20a在虚拟视点VP的视线朝向车辆9的前方的情况下,使虚拟视点VP的位置向车室91的前部移动。同样地,图像控制部20a在虚拟视点VP的视线朝向车辆9的后方的情况下,使虚拟视点VP的位置向车室91的后部移动。另外,图像控制部20a在虚拟视点VP的视线朝向车辆9的右方的情况下,使虚拟视点VP的位置向车室91的右部移动,在虚拟视点VP的视线朝向车辆9的左方的情况下,使虚拟视点VP的位置向车室91的左部移动。由此,能够提高车内视点图像所包含的车辆9的被摄体的像的视认性。
如以上所述,在第三实施方式中,使虚拟视点VP的位置以大致椭圆状移动,因此,能够缩短虚拟视点VP的移动距离。因此,能够进一步缩短虚拟视点VP的视线环绕车辆9的周围的时间,使用者能够在更短的时间内确认车辆9的周围整体的情况。
另外,成为使虚拟视点VP的位置移动的路线的大致椭圆形的长轴沿着车辆9的前后方向。因此,能够使虚拟视点VP的位置向车辆9的车室91的前部及后部大幅地移动。因此,即使在虚拟视点VP的视线朝向车辆9的前方或后方的情况下,也能减少车内视点图像所包含的表示为车辆像90的车身部分,能够增大应确认的被摄体的像。
<4.第四实施方式>
接着,说明第四实施方式。以下,主要说明与第一实施方式的不同点,关于与第一实施方式相同或同样的结构及动作,省略重复的说明。
在第一实施方式中,图像控制部20a使虚拟视点VP的位置沿车辆9的前后方向移动并且还沿左右方向移动。在第四实施方式中,图像控制部20a使虚拟视点VP的位置仅沿车辆9的前后方向移动。
图22是表示第四实施方式的环绕模式M2下的虚拟视点VP的移动路径的图。在第四实施方式中,作为使虚拟视点VP的位置移动的路线,在车辆9的车室91的内部设定有沿着车辆9的前后方向的直线路线。
首先,图像控制部20a以朝向作为初始方向的车辆9的前方的方式设定虚拟视点VP的视线的俯视角,且将虚拟视点VP的位置设定为作为初始位置的前方中央位置P1。
接着,图像控制部20a以虚拟视点VP的视线朝向沿着车辆9的左右方向的右方的方式连续地改变虚拟视点VP的视线的俯视角(虚线箭头A17)。即,图像控制部20a在将虚拟视点VP的位置维持在前方中央位置P1的同时使虚拟视点VP的视线的俯视角顺时针旋转90°。
当虚拟视点VP的视线朝向车辆9的右方时,图像控制部20a一边维持虚拟视点VP的视线的俯视角一边使虚拟视点VP的位置从前方中央位置P1向后方直线移动到后方中央位置P4(虚线箭头A8)。
当虚拟视点VP的位置移动到后方中央位置P4时,图像控制部20a停止虚拟视点VP的位置的移动,然后以虚拟视点VP的视线朝向沿着车辆9的左右方向的左方的方式连续地改变虚拟视点VP的视线的俯视角(虚线箭头A18)。即,图像控制部20a在将虚拟视点VP的位置维持在位置P4的同时使虚拟视点VP的视线的俯视角顺时针旋转180°。
当虚拟视点VP的视线朝向车辆9的左方时,图像控制部20a一边维持虚拟视点VP的视线的俯视角一边使虚拟视点VP的位置从后方中央位置P4向前方直线移动到前方中央位置P1(虚线箭头A8)。
当虚拟视点VP的位置移动到前方中央位置P1时,图像控制部20a停止虚拟视点VP的位置的移动,然后以虚拟视点VP的视线朝向沿着车辆9的前后方向的前方的方式连续地改变虚拟视点VP的视线的俯视角(虚线箭头A19)。即,图像控制部20a在将虚拟视点VP的位置维持在前方中央位置P1的同时使虚拟视点VP的视线的俯视角顺时针旋转90°。
在第四实施方式中,图像控制部20a也在环绕模式M2下根据虚拟视点VP的视线方向来移动虚拟视点VP的位置。即,图像控制部20a在虚拟视点VP的视线朝向车辆9的前方的情况下使虚拟视点VP的位置向车室91的前部移动。同样地,图像控制部20a在虚拟视点VP的视线朝向车辆9的后方的情况下,使虚拟视点VP的位置向车室91的后部移动。由此,能够提高车内视点图像所包含的车辆9的被摄体的像的视认性。
如以上所述,在第四实施方式中,使虚拟视点VP的位置仅沿前后方向直线移动,因此,能够缩短虚拟视点VP的移动距离。因此,能够缩短虚拟视点VP的视线环绕车辆9的周围的时间,使用者能够在比较短的时间内确认车辆9的周围整体的情况。
需要说明的是,在图22中,图像控制部20a未同时改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置。但是,也可以与第二实施方式同样地,同时改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置。
<5.第五实施方式>
接着,说明第五实施方式。以下,主要说明与第一实施方式的不同点,关于与第一实施方式相同或同样的结构及动作,省略重复的说明。
在第一实施方式中,图像控制部20a在环绕模式M2下将虚拟视点VP的视线的俯角维持在特定角度。在第五实施方式中,图像控制部20a根据虚拟视点VP的视线朝向的方向的投影面TS中的投影区域R1的尺寸,来改变虚拟视点VP的视线的俯角。
如前所述,在投影面TS中,在车辆9的左方及右方,投影区域R1的尺寸(离开车辆9的方向上的长度)最小。因此,在投影面TS中的车辆9的前方或后方,与车辆9的左方及右方相比,投影区域R1的尺寸(离开车辆9的方向上的长度)较大。因此,在虚拟视点VP的视线朝向车辆9的前方或后方的情况下,即使虚拟视点VP的视线向上,车内视点图像也不包含非投影区域R2。第五实施方式的图像控制部20a在车内视点图像不包含非投影区域R2的范围内,根据投影区域R1的尺寸来改变虚拟视点VP的视线的俯角。
图23是表示第五实施方式的环绕模式M2下的虚拟视点VP的视线的俯角β的图。图像控制部20a在虚拟视点VP的视线朝向车辆9的左方或右方的情况下,与第一实施方式同样地,使虚拟视点VP的视线的俯角β为特定角度(60°)。另一方面,图像控制部20a在虚拟视点VP的视线朝向车辆9的前方或后方的情况下,使虚拟视点VP的视线的俯角β小于特定角度(60°)。
首先,图像控制部20a以虚拟视点VP的视线朝向车辆9的前方的方式设定俯视角,且将虚拟视点VP的位置设定为作为初始位置的前方中央位置P1。此时,图像控制部20a将虚拟视点VP的视线的俯角β设定为最小角度(例如30°)。
图24是表示在虚拟视点VP的视线朝向车辆9的前方、且虚拟视点VP的位置为前方中央位置P1的情况下、图像生成部22所生成的车内视点图像CP35的例子的图。车内视点图像CP35与图9所示的第一实施方式的车内视点图像CP31相比,能够示出距离车辆9比较远的被摄体。
图9中的虚拟视点VP的视线的俯角β为特定角度(60°),与此相对,图24中的虚拟视点VP的视线的俯角β为最小角度(30°)。因此,图24中的虚拟视点VP的视线比图9中的虚拟视点VP的视线更向上。在投影面TS中的车辆9的前方,投影区域R1的尺寸比较大,因此,即使这样地使虚拟视点VP的视线的俯角β为最小角度(30°),车内视点图像也不包含非投影区域R2。
接着,如图23所示,图像控制部20a使虚拟视点VP的位置从前方中央位置P1朝向前方右端的位置P2移动。在该移动中,图像控制部20a使虚拟视点VP的视线的俯角β从最小角度(30°)逐渐变化到特定角度(60°)。即,图像控制部20a使虚拟视点VP的视线逐渐向下。
接着,图像控制部20a使虚拟视点VP的视线朝向车辆9的右方、且使虚拟视点VP的位置从前方右端的位置P2朝向后方右端的位置P3移动。在投影面TS中的车辆9的右方,投影区域R1的尺寸最小。因此,在该移动中,图像控制部20a将虚拟视点VP的视线的俯角β维持在特定角度(60°),以使车内视点图像不包含非投影区域R2。
接着,图像控制部20a使虚拟视点VP的视线朝向车辆9的后方、且使虚拟视点VP的位置从后方右端的位置P3朝向后方中央位置P4移动。在该移动中,图像控制部20a使虚拟视点VP的视线的俯角β从特定角度(60°)逐渐变化到最小角度(30°)。即,图像控制部20a使虚拟视点VP的视线逐渐向上。在虚拟视点VP的位置为后方中央位置P4的情况下,虚拟视点VP的视线的俯角β成为最小角度(30°)。
图25是表示在虚拟视点VP的视线朝向车辆9的后方、且虚拟视点VP的位置为后方中央位置P4的情况下、图像生成部22所生成的车内视点图像CP36的例子的图。车内视点图像CP36与图11所示的第一实施方式的车内视点图像CP33相比,能够示出距离车辆9比较远的被摄体。
图11中的虚拟视点VP的视线的俯角β为特定角度(60°),与此相对,图25中的虚拟视点VP的视线的俯角β为最小角度(30°)。因此,图25中的虚拟视点VP的视线比图11中的虚拟视点VP的视线更向上。在投影面TS中的车辆9的后方,投影区域R1的尺寸较大,因此,即使这样地使虚拟视点VP的视线的俯角β为最小角度(30°),车内视点图像也不包含非投影区域R2。
接着,如图23所示,图像控制部20a使虚拟视点VP的位置从后方中央位置P4朝向后方左端的位置P5移动。在该移动中,图像控制部20a使虚拟视点VP的视线的俯角β从最小角度(30°)逐渐变化到特定角度(60°)。即,图像控制部20a使虚拟视点VP的视线逐渐向下。
接着,图像控制部20a使虚拟视点VP的视线朝向车辆9的左方、且使虚拟视点VP的位置从后方左端的位置P5朝向前方左端的位置P6移动。在投影面TS中的车辆9的左方,投影区域R1的尺寸最小。因此,在该移动中,图像控制部20a将虚拟视点VP的视线的俯角β维持在特定角度(60°),以使车内视点图像不包含非投影区域R2。
接着,图像控制部20a使虚拟视点VP的视线朝向车辆9的前方、且使虚拟视点VP的位置从前方左端的位置P6朝向前方中央位置P1移动。在该移动中,图像控制部20a使虚拟视点VP的视线的俯角β从特定角度(60°)逐渐变化到最小角度(30°)。即,图像控制部20a使虚拟视点VP的视线逐渐向上。当虚拟视点VP的位置返回到作为初始位置的前方中央位置P1时,虚拟视点VP的视线的俯角β成为最小角度(30°)。
图26是表示在如参照图23说明的那样调整了虚拟视点VP的视线的俯角β的情况下、投影面TS中的供图像生成部22生成车内视点图像所用的使用区域R11的图。使用区域R11成为在车辆9的前后方向上较长的区域。使用区域R11仅包含具有数据的投影区域R1,不包含没有数据的投影区域R2。因此,在环绕模式M2下,即使以环绕车辆9的周围的方式改变虚拟视点VP的视线的俯视角,也能使车内视点图像不包含非投影区域R2。其结果是,能够防止视认到车内视点图像的使用者感到不协调。
如以上说明的那样,在第五实施方式中,图像控制部20a根据投影面TS中的虚拟视点VP的视线朝向的方向的投影区域R1的尺寸,来在车内视点图像不包含非投影区域R2的范围内改变虚拟视点VP的视线的俯角β。因此,能够防止视认到车内视点图像的使用者感到不协调,且能够使车内视点图像示出距离车辆9比较远的被摄体。图像控制部20a在虚拟视点VP的视线朝向车辆9的前方或后方的情况下,使虚拟视点VP的视线的俯角β小于特定角度(60°)。因此,车内视点图像能够示出存在于车辆9的行进方向上的比较远的被摄体。
<6.第六实施方式>
接着,说明第六实施方式。以下,主要说明与第一实施方式的不同点,关于与第一实施方式相同或同样的结构及动作,省略重复的说明。
在第一实施方式中,图像控制部20a在环绕模式M2下将虚拟视点VP的视线的俯角始终维持在特定角度。在第六实施方式中,图像控制部20a在虚拟视点VP的位置为前方中央位置P1及后方中央位置P4以外的情况下,与第一实施方式同样地将虚拟视点VP的视线的俯角维持在特定角度(60°)。另一方面,图像控制部20a在虚拟视点VP的位置为前方中央位置P1及后方中央位置P4的情况下,使虚拟视点VP的视线的俯角小于特定角度(60°)。
图27是表示第六实施方式的环绕模式M2中的虚拟视点VP的视线的俯角β的图。
首先,图像控制部20a以虚拟视点VP的视线朝向车辆9的前方的方式设定俯视角,且将虚拟视点VP的位置设定为作为初始位置的前方中央位置P1。此时,图像控制部20a将虚拟视点VP的视线的俯角β设定为最小角度(30°)。由此,图像生成部22生成图24所示那样的、表示距离车辆9比较远的被摄体的车内视点图像CP35。
接着,图像控制部20a在将虚拟视点VP的位置维持在前方中央位置P1的状态下使虚拟视点VP的视线的俯角β从最小角度(30°)逐渐变化到特定角度(60°)。即,图像控制部20a使虚拟视点VP的视线逐渐向下。
当使虚拟视点VP的视线的俯角β为特定角度(60°)时,图像控制部20a与第一实施方式同样地改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置。由此,图像控制部20a使虚拟视点VP的位置从前方中央位置P1经由位置P2及位置P3移动至后方中央位置P4。另外,图像控制部20a以虚拟视点VP的视线朝向车辆9的右方、再朝向车辆9的后方的方式改变俯视角。在该移动中,图像控制部20a将虚拟视点VP的视线的俯角β维持在特定角度(60°)。
当虚拟视点VP的位置移动到后方中央位置P4时,图像控制部20a在将虚拟视点VP的位置维持在后方中央位置P4的状态下使虚拟视点VP的视线的俯角β从特定角度(60°)逐渐变化到最小角度(30°)。即,图像控制部20a使虚拟视点VP的视线逐渐向上。当虚拟视点VP的视线的俯角β成为最小角度(30°)时,图像生成部22生成图25所示那样的、表示距离车辆9比较远的被摄体的车内视点图像CP36。
接着,图像控制部20a在将虚拟视点VP的位置维持在后方中央位置P4的状态下使虚拟视点VP的视线的俯角β从最小角度(30°)逐渐改变至特定角度(60°)。即,图像控制部20a使虚拟视点VP的视线逐渐向下返回。
当使虚拟视点VP的视线的俯角β为特定角度(60°)时,图像控制部20a与第一实施方式同样地改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置。由此,图像控制部20a使虚拟视点VP的位置从后方中央位置P4经由位置P5及位置P6而移动至前方中央位置P1。另外,图像控制部20a以虚拟视点VP的视线朝向车辆9的左方、再朝向车辆9的前方的方式改变俯视角。在该移动中,图像控制部20a将虚拟视点VP的视线的俯角β维持在特定角度(60°)。
如以上说明的那样,在第六实施方式中,在虚拟视点VP的位置为特定的位置P1、P4以外的情况下将虚拟视点VP的视线的俯角维持在特定角度,在虚拟视点的位置为特定的位置P1、P4的情况下使虚拟视点的视线的俯角小于特定角度。因此,能够简化虚拟视点VP的视线的移动,且在虚拟视点VP的位置为特定的位置P1、P4的情况下,车内视点图像能够示出距离车辆9比较远的被摄体。即,车内视点图像能够示出存在于车辆9的行进方向上的比较远的被摄体。
<7.第一~第六实施方式涉及的变形例>
本发明并不限定于上述的实施方式例,能够进行各种各样的变形。以下,说明这样的变形例。包含上述的实施方式例以及以下说明的变形例在内的所有方式例均能适当地组合。
在上述的实施方式例中,图像生成部22使用从四个相机5获取到的所有四个拍摄图像数据来生成虚拟视点图像。但是,图像生成部22也可以使用从四个拍摄图像数据中选择的一个以上三个以下的拍摄图像数据(至少一个拍摄图像数据)来生成虚拟视点图像。在该情况下,图像生成部22仅将四个拍摄图像数据中的、生成虚拟视点图像所用的拍摄图像数据投影到投影面TS上即可。
在上述的实施方式例中,在以虚拟视点VP的视线环绕车辆9的周围的方式改变虚拟视点VP的视线的俯视角的情况下,虚拟视点VP的视线绕车辆9的周围一周。但是,虚拟视点VP的视线移动可以少于一周,电可以超过一周。另外,在上述的实施方式例中,虚拟视点VP的视线绕顺时针环绕车辆9的周围。但是,虚拟视点VP的视线也可以绕逆时针环绕车辆9的周围。
在上述的实施方式例中,车辆像90的相当于车身底面以外的部分为透明或半透明。但是,该部分也可以为非透明。
在上述的实施方式例中,前方相机5F、后方相机5B和侧方相机5L、5R中的光轴的俯角不同。但是,只要获取多个拍摄图像的多个相机的至少一个的光轴的俯角与其他相机不同,就能适当地应用参照上述的实施方式例说明的调整虚拟视点的视线的俯角的技术。
作为改变虚拟视点VP的视线的俯视角和虚拟视点VP的位置的手法,在第一、第二、第三及第四实施方式中说明了彼此不同的手法。但是,也可以为能够由使用者选择执行哪个手法。另外,作为改变虚拟视点VP的视线的俯角的手法,在第一、第五及第六实施方式中说明了彼此不同的手法。但是,也可以为能够由使用者选择执行哪个手法。
<8.第七实施方式>
<8-1.结构>
图28是表示第七实施方式涉及的图像显示系统110的结构的图。该图像显示系统110是在车辆(在本实施方式中为机动车)中使用的系统,具有生成表示车辆的周边区域的图像并显示于车室内的显示功能。图像显示系统110的使用者(代表地为驾驶员)通过利用该图像显示系统110,能够几乎实时地把握该车辆的周边情况。
如图28所示,图像显示系统110具备多个相机105、图像生成装置102、显示装置103以及操作按钮104。多个相机105分别拍摄车辆的周边而获取拍摄图像,并将获取到的拍摄图像输入至图像生成装置102。图像生成装置102使用表示车辆的周边的拍摄图像来生成用于在显示装置103显示的显示图像。显示装置103显示由图像生成装置102生成的显示图像。另外,操作按钮104接受使用者的操作。
多个相机105分别具备透镜和拍摄元件,电子性地获取表示车辆的周边的拍摄图像。多个相机105包含前方相机105F、后方相机105B、左侧方相机105L以及右侧方相机105R。这四个相机105配置于车辆109的彼此不同的位置,用于拍摄车辆109的周边的不同方向。
图29是表示四个相机105分别拍摄的方向的图。前方相机105F设于车辆109的前端,其光轴105Fa沿着车辆109的前后方向且朝向前方。后方相机105B设于车辆109的后端,其光轴105Ba沿着车辆109的前后方向且朝向后方。左侧方相机105L设于左侧的左侧后视镜193L,其光轴105La沿着车辆109的左右方向且朝向左方。另外,右侧方相机105R设于右侧的右侧后视镜193R,其光轴105Ra沿着车辆109的左右方向且朝向右方。
作为各相机105的透镜,采用鱼眼透镜等广角透镜,各相机105具有180度以上的视场角θ。因此,通过利用四个相机105,能够拍摄车辆109的整个周围。
如图28所示,显示装置103具备例如液晶等薄型显示面板,用于显示各种信息、图像。显示装置103配置于车辆109的仪表板等,以使得使用者能够视认显示面板的画面。显示装置103可以与图像生成装置102配置于同一壳体内而与图像生成装置102一体化,也可以为与图像生成装置102分体的装置。另外,显示装置103具备以与显示面板重叠的方式配置的触摸面板131,能够接受使用者的操作。显示装置103除了显示的功能以外,还可以具有进行到达目的地的路线引导的导航功能等其它功能。
操作按钮104是接受使用者的操作的操作构件。操作按钮104例如设于车辆109的方向盘,主要接受来自驾驶员的操作。使用者通过该操作按钮104以及显示装置103的触摸面板131能够进行对图像显示系统110的各种操作。在使用者对操作按钮104与触摸面板131中的任一方进行了操作的情况下,向图像生成装置102输入表示其操作内容的操作信号。
图像生成装置102是能进行各种图像处理的电子装置。图像生成装置102具备图像获取部121、图像生成电路122、图像调整部123和图像输出部124。
图像获取部121(获取部的一例)从四个相机105获取四个拍摄图像数据。图像获取部121具有将模拟拍摄图像转换为数字拍摄图像的功能等的图像处理功能。图像获取部121对获取到的拍摄图像数据进行规定的图像处理,并将处理后的拍摄图像数据输入到图像生成电路122。
图像生成电路122是使用拍摄图像来生成虚拟视点图像的硬件电路。图像生成电路122具备具有相同功能的第一生成部122a和第二生成部122b。第一生成部122a以及第二生成部122b分别对由四个相机105获取到的四个拍摄图像进行合成,并生成表示从虚拟视点观察到的车辆109的周边的虚拟视点图像。第一生成部122a以及第二生成部122b分别使用各相机105刚刚获得的拍摄图像数据来连续地(在时间上连续)生成虚拟视点图像。由此,第一生成部122a以及第二生成部122b分别生成几乎实时地表示车辆109的周边的虚拟视点图像。关于第一生成部122a以及第二生成部122b生成虚拟视点图像的手法详见后述。
图像调整部123生成用于在显示装置103显示的显示图像。图像调整部123能够生成由第一生成部122a生成的虚拟视点图像和由第二生成部122b生成的虚拟视点图像排列而成的显示图像。
图像输出部124使由图像调整部123生成的显示图像显示于显示装置103。由此,在显示装置103显示几乎实时地表示从虚拟视点观察到的车辆109的周边的虚拟视点图像。
另外,图像生成装置102还具备控制部120、操作接受部125、信号接收部126和存储部127。控制部120例如为具备CPU、RAM以及ROM等的微型计算机,用于统一控制图像生成装置102的整体。
操作接受部125在使用者进行了操作的情况下接收从操作按钮104以及触摸面板131送出的操作信号。由此,操作接受部125接受使用者的操作。操作接受部125将接收到的操作信号向控制部120输入。
信号接收部126接收从与图像生成装置102独立地设于车辆109的其他装置送出的信号并向控制部120输入。信号接收部126能够接收从车辆109的换档传感器195送出的表示档位的信号。
存储部127例如是闪存等非易失性存储器,用于存储各种信息。存储部127存储作为固件的程序127a以及图像生成电路122生成虚拟视点图像所用的各种数据。这样的生成虚拟视点图像所用的数据包含表示车辆109的车身形状、尺寸的车身数据127b。
控制部120的各种功能通过执行存储于存储部127的程序127a(CPU按照程序127a进行的运算处理)来实现。图中所示的显示控制部120a以及视点控制部120b是通过执行程序127a实现的功能部的一部分。
显示控制部120a对图像显示系统110的显示涉及的动作进行控制。例如,显示控制部120a根据车辆109的状态、使用者的操作来改变图像显示系统110的动作模式。另外,显示控制部120a控制图像调整部123,来生成由第一生成部122a生成的虚拟视点图像和由第二生成部122b生成的虚拟视点图像排列而成的显示图像。由此,显示控制部120a使显示装置103同时显示由第一生成部122a生成的虚拟视点图像和由第二生成部122b生成的虚拟视点图像。
视点控制部120b对第一生成部122a以及第二生成部122b分别生成的虚拟视点图像中的虚拟视点的位置、视线的方向进行控制。例如,视点控制部120b改变虚拟视点的视线方向。
<8-2.虚拟视点图像的生成>
接着,说明图像生成电路122的第一生成部122a以及第二生成部122b生成表示从虚拟视点观察到的车辆109的周边情况的虚拟视点图像的手法。
图30是说明第一生成部122a生成虚拟视点图像的手法的图。第一生成部122a通过使用为了生成虚拟视点图像而虚拟的立体的投影面TS,来生成接近真实的具有临场感的虚拟视点图像。
前方相机105F、后方相机105B、左侧方相机105L以及右侧方相机105R获取分别表示车辆109的前方、后方、左方以及右方的四个拍摄图像SF、SB、SL、SR。这四个拍摄图像SF、SB、SL、SR包含车辆109的整个周围的数据。
第一生成部122a将这四个拍摄图像SF、SB、SL、SR所包含的数据(像素的值)投影到虚拟的三维空间中的立体曲面即投影面TS上。投影面TS例如呈大致半球状(碗形状),其中心区域(碗底部分)确定为车辆109的位置。另外,投影面TS中的车辆109的位置的外侧相当于车辆109的周边的区域。
拍摄图像SF、SB、SL、SR所包含的数据的位置和投影面TS的位置预先被确定对应关系。表示这样的对应关系的表数据存储于存储部127。第一生成部122a使用该表数据,将四个拍摄图像SF、SB、SL、SR所包含的数据投影到投影面TS的对应的位置。
第一生成部122a将前方相机105F的拍摄图像SF的数据投影到投影面TS中的相当于车辆109的前方的部分。另外,第一生成部122a将后方相机105B的拍摄图像SB的数据投影到投影面TS中的相当于车辆109的后方的部分。并且,第一生成部122a将左侧方相机105L的拍摄图像SL的数据投影到投影面TS中的相当于车辆109的左方的部分,将右侧方相机105R的方向图像SR的数据投影到投影面TS中的相当于车辆109的右方的部分。
当这样地在投影面TS上投影拍摄图像的数据时,第一生成部122a使用存储于存储部127的车身数据127b,来虚拟地构成表示车辆109的三维形状的多边形模型。该车辆109的模型配置于虚拟的三维空间中的车辆109的位置即投影面TS的中心区域。
另一方面,视点控制部120b对三维空间设定虚拟视点VP。该虚拟视点VP由位置和视线的方向来规定。视点控制部120b能在三维空间中的任意位置以任意的视线方向设定虚拟视点VP。
第一生成部122a使用与视点控制部120b所设定的虚拟视点VP相应的投影面TS的一部分区域来生成虚拟视点图像CP。即,第一生成部122a将投影面TS中的从虚拟视点VP观察包含在规定的视场角中的区域的数据作为图像切出。切出的图像包含车辆109的周边的被摄体的像。与此同时,第一生成部122a根据设定好的虚拟视点VP而对车辆109的模型进行绘制,将成为其结果的二维的车辆像190与切出的图像重叠。该车辆像190表示从虚拟视点VP观察到的车辆109的车身的形状。由此,第一生成部122a生成表示从虚拟视点VP观察到的车辆109的周边和车辆109的车身的虚拟视点图像CP。
例如,如图30所示,在视点控制部120b设定了位置为车辆109的正上方且视线的方向为下方的虚拟视点VPa的情况下,第一生成部122a生成俯瞰车辆109的周边和车辆109的车身的虚拟视点图像(俯瞰图像)CPa。另外,在视点控制部120b设定了位置为车辆109的左后方且视线的方向为车辆109的前方的虚拟视点VPb的情况下,第一生成部122a生成表示从车辆109的左后方观察到的车辆109的周边和车辆109的车身的虚拟视点图像CPb。
另外,视点控制部120b不仅能在车辆109的外部设定虚拟视点VP的位置,而且也能在车辆109的车室内设定虚拟视点VP的位置。在视点控制部120b将虚拟视点VP的位置设定于车辆109的车室内的情况下,如图31所示,第一生成部122a生成表示从车辆109的车室内观察到的车辆109的周边和车辆109的车身(内部装饰)的具有临场感的虚拟视点图像CPc。
在该虚拟视点图像CPc中,在从车辆109的车室内的视点观察到的车辆109的周边的被摄体的像上重叠有表示从车室内的视点观察到的车辆109的车身(内部装饰)的车辆像190。使用者通过确认这样的虚拟视点图像CPc,能够从车室内的视点确认车辆109的周围情况,能够直观地把握车辆109的周边情况。
从车室内的视点观察到的虚拟视点图像CPc所包含的车辆像190分为相当于车身底面的部分和相当于车身底面以外的部分。车辆像190中的相当于车身底面的部分为非透明。另一方面,车辆像190中的相当于车身底面以外的部分除了轮胎及框架等具有特点的一部分之外为透明或半透明。由此,即使在从车室内的视点观察到的虚拟视点图像CPc中包含车辆像190,使用者也能够确认车辆109的周边的被摄体的情况。
第二生成部122b生成虚拟视点图像的手法与上述说明的第一生成部122a的手法相同。
第二生成部122b能够与第一生成部122a独立地生成虚拟视点图像。另外,视点控制部120b能够将第二生成部122b生成的虚拟视点图像的虚拟视点设定为与第一生成部122a生成的虚拟视点图像的虚拟视点不同的位置及视线的方向。因此,第一生成部122a和第二生成部122b能够同时生成表示从彼此不同的虚拟视点观察到的车辆109的周边的虚拟视点图像。
<8-3.动作模式>
接着,说明图像显示系统110的动作模式。图32是表示图像显示系统110的动作模式的转变的图。图像显示系统110具有通常模式M10、俯瞰模式M11以及周围确认模式M12这三个动作模式。显示控制部120a根据车辆109的状态、使用者的操作来切换控制部120的这些动作模式。
通常模式M10是不利用图像生成装置102的功能的动作模式。在显示装置103具有导航功能的情况下,在通常模式M10中,在显示装置103显示基于导航功能的地图图像等。
俯瞰模式M11以及周围确认模式M12是利用图像生成装置102的功能的动作模式。在这些动作模式中,显示装置103显示由图像生成装置102连续生成的虚拟视点图像。因此,使用者通过确认在显示装置103显示的虚拟视点图像,能够几乎实时地把握车辆109的周边情况。
俯瞰模式M11是显示从车辆109的正上方的视点俯瞰车辆109的周边的虚拟视点图像即俯瞰图像的动作模式。周围确认模式M12是显示表示从车辆109的车室内的视点观察到的车辆109的周边的虚拟视点图像的动作模式。
在周围确认模式M12中,显示装置103同时显示从车室内的视点观察到的两个虚拟视点图像。并且,分别改变两个虚拟视点图像的虚拟视点的视线的方向,在显示装置103进行表示车辆109的周围的动画演示。使用者通过确认这样的两个虚拟视点图像,能够确认车辆109的周围情况。
如图32所示,当图像显示系统110起动时,首先,显示控制部120a将动作模式设定为周围确认模式M12。在该周围确认模式M12中,进行表示车辆109的周围的动画演示。当该动画演示完成时,显示控制部120a将动作模式切换为通常模式M10。另外,在通常模式M10中,在使用者长按了操作按钮104的情况下(持续按压了一定时间以上的情况下),显示控制部120a再将动作模式切换为周围确认模式M12。
另外,在通常模式M10中,在使用者以通常的长度按压了操作按钮104的情况下,或者在车辆109的档位成为倒档的情况下,显示控制部120a将动作模式切换为俯瞰模式M11。另外,在俯瞰模式M11中,在使用者按压了操作按钮104的情况下,显示控制部120a将动作模式切换为通常模式M10。
<8-4.周围确认模式>
接着,更详细地说明周围确认模式M12。如前所述,在周围确认模式M12中,显示装置103(显示部的一例)同时显示从车室内的视点观察到的两个虚拟视点图像。更具体而言,显示装置103显示第一生成部122a生成的虚拟视点图像和第二生成部122b生成的虚拟视点图像排列而成的显示图像。在以下的说明中,将第一生成部122a生成的虚拟视点图像称为“第一图像”,将第二生成部122b生成的虚拟视点图像称为“第二图像”。另外,将第一图像的虚拟视点称为“第一虚拟视点”,将第二图像的虚拟视点称为“第二虚拟视点”。
图33是说明在周围确认模式M12中生成显示装置103显示的显示图像DP的手法的图。在周围确认模式M12中,视点控制部120b在车辆109的车室191的内部设定第一虚拟视点VP1与第二虚拟视点VP2这双方的位置。
并且,第一生成部122a生成表示从第一虚拟视点VP1观察到的车辆109的周边的第一图像CP1。另一方面,第二生成部122b生成表示从第二虚拟视点VP2观察到的车辆109的周边的第二图像CP2。第一生成部122a和第二生成部122b同时生成上述的第一图像CP1及第二图像CP2。
图像调整部123生成将这样生成的第一图像CP1和第二图像CP2左右相邻地配置而成的显示图像DP。如图33所示,图像调整部123通过显示控制部120a的控制而将第一图像CP1配置于边界线BL的左侧、将第二图像CP2配置于边界线BL的右侧。
这样,显示装置103显示包含第一图像CP1及第二图像CP2这双方的显示图像DP。因此,显示装置103在相对而言位于左侧的显示区域RL显示第一图像CP1,在相对而言位于右侧的显示区域RR显示第二图像CP2。
另外,视点控制部120b逐渐改变两个虚拟视点VP1、VP2各自的视线的方向。这样,在视点控制部120b逐渐改变两个虚拟视点VP1、VP2的朝向的状态下,第一生成部122a连续地(在时间上连续)生成第一图像CP1,第二生成部122b连续地(在时间上连续)生成第二图像CP2。由此,在显示装置103的显示区域RL以及显示区域RR分别进行表示车辆109的周边情况的动画演示。
图34是表示周围确认模式M12中的两个虚拟视点VP1、VP2的移动路径的图,以俯视示出车辆109。在图中,第一虚拟视点VP1由实线箭头表示,第二虚拟视点VP2由虚线箭头表示。表示虚拟视点VP1、VP2的箭头的始点示出虚拟视点VP1、VP2的位置。另外,表示虚拟视点VP1、VP2的箭头的朝向示出虚拟视点VP1、VP2的视线的方向(俯视下的相对于车辆109的角度)。
如图34所示,视点控制部120b将第一虚拟视点VP1和第二虚拟视点VP2这双方的位置设定为车室191的内部中的车辆109的中心位置PC。中心位置PC是成为车辆109的前后方向的大致中央、且成为车辆109的左右方向的大致中央的位置。视点控制部120b将第一虚拟视点VP1的位置和第二虚拟视点VP2的位置维持在该中心位置PC。
另一方面,视点控制部120b(变更控制部的一例)使第一虚拟视点VP1的视线的方向和第二虚拟视点VP2的视线的方向彼此反转地分别从车辆109的前方改变至与前方相反的车辆109的后方。
具体而言,首先,视点控制部120b使第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向朝向作为初始方向的沿着车辆109的前后方向的前方。然后,视点控制部120b绕逆时针(箭头A11)以一定的角速度连续地改变第一虚拟视点VP1的视线的方向,绕顺时针(箭头A21)以一定的角速度连续地改变第二虚拟视点VP2的视线的方向。
由此,视点控制部120b使第一虚拟视点VP1的视线的方向从车辆109的前方经由车辆109的左方连续地改变至作为最终方向的沿着车辆109的前后方向的后方(箭头A11、A12)。另外,与此同时,视点控制部120b使第二虚拟视点VP2的视线的方向从车辆109的前方经由车辆109的右方连续地改变至作为最终方向的沿着车辆109的前后方向的后方(箭头A21、A22)。
视点控制部120b以相同的角速度彼此反转地改变第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向。因此,第一虚拟视点VP1的视线的方向和第二虚拟视点VP2的视线的方向关于沿着车辆109的前后方向的左右中心线CLa始终对称。
这样,第一虚拟视点VP1的视线的方向从车辆109的前方经由车辆109的左方改变至车辆109的后方。另一方面,第二虚拟视点VP2的视线的方向从车辆109的前方经由车辆109的右方改变至车辆109的后方。因此,如图33所示,在显示装置103的表示基于第一虚拟视点VP1的第一图像CP1的显示区域RL中,进行以环绕车辆109的周围的左半部分的方式表示的动画演示。另外,与此同时,在显示装置103的表示基于第二虚拟视点VP2的第二图像CP2的显示区域RR中,进行以环绕车辆109的周围的右半部分的方式表示的动画演示。
图35是表示第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向朝向作为初始方向的车辆109的前方的情况下的、第一图像CP1以及第二图像CP2的例子的图。第一图像CP1示出车辆109的左前方的情况,第二图像CP2示出车辆109的右前方的情况。在该情况下,也可以消除边界线BL而成为将第一图像CP1和第二图像CP2一体化而成的一个图像。
图36是接着图35的情况表示第一虚拟视点VP1的视线的方向朝向车辆109的左方、第二虚拟视点VP2的视线的方向朝向车辆109的右方的情况下的、第一图像CP1以及第二图像CP2的例子的图。第一图像CP1示出车辆109的左方的情况,第二图像CP2示出车辆109的右方的情况。
图37是接着图36的情况表示第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向朝向作为最终方向的车辆109的后方的情况下的、第一图像CP1以及第二图像CP2的例子的图。第一图像CP1示出车辆109的左后方的情况,第二图像CP2示出车辆109的右后方的情况。
使用者能够同时确认这样的表示车辆109的周围的左半部分的第一图像CP1和表示车辆109的周围的右半部分的第二图像CP2。因此,使用者能够在比较短的时间内确认车辆109的周围的整体情况。
图38是表示比较例中的虚拟视点VPx的移动路径的图。在该比较例中,仅设定一个虚拟视点VPx。并且,虚拟视点VPx的视线的方向以从车辆109的前方绕逆时针旋转一周而返回到车辆109的前方的方式改变(箭头Ax1、Ax2、Ax3、Ax4)。
图39是表示在该比较例的情况下生成的虚拟视点图像的例子的图。在该情况下,根据虚拟视点VPx的视线的方向,生成分别表示车辆109的前方、左方、后方以及右方的虚拟视点图像Cx1、Cx2、Cx3、Cx4。并且,当虚拟视点VPx的视线的方向返回到车辆109的前方时,再次生成表示车辆109的前方的虚拟视点图像Cx1。
在该比较例的情况下,为了使虚拟视点图像表示车辆109的周围的整体,需要将虚拟视点的视线的方向改变360°。因此,为了使虚拟视点图像表示车辆的周边的整体而需要比较长的时间。
与此相对,本实施方式涉及的图像显示系统110使两个虚拟视点VP1、VP2的视线的方向分别彼此反转地改变180°(参照图34),同时显示基于这两个虚拟视点VP1、VP2生成的第一图像CP1以及第二图像CP2。因此,当改变视线的方向的角速度与比较例相同时,图像显示系统110能够以比较例的一半的时间表示车辆109的周围的整体。因此,使用者通过利用图像显示系统110,能够在比较短的时间内确认车辆109的周围的整体情况。
另外,显示装置103使主要表示车辆109的左方的第一图像CP1显示于相对而言位于左侧的显示区域RL,使主要表示车辆109的右方的第二图像CP2显示于相对而言位于右侧的显示区域RR(参照图33)。因此,使用者能够直观地把握第一图像CP1以及第二图像CP2各自所表示的被摄体位于车辆109的左方和右方中的哪一方。
另外,第一虚拟视点VP1的视线的方向和第二虚拟视点VP2的视线的方向关于车辆109的左右中心线CLa对称(参照图34)。因此,使用者能够容易地把握第一图像CP1以及第二图像CP2各自所表示的被摄体的位置。
<8-5.动作流程>
接着,说明周围确认模式M12中的图像显示系统110的动作流程。图40是表示周围确认模式M12中的图像显示系统110的动作流程的图。
当动作模式成为周围确认模式M12时,视点控制部120b首先设定第一虚拟视点VP1及第二虚拟视点VP2的位置以及视线的方向(步骤S111)。视点控制部120b将两个虚拟视点VP1、VP2这双方的位置设定为车室191的内部的中心位置PC,并且使两个虚拟视点VP1、VP2这双方的视线的方向朝向作为初始方向的车辆109的前方。
接着,设于车辆109的四个相机105分别拍摄车辆109的周边。图像获取部121获取由四个相机105分别得到的四个拍摄图像数据(步骤S112)。
接着,图像生成电路122的第一生成部122a使用四个拍摄图像数据来生成第一图像CP1(步骤S113)。与此同时,图像生成电路122的第二生成部122b使用该四个拍摄图像数据来生成第二图像CP2(步骤S114)。
接着,图像调整部123生成第一生成部122a所生成的第一图像CP1和第二生成部122b所生成的第二图像CP2排列而成的显示图像DP(步骤S115)。图像调整部123使第一图像CP1相对而言位于左侧,使第二图像CP2相对而言位于右侧。
接着,图像输出部124将显示图像DP输出至显示装置103。由此,显示装置103显示包含第一图像CP1以及第二图像CP2这双方的显示图像DP(步骤S116)。显示装置103在相对而言位于左侧的显示区域RL显示第一图像CP1,在相对而言位于右侧的显示区域RR显示第二图像CP2。
接着,如图34所示,视点控制部120b使两个虚拟视点VP1、VP2的视线的方向彼此反转地一点点地改变(步骤S118)。然后,处理再次返回到步骤S112,重复与上述步骤S112~S116同样的处理。这样的处理(步骤S112~S116、S118)以规定的周期(例如、1/30秒周期)重复。
通过这样的处理,在视点控制部120b逐渐改变两个虚拟视点VP1、VP2的朝向的期间,第一生成部122a连续地生成第一图像CP1,第二生成部122b连续地生成第二图像CP2。其结果是,在显示装置103的显示区域RL以及显示区域RR分别进行表示车辆109的周边情况的动画演示。
当视点控制部120b将两个虚拟视点VP1、VP2的朝向改变至作为最终方向的车辆109的后方时(在步骤S117中为是),周围确认模式M12中的图像显示系统110的动作结束。
<9.第八实施方式>
接着,说明第八实施方式。以下,主要说明与第七实施方式的不同点,关于与第七实施方式相同或同样的结构及动作,省略重复的说明。
在第七实施方式中,视点控制部120b在周围确认模式M12中将第一虚拟视点VP1以及第二虚拟视点VP2这双方的位置维持在中心位置PC。在第八实施方式中,视点控制部120b使第一虚拟视点VP1以及第二虚拟视点VP2的位置移动。
图41是表示第八实施方式的周围确认模式M12中的两个虚拟视点VP1、VP2的移动路径的图。视点控制部120b(移动控制部的一例)使第一虚拟视点VP1以及第二虚拟视点VP2这双方的位置沿车辆109的前后方向直线地移动。
在第八实施方式中,第一虚拟视点VP1的视线的方向和第二虚拟视点VP2的视线的方向也关于沿着车辆109的前后方向的左右中心线CLa始终对称。另外,第一虚拟视点VP1的位置和第二虚拟视点VP2的位置始终相同。
首先,视点控制部120b使第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向朝向作为初始方向的沿着车辆109的前后方向的前方。并且,视点控制部120b将第一虚拟视点VP1和第二虚拟视点VP2这双方的位置设定为作为初始位置的车室191的前部中央的位置(以下称为“前部中央位置”)PF。
接着,视点控制部120b在将第一虚拟视点VP1和第二虚拟视点VP2这双方的位置维持在前部中央位置PF的同时,使第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向彼此反转地改变90°。即,视点控制部120b绕逆时针以一定的角速度连续地改变第一虚拟视点VP1的视线的方向(箭头A13),以使得第一虚拟视点VP1的视线的方向朝向沿着车辆109的左右方向的左方。另外,与此同时,视点控制部120b绕顺时针以一定的角速度连续地改变第二虚拟视点VP2的视线的方向(箭头A23),以使得第二虚拟视点VP2的视线的方向朝向沿着车辆109的左右方向的右方。
接着,视点控制部120b在维持第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向的同时,使第一虚拟视点VP1和第二虚拟视点VP2这双方的位置沿着车辆109的前后方向向后方移动。即,视点控制部120b使第一虚拟视点VP1和第二虚拟视点VP2这双方的位置从前部中央位置PF以一定的速度连续地移动至作为最终位置的车室191的后部中央的位置(以下称为“后部中央位置”)PB(箭头B10)。
接着,视点控制部120b在将第一虚拟视点VP1和第二虚拟视点VP2这双方的位置维持在后部中央位置PB的同时,使第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向彼此反转地改变90°。即,视点控制部120b绕逆时针以一定的角速度连续地改变第一虚拟视点VP1的视线的方向(箭头A14),以使得第一虚拟视点VP1的视线的方向朝向沿着车辆109的前后方向的后方。另外,与此同时,视点控制部120b绕顺时针以一定的角速度连续地改变第二虚拟视点VP2的视线的方向(箭头A24),以使得第二虚拟视点VP2的视线的方向朝向沿着车辆109的前后方向的后方。由此,最终第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向朝向作为最终方向的车辆109的后方。
这样,视点控制部120b根据第一虚拟视点VP1的视线的方向来移动第一虚拟视点VP1的位置,根据第二虚拟视点VP2的视线的方向来移动第二虚拟视点VP2的位置。
即,视点控制部120b在第一虚拟视点VP1的视线的方向朝向车辆109的前方的情况下,使第一虚拟视点VP1的位置位于车室191的前部。另外,视点控制部120b在第一虚拟视点VP1的视线的方向朝向车辆109的后方的情况下,使第一虚拟视点VP1的位置位于车室191的后部。同样地,视点控制部120b在第二虚拟视点VP2的视线的方向朝向车辆109的前方的情况下,使第二虚拟视点VP2的位置位于车室191的前部。另外,视点控制部120b在第二虚拟视点VP2的视线的方向朝向车辆109的后方的情况下,使第二虚拟视点VP2的位置位于车室191的后部。这样,通过还以接近虚拟视点VP1、VP2的视线的方向的方式移动虚拟视点VP1、VP2的位置,能够提高虚拟视点图像CP1、CP2所包含的车辆109的被摄体的像的视认性。
图42是表示第八实施方式中的第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向朝向作为初始方向的车辆109的前方的情况下的、第一图像CP1以及第二图像CP2的例子的图。第一图像CP1示出车辆109的左前方的情况,第二图像CP2示出车辆109的右前方的情况。
另外,图43是表示第八实施方式中的第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向朝向作为最终方向的车辆109的后方的情况下的、第一图像CP1以及第二图像CP2的例子的图。第一图像CP1表示车辆109的左后方的情况,第二图像CP2表示车辆109的右后方的情况。
在第八实施方式中,由于虚拟视点VP1、VP2的位置移动,因此与第七实施方式相比较,从虚拟视点VP1、VP2的位置到车辆109的车身端部的距离较短。因此,在第八实施方式的虚拟视点图像CP1、CP2(参照图42、图43)中,与第七实施方式的虚拟视点图像CP1、CP2(参照图35、图37)相比较,表示为车辆像190的车身部分较少。
另外,在第八实施方式中,与第七实施方式相比较,从虚拟视点VP1、VP2的位置到车辆109的周边的被摄体的距离也较短。因此,在第八实施方式的虚拟视点图像CP1、CP2(参照图42、图43)中,与第七实施方式的虚拟视点图像CP1、CP2(参照图35、图37)相比较,所包含的被摄体的像较大。因此,虚拟视点图像CP1、CP2所包含的车辆109的周边的被摄体的像的视认性提高。
一般而言,车辆在前后方向上较长,因此,通过根据虚拟视点VP1、VP2的视线的方向使虚拟视点VP1、VP2的位置沿车辆109的前后方向移动,能够有效地提高虚拟视点图像CP1、CP2所包含的被摄体的像的视认性。
<10.第九实施方式>
接着,说明第九实施方式。以下,主要说明与第八实施方式的不同点,关于与第八实施方式相同或同样的结构及动作,省略重复的说明。
在第八实施方式中,视点控制部120b使第一虚拟视点VP1以及第二虚拟视点VP2的位置仅沿车辆109的前后方向移动。在第九实施方式中,视点控制部120b使第一虚拟视点VP1以及第二虚拟视点VP2的位置沿车辆109的前后方向移动并且还沿左右方向移动。
图44是表示第九实施方式的周围确认模式M12中的两个虚拟视点VP1、VP2的移动路径的图。如图所示,视点控制部120b使第一虚拟视点VP1以及第二虚拟视点VP2的位置沿着车室191的周缘在车辆109的前后方向以及左右方向上直线地移动。
在第九实施方式中,第一虚拟视点VP1的视线的方向和第二虚拟视点VP2的视线的方向关于沿着车辆109的前后方向的左右中心线CLa始终对称。另外,第一虚拟视点VP1的位置和第二虚拟视点VP2的位置关于左右中心线CLa始终对称。
首先,视点控制部120b使第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向朝向作为初始方向的沿着车辆109的前后方向的前方。另外,视点控制部120b将第一虚拟视点VP1和第二虚拟视点VP2这双方的位置设定为作为初始位置的前部中央位置PF。
接着,视点控制部120b在维持第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向的同时,使第一虚拟视点VP1和第二虚拟视点VP2这双方的位置沿着车辆109的左右方向彼此反向地移动。即,视点控制部120b使第一虚拟视点VP1的位置从前部中央位置PF沿着车室191的前侧的周缘向左方以一定的速度连续地移动至车室191的前部左端的位置PFL(箭头B11)。另外,与此同时,视点控制部120b使第二虚拟视点VP2的位置从前部中央位置PF沿着车室191的前侧的周缘向右方以一定的速度连续地移动至车室191的前部右端的位置PFR(箭头B21)。
接着,视点控制部120b在维持第一虚拟视点VP1和第二虚拟视点VP2这双方的位置的同时,使第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向彼此反转地改变90°。即,视点控制部120b绕逆时针以一定的角速度连续地改变第一虚拟视点VP1的视线的方向(箭头A15),以使得第一虚拟视点VP1的视线的方向朝向沿着车辆109的左右方向的左方。另外,与此同时,视点控制部120b绕顺时针以一定的角速度连续地改变第二虚拟视点VP2的视线的方向(箭头A25),以使得第二虚拟视点VP2的视线的方向朝向沿着车辆109的左右方向的右方。
接着,视点控制部120b在维持第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向的同时,使第一虚拟视点VP1和第二虚拟视点VP2这双方的位置沿着车辆109的前后方向向后方移动。即,视点控制部120b使第一虚拟视点VP1的位置从车室191的前部左端的位置PFL沿着车室191的左侧的周缘向后方以一定的速度连续地移动至后部左端的位置PBL(箭头B12)。另外,与此同时、视点控制部120b使第二虚拟视点VP2的位置从车室191的前部右端的位置PFR沿着车室191的右侧的周缘向后方以一定的速度连续地移动至后部右端的位置PBR(箭头B22)。
接着,视点控制部120b在维持第一虚拟视点VP1和第二虚拟视点VP2这双方的位置的同时,使第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向彼此反转地改变90°。即,视点控制部120b绕逆时针以一定的角速度连续地改变第一虚拟视点VP1的视线的方向(箭头A16),以使得第一虚拟视点VP1的视线的方向朝向作为最终方向的沿着车辆109的前后方向的后方。另外,与此同时,视点控制部120b绕顺时针以一定的角速度连续地改变第二虚拟视点VP2的视线的方向(箭头A26),以使得第二虚拟视点VP2的视线的方向朝向作为最终方向的沿着车辆109的前后方向的后方。
接着,视点控制部120b在维持第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向的同时,使第一虚拟视点VP1和第二虚拟视点VP2这双方的位置沿着车辆109的左右方向彼此反向地移动。即,视点控制部120b使第一虚拟视点VP1的位置从车室191的后部左端的位置PBL沿着车室191的后侧的周缘向右方以一定的速度连续地移动至后部中央位置PB(箭头B13)。另外,与此同时,视点控制部120b使第二虚拟视点VP2的位置从车室191的后部右端的位置PBR沿着车室191的后侧的周缘向左方以一定的速度连续地移动至后部中央位置PB(箭头B23)。由此,最终第一虚拟视点VP1和第二虚拟视点VP2这双方的位置移动至作为最终位置的后部中央位置PB。
这样,在第九实施方式中,视点控制部120b以接近虚拟视点VP1、VP2的视线的方向的方式使虚拟视点VP1、VP2的位置沿车辆109的前后方向移动并且还沿左右方向移动。即,视点控制部120b在第一虚拟视点VP1的视线的方向朝向车辆109的左方的情况下,使第一虚拟视点VP1的位置向车室191的左部移动。另外,视点控制部120b在第二虚拟视点VP2的视线的方向朝向车辆109的右方的情况下,使第二虚拟视点VP2的位置向车室191的右部移动。因此,能够进一步有效地提高虚拟视点图像CP1、CP2所包含的被摄体的像的视认性
图45是表示第九实施方式中的第一虚拟视点VP1的视线的方向朝向车辆109的左方、第二虚拟视点VP2的视线的方向朝向车辆109的右方的情况下的、第一图像CP1以及第二图像CP2的例子的图。第一图像CP1示出车辆109的左方的情况,第二图像CP2示出车辆109的右方的情况。
在图45所示的第九实施方式的虚拟视点图像CP1、CP2中,与第七实施方式的虚拟视点图像CP1、CP2(参照图36)相比较,表示为车辆像190的车身部分较少,且所包含的被摄体的像较大。这样,在第九实施方式中,在虚拟视点VP1、VP2的视线的方向朝向车辆109的侧方的情况下,也能够提高虚拟视点图像CP1、CP2所包含的车辆109的周边的被摄体的像的视认性。
另外,视点控制部120b使虚拟视点VP1、VP2的视线的位置沿着车辆109的车室191的周缘移动。因此,能够进一步减少车辆像190所示的车身的部分,并且能够进一步增大被摄体的像。
<11.第十实施方式>
接着,说明第十实施方式。以下,主要说明与第七实施方式的不同点,关于与第七实施方式相同或同样的结构及动作,省略重复的说明。
在第七实施方式中,视点控制部120b以一定的角速度连续地改变第一虚拟视点VP1以及第二虚拟视点VP2的视线的方向。在第十实施方式中,视点控制部120b离散地或阶段地改变第一虚拟视点VP1以及第二虚拟视点VP2的视线的方向。
图46是表示第十实施方式的周围确认模式M12中的两个虚拟视点VP1、VP2的移动路径的图。在第十实施方式中,视点控制部120b也将第一虚拟视点VP1和第二虚拟视点VP2这双方的位置设定为车室191的内部中的车辆109的中心位置PC。并且,视点控制部120b使第一虚拟视点VP1的视线的方向与第二虚拟视点VP2的视线的方向分别彼此反转地从车辆109的前方改变至与其相反的车辆109的后方。但是,在第十实施方式中,如图所示,视点控制部120b使第一虚拟视点VP1的视线的方向仅朝向车辆109的前方、左方以及后方,使第二虚拟视点VP2的视线的方向仅朝向车辆109的前方、右方以及后方。
首先,视点控制部120b使第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向朝向作为初始方向的沿着车辆109的前后方向的前方。并且,视点控制部120b使该第一虚拟视点VP1以及第二虚拟视点VP2的视线的方向维持规定时间(例如0.5秒钟)。
接着,视点控制部120b使第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向彼此反向地切换。即,视点控制部120b将第一虚拟视点VP1的视线的方向切换为沿着车辆109的左右方向的左方(箭头A17)。与此同时,视点控制部120b将第二虚拟视点VP2的视线的方向切换为沿着车辆109的左右方向的右方(箭头A27)。并且,视点控制部120b将该第一虚拟视点VP1以及第二虚拟视点VP2的视线的方向维持规定时间(例如0.5秒钟)。
接着,视点控制部120b将第一虚拟视点VP1和第二虚拟视点VP2这双方的视线的方向切换为作为最终方向的沿着车辆109的前后方向的后方(箭头A18、A28)。并且,视点控制部120b将该第一虚拟视点VP1以及第二虚拟视点VP2的视线的方向维持规定时间(例如0.5秒钟)。
这样,在第十实施方式中,视点控制部120b离散或阶段地改变虚拟视点VP的视线的方向。因此,能够缩短改变虚拟视点VP的视线的方向的时间。其结果是,使用者能够在更短的时间内确认车辆109的周围的整体情况。
需要说明的是,在该第十实施方式中,期望第一图像CP1以及第二图像CP2的视场角比第七实施方式宽。另外,与第八实施方式或第九实施方式同样地,视点控制部120b也可以根据虚拟视点VP1、VP2的视线的方向来移动虚拟视点VP1、VP2的位置。
<12.第十一实施方式>
接着,说明第十一实施方式。以下,主要说明与第七实施方式的不同点,关于与第七实施方式相同或同样的结构及动作,省略重复的说明。
在第七实施方式中,在周围确认模式M12中,视点控制部120b将第一虚拟视点VP1以及第二虚拟视点VP2的视线的方向从车辆109的前方改变至与其相反的车辆109的后方。在第十一实施方式中,视点控制部120b将第一虚拟视点以及第二虚拟视点的视线的方向从车辆109的左方改变至与其相反的右方。
图47是说明在第十一实施方式的周围确认模式M12中生成显示装置103所显示的显示图像DP的手法的图。
在第十一实施方式中,视点控制部120b将第一虚拟视点VP3和第二虚拟视点VP4这双方的位置维持在车室191的内部中的车辆109的中心位置PC。并且,第一生成部122a生成表示从第一虚拟视点VP3观察到的车辆109的周边的第一图像CP3,第二生成部122b生成表示从第二虚拟视点VP4观察到的车辆109的周边的第二图像CP4。
图像调整部123生成将这样生成的第一图像CP3与第二图像CP4上下相邻配置而成的显示图像DP。如图所示,图像调整部123通过显示控制部120a的控制,将第一图像CP3配置在边界线BL的上侧,将第二图像CP4配置在边界线BL的下侧。
这样,显示装置103显示包含第一图像CP3以及第二图像CP4这双方的显示图像DP。因此,显示装置103在相对而言位于上侧的显示区域RU显示第一图像CP3,在相对而言位于下侧的显示区域RD显示第二图像CP4。
另外,视点控制部120b逐渐改变两个虚拟视点VP3、VP4各自的视线的方向。这样,在视点控制部120b逐渐改变两个虚拟视点VP3、VP4的朝向的期间,第一生成部122a连续地生成第一图像CP3,第二生成部122b连续地生成第二图像CP4。由此,在显示装置103的显示区域RU以及显示区域RD分别进行表示车辆109的周边情况的动画演示。
图48是表示第十一实施方式的周围确认模式M12中的两个虚拟视点VP3、VP4的移动路径的图。在图中,第一虚拟视点VP3由实线箭头表示,第二虚拟视点VP4由虚线箭头表示。
如图所示,视点控制部120b将第一虚拟视点VP3的视线的方向与第二虚拟视点VP4的视线的方向分别彼此反转地从车辆109的左方改变至与其相反的车辆109的右方。
具体而言,首先,视点控制部120b使第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向朝向作为初始方向的沿着车辆109的左右方向的左方。并且,视点控制部120b使第一虚拟视点VP3的视线的方向绕顺时针(箭头A31)以一定的角速度连续地改变,使第二虚拟视点VP4的视线的方向绕逆时针(箭头A41)以一定的角速度连续地改变。
由此,视点控制部120b使第一虚拟视点VP3的视线的方向从车辆109的左方经由车辆109的前方连续地改变至作为最终方向的沿着车辆109的左右方向的右方(箭头A31、A32)。另外,与此同时,视点控制部120b使第二虚拟视点VP4的视线的方向从车辆109的左方经由车辆109的后方连续地改变至作为最终方向的沿着车辆109的左右方向的右方(箭头A41、A42)。
视点控制部120b使第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向以相同的角速度彼此反转地改变。因此,第一虚拟视点VP3的视线的方向和第二虚拟视点VP4的视线的方向关于沿着车辆109的左右方向的前后中心线CLb始终对称。
这样,第一虚拟视点VP3的视线的方向从车辆109的左方经由车辆109的前方改变至车辆109的右方。另一方面,第二虚拟视点VP4的视线的方向从车辆109的左方经由车辆109的后方改变至车辆109的右方。因此,如图47所示,在表示基于第一虚拟视点VP3的第一图像CP3的显示装置103的显示区域RU中,进行以环绕车辆109的周围的前半部分的方式表示的动画演示。另外,与此同时,在表示基于第二虚拟视点VP4的第二图像CP4的显示装置103的显示区域RD中,进行以环绕车辆109的周围的后半部分的方式表示的动画演示。
图49是表示第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向朝向作为初始方向的车辆109的左方的情况下的、第一图像CP3以及第二图像CP4的例子的图。第一图像CP3示出车辆109的左前方的情况,第二图像CP4示出车辆109的左后方的情况。在该情况下,也可以为没有边界线BL而将第一图像CP3与第二图像CP4一体化而成的一个图像。
图50是接着图49的情况表示第一虚拟视点VP3的视线的方向朝向车辆109的前方、第二虚拟视点VP4的视线的方向朝向车辆109的后方的情况下的、第一图像CP3以及第二图像CP4的例子的图。第一图像CP3示出车辆109的前方的情况,第二图像CP4示出车辆109的后方的情况。
图51是接着图50的情况表示第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向朝向作为最终方向的车辆109的右方的情况下的、第一图像CP3以及第二图像CP4的例子的图。第一图像CP3示出车辆109的右前方的情况,第二图像CP4示出车辆109的右后方的情况。在该情况下,也可以为没有边界线BL而将第一图像CP3与第二图像CP4一体化而成的一个图像。
这样,在第十一实施方式中,图像显示系统110使两个虚拟视点VP3、VP4的视线的方向分别彼此反转地改变180°(参照图48),同时显示基于这两个虚拟视点VP3、VP4生成的第一图像CP3及第二图像CP4。因此,使用者通过利用图像显示系统110,能够在比较短的时间内确认车辆109的周围的整体情况。
另外,显示装置103使主要表示车辆109的前方的第一图像CP3显示于相对而言位于上侧的显示区域RU,使主要表示车辆109的后方的第二图像CP4显示于相对而言位于下侧的显示区域RD(参照图47)。因此,使用者能够直观地把握第一图像CP3以及第二图像CP4各自所表示的被摄体位于车辆109的前方和后方中的哪一方。
另外,第一虚拟视点VP3的视线的方向和第二虚拟视点VP4的视线的方向关于车辆109的前后中心线CLb对称(参照图48)。因此,使用者能够容易地把握第一图像CP3以及第二图像CP4各自所表示的被摄体的位置。
<13.第十二实施方式>
接着,说明第十二实施方式。以下,主要说明与第十一实施方式的不同点,关于与第十一实施方式相同或同样的结构及动作,省略重复的说明。
在第十一实施方式中,在周围确认模式M12中,视点控制部120b将第一虚拟视点VP3以及第二虚拟视点VP4这双方的位置维持在中心位置PC。在第十二实施方式中,视点控制部120b使第一虚拟视点VP3以及第二虚拟视点VP4的位置移动。
图52是表示第十二实施方式的周围确认模式M12中的两个虚拟视点VP3、VP4的移动路径的图。视点控制部120b使第一虚拟视点VP3以及第二虚拟视点VP4这双方的位置沿车辆109的左右方向直线地移动。
在第十二实施方式中,第一虚拟视点VP3的视线的方向与第二虚拟视点VP4的视线的方向关于沿着车辆109的左右方向的前后中心线CLb始终对称。另外,第一虚拟视点VP3的位置与第二虚拟视点VP4的位置始终相同。
首先,视点控制部120b使第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向朝向作为初始方向的沿着车辆109的左右方向的左方。另外,视点控制部120b将第一虚拟视点VP3和第二虚拟视点VP4这双方的位置设定为作为初始位置的车室191的左部中央的位置(以下称为“左部中央位置”)PL。
接着,视点控制部120b在将第一虚拟视点VP3和第二虚拟视点VP4这双方的位置维持在左方中央位置PL的同时,使第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向彼此反转地改变90°。即,视点控制部120b绕顺时针以一定的角速度连续地改变第一虚拟视点VP3的视线的方向(箭头A33),以使得第一虚拟视点VP3的视线的方向朝向沿着车辆109的前后方向的前方。另外,与此同时,视点控制部120b绕逆时针以一定的角速度连续地改变第二虚拟视点VP4的视线的方向(箭头A43),以使得第二虚拟视点VP4的视线的方向朝向沿着车辆109的前后方向的后方。
接着,视点控制部120b在维持第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向的同时,使第一虚拟视点VP3和第二虚拟视点VP4这双方的位置沿着车辆109的左右方向向右方移动。即,视点控制部120b使第一虚拟视点VP3和第二虚拟视点VP4这双方的位置从左部中央位置PL以一定的速度连续地移动至作为最终位置的车室191的右部中央的位置(以下称为“右部中央位置”)PR(箭头B30)。
接着,视点控制部120b在将第一虚拟视点VP3和第二虚拟视点VP4这双方的位置维持在右方中央位置PR的同时,使第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向彼此反转地改变90°。即,视点控制部120b绕顺时针以一定的角速度连续地改变第一虚拟视点VP3的视线的方向(箭头A34),以使得第一虚拟视点VP3的视线的方向朝向沿着车辆109的左右方向的右方。另外,与此同时,视点控制部120b绕逆时针以一定的角速度连续地改变第二虚拟视点VP4的视线的方向(箭头A44),以使得第二虚拟视点VP4的视线的方向朝向沿着车辆109的左右方向的右方。由此,最终第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向朝向作为最终方向的车辆109的右方。
这样,视点控制部120b根据第一虚拟视点VP3的视线的方向来移动第一虚拟视点VP3的位置,根据第二虚拟视点VP4的视线的方向来移动第二虚拟视点VP4的位置。
即,视点控制部120b在第一虚拟视点VP3的视线的方向朝向车辆109的左方的情况下,使第一虚拟视点VP3的位置位于车室191的左部。另外,视点控制部120b在第一虚拟视点VP3的视线的方向朝向车辆109的右方的情况下,使第一虚拟视点VP3的位置位于车室191的右部。同样地,视点控制部120b在第二虚拟视点VP4的视线的方向朝向车辆109的左方的情况下,使第二虚拟视点VP4的位置位于车室191的左部。另外,视点控制部120b在第二虚拟视点VP4的视线的方向朝向车辆109的右方的情况下,使第二虚拟视点VP4的位置朝向车室191的右部。
这样,通过也以接近虚拟视点VP3、VP4的视线的方向的方式移动虚拟视点VP3、VP4的位置,能够减少虚拟视点图像CP3、CP4所包含的表示为车辆像190的车身部分,且能够增大所包含的被摄体的像。其结果是,能够提高虚拟视点图像CP3、CP4所包含的车辆109的被摄体的像的视认性。
<14.第十三实施方式>
接着,说明第十三实施方式。以下,主要说明与第十二实施方式的不同点,关于与第十二实施方式相同或同样的结构及动作,省略重复的说明。
在第十二实施方式中,视点控制部120b使第一虚拟视点VP3以及第二虚拟视点VP4的位置仅沿车辆109的左右方向移动。在第十三实施方式中,视点控制部120b使第一虚拟视点VP3以及第二虚拟视点VP4的位置沿车辆109的左右方向移动并且还沿前后方向移动。
图53是表示第十三实施方式的周围确认模式M12中的两个虚拟视点VP3、VP4的移动路径的图。视点控制部120b使第一虚拟视点VP3以及第二虚拟视点VP4的位置沿着车室191的周缘在车辆109的前后方向以及左右方向上直线地移动。
在第十三实施方式中,第一虚拟视点VP3的视线的方向与第二虚拟视点VP4的视线的方向关于沿着车辆109的左右方向的前后中心线CLb始终对称。另外,第一虚拟视点VP3的位置与第二虚拟视点VP4的位置关于前后中心线CLb始终对称。
首先,视点控制部120b使第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向朝向作为初始方向的沿着车辆109的左右方向的左方。另外,视点控制部120b将第一虚拟视点VP3和第二虚拟视点VP4这双方的位置设定为作为初始位置的左方中央位置PL。
接着,视点控制部120b在维持第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向的同时,使第一虚拟视点VP3和第二虚拟视点VP4这双方的位置沿着车辆109的前后方向彼此反向地移动。即,视点控制部120b使第一虚拟视点VP3的位置从左部中央位置PL沿着车室191的左侧的周缘向前方以一定的速度连续地移动至车室191的前部左端的位置PFL(箭头B31)。另外,与此同时,视点控制部120b使第二虚拟视点VP4的位置从左部中央位置PL沿着车室191的左侧的周缘向后方以一定的速度连续地移动至车室191的后部左端的位置PBL(箭头B41)。
接着,视点控制部120b在维持第一虚拟视点VP3和第二虚拟视点VP4这双方的位置的同时,使第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向彼此反转地改变90°。即,视点控制部120b绕顺时针以一定的角速度连续地改变第一虚拟视点VP3的视线的方向(箭头A35),以使得第一虚拟视点VP3的视线的方向朝向沿着车辆109的前后方向的前方。另外,与此同时,视点控制部120b绕逆时针以一定的角速度连续地改变第二虚拟视点VP4的视线的方向(箭头A45),以使得第二虚拟视点VP4的视线的方向朝向沿着车辆109的前后方向的后方。
接着,视点控制部120b在维持第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向的同时,使第一虚拟视点VP3和第二虚拟视点VP4这双方的位置沿着车辆109的左右方向向右方移动。即,视点控制部120b使第一虚拟视点VP3的位置从车室191的前部左端的位置PFL沿着车室191的前侧的周缘向右方以一定的速度连续地移动至前部右端的位置PFR(箭头B32)。另外,与此同时,视点控制部120b使第二虚拟视点VP4的位置从车室191的后部左端的位置PBL沿着车室191的后侧的周缘向右方以一定的速度连续地移动至后部右端的位置PBR(箭头B42)。
接着,视点控制部120b在维持第一虚拟视点VP3和第二虚拟视点VP4这双方的位置的同时,使第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向彼此反转地改变90°。即,视点控制部120b绕顺时针以一定的角速度连续地改变第一虚拟视点VP3的视线的方向(箭头A36),以使得第一虚拟视点VP3的视线的方向朝向作为最终方向的沿着车辆109的左右方向的右方。另外,与此同时,视点控制部120b绕逆时针以一定的角速度连续地改变第二虚拟视点VP4的视线的方向(箭头A46),以使得第二虚拟视点VP4的视线的方向朝向作为最终方向的沿着车辆109的左右方向的右方。
接着,视点控制部120b在维持第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向的同时,使第一虚拟视点VP3和第二虚拟视点VP4这双方的位置沿着车辆109的前后方向彼此反向地移动。即,视点控制部120b使第一虚拟视点VP3的位置从车室191的前部右端的位置PFR沿着车室191的右侧的周缘向后方以一定的速度连续地移动至右部中央位置PR(箭头B33)。另外,与此同时,视点控制部120b使第二虚拟视点VP4的位置从车室191的后部右端的位置PBR沿着车室191的右侧的周缘向前方以一定的速度连续地移动至右部中央位置PR(箭头B43)。由此,最终第一虚拟视点VP3和第二虚拟视点VP4这双方的位置移动至作为最终位置的右方中央位置PR。
这样,在第十三实施方式中,视点控制部120b以接近虚拟视点VP3、VP4的视线的方向的方式使虚拟视点VP3、VP4的位置沿车辆109的左右方向移动并且还沿前后方向移动。即,视点控制部120b在第一虚拟视点VP3的视线的方向朝向车辆109的前方的情况下,使第一虚拟视点VP3的位置移动至车室191的前部。另外,视点控制部120b在第二虚拟视点VP4的视线的方向朝向车辆109的后方的情况下,使第二虚拟视点VP4的位置移动至车室191的后部。因此,能够进一步有效地提高虚拟视点图像CP3、CP4所包含的被摄体的像的视认性。
<15.第十四实施方式>
接着,说明第十四实施方式。以下,主要说明与第十一实施方式的不同点,关于与第十一实施方式相同或同样的结构及动作,省略重复的说明。
在第十一实施方式中,视点控制部120b以一定的角速度连续地改变第一虚拟视点VP3以及第二虚拟视点VP4的视线的方向。在第十四实施方式中,视点控制部120b离散或阶段地改变第一虚拟视点VP3以及第二虚拟视点VP4的视线的方向。
图54是表示第十四实施方式的周围确认模式M12中的两个虚拟视点VP3、VP4的移动路径的图。在第十四实施方式中,视点控制部120b也将第一虚拟视点VP3和第二虚拟视点VP4这双方的位置设定为车室191的内部中的车辆109的中心位置PC。并且,视点控制部120b使第一虚拟视点VP3的视线的方向和第二虚拟视点VP4的视线的方向从车辆109的左方彼此反转地改变至与其相反的车辆109的右方。但是,在第十四实施方式中,如图所示,视点控制部120b使第一虚拟视点VP3的视线的方向仅朝向车辆109的左方、前方以及右方,使第二虚拟视点VP4的视线的方向仅朝向车辆109的左方、后方以及右方。
首先,视点控制部120b使第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向朝向作为初始方向的沿着车辆109的左右方向的左方。并且,视点控制部120b将该第一虚拟视点VP3以及第二虚拟视点VP4的视线的方向维持规定时间(例如0.5秒钟)。
接着,视点控制部120b将第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向彼此反向地切换。即,视点控制部120b将第一虚拟视点VP3的视线的方向切换为沿着车辆109的前后方向的前方(箭头A37)。与此同时,视点控制部120b将第二虚拟视点VP4的视线的方向切换为沿着车辆109的前后方向的后方(箭头A47)。并且,视点控制部120b将该第一虚拟视点VP3以及第二虚拟视点VP4的视线的方向维持规定时间(例如0.5秒钟)。
接着,视点控制部120b将第一虚拟视点VP3和第二虚拟视点VP4这双方的视线的方向切换为作为最终方向的沿着车辆109的左右方向的右方(箭头A38、A48)。并且,视点控制部120b将该第一虚拟视点VP3以及第二虚拟视点VP4的视线的方向维持规定时间(例如0.5秒钟)。
这样,在第十四实施方式中,视点控制部120b离散或阶段地改变虚拟视点VP的视线的方向。因此,能够缩短改变虚拟视点VP的视线的方向的时间。其结果是,使用者能够在更短的时间内确认车辆109的周围的整体情况。
需要说明的是,在该第十四实施方式中,期望第一图像CP3以及第二图像CP4的视场角比第十一实施方式宽。另外,与第十二实施方式或第十三实施方式同样地,视点控制部120b也可以根据虚拟视点VP3、VP4的视线的方向来移动虚拟视点VP3、VP4的位置。
<16.第十五实施方式>
接着,说明第十五实施方式。以下,主要说明与第七实施方式的不同点,关于与第七实施方式相同或同样的结构及动作,省略重复的说明。
在第七实施方式中,视点控制部120b以一定的速度(角速度)改变虚拟视点VP1、VP2。在第十五实施方式中,图像显示系统110具有检测存在于车辆109的周边的物体的功能,视点控制部120b根据物体的检测结果来使改变虚拟视点VP1、VP2的速度变化。
图55是表示第十五实施方式的图像显示系统110的结构的图。第十五实施方式的图像显示系统110除了图28所示的第七实施方式的结构之外还具备物体检测装置107。物体检测装置107用于检测存在于车辆109的周边的物体。物体检测装置107将表示检测到物体的检测结果的信号输出至图像生成装置102。图像生成装置102的信号接收部126(接收部的一例)接收该信号并输入至控制部120。
图56是主要表示物体检测装置107的结构的图。如图所示,物体检测装置107具备统括装置整体的声纳控制部171和多个间隙声纳172。各间隙声纳172通过发出超声波并接收该超声波被物体反射后的反射波,来检测存在于车辆109的周边的物体。各间隙声纳172将检测结果输入至声纳控制部171。
图57是表示多个间隙声纳172配置于车辆109的位置的图。如图57所示,在车辆109中,设有10个间隙声纳172。在车辆109的前部以及后部分别设有3个间隙声纳172。另外,在车辆109的左部以及右部分别设有2个间隙声纳172。
各间隙声纳172用于检测存于自身附近的物体。利用这样的多个间隙声纳172,物体检测装置107能够检测存在于车辆109的周边的物体。另外,声纳控制部171通过确定检测到物体的间隙声纳172,也能够检测存在于车辆109的周边的物体的位置。
物体检测装置107的检测结果包含这样的物体的位置。声纳控制部171将表示该检测结果的信号输出至图像生成装置102。图像生成装置102的视点控制部120b基于该物体检测装置107的检测结果所包含的物体的位置,来使改变虚拟视点VP1、VP2的速度变化。
在车辆109的周边不存在物体的情况下,视点控制部120b与第七实施方式同样地,以一定的角速度(以下称为“基准角速度”)连续地改变虚拟视点VP1、VP2的视线的方向。另一方面,在车辆109的周边存在物体的情况下,视点控制部120b在第一虚拟视点VP1以及第二虚拟视点VP2中的任一者的视线的方向朝向该物体时,使改变虚拟视点VP1、VP2的视线的方向的角速度比基准角速度慢。
图58是表示第十五实施方式的周围确认模式M12中的两个虚拟视点VP1、VP2的移动路径的一例的图。在图58所示的例子中,在车辆109的前护板附近存在有物体OB。
在该情况下也同样,首先,视点控制部120b使两个虚拟视点VP1、VP2的视线的方向朝向作为初始方向的车辆109的前方,然后绕逆时针改变第一虚拟视点VP1的视线的方向,绕顺时针改变第二虚拟视点VP2的视线的方向。
在第一虚拟视点VP1以及第二虚拟视点VP2的视线的方向均不朝向物体OB的情况下,视点控制部120b使改变两个虚拟视点VP1、VP2的视线的方向的角速度为基准角速度(箭头A1a、A2a)。
另外,在第一虚拟视点VP1以及第二虚拟视点VP2中的任一者的视线的方向朝向物体OB的情况下,视点控制部120b使改变两个虚拟视点VP1、VP2的视线的方向的角速度比基准角速度慢(箭头A1b、A2b)。
在图58所示的例子中,第一虚拟视点VP1的视线的方向朝向物体OB。在该情况下,第二虚拟视点VP2的视线的方向未朝向物体OB,但两个虚拟视点VP1、VP2的视线的方向对称,因此,视点控制部120b使改变两个虚拟视点VP1、VP2这双方的视线的方向的角速度比基准角速度慢。
然后,当第一虚拟视点VP1以及第二虚拟视点VP2的视线的方向均不朝向物体OB时,视点控制部120b使改变两个虚拟视点VP1、VP2的视线的方向的角速度返回到基准角速度(箭头A1c、A2c)。
这样,在第十五实施方式中,在第一虚拟视点VP1以及第二虚拟视点VP2中的任一者的视线的方向朝向物体的情况下,与它们的视线的方向均不朝向物体的情况相比较,使改变第一虚拟视点VP1以及第二虚拟视点VP2的速度变慢。由此,使用者能够详细地确认第一图像CP1或第二图像CP2示出的该物体。
需要说明的是,在上述的结构中,与第七实施方式同样地改变虚拟视点的视线的方向,根据物体的检测结果来使改变虚拟视点的速度变化。在与第八、第九、第十一、第十二以及第十三实施方式的任一实施方式同样地改变虚拟视点的视线的方向的情况下,也可以与上述的结构同样地根据物体的检测结果来使改变虚拟视点的速度变化。在使虚拟视点的位置沿直线移动时,在虚拟视点的视线的方向朝向物体的情况下,与虚拟视点的视线的方向不朝向物体的情况相比,减慢使虚拟视点的位置移动的速度即可。另外,在与图38所示的比较例同样地改变虚拟视点的视线的方向的情况下,也可以与上述构成同样地根据物体的检测结果来使改变虚拟视点的速度变化。
另外,在上述的结构中,在第一虚拟视点VP1与第二虚拟视点VP2中的仅任意一方的视线的方向朝向物体OB的情况下,视点控制部120b也使改变两个虚拟视点VP1、VP2这双方的速度变慢。但是,视点控制部120b也可以仅使改变第一虚拟视点VP1与第二虚拟视点VP2中的、视线的方向朝向物体OB的虚拟视点的速度变慢。
另外,在上述的结构中,使用间隙声纳172来检测存在于车辆109的周边的物体。但是,也可以使用图像识别、雷达等其他的手法来检测存在于车辆109的周边的物体。
<17.第十六实施方式>
接着,说明第十六实施方式。以下,主要说明与第十五实施方式的不同点,关于与第十五实施方式相同或同样的结构及动作,省略重复的说明。
第十六实施方式的图像显示系统110与第十五实施方式同样地具备物体检测装置107,具有检测存在于车辆109的周边的物体的功能。第十六实施方式的图像显示系统110根据该物体的检测结果来切换周围确认模式M12中的由显示装置103显示第一图像CP1以及第二图像CP2的显示功能的有效/无效。
图59是表示第十六实施方式的周围确认模式M12中的图像显示系统110的动作流程的图。
当动作模式转变为周围确认模式M12时,首先,物体检测装置107执行检测存在于车辆109的周边的物体的处理。然后,图像生成装置102的显示控制部120a获取该物体检测装置107的检测结果(步骤S121)。
在基于物体检测装置107的检测结果而存在有物体的情况下(在步骤S122中为是),显示控制部120a(控制部的一例)使显示装置103显示第一图像CP1以及第二图像CP2的显示功能有效化(步骤S123)。然后,处理进入图40的步骤S111,如使用图40说明的那样,进行表示车辆109的周边情况的动画演示。此时,与第十五实施方式同样地,在第一虚拟视点VP1以及第二虚拟视点VP2中的任一者的视线的方向朝向物体的情况下,期望使改变第一虚拟视点VP1以及第二虚拟视点VP2的速度变慢。
另一方面,在基于物体检测装置107的检测结果而不存在物体的情况下(在步骤S122中为否),显示控制部120a使显示装置103显示第一图像CP1以及第二图像CP2的显示功能无效化(步骤S124)。在该情况下,不进行表示车辆109的周边情况的动画演示,直接结束周围确认模式M12中的图像显示系统110的动作。
这样,在第十六实施方式中,仅在物体检测装置107检测到物体的情况下,显示控制部120a使显示装置103显示第一图像CP1以及第二图像CP2的显示功能有效化。因此,使用者能够意识到在车辆109的周边存在有物体从而确认车辆109的周边情况。另外,在车辆109的周边不存在物体的情况下,能够缩短周围确认模式M12中的图像显示系统110的动作时间。
<18.第七~第十六实施方式涉及的变形例>
本发明不限定于上述的实施方式例,能够进行各种各样的变形。以下,说明这样的变形例。包含上述的实施方式例以及以下说明的变形例在内的所有的方式例都能适当地组合。
在上述第七~第十实施方式中,初始方向是车辆109的前方。但是,初始方向也可以为车辆109的后方。另外,在上述第十一~第十四实施方式中,初始方向是车辆109的左方。但是,初始方向也可以为车辆109的右方。使初始方向为车辆109的左方及右方中的哪一方,期望根据车辆109中的驾驶席的位置来决定。即,若是右方向盘车,期望使车辆109的左方为初始方向,若是左方向盘车,期望使车辆109的右方为初始方向。这样,若使与驾驶席所在的一侧相反的一侧的方向为初始方向,则使用者(主要是驾驶员)能够从驾驶席优先确认成为死角的位置的车辆109的周边情况。
在上述第七~第十实施方式中,显示装置103以使第一图像CP1与第二图像CP2左右相邻的方式进行显示。在上述第十一~第十四实施方式中,显示装置103以使第一图像CP3与第二图像CP4上下相邻的方式进行显示。但是,这样的虚拟视点图像的显示方式也可以为使用者能够选择。
图60是表示显示于显示装置103的设定画面130的一例的图。在这样的设定画面130中,使用者通过触摸“1画面”按钮132、“左右”按钮133以及“上下”按钮134中的任一个,能够选择虚拟视点图像的显示方式。在使用者触摸了“左右”按钮133的情况下,与第七~第十实施方式同样地,显示装置103以第一图像CP1与第二图像CP2左右相邻的方式进行显示。另一方面,在使用者触摸了“上下”按钮134的情况下,与第十一~第十四实施方式同样地,显示装置103以第一图像CP3与第二图像CP4上下相邻的方式进行显示。另外,在使用者触摸了“1画面”按钮132的情况下,与图38所示的比较例同样地,改变一个虚拟视点的视线的方向,显示装置103仅显示一个虚拟视点图像。
在图60所示的设定画面130中,使用者通过操作滑块135而能够调整改变虚拟视点的速度。而且,使用者通过触摸“前方”按钮136、“后方”按钮137、“左方”按钮138以及“右方”按钮139中的任一个,能够选择初始方向。需要说明的是,用于选择初始方向的按钮136~139期望根据使用者选择的显示方式来切换有效/无效。
上述实施方式的图像显示系统110将车辆109的周围整体作为显示对象范围。但是,也可以仅将车辆109的周围的一部分区域作为显示对象范围。在该情况下,通过在显示对象范围内使两个虚拟视点的视线的方向分别彼此反转地改变,并同时显示基于这两个虚拟视点生成的第一图像以及第二图像,使用者能够在比较短的时间内确认显示对象范围的情况。
在上述第八实施方式中,视点控制部120b使虚拟视点VP1、VP2的位置仅沿车辆109的前后方向移动。但是,视点控制部120b也可以根据虚拟视点VP1、VP2的视线的方向来使虚拟视点VP1、VP2的位置仅沿车辆109的左右方向移动。在上述第十二实施方式中,视点控制部120b使虚拟视点VP3、VP4的位置仅沿车辆109的左右方向移动。但是,视点控制部120b也可以根据虚拟视点VP3、VP4的视线的方向来使虚拟视点VP3、VP4的位置仅沿车辆109的前后方向移动。
在上述的实施方式例中,第一生成部122a以及第二生成部122b分别使用从四个相机105获取的四个拍摄图像数据的全部来生成虚拟视点图像。但是,也可以使用从四个拍摄图像数据中选择的一个以上三个以下的拍摄图像数据(至少一个拍摄图像数据)来生成虚拟视点图像。
在上述实施方式中,车辆像190的相当于车身底面以外的部分为透明或半透明。但是,该部分也可以为非透明。
<19.进一步的变形例>
在上述的实施方式例中,说明了图像显示系统10、110为搭载于车辆9、109的装置,但也可以为带入车辆且能够使用的智能电话等可搬型的计算机。
在上述的实施方式例中,参照一个模块说明的功能未必一定由单一的物理要素实现,也可以由分散的物理要素实现。另外,在上述的实施方式例中,参照多个模块说明的功能也可以由单一的物理要素实现。另外,也可以使车辆内的装置与车辆外的装置分担任意一个功能涉及的处理,并在这些装置之间通过通信来进行信息的交换,从而作为整体来实现该一个功能。
在上述的实施方式例中,说明为通过执行程序而以软件实现的功能的至少一部分也可以由电硬件电路实现,说明为由硬件电路实现的功能的至少一部分也可以由软件实现。另外,在上述的实施方式例中,参照一个模块说明的功能也可以通过软件和硬件的协作来实现。
作为构成本申请的记载的一部分的内容,引用2013年9月19日提出的日本特许出愿2013-193909以及2013年10月31日提出的日本特许出愿2013-226161的内容。

Claims (25)

1.一种图像生成装置,其在车辆中使用,
该图像生成装置具备:
获取部,其从多个相机获取多个拍摄图像数据;
生成部,其使用所述多个拍摄图像数据的至少一个和所述车辆的车身数据,连续地生成表示从位于所述车辆的车室内的虚拟视点观察到的所述车辆的周边与所述车辆的车身的虚拟视点图像;以及
控制部,其以使所述虚拟视点的视线环绕所述车辆的周围的方式改变该视线的俯视下的角度,并且沿所述车辆的前后方向移动所述虚拟视点的位置。
2.根据权利要求1所述的图像生成装置,其中,
所述控制部根据所述视线的方向来移动所述虚拟视点的位置。
3.根据权利要求1或2所述的图像生成装置,其中,
所述控制部沿着所述车辆的车室的周缘在所述车辆的前后方向以及左右方向上移动所述虚拟视点的位置。
4.根据权利要求1或2所述的图像生成装置,其中,
所述控制部在所述视线的所述俯视下的角度的变更中维持所述虚拟视点的位置,在所述虚拟视点的位置的移动中维持所述视线的所述俯视下的角度。
5.根据权利要求1或2所述的图像生成装置,其中,
所述控制部同时改变所述视线的所述俯视下的角度和所述虚拟视点的位置。
6.根据权利要求1或2所述的图像生成装置,其中,
所述控制部使所述虚拟视点的位置以长轴沿着所述车辆的前后方向的椭圆状移动。
7.根据权利要求1或2所述的图像生成装置,其中,
所述生成部将所述多个拍摄图像数据投影到虚拟的投影面,使用所述投影面的一部分区域来生成所述虚拟视点图像,
所述多个相机的至少一个的光轴的俯角与其他相机不同,
所述控制部调整所述视线的俯角,以使得所述虚拟视点图像不包含所述投影面中的位于被投影所述多个拍摄图像数据的投影区域的外侧的非投影区域。
8.根据权利要求7所述的图像生成装置,其中,
所述控制部在所述视线朝向所述投影面中的所述投影区域最小的方向的情况下,将所述视线的俯角维持在所述虚拟视点图像不包含所述非投影区域的特定角度。
9.根据权利要求7所述的图像生成装置,其中,
所述控制部根据所述投影面中的所述视线朝向的方向的所述投影区域的尺寸来改变所述视线的俯角。
10.根据权利要求7所述的图像生成装置,其中,
所述控制部在所述虚拟视点的位置为特定位置以外的情况下,将所述虚拟视点的视线的俯角维持在特定角度,该特定角度是在所述视线朝向所述投影面中的所述投影区域最小的方向的情况下、所述虚拟视点图像不包含所述非投影区域的特定角度,
所述控制部在所述虚拟视点的位置为所述特定位置的情况下,使所述虚拟视点的视线的俯角比所述特定角度小。
11.一种图像生成装置,其在车辆中使用,
该图像生成装置具备:
获取部,其从多个相机获取多个拍摄图像数据;
生成部,其将所述多个拍摄图像数据投影到虚拟的投影面,使用所述投影面的一部分区域,连续地生成表示从位于所述车辆的车室内的虚拟视点观察到的所述车辆的周边的虚拟视点图像;以及
控制部,其以使所述虚拟视点的视线环绕所述车辆的周围的方式改变该视线的俯视下的角度,
所述多个相机的至少一个的光轴的俯角与其他相机不同,
所述控制部调整所述视线的俯角,以使得所述虚拟视点图像不包含所述投影面中的位于被投影所述多个拍摄图像数据的投影区域的外侧的非投影区域。
12.一种图像显示系统,其在车辆中使用,
该图像显示系统具备:
权利要求1~11中任一项所述的图像生成装置;以及
显示装置,其显示在所述图像生成装置中生成的虚拟视点图像。
13.一种图像生成方法,其在车辆中执行,
该图像生成方法具备下述步骤:
(a)从多个相机获取多个拍摄图像数据;
(b)使用所述多个拍摄图像数据的至少一个和所述车辆的车身数据,连续地生成表示从位于所述车辆的车室内的虚拟视点观察到的所述车辆的周边与所述车辆的车身的虚拟视点图像;
(c)以使所述虚拟视点的视线环绕所述车辆的周围的方式改变该视线的俯视下的角度,并且沿所述车辆的前后方向移动所述虚拟视点的位置。
14.一种图像生成方法,其在车辆中执行,
该图像生成方法具备下述步骤:
(a)从多个相机获取多个拍摄图像数据;
(b)将所述多个拍摄图像数据投影到虚拟的投影面,使用所述投影面的一部分区域,连续地生成表示从位于所述车辆的车室内的虚拟视点观察到的所述车辆的周边的虚拟视点图像;
(c)以使所述虚拟视点的视线环绕所述车辆的周围的方式改变该视线的俯视下的角度,
所述多个相机的至少一个的光轴的俯角与其他相机不同,
在所述步骤(c)中调整所述视线的俯角,以使得所述虚拟视点图像不包含所述投影面中的位于被投影所述多个拍摄图像数据的投影区域的外侧的非投影区域。
15.一种图像显示系统,其在车辆中使用,
该图像显示系统具备:
获取部,其从多个相机获取多个拍摄图像数据;
第一生成部,其使用所述多个拍摄图像数据的至少一个,生成表示从位于所述车辆的车室内的第一虚拟视点观察到的所述车辆的周边的第一图像;
第二生成部,其使用所述多个拍摄图像数据的至少一个,生成表示从位于所述车辆的车室内的第二虚拟视点观察到的所述车辆的周边的第二图像;
显示部,其同时显示所述第一图像和所述第二图像;以及
变更控制部,其使所述第一虚拟视点的视线的方向与所述第二虚拟视点的视线的方向分别彼此反转地连续改变,由此连续地生成所述第一图像和所述第二图像。
16.根据权利要求15所述的图像显示系统,其中,
所述变更控制部使所述第一虚拟视点的视线的方向与所述第二虚拟视点的视线的方向分别从所述车辆的第一方向改变至与该第一方向相反的第二方向。
17.根据权利要求15所述的图像显示系统,其中,
所述变更控制部使所述第一虚拟视点的视线的方向经由所述车辆的左方而改变,并且使所述第二虚拟视点的视线的方向经由所述车辆的右方而改变,
所述显示部在相对而言位于左侧的第一区域显示所述第一图像,并且在相对而言位于右侧的第二区域显示所述第二图像。
18.根据权利要求16所述的图像显示系统,其中,
所述变更控制部使所述第一虚拟视点的视线的方向经由所述车辆的左方而改变,并且使所述第二虚拟视点的视线的方向经由所述车辆的右方而改变,
所述显示部在相对而言位于左侧的第一区域显示所述第一图像,并且在相对而言位于右侧的第二区域显示所述第二图像。
19.根据权利要求15所述的图像显示系统,其中,
所述变更控制部使所述第一虚拟视点的视线的方向经由所述车辆的前方而改变,并且使所述第二虚拟视点的视线的方向经由所述车辆的后方而改变,
所述显示部在相对而言位于上侧的第一区域显示所述第一图像,并且在相对而言位于下侧的第二区域显示所述第二图像。
20.根据权利要求16所述的图像显示系统,其中,
所述变更控制部使所述第一虚拟视点的视线的方向经由所述车辆的前方而改变,并且使所述第二虚拟视点的视线的方向经由所述车辆的后方而改变,
所述显示部在相对而言位于上侧的第一区域显示所述第一图像,并且在相对而言位于下侧的第二区域显示所述第二图像。
21.根据权利要求17~20中任一项所述的图像显示系统,其中,
所述第一虚拟视点的视线的方向与所述第二虚拟视点的视线的方向关于所述车辆的中心线对称。
22.根据权利要求15~20中任一项所述的图像显示系统,其中,
该图像显示系统还具备移动控制部,该移动控制部根据所述第一虚拟视点的视线的方向来移动所述第一虚拟视点的位置,并且根据所述第二虚拟视点的视线的方向来移动所述第二虚拟视点的位置。
23.根据权利要求15~20中任一项所述的图像显示系统,其中,
该图像显示系统还具备接收部,该接收部接收在所述车辆的周边存在的物体的检测结果,
所述变更控制部在所述第一虚拟视点以及所述第二虚拟视点中的一方的虚拟视点的视线的方向朝向所述物体的情况下,与所述一方的虚拟视点的视线的方向未朝向所述物体的情况相比,使改变所述一方的虚拟视点的速度变慢。
24.根据权利要求15~20中任一项所述的图像显示系统,其中,
该图像显示系统还具备:
接收部,其接收在所述车辆的周边存在的物体的检测结果;以及
控制部,其在所述检测结果表示存在所述物体的情况下,使由所述显示部显示所述第一图像以及所述第二图像的显示功能有效化,在所述检测结果表示不存在所述物体的情况下,使所述显示功能无效化。
25.一种图像显示方法,其在车辆中执行,
该图像显示方法具备下述步骤:
(a)从多个相机获取多个拍摄图像数据;
(b)使用所述多个拍摄图像数据的至少一个,生成表示从位于所述车辆的车室内的第一虚拟视点观察到的所述车辆的周边的第一图像;
(c)使用所述多个拍摄图像数据的至少一个,生成表示从位于所述车辆的车室内的第二虚拟视点观察到的所述车辆的周边的第二图像;
(d)同时显示所述第一图像以及所述第二图像;
(e)使所述第一虚拟视点的视线的方向与所述第二虚拟视点的视线的方向分别彼此反转地连续改变,由此连续地生成所述第一图像和所述第二图像。
CN201480051322.7A 2013-09-19 2014-08-25 图像生成装置、图像显示系统、图像生成方法以及图像显示方法 Active CN105556956B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2013193909A JP6257978B2 (ja) 2013-09-19 2013-09-19 画像生成装置、画像表示システム及び画像生成方法
JP2013-193909 2013-09-19
JP2013226161A JP6258000B2 (ja) 2013-10-31 2013-10-31 画像表示システム、画像表示方法及びプログラム
JP2013-226161 2013-10-31
PCT/JP2014/072162 WO2015041005A1 (ja) 2013-09-19 2014-08-25 画像生成装置、画像表示システム、画像生成方法、および画像表示方法

Publications (2)

Publication Number Publication Date
CN105556956A CN105556956A (zh) 2016-05-04
CN105556956B true CN105556956B (zh) 2019-01-22

Family

ID=52688660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480051322.7A Active CN105556956B (zh) 2013-09-19 2014-08-25 图像生成装置、图像显示系统、图像生成方法以及图像显示方法

Country Status (4)

Country Link
US (1) US9961259B2 (zh)
CN (1) CN105556956B (zh)
DE (1) DE112014004305B4 (zh)
WO (1) WO2015041005A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6565148B2 (ja) * 2014-09-05 2019-08-28 アイシン精機株式会社 画像表示制御装置および画像表示システム
JP6379967B2 (ja) * 2014-10-09 2018-08-29 株式会社デンソー 画像生成装置および画像生成方法
DE102015007391A1 (de) * 2015-06-10 2016-12-15 Audi Ag Verfahren zum Betrieb eines kamerabasierten Fahrzeugsystems
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP6350492B2 (ja) * 2015-11-26 2018-07-04 トヨタ自動車株式会社 画像表示装置
JP6742869B2 (ja) * 2016-09-15 2020-08-19 キヤノン株式会社 画像処理装置および画像処理方法
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
US10589679B1 (en) * 2016-10-28 2020-03-17 Zoox, Inc. Providing visual references to prevent motion sickness in vehicles
JP6658643B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
EP3392801A1 (en) 2017-04-21 2018-10-24 Harman International Industries, Incorporated Systems and methods for driver assistance
US10349025B2 (en) * 2017-07-27 2019-07-09 Seiko Epson Corporation Projector and method of controlling projector
JP2019036832A (ja) * 2017-08-14 2019-03-07 アイシン精機株式会社 周辺監視装置
WO2019049709A1 (ja) * 2017-09-07 2019-03-14 ソニー株式会社 画像処理装置、画像処理方法、および画像表示システム
JP6958163B2 (ja) * 2017-09-20 2021-11-02 株式会社アイシン 表示制御装置
JP7140487B2 (ja) * 2017-10-25 2022-09-21 キヤノン株式会社 情報処理装置、表示制御方法、及び、プログラム
DE102018100211A1 (de) * 2018-01-08 2019-07-11 Connaught Electronics Ltd. Verfahren zum Erzeugen einer Darstellung einer Umgebung durch Verschieben einer virtuellen Kamera in Richtung eines Innenspiegels eines Fahrzeugs; sowie Kameraeinrichtung
DE102018102051B4 (de) * 2018-01-30 2021-09-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit einem Bildfenster in einem Bild, Computerprogrammprodukt sowie Anzeigesystem
WO2019167285A1 (ja) * 2018-03-02 2019-09-06 三菱電機株式会社 運転支援装置及び運転支援方法
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP7193938B2 (ja) * 2018-07-04 2022-12-21 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP6731020B2 (ja) * 2018-09-03 2020-07-29 株式会社Subaru 車外環境認識装置および車外環境認識方法
US10896335B2 (en) * 2019-01-07 2021-01-19 Ford Global Technologies, Llc Adaptive transparency of virtual vehicle in simulated imaging system
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP7356319B2 (ja) * 2019-10-17 2023-10-04 株式会社Subaru 車外環境認識装置
CN111263133B (zh) * 2020-02-26 2021-10-01 中国联合网络通信集团有限公司 信息处理方法及系统
JP2022048454A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
JP2022048455A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
JP2022101979A (ja) 2020-12-25 2022-07-07 株式会社デンソー 画像生成装置、画像生成方法
CN115988343A (zh) * 2022-11-21 2023-04-18 中国联合网络通信集团有限公司 图像生成方法、装置及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219559A (ja) * 2007-03-06 2008-09-18 Xanavi Informatics Corp 車載カメラシステム
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5627253B2 (ja) * 2009-05-29 2014-11-19 富士通テン株式会社 画像処理装置、電子装置、および、画像処理方法
JP5158051B2 (ja) 2009-09-18 2013-03-06 三菱自動車工業株式会社 運転支援装置
JP5251804B2 (ja) * 2009-09-18 2013-07-31 三菱自動車工業株式会社 運転支援装置
WO2011158609A1 (ja) * 2010-06-15 2011-12-22 アイシン精機株式会社 運転支援装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219559A (ja) * 2007-03-06 2008-09-18 Xanavi Informatics Corp 車載カメラシステム
CN102934427A (zh) * 2009-12-24 2013-02-13 富士通天株式会社 图像处理装置、图像处理系统和图像处理方法

Also Published As

Publication number Publication date
CN105556956A (zh) 2016-05-04
DE112014004305T5 (de) 2016-07-07
WO2015041005A1 (ja) 2015-03-26
DE112014004305B4 (de) 2020-09-10
US20160182823A1 (en) 2016-06-23
US9961259B2 (en) 2018-05-01

Similar Documents

Publication Publication Date Title
CN105556956B (zh) 图像生成装置、图像显示系统、图像生成方法以及图像显示方法
JP5302227B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
CN104883554B (zh) 通过虚拟透视仪器群集显示直播视频的方法和系统
JP4257356B2 (ja) 画像生成装置および画像生成方法
JP4642723B2 (ja) 画像生成装置および画像生成方法
JP5412979B2 (ja) 周辺表示装置
JP6099333B2 (ja) 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
US20140114534A1 (en) Dynamic rearview mirror display features
US11398050B2 (en) Apparatus, method and system for adjusting predefined calibration data for generating a perspective view
US20120293659A1 (en) Parameter determining device, parameter determining system, parameter determining method, and recording medium
WO2000064175A1 (fr) Dispositif de traitement d'images et systeme de surveillance
JP2005335410A (ja) 画像表示装置
CN105711418B (zh) 用于机动车辆的显示设备
JP6257978B2 (ja) 画像生成装置、画像表示システム及び画像生成方法
JP2015074436A (ja) 画像処理装置、画像処理方法、及び、プログラム
WO2022241638A1 (zh) 一种投影方法及装置、车辆及ar-hud
CN109789831A (zh) 用于提供车辆的车辆周围环境的后视镜视图的方法
US20120236287A1 (en) External environment visualization apparatus and method
US20130057574A1 (en) Storage medium recorded with program, information processing apparatus, information processing system, and information processing method
CN105453558A (zh) 车辆周边监视装置以及程序
US20180191960A1 (en) Image processing device and image processing method
JP6258000B2 (ja) 画像表示システム、画像表示方法及びプログラム
JP7084400B2 (ja) 三次元サラウンドビュー・システム
JP5479639B2 (ja) 画像処理装置、画像処理システム、および、画像処理方法
JP7135378B2 (ja) 周辺監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant