CN107878327B - 周边监视装置 - Google Patents

周边监视装置 Download PDF

Info

Publication number
CN107878327B
CN107878327B CN201710573622.7A CN201710573622A CN107878327B CN 107878327 B CN107878327 B CN 107878327B CN 201710573622 A CN201710573622 A CN 201710573622A CN 107878327 B CN107878327 B CN 107878327B
Authority
CN
China
Prior art keywords
vehicle
model
image
monitoring apparatus
periphery monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710573622.7A
Other languages
English (en)
Other versions
CN107878327A (zh
Inventor
丸冈哲也
渡边一矢
乾阳司
山本欣司
平槙崇
桥川拓也
久保田尚孝
木村修
大桥逸子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Co Ltd filed Critical Aisin Co Ltd
Publication of CN107878327A publication Critical patent/CN107878327A/zh
Application granted granted Critical
Publication of CN107878327B publication Critical patent/CN107878327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B60K2360/1438—Touch screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Remote Sensing (AREA)
  • Architecture (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种周边监视装置，包括：获取单元(200)，其获取表示车辆(1)的周边环境的图像和与车辆的状态对应的信息，所述图像是由设置在车辆中的成像装置(16、16a、16b、16c、16d)拍摄的；存储器(210)，其储存表示车辆的三维形状的车辆模型；处理单元(204)，其基于所述信息处理车辆模型；以及输出单元(205)，其将由处理单元所处理的车辆模型叠加到表示周边环境的图像内的、与周边环境中出现所述车辆的位置相对应的位置上，并且所述输出单元将表示周边环境并且上面叠加有所述车辆模型的图像显示在设置在车辆的车厢(2a)中的显示屏幕(8)上。本发明能够以客观且容易理解的方式显示车辆的状态。

Description

周边监视装置
技术领域
本公开涉及一种车辆周边监视装置。
背景技术
在相关技术中，已经提出一种技术，该技术使用设置在车辆中的摄像机拍摄车辆周边环境的图像，并且通过设置在车辆车厢中的显示屏幕将拍摄到的图像提供给驾驶员。参见例如JP2016-021653A(参考文献1)。
例如，当待在车厢里的时候，驾驶员可能想要客观地(objectively)检查车辆状态。就此而言，上述技术具有改进的空间。
因此，需要一种以客观且容易理解的方式来显示车辆状态的周边监视装置。
发明内容
根据本公开方案的一种周边监视装置，例如包括：获取单元，其获取表示车辆的周边环境的图像和与所述车辆的状态对应的信息，其中，所述图像是由设置在所述车辆中的成像装置拍摄的；存储器，其储存表示所述车辆的三维形状的车辆模型；处理单元，其基于所述信息处理所述车辆模型；以及输出单元，其将由所述处理单元所处理的车辆模型叠加到表示周边环境的所述图像内的、与所述周边环境中出现所述车辆的位置相对应的位置上，并且所述输出单元将表示所述周边环境并且上面叠加有所述车辆模型的图像显示在设置在所述车辆的车厢中的显示屏幕上。该周边监视装置在显示屏幕上显示的车辆图像上实时地反映车辆的状态，因而可以以客观且容易理解的方式显示车辆的状态。
在所述周边监视装置中，例如，所述信息可以是表示悬架(suspension)的延伸/收缩量的信息，所述悬架配置为根据延伸/收缩来进行轮子的定位，以及所述处理单元可以根据所述延伸/收缩量来改变所述车辆模型中包括的所述轮子的模型与车体的模型之间的距离。因此，用户可以在待在车厢中的同时根据周边环境来掌握轮子的状态。
在所述周边监视装置中，例如，所述获取单元可以进一步获取由设置在所述车辆中的测量单元所测量的道路表面的三维形状，所述周边监视装置还可以包括生成器，其生成环境模型，在所述环境模型中，表示所述周边环境的所述图像被投影在由所述获取单元获取的道路表面的三维形状上，以及所述输出单元可以将由所述生成器生成的所述环境模型显示在所述显示屏幕上。因此，用户可以通过显示屏幕来识别轮子是否与地面接触。
在所述周边监视装置中，例如，所述信息可以是表示设置在所述车辆中的照明装置是打开还是关闭的信息，以及所述处理单元可以根据所述照明装置是打开还是关闭，来改变所述车辆模型中包括的所述照明装置的模型的颜色。因此，用户可以通过显示屏幕来检视照明装置的打开/关闭。
在所述周边监视装置中，例如，所述信息可以是表示设置在所述车辆中的车门是打开还是关闭的信息，以及所述处理单元可以根据所述车门是打开还是关闭，来改变所述车辆模型中包括的所述车门的模型与车体的模型之间的角度。因此，用户可以通过显示屏幕来检视车门是打开的还是关闭的。
在所述周边监视装置中，例如，所述获取单元可以进一步获取由设置在所述车辆中的测量单元所测量的障碍物的位置，所述周边监视装置还可以包括计算器，其计算受到所述障碍物限制的所述车门的移动范围，以及所述输出单元还可以在所述显示屏幕上显示一显示对象，该显示对象表示由所述计算器计算的所述移动范围。因此，用户可以在无需将头探出车窗以检查外面的情况下从容地(at ease)打开车门。
在所述周边监视装置中，例如，所述信息可以是表示设置在所述车辆中的车门与所述车辆的车体侧表面部分之间的角度的信息，以及所述处理单元可以根据设置在所述车辆中的车门与所述车辆的车体侧表面部分之间的所述角度，来改变所述车辆模型中包括的所述车门的模型与所述车体侧表面部分的模型之间的角度。
附图说明
根据参考附图所做的下述详细说明，本公开的上述及附加的特征和特点将变得更为明显，其中：
图1是根据第一实施例示出了安装有周边监视装置的示例车辆的透视图，通过该透视图部分地示出车厢；
图2是根据第一实施例示出了安装有周边监视装置的示例性车辆的平面图(俯视图)；
图3是根据第一实施例示出了从车辆后侧观察时安装有周边监视装置的车辆的示例性仪表盘的视图；
图4是根据第一实施例示出了周边监视系统的示例性配置的框图；
图5是根据第一实施例示出了显示屏幕的显示示例的视图；
图6是根据第一实施例示出了显示屏幕的另一个显示示例的视图；
图7是根据第一实施例示出了显示屏幕的另一个显示示例的视图；
图8是根据第一实施例示出了显示屏幕的另一个显示示例的视图；
图9是根据第一实施例示出了作为周边监视装置的ECU的功能配置的框图；
图10是示出了第一实施例中环形缓冲区的结构的视图；
图11是根据第一实施例示出了周边监视装置中的图像存储处理过程的流程图；
图12是根据第一实施例示出了周边监视装置中的显示控制处理过程的流程图；
图13是根据第二实施例示出了作为周边监视装置的ECU的功能配置的框图；
图14是根据第二实施例示出了显示屏幕的显示示例的视图；以及
图15是根据第二实施例示出了显示屏幕的另一个显示示例的视图。
具体实施方式
下面将根据第一实施例对安装在车辆1中的周边监视装置的示例进行说明。
<第一实施例>
根据第一实施例的车辆1可以是例如使用内燃机(未示出)作为驱动源的汽车(即内燃机汽车)，或者使用电动机(未示出)作为驱动源的汽车(即电动汽车、燃料电池汽车等)。或者，车辆1可以是使用它们两者作为驱动源的混合动力汽车，或者配备有其他驱动源的汽车。车辆1可以安装有各种传动装置，或者驱动内燃机或电动机所需的各种装置(例如，系统和部件)。可以以多种方式设置与驱动车辆1的轮子3相关的装置的类型、数量、布局等。
图1是根据第一实施例示出了安装有周边监视装置的示例车辆1的透视图，通过该透视图可以看到车厢2a的一部分。图2是根据第一实施例示出了安装有周边监视装置的示例性车辆1的平面图(俯视图)。图3是根据第一实施例示出了从车辆1后方观察的安装有周边监视装置的车辆1的示例性仪表盘的视图。图4是根据第一实施例示出了包括周边监视装置的周边监视系统100的示例性结构的框图。
如图1所示，车体2构成用户(未示出)乘坐的车厢2a。在车厢2a内，转向单元4、加速单元5、制动单元6、换挡单元7等以面向作为用户的驾驶员的座位2b的状态来设置。转向单元4例如是从仪表盘突出的方向盘，加速单元5例如是布置在驾驶员脚下的加速器踏板，制动单元6例如是布置在驾驶员脚下的制动踏板，换挡单元7例如是从中央控制台突出的变速杆。转向单元4、加速单元5、制动单元6以及换挡单元7不限制于这些。
如图1和图3所示，包括显示屏幕8的监控装置10被设置在车厢2a内。显示屏幕8例如由液晶显示器(LCD)、有机电致发光显示器(OLED)等构成。显示屏幕8用透明的监控操作单元9覆盖。监控操作单元9例如是触摸面板。用户可以通过监控操作单元9而可视化的识别显示屏幕8上显示的图像。在对应于显示屏幕8上显示的图像的位置处，用户可以用手指等进行在监控操作单元9上触摸、按压或移动的操作，以便执行操作输入。监控装置10例如被设置在仪表盘的车辆宽度方向(即，左右方向)上的中心部分。除了触摸面板，监控装置10还可以包括监控操作单元。例如，监控装置10可以包括开关、拨盘、操纵杆或按钮以作为其他的监控操作单元。监控装置10还可以用作例如导航系统或音频系统。
在车厢2a内，在支撑转向单元4的转向柱的右侧设置有指示器操作单元19，其是用于接受使方向指示器显示方向指示的操作的杆。用户可以通过垂直下推或上推指示器操作单元19来使方向显示器显示想要的路线。路线的指示是通过使行进方向上的方向指示器闪烁来表示。在指示器操作单元19的顶端处布置了前灯操作单元20，其是用于接受打开或关闭前灯的操作的拨盘。用户可以通过旋转前灯操作单元20来打开或关闭前灯。如同监控操作单元9一样，各种操作单元19和20不限制于此。布置各种操作单元19和20的位置以及操作单元19和20的操作方法可以任意的改变。
如图1和图2所示，在第一实施例中，例如，车辆1是四轮车辆，并且包括两个左/右前轮3F和两个左/右后轮3R。例如，根据转向单元4的操作来改变前轮3F的轮胎角度。
在第一实施例中，如图2所示，设置有激光测距扫描器15和成像单元16(此处为四个成像单元16a至16d)。每个成像单元16例如是结合了诸如电荷耦合器件(CCD)或CMOS图像传感器(CIS)的成像元件的成像装置。每个成像单元16可以通过成像元件拍摄表示周边环境的图像。成像单元16可以执行图像拍摄，并且以预定帧速率输出拍摄到的图像。
在第一实施例中，成像单元16a布置在车体2的前端部(例如，前格栅2c)上。成像单元16a可以对车辆1前方的周边环境进行成像。同时，坐在座位2b的驾驶员所面向前的方向(即从驾驶员来看向的前玻璃侧)被认为是车辆1的前侧和车体2的前侧。成像单元16b设置在左门镜2f上。成像单元16b可以对车辆1左方的周边环境进行成像。成像单元16c设置在后备箱门2g的下壁部分上。成像单元16c也可以设置在后保险杠2e上。成像单元16c可以对车辆1后方的周边环境进行成像。成像单元16d设置在右门镜2f上。成像单元16d可以对车辆1右方的周边环境进行成像。
周边环境是指车辆1周围的情况。例如，周边环境包括车辆1周围的道路表面。只要每个成像单元16可以输出其上拍摄有车辆1周边环境的图像，成像单元16的配置、数量、安装位置和方向就不受限于上述内容。多个成像单元16可以拍摄到图像的范围可以重叠或可以不重叠。
激光测距扫描器15是用于测量道路表面三维形状的测量单元的示例。激光测距扫描器15例如设置在前格栅2c上的成像单元16a的附近。激光测距扫描器15测量道路表面(此处为车辆1前方的道路表面)的三维形状。激光测距扫描器15中包括光源(激光二极管等)和光接收元件。光源向覆盖车辆1前方道路表面的区域三维地发射激光束。当在相应区域中出现的目标被激光束照射到时，激光束被反射。光接收元件接收反射的激光束(反射波)。光接收元件的信息被发送至电控单元(ECU)14，并且ECU 14可以通过评估光接收元件发送的信息并进行计算，来获得表示道路表面三维形状的地形数据。在一个示例中，激光测距扫描器15生成点集数据，该点集数据表示在激光束照射的区域中反射了激光束的各个位置的距离和方向。激光测距扫描器15向ECU 14传输生成的点集数据。激光测距扫描器15输出的数据不限于该点集数据。激光测距扫描器15被配置为输出地形数据。
只要可以测量车辆1行车方向的道路表面三维形状，激光测距扫描器15的配置、安装位置和方向以及激光测距扫描器15的数量就不限于上面所述内容。作为用于测量道路表面三维形状的测量单元，可以采用任意器件来代替激光测距扫描器15。例如，可以采用立体摄影机来作为测量单元。
如图4所示，在周边监视系统100中，监控装置10、ECU 14、指示器操作单元19、前灯操作单元20、变速传感器21、轮速传感器22、加速器传感器23、四个车辆高度传感器24、四个车门传感器25、转向角度传感器26、两个加速度传感器27、制动系统28和转向系统29经由车载网络30而被彼此电连接。车载网络30配置为例如控制器区域网络(CAN)。ECU 14可以通过车载网络30发送控制信号来控制制动系统28等，并且可以通过车载网络30从变速传感器21、轮速传感器22、加速器传感器23、车辆高度传感器24、车门传感器25、转向角度传感器26、加速度传感器27、制动传感器28b、转矩传感器29b等接收检测信息，以及通过车载网络30从监控操作单元9、指示器操作单元19、前灯操作单元20等接收操作信息。ECU 14可以从激光测距扫描器15中接收点集数据，并且从成像单元16a至16d中接收图像。
转向系统29配置为对至少两个轮子3进行转向。转向系统29包括致动器29a和转矩传感器29b。转向系统29受到ECU 14等的电控制来操作致动器29a。转向系统29例如是电动助力转向系统、线控转向(SBW)系统等。转向系统29可以是后轮转向系统(主动后转向(ARS))。致动器29a可以对一个轮子3进行转向，或者可以对多个轮子3进行转向。转矩传感器29b检测例如驾驶员施加到转向单元4的转矩。
变速传感器21例如检测换挡单元7的可移动部的位置。
轮速传感器22检测轮子3的旋转量或每单位时间轮子3的转数。
加速器传感器23例如检测作为加速单元5可移动部的加速器踏板的位置。
四个车门传感器25分别被布置在不同的车门2d处。每一个车门传感器25至少检测相应车门2d是打开的还是关闭的。每个车门传感器25可以检测车门2d被打开的角度。当设置在车辆1中的车门2d的数量不是四个时，车门传感器25的数量不受限于四个。车门传感器25可以不被设置在所有的车门2d中。车门传感器25可以被设置在后备箱门2g中。
转向角度传感器26例如检测诸如方向盘的转向单元4的转向量。转向角度传感器26检测转向角度信息，例如，驾驶员对转向单元4进行转向的转向量，以及每个轮子3在自动转向过程中的转向量。
两个加速度传感器27检测用于计算俯仰角(pitch angle)和倾斜角(roll angle)的加速度。两个加速度传感器27中的一个检测车辆1左右方向上的加速度。两个加速度传感器27中的另一个检测车辆1前后方向上的加速度。
制动系统28包括致动器28a和制动传感器28b。制动系统28通过致动器28a向轮子3施加制动力。制动传感器28b例如检测作为制动单元6可移动部的制动踏板的位置。
四个车辆高度传感器24分别被布置在不同的悬架(未示出)处。悬架是可延伸的，并且至少进行相应轮子3的定位。当延伸及收缩时，悬架可以缓冲来自道路表面的冲击。每个车辆高度传感器24检测相应悬架的延伸/收缩量。
ECU 14例如是计算机。ECU 14包括中央处理单元(CPU)14a、只读存储器(ROM)14b、随机存取存储器(RAM)14c、显示控制器14d和固态驱动器(SSD)14e。CPU 14a、ROM 14b和RAM14c可以集成在同一个封装中。
CPU 14a读取诸如ROM 14b的非易失性存储装置中储存的程序，并且根据该程序执行各种算法处理和控制。CPU 14a例如执行与将要显示在显示屏幕8上的图像相关的成像处理等。
ROM 14b存储程序和执行程序所需的参数等。RAM 14c暂时存储用于CPU 14a中进行的计算的各种数据。在ECU 14的算法处理中，显示控制器14d主要执行由成像单元16获取的并输出到CPU 14a的拍摄图像的处理、从CPU 14a获得的并且显示在显示屏幕8上的显示图像的数据转换等。SSD 14e是可重写非易失存储单元，并且即使当ECU 14断电时也可以存储从CPU 14a获取的数据。
此处，ECU 14是周边监视装置的示例。将对根据第一实施例的周边监视装置的主要特征进行描述。
图5是根据第一实施例示出了显示屏幕8的显示示例的视图。如图所示，周边监视装置在显示屏幕8上显示表示周边环境的图像，并且在表示周边环境的图像上显示并叠加表示车辆1的外观的图像81(以下称为“车辆模型图像81”)。周边监视装置预先储存表示车辆1三维形状的车辆模型(车辆模型211)。周边监视装置在虚拟空间中布置车辆模型211和虚拟视点，计算从虚拟视点观看车辆模型211时可见的图像，并且将所获得的图像设置为车辆模型图像81。也就是说，车辆模型图像81是所显示的车辆模型211的示例。车辆模型图像81与表示周边环境的图像之间的关系对应于车辆1与周边环境之间的实际关系。也就是说，周边监视装置在与周边环境中出现了车辆1的位置相应的、表示周边环境的图像内的位置上叠加了车辆模型211，以使叠加有车辆模型211的表示周边环境的图像被显示在显示屏幕8上。
此处，周边监视装置获取车辆1的状态，并在车辆模型211上反映所获取的状态，由此在车辆模型图像81上反映车辆1的状态。车辆1的状态包括车辆1的部件或设置的外部层面。周边监视装置基于与车辆1的状态对应的信息来确定车辆1的状态。与车辆1的状态对应的信息包括输入到各种操作单元的各种传感器检测结果或操作信息。
在示例中，车辆1的状态包括每个轮子3的位置。每个轮子3可以通过悬架的延伸和收缩而相对于车体2主要进行垂直移动。图6和图7是根据第一实施例示出了显示屏幕8的其它显示示例的视图。这些附图示出了当车辆1正在越野路地形(越野路)上行车的显示示例。根据图6，相对于表示包括在车辆模型图像81中的车体2的部分(车体部分82)，表示右前轮3F的部分(轮胎部分83)的位置等于标准位置。根据图7，相对于车体部分82，轮胎部分83位于标准位置以下。也就是说，图7情况下的车体部分82与轮胎部分83之间的距离L2比图6情况下的车体部分82与轮胎部分83之间的距离L1长。以这样的方式，周边监视装置实时地在车辆模型图像81上反映每个轮子3的垂直位置变化。
周边监视装置可以透明地显示车体部分82，以便使每个轮子3的状态可以通过显示屏幕8而可视化地识别。透明显示可以是全透明显示或半透明显示。在图6和图7的示例中，车体部分82是半透明显示的，这样使得隐藏在车体2后面并且实际上无法看到的左前轮3F的状态可以被可视化地识别。
在其他示例中，车辆1的状态包括打开/关闭前灯。周边监视装置可以基于前灯操作单元20上的操作信息来确定前灯的打开/关闭。当前灯打开时，周边监视装置也是在显示屏幕8上将表示车辆模型图像81中前灯的部分(以下称为前灯部分)的模式改变成可以识别出前灯打开的模式。例如，用诸如黄色的亮色来对前灯部分填色。当前灯关闭时，周边监视装置也是在显示屏幕8上将前灯部分的模式改变成可以识别出前灯关闭的模式。例如，用诸如灰色的暗色对前灯部分填色。以这样的方式，周边监视装置实时地在车辆模型图像81上反映前灯的打开/关闭状态。
在其他示例中，车辆1的状态包括方向指示器的指示/不指示。周边监视装置可以基于指示器操作单元19上的操作信息来确定方向指示器的指示或不指示。当方向指示器正在闪烁时，周边监视装置将表示车辆模型图像81内相应方向指示器的部分(以下称为“方向指示器部分”)的模式改变成可以识别出闪烁的模式。例如，周边监视装置在显示屏幕8上以闪烁状态显示方向指示器部分。当方向指示器不闪烁时，周边监视装置在显示屏幕8上以不闪烁的状态显示方向指示器部分。以这样的方式，周边监视装置实时地在车辆模型图像81上反映方向指示器的指示或不指示状态。
在其他示例中，车辆1的状态包括每个车门2d的打开/关闭状态。周边监视装置可以基于车门传感器25的检测信息来确定每个车门2d的打开/关闭状态。当打开任意一个车门2d时，周边监视装置在显示屏幕8上以打开状态显示车辆模型图像81内相应车门的部分(以下称为“车门部分”)。当关闭任意一个车门2d时，周边监视装置在显示屏幕8上以关闭状态显示相应的车门部分。图8是根据第一实施例示出显示屏幕8的另一个显示示例的视图。根据附图，车门部分84与车体部分82的右侧表面之间的角度大约是60°，这表示驾驶员座位侧的车门2d是打开的。以这样的方式，周边监视装置实时地在车辆模型图像81上反映每个车门2d的打开/关闭状态。当采用能够检测车门2d的角度的传感器作为车门传感器25时，周边监视装置可以将车辆模型图像81内相应的车门部分84与车体部分82的侧表面之间的角度与检测到的角度进行匹配。
可以配置周边监视装置使得可以改变虚拟视点。例如，如图5所示，在将虚拟视点设置在车辆1前方的对角线左侧的情况下，周边监视装置可以在显示屏幕8上显示周边环境和车辆模型图像81。如图6和图7所示，在将虚拟视点设置在车辆1后面的对角线右侧的情况下，周围监视装置可以在显示屏幕8上显示周围环境和车辆模型图像81。如图8所示，在将虚拟视点设置在车辆1的上方的情况下，周边监视装置可以在显示屏幕8上显示周边环境和车辆模型图像81。可以配置周边监视装置，使得可以从一些预设的虚拟视点中选择出想要的虚拟视点，或者使得用户可以通过例如监控操作单元9等来输入任意虚拟视点。
以这样的方式，由于实时地在车辆模型图像81上反映了车辆1外观的状态，所以当待在车厢2a中时用户可以客观地检查车辆1的状态。也就是说，周边监视装置可以以客观且容易理解的方式来显示车辆1的状态。
按照根据第一实施例的周边监视装置的其他特征，周边监视装置在显示屏幕8上立体地显示表示周围环境的图像，其包括车辆1底盘(floor)下方的部分。具体地，周边监视装置可以将表示包括了车辆1底盘下方部分的周边环境的图像投影到地形数据上，从而立体地显示表示周边环境的图像。在立体地显示表示周边环境的图像的同时，周边监视装置在车辆模型图像81上反映每个轮子3的垂直移动。因此，进行了图6和图7中的屏幕显示。由于车辆1和周边环境二者均被立体地显示以叠加在显示屏幕8上，因此用户可以在显示屏幕8上可视化地识别每个轮子3是否与地面接触，从而改善了周围监视装置的便利性。
周边监视装置使用由成像单元16拍摄的图像来生成表示周边环境的图像。此处，在第一实施例中，任何成像单元16都不能实时地拍摄表示车辆1底盘下方道路表面的图像。因此，周边监视装置储存由成像单元16a至16d过去所拍摄的各个图像，并且基于储存的图像来生成表示车辆1底盘下方道路表面的当前图像。例如，当车辆1向前直行时，在成像单元16a在某一时点拍摄到图像之后，车辆1在稍后的时点通过该图像上拍摄到的道路表面。周边监视装置可以保存由成像单元16a在稍前时点拍摄到的图像，并且使用该图像作为表示车辆1正在通过的道路表面的图像。或者，其他成像单元可以设置在车辆1底盘的下方，以便周边监视装置可以实时地从该成像单元获取表示底盘下方道路表面的图像。根据行车方向，周边监视装置可以根据在稍前时点时由成像单元16a之外的其它成像单元16拍摄到的图像，来获取表示车辆1正在通过的道路表面的图像。
根据图2的安装实例，激光测距扫描器15的检测范围被限制为包括了车辆1的前方道路表面的部分范围。与表示周边环境的图像类似，也与地形数据相关，周边监视装置基于在稍前时点检测的数据生成包括了车辆1底盘下方部分的道路表面的地形数据。或者，其他激光测距扫描器15可以设置在车辆1底盘下方，以便周边监视装置可以基于来自该激光测距扫描器15的检测信息而实时地计算底盘下方道路表面的地形数据。激光测距扫描器15还可以设置在车体2的左侧和右侧以及后侧。
图9是根据第一实施例示出了作为周边监视装置的ECU 14的功能配置的框图。CPU14a通过执行预先存储在ROM 14b中的程序而实现了获取单元200、预处理单元201和显示处理器202。显示处理器202包括环境模型生成器203、车辆模型处理单元204和输出单元205。ECU 14实现了在其中暂时存储数据的存储单元210。存储单元210被固定在例如RAM 14c上。用于实现这些功能配置的程序可以经由除ROM 14b之外的任意计算机可读记录介质来提供。ECU 14在存储单元210上实现了环形缓冲区212。ECU 14在存储单元210上储存了车辆模型211。例如，预先在SSD 14e中储存车辆模型211，并且ECU 14在激活时将车辆模型211从SSD 14e中装载到RAM 14c内的存储单元210。获取单元200、预处理单元201、显示处理器202、环境模型生成器203、车辆模型处理单元204以及输出单元205的部分或全部可以通过硬件电路或者硬件电路与软件(程序)的结合来实现。
获取单元200从成像单元16中获取图像。获取单元200从激光测距扫描器15中获取点集数据。
获取单元200从设置在车辆1中的各种传感器和设置在车辆1中的各种操作单元获取各种信息。根据第一实施例的获取单元200从车辆高度传感器24中获取车辆高度信息，并从车门传感器25中获取打开/关闭信息，以作为与车辆1的状态对应的信息。获取单元200获取输入至指示器操作单元19和前灯操作单元20的各种操作信息，以作为与车辆1的状态对应的信息。获取单元200从加速度传感器27中获取加速度信息。
获取单元200对在大致相同的时间上获取到的图像、点集数据、各种检测信息和各种操作信息进行相互关联。
预处理单元201适当地处理由获取单元200获取的各种信息中的任意信息。
在第一实施例中，作为示例，预处理单元201将从激光测距扫描器15中获取的点集数据转换成地形数据。地形数据通过例如多边形模型方法来表达道路表面三维形状。三维形状的表达方法不限于多边形模型。例如，可以采用诸如表面模型、线框模型和实体模型之类的任何其他方法作为表达三维形状的方法。
预处理单元201基于从两个加速度传感器27接收的加速度信息来计算车辆1的角度信息(俯仰角和倾斜角)。俯仰角指表明围绕车辆1左右轴线倾斜的角度，倾斜角指表明围绕车辆1前后轴线倾斜的角度。
预处理单元201基于俯仰角和倾斜角对由成像单元16a拍摄到的车辆1前方周边环境的图像以及地形数据进行校正。由于前述图像和地形数据是从设置在车辆1中的激光测距扫描器15和成像单元16的安装位置作为视点进行观察的，因此，已经以倾斜的视点对周边环境进行成像。预处理单元201基于俯仰角和倾斜角对因为视点的倾斜而倾斜拍摄的图像进行校正，由此统一了在不同时点拍摄的多个图像的视点的倾斜度。
预处理单元201估计车辆1的位置。车辆1的位置估计方法不被限制为特定方法。此处，在示例中，预处理单元201使用之前拍摄的图像和当前拍摄的图像来计算光流(opticalflow)，基于计算出的光流而计算在已经拍摄到图像的各时点之间车辆1的移动量，以及基于移动量来估计车辆1的位置。车辆1的位置估计方法不受限于此。例如，预处理单元201可以基于诸如GPS信息(未示出)、轮子3的旋转量、转向信息等其它信息来估计车辆1的位置。
与车辆1的位置信息和角度信息(俯仰角和倾斜角)、各种检测信息和各种操作信息相关联，预处理单元201在环形缓冲区212中储存校正的图像和校正的地形数据。
图10是示出了环形缓冲区212的结构的视图。如图所示，在环形缓冲区212中彼此相关联地贮存了图像、以及拍摄相应图像时的地形数据、拍摄相应图像时的车辆1的位置信息和角度信息、各种检测信息以及各种操作信息。环形缓冲区212是一种在逻辑上布置成环形的存储区域。在环形缓冲区212中，响应于预处理单元201的存储请求，在最早更新的区域中重写并储存被请求储存的相应图像等。
在第一实施例中，在环形缓冲区212中储存图像等的间隔不受限制，但是将储存间隔设置成不太长的值，使得例如至少从之前储存的图像和之前储存的地形数据，在任意时点可以获取到拍摄车辆1正在通过的道路表面所获得的图像和表示道路表面的非平坦度的地形数据。此处，假设以足够短的时间间隔来进行向环形缓冲区212内的储存，使得最晚储存在环形缓冲区212中的图像被认为是实时图像。在通过不同于环形缓冲区212的缓冲区来获取实时图像的其他配置中，在环形缓冲区212中储存图像的间隔不限于上述内容。
实时图像是这样一种图像，其可以被用户当作在当前时点拍摄的图像，并且从拍摄到相应的图像到当前时间所经过的时间足够短以至于可以被忽略。在储存在环形缓冲区212中的图像中，实时图像之外的图像被称为过去图像。也就是说，在储存在环形缓冲区212中的图像中，最晚储存的图像之外的图像对应于过去图像。在环形缓冲区212中储存的与实时图像相关联的地形数据被称为实时地形数据。在环形缓冲区212中储存的与过去图像相关联的地形数据被称为过去地形数据。
显示处理器202在显示屏幕8上进行显示处理。
环境模型生成器203生成表示包括了车辆1底盘下方道路表面的周围环境的图像。环境模型生成器203从环形缓冲区212获取实时图像和过去图像，并且合成所获取的图像，由此生成表示周边环境的图像。图像的合成无缝地连接了多个图像。
环境模型生成器203从环形缓冲区212中获取实时地形数据和过去地形数据，并且合成所获取的地形数据，由此生成表示包括了车辆1底盘下方道路表面的周边环境的地形数据。地形数据的合成无缝地连接了多个地形数据。
环境模型生成器203通过诸如纹理映射的方法在生成的地形数据上投影生成的图像。通过处理生成的表示周边环境的立体形状的信息被称为环境模型。当缺少地形数据的部分出现在图像范围中时，环境模型生成器203可以通过任意方法来处理相应的部分。例如，环境模型生成器203可以用平面形状补充缺少地形数据的部分。
车辆模型处理单元204基于与车辆1的状态对应的信息来处理车辆模型211。具体地，车辆模型处理单元204获取与实时图像对应的角度信息、各种检测信息和各种操作信息。车辆模型处理单元204基于各种检测信息或各种操作信息来处理车辆模型211的形状、颜色和倾斜角的部分或全部。也就是说，车辆模型处理单元204在车辆模型211的状态上反映了基于各种检测信息或各种操作信息所确定的车辆1的状态。车辆模型处理单元204根据获取的角度信息而使车辆模型211倾斜。
车辆模型211是表示车辆1的三维形状的数据。类似上述地形数据，可以采用任意方法作为表达车辆模型211的三维形状的方法。
输出单元205在同一虚拟空间中布置由环境模型生成器203生成的环境模型和由车辆模型处理单元204处理的车辆模型211。输出单元205基于在虚拟空间中布置的环境模型和车辆模型211而生成即将显示在显示屏幕8上的图像帧，并且向显示屏幕8输出生成的图像帧。因此，如图5至图8所示，向显示屏幕8输出一图像，该图像包括了叠加在表示周边环境的图像上的车辆模型图像81。在该描述中，在将环境模型和车辆模型211布置在虚拟空间中之后，计算从虚拟视点观察的图像。同时，可以单独生成表示周边环境的图像和车辆模型图像81，然后车辆模型图像81可以被叠加在表示周边环境的图像上。
下文中，将对如上述所配置的根据第一实施例的周边监视装置的操作进行描述。图11是根据第一实施例示出了周边监视装置中的图像存储处理过程的流程图。对在环形缓冲区212中储存各种数据的每个循环执行图11中的处理。
首先，成像单元16a至16d拍摄车辆1周边环境的图像(S101)。具体地，成像单元16a拍摄包括车辆1行车方向上的道路表面的区域的图像。激光测距扫描器15测量车辆1前方道路表面的三维形状(S102)。
此后，获取单元200从成像单元16a至16d获取图像，从激光测距扫描器15获取作为测量结果的点集数据，从各种传感器获取检测信息，以及从各种操作单元获取操作信息(S103)。检测信息包括例如来自四个车辆高度传感器24的车辆高度信息、来自四个车门传感器25的打开/关闭信息、和来自两个加速度传感器27的加速度信息。操作信息包括来自指示器操作单元19和前灯操作单元20的操作信息。可以适当地改变检测信息的类型和操作信息的类型。
然后，预处理单元201将点集数据转换成地形数据(S104)。
随后，预处理单元201基于获取单元200获取的各检测信息中来自加速度传感器27的加速度信息，来计算车辆1的倾斜角和俯仰角(S105)。然后，预处理单元201根据倾斜角和俯仰角而对由获取单元200获取的图像和通过转换所获得的地形数据进行校正(S106)。
预处理单元201基于光流估计从上一次拍摄到图像的时间点开始到本次已经拍摄到图像的时间点之间车辆1的移动量(S107)。如上所述，移动量估计方法不限制为使用光流的方法。
然后，预处理单元201以重写的方式在环形缓冲区212最早更新的区域中储存校正的图像(S108)。此处，预处理单元201在环形缓冲区212中与每个图像相关联地储存校正地形数据、车辆1的位置信息和角度信息、各种检测信息以及各种操作信息。此处，在示例中，车辆1的位置信息是以当前位置为基准(即，原点)的信息，但是位置信息的基准不受限于此。在S108的处理中，原点位置信息作为位置信息来储存。
此后，预处理单元201根据计算出的移动量，将在过去拍摄到每个图像时储存在环形缓冲区212中的位置信息更新为基于当前位置信息的位置信息(S109)。通过S109的处理来完成本存储循环中的图像存储处理。
图12是根据第一实施例示出了控制周边监视装置中的显示的处理过程的流程图。该图示出了直到向显示屏幕8输出了一个图像帧为止的处理。当以预定控制循环重复执行该图所示的一系列处理时，在每个控制循环中改变图像帧，并且因此，用户可以将显示屏幕8上的显示内容识别为图像。控制循环例如等同于将图像储存到环形缓冲区212中的循环。控制循环可以与将图像储存到环形缓冲区212中的循环不同。
首先，环境模型生成器203从环形缓冲区212中获取实时图像(S201)。也就是说，环境模型生成器203从环形缓冲区212中获取最晚储存的图像。此处，环境模型生成器203获取由成像单元16a至16d所拍摄的图像。
环境模型生成器203处理所获取的由成像单元16a至16d拍摄的图像，由此生成表示不包括车辆1底盘下方(underfloor)部分的周边环境的图像(S202)。对图像的处理包括：剪出、遮蔽、多个图像的合成、图像部分或全部的过滤、校正、以及视点转换。校正例如是失真校正或灰度校正(gamma correction)。例如，视点转换是根据每个成像单元16所获得的图像来生成从其他视点观察的图像，诸如鸟瞰视角图像。在示例中，环境模型生成器203通过对由成像单元16a至16d所拍摄的图像进行无缝合成来生成一个图像。
成像单元16a至16d拍摄车辆1的前方和后方以及车辆1的左侧和右侧的周边环境的图像。因此，可以合成由成像单元16a至16d获得的图像，以便获取表示不包括车辆1底盘下方部分(该部分是盲点)的周边环境的图像。盲点部分可以比车辆1的底盘下方部分宽，并且在此情况下，表示盲点部分的部分可以通过后续处理(S203和S204)来补充。
在S202中，环境模型生成器203可以进行视点转换。例如，环境模型生成器203可以生成鸟瞰视角图像。尽管下文中没有特别指定，但是可以在任意时点对图像和地形数据进行视点转换。可以在任意时点对图像和地形数据的全部或部分执行视点转换之外的任意处理。
此后，环境模型生成器203从储存在环形缓冲区212中的过去图像中获取拍摄到了车辆1正在通过的道路表面的图像(S203)。环境模型生成器203通过任意方法从储存在环形缓冲区212中的过去图像中选择拍摄到了车辆1正在通过的道路表面的图像。在示例中，基于与每个图像相关联的位置信息，选择拍摄到了车辆1正在通过的道路表面的图像。
然后，环境模型生成器203基于所获取的过去图像，在通过S202中的处理所生成的图像中补充车辆1的当前底盘下方部分(S204)。例如，环境模型生成器203从所获得的过去图像中剪出拍摄到了车辆1正在通过的道路表面(即，车辆1的当前底盘下方道路表面)的部分，适当地对剪出图像进行视点转换，并且用由S202中的处理所生成的图像无缝合成视点转换图像。
当分割出车辆1正在通过的道路表面并且分割出的道路表面被拍摄在分离的图像上时，环境模型生成器203可以获取所有的分离图像。分离图像可以是由不同的成像单元16所拍摄的图像，或者可以是在不同时点所拍摄到的图像。在S204中的处理中，环境模型生成器203从多个获取到的图像中剪出拍摄到了车辆1正在通过的道路表面的各部分，并且使用多个剪出图像来补充车辆1的当前底盘下方部分。
随后，环境模型生成器203从环形缓冲区212中获取实时地形数据(S205)。环境模型生成器203从储存在环形缓冲区212中的过去地形数据条中获取关于车辆1正在通过的道路表面的地形数据(S206)。环境模型生成器203用通过S206中的处理所获取的地形数据来无缝合成通过S205中的处理所获得的地形数据(S207)。
与图像的合成类似，对于地形数据，环境模型生成器203可以合成三条或更多条地形数据。环境模型生成器203可以在合成之前适当地对每个地形数据条进行包括视点转换的处理。
随后，环境模型生成器203将由S204中的处理所完成的表示周边环境的图像投影到由S206中的处理所完成的地形数据上(S208)。例如，当在地形数据中采用多边形模型时，环境模型生成器203在构成地势的大量表面中的每一个表面上黏贴表示周边环境的图像中的相应部分。通过S207，完成环境模型。
然后，车辆模型处理单元204从环形缓冲区212中获取与实时图像相关联的各种检测信息和各种操作信息(S209)。车辆模型处理单元204基于各种检测信息或各种操作信息来处理车辆模型211的形状、颜色和倾斜角的部分或全部(S210)。
在S210中的处理中，在示例中，车辆模型处理单元204基于来自车辆高度传感器24的关于每个轮子3的车辆高度信息(该车辆高度信息包括在所获取的检测信息中)，来计算每个轮子3的悬架的延伸/收缩量。然后，车辆模型处理单元204基于每个轮子3的悬架的延伸/收缩量来计算每个轮子3的位置。车辆模型处理单元204在车辆模型211上反映每个轮子3的计算出的位置。例如，车辆模型211包括作为单独数据的每个轮子3的模型和车体2的模型，使得可以自由地改变每个轮子3的模型与车体2的模型之间的相对位置关系。当延伸某个轮子3时，车辆模型处理单元204就依照延伸量将车辆模型211中包括的相应轮子3的模型位置向下移动。当收缩某个轮子3时，车辆模型处理单元204就依照收缩量将车辆模型211中包括的相应轮子3的模型位置向上移动。以这样的方式，车辆模型处理单元204根据悬架的延伸/收缩量来改变轮子3的模型与车体2的模型之间的距离。
车辆模型处理单元204可以使车辆模型211的预定部分透明或者半透明。例如，车辆模型处理单元204可以使车辆模型211中包括的车体2的模型透明或者半透明。
在S210中的处理中，在其他示例中，车辆模型处理单元204基于输入至前灯操作单元20的操作信息来确定前灯的打开/关闭。车辆模型处理单元204根据前灯的打开/关闭来改变车辆模型211中对应于前灯的部分(即，前灯模型)的颜色。
在其他示例中，S210中的处理包括方向指示器的指示/不指示。车辆模型处理单元204基于输入至指示器操作单元19的操作信息来确定方向指示器的指示或者不指示。车辆模型处理单元204根据方向指示器的指示/不指示，而将车辆模型211中对应于方向指示器的部分(即，方向指示器模型)的显示置为闪烁或者不闪烁状态。车辆模型211中对应于方向指示器的部分的闪烁是指重复地打开/关闭车辆模型211中对应于方向指示器的部分。当使得车辆模型211中对应于方向指示器的部分闪烁时，车辆模型处理单元204根据过去生成的图像帧，确定在本次所要生成的图像帧处是将方向指示器对应部分置为打开模式还是关闭模式。
在S210的处理中，在其他示例中，车辆模型211例如包括作为单独数据的车辆模型211中与每个车门对应的部分和车辆模型211中与车体2的部分对应的模型部分，使得可以自由地改变车体2的模型与每个车门2d的模型之间的相对位置关系。车辆模型处理单元204根据来自每个车门传感器25的检测信息，而改变车辆模型211中包括的相应车门的模型与车辆模型211中包括的车体2的模型之间的角度。
继S210的处理之后，车辆模型处理单元204根据所获取的角度信息来改变车辆模型211的倾斜角度(S211)。
此后，输出单元205在同一虚拟空间中布置环境模型和S210中所处理的车辆模型211(S212)。在该布置中，输出单元205调整环境模型和所处理的车辆模型211之间的位置关系，使得车辆1与周边环境之间的实际关系对应于环境模型与所处理的车辆模型211之间的关系。作为环境模型创建源的图像在被储存在环形缓冲区212中时，与已经拍摄到相应图像的时点上的位置信息和角度信息相关联。每个成像单元16的光轴方向照例是已知的或者可以获取。输出单元205可以基于这些信息来调整环境模型与处理过的车辆模型211之间的位置关系。
然后，输出单元205在虚拟空间中设置虚拟视点(S213)，并且基于该虚拟视点来计算即将输出到显示屏幕8的图像(图像帧)(S214)。输出单元205向显示屏幕8输出通过计算所获得的图像(图像帧)(S215)，并且完成控制显示的处理。
如上所述，根据第一实施例，周边监视装置获取表示车辆1周边环境的图像和对应于车辆1状态的信息，并且根据所获取的信息处理车辆模型211。周边监视装置在表示周边环境的图像上叠加处理过的车辆模型211，并且向显示屏幕8输出其上叠加有车辆模型211的表示周边环境的图像。因此，车辆1的状态被实时地反映在车辆模型图像81上，因而用户可以在待在车厢2a中的同时客观地检视车辆1的状态。也就是说，周边监视装置可以以客观且容易理解的方式显示车辆1的状态。
周边监视装置获取悬架的延伸/收缩量以作为与车辆1的状态对应的信息。周边监视装置依照悬架的延伸/收缩量来改变车辆模型211中包括的车体2的模型与轮子3的模型之间的距离。因此，用户可以在待在车厢2a中的同时根据周边环境而掌握轮子3的状态。
当改变车体2的模型与轮子3的模型之间的相对位置时，周边监视装置可以在相对位置改变之前的位置处生成轮子3的模型的残象(afterimage)。在示例中，车辆模型处理单元204在相对位置改变之前的位置处复制轮子3的模型，并且将轮子3复制模型的透明度设置得比相对位置改变之后的位置处布置的轮子3模型(即，表示实时状态的轮子3模型)的透明度高。因此，由于位置改变之前的轮胎部分83在显示屏幕8上被显示成残象，所以用户可以发现轮子3的位置是如何改变的。轮胎部分83的可显示残象的数量不限制为每个轮子3对应一个残象。可以对应每个轮子3显示多个残象。可以分别显示位于不同时点的相应位置处的多个残象。或者，每当相对位置改变了预定量时就可以生成并显示残象。车辆模型处理单元204进行改变使得残象的透明度随着时间的流逝而增加，因而相应的轮胎部分83可以随着时间的流逝而渐渐变得透明，并且最终可以从显示屏幕8上消除。残象的消除方法不限于上述内容。
车辆高度调整装置可以设置在车辆1中。在此情况下，在车辆高度调整装置正在改变车辆高度的同时，周边监视装置持续获取悬架的延伸/收缩量，并且实时地在车辆模型211上反映所获取的延伸/收缩量。在车辆高度的调整过程中，车辆高度的变化可以被实时地反映在车辆模型图像81上，从而可以进行高愉悦度的呈现。
当车辆高度传感器24发生故障时，周边监视装置可以执行与车辆模型211的处理有关的任意处理。例如，当车辆高度传感器24发生故障时，周边监视装置将轮子3的模型相对于车体2模型的位置设置为参考位置。在其他示例中，当车辆高度传感器24发生故障时，周边监视装置可以用不同于常规颜色的颜色来显示与故障车辆高度传感器24对应的轮子3的模型。
周边监视装置可以在轮子3的模型上反映每个轮子3的转向角度或者旋转速度。例如，周边监视装置根据来自转向角度传感器26的转向角度信息，来改变轮子3的模型的转向角度。用户可以容易地掌握周边环境与轮子3的转向角度之间的对应关系。例如，周边监视装置根据来自轮速传感器22的检测信息而以旋转状态来显示轮子3的模型。用户可以根据周边环境而掌握轮子3的旋转。
周边监视装置可以通过视点转换向显示屏幕8输出表示周边环境的图像本身，但也可以将表示周边环境的图像处理成立体表示周边环境的图像，然后输出处理后的图像。具体地，周边监视装置进一步从激光测距扫描器15中获取道路表面三维形状的测量结果，并且在道路表面三维形状上反映表示周围环境的图像，由此生成环境模型。然后，周边监视装置将车辆模型211与环境模型一起在显示屏幕8上显示。因此，用户可以通过显示屏幕8来识别轮子3是否与地面接触。
周边监视装置可以着重显示轮子3是否与地面接触。在示例中，周边监视装置依据轮子3是否与地面接触而改变轮子3模型的颜色。在其他示例中，周边监视装置依据轮子3是否与地面接触而改变轮子3模型的透明度。确定轮子3是否与地面接触的方法不受限于特定方法。在示例中，周边监视装置在虚拟空间中布置车辆模型211和环境模型，并且根据模型之间的位置关系确定轮子3的模型是否与环境模型接触。在其他示例中，周边监视装置基于来自轮速传感器22的检测信息和车辆1的移动量而确定轮子3是否空转。然后，周边监视装置依据轮子3是否空转而确定轮子3是否与地面接触。
周边监视装置可以着重显示轮子3是否打滑。在示例中，周边监视装置依据轮子3是否打滑而改变轮子3模型的颜色。在其他示例中，周边监视装置依据轮子3是否打滑而改变轮子3模型的透明度。例如，周边监视装置将打滑的轮子3的模型透明度设置得比不打滑的轮子3的模型透明度高。确定轮子3是否打滑的方法不受限于特定方法。
周边监视装置从诸如方向指示器或者前灯等照明装置的操作单元(指示器操作单元19和前灯操作单元20)中获取操作信息，以作为与车辆1的状态对应的信息。周边监视装置基于操作信息来确定照明装置是否打开/关闭。周边监视装置根据照明装置的打开/关闭来改变车辆模型211中包括的相应照明装置模型的颜色。因此，用户可以通过显示屏幕8来检视照明装置是否打开/关闭。
对于方向指示器和前灯之外的照明装置，例如尾灯、侧标志灯、号牌灯、前雾灯、后雾灯、制动灯、倒车灯、停车灯、辅助制动灯、或者应急闪烁指示器，周边监视装置可以根据相应照明装置的打开/关闭来改变车辆模型211中包括的相应照明装置模型的颜色。周边监视装置可以基于操作信息之外的信息来确定照明装置是否打开/关闭。例如，用于检测照明装置是否打开/关闭的传感器可以设置在车辆1中，并且周边监视装置可以基于从传感器输出的检测信息来确定照明装置是否打开/关闭。对于依据其他操作而打开/关闭的照明装置，周边监视装置可以基于来自用于检测相应操作的传感器的检测信息而确定照明装置是否打开/关闭。当方向指示器正在闪烁时，周边监视装置可以以与方向指示器的闪烁同步的闪烁状态来显示车辆模型211中包括的方向指示器的模式。
周边监视装置获取来自车门传感器25的检测信息以作为与车辆1的状态对应的信息。来自车门传感器25的检测信息表示车门2d是打开的还是关闭的。周边监视装置依据车门2d是打开的还是关闭的，而改变车门2d模型与车体2模型之间的角度。因此，用户可以通过显示屏幕8来检视车门2d是打开的还是关闭的。
周边监视装置可以依据门镜2f是打开的或是关闭的来改变车辆模型211中包括的相应门镜2f模型的模式。基于对用于操作门镜2f的打开/关闭的开关的输入，周边监视装置可以确定门镜2f的打开/关闭状态。周边监视装置可以在车辆模型211中包括的相应模型的模式上反映其他部件的状态，例如雨刷的操作。周边监视装置可以依据设置在车门2d中的车窗是打开的或是关闭的，来改变车辆模型211中包括的相应车窗模型的模式。周边监视装置可以基于对用于操作车窗的开关的输入而确定车窗是打开的或是关闭的。或者，可以设置用于检测车窗是否打开或者关闭的传感器，并且周边监视装置可以基于来自相应传感器的检测信息来确定车窗是打开的或是关闭的。周边监视装置可以基于用于操作车窗的开关的操作信息或者基于来自用于检测车窗是否打开或者关闭的传感器的检测信息，而获取车窗打开量，并且将所获取的量反映在车辆模型211中包括的相应车窗的模式上。
在上面的描述中，作为反映在车辆模型图像81上的车辆1的状态，已经例示了车辆1的外部层面。但是，反映在车辆模型图像81上的车辆1的状态不限制于此。周边监视装置可以在车辆模型图像81上反映车辆1中实际上难以从外部可视化识别的部件或者难以从外部可视化识别的设置。
在示例中，车辆1的状态包括差速齿轮(未示出)的锁定/解锁。车辆模型211包括差速齿轮的模型。周边监视装置以半透明的状态显示车体2的模型，并且显示悬架的模型。此处，在差速齿轮的显示中，周边监视装置依据锁定状态或者解锁状态来改变差速齿轮模型的显示模式。例如，当锁定差速齿轮时，周边监视装置用红色来为差速齿轮模型填色。当解锁差速齿轮时，周边监视装置用蓝色为差速齿轮模型填色。周边监视装置可以基于例如对用于改变锁定状态和解锁状态的开关(未示出)的输入，来确定差速齿轮是被锁定的或是被解锁的。
在其他示例中，车辆1的状态包括悬架(未示出)的延伸/收缩。车辆模型211包括对应每个轮子3的悬架模型。周边监视装置以半透明状态显示车体2的模型，并且显示对应每个轮子3的差速齿轮模型。周边监视装置在悬架模型上实时地反映每个悬架的延伸/收缩量。
以此方式，周边监视装置可以用视觉上可识别的模式来显示难以从外部可视化识别的部件或者难以从外部可视化识别的设置。
<第二实施例>
图13是根据第二实施例示出了作为周边监视装置的ECU 14的功能配置的框图。根据第二实施例的周边监视装置不同于根据第一实施例的周边监视装置之处在于，向显示处理器202添加了计算器206。此处将主要描述与第一实施例不同的部分，并且多余的描述将被省略。
在第二实施例中，激光测距扫描器15充当测量障碍物位置的测量单元。可以采用诸如超声波声纳装置、立体照相机等的其他装置作为用于测量障碍物位置的测量单元，以便代替激光测距扫描器15。
计算器206基于从激光测距扫描器15的测量结果中获得的地形数据，获取车门2d的移动范围中所存在的障碍物的位置。障碍物是指妨碍车门2d的打开/关闭的障碍物。计算器206基于障碍物的位置来计算受到该障碍物限制的移动范围。受到障碍物限制的移动范围是指在不与障碍物触碰的情况下车门2d可以打开的范围。
输出单元205在显示屏幕8上显示表示受到障碍物限制的移动范围的显示对象，这样可以通过显示屏幕8来识别受到该障碍物限制的移动范围。
图14和图15是根据第二实施例示出了显示屏幕8的显示示例的视图。在图14的示例中，通过以虚线形式表示车门2d模型的显示对象85，来显示在受到障碍物限制的移动范围内车门2d被打开至最大程度的位置。在图15的示例中，通过阴影线扇形形式的显示对象86来显示受到障碍物限制的移动范围。表示受到障碍物限制的移动范围的显示对象的示例不受限于此。
如上所述，根据第二实施例，周边监视装置进一步获取障碍物的位置并且计算受到该障碍物限制的车门2d的移动范围。周边监视装置通过显示对象在显示屏幕8上显示受到障碍物限制的车门2d的移动范围。这允许用户在无需将头探出车窗以检查外面的情况下从容地打开车门2d。
尽管已经例示了此处公开的实施例，但是这些实施例和改进仅是示例性的，而不旨在用于限制本公开的范围。可以用其他各种形式来实现实施例和改进，并且在不脱离本公开的要旨的情况下可以做出各种省略、替换、结合和改变。此外，各个实施例和改进的配置或形状在实施中可以被部分地替代。
在前述说明书中已经说明了本发明的原理、优选实施例和操作模式。然而，希望被保护的发明不应被解释为局限于公开的特定实施例。而且，这里描述的实施例应被认为是说明性的而不是限制性的。在不脱离本发明精神的情况下，其他人可以进行改变和变化，并且采用等同物。因此，应当明确地认为，由此包括所有这类落在如权利要求所限定的本发明的精神和范围内的改变、变化和等同物。

Claims (6)

1.一种周边监视装置，包括：
获取单元(200)，其获取表示车辆(1)的周边环境的图像和与所述车辆的状态对应的信息，所述图像是由设置在所述车辆中的成像装置(16、16a、16b、16c、16d)拍摄的；
存储器(210)，其储存表示所述车辆的三维形状的车辆模型；
处理单元(204)，其基于所述信息处理所述车辆模型；以及
输出单元(205)，其将由所述处理单元所处理的车辆模型叠加到表示周边环境的所述图像内的、与所述周边环境中出现所述车辆的位置相对应的位置上，并且所述输出单元将表示所述周边环境并且上面叠加有所述车辆模型的图像显示在设置在所述车辆的车厢(2a)中的显示屏幕(8)上，
所述信息包括表示悬架的延伸/收缩量的信息，所述悬架配置为根据延伸/收缩来进行轮子(3、3F、3R)的定位，
所述处理单元根据所述延伸/收缩量来改变所述车辆模型中包括的所述轮子的模型与车体(2)的模型之间的距离，以使所述轮子的模型与所述车体(2)的模型之间的距离实时地反映所述轮子的垂直位置的变化。
2.根据权利要求1所述的周边监视装置，
其中，所述获取单元进一步获取由设置在所述车辆中的测量单元所测量的道路表面的三维形状，
所述周边监视装置还包括生成器(203)，其生成环境模型，在所述环境模型中，表示所述周边环境的所述图像被投影在由所述获取单元获取的道路表面的三维形状上，以及
所述输出单元将由所述生成器生成的所述环境模型显示在所述显示屏幕上。
3.根据权利要求1所述的周边监视装置，
其中，所述信息还包括表示设置在所述车辆中的照明装置是打开还是关闭的信息，以及
所述处理单元根据所述照明装置是打开还是关闭，来改变所述车辆模型中包括的所述照明装置的模型的颜色。
4.根据权利要求1中所述的周边监视装置，
其中，所述信息还包括表示设置在所述车辆中的车门(2d)是打开还是关闭的信息，以及
所述处理单元根据所述车门是打开还是关闭，来改变所述车辆模型中包括的所述车门的模型与车体的模型之间的角度。
5.根据权利要求4所述的周边监视装置，
其中，所述获取单元进一步获取由设置在所述车辆中的测量单元所测量的障碍物的位置，
所述周边监视装置还包括计算器(206)，其计算受到所述障碍物限制的所述车门的移动范围，以及
所述输出单元还在所述显示屏幕上显示一显示对象，该显示对象表示由所述计算器计算的所述移动范围。
6.根据权利要求1所述的周边监视装置，
其中，所述信息还包括表示设置在所述车辆中的车门与所述车辆的车体侧表面部分之间的角度的信息，以及
所述处理单元根据设置在所述车辆中的车门与所述车辆的车体侧表面部分之间的所述角度，来改变所述车辆模型中包括的所述车门的模型与所述车体侧表面部分的模型之间的角度。
CN201710573622.7A 2016-09-29 2017-07-14 周边监视装置 Active CN107878327B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-190659 2016-09-29
JP2016190659A JP6766557B2 (ja) 2016-09-29 2016-09-29 周辺監視装置

Publications (2)

Publication Number Publication Date
CN107878327A CN107878327A (zh) 2018-04-06
CN107878327B true CN107878327B (zh) 2022-09-09

Family

ID=61564099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710573622.7A Active CN107878327B (zh) 2016-09-29 2017-07-14 周边监视装置

Country Status (4)

Country Link
US (1) US20180089907A1 (zh)
JP (1) JP6766557B2 (zh)
CN (1) CN107878327B (zh)
DE (1) DE102017117243B4 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
WO2019026332A1 (ja) * 2017-07-31 2019-02-07 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成方法およびプログラム
US10962638B2 (en) * 2017-09-07 2021-03-30 Magna Electronics Inc. Vehicle radar sensing system with surface modeling
JP7159598B2 (ja) * 2018-04-10 2022-10-25 株式会社アイシン 周辺監視装置
JP7139664B2 (ja) * 2018-04-10 2022-09-21 株式会社アイシン 周辺監視装置
JP7159599B2 (ja) * 2018-04-10 2022-10-25 株式会社アイシン 周辺監視装置
TWI805725B (zh) * 2018-06-07 2023-06-21 日商索尼半導體解決方案公司 資訊處理裝置、資訊處理方法及資訊處理系統
JP6802226B2 (ja) * 2018-09-12 2020-12-16 矢崎総業株式会社 車両用表示装置
DE102019115645B4 (de) * 2018-10-02 2023-07-20 GM Global Technology Operations LLC Algorithmus zur elektrischen türschliessung
CN111028360B (zh) * 2018-10-10 2022-06-14 芯原微电子(上海)股份有限公司 一种3d图像处理中数据读写方法及系统、存储介质及终端
JP2022017612A (ja) * 2018-10-31 2022-01-26 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN111222521B (zh) * 2018-11-23 2023-12-22 汕尾比亚迪汽车有限公司 汽车及用于其的车轮受困判断方法及装置
KR102129904B1 (ko) * 2019-01-04 2020-07-06 주식회사 만도 서스펜션 제어 시스템, 서스펜션 제어 방법 및 서스펜션 제어 장치
JP7160701B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP7160702B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
JP2020161886A (ja) * 2019-03-25 2020-10-01 株式会社ザクティ 船舶の周辺確認システム
JP7318265B2 (ja) * 2019-03-28 2023-08-01 株式会社デンソーテン 画像生成装置および画像生成方法
EP3963559A4 (en) * 2019-04-29 2023-01-18 Volkswagen Aktiengesellschaft VEHICLE CONTROL DEVICE AND VEHICLE CONTROL SYSTEM
CN110103821A (zh) * 2019-05-17 2019-08-09 深圳市元征科技股份有限公司 一种车门防碰撞预警方法、系统及相关设备
CN111231826B (zh) * 2020-01-15 2023-04-07 宁波吉利汽车研究开发有限公司 一种全景影像中车辆模型转向灯的控制方法、装置、系统及存储介质
JP7388329B2 (ja) * 2020-10-08 2023-11-29 トヨタ自動車株式会社 車両表示システム及び車両表示方法
DE102020214974A1 (de) * 2020-11-27 2022-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein Vorrichtung und Verfahren zur Auswertung einer Abtastinformation unter Verwendung einer Lageinformation
JP2022125859A (ja) * 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275231B1 (en) * 1997-08-01 2001-08-14 American Calcar Inc. Centralized control and management system for automobiles
EP1291668B1 (en) 2001-09-07 2005-11-30 Matsushita Electric Industrial Co., Ltd. Vehicle surroundings display device and image providing system
JP2009023471A (ja) * 2007-07-19 2009-02-05 Clarion Co Ltd 車両情報表示装置
DE102008034606A1 (de) 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5087051B2 (ja) * 2009-07-02 2012-11-28 富士通テン株式会社 画像生成装置及び画像表示システム
JP5284206B2 (ja) * 2009-07-10 2013-09-11 三菱電機株式会社 運転支援装置およびナビゲーション装置
WO2014132680A1 (ja) * 2013-02-28 2014-09-04 アイシン精機株式会社 車両の制御装置、及びプログラム
JP6340969B2 (ja) 2014-07-14 2018-06-13 アイシン精機株式会社 周辺監視装置、及びプログラム

Also Published As

Publication number Publication date
CN107878327A (zh) 2018-04-06
DE102017117243A1 (de) 2018-03-29
DE102017117243B4 (de) 2023-12-07
JP6766557B2 (ja) 2020-10-14
JP2018056794A (ja) 2018-04-05
US20180089907A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN107878327B (zh) 周边监视装置
JP6806156B2 (ja) 周辺監視装置
KR102313026B1 (ko) 차량 및 차량 후진 시 충돌방지 보조 방법
CA3069114C (en) Parking assistance method and parking assistance device
US8502860B2 (en) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
JP6760122B2 (ja) 周辺監視装置
WO2018070298A1 (ja) 表示制御装置
JP7523196B2 (ja) 周辺画像表示装置
US20180229657A1 (en) Surroundings monitoring apparatus
JP6962036B2 (ja) 周辺監視装置
WO2019026320A1 (ja) 表示制御装置
JP6876236B2 (ja) 表示制御装置
JP6413477B2 (ja) 画像表示制御装置および画像表示システム
CN110959289B (zh) 周边监控装置
WO2019053922A1 (ja) 画像処理装置
CN109314770B (zh) 周边监控装置
JP2020127171A (ja) 周辺監視装置
US11830409B2 (en) Peripheral image display device
JP6772716B2 (ja) 周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant