CN107818581B - 车辆的图像处理系统 - Google Patents

车辆的图像处理系统 Download PDF

Info

Publication number
CN107818581B
CN107818581B CN201710560373.8A CN201710560373A CN107818581B CN 107818581 B CN107818581 B CN 107818581B CN 201710560373 A CN201710560373 A CN 201710560373A CN 107818581 B CN107818581 B CN 107818581B
Authority
CN
China
Prior art keywords
vehicle
image
projection plane
virtual projection
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710560373.8A
Other languages
English (en)
Other versions
CN107818581A (zh
Inventor
久保田尚孝
丸冈哲也
乾阳司
平槙崇
木村修
大桥逸子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Co Ltd filed Critical Aisin Co Ltd
Publication of CN107818581A publication Critical patent/CN107818581A/zh
Application granted granted Critical
Publication of CN107818581B publication Critical patent/CN107818581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • G01C9/04—Transmission means between sensing element and final indicator for giving an enlarged reading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种车辆(40，40P，40R)的图像处理系统(11)包括：视点图像生成单元(64)，当假设与周围图像数据对应的周围图像被投影到配置位置已经被预先设置的虚拟投影平面(Sp，Sp1)上时，基于与车辆的倾斜角对应的倾斜角信息和通过拍摄车辆周边的图像获得的周围图像数据，生成从预定虚拟视点(Ep)观察的视点图像(Glb)；以及输出图像生成单元(66)，生成和输出输出图像数据，以便使显示装置(13)显示输出图像(Gout、Gout1、Gout11、Gout12、Gout21、Gout31、Gout32)，在该输出图像中，具有根据与倾斜角信息对应的车辆倾斜角的倾斜的自身车辆模型图像(40M)被叠加在视点图像上。

Description

车辆的图像处理系统
技术领域
本公开的示例性实施例涉及车辆的图像处理系统。
背景技术
在相关技术中，已经知道一种图像处理系统，其生成用于立体地反映拍摄图像的图像数据，并且将该图像数据变换成从一组视点观察的图像，由此获得变换的图像以作为输出图像。参见例如日本专利号5369465。
有一种情况，其中，这种类型的图像处理系统被安装在车辆上以获取车辆周围的场景以作为从预定视点观察的图像，并且以下述状态显示图像，在该状态中，车辆的模型图像也被包括在该图像中。
在这种情况下，由于用于拍摄周围图像的成像装置被安装在车辆上，当车辆处于倾斜状态时，作为背景的该周围图像被倾斜地显示，结果，存在难以识别自身车辆的倾斜状态的问题。
因此，需要一种输出图像，其能合适地反映包括在该输出图像中的自身车辆的倾斜状态，使得能够更容易地识别自身车辆的状态。
发明内容
根据本发明的方案的一种车辆的图像处理系统，包括：视点图像生成单元，当假设与周围图像数据对应的周围图像被投影到配置位置已经被预先设置的虚拟投影平面上时，基于与车辆的倾斜角对应的倾斜角信息和通过拍摄车辆周边的图像获得的周围图像数据，从预定虚拟视点观察的视点图像；以及输出图像生成单元，生成和输出输出图像数据，以便使显示装置显示输出图像，在该输出图像中，具有根据与倾斜角信息对应的车辆倾斜角的倾斜的自身车辆模型图像被叠加在视点图像上。
借助这个配置，根据本示例性实施例，例如，通过使用与输出图像数据对应的输出图像，能够容易地识别车辆的倾斜，由此可靠地操作车辆。
在车辆的图像处理系统中，虚拟投影平面可以被设置为三维地布置在车辆周围，以包围与处于非倾斜状态的车辆对应的车辆，以及视点图像生成单元可以包括投影平面设置单元，该投影平面设置单元基于倾斜角信息来设置虚拟投影平面，以抵消车辆的倾斜角。
借助这个配置，由于在不受到车辆倾斜影响的情况下虚拟投影平面可以总是被保持在不变方向上，因此能够容易地识别车辆的倾斜。
在车辆的图像处理系统中，投影平面设置单元可以设置相对于参考水平平面而被固定的虚拟投影平面。
借助这个配置，虚拟投影平面与水平表面总是具有不变的关系，结果，能够自然而然地识别车辆的倾斜。
在车辆的图像处理系统中，虚拟投影平面可以具有被布置成面对水平表面的下表面和被布置成面对水平方向上的车辆周边的侧表面，并且下表面可以具有多个子下表面，每一个子下表面能够被独立地倾斜以包括车辆的每个轮子的地面接触表面，或者平行于地面接触表面。
借助这个配置，能够容易地识别车辆行驶的道路表面的状态。
在车辆的图像处理系统中，输出图像中可以包括通知信息，用于通知任何一个方向上车辆的倾斜角超过了与该方向对应的预定倾斜角阈值。
借助这个配置，通过可视地识别输出图像，能够将车辆操作到安全侧。
在车辆的图像处理系统中，通知信息可以被配置为自身车辆模型图像的显示模式的变化，或者包括评论或者计量图像的附加信息的显示。
借助这个配置，能够自然而然且可靠地识别车辆的倾斜现象。
在车辆的图像处理系统中，倾斜角阈值可以具有第一阈值和大于第一阈值的第二阈值，以及车辆在任何一个方向上的倾斜角大于第一阈值且小于第二阈值的情况下的通知信息与车辆在任何一个方向上的倾斜角大于第二阈值的情况下的通知信息可以相互不同。
附图说明
根据参考附图所做的下述详细说明中，本公开的上述特征和特点及附加特征和特点将变得更为清楚，其中：
图1是表示车辆中安装的车载系统的示意结构的框图；
图2是表示构成成像装置的成像单元的配置示例的示例视图；
图3是ECU的功能框图；
图4是第一示例性实施例的ECU的操作处理流程图；
图5示出虚拟投影平面的示意视图；
图6是表示虚拟投影平面相对于车辆的配置位置的示意视图；
图7是用于解释在成像单元的成像范围和虚拟投影平面之间的关系的视图；
图8是用于解释在车辆倾斜的情况下在固定的虚拟投影平面和视点图像之间的关系的视图；
图9是车辆对应于输出图像的实际状态的示意视图；
图10是输出图像的示例的示意视图；
图11是第二示例性实施例的ECU的操作处理流程图；
图12是第三示例性实施例的示意视图；
图13是第三示例性实施例的输出图像的示意视图；
图14A和图14B是第四示例性实施例的示意视图；
图15是第五示例性实施例的第一显示示例的示意视图；
图16是第五示例性实施例的第二显示示例的示意视图；
图17是第六示例性实施例的示意视图；
图18是第六示例性实施例的输出图像的示意视图；
图19是第七示例性实施例的示意视图；
图20A和图20B是用于解释第七示例性实施例的输出图像的状态的视图；
图21是第八示例性实施例的输出图像的示例的示意视图；
图22是第九示例性实施例的虚拟投影平面的俯视图；
图23是用于解释在虚拟投影平面和车辆之间的关系的视图；以及
图24是第九示例性实施例的详细示意图。
具体实施方式
下面，将参考附图说明示例性实施例。
[1]第一示例性实施例
图1是车辆中安装的车载系统的示意结构框图。
通常，车载系统10包括充当车辆的图像处理系统且控制整个车载系统10的ECU11、用于拍摄安装了车载系统10的车辆周围部分的图像的成像装置12、显示各种类型的监视屏幕的监视器装置13、实现各种类型的操作输入的输入单元14，以及将车辆控制在ECU11的控制之下的车辆控制系统30。
在上述配置中，如图1中所示，ECU 11具有控制整个ECU 11且执行各种类型计算的微处理单元(MPU)11a、以非易失性方式存储控制程序和各种类型数据的只读存储器(ROM)11b、临时地存储处理过程中的数据的随机存取存储器(RAM)11c、以非易失性方式存储各种类型数据使得数据是可更新的且即使在ECU 11的电源断电时也可以保持数据的闪速存储器11d、控制各种类型的显示以实现对输入图像数据的一般图像处理和对要在监视器装置13上显示的图像数据的一般图像处理等的显示控制器11e、以及控制各种类型的语音以执行从监视器装置13输出的语音数据的处理的语音控制器11f。
在图1的示例中，成像装置12安装有四个成像单元12F、12R、12L和12B，每一个成像单元被配置为数字摄像机，其包含诸如电荷耦合器件(CCD)和CMOS图像传感器(CIS)的成像元件。
图2是表示构成成像装置的成像单元的配置示例的示意视图。
如图2所示，成像装置12的成像单元12F被布置在车辆40前侧的前格栅41上，以拍摄车辆40前侧的图像(图像拍摄范围SF)并将拍摄的图像数据输出到ECU 11。另外，成像单元12R被容纳在车辆的右侧镜(门镜)42R中，以拍摄车辆40右侧的图像(图像拍摄范围SR)并将拍摄的图像数据输出到ECU 11。另外，成像单元12L被容纳在车辆40的左侧镜(门镜)42L中，拍摄车辆40左侧的图像(图像拍摄范围SL)，并将图像拍摄数据输出到ECU 11。而且，成像单元12B被布置在车辆40后侧的后舱盖43等上，以拍摄车辆后侧的图像(图像拍摄范围SB)并将图像拍摄数据输出到ECU 11。
在这种情况下，每一个成像单元12F、12R、12L和12B被配置为能够以预定帧速率输出图像数据(即，视频数据)。
在上述配置中，例如，每一个成像单元12F、12R、12L和12B被配置为安装有广角透镜或者鱼眼透镜的数字摄像机。成像装置12获得拍摄到的车辆40的周围图像数据。
在本示例性实施例中，成像装置12安装有四个成像单元12F、12R、12L和12B。然而，根据需要，成像单元的数量可以是三个或更少，或者五个或更多。另外，多个成像单元12F、12R、12L和12B的图像拍摄范围SF、SR、SL和SB不需要彼此相等，并且可以相互不同，只要确保成像装置12所要求的图像拍摄范围即可。
监视器装置13包括被配置为液晶显示器(LCD)的显示单元13a、被配置为触控面板的输入单元13b、和具有放大器(放大电路)和扬声器的语音输出装置13c。
在本示例性实施例中，布置透明输入单元13b以覆盖显示单元13a的显示屏幕，并且显示单元13a和输入单元13b整体地构成触控面板显示器。
因此，在与显示单元13a的显示屏幕上显示的图像对应的位置处，用户通过用手指等触摸、推动或者移动(轻敲、轻击和刷划)输入单元13b，可以完成输入。
例如，在车辆宽度方向(即，左右方向)上，在位于仪表板中心部的监视器装置13上安装了显示单元13a、输入单元13b、语音输出装置13c等。例如，监视器装置13可以安装有操作输入单元(未示出)，诸如开关、表盘、操纵杆或者按钮。
监视器装置13还被用作为导航系统或者音频系统。
例如，车辆控制系统30具有根据控制器区域网络(CAN)标准的车载网络25，车辆控制系统30通过车载网络25被连接到ECU 11。
车辆控制系统30包括具有多个非接触测量单元15a至15d的非接触测量设备15，每一个非接触测量单元被配置为陀螺传感器、加速传感器、或者声呐装置或者雷达、检测方向盘的转向角度的转向角度传感器16、被连接到用于检测后轮的转向角度的转向角度传感器17a并且用于完成对后轮的转向控制的后轮转向系统17、从GPS卫星接收定位无线电波并且用于输出关于纬度、经度、高度等的信息的GPS 18、检测轮子的旋转量或者每单位时间轮子的旋转速度的轮速传感器19、被连接到制动传感器20a并且用于完成制动控制的制动系统20、检测加速器踏板的介入状况(step-in condition，加速器踏板操作量)的加速器传感器21、被连接到用于检测前轮转矩的转矩传感器22a并且用于完成对前轮的转向控制的前轮转向系统22、检测换挡切换状态的变速传感器23、以及控制方向指示灯的方向指示器24。
如上述，非接触测量设备15包括多个非接触测量单元15a至15d，每一个非接触测量单元被配置为陀螺传感器、加速传感器(例如3轴加速传感器)、或者发射超声波或者无线电波并且俘获反射波的声呐装置或者雷达，并且基于非接触测量设备15的检测结果，ECU11测量车辆40的方位角、车辆40的加速度、车辆40的倾斜角、位于车辆40周围的障碍物的有/无、以及至障碍物的距离。也就是说，非接触测量设备15实现了方位角检测功能、加速度检测功能、倾斜角检测功能、物体检测功能、距离测量功能等。
如上述，转向角度传感器16是检测方向盘的转向量的传感器，并且被配置为使用例如霍尔元件(hall element)等。这里，方向盘的转向量被检测例如以作为旋转角度。
后轮转向系统17根据来自转向角度传感器17a的输出来使后轮转向。
这里，如上所述，转向角度传感器17a是检测后轮的转向量的传感器，并且被配置为使用例如霍尔元件等。这里，后轮的转向量被检测例如以作为旋转角度并且输出到后轮转向系统17。
基于从GPS卫星接收的定位无线电波，GPS 18可以获得车辆40的当前位置，诸如纬度、经度和高度、行驶方向、行驶速度、角速度等。
如上所述，轮速传感器19是检测轮子的旋转量或者每单位时间轮子的旋转速度的传感器，并且被配置为使用例如霍尔元件等。基于由轮速传感器19获得的数据，ECU 11可以计算车辆40的移动量等。而且，还有一种情况，其中轮速传感器19安装在制动系统20中。
制动系统20充当防止制动锁死的防抱死制动系统(ABS)、在转弯时防止车辆40侧滑的电子稳定性控制(ESC)装置、增加制动力的线控制动(BBW)系统等。制动系统20通过致动器(未示出)将制动力提供给轮子，由此使车辆40减速。例如，制动传感器20a是检测制动踏板(未示出)的操作量的传感器。
例如，加速器传感器21是检测加速器踏板(未示出)的操作量的传感器。
转矩传感器22a检测驾驶员施加到包括方向盘的转向部件的转矩。
前轮转向系统22根据转矩传感器22a的输出和方向盘的操作量使前轮转向。
例如，变速传感器23是检测换挡单元的移动部件的位置的传感器，被配置为使用位移传感器等。这里，换挡单元的移动部件可以包括例如操纵杆、臂、按钮等。
方向指示器24输出用于指示方向指示灯点亮和关闭以及闪烁的信号。
在前述说明中，ECU 11单独地包括MPU 11a、ROM 11b、RAM 11c等。然而，MPU 11a、ROM 11b、RAM 11c等可以被集成在同一封装中。
另外，ECU 11可以被配置为使用其它的逻辑操作处理器(诸如数字信号处理器(DSP))、逻辑电路等，来代替MPU 11a。
在前述说明中，说明了ECU 11被配置为具有闪速存储器11d，但是，可以安装固态驱动器(SSD)或者硬盘驱动器(HDD)以代替闪速存储器11d。
闪速存储器11d、SSD或者HDD可以与ECU 11分开地安装。
ECU 11控制显示单元13a以便显示输出图像。ECU 11是图像处理系统或者显示控制器的示例。
图3是ECU的功能框图。
协同硬件或者软件(程序)，ECU 11充当车辆的图像处理系统。
通常，ECU 11充当图像处理单元60和存储单元70。
例如，图像处理单元60主要由MPU 11a实现，MPU 11a充当图像处理单元60的各个部件，即图像数据获取单元61、图像合成单元62、虚拟投影图像数据生成单元63、视点图像数据生成单元64、车辆倾斜角检测单元65、输出图像数据生成单元66、数据获取单元67、变量设置单元68等。
在这种情况下，由图像处理单元60完成的至少一部分图像处理可以由显示控制器11e完成。另外，图像处理单元60的各个部分可以被配置为程序的模块，并且图像处理单元60的各个部分的至少一些部分可以被配置为硬件。
在该配置中，例如，除了关于拍摄图像的数据之外，数据获取单元67获取由输入单元13b和14输入的数据或者传感器的检测结果的数据等。
例如，变量设置单元68可以使用虚拟投影平面Sp，其使得容易获得输出图像的显示形式，这对于车辆的情况是较为有利的，以便根据车辆的情况改变虚拟投影平面Sp。这里，例如，车辆的情况可以包括车辆的速度、车辆的倾斜角、车辆与车辆周围的物体之间的距离等。
根据车辆的情况可以改变虚拟投影平面。因此，例如，容易获得对车辆的情况是较为有利的输出图像的显示形式。例如，车辆的情况包括车辆的速度、车辆的倾斜角、车辆与车辆周围的物体之间的距离等。
同时，存储单元70由ROM 11b、RAM 11c、和闪速存储器11d实现。
下面，将说明充当图像处理单元60和存储单元70的ECU 11的操作。
图4是第一示例性实施例的ECU的操作处理流程图。
首先，充当车辆倾斜角检测单元65的ECU 11基于非接触测量设备15的测量结果来检测车辆40的倾斜角(步骤S11)。
具体地，通过使用方位角检测功能或者加速度检测功能(例如通过使用在构成非接触测量设备15的多个非接触测量单元15a至15d当中的陀螺传感器或者加速传感器)，ECU11检测在车辆40的前后方向、左右方向、或者上下方向上的倾斜角。
下面，图像数据获取单元61获取与由多个成像单元12F、12R、12L和12B拍摄的多个拍摄图像对应的多段拍摄图像数据(步骤S12)。
接着，充当图像合成单元62的ECU 11合成并连接与由图像数据获取单元61获取的多个拍摄图像数据(即，由多个成像单元12F、12R、12L和12B拍摄的多个拍摄图像)对应的多个图像之间的边界部分，使得如果可能的话没有破裂(breakdown)，由此生成作为单个拍摄图像的数据的合成拍摄图像数据(步骤S13)。
充当虚拟投影图像数据生成单元63的ECU 11生成虚拟投影图像数据，该虚拟投影图像数据是在假设合成的拍摄图像数据被投影到要在下面说明(见图5)的用于包围车辆40周边的虚拟投影平面Sp上时获得的(步骤S14)。
图5示出虚拟投影平面的示意视图。
图5中的(a)是虚拟投影平面Sp的俯视图，图5中的(b)是虚拟投影平面Sp的侧视图，图5中的(c)是虚拟投影平面Sp沿着A-A线做的剖面视图。
在图5的示例中，虚拟投影平面Sp具有平行于水平表面Gr的下表面Spg和从下表面Spg(即水平表面Gr)竖立起来的侧表面Sps。
在第一示例性实施例中，虚拟投影平面Sp与车辆40一体地设置，并且下表面Spg是在理想情况下包括在水平表面Gr中的平坦表面，在该理想情况中，车辆40是在前后方向、左右方向和上下方向当中的任何方向上没有倾斜。换言之，在第一示例性实施例中，虚拟投影平面Sp的布置位置根据如在下面详细说明的车辆40的倾斜角而变化。
下表面Spg是具有近似圆环形状的平坦表面，侧表面Sps是邻接下表面Spg的圆周的弯曲表面。
图6是表示虚拟投影平面相对于车辆的配置位置的示意视图。
在这种情况下，当假设Z轴穿过车辆40的中心Gc时，与包括Z轴的平面相交的侧表面Sps的横剖面的形状例如具有椭圆圆周形状或者抛物线形状，如图6中所示。这里，侧表面Sps沿着下表面Spg圆周包围车辆40。
图7是用于解释在成像单元的图像拍摄范围和虚拟投影平面之间的关系的视图。
图7中，为了简要说明，将成像单元12R作为示例进行说明。
假设例如，如图7所示，成像单元12R的图像拍摄范围是在上下方向上的方向DR1和DR2之间，并且与在方向DR1和DR2之间的范围对应的图像被投影到虚拟投影平面Sp上。
另外，虚拟投影图像数据生成单元63计算与虚拟投影图像GSp对应的虚拟投影图像数据Ip，该虚拟投影图像GSp将在假设与由成像单元12F、12R、12L和12B输出的拍摄图像数据IcF、IcR、IcL和IcB(见图1)对应的图像GIcF、GIcR、GIcL和GIcB被投影到虚拟投影平面Sp上时获得。也就是说，虚拟投影图像数据Ip是通过对像素执行坐标变换获得的，所述像素构成了与拍摄图像数据IcF、IcR、IcL和IcB对应的图像。
在这种情况下，如图2所示，在与通过四个成像单元12F、12R、12L和12B获得的拍摄图像数据IcF、IcR、IcL和IcB对应的四个图像GIcF、GIcR、GIcL和GIcB中出现重叠部分，结果，虚拟投影图像数据生成单元63对这些图像进行合成，使得图像失真在这些重叠部分中尽可能地减小，由此获得虚拟投影图像数据Ip。
图8是用于解释在车辆倾斜的情况下在固定的虚拟投影平面和视点图像之间的关系的视图。
顺便指出，在车辆40倾斜的情况下，虚拟投影平面Sp也被倾斜为处于如图8中所示的虚拟投影平面Sp1的状态。在以虚拟投影平面Sp1的当前状态处理倾斜的虚拟投影平面Sp1的情况下，处于相对倾斜状态的车辆40周围的图像被投影到虚拟投影平面Sp1上，结果，变成不可能客观地观看车辆40的状态(姿势)。
因此，在第一示例性实施例中，虚拟投影图像数据的坐标基于车辆的倾斜角而变换(步骤S15)。
也就是说，如图8所示，在车辆40由于诸如岩石的障碍物Ba而倾斜的情况下，虚拟投影平面Sp也与车辆一起倾斜以处于虚拟投影平面Sp1的状态。因此，通过执行坐标变换，在使车辆40的倾斜角被抵消的方向上实际地使虚拟投影平面Sp1倾斜，使下表面Spg等同于水平表面Gr。
更具体地，例如，与方向DR1对应的虚拟投影平面Sp1上的坐标通过坐标变换C1被变换成虚拟投影平面Sp上的坐标，与方向DR2对应的虚拟投影平面Sp1上的坐标通过坐标变换C2被变换成虚拟投影平面Sp上的坐标。
结果，即使车辆40倾斜，虚拟投影平面Sp的下表面Spg也变成等同于水平表面Gr，使得基于水平表面Gr能够获得虚拟投影图像Glp。
接着，基于虚拟投影图像数据lp，通过使用投影在虚拟投影平面Sp上的虚拟投影图像Glp，视点图像数据生成单元64生成与从预定虚拟视点Ep观察的视点图像Glb对应的视点图像数据lb(步骤S16)。
在这种情况下，基于在步骤S11中通过车辆倾斜角检测单元65获得的车辆的倾斜角量，视点图像数据生成单元64将投影在虚拟投影平面Sp上的虚拟投影图像Glp变换成与从预定虚拟视点Ep观察的视点图像Glb对应的视点图像数据lb，如图8所示。在这种情况下，虚拟视点Ep可以由用户任意地设置。
例如，在图8的示例中，虚拟视点Ep被设置到在车辆40左方向上适当地与车辆40间隔开的位置和到车辆40门的中心的高度。就是说，可以获得诸如当第三方在车辆之外于车辆40的左侧观察车辆40的行驶状态时获得的视点图像的视点图像。
随后，输出图像数据生成单元66基于视点图像数据lb生成输出图像数据(步骤S17)。
图9是车辆对应于输出图像的实际状态的示意视图。
图10是输出图像的示例的示意视图。
如图9所示，在车辆40的前轮被置于诸如岩石的障碍物Ba上的情况下，与车辆40一体地设置的虚拟投影平面Sp1处于与车辆40一起相对于水平表面Gr旋转的状态，但是，生成输出图像数据实际所需的虚拟投影平面Sp处于下表面Spg被包括在水平表面Gr中的状态。
如图10所示，包括树、地面表面GND等的视点图像Glb作为背景图像被显示在输出图像Gout上，用于显示车辆40的状态(倾斜状态)的车辆模型图像40M在作为背景图像的视点图像Glb前面被显示为处于相对于水平表面Gr倾斜的状态。
因此，根据第一示例性实施例，获得并且如图10所示的那样显示输出图像Gout，结果，由于在从车辆40的外部没有倾斜的状态下观察的背景上，在反映实际倾斜的状态中，显示了作为自身车辆的车辆40的车辆模型图像40M，因此用户可以直观地识别作为自身车辆的车辆40的倾斜，并且此后，用户可以容易地将车辆40的倾斜反映到驾驶操作。
[2]第二示例性实施例
在第一示例性实施例中，当车辆40倾斜时，虚拟投影平面Sp与车辆40一体地倾斜，但是，第二示例性实施例是虚拟投影平面Sp被固定(对于水平表面)而不受车辆40的倾斜影响的示例性实施例。
图11是第二示例性实施例的ECU的操作处理流程图。
首先，充当车辆倾斜角检测单元65的ECU 11基于非接触测量设备15的测量结果来检测车辆40的倾斜角(步骤S21)。
接着，充当图像数据获取单元61的ECU 11获取与由多个成像单元12F、12R、12L和12B拍摄的多个拍摄图像对应的多段拍摄图像数据(步骤S22)，并且充当图像合成单元62的ECU 11合成并连接与由图像数据获取单元61获取的多段拍摄图像数据(即，由多个成像单元12F、12R、12L和12B拍摄的多个拍摄图像)对应的多个图像之间的边界部分，使得如果可能的话没有破裂，由此生成作为关于单个拍摄图像的数据的合成拍摄图像数据(步骤S23)。
充当虚拟投影图像数据生成单元63的ECU 11生成虚拟投影图像数据，该虚拟投影图像数据是在假设合成的拍摄图像数据被投影到包围车辆40的虚拟投影平面上时获得的(步骤S24)。在这种情况下，虚拟投影图像数据生成单元63假设合成的拍摄图像数据被投影到包围车辆40的虚拟投影平面上，以便抵消在步骤S21中由车辆倾斜角检测单元65获得的车辆40的倾斜角量。
接着，在车辆40的倾斜角量被抵消的状态下，基于虚拟投影图像数据lp，通过使用投影在虚拟投影平面Sp上的虚拟投影图像Glp，视点图像数据生成单元64生成与从预定虚拟视点Ep观察的视点图像Glb对应的视点图像数据lb(步骤S25)。
随后，与图10所示的情况类似地，基于视点图像数据lb，输出图像数据生成单元66生成输出图像数据输出，该输出图像数据输出与将视点图像Glb在其中显示为背景图像的输出图像Gout对应，并且用于显示车辆40的状态(倾斜状态)的车辆模型图像40M在作为背景图像的视点图像Glb前面被显示为处于相对于水平表面Gr倾斜的状态。
因此，根据第二示例性实施例，基于类似于第一示例性实施例的所获得输出图像Gout，通过在生成虚拟投影图像数据时抵消车辆40的倾斜角，并且实际上假设虚拟投影图像被投影到被固定于水平表面的虚拟投影平面Sp上，用户可以直观地识别作为自身车辆的车辆40的倾斜，并且此后，用户可以容易地将车辆40的倾斜反映到驾驶操作。
[3]第三示例性实施例
在各个示例性实施例中，成像单元12F、12R、12L和12B不能拍摄面对车辆40的下表面的道路表面(道路等)。也就是说，不可能获得有关车辆40实际行驶的道路表面的信息。
然而，当车辆处于几乎笔直的行驶状态时，车辆当前行驶的道路表面的图像在预定时间之前应该已经被成像单元12F拍摄。
类似地，在车辆40在右方向转弯的情况下车辆40当前行驶的道路表面的图像在预定时间之前应该已经被成像单元12R拍摄，在车辆40在左方向转弯的情况下车辆40当前行驶的道路表面的图像在预定时间之前应该已经被成像单元12L拍摄，在车辆40在向后移动的情况下车辆40当前行驶的道路表面的图像在预定时间之前应该已经被成像单元12B拍摄。
因此，基于与车辆当前行驶的道路表面的拍摄图像有关的过去图像拍摄数据，可以显示车辆当前行驶的道路表面。
图12是第三示例性实施例的示意视图。
图12中，车辆40行驶在图12上侧所示位置处的道路表面(道路)RD上，由成像单元12F在该位置拍摄的拍摄图像是图像GlcF。
相反，紧接着车辆40行驶在图12上侧所示的位置处之前，车辆40行驶在车辆40P的位置处，并且由成像单元12F在该位置拍摄的拍摄图像是包括道路表面RDp的图像GlcFP。
在车辆行驶在车辆40P的位置时获得的图像GlcFP是车辆40行驶的包括障碍物Ba的道路表面的图像。
因此，在第三示例性实施例中，在车辆当前行驶的地方拍摄的图像与在车辆行驶在车辆40P的位置时获得的图像GlcFP合成，作为在虚拟投影平面Sp的包括下表面Spg的预定区域中投影的图像，由此显示当前行驶状态。
图13是第三示例性实施例的输出图像的示意视图。
输出图像Gout1是虚拟视点Ep被设置到车辆40的后侧的情况下的图像。使用在车辆行驶在图12所示的车辆40的位置时获得的图像GlcF的视点图像Glb以用作为车辆40前面的图像，面对车辆40下表面的道路表面(道路等)的图像是使用了图像GlcFP的视点图像GlbP，该视点图像GlbP包括道路表面RDp并且是在车辆行驶在图12所示的车辆40的位置时获得的。
如上述，根据第三示例性实施例，由于有可能获得包括车辆当前行驶的道路表面的状态的输出图像，因此能够可靠地识别车辆40实际行驶的状态。
[4]第四示例性实施例
图14A和图14B是第四示例性实施例的示意视图。
图14A示出在当车辆40以车辆40在左右方向被倾斜成角度θ1的状态行驶时虚拟视点Ep被设置到车辆40的后侧的情况下的输出图像Gout11。
在这种情况下，角度θ1小于预定阈值角度θth(θ1<θth)，假设车辆的侧滑、打滑等的可能性在该预定阈值角度增加，并且输出图像Gout11在其上仅仅显示车辆模型图像40M，该车辆模型图像40M在从车辆40后侧的虚拟视点Ep观察的视点图像Glb上被倾斜成角度θ1。
相反，图14B示出在当车辆40以车辆40在左右方向被倾斜成角度θ2(>θth)的状态行驶时虚拟视点Ep被设置到车辆40的后侧的情况下的输出图像Gout12。
在从车辆40后侧处的虚拟视点Ep观察的视点图像Glb上被倾斜成角度θ2的车辆模型图像40M被显示在输出图像Gout 12上。此外，在车辆40被倾斜成大于阈值角度θth的角度的情况下，用于提醒用户注意车辆40倾斜角的增加且更可视地向用户表示倾斜状态的计量图像(gauge image)GG和用于可视地强调并显示倾斜状态的计量系数(gauge index)G1被显示在输出图像Gout 12上。
因此，根据第四示例性实施例，可以提供用于客观地确定车辆40的倾斜状态的信息。
在图14A和图14B所示的示例中，倾斜角的数值刻度等没有被显示在计量图像GG上。然而，计量图像可以被配置为显示数值刻度，或者通过数值显示当前倾斜角度，诸如俯仰角、滚转角和偏航角。
[5]第五示例性实施例
在各个示例性实施例中，显示车辆模型图像40M以可视地显示车辆40的倾斜角，显示模式是与车辆的倾斜状态无关的常数。
因此，可以非必要且直观地识别车辆的倾斜状态。
图15是第五示例性实施例的第一显示示例的示意视图。
图15示出在车辆行驶在上坡路的状态下虚拟视点Ep被设置到车辆40右侧的情况下车辆模型图像40M的显示示例。
更详细地，如图15左边部分所示，在车辆40的倾斜角度θ小于第一阈值角度θth1的情况下，车辆模型图像40M被用白色显示，这表明例如倾斜角度θ接近于水平的状态。
如图15中心部分所示，在车辆40的倾斜角度θ大于第一阈值角度θth1且小于第二阈值角度θth2的情况下，车辆模型图像40M表明车辆为轻微倾斜的状态，并且用橘色显示，以便引起用户的注意。
如图15右边部分所示，在车辆40的倾斜角度θ大于第二阈值角度θth2(>θth1)情况下，车辆模型图像40M表明车辆的倾斜角显著增加的状态，并且用红色显示，以便引起用户的注意。
图16是第五示例性实施例的第二显示示例的示意视图。
图16示出在车辆40行驶在具有堤岸的道路表面上的状态下虚拟视点Ep被设置到车辆40前侧的情况下车辆模型图像40M的显示示例。
更详细地，如图16左边部分所示，在车辆40以几乎水平的状态行驶并且左右方向的倾斜角度θ小于第一阈值角度θth11的情况下，车辆模型图像40M用白色显示，这表明例如倾斜角度θ接近于水平的状态。
如图16中心部分所示，在左右倾斜角度θ1大于第一阈值角度θth11且小于第二阈值角度θth12的情况下，在一侧的轮子(即，车辆40的左轮)行驶在堤岸上的状态下，车辆模型图像40M表明车辆在左右方向为轻微倾斜的状态，并且用橘色显示，以便引起用户的注意。
如图16右边部分所示，在车辆40完全行驶在堤岸上并且车辆40在左右方向的倾斜角度θ1大于第二阈值角度θth12(>θth11)情况下，车辆模型图像40M表明车辆40的倾斜角显著增加的状态，并且用红色显示，以便进一步引起用户的注意。
在这些情况下，可以适当地设置车辆模型图像40M的显示颜色，并且用户可以设置期望的颜色。
除了颜色变化，例如，在车辆的倾斜角显著增加的状态下，显示模式可以改变，使得车辆模型图像40M闪烁或者车辆模型图像40M的闪烁速率改变。
[6]第六示例性实施例
图17是第六示例性实施例的示意视图。
第六示例性实施例是示例性实施例，其中除了车辆40的倾斜显示之外，在输出图像上还显示车辆40距预定参考高度的当前相对高度。
如图17所示，在当车辆以车辆40R的高度出现时设置参考高度的情况下，车辆40的当前相对高度处于图17所示的状态。
图18是第六示例性实施例的输出图像的示意视图。
视点图像Glb在输出图像Gout21上被显示作为背景图像，用于显示车辆40的状态(倾斜状态)的车辆模型图像40M在作为背景图像的视点图像Glb前面被显示成相对于水平表面Gr倾斜的状态。
用于可视地显示车辆40的实际相对高度的相对高度指示器AIND被显示在输出图像Gout21的左边部分上，车辆图标40I被显示在与车辆40的实际相对高度对应的位置。
因此，用户可以可视且容易地识别自身车辆40相对于参考高度的当前相对高度(例如上坡路高度的差)。
[7]第七示例性实施例
图19是第七示例性实施例的示意视图。
第七示例性实施例是用于将下述状态通知用户的示例性实施例，在该状态中，在某个时间之前处于由车辆40P表示的位置处且将要攀登斜坡SLP的车辆40处于完全攀登上了斜坡SLP而使得车辆40的前轮TF到达顶部SLPT的状态。
通常，在车辆40正在攀登斜坡SLP的状态中，在前轮TF到达顶部SLPT的情况下，首先使车辆40停止，而不是使车辆40继续地攀登斜坡SLP，能够确保前轮TF的抓地力，使得确保了斜坡的攀登能够完成。
因此，第七示例性实施例将完成了斜坡SLP的攀登而使得车辆40的前轮TF到达顶部SLPT的状态通知用户。
图20A和图20B是用于解释第七示例性实施例的输出图像的状态的视图。
图20A示出在当车辆40出现在车辆40P的位置时虚拟视点Ep被设置到车辆40的后侧的情况下的输出图像Gout31。
如图20A所示，在车辆40没有完全地攀登上斜坡SLP的状态下，道路表面RD处于在其中间被断开的状态。因此，在车辆40的倾斜角表明车辆正在攀登斜坡是非常可能的状态下，ECU 11使用输出图像Gout31的背景图像Glb或者诸如声呐装置的构成非接触测量单元15a至15d的距离传感器来测量至道路表面RD的距离，并且在道路表面RD在其中间被断开的情况下，ECU 11确定出车辆正在攀登斜坡。
在车辆40完全攀登上斜坡SLP的情况下，如图19所示，成像单元12F的图像拍摄范围包括顶部SLPT，因而，如图20B示出的输出图像Gout32上所显示的那样，道路表面RD被连接成某种程度。因此，ECU 11使用输出图像Gout32的背景图像Glb或者诸如声呐装置的构成非接触测量单元15a至15d的距离传感器来检测距离，并且显示用于告知车辆40由于前轮TF到达顶部SLPT而需要停止的评论CM。
如上述，根据第七示例性实施例，基于当车辆攀登斜坡时车辆40的倾斜角和道路表面RD之间的关系，ECU 11显示用于告知用户车辆40由于前轮TF到达顶部SLPT而需要停止的评论CM。结果，能够保证前轮TF确保抓地力，使得能够完成斜坡的攀登。
在这种情况下，替代显示或者除了显示之外能够采用下述配置，在该配置中，可以提供诸如蜂鸣器的通知声音、诸如通知语音消息的通知语音等以引起用户的注意。
如上所述，根据第七示例性实施例，在前轮TF到达顶部SLPT时，通过更可靠地确保前轮TF的抓地力，能够使车辆完成斜坡的攀爬。
[8]第八示例性实施例
第八示例性实施例是用于检测车辆40的倾斜的加速传感器(3轴加速传感器的一部分或者整个3轴加速传感器)出故障的示例性实施例。
图21是第八示例性实施例的输出图像的示例的示意视图。
在这种情况下，在故障加速传感器的输出为零的状态下操纵故障加速传感器，并且在输出图像Gout上显示错误评论EC以通知用户该故障加速传感器。
根据第八示例性实施例，能够防止ECU 11处于因加速传感器故障而导致没有计算结果存在的状态，并且能够可靠地通知用户在输出图像Gout上的显示不是精确的。
[9]第九示例性实施例
在各个示例性实施例中，构成虚拟投影平面Sp的下表面Spg被处理成简单的平坦表面，但是第九示例性实施例是为车辆40的每个轮胎分配下表面的示例性实施例，由此实现更接近实际道路表面状态的显示。
图22是第九示例性实施例的虚拟投影平面的俯视图。
在图22所示的情况下，不同于图5所示的情况，虚拟投影平面Sp具有包括分别为各轮胎分配的四个子下表面SpgRF、SpgRR、SpgLF和SpgLR的下表面Spg，以及从下表面Spg(即，水平表面Gr)竖立起来的侧表面Sps。
图23是用于解释在虚拟投影平面和车辆之间的关系的视图。
如图23所示，虚拟投影平面Sp的子下表面SpgRF对应于车辆40的右前轮TRF，子下表面SpgRR对应于车辆40的右后轮TRR，子下表面SpgLF对应于车辆40的左前轮TLF，以及子下表面SpgLR对应于车辆40的左后轮TLR。
图24是第九示例性实施例的详细示意图。
在第九示例性实施例中，用于检测相应轮胎(轮子)的压力分布(或者形状变化)的一对左右传感器SS1和SS2被布置在右前轮TRF、右后轮TRR、左前轮TLF以及左后轮TLR中的每一个上。
在这种情况下，传感器SS1和SS2中的每一个都具有用于完成与ECU 11通信的无线通信功能和用于在右前轮TRF、右后轮TRR、左前轮TLF或者左后轮TLR中产生电力并将产生的电力供给相应传感器SS1和SS2的电源功能。
基于来自传感器SS1和SS2的通信，根据在右前轮TRF、右后轮TRR、左前轮TLF和左后轮TLR中每一个轮子处检测的地面接触表面(图24的地面接触表面CS1和地面接触表面CS2)，ECU 11配置为每个轮胎分配的虚拟投影平面Sp的下表面Spg，并且ECU 11生成输出图像，以便包括关于可以独立倾斜的四个子下表面SpgRF、SpgRR、SpgLF和SpgLR的每个轮胎的地面接触表面，或者以便使用分别与各轮胎的地面接触表面平行倾斜的子下表面SpgRF、SpgRR、SpgLF和SpgLR。而且，图24中，子下表面SpgF0对应于当没有倾斜时的子下表面SpgLF。
因此，根据第九示例性实施例，可以根据车辆40实际行驶的道路表面的地面接触状态来配置输出屏幕，结果，用户可以更精确地识别车辆40的行驶状态。
[10]示例性实施例的效果
如上所述，根据各个示例性实施例，车辆40的倾斜可以可视且容易地通过输出图像来识别，结果，用户基于车辆40的倾斜可以可靠地实现所需的操作。
[11]示例性实施例的改进
前面，已经说明了示例性实施例，但是示例性实施例是示例，且并不旨在限制本公开的范围。示例性实施例可以以其它各种形式实现，并且在不脱离本公开的主题的情况下，可以被不同地省略、替换、合并和改变。另外，各个示例的配置或者形状可以被部分地改变并实现。另外，各个配置的规格(结构、类型、方向、形状、大小、长度、宽度、厚度、高度、数量、布置、位置、颜色、图案等)可以被适当地改变并实现。
可以实现非前述示例性实施例和改进中公开的配置的配置。另外，根据本公开，能够获得通过这些配置所获得的各种效果或者导出效果的至少一个。
在前述说明中，虚拟投影平面Sp的形状可以以各种模式来使用。
例如，在车辆40的速度是第一速度的情况下，可以设置一种虚拟投影平面Sp，在其中与车辆40的远方位置对应的部分急剧上升；以及在车辆40的速度是低于第一速度的第二速度的情况下，可以使用一种虚拟投影平面，其从车辆40的附近到车辆40的远方位置缓慢上升，或者一种虚拟投影平面，在其中与车辆40的附近对应的部分急剧上升。
输出图像(显示图像)可以通过多个显示装置显示，并且可以通过与导航装置等分开安装的显示装置显示。显示装置可以是用于将图像投影到前窗的屏幕等、车载屏幕等上的装置，或者可以是在车辆的仪表板或者中央控制台上安装的显示面板。另外，显示面板可以被安装在驾驶舱模块、仪器面板、仪表板等上。
对虚拟投影平面设置各种形状。
例如，虚拟投影平面Sp的侧表面Sps可以是弯曲表面，虚拟投影平面Sp的侧表面Sps和下表面Spg可以是一系列的弯曲表面。
在前面的说明书中已经说明了本发明的原理、优选实施例和操作模式。然而，希望被保护的本发明不应被解释为局限于公开的特定实施例。而且，这里说明的实施例应被认为是说明性的而非限制性的。在不脱离本发明精神的情况下，其他人可以作出变型和改变、以及采用等同物。因此，应当明确地认为，由此包含落在如权利要求书所限定的本发明的精神和范围内的所有这类变型、改变和等同物。

Claims (8)

1.一种车辆(40，40P，40R)的图像处理系统(11)，该图像处理系统包括：
视点图像生成单元(64)，当假设与周围图像数据对应的周围图像被投影到配置位置已经被预先设置的虚拟投影平面(Sp，Sp1)上时，基于与车辆的倾斜角对应的倾斜角信息和通过拍摄车辆周边的图像获得的周围图像数据，生成从预定虚拟视点(Ep)观察的视点图像(Glb)；以及
输出图像生成单元(66)，生成和输出输出图像数据，以便使显示装置(13)显示输出图像(Gout、Gout1、Gout11、Gout12、Gout21、Gout31、Gout32)，在该输出图像中，具有根据与所述倾斜角信息对应的车辆倾斜角的倾斜的自身车辆模型图像(40M)被叠加在所述视点图像上，
所述虚拟投影平面被设置为三维地布置在车辆周围，以包围与处于非倾斜状态的车辆对应的车辆，以及
所述视点图像生成单元包括投影平面设置单元(63)，该投影平面设置单元基于所述倾斜角信息来设置所述虚拟投影平面，以抵消车辆的倾斜角。
2.根据权利要求1所述的车辆的图像处理系统，其中，所述投影平面设置单元设置相对于参考水平表面而被固定的虚拟投影平面。
3.根据权利要求1所述的车辆的图像处理系统，其中，
所述虚拟投影平面具有被布置成面对水平表面(Gr)的下表面(Spg)和被布置成面对水平方向上的车辆周边的侧表面(Sps)，以及
所述下表面具有多个子下表面(SpgRF、SpgRR、SpgLF、SpgLR)，每一个子下表面能够被独立地倾斜以包括车辆的每个轮子的地面接触表面，或者平行于所述地面接触表面。
4.根据权利要求2所述的车辆的图像处理系统，其中，
所述虚拟投影平面具有被布置成面对水平表面(Gr)的下表面(Spg)和被布置成面对水平方向上的车辆周边的侧表面(Sps)，以及
所述下表面具有多个子下表面(SpgRF、SpgRR、SpgLF、SpgLR)，每一个子下表面能够被独立地倾斜以包括车辆的每个轮子的地面接触表面，或者平行于所述地面接触表面。
5.根据权利要求1到4中任意一项所述的车辆的图像处理系统，其中，所述输出图像中包括通知信息，用于通知任何一个方向上车辆的倾斜角超过了与该方向对应的预定倾斜角阈值(θth)。
6.根据权利要求5所述的车辆的图像处理系统，其中，所述通知信息被配置为自身车辆模型图像的显示模式的变化，或者包括评论(CM)或者计量图像(GG)的附加信息的显示。
7.根据权利要求5所述的车辆的图像处理系统，其中，
所述倾斜角阈值具有第一阈值(θth1，θth11)和大于所述第一阈值的第二阈值(θth2，θth12)，以及
车辆在任何一个方向上的倾斜角大于所述第一阈值且小于所述第二阈值的情况下的通知信息与车辆在任何一个方向上的倾斜角大于所述第二阈值的情况下的通知信息相互不同。
8.根据权利要求6所述的车辆的图像处理系统，其中，
所述倾斜角阈值具有第一阈值(θth1，θth11)和大于所述第一阈值的第二阈值(θth2，θth12)，以及
车辆在任何一个方向上的倾斜角大于所述第一阈值且小于所述第二阈值的情况下的通知信息与车辆在任何一个方向上的倾斜角大于所述第二阈值的情况下的通知信息相互不同。
CN201710560373.8A 2016-09-08 2017-07-11 车辆的图像处理系统 Active CN107818581B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-175890 2016-09-08
JP2016175890A JP6759899B2 (ja) 2016-09-08 2016-09-08 車両用画像処理装置

Publications (2)

Publication Number Publication Date
CN107818581A CN107818581A (zh) 2018-03-20
CN107818581B true CN107818581B (zh) 2023-07-14

Family

ID=58873591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710560373.8A Active CN107818581B (zh) 2016-09-08 2017-07-11 车辆的图像处理系统

Country Status (4)

Country Link
US (1) US10495458B2 (zh)
EP (1) EP3293970B1 (zh)
JP (1) JP6759899B2 (zh)
CN (1) CN107818581B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018207976A1 (de) * 2018-05-22 2019-11-28 Continental Automotive Gmbh Verfahren und Vorrichtung zum Anzeigen einer Fahrzeugumgebung
JP2020061646A (ja) * 2018-10-10 2020-04-16 市光工業株式会社 車両用表示装置
JP7326018B2 (ja) * 2018-10-18 2023-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
JP7160701B2 (ja) * 2019-01-23 2022-10-25 株式会社小松製作所 作業機械のシステム及び方法
WO2020164744A1 (en) * 2019-02-15 2020-08-20 Toyota Motor Europe Systems and methods for image normalization
JP7274324B2 (ja) * 2019-03-27 2023-05-16 株式会社デンソーテン 画像処理装置及び画像処理方法
KR20210011556A (ko) * 2019-07-22 2021-02-02 현대자동차주식회사 차량 영상 제어 장치, 그를 포함한 시스템 및 그 방법
EP3809377A1 (en) * 2019-10-15 2021-04-21 Continental Automotive GmbH Method and device for providing a visualization of a vehicle
DE102020208363A1 (de) * 2020-07-03 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur animierten dreidimensionalen Darstellung eines Fahrzeugs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102783143A (zh) * 2010-03-10 2012-11-14 歌乐牌株式会社 车辆用周围监视装置
EP2990265A1 (en) * 2014-08-29 2016-03-02 Aisin Seiki Kabushiki Kaisha Vehicle control apparatus
WO2016098614A1 (ja) * 2014-12-17 2016-06-23 日本精機株式会社 車両情報投影システム及び車両情報投影方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4060031B2 (ja) * 2000-11-29 2008-03-12 日産ディーゼル工業株式会社 車両のロールオーバ防止装置
JP4796676B2 (ja) * 2006-05-26 2011-10-19 アルパイン株式会社 車両上方視点画像表示装置
JP5369465B2 (ja) 2008-03-25 2013-12-18 富士通株式会社 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
US9672432B2 (en) * 2011-06-09 2017-06-06 Aisin Seiki Kabushiki Kaisha Image generation device
US9625719B2 (en) * 2014-09-04 2017-04-18 Yazaki Corporation Projection display device
JP6380550B2 (ja) * 2014-11-14 2018-08-29 日産自動車株式会社 表示装置及び表示方法
JP6507626B2 (ja) 2014-12-19 2019-05-08 アイシン精機株式会社 車両周辺監視装置
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
JP2018001901A (ja) * 2016-06-30 2018-01-11 アイシン精機株式会社 走行支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102783143A (zh) * 2010-03-10 2012-11-14 歌乐牌株式会社 车辆用周围监视装置
EP2990265A1 (en) * 2014-08-29 2016-03-02 Aisin Seiki Kabushiki Kaisha Vehicle control apparatus
WO2016098614A1 (ja) * 2014-12-17 2016-06-23 日本精機株式会社 車両情報投影システム及び車両情報投影方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向车辆视频测速的摄像机倾斜角自适应标定方法;雷军等;《计算机应用研究》;20110615(第06期);全文 *

Also Published As

Publication number Publication date
EP3293970A1 (en) 2018-03-14
EP3293970B1 (en) 2024-10-16
JP6759899B2 (ja) 2020-09-23
US20180066941A1 (en) 2018-03-08
US10495458B2 (en) 2019-12-03
CN107818581A (zh) 2018-03-20
JP2018042148A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
CN107818581B (zh) 车辆的图像处理系统
JP6575445B2 (ja) 車両用画像処理装置
US9895974B2 (en) Vehicle control apparatus
US10467789B2 (en) Image processing device for vehicle
US20140085466A1 (en) Image generating apparatus
JP2017019436A (ja) 自動運転システム
EP3664014B1 (en) Display control device
US20190163988A1 (en) Periphery monitoring device
JP2012076483A (ja) 駐車支援装置
CN107791951B (zh) 显示控制装置
US20200166360A1 (en) Travel obstruction detection device and vehicle navigation system
US11527013B2 (en) Camera parameter estimating device, camera parameter estimating method, and camera parameter estimating program
US20190258245A1 (en) Vehicle remote operation device, vehicle remote operation system and vehicle remote operation method
WO2018003188A1 (ja) 周辺監視装置
JP2010003086A (ja) ドライブレコーダー
WO2017056989A1 (ja) 車両用画像処理装置
JP2012037924A (ja) 運転支援装置
US10807529B2 (en) Driving assistant apparatus with lane marking
US20220176819A1 (en) Periphery monitoring apparatus
JP2017037400A (ja) 情報表示装置
KR102202638B1 (ko) 운전 보조 장치 및 이를 이용한 운전 보조 방법
EP3623196B1 (en) Vehicle display device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220223

Address after: Aichi Prefecture, Japan

Applicant after: AISIN Co.,Ltd.

Address before: Aichi Prefecture, Japan

Applicant before: AISIN SEIKI Kabushiki Kaisha

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant