CN105383384B - 车辆控制装置 - Google Patents

车辆控制装置 Download PDF

Info

Publication number
CN105383384B
CN105383384B CN201510543259.5A CN201510543259A CN105383384B CN 105383384 B CN105383384 B CN 105383384B CN 201510543259 A CN201510543259 A CN 201510543259A CN 105383384 B CN105383384 B CN 105383384B
Authority
CN
China
Prior art keywords
vehicle
image data
output
angle
inclination angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510543259.5A
Other languages
English (en)
Other versions
CN105383384A (zh
Inventor
渡边一矢
丸冈哲也
大桥逸子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN105383384A publication Critical patent/CN105383384A/zh
Application granted granted Critical
Publication of CN105383384B publication Critical patent/CN105383384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

一种车辆控制装置，包括：第一获取部(501)，获取从成像部(16、16a、16b、16c、16d)输出的捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)，成像部(16、16a、16b、16c、16d)设置在车辆(1)处且对车辆(1)的周边环境成像；第二获取部(502)，基于车辆(1)的状态信息获取车辆(1)的倾斜角，状态信息由设置在车辆(1)处的车辆状态检测部(26)输出；以及输出部(505)，被配置为将输出图像数据输出到显示设备(8)，输出图像数据包括捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及表示车辆的倾斜角的倾斜角显示信息，输出部根据车辆(1)的倾斜角改变输出图像数据内的显示方法并输出该输出图像数据。

Description

车辆控制装置
技术领域
本公开文本一般涉及一种车辆控制装置。
背景技术
在JP2013-210225A(在下文中称为专利参考文献1)中公开了一种用于支持车辆的停放的已知技术。根据在专利参考文献1中公开的技术，驾驶员接收由安装在车辆上的多个摄像头捕获的图像数据，捕获的图像数据作为车辆的周围环境。专利参考文献1还提供一种根据车辆的倾斜来警告驾驶员的技术。
然而，根据在专利参考文献1中公开的技术，驾驶员不能通过仅观察由安装在车辆上的摄像头捕获的图像数据来识别车辆的倾斜。此外，因为根据车辆的倾斜的警告在预定时刻被执行，所以对驾驶员而言很难在除预定时刻之外的其它时刻识别车辆的倾斜。
因此，需要一种车辆控制装置，其使得驾驶员容易地识别车辆的倾斜和车辆的周边情况。
发明内容
根据本公开文本的一个方案，一种车辆控制装置包括：第一获取部，获取从成像部输出的捕获图像数据，成像部设置在车辆处且对车辆的周围环境进行成像(image)；第二获取部，基于车辆的状态信息获取车辆的倾斜角，状态信息由设置在车辆处的车辆状态检测部输出；以及输出部，被配置为将输出图像数据输出到显示设备，输出图像数据包括捕获图像数据以及表示车辆的倾斜角的倾斜角显示信息，输出部根据车辆的倾斜角改变输出图像数据内的显示方法并输出输出图像数据。
因此，作为一个示例，因为当参照显示设备时驾驶员识别车辆的周边情况和倾斜，所以驾驶员可以容易地识别车辆的周边情况。
根据本公开文本的另一个方案，作为输出图像数据内的显示方法，输出部根据车辆的倾斜角来改变颜色。
因此，作为一个示例，因为驾驶员可以通过颜色来识别车辆的倾斜，所以可以减轻驾驶员在转向时的负担。
根据本公开文本的又一个方案，输出部通过使用车辆的倾斜角数据来输出包括捕获图像数据的输出图像数据，该捕获图像数据基于车辆相对于横向方向或水平方向的倾斜角被旋转地控制，该横向方向是包括在与重力方向正交的横向平面内的方向，该倾斜角数据通过第二获取部被获取。
因此，作为一个示例，因为驾驶员可以通过捕获图像数据来识别车辆的周边情况，所以可以减轻驾驶员在转向时的负担。
根据本公开文本的另一个方案，在车辆的倾斜角小于预定第一角度的情况下，输出部输出包括捕获图像数据的输出图像数据。在车辆的倾斜角等于或大于第一角度的情况下，输出部输出包括捕获图像数据和倾斜角显示信息的输出图像数据。在车辆的倾斜角等于或大于预定第二角度的情况下，输出部输出包括捕获图像数据和倾斜角显示信息的输出图像数据，并改变输出图像数据的显示区内的显示方法，第二角度大于第一角度。
因此，作为一个示例，因为驾驶员可以通过在显示设备显示的显示方法来识别车辆的倾斜，而无需参照倾斜角显示信息，所以驾驶员可以容易地识别车辆的周边情况。
根据本公开文本的又一个方案，倾斜角包括车辆的第一倾斜角，第一倾斜角用作侧倾角，并且倾斜角包括车辆的第二倾斜角，第二倾斜角用作俯仰角。显示方法包括第一显示方法和第二显示方法。输出部根据侧倾角在输出图像数据的显示区内改变第一显示方法。输出部根据俯仰角在输出图像数据的显示区内改变第二显示方法。
因此，因为显示方法根据侧倾角或俯仰角的倾斜角改变，所以驾驶员可以识别车辆的倾斜状态，而无需注视倾斜仪，或者无需仔细地观察倾斜仪。
根据本公开文本的再一个方案，作为显示方法，输出部改变所述捕获图像数据的颜色、除捕获图像数据以及倾斜角显示信息之外的显示区的颜色以及倾斜角显示信息内的颜色中的至少一种。
因此，驾驶员可以识别车辆的情况。
根据本公开文本的又一个方案，显示设备显示从输出部输出的输出图像数据，作为显示方法，显示设备显示警告驾驶员的图标与输出图像数据。
因此，因为警告图标与输出图像数据一起被显示，所以驾驶员可以识别车辆的情况。
根据本公开文本的又一个方案，显示设备显示从输出部输出的输出图像数据，作为显示方法，显示设备显示根据相对于横向平面的高度差改变所述捕获图像数据内的区域的颜色的输出图像数据。
因此，例如，在以捕获图像数据的部分越暗，相对于横向平面的高度越低，且捕获图像数据的部分越亮，相对于横向平面的高度越高的方式显示的情况下，驾驶员可以识别车辆的倾斜状态。
附图说明
通过以下参照附图的详细描述，本公开文本的上述及其它特征和特点将变得更加显而易见，其中：
图1是示出一状态的示例的透视图，该状态为以透视方式示出根据一实施例的车辆内部的一部分；
图2是示出根据实施例的车辆的示例的平面图(俯视图)；
图3是示出根据实施例的车辆的周围环境监测系统的示例的方框图；
图4是示出根据实施例的加速度传感器的检测方向的示例的视图；
图5是示出根据实施例的在周围环境监测ECU内实现的周围环境监测部的结构的方框图；
图6是根据实施例的通过成像部捕获的捕获图像数据的示例；
图7是示出在对应于透镜的中心的位置坐标用作原点的情况下表示捕获图像数据的显示区的二维正交坐标系的示例的示意图；
图8是示出根据实施例的在通过旋转控制部执行旋转校正之后的捕获图像数据的示例的示意图；
图9是示出根据实施例的在合成部执行合成之后的图像数据的示例的示意图；
图10是示出根据实施例的在周围环境监测部中的显示设备上的显示处理的过程的流程图；
图11是示出根据实施例的在周围环境监测部中的显示设备上显示的图像数据的合成处理的过程的流程图；
图12是示出根据实施例的在合成部执行合成之后的输出图像数据的示例的视图；
图13是示出根据实施例的在合成部执行合成之后的输出图像数据的另一个示例的视图；
图14是示出根据实施例的第一修改示例的在合成部执行合成之后的输出图像数据的示例的视图；以及
图15是示出根据实施例的第二修改示例的在合成部执行合成之后的输出图像数据的示例的视图。
具体实施方式
以下实施例和修改示例彼此间包括类似的部件。因此，类似的部件具有共同的附图标记。此外，省略重复说明。
在实施例中，例如，车辆1可以是包括内燃机作为驱动源的汽车(内燃机车)、包括电动机作为驱动源的汽车(电车和燃料电池车等)、或者包括发动机和电机作为驱动源的汽车(混合动力车)。此外，车辆1可以包括驱动内燃机或电动机所需的各种变速器和各种装置(系统、部件等)。此外，可以对与车辆1的车轮3的驱动有关的装置的方法、数量、布局等进行不同地指定。
如图1所示，车辆本体2形成乘客进入的车辆内部2a。例如，在面向作为乘客的驾驶员的座位2b的状态下，转向部(steering portion)4、加速操作部5、制动操作部6、变速操作部7等被设置在车辆内部2a内。在本实施例中，作为一个示例，转向部4是从仪表盘(仪表板)突出的方向盘，以及加速操作部5是位于驾驶员的脚处的油门踏板。制动操作部6是位于驾驶员的脚处的刹车踏板，以及变速操作部7是从中央控制台突出的变速杆。然而，转向部4、加速操作部5、制动操作部6和变速操作部7不限于前述的部件。
此外，显示设备8(显示输出部)和音频输出设备9(音频输出部)被设置在车辆内部2a内。显示设备8例如是LCD(液晶显示器)、OLED(有机发光二极管)等。作为一个示例，音频输出设备9是扬声器。在实施例中，例如，显示设备8被透明的操作输入部10(例如，触摸屏等)所覆盖。乘客等可以经由操作输入部10在视觉上确认位于显示设备8的显示屏上的投影图像(图像)。乘客等可以通过用其手指在对应于在显示设备8的显示屏上显示的投影图像(图像)的位置操作该操作输入部10(即，触摸、按压或移动操作输入部10)来执行操作输入(指令输入)。在实施例中，作为一个示例，显示设备8、音频输出设备9、操作输入部10等被设置在车辆宽度方向(左右方向)上位于仪表盘的中心部的监测设备11处。例如，监测设备11可以包括操作输入部，如开关、刻度盘、操纵杆和按钮。音频输出设备可以设置在车辆内部2a内的其他位置，即，不同于监测设备11的位置。此外，声音可以从除监测设备11的音频输出设备9之外的其他音频输出设备输出。在实施例中，作为一个示例，监测设备11被导航系统和音频系统共享。或者，周围环境监测装置的监测设备可以与前述的系统分开设置。例如，可以配置的是，除音频输出设备9之外，警告音等可以从诸如蜂鸣器24(参见图3)之类的音频输出部输出。
如图1和图2所示，在实施例中，作为一个示例，车辆1是四轮车辆(四轮汽车)。车辆1包括两个右前轮和左前轮3F以及两个右后轮和左后轮3R。此外，在实施例中，这四个轮子3被配置为转向(可转向的)。特别地，如图3所示，车辆1包括使前轮3F或后轮3R转向的轮转向系统12。轮转向系统12可以使前轮3F和后轮3R同时转向，或者在同一时间转向。
在实施例中，作为一个示例，如图2所示，多个(在本实施例中，作为一个示例，四个)成像部16(16a、16b、16c、16d)被设置在车辆1(车辆本体2)处。例如，每个成像部16是合并诸如CCD(电荷耦合器)、CIS(CMOS图像传感器)等成像元件的数码摄像机。成像部16可以在预定帧速率下输出图像数据(移动图像数据、帧数据)。每个成像部16包括广角镜头，从而在横向方向上或者在水平方向(视角)上在例如从140度到220度的范围内拍照。成像部16的光轴被指定为面向下(斜向下)。因此，成像部16拍摄车辆本体2周围的外部环境(包括车辆1在其上可移动的路面)的照片。
在上面的描述中，横向方向是包括在与重力方向(垂直方向)正交的横向平面中的方向。
在实施例中，作为一个示例，例如，成像部16a位于车辆本体2的前侧(在车辆前后方向上的前侧)的端部2c(平面图中的端部)并且被设置在前保险杠处。成像部16b位于车辆本体2的左侧(在车辆宽度方向上的左侧)的端部2d并且被设置在左侧的后视镜2g(突出部)处。成像部16c位于车辆本体2的后侧(在车辆前后方向上的后侧)的端部2e并且被设置在后备箱的门2h的下侧的壁部处。成像部16d位于车辆本体2的右侧(在车辆宽度方向上的右侧)的端部2f并且被设置在右侧的后视镜2g(突出部)处。在实施例中，没有对在车辆处安装摄像头的方法进行限制，并且摄像头可以被安装为使得可获得与车辆有关的在向前方向上的图像数据、在右侧和左侧方向上的图像数据以及在向后方向上的图像数据。
周围环境监测ECU 14基于通过多个成像部16获得的图像数据执行计算处理和图像处理。周围环境监测ECU 14生成从上侧观察车辆1(车辆本体2)的宽视角图像和虚拟俯瞰图像(平面图像)。
在实施例中，作为一个示例，在如图3所示的周围环境监测系统100中，除周围环境监测ECU 14、监测设备11、前轮转向系统12、后轮转向系统13等之外，制动系统18、转向角传感器19(角度传感器)、油门传感器(accelerator sensor)20、挡位传感器(shift sensor)21、轮速传感器22、加速度传感器26(即，用作车辆状态检测部)等经由车载网络23(电力通信线)电连接。作为一个示例，车载网络23被配置为CAN(控制器局域网络)。周围环境监测ECU 14可以经由车载网络23发送控制信号，以控制前轮转向系统12、后轮转向系统13、制动系统18等。周围环境监测ECU 14还可以经由车载网络23接收扭矩传感器12b、轮胎角传感器13b(用于后轮3R)、致动器18a、制动传感器18b、转向角传感器19(用于前轮3F)、油门传感器20、挡位传感器21、轮速传感器22、加速度传感器26等的检测结果以及操作输入部10等的指示器信号(控制信号、操作信号、输入信号、数据)。
在实施例中，两个加速度传感器26(26a、26b)被设置在车辆1处。在实施例中，车辆1配备有ESC(电子稳定控制系统)。因此，采用作为通常被安装到配备有ESC(电子稳定控制系统)的车辆的加速度传感器26(26a、26b)。在实施例中，没有对加速度传感器进行限制。在车辆1的左右方向上检测加速度的传感器是可接受的。
图4是示出加速度传感器26a、26b的检测方向的示例的示意图。检测方向401是加速度传感器26a的检测方向，而检测方向402是加速度传感器26b的检测方向。图4示出的检测方向401对应于在与地面(车辆1在其上可移动的平面)平行的平面上从车辆1的行进方向(前后方向)倾斜45度的方向。检测方向402在与地面平行的平面上相对于检测方向401形成90度角。因为两个不同的检测方向被设置在与地面平行的平面上，所以可以获得在前后方向上的加速度和在左右方向上的加速度。在实施例中，没有对检测方向进行限制且至少可以获得在左右方向上的加速度。可以在周围环境监测ECU 14处对在前后方向上的加速度和在左右方向上的加速度进行计算。
车辆1的前后方向表示行进方向以及与车辆1的行进方向相反的方向。车辆1的左右方向是包括在与车辆1的行进方向正交的表面中的方向。
回到图3，作为一个示例，周围环境监测ECU 14包括CPU 14a(中央处理器)、ROM14b(只读存储器)、RAM 14c(随机存取存储器)、显示控制部14d、音频控制部14e、SSD 14f(固态硬盘、刷新存储器)等。例如，CPU 14a执行与在显示设备8上显示的图像有关的图像处理以及诸如计算车辆1的移动路径和确定是否与物体发生干扰的各种计算处理。例如，CPU14a读出在诸如ROM 14b的非易失性存储设备中存储(安装)的程序，并基于前述的程序来执行计算处理。
RAM 14c临时存储用于在CPU 14a处计算的各种数据。例如，显示控制部14d主要在周围环境监测ECU 14的计算处理中执行使用在成像部16获得的图像数据的图像处理以及在显示设备8上显示的图像数据的图像处理(作为一个示例，合成等)。此外，音频控制部14e主要在周围环境监测ECU 14的计算处理中执行音频输出设备9输出的音频数据的处理。SSD14f是可重写的非易失性存储部，该非易失性存储部在周围环境监测ECU 14的电源关闭的情况下仍存储数据。CPU 14a、ROM 14b、RAM 14c等可以被集成在同一封装中。例如，除CPU14a之外，周围环境监测ECU 14可以被配置为包括其他逻辑运算处理器，如DSP(数字信号处理器)或逻辑电路。此外，替代SSD 14f，可以提供HDD(硬盘驱动器)。此外，SSD 14f或HDD可以与周围环境监测ECU 14分开设置。
图5是示出根据实施例的在周围环境监测ECU 14内实现的周围环境监测部500的结构的方框图。在配置作为图4中的周围环境监测ECU 14的CPU 14a执行存储在ROM 14b内的软件的情况下，实现在图5示出的环境监测部500内的每个结构。
周围环境监测部500通过执行存储在ROM 14b(计算机可读存储介质)内的软件来实现获取部501(即，用作第一获取部)、角计算部502(即，用作第二获取部)、滤波控制部503、图像处理部504和输出部505。此时，软件(程序)可以经由其他计算机可读存储介质被提供。
然后，根据实施例的周围环境监测部500通过基于在车辆1移动停车的情况下从成像部16输入的捕获图像数据以及作为由加速度传感器26(加速度检测部，其用作车辆状态检测部的一个示例)获取的车辆状态数据的一个示例的加速度数据来显示使得车辆1周围的状态可识别的图像数据，由此帮助驾驶员驾驶。
获取部501从例如设置在车辆1处的各种传感器获取各种信息。根据实施例的获取部501获取从设置在车辆1处的成像部16a到16d输出的捕获图像数据以捕获在车辆1的周围环境中的图像，以及获取从设置在车辆1处的加速度传感器26a、26b输出的加速度数据。此外，获取部501获取表示由设置在操作输入部10的开关指定的模式是否为越野模式的信息。获取部501将获取到的信息输出到角计算部502和图像处理部504。
在当图像在捕获图像数据中被捕获时的时间与当加速度在加速度数据中被检测时的时间大体上相互匹配的情况下，获取部501还使捕获图像数据与加速度数据相关联。
角计算部502基于通过加速度传感器26a、26b(其为安装到车辆1的车辆状态检测部的一个示例)获取的加速度数据来计算车辆1的倾斜角(俯仰角(pitch angle，纵倾角)和侧倾角(roll angle))。在实施例中，将对响应于由加速传感器26a、26b输出的加速度数据计算车辆1的倾斜角的示例进行说明。或者，可以应用任何方法，只要能获得车辆1的倾斜角即可。
俯仰角(即，用作第二倾斜角)是表示车辆1的横轴(图4中的轴412)周围环境的倾斜的角度。在车辆1位于横向平面(地面)的情况下，侧倾角(即，用作第一倾斜角)为零度。
侧倾角是表示围绕车辆1的纵轴(图4中的轴411)的车辆1的倾斜角度。在车辆1位于横向平面(地面)的情况下，侧倾角为零度。为了计算俯仰角和侧倾角，角计算部502首先计算车辆在前后方向上的加速度a1以及在左右方向上的加速度a2。
角计算部502使用下面的等式(1)来计算在前后方向上的加速度a1。在检测方向401上的加速度被指定为GL1，而在检测方向402上的加速度被指定为GL2。根据在前后方向上的加速度a1以及根据重力加速度来计算俯仰角。根据在左右方向上的加速度a2以及重力加速度来计算侧倾角。
a1＝GL1×cos45°-GL2×cos45° (1)
接着，角计算部502使用下面的等式(2)来计算在左右方向上的加速度a2。
a2＝－(GL1×sin45°+GL2×sin45°) (2)
此外，角计算部502使用下面的等式(3)来计算俯仰角PA。
PA＝sin-1(a1/1G) (3)
此外，角计算部502使用下面的等式(4)来计算侧倾角RA。
RA＝sin-1(a2/1G) (4)
角计算部502使根据加速度数据计算的侧倾角和俯仰角与捕获图像数据(其与前述的加速度数据相关联)相关联。因此，当捕获图像数据被捕获时，车辆1的侧倾角和俯仰角是可识别的。
滤波控制部503通过与由角计算部502计算的侧倾角RA和俯仰角PA有关的低通滤波器来执行过滤。
在实施例中，侧倾角RA和俯仰角PA的急剧变化，换言之，在显示设备8上显示的图像数据的急剧切换通过执行低通滤波器来限制。因此，驾驶员可以舒服地观看在显示设备8上显示的图像数据。在实施例中，对设置在周围环境监测部500内的滤波控制部503使用数字滤波器的示例进行说明。然而，例如，可以相对于从加速度传感器26输出的信号执行模拟滤波器。
图像处理部504包括旋转控制部521、缩小/放大控制部522、移动控制部523和合成部524以生成在显示设备8上显示的图像数据。
旋转控制部521对捕获车辆1的前侧的周围环境的捕获图像数据执行旋转校正。例如，旋转校正的对象不限于通过成像部16a捕获的捕获图像数据，也可以是通过捕获车辆1的后侧的周围环境的成像部16c捕获的捕获图像数据。
图6是通过成像部16a捕获的捕获图像数据的示例。图6示出的捕获图像数据是从倾斜的车辆1捕获的。驾驶员倾向于以客观方式识别在显示设备8上显示的图像，并因此倾向于在显示设备8上显示的捕获图像数据中的多个区域包括在纵轴方向上的相同高度的情况下，将上述区域识别为包括实际上相同的高度或者具有比实际高度差小的高度差的高度。在图6示出的示例中，区域601和区域602可能被识别为相同高度。
因此，根据实施例的旋转控制部521基于通过加速度传感器26获得的侧倾角对捕获图像数据执行旋转校正。换言之，旋转控制部521基于车辆在相对于横向方向(该横向方向用作包括在与根据车辆状态数据计算的重力方向正交的横向平面中的方向)的左右方向上的倾斜对捕获图像数据执行旋转校正(控制)。例如，旋转控制部521执行旋转校正(控制)，使得包括在捕获图像数据中捕获的物体中的水平线(lateral line)大体上平行于输出目标的显示区上的横向侧。
根据实施例的旋转控制部521根据与前述的捕获图像数据相关联的侧倾角，以对应于成像部16使用的用于图像捕获的透镜的中心的、捕获图像数据的显示区内的位置坐标为原点来执行旋转校正。
图7是示出在对应于透镜的中心的位置坐标用作原点的情况下表示捕获图像数据的显示区的二维正交坐标系的示例的示意图。对于包括在图7示出的坐标系统中的每个位置坐标，旋转控制部521通过下方表示的等式(5)来转换位置坐标，以便实现捕获图像数据的旋转校正。这里，dx0、dy0是以透镜的中心为原点的坐标值。此外，θ是计算的侧倾角。
[数学式1]
图8是示出在通过旋转控制部521执行旋转校正之后获得的捕获图像数据的示例的示意图。在图8示出的示例中，旋转校正被执行为使得包括在捕获图像数据中捕获的物体(车辆1外部的环境)中的水平线大体上与显示设备8的显示区的横向侧平行。换言之，旋转校正被执行为使得捕获图像数据的向下方向对应于在前述的捕获图像数据中捕获的物体(车辆1外部的环境)的重力方向。此时，向下方向和重力方向不一定彼此完全一致，且可以彼此一致，使得捕获图像数据内的高度关系是可识别的。
例如，关于在图6中看起来包括相同高度的区域601和区域602，在图8中可识别的是，区域602位于比区域601更高的位置。因此，驾驶员可以识别车辆1的周边环境中的客观高度。因此，可实现适度的驾驶，其可以提高安全性。
在通过旋转控制部521执行旋转校正之后，用作控制部的缩小/放大控制部522相对于捕获图像数据执行放大处理或缩小处理。缩小/放大控制部522通过以下表示的等式(6)转换位置坐标，以实现捕获图像数据的放大校正或缩小校正。这里，dx1、dy1是在执行旋转校正之后以透镜的中心为原点的坐标值。这里，magX和magY是横向和纵向放大/缩小率。基于捕获图像数据的显示尺寸与显示设备8的显示区的像素数量之间的关系来决定放大/缩小率。
[数学式2]
在通过缩小/放大控制部522执行放大或缩小处理之后，用作控制部的移动控制部523对捕获图像数据执行控制，使得对应于透镜的中心的位置坐标从显示设备8的显示区的中心移动。在实施例中，移动控制部523执行控制以将对应于透镜的中心的位置坐标从显示设备8的显示区的中心移动到显示区内的向上方向。
也就是说，在车辆1倾斜的情况下，驾驶员倾向于想要确认地面情况。因此，移动控制部523执行处理，以将对应于透镜的中心的位置坐标从显示设备8的显示区的中心移动到显示区内的向上方向。因此，例如不显示高于车辆1的情况，如在捕获图像数据中捕获的天空，而显示低于车辆1的情况。因此，用户可以通过参照在显示设备8上显示的捕获图像数据来识别车辆1周围的地面情况。因此，可实现适度的转向辅助。
移动控制部523通过下面表示的等式(7)来转换位置坐标，以实现捕获图像的位置坐标的移动。这里，dx2、dy2是在执行放大/缩小校正之后以透镜的中心为原点的坐标值。这里，在移动之前，透镜的中心的位置坐标的终点(destination)为(cx，cy)。
[数学式3]
在通过移动控制部523执行移动控制之后，合成部524相对于捕获图像数据执行剪切，以便符合显示设备8的显示区，且之后组合显示信息用以帮助驾驶员转向。
图9是示出在通过合成部524执行合成之后的图像数据的示例的示意图。在图9示出的示例中，通过成像部16b捕获的在车辆1的左前轮周围的情况被显示在显示区(捕获图像数据901)。此外，通过成像区16d捕获的车辆1的右前轮周围的情况被显示在显示区(捕获图像数据902)。此外，使得车辆1的俯仰角和侧倾角可识别的信息被显示在显示区903。也就是说，表示车辆1的图标921的倾斜表示侧倾角，而通过图标921的中心线912与线911之间的距离表示俯仰角。因此，在实施例中，表示出了使得侧倾角和俯仰角是可识别的信息，然而，显示方法不限于上述的方法且其他显示方法是可接受的。
同时，在通过合成部524剪切后的捕获图像数据被显示在显示区(捕获图像数据904)。换言之，执行旋转校正，使得捕获图像数据的向下方向对应于重力方向。因此，驾驶员可以容易地和客观地识别车辆1的周边情况。
然而，在驾驶员试图通过在显示设备8上显示的捕获图像数据来识别车辆1的周边情况的情况下，可能很难根据基于车辆1的周边情况从捕获图像数据识别车辆1的倾斜。此外，因为表示车辆1的俯仰角和侧倾角的倾斜仪906在显示设备8被显示，所以驾驶员期望注视倾斜仪906或者仔细地观察倾斜仪906以识别俯仰角和侧倾角。在驾驶员注视捕获图像数据的情况下，对驾驶员而言可能很难识别在倾斜仪906上显示了什么。
这里，根据实施例，显示区903、908各自的背景颜色响应于车辆1的倾斜角(俯仰角和侧倾角)而改变。因此，驾驶员可以识别车辆1的当前倾斜角，而无需注视倾斜仪906。当识别车辆的当前倾斜角时驾驶员想要进一步精确地知道倾斜角的情况下，需要观察倾斜仪906。因此，驾驶员可以容易地识别车辆1的周边情况。
然而，输出部505将通过合成部524合成的图像数据输出到显示设备8。因此，在执行校正处理之后，使得侧倾角和俯仰角可识别的信息与前述的捕获图像数据一起被显示在显示设备8上。
在图8或图9的示例中，包括每个前轮3F的估算路线905。周围环境监测ECU 14(CPU14a)基于例如转向角传感器19和轮胎角传感器13b的检测结果来计算计划路线，并且包括(重叠)符合输出图像中的计划路线的估算路线905。估算路线905是表示计划的路径的显示元素的示例。周围环境监测ECU 14根据前述的旋转、放大/缩小和移动校正对估算路线905的显示位置、尺寸、姿势(倾斜)等进行校正。此外，在估算路线905的位置大大偏离屏幕的中心的情况下，周围环境监测ECU 14在偏差减小的方向上对显示区和估算路线905进行校正。
在图9的示例中，图标921相对于显示区903或显示区(捕获图像数据904)(图9中的上侧或下侧)的横向侧的倾斜对应于车辆1的侧倾角。因此，周围环境监测ECU 14可以以角标尺906a的角度相对于显示区903保持不变的方式，使用图标921通过包括输出图像中的图标921周围的角标尺906a(倾斜标尺)来构成倾斜仪906。例如，仅通过显示区(捕获图像数据904)的显示，可能很难了解车辆1的横向方向、竖向方向和姿势(侧倾角或俯仰角)。在这一点上，如图9的示例，执行旋转(侧倾)和纵倾(pitching)的图标921被显示，且倾斜仪906基于侧倾角和俯仰角被显示在屏幕上，使得可以容易地了解车辆1的横向方向、竖向方向和姿势(侧倾角)，而不管显示区(捕获图像数据904)的图像的状态如何。因此，显示区(捕获图像数据904)和显示区(捕获图像数据903)被一起显示(显示在相同的屏幕内或者彼此平行显示)，使得可以进一步容易地了解车辆周围的状况和车辆的姿势状况。
此外，在不变的基础上，实施例可以不执行前述的旋转、放大/缩小和移动校正，而在车辆1进入越野模式的情况下，实施例可以被指定为执行前述的校正。例如，图像处理部504通过参照由获取部501获取的表示车辆1是否处于越野模式的信息在越野模式时执行前述的校正、放大/缩小和移动校正。
这里，越野模式对应于在越野驱动期间用于呈现车辆1的四轮驱动性能的模式以及用于将总传动齿轮指定为低的模式。也就是说，在实施例中，当执行越野驱动时，在显示设备8上显示的捕获图像数据与操作关联地被切换。此时，在实施例中，在显示设备8上显示的图像的切换不限于在车辆1被切换到越野模式的情况下执行。例如，在车辆1在两轮/四轮驱动切换下被切换到四轮驱动的情况下，可以控制为显示在执行旋转校正之后的图像。
根据实施例，倾斜仪906不限于在越野模式下以不变的基础显示，并且倾斜仪906可以在车辆1的倾斜角达到等于或大于预定角度的情况下被显示。根据实施例，在车辆1的倾斜角小于例如10度(即，用作第一角度)的情况下，输出部505输出包括捕获图像数据的输出图像数据。在车辆1的倾斜角达到等于或大于例如10度的情况下，输出部505输出其中组合了捕获图像数据与倾斜仪906的输出图像数据。此外，在车辆1的倾斜角达到等于或大于例如30度(即，用作第二角度)的情况下，合成部524组合捕获图像数据与倾斜仪906，且输出部505改变输出图像数据的显示方法。
接着，对根据实施例的在周围环境监测部500中的显示设备8的显示处理进行说明。图10是示出根据实施例的在周围环境监测部500中的前述处理过程的流程图。
首先，获取部501从成像部16获取捕获图像数据(步骤S1001)。接着，获取部501从加速度传感器26获取加速度数据(步骤S1002)。
然后，角计算部502根据加速度数据计算车辆1的侧倾角和俯仰角(步骤S1003)。
接着，滤波控制部503相对于所计算的侧倾角和所计算的俯仰角通过低通滤波器执行过滤(步骤S1004)。
然后，旋转控制部521基于侧倾角执行相对于捕获图像数据的旋转控制(步骤S1005)。
接着，在执行旋转控制之后，缩小/放大控制部522和移动控制部523对捕获图像数据执行放大控制和移动控制(步骤S1006)。
然后，在执行放大控制和移动控制之后，合成部524相对于捕获图像数据执行符合在显示设备8上显示的显示区的剪切(步骤S1007)。
接着，合成部524相对于被剪切的捕获图像数据，将表示前轮周围的状况的捕获图像数据以及使得俯仰角和侧倾角可识别的显示信息组合(步骤S1008)。
然后，在通过合成部524合成之后，输出部505将图像数据输出到显示设备8(步骤S1009)。
接着，将对待显示在显示设备8上的通过实施例的周围环境监测部500进行的图像数据的合成处理进行说明。合成处理在步骤S1008。图11是示出通过实施例的周围环境监测部500进行的前述处理过程的流程图。
首先，合成部524确定从滤波控制部503输入的倾斜角(俯仰角和侧倾角)是否等于或大于10度(步骤S1101)。在合成部524确定倾斜角小于10度(在步骤S1101中为否)的情况下，合成部524合成通过成像部16a、16b、16c捕获的捕获图像数据并生成输出图像数据(步骤S1102)。
图12是示出在步骤S1102中通过合成部524生成的输出图像数据的示例的视图。如图12所示，通过成像部16a捕获的捕获图像数据1201、通过成像部16b捕获的捕获图像数据1203以及通过成像部16d捕获的捕获图像数据1202被合成。例如，倾斜仪906未显示在显示区1204。在图12中，因为驾驶员仅需要参照捕获图像数据，所以可以减轻驾驶员的负担。
另一方面，在合成部524确定通过滤波控制部503输入的倾斜角(侧倾角或俯仰角)等于或大于10度(在步骤S1101中为是)的情况下，合成部524确定倾斜角(侧倾角或俯仰角)是否等于或大于30度(步骤S1103)。在合成部524确定倾斜角小于30度的情况下(在步骤S1103中为否)，合成部524通过合成捕获图像数据和倾斜仪906来生成输出图像数据(步骤S1104)。
图13是示出在步骤S1104中通过合成部524生成的输出图像数据的视图。如图13所示，通过成像部16a捕获的捕获图像数据1301、通过成像部16b捕获的捕获图像数据1303、通过成像部16d捕获的捕获图像数据1302以及倾斜仪1306被合成。图13中示出的输出图像数据的显示区1304、1305显示有指定用于车辆1的倾斜角10度到30度的背景颜色。任何背景颜色(例如，蓝色)是可适用的。
另一方面，在合成部524确定由滤波控制部503输入的倾斜角(侧倾角或俯仰角)大于30度(在步骤S1103中为是)的情况下，合成部合成捕获图像数据和倾斜仪1306并生成输出图像数据，其中背景颜色变为警告色(步骤S1105)。
图9示出在倾斜角(侧倾角或俯仰角)达到等于或大于30度的情况下生成的输出图像数据。如上所述，合成部524合成捕获图像数据901、902、904和倾斜仪906，且输出部505将显示区907、908的背景颜色变为警告色。警告色例如是红色或黄色。
根据实施例，在显示设备8上显示的显示区的亮度值、色调和着色可以根据车辆1的倾斜角而改变。
因此，因为背景颜色变为警告色，所以驾驶员可以识别车辆1的倾斜状况，而无需注视倾斜仪906，或者无需仔细地观看倾斜仪906。也就是说，驾驶员可以在通过注视或者仔细地观看显示设备8上显示的捕获图像数据来识别周边环境时，根据显示设备8的背景颜色来识别车辆1的倾斜状态。也就是说，对驾驶员而言仅通过参照在显示设备上显示的捕获图像数据很难识别车辆1的当前状况。然而，根据实施例，因为当显示设备8显示捕获图像数据时，车辆1的倾斜角的状况通过背景颜色被显示，所以驾驶员可以仅通过参照显示设备8来识别车辆1的各种状况。因此，可以减轻驾驶员在转向时的负担。
如上所述，实施例的合成部524合成根据车辆1的倾斜情况改变背景颜色的输出图像数据。因此，输出部505输出根据车辆1的倾斜角改变背景颜色的输出图像数据。
下面将对实施例的第一修改示例进行说明。根据实施例，作为显示方法，背景颜色改变或者变化。然而，根据倾斜角改变的显示方法不限于背景颜色。根据实施例的第一修改示例，在车辆1的倾斜角达到等于或大于30度的情况下，显示警告标记作为显示方法。
图14是示出在车辆的倾斜角达到等于或大于30度的情况下通过合成部524生成的图像数据的示例的视图。除了捕获图像数据901、902、904和倾斜仪906的合成之外，图14显示的图像数据示出警告标记1401(即，用作图标)。在车辆1的倾斜角达到等于或大于30度的情况下，将警告标记1401应用到通过合成部534输出的图像数据。
根据实施例的第一修改示例，因为在驾驶员参照显示设备8的情况下，除捕获图像数据901、902、904和倾斜仪906之外，警告标记1401被显示在显示设备8上，所以驾驶员可以识别车辆1的情况。
下面将对实施例的第二修改示例进行说明。根据实施例，在车辆1的倾斜角达到等于或大于30度的情况下，除捕获图像数据和倾斜仪906之外的显示区的背景改变或变化。根据实施例的第一修改示例，在车辆1的倾斜角达到等于或大于30度的情况下，警告标记被显示在显示区。或者，可以改变捕获图像数据和倾斜仪906的显示方法。根据实施例的第二修改示例，改变通过成像部16b、16d捕获的捕获图像数据的显示方法。
图15是示出在车辆1的倾斜角达到等于或大于30度的情况下生成的图像数据的示例的视图。捕获图像数据904、1501、1502和倾斜仪906被合成以生成图15中所示的图像数据。与倾斜角小于30度的情况相比，捕获图像数据1501、1502的亮度值改变。如图15所示，捕获图像数据1501、1502的亮度值根据相对于横向平面的高度而改变。也就是说，捕获图像数据1501、1502的部分越暗，相对于横向平面的高度越低。捕获图像数据1501、1502的部分越亮，相对于横向平面的高度越高。如图15所示，车辆的左侧位于较低位置，而车辆的右侧位于较高位置。因为在车辆1的倾斜角达到等于或大于30度的情况下显示图15示出的显示内容，所以驾驶员可以识别车辆1的倾斜状态。
根据实施例的第二修改示例，在倾斜角达到等于或大于30度的情况下，输出部505输出图像数据，该图像数据改变通过成像部16b、16d捕获的捕获图像数据的显示方法(例如，色调或亮度值)。或者，改变显示方法的捕获图像数据不限于通过成像部16b、16d捕获的捕获图像数据。或者，可以改变通过成像部16a捕获的捕获图像数据的显示方法(例如，色调或亮度值)。
下面将对实施例的第三修改示例进行说明。根据前述的实施例以及实施例的第一和第二修改示例，在车辆1的倾斜角达到等于或大于30度的情况下，改变显示方法。然而，根据前述的实施例以及实施例的第一和第二修改示例，倾斜角未被指定为俯仰角和侧倾角。这里，根据实施例的第三修改示例，合成部524根据侧倾角改变输出图像数据的显示区的显示方法，且合成部524根据俯仰角改变输出图像数据的显示区的显示方法。例如，在侧倾角达到等于或大于30度的情况下，输出图像数据的预定显示区的颜色可以变为红色，而在俯仰角达到等于或大于30度的情况下，输出图像数据的预定显示区的颜色可以变为黄色(即，用作第二显示方法)。因此，驾驶员可以识别车辆1的倾斜状态，而无需注视倾斜仪906，或者无需仔细地观看倾斜仪906。
根据前述的实施例以及实施例的第一、第二和第三修改示例，在显示设备8显示捕获图像数据和倾斜仪906的情况下，显示方法根据车辆1的倾斜角而改变。因此，驾驶员可以通过观看捕获图像数据而无需参照倾斜仪906，来识别车辆1的倾斜状态。因此，驾驶员可以容易地识别车辆1的周边环境。也就是说，因为驾驶员可以容易地识别车辆1的周边环境，所以可以减轻驾驶员在转向时的负担。

Claims (11)

1.一种车辆控制装置，包括：
第一获取部(501)，获取从成像部(16、16a、16b、16c、16d)输出的捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)，所述成像部(16、16a、16b、16c、16d)设置在车辆(1)处且对所述车辆(1)的周边环境成像；
第二获取部(502)，基于所述车辆(1)的状态信息获取所述车辆(1)的倾斜角，所述状态信息由设置在所述车辆(1)处的车辆状态检测部(26)输出；以及
输出部(505)，被配置为将输出图像数据输出到显示设备(8)，所述输出图像数据包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及表示所述车辆(1)的倾斜角的倾斜角显示信息，所述输出部(505)根据所述车辆(1)的所述倾斜角改变所述输出图像数据内的显示方法并输出所述输出图像数据，
其中，一控制部(521)被配置为基于侧倾角对捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)执行旋转控制，使得包括在捕获图像数据中捕获的物体中的水平线大体上平行于显示区上的横向侧，所述侧倾角表示通过加速度数据计算的围绕车辆(1)的纵轴的车辆(1)的倾斜角度，以及所述控制部(521)被配置为通过关于捕获图像数据内的位置坐标来旋转捕获图像数据，以校正捕获图像数据的倾斜。
2.根据权利要求1所述的车辆控制装置，其中作为所述输出图像数据内的所述显示方法，所述输出部(505)根据所述车辆(1)的所述倾斜角改变颜色。
3.根据权利要求1或2所述的车辆控制装置，其中所述输出部(505)通过使用所述车辆(1)的倾斜角数据来输出包括基于所述车辆(1)相对于横向方向的倾斜角被旋转地控制的捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)的所述输出图像数据，所述横向方向是包括在与重力方向正交的横向平面内的方向，所述倾斜角数据通过所述第二获取部(502)被获取。
4.根据权利要求1或2所述的车辆控制装置，其中
在所述车辆(1)的所述倾斜角小于预定第一角度的情况下，所述输出部(505)输出包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)的输出图像数据；
在所述车辆(1)的所述倾斜角等于或大于所述第一角度的情况下，所述输出部(505)输出包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及所述倾斜角显示信息的输出图像数据；以及
在所述车辆(1)的所述倾斜角等于或大于第二角度的情况下，所述输出部(505)输出包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及所述倾斜角显示信息的输出图像数据，并改变所述输出图像数据的显示区(903、907、908、1204、1304、1305)内的显示方法，所述第二角度大于所述第一角度。
5.根据权利要求3所述的车辆控制装置，其中
在所述车辆(1)的所述倾斜角小于预定第一角度的情况下，所述输出部(505)输出包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)的输出图像数据；
在所述车辆(1)的所述倾斜角等于或大于所述第一角度的情况下，所述输出部(505)输出包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及所述倾斜角显示信息的输出图像数据；以及
在所述车辆(1)的所述倾斜角等于或大于第二角度的情况下，所述输出部(505)输出包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及所述倾斜角显示信息的输出图像数据，并改变所述输出图像数据的显示区(903、907、908、1204、1304、1305)内的显示方法，所述第二角度大于所述第一角度。
6.根据权利要求1所述的车辆控制装置，其中
所述倾斜角包括所述车辆(1)的第一倾斜角和所述车辆(1)的第二倾斜角，所述第一倾斜角用作侧倾角，所述第二倾斜角用作俯仰角；
所述显示方法包括第一显示方法和第二显示方法；
所述输出部(505)根据所述侧倾角改变所述输出图像数据的显示区(903、907、908、1204、1304、1305)内的所述第一显示方法；以及
所述输出部(505)根据所述俯仰角改变所述输出图像数据的所述显示区(903、907、908、1204、1304、1305)内的所述第二显示方法。
7.根据权利要求1所述的车辆控制装置，其中作为所述显示方法，所述输出部(505)改变所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)的颜色、除所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)和所述倾斜角显示信息之外的显示区(903、907、908、1304、1305)的颜色、以及所述倾斜角显示信息内的颜色中的至少一种。
8.根据权利要求1所述的车辆控制装置，其中所述显示设备(8)显示从所述输出部(505)输出的所述输出图像数据，作为所述显示方法，所述显示设备(8)与所述输出图像数据一起显示警告驾驶员的图标(1401)。
9.根据权利要求1所述的车辆控制装置，其中所述显示设备(8)显示从所述输出部(505)输出的所述输出图像数据，作为所述显示方法，所述显示设备(8)显示根据相对于横向平面的高度差改变所述捕获图像数据(1501、1502)内的区域的颜色的所述输出图像数据。
10.一种车辆控制装置，包括：
第一获取部(501)，获取从成像部(16、16a、16b、16c、16d)输出的捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)，所述成像部(16、16a、16b、16c、16d)设置在车辆(1)处且对所述车辆(1)的周边环境成像；
第二获取部(502)，基于所述车辆(1)的状态信息获取所述车辆(1)的倾斜角，所述状态信息由设置在所述车辆(1)处的车辆状态检测部(26)输出；以及
输出部(505)，被配置为将输出图像数据输出到显示设备(8)，所述输出图像数据包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及表示所述车辆(1)的倾斜角的倾斜角显示信息，所述输出部(505)根据所述车辆(1)的所述倾斜角改变所述输出图像数据内的显示方法并输出所述输出图像数据，
其中
在所述车辆(1)的所述倾斜角小于预定第一角度的情况下，所述输出部(505)输出包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)的输出图像数据；
在所述车辆(1)的所述倾斜角等于或大于所述第一角度的情况下，所述输出部(505)输出包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及所述倾斜角显示信息的输出图像数据；以及
在所述车辆(1)的所述倾斜角等于或大于第二角度的情况下，所述输出部(505)输出包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及所述倾斜角显示信息的输出图像数据，并改变所述输出图像数据的显示区(903、907、908、1204、1304、1305)内的显示方法，所述第二角度大于所述第一角度。
11.一种车辆控制装置，包括：
第一获取部(501)，获取从成像部(16、16a、16b、16c、16d)输出的捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)，所述成像部(16、16a、16b、16c、16d)设置在车辆(1)处且对所述车辆(1)的周边环境成像；
第二获取部(502)，基于所述车辆(1)的状态信息获取所述车辆(1)的倾斜角，所述状态信息由设置在所述车辆(1)处的车辆状态检测部(26)输出；以及
输出部(505)，被配置为将输出图像数据输出到显示设备(8)，所述输出图像数据包括所述捕获图像数据(901、902、904、1201、1202、1203、1301、1302、1303、1501、1502)以及表示所述车辆(1)的倾斜角的倾斜角显示信息，所述输出部(505)根据所述车辆(1)的所述倾斜角改变所述输出图像数据内的显示方法并输出所述输出图像数据，
其中所述显示设备(8)显示从所述输出部(505)输出的所述输出图像数据，作为所述显示方法，所述显示设备(8)显示根据相对于横向平面的高度差改变所述捕获图像数据(1501、1502)内的区域的颜色的所述输出图像数据。
CN201510543259.5A 2014-08-29 2015-08-28 车辆控制装置 Active CN105383384B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014176069A JP6361382B2 (ja) 2014-08-29 2014-08-29 車両の制御装置
JP2014-176069 2014-08-29

Publications (2)

Publication Number Publication Date
CN105383384A CN105383384A (zh) 2016-03-09
CN105383384B true CN105383384B (zh) 2019-08-09

Family

ID=53871955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510543259.5A Active CN105383384B (zh) 2014-08-29 2015-08-28 车辆控制装置

Country Status (4)

Country Link
US (1) US9895974B2 (zh)
EP (1) EP2990265B1 (zh)
JP (1) JP6361382B2 (zh)
CN (1) CN105383384B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160216521A1 (en) * 2013-10-22 2016-07-28 Nippon Seiki Co., Ltd. Vehicle information projection system and projection device
KR101942527B1 (ko) * 2015-11-09 2019-01-25 엘지전자 주식회사 차량용 어라운드 뷰 제공 장치 및 차량
EP3437948A4 (en) * 2016-03-29 2019-11-27 Kyocera Corporation DEVICE FOR DETECTING THE ORIENTATION OF A VEHICLE, IMAGE PROCESSING SYSTEM, VEHICLE AND METHOD FOR DETECTING THE EQUIPMENT OF A VEHICLE
JP6816389B2 (ja) 2016-06-30 2021-01-20 アイシン精機株式会社 周辺監視装置
JP2018001901A (ja) * 2016-06-30 2018-01-11 アイシン精機株式会社 走行支援装置
JP6759899B2 (ja) * 2016-09-08 2020-09-23 アイシン精機株式会社 車両用画像処理装置
WO2017047826A1 (ja) * 2016-09-30 2017-03-23 株式会社小松製作所 作業機械の表示システム及び作業機械
US10421436B2 (en) * 2017-03-24 2019-09-24 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for surveillance of a vehicle using camera images
JP7045822B2 (ja) * 2017-08-24 2022-04-01 株式会社小糸製作所 センサシステム、および当該センサシステムを備えるランプユニット
JP7027738B2 (ja) * 2017-09-06 2022-03-02 株式会社デンソー 運転支援装置
US10217354B1 (en) * 2017-10-02 2019-02-26 Bertram V Burke Move over slow drivers cell phone technology
JP2019073272A (ja) * 2017-10-13 2019-05-16 株式会社リコー 表示装置、プログラム、映像処理方法、表示システム、移動体
JP2019087884A (ja) * 2017-11-07 2019-06-06 トヨタ自動車株式会社 移動体、移動体を用いた撮影システム、サーバ、及び移動体を用いた撮影方法
JP2019105160A (ja) * 2019-03-20 2019-06-27 株式会社小松製作所 作業機械の表示システム及び作業機械
JP7274324B2 (ja) * 2019-03-27 2023-05-16 株式会社デンソーテン 画像処理装置及び画像処理方法
DE102021109213A1 (de) * 2020-04-16 2021-10-21 Volkswagen Aktiengesellschaft Verfahren zur Sichtbarmachung einer Neigung eines Kraftfahrzeugs im Kraftfahrzeug
DE102020208363A1 (de) * 2020-07-03 2022-01-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur animierten dreidimensionalen Darstellung eines Fahrzeugs
JP2022042420A (ja) * 2020-09-02 2022-03-14 株式会社Subaru 車両制御装置
JP7540270B2 (ja) * 2020-09-29 2024-08-27 株式会社アイシン 駐車支援装置、駐車支援方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1308346A2 (en) * 2001-10-31 2003-05-07 Toyota Jidosha Kabushiki Kaisha Device for monitoring area around vehicle
US6708087B2 (en) * 2000-11-07 2004-03-16 Nissan Motor Co., Ltd. Display system for vehicle
CN101287626A (zh) * 2004-11-26 2008-10-15 日产自动车株式会社 摄像装置和摄像方法
EP2395493B1 (en) * 2001-11-12 2013-01-02 Toyota Jidosha Kabushiki Kaisha Vehicle periphery monitor

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07117521A (ja) * 1993-10-20 1995-05-09 Sumitomo Electric Ind Ltd 車載用障害物検出装置及び自動車速度制御システム
JPH0952555A (ja) * 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
JP3572318B2 (ja) * 1996-08-26 2004-09-29 独立行政法人農業・生物系特定産業技術研究機構 圃場作業車両の運行支援装置
JP2001039680A (ja) * 1999-07-30 2001-02-13 Kobelco Contstruction Machinery Ltd クレーンの表示装置
JP3624769B2 (ja) * 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP3916033B2 (ja) * 2000-06-08 2007-05-16 日産ディーゼル工業株式会社 ロールオーバ防止装置
JP2002274214A (ja) * 2001-03-22 2002-09-25 Nissan Diesel Motor Co Ltd 車両のロールオーバ防止装置
JP2005262956A (ja) * 2004-03-17 2005-09-29 Nissan Motor Co Ltd 視界調整装置及び視界調整方法
US7494153B2 (en) * 2004-04-14 2009-02-24 General Motors Corporation Anti-roll thrust system for vehicles
JP3722487B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP2006180446A (ja) * 2004-11-26 2006-07-06 Nissan Motor Co Ltd 映像撮像装置及び映像撮像方法
JP2006217447A (ja) * 2005-02-07 2006-08-17 Yazaki Corp 車両用表示装置
JP4456086B2 (ja) * 2006-03-09 2010-04-28 本田技研工業株式会社 車両周辺監視装置
JP4868964B2 (ja) * 2006-07-13 2012-02-01 三菱ふそうトラック・バス株式会社 走行状態判定装置
JP4595976B2 (ja) * 2007-08-28 2010-12-08 株式会社デンソー 映像処理装置及びカメラ
JP5125619B2 (ja) * 2008-03-03 2013-01-23 日産自動車株式会社 車載カメラシステム
JP4871909B2 (ja) * 2008-04-25 2012-02-08 日立オートモティブシステムズ株式会社 物体認識装置、および物体認識方法
JP5420216B2 (ja) * 2008-09-16 2014-02-19 本田技研工業株式会社 車両周囲監視装置
JP5161760B2 (ja) * 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法
JP2010159148A (ja) * 2009-01-09 2010-07-22 Tadano Ltd 作業車のジャッキ反力表示装置及び作業車
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
US9280824B2 (en) * 2009-09-30 2016-03-08 Panasonic Intellectual Property Management Co., Ltd. Vehicle-surroundings monitoring device
JP5302227B2 (ja) * 2010-01-19 2013-10-02 富士通テン株式会社 画像処理装置、画像処理システム、および、画像処理方法
KR101001842B1 (ko) * 2010-01-28 2010-12-17 팅크웨어(주) 차량용 내비게이션 및 내비게이션 시스템의 블랙박스 정상 위치 유도 방법
JP5035643B2 (ja) * 2010-03-18 2012-09-26 アイシン精機株式会社 画像表示装置
US9516275B2 (en) * 2011-03-02 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Driving assistance device and towing vehicle
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
JP5450900B2 (ja) * 2011-06-13 2014-03-26 本田技研工業株式会社 運転支援装置
JP5810773B2 (ja) * 2011-09-14 2015-11-11 スズキ株式会社 二輪車の後方映像表示装置
KR20130107697A (ko) * 2012-03-23 2013-10-02 (주)휴맥스 내비게이션 단말기의 배경 화면 표시 장치 및 방법
JP2013210225A (ja) 2012-03-30 2013-10-10 Panasonic Corp ナビゲーション装置
JP5862532B2 (ja) 2012-09-26 2016-02-16 アイシン精機株式会社 車両運転支援装置
JP6014442B2 (ja) * 2012-09-27 2016-10-25 富士通テン株式会社 画像生成装置、画像表示システム、および、画像生成方法
WO2014132680A1 (ja) 2013-02-28 2014-09-04 アイシン精機株式会社 車両の制御装置、及びプログラム
JP6051307B2 (ja) * 2013-07-05 2016-12-27 クラリオン株式会社 運転支援装置
JP5901593B2 (ja) * 2013-09-11 2016-04-13 本田技研工業株式会社 車両用表示装置
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
DE112015001698T5 (de) * 2014-05-12 2016-12-29 Robert Bosch Gmbh Vorrichtung zur Bilderkennung und Verfahren zur Steuerung der Vorrichtung
KR101565007B1 (ko) * 2014-05-30 2015-11-02 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량
JP6507626B2 (ja) * 2014-12-19 2019-05-08 アイシン精機株式会社 車両周辺監視装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6708087B2 (en) * 2000-11-07 2004-03-16 Nissan Motor Co., Ltd. Display system for vehicle
EP1308346A2 (en) * 2001-10-31 2003-05-07 Toyota Jidosha Kabushiki Kaisha Device for monitoring area around vehicle
EP2395493B1 (en) * 2001-11-12 2013-01-02 Toyota Jidosha Kabushiki Kaisha Vehicle periphery monitor
CN101287626A (zh) * 2004-11-26 2008-10-15 日产自动车株式会社 摄像装置和摄像方法

Also Published As

Publication number Publication date
US20160059700A1 (en) 2016-03-03
JP6361382B2 (ja) 2018-07-25
EP2990265A1 (en) 2016-03-02
EP2990265B1 (en) 2019-04-17
CN105383384A (zh) 2016-03-09
US9895974B2 (en) 2018-02-20
JP2016049868A (ja) 2016-04-11

Similar Documents

Publication Publication Date Title
CN105383384B (zh) 车辆控制装置
US10676027B2 (en) Vehicle control apparatus and program
US8854466B2 (en) Rearward view assistance apparatus displaying cropped vehicle rearward image
CN109643439B (zh) 周边监视装置
JP5561566B2 (ja) 運転支援装置
CN110877572A (zh) 周边监视装置
JP2016084089A (ja) 周辺監視装置
US9994157B2 (en) Periphery monitoring apparatus and periphery monitoring system
JP2016197785A (ja) 周辺監視装置
CN110945558B (zh) 显示控制装置
JP2011151666A (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP2015133603A (ja) 周辺監視装置、及びプログラム
WO2018150642A1 (ja) 周辺監視装置
JP2010018201A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
JP2013168063A (ja) 画像処理装置、画像表示システム及び画像処理方法
CN111669543A (zh) 用于停车解决方案的车辆成像系统和方法
CN107851304A (zh) 面板变换
JP7013751B2 (ja) 画像処理装置
CN107851305A (zh) 后部交叉交通快速检视
CN110877574A (zh) 显示控制装置
US11091096B2 (en) Periphery monitoring device
JP2016196217A (ja) 周辺監視装置
JP6802226B2 (ja) 車両用表示装置
US20200244897A1 (en) Display control device
JP2018006943A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant