CN105711499B - 车辆周围监视装置 - Google Patents

车辆周围监视装置 Download PDF

Info

Publication number
CN105711499B
CN105711499B CN201510957876.XA CN201510957876A CN105711499B CN 105711499 B CN105711499 B CN 105711499B CN 201510957876 A CN201510957876 A CN 201510957876A CN 105711499 B CN105711499 B CN 105711499B
Authority
CN
China
Prior art keywords
vehicle
image
display
case
rotation center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510957876.XA
Other languages
English (en)
Other versions
CN105711499A (zh
Inventor
渡边矢
渡边一矢
丸冈哲也
大桥逸子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN105711499A publication Critical patent/CN105711499A/zh
Application granted granted Critical
Publication of CN105711499B publication Critical patent/CN105711499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Abstract

本发明提供一种即使以旋转图像的方式进行校正，也能够以没有不协调感的方式进行显示的车辆周围监视装置。实施方式的车辆周围监视装置具有：图像取得部，取得从设于车辆上并拍摄该车辆的周围的摄像部输出的摄像图像数据；状态取得部，取得从设于车辆并至少检测该车辆的侧倾状态的车辆状态检测部输出的车辆状态数据；设定部，在将基于摄像图像数据的显示图像显示于显示装置上的情况下，根据侧倾状态，设定用于旋转显示图像的旋转中心；图像调整部，根据侧倾状态，使显示图像的显示状态以设定的旋转中心为中心进行旋转；输出部，将显示图像输出至所述显示装置。

Description

车辆周围监视装置
技术领域
本发明的实施方式涉及一种车辆周围监视装置。
背景技术
以往，作为辅助车辆的驾驶操作的技术，提出了这样的技术：通过利用车辆上搭载的摄像头等摄像装置拍摄车辆的周围环境，显示作为该摄像结果的摄像图像数据，来辅助驾驶者的驾驶操作。在使用如这样的摄像图像进行驾驶辅助的情况下，在摄像装置被固定于车辆上的情况下，若车辆倾斜，则拍摄到的图像的摄像范围也倾斜。在这种情况下，若保持原样不变地在显示装置上显示摄像图像数据，则显示的图像会以倾斜的状态显示，有时会给使用者带来不协调感。因此，有这样一种技术：在车辆倾斜的状态下取得图像的情况下，根据车辆的倾斜角来旋转该取得的图像以进行显示。
专利文献1：JP特开平9-52555号公报
虽然通过以旋转图像的方式进行校正能够消除图像整体上的倾斜，但是图像上的物体会以旋转中心为中心移动。此时，离旋转中心越远，因旋转处理而导致的移动量越大。在很多情况下，显示装置被设定为使显示图像的中央附近成为车辆的正对面。因此，若以显示图像的中央附近作为旋转中心进行旋转处理，则在显示装置的上部区域(远方区域)或者下部区域(附近区域)，即在图像的周围区域的物体的移动量变大。例如，有时会将实际上位于车辆远方正对面的物体显示成位于偏离正对面的位置。另外，也有可能是与之相反的情况。针对位于车辆的附近的物体，也可能产生同样的现象。因此，存在这样的问题：显示于显示装置上的周围环境与使用者透过挡风玻璃观察到的现实的周围状态之间产生差异，给使用者带来不协调感。
发明内容
例如，本发明的实施方式的车辆周围监视装置具有：图像取得部，取得从摄像部输出的摄像图像数据，所述摄像部设于车辆上，拍摄该车辆的周围；状态取得部，取得从车辆状态检测部输出的车辆状态数据，所述车辆状态检测部设于所述车辆上，至少检测该车辆的侧倾状态；设定部，在将基于所述摄像图像数据的显示图像显示于显示装置上的情况下，根据所述侧倾状态，设定用于旋转所述显示图像的旋转中心；图像调整部，根据所述侧倾状态，使所述显示图像的显示状态以所设定的所述旋转中心为中心进行旋转；输出部，将所述显示图像输出至所述显示装置。若采用这种结构，则例如即使是图像在显示图像上的旋转中心的附近进行旋转的情况下，图像上的物体的移动量也很微小。即，能够根据状况来变更(设定)图像的旋转中心的位置，从而能够形成难以受到旋转带来的影响的图像区域。
另外，例如，上述车辆周围监视装置的所述设定部也可以将所述旋转中心设定于通过所述显示图像的显示区域的显示宽度方向的中央位置的上下轴线上的任一位置。若采用这种结构，则例如在将旋转中心设定于通过显示区域在显示宽度方向上的中央位置的上下轴线上的上方的位置的情况下，即使旋转图像，也能够减小在车辆的前方且位于远方的物体的移动量。反之，在将旋转中心设定于通过显示区域在显示宽度方向上的中央位置的上下轴线上的下方的位置的情况下，即使旋转图像，也能够减小在车辆的前方且位于附近的物体的移动量。即，能够根据希望使用者关注的物体(周围环境)所在的位置来设定旋转中心(设定旋转中心的位置)，从而实现图像上的移动量较少的显示。
另外，例如，上述车辆周围监视装置的所述设定部也可以根据所述车辆的车速，在所述上下轴线上设定所述旋转中心。若采用这种结构，则例如在车速较高的情况下，使用者(驾驶员)观察远方的情况较多。在这种情况下，将旋转中心设定于通过显示区域在显示宽度方向上的中央位置的上下轴线上的上方的位置。因此，能够减小视为使用者关注的远方位置的物体(周围环境)因图像旋转导致的移动量。反之，在车速较低的情况下，使用者(驾驶员)观察车辆附近的情况较多。在这种情况下，将旋转中心设定于通过显示区域在显示宽度方向上的中央位置的上下轴线上的下方的位置。因此，能够减小视为使用者关注的附近位置的物体(周围环境)因图像旋转导致的移动量。
另外，例如，上述车辆周围监视装置的所述设定部也可以根据到位于所述车辆的周围的障碍物的距离，在所述上下轴线上设定所述旋转中心。若采用这种结构，则例如在障碍物位于远方的情况下，使用者(驾驶员)观察远方的情况较多。在这种情况下，将旋转中心设定于通过显示区域在显示宽度方向上的中央位置的上下轴线上的上方的位置。因此，能够减小视为使用者关注的远方位置上的物体(周围环境)因图像旋转而导致的移动量。反之，在障碍物位于车辆的附近的情况下，使用者(驾驶员)观察车辆附近的情况较多。在这种情况下，将旋转中心设定为通过显示区域的显示宽度方向的中央位置的上下轴线上的下方的位置。因此，能够减小视为使用者关注的附近位置上的物体(周围环境)因图像旋转而导致的移动量。
另外，例如，上述车辆周围监视装置的所述图像调整部也可以在将所述显示图像显示于所述显示装置上的情况下，在显示宽度方向上进行拉伸调整。在取得车辆的前方的图像的情况下，由于希望取得宽范围的信息，所以有时摄像部具有广角透镜。当将该图像保持原样不变地显示于显示装置上时，存在越靠近中央部则图像变得越细长的倾向。通过在将显示图像显示于显示装置上的情况下，在显示宽度方向上进行拉伸调整，能够使显示图像接近现实的形状，不易给使用者带来不协调感。
另外，例如，上述车辆周围监视装置的所述状态取得部也可以还取得表示所述车辆的俯仰状态的车辆状态数据；所述图像调整部根据所述俯仰状态，来使所述显示图像在上下方向上移动。若采用这种结构，则例如即使在车辆在前后方向上倾斜的情况下，也能够以消除该倾斜的方式将使用者关注的位置显示于显示画面上。
附图说明
图1是示出搭载有实施方式的车辆周围监视装置的车辆的车厢的一部分的透视状态的一个例子的立体图。
图2是示出搭载有实施方式的车辆周围监视装置的车辆的一个例子的俯视图(俯瞰图)。
图3是示出具有实施方式的车辆周围监视装置的图像控制系统的一个例子的框图。
图4是示出在实施方式的车辆周围监视装置的ECU内实现的图像处理部的结构的框图。
图5是实施方式的车辆周围监视装置的显示图像的一个例子，且是示出在车辆未倾斜的情况下的显示状态的显示例。
图6是当搭载有实施方式的车辆周围监视装置的车辆倾斜时，利用摄像部拍摄的摄像图像的一个例子。
图7是实施方式的车辆周围监视装置的显示图像的一个例子，且是示出在旋转车辆倾斜的状态下拍摄的图像以使之变为水平的情况下的显示状态的显示例。
图8是说明在使拍摄到的图像在(围绕)通过显示区域的显示宽度方向的中央位置的上下轴线上的大致中央位置进行旋转的情况下，关注点的移动状态的说明图。
图9是说明在使拍摄到的图像在(围绕)通过显示区域的显示宽度方向的中央位置的上下轴线上的下方位置进行旋转的情况下，关注点的移动状态的说明图。
图10是说明在使拍摄到的图像在(围绕)通过显示装置的显示宽度方向的中央位置的上下轴线上的上方位置进行旋转的情况下，关注点的移动状态的说明图。
图11是实施方式的车辆周围监视装置的设定部所参照的设定映射(map)的一个例子。
图12A和图12B是说明实施方式的车辆周围监视装置的显示区域的转换的图，图12A是示出与摄像原图像数据相对应的原始显示区域(摄像区域)的图，图12B是示出转换后的修正显示区域的形状的图。
图13是说明实施方式的车辆周围监视装置的图像处理的顺序的流程图。
其中，附图标记说明如下：
1…车辆，8…显示装置，8a…前方显示区域，8b…左方显示区域，8c…右方显示区域，8d…姿势符号显示区域，14…ECU，14a…CPU，16、16a…摄像部，17…障碍物传感器，22…车轮速度传感器，26…加速度传感器，32…图像取得部，34…状态取得部，36…速度取得部，38…障碍物检测部，40…设定部，42…图像调整部，44…输出部，54…摄像图像，P…上下轴线，O…旋转中心，100…周围监视系统。
具体实施方式
以下，举出在车辆1上搭载本实施方式的车辆周围监视装置的例子进行说明。在实施方式中，车辆1例如可以是以内燃机(发动机，未图示)作为驱动源的汽车(内燃机汽车)，也可以是以电动机(马达，未图示)作为驱动源的汽车(电动汽车、燃料电池汽车等)。另外，还可以是以这两者作为驱动源的汽车(混合动力汽车)。另外，车辆1能够搭载各种各样的变速装置，能够搭载驱动内燃机或者电动机所需要的各种各样的装置(系统、部件等)。另外，能够各种各样地设定与车辆1中的车轮3的驱动相关的装置的方式、数量、布局等。
如图1所示，实施方式的车体2构成乘员(未图示)乘坐的车厢2a。在车厢2a内，以面对作为乘员的驾驶员的座位2b的状态设有：操舵部4、加速操作部5、制动操作部6、变速操作部7等。在本实施方式中，例如，操舵部4是从仪表板(仪器面板)突出的方向盘，加速操作部5是位于驾驶员的脚下的油门踏板。另外，制动操作部6是位于驾驶员的脚下的刹车踏板(制动踏板)，变速操作部7是从中心控制台突出的换挡杆(变速杆)。但是，并不限定于此。
另外，在车厢2a内设有：显示装置8(显示输出部)、声音输出装置9(声音输出部)。显示装置8例如是LCD(liquid crystal display：液晶显示器)、OELD(organicelectroluminescent display：有机电致发光显示器)等。声音输出装置9例如是扬声器。另外，在本实施方式中，例如，显示装置8被透明的操作输入部10(例如触摸面板等)覆盖。乘员等能够经由操作输入部10看到在显示装置8的显示画面上显示的影像(图像)。另外，乘员等能够通过在与显示装置8的显示画面上显示的影像(图像)相对应的位置，以利用手指等触摸或者按压或者移动操作输入部10的方式进行操作，来进行操作输入(指示输入)。另外，在本实施方式中，例如，显示装置8、声音输出装置9、操作输入部10等设置在位于仪表板的车宽度方向(左右方向)的中央部的监视装置11上。监视装置11能够具有开关、刻度盘、手柄、按钮等的操作输入部(未图示)。另外，能够在与监视装置11不同的车厢2a内的其他位置设置声音输出装置(未图示)，能够从监视装置11的声音输出装置9和其他的声音输出装置输出声音。另外，在本实施方式中，例如，虽然监视装置11兼作导航系统、音响系统，但是也可以与这些系统分开来设置车辆周围监视装置用的监视装置。
另外，如图1、图2所示，在本实施方式中，例如，车辆1是四轮车(四轮汽车)，具有左右两个前轮3F和左右两个后轮3R。而且，例如前轮3F的轮胎角与操舵部4(方向盘)的操作相对应地变化(转向)。操舵系统12(参照图3)例如是电动助力转向系统、SBW(steer by wire：线控转向)系统等。如图3所示，操舵系统12利用驱动器12a向操舵部4施加扭矩(辅助扭矩)来补充操舵力，使前轮3F转向。
另外，在本实施方式中，例如，如图2所示，在车辆1(车体2)中设有多个(在本实施方式中，例如4个)摄像部16(16a～16d)。摄像部16是内置有例如CCD(charge coupleddevice：电荷耦合器件)或者CIS(CMOS image sensor：互补金属氧化物半导体图像传感器)等摄像元件的数码摄像头。摄像部16能够以规定的帧率输出摄像图像数据(动画数据、帧数据)。摄像部16分别具有广角透镜，能够在水平方向上拍摄(摄像)例如140°～220°的范围(视角)。另外，摄像部16的光轴被设定为朝向下方(例如，铅直方向或者斜下方)。因此，摄像部16能够拍摄包括车辆1能够移动的路面和该路面的上方的区域在内的车体2的周围的外部环境。
在本实施方式中，例如，发挥第一摄像部的功能的摄像部16a位于车体2的前侧(车辆前后方向的前方侧)的端部2c(俯视时的端部)，设于前格栅等。发挥第二摄像部的功能的摄像部16b位于车体2的左侧(车宽度方向的左侧)的端部2d，设于左侧的后视镜2g(突出部)。另外，发挥第一摄像部的功能的摄像部16c位于车体2的后侧(车辆前后方向的后方侧)的端部2e，设于后行李箱的门2h的下方的壁部。发挥第二摄像部的功能的摄像部16d位于车体2的右侧(车宽度方向的右侧)的端部2f，设于右侧的后视镜2g(突出部)。此外，本实施方式并不限制摄像头的车载方法，只要以能够取得车辆1的前方的摄像图像数据、左右侧方的摄像图像数据、后方的摄像图像数据的方式设置即可。
ECU14(Electronic Control Unit：电子控制器；参照图3)能够基于由多个的摄像部16得到的摄像图像数据来进行计算处理或者图像处理，将经该图像处理的摄像图像数据显示在显示装置8上。此外，例如将由用于拍摄(摄像)车辆前方的摄像部16a所拍摄到的摄像图像数据，保持原样不变地(直接)作为表示当前车辆周围状况的当前图像来使用。
另外，在本实施方式中，例如，如图3所示，在周围监视系统(车辆周围监视装置)100中，不仅ECU14、监视装置11等，障碍物传感器17、刹车系统18、舵角传感器19(角度传感器)、油门传感器20、换挡传感器21、车轮速度传感器22、加速度传感器26等也经由车内网络23(电信线路)电连接。例如，车内网络23构成为CAN(controller area network：控制器局域网)。ECU14能够通过经由车内网络23发送控制信号，来控制刹车系统18等。另外，ECU14能够经由车内网络23，接收扭矩传感器12b、障碍物传感器17、刹车传感器18b、舵角传感器19、油门传感器20、换挡传感器21、车轮速度传感器22、加速度传感器26等的检测结果。另外，ECU14能够接收操作输入部10等的指示信号(控制信号、操作信号、输入信号、数据)。
在本实施方式中，在车辆1中设有2个加速度传感器26(26a、26b)。此外，本实施方式将车辆1设置为ESC(electronic stability control：电子稳定控制)搭载车辆。而且，使用以往搭载于ESC搭载车辆上的加速度传感器26(26a、26b)。此外，本实施方式并不限制加速度传感器，只要是能够检测车辆1的左右方向的加速度的传感器即可。在本实施方式中，推导出前后方向的加速度以及左右方向的加速度。
ECU14例如具有：CPU14a(central processing unit：中央处理器)、ROM14b(readonly memory：只读存储器)、RAM(random access memory：随机访问存储器)14c、显示控制部14d、声音控制部14e、SSD(solid state drive(固态驱动器)14f、闪存器)等。CPU14a例如进行与利用显示装置8显示的图像相关联的图像处理、车辆1的移动路径的计算、与物体有无妨碍的判断等各种计算处理。CPU14a读出存储(安装)于ROM14b等非易失性存储装置中的程序，按照该程序进行计算处理。
RAM14c暂时存储用于由CPU14a进行计算的各种数据。另外，在ECU14进行的计算处理中，显示控制部14d主要使用由摄像部16得到的摄像图像数据进行图像处理，进行用于显示装置8显示的摄像图像数据的图像处理(例如合成等)等。另外，在ECU14进行的计算处理中，声音控制部14e主要进行用于由声音输出装置9输出的声音数据的处理。另外，SSD14f是可重写的非易失性存储部，即使在关闭(OFF)ECU14的电源的情况下，也能够存储数据。此外，CPU14a、ROM14b、RAM14c等能够集成于同一封装内。另外，就ECU14而言，也可以取代CPU14a而使用DSP(digital signal processor：数字信号处理器)等其他的逻辑计算处理器或者逻辑电路等构成。另外，也可以取代SSD14f，而设置HDD(hard disk drive：硬盘驱动器)，SSD14f或者HDD还可以与ECU14分开来设置。
如图4所示，CPU14a具有各种模块，这些模块是通过读出安装并存储于ROM14b等存储装置中的程序并执行该程序来实现的。例如，CPU14a具有图像取得部32、状态取得部34、速度取得部36、障碍物检测部38、设定部40、图像调整部42、输出部44等。
图像取得部32通过显示控制部14d取得摄像部16所拍摄的图像。在本实施方式的情况下，虽然主要说明取得由摄像部16a拍摄到的车辆1的前方图像来进行图像处理的例子，但是也能够取得摄像部16b、16d所拍摄到的车辆1的侧方图像或者摄像部16c所拍摄到的车辆1的后方图像等，来根据需要进行图像处理并将它们显示于显示装置8上。图像取得部32向设定部40以及图像调整部42提供所取得的摄像图像数据。此外，就显示控制部14d而言，在对摄像部16所拍摄到的摄像图像数据施加简单的图像处理来进行显示的情况下、不施加图像处理来进行显示的情况下、与其他数据重叠来进行显示等情况下，可以利用显示控制部14d进行处理，利用显示装置8进行显示。
状态取得部34基于经由车内网络23供给的由加速度传感器26a、26b检测出的加速度数据，来计算车辆1的倾斜角度(侧倾角以及俯仰角)并将其提供给设定部40。即，加速度传感器26发挥输出车辆状态数据的车辆状态检测部的功能。此外，滚转角是表示围绕车辆1的前后轴倾斜的角度，俯仰角是表示围绕车辆1的左右轴倾斜的角度。此外，状态取得部34也可以为了利用后述的姿势符号来显示车辆1的姿势，将滚转角、俯仰角的信息提供给输出部44。
速度取得部36基于经由车内网络23供给的由车轮速度传感器22检测到的车轮速度来计算车辆1的车速，并将其提供给设定部40。此外，速度取得部36只要能够取得车辆1的车速即可，也可以基于来自除了车轮速度传感器22以外的信息来计算出车速。
障碍物检测部38基于经由车内网络23供给的例如来自障碍物传感器17的信息，来计算在车辆1的周围是否存在障碍物，另外，在存在障碍物的情况下，计算到该障碍物的距离并将其提供给设定部40。例如，障碍物传感器17能够是发射超声波并捕捉其反射波的声纳。声纳也称为声纳传感器或者超声波探测器。此外，障碍物检测部38也可以通过使用由图像取得部32拍摄的摄像图像数据，利用图案匹配等技术提取存在于该图像中的障碍物，或者计算图像坐标系上的位置，来检测(推测)障碍物的存在以及到该障碍物的距离。
在显示装置上显示基于图像取得部32所取得的摄像图像数据的显示图像的情况下，设定部40根据车辆1的侧倾(Roll)状态，设定用于旋转显示图像的旋转中心。具体地，设定部40基于从状态取得部34提供的车辆1的侧倾状态，判断是否需要摄像图像数据的旋转处理。另外设定部40基于从速度取得部36提供的车辆1的速度、从障碍物检测部38提供的到障碍物的距离，来决定在旋转摄像图像数据情况下的旋转中心的位置。由设定部40设定旋转中心的具体例子在后面叙述。
图像调整部42以设定部40所设定的旋转中心为中心，以与状态取得部34所检测到的车辆1的滚转角相对应的角度，旋转从图像取得部32提供的车辆1的前方图像的显示状态。图像调整部42将施加了旋转处理的车辆1的前方图像提供给输出部44。输出部44将施加过旋转处理的车辆1的前方图像依次输出至显示控制部14d。此外，众所周知，图像调整部42的旋转处理例如能够通过使用矩阵的坐标转换来进行，所以此处省略旋转处理的详细的说明。另外，输出部44将来自状态取得部34的信息，即车辆1的滚转角、俯仰角，输出至显示控制部14d。
显示控制部14d对从输出部44输出的车辆1的前方图像、从摄像部16b、16d提供的车辆1的侧方图像、车辆1的姿势符号、表示车辆1与周围的关系的辅助线等进行合成，并将合成后的图像输出至显示装置8。该姿势符号是基于经由输出部44得到的车辆1的侧倾状态(侧倾角)及俯仰状态(俯仰角)而得出的。此外，在CPU14a内实现的各模块可以如上所述地按照各个功能单独地构成，也可以综合多个功能而用一个模块来实现。反之，还可以将功能进一步地细化来实现。
在图5中示出显示装置8的显示例。在图5的情况下，示出车辆1的滚转角以及俯仰角都为“0°”的状态，即示出车辆1位于平坦路上的情况。显示装置8的显示区域包括：前方显示区域8a、左方显示区域8b、右方显示区域8c、姿势符号显示区域8d。前方显示区域8a主要是基于摄像部16a所拍摄到的摄像图像数据而得到的图像的显示区域，设定于显示装置8的显示区域的包含中央的上部较宽的范围。在前方显示区域8a中，在摄像部16a所拍摄到的前方图像上重叠显示前轮前进方向标识48a、车宽参考线48b、前方参考线48c等。例如，前轮前进方向标识48a基于能够从舵角传感器19取得的前轮3F的操舵角来显示车辆1(前轮3F)的行进推测方向。车宽参考线48b基于车辆1的车宽而重叠显示在规定位置上，该规定位置在车辆侧方比车辆1的车宽多(向车辆侧方偏移)出规定的富余距离(例如0.5m)。另外，前方参考线48c是以车辆1的前方的端部2c为基准而重叠的线，通过每隔规定距离显示多条这样的线，从而使前方显示区域8a上的本车与前方物体的距离易于图形化。此外，前方显示区域8a的显示区域也能够作为后方显示区域使用。例如，在变速操作部7(换挡杆)移动到“R；倒车挡(reverse)”的位置的情况下，也可以切换为摄像部16c所拍摄的后方图像，并进行在车辆1后退的情况下的行驶辅助。在这种情况下，也可以重叠显示后轮前进方向标识、车宽参考线、后方参考线等。
在左方显示区域8b以及右方显示区域8c，显示前轮3F的周围作为车辆1的侧方图像，并且也重叠显示车宽参考线48b、前方参考线48c、表示前轮3F的接地位置的接地线48d等。通过将如这样的前轮前进方向标识48a、车宽参考线48b、前方参考线48c、接地线48d等参考线重叠显示于车辆1的图像上，能够容易地掌握车辆1的位置以及与周围的关系。
在姿势符号显示区域8d上显示出表示从后方观察车辆1的状态的姿势符号50，姿势符号50的姿势对应于由状态取得部34计算出的滚转角、俯仰角而变化。因此，能够以使用者能够客观容易地理解车辆1的姿势的方式进行辅助。
此处，作为车辆1的状态，考虑到车辆1的单侧车轮3压上石头或者路面突起的情况。在这种情况下，车辆1倾斜，固定于车辆1的摄像部16也与车辆1一起倾斜。例如，考虑到车辆1的左侧的车轮3压上突起，车辆1向右方侧倾(Roll)的情况。在这种情况下，例如，虽然由摄像部16a拍摄到的摄像图像数据暂时存储于RAM14c等存储部中，但是在存储部中使用绝对坐标系存储摄像图像数据。因此，例如，如图6所示，存储有地平线52倾斜的状态下的摄像图像54。即，当在前方显示区域8a上保持原样不变地显示摄像图像数据(摄像图像54)时，以地平线52倾斜的状态进行显示。进一步地，显示于前方显示区域8a的图像，被显示为向与车辆1实际倾斜的方向相反的方向倾斜。因此，有时会给使用者带来不协调感。因此，在显示装置8上显示在车辆1倾斜的状态下拍摄的摄像图像数据的情况下，最好进行与车辆1的倾斜状态相对应的旋转校正，例如在使得地平线52沿着前方显示区域8a的水平方向的边缘之后，再在前方显示区域8a上进行显示。图7是根据车辆1的倾斜状态，将在车辆1倾斜的情况下拍摄到的摄像图像数据进行旋转校正之后再显示于前方显示区域8a的例子。此外，在本实施方式的摄像部16a的情况下，由于将摄像范围设置为与前方显示区域8a的显示范围相对应的范围，所以在对倾斜的图像进行旋转处理后进行显示的情况下，存在没有数据的欠缺区域56。另外，由于摄像部16a例如使用广角透镜，所以地平线52以弯曲的方式进行显示。如此，即使是在倾斜的状态下拍摄到的摄像图像数据，也能够通过基于车辆1的倾斜角(侧倾角)进行旋转校正，来在显示装置8上显示出与使用者透过挡风玻璃进行观察的状态同等的图像。此外，在使得摄像部16a的摄像范围大于前方显示区域8a，并在前方显示区域8a上进行显示的情况下，若进行图像的剪切处理，则能够避免产生欠缺区域56。
顺带一提，在对由摄像部16等拍摄到的摄像图像数据进行旋转处理的情况下，考虑到围绕透镜中心旋转。图8是说明将倾斜了角度θ的第一图像58以逆时针方向旋转角度θ的方式进行旋转处理，来转换为第二图像60的情况下的状态推移的图。即，该说明图说明在使倾斜拍摄到的图像围绕通过显示宽度方向的中央位置的上下轴线P上的大致中央位置(旋转中心O)进行旋转的情况下，关注点A1、B1、C1、D1的移动状态。如图8所示，位于离旋转中心O较远的位置的关注点A1以及关注点D1，通过旋转角度θ来移动至显示点A2以及显示点D2。同样地，位于离旋转中心O较近的位置的关注点B1以及关注点C1，通过旋转角度θ来移动至显示点B2以及显示点C2。但是，在施加了旋转处理的情况下，因离旋转中心O较远的关注点A1以及显示点D2的旋转处理而导致的移动量，大于离旋转中心O较近的关注点B1以及关注点C1的移动量。换言之，通过用于校正显示图像倾斜的旋转处理，使得距离车辆1远的物体在画面上的移动量变大。例如有可能发生如下情况：实际上位于偏离车辆1的行进方向的位置的障碍物，通过旋转处理，被显示为位于车辆1的前方位置。在这种情况下，使用者有误认障碍物的位置的危险，有时会进行实际上不需要的避让障碍物的操作。同样地，位于车辆1的附近的物体在画面上的移动量变大，同样有时会引起使用者的误认。
因此，本实施方式的周围监视系统100推测视为使用者正在关注的前方显示区域8a上的关注区域，以使该关注区域中的物体的移动量减少的方式来对作为摄像图像54的倾斜图像进行旋转处理。例如，能够基于车辆1的速度来进行前方显示区域8a上的关注区域的推测。例如，在车辆1以低速行驶的情况下，视为驾驶员一边注意车辆1的周围的状况，一边行驶的可能性较高。即，能够视为在前方显示区域8a上，关注区域位于前方显示区域8a的下方的区域中，该前方显示区域8a的下方是靠近车辆1的一侧。
在这样的情况下，设定部40基于从速度取得部36得到的车速，将旋转中心设定于通过显示区域的显示宽度方向的中央位置的上下轴线上的靠近下方的位置。图9示出了如下情况：在将旋转中心设定于通过显示区域的显示宽度方向的中央位置的上下轴线上的靠近下方的位置的情况下，在作为关注区域的显示区域的下侧，即在用于显示车辆1的前方较近的位置的区域，即使施加显示图像的旋转处理，物体的移动量也会减小。如图9所示，将旋转中心O设定于通过显示区域的显示宽度方向的中央位置的上下轴线P上的下方，例如最下端位置G。此外，例如在“车速＝0km/h”时将旋转中心O设定于最下端位置G。而且，例如，通过以旋转中心O为中心，仅以角度θ°进行旋转处理，能够将倾斜的第一图像58校正为水平的第二图像60。此时，虽然位于关注区域的关注点D1移动至显示点D2，但是其移动量极微小。即，实际上，即使在根据倾斜角度(侧倾角)，对在前方显示区域8a上显示的摄像图像数据进行旋转处理的情况下，在车辆1的车速较低(低速的)的情况下，也会将旋转中心O设定于前方显示区域8a的上下轴线P上的下方的位置。因此，如图7所示，即使通过进行旋转处理而使得地平线52沿着前方显示区域8a的水平方向的边缘，车辆1的前方前侧的关注区域中的物体的移动量也很微小，也能够避免使用者的如上所述的误认。
反之，在车辆1以某种程度的速度，例如以20km/h以上的速度行驶的情况下，视为驾驶员将视线置于车辆1的远方来行驶的可能性较高。即，能够视为在前方显示区域8a上，关注区域位于前方显示区域8a的上方的区域，该前方显示区域8a的上方是远离车辆1的一侧。
在这样的情况下，设定部40基于从速度取得部36得到的车速，将旋转中心设定于通过显示区域的显示宽度方向的中央位置的上下轴线上的靠近上方的位置。图10示出了如下情况：在将旋转中心设定于通过显示区域的显示宽度方向的中央位置的上下轴线上的靠近上方的位置的情况下，在作为关注区域的显示区域的上侧，即在用于显示车辆1的前方较远的位置的区域，即使施加显示图像的旋转处理，物体的移动量也会减小。如图10所示，将旋转中心O设定于通过显示区域的显示宽度方向的中央位置的上下轴线P上的上方，例如最上端位置T。而且，例如，通过以旋转中心O为中心，仅以角度θ°进行旋转处理，能够将倾斜的第一图像58校正为水平的第二图像60。此时，虽然位于关注区域的关注点A1移动至显示点A2，但是该移动量极微小。即，实际上，即使在根据倾斜角度(侧倾角)，对在前方显示区域8a上显示的摄像图像数据进行旋转处理的情况下，在车辆1的车速超出某种程度的情况(某种速度以上的情况)下，将旋转中心O设定于前方显示区域8a的上下轴线P上的上方的位置。因此，如图7所示，即使通过旋转处理使得地平线52沿着前方显示区域8a的水平方向的边缘，在车辆1的前面远方的关注区域上的物体的移动量很微小，也能够避免使用者如上所述的误认。
此外，能够利用设定部40，根据例如图11所示的决定车速与上下轴线P上的旋转中心O的位置的关系的“以速度为基准的设定映射”，唯一地决定旋转中心O的设定位置。例如，将上下轴线P的最下端位置G设置为“车速＝0km/h”。另外，例如，将上下轴线P的大致中央部设置为“车速＝20km/h”，使上下轴线P的中央部的下方的旋转中心O的位置分布在“0km/h～20km/h”之间。另外，例如将上下轴线P的最上端位置T设置为“车速＝40km/h”。即，在超过车速40km/h的情况下，旋转中心O固定设置为最上端位置T。而且，使上下轴线P的中央部以上的旋转中心O的位置分布在“20km/h～40km/h”之间。如此，通过设定部40参照设定映射来设定旋转中心O的位置，能够实现迅速的显示图像的旋转处置。此外，在图11所示的例子中，虽然示出了例如“0km/h～40km/h”的范围随着车速的增加而旋转中心O的位置也线性增加的例子，但是以速度为基准的设定映射的形态也能够适当设定，可以按照向上凸出的曲线或者向下凸出的曲线增加。另外，还可以阶梯状地断续地增加。另外，也可以选择如下两种情况或选择多种情况，这两种情况是：在速度20km/h以下的情况下，设置为最下端位置G；在速度20km/h的情况下，设置为最上端位置T。另外，虽然将速度范围设置为“0km/h～40km/h”，但是也可以适当变更。另外，设定部40也可以不根据设定映射，而是通过基于车速的计算来计算出旋转中心O的位置。
例如，在设定部40中，能够取代车速，而基于从障碍物检测部38提供的位于车辆1的前方的障碍物来进行前方显示区域8a上的关注区域的推测。例如，在障碍物(例如步行者、其他车辆、自行车等)位于车辆1的周围的情况下，视为驾驶员一边注意车辆1的周围的状况，一边行驶的可能性较高。即，在前方显示区域8a上，能够视为关注区域位于前方显示区域8a的下方的区域，该前方显示区域8a的下方是靠近车辆1的一侧。反之，在车辆1的周围不存在障碍物的情况下，或者在远方存在障碍物(例如步行者、其他车辆、自行车等)的情况下，视为驾驶员一边注意车辆1的远方，一边行驶的可能性较高。即，在前方显示区域8a上，能够视为关注区域位于前方显示区域8a的上方的区域，该前方显示区域8a的上方是远离车辆1的一侧。即，能够根据以车辆1为基准到障碍物的距离，来设定旋转中心O。例如，与根据车速设定旋转中心O的情况同样地，例如，将图9中的上下轴线P的最下端位置G设置为“距离＝0m”。另外，例如，将上下轴线P的大致中央部设置为“距离＝20m”，使上下轴线P的中央部的下方的旋转中心O的位置分布在“0m～20m”之间。另外，如图10所示，例如，将上下轴线P的最上端位置T设置为“距离＝40m”。即，在到障碍物的距离超过40m的情况下，旋转中心O固定设置为最上端位置T。而且，使上下轴线P的中央部以上的旋转中心O的位置分布在“20m～40m”之间。如此，设定部40通过参照设定映射来设定旋转中心O的位置，与基于车速进行设定的情况同样地，能够实现迅速的显示图像的旋转处置。
此外，就障碍物的检测而言，可以基于如上所述从障碍物检测部38提供的信息来进行，也可以使用从图像取得部32提供的摄像图像数据来进行。另外，还可以将这两者组合来使用。
此外，在图9所示的例子的情况下，虽然位于上下轴线P上的下方的区域的关注点D1和显示点D2的位置的移动较小，但是位于上下轴线P上的上方的区域的关注点A1和显示点A2的位置的移动较大。但是在这种情况下，由于上下轴线P上的上方的区域不是使用者关注的关注区域，所以即使在物体的移动量较大的情况下，使用者误认所引起的影响也较小。同样地，在图10所示的例子的情况下，虽然位于上下轴线P上的上方的区域的关注点A1和显示点A2的位置的移动较小，但是位于上下轴线P上的下方的区域的关注点D1和显示点D2的位置的移动较大。但是在这种情况下，由于上下轴线P上的下方的区域不是使用者关注的关注区域，所以即使在物体的移动量较大的情况下，使用者误认所引起的影响也较小。
如上所述，虽然示出了在设定部40设定旋转中心O的位置的情况下，基于车辆1的车速或者车辆1的前方到障碍物的距离中的任一者进行决定的例子，但是也可以使用两者来设定旋转中心O的位置。在这种情况下，能够提高使用者的关注区域的推测精度。另外，也可以使得使用者能够通过操作输入部10的操作来选择设定部40是基于车速还是基于到障碍物的距离来设定旋转中心O的位置。另外，也可以使设定部40能够根据操作输入部10的操作而将旋转中心O设定于使用者想要的位置。在这种情况下，使用者的可定制性提高。
顺带一提，摄像部16a具有能够取得如上所述宽范围的图像信息的广角透镜。另外，有时由摄像部16a拍摄到的摄像图像数据所规定的显示范围是如图6所示的矩形。如此，在矩形的显示范围内显示利用广角透镜拍摄的图像的情况下，有时位于显示图像上的物体在横向宽度方向上被显示得较细。因此，本实施方式的图像调整部42具有这样的功能：在将显示图像显示于显示装置8上的情况下，在显示宽度方向上进行拉伸调整。将例如图12A所示的矩形的原始显示区域62的显示宽度W0，校正为例如图12B所示的通过扩张显示区域的上方而使得显示宽度W1呈梯形的校正显示区域64。其结果，能够将因广角透镜摄像而导致的显示得较细的物体，显示为接近实物的状态。通过进行如这样的显示校正，能够以接近使用者透过挡风玻璃实际上观察到的车辆周围的风景的状态，来显示与车辆1的姿势相对应地校正了的显示图像。即，能够带来显示品质的提高。此外，虽然在图12B的情况下，举出上底较长的梯形作为一个例子，但是只要在显示宽度方向上进行拉伸调整即可，例如，也可以使将校正显示区域64拉伸调整成长方形。另外，设定部40也可以通过推测来决定与关注区域的位置相对应的拉伸调整的位置。
使用图13的流程图，说明如此构成的周围监视系统100的图像处理的顺序的一个例子。此外，在显示前方显示区域8a的情况下，以规定周期来重复进行图13的流程图所示的处理。另外，在显示前方显示区域8a的情况下，至少摄像部16a、加速度传感器26、车轮速度传感器22、障碍物传感器17等以规定的控制周期连续地向ECU14提供检测数据。另外，至少摄像部16a能够拍摄比前方显示区域8a大规定量的区域。
在要求具有前方显示区域8a的显示装置8进行显示的情况下，ECU14使图像取得部32经由显示控制部14d取得车辆1的前方的摄像图像数据(S100)。接下来，图像调整部42基于从状态取得部34提供的信息，判断为车辆1的姿势具有俯仰角(车辆1在前后方向上倾斜)的情况下(S102中的是(Yes))，对前方显示区域8a上显示的摄像图像数据进行俯仰角的校正(S104)。即，由于车辆1的前端向上侧倾斜，或者向下侧倾斜，在前方显示区域8a上显示的显示图像的上下方向的中心偏离标准位置的情况下，校正该偏离。
接下来，在设定部40基于从状态取得部34提供的信息，判断为车辆1的姿势具有滚转角的(车辆1在车宽度方向上倾斜)情况下(S106中的是(Yes))，经由速度取得部36确认车速(S108)。例如，设定部40基于来自速度取得部36的信息，参照与如图11示的车速相关的以速度为基准的设定映射(S110)，来假定在进行旋转处理的情况下的以速度为基准的旋转中心O的位置。另外，设定部40基于来自障碍物检测部38的信息，来确认车辆1的前方的障碍物以及在有障碍物的情况下确认到障碍物的距离(S112)。然后，例如，设定部40参照与图11类似的障碍物相关的以障碍物为基准的设定映射(S114)，来假定在进行旋转处理的情况下的以障碍物为基准的旋转中心O的位置。而且，设定部40基于假定的以速度为基准的旋转中心O的位置和以障碍物为基准的旋转中心O的位置，来设定在旋转处理中使用的旋转中心O的位置(S116)。
由设定部40设定的旋转中心O被提供给图像调整部42。另外，从图像取得部32向图像调整部42提供摄像部16a的摄像图像数据，以及从状态取得部34向图像调整部42提供车辆1的滚转角。而且，图像调整部42对从图像取得部32提供来的摄像图像数据，以设定部40所设定的旋转中心O为中心，仅以状态取得部34所检测到的滚转角θ°进行旋转处理。即，对在显示装置8上显示的显示图像进行旋转(S118)。而且，图像调整部42经由输出部44将旋转处理的结果输出至显示控制部14d。另外，输出部44将由状态取得部34检测到的侧倾角、俯仰角旋转输出至显示控制部14d(输出部44将根据由状态取得部34检测到的侧倾角、俯仰角进行旋转后的结果输出至显示控制部14d)。显示控制部14d基于旋转处理的结果来显示输出前方显示区域8a，并且显示输出摄像部16b、16d所拍摄到的侧方图像。另外，基于车辆1的滚转角或者俯仰角，向姿势符号显示区域8d显示输出姿势符号50。即，显示装置8进行显示输出(S120)。
在S106中，在设定部40判断为车辆1的姿势不具有滚转角的情况下(S106中的否(No))，跳过从S108到S118的处理，进行S120的处理。另外，在S102中，在设定部40判断为车辆1的姿势不具有俯仰角的情况下(S102中的否(No))，跳过S104的处理来进行S106以后的处理。ECU14通过以规定周期进行图13的流程，来将车辆1的周围的图像信息以及车辆1的姿势信息显示于显示装置8上，对使用者进行驾驶辅助。此外，图13所示的流程图是一个例子，若能够将显示装置8的显示形态设置为显示与使用者透过挡风玻璃观察到的状态同等的图像，则也可以适当变更处理内容，能够得到与本实施方式同样的效果。
此外，在本实施方式中，也可以基于障碍物的位置来设定旋转中心。例如，也可以设定显示图像在上下方向上的旋转中心，并且与障碍物相对应地在横向上移动旋转中心来以障碍物的位置作为中心(旋转中心)。另外，还可以根据摄像图像检测障碍物，根据显示图像内的坐标确定障碍物的位置，来设定旋转中心，在任一种情况下都能够得到与上述的实施方式同样的效果。
虽然说明了本发明的实施方式以及变形例，但是这些实施方式以及变形例是作为例子提出的，并不想要限定发明的范围。这些新颖的实施方式能够以其他的各种各样的方式实施，只要在不脱离发明的主旨的范围内，能够进行各种各样的省略、替换、变更。这些实施方式、其变形被包含于发明的范围或者主旨内，并且被包含于与权利要求的范围内所记载的发明等同的范围内。

Claims (4)

1.一种车辆周围监视装置，其特征在于，具有：
图像取得部，取得从摄像部输出的摄像图像数据，所述摄像部设于车辆上，拍摄该车辆的周围，
状态取得部，取得从车辆状态检测部输出的车辆状态数据，所述车辆状态检测部设于所述车辆上，至少检测该车辆的侧倾状态，
设定部，在将基于所述摄像图像数据的显示图像显示于显示装置上的情况下，根据所述侧倾状态以及到位于所述车辆的周围的障碍物的距离，将旋转中心设定于上下轴线上的任一位置，所述上下轴线通过所述显示图像的显示区域的显示宽度方向的中央位置，
图像调整部，根据所述侧倾状态，使所述显示图像的显示状态以所设定的所述旋转中心为中心进行旋转，
输出部，将所述显示图像输出至所述显示装置。
2.如权利要求1所述的车辆周围监视装置，其特征在于，
所述设定部，根据所述车辆的车速，在所述上下轴线上设定所述旋转中心。
3.如权利要求1或2所述的车辆周围监视装置，其特征在于，
所述图像调整部，在将所述显示图像显示于所述显示装置上的情况下，在显示宽度方向上进行拉伸调整。
4.如权利要求1或2所述的车辆周围监视装置，其特征在于，
所述状态取得部还取得表示所述车辆的俯仰状态的车辆状态数据，
所述图像调整部，根据所述俯仰状态，来使所述显示图像在上下方向上移动。
CN201510957876.XA 2014-12-19 2015-12-18 车辆周围监视装置 Active CN105711499B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-258020 2014-12-19
JP2014258020A JP6507626B2 (ja) 2014-12-19 2014-12-19 車両周辺監視装置

Publications (2)

Publication Number Publication Date
CN105711499A CN105711499A (zh) 2016-06-29
CN105711499B true CN105711499B (zh) 2019-04-05

Family

ID=56131018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510957876.XA Active CN105711499B (zh) 2014-12-19 2015-12-18 车辆周围监视装置

Country Status (3)

Country Link
US (1) US9973734B2 (zh)
JP (1) JP6507626B2 (zh)
CN (1) CN105711499B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
US10440254B2 (en) * 2016-05-19 2019-10-08 Mitsubishi Electric Corporation Display control device and image pickup device
JP6759899B2 (ja) 2016-09-08 2020-09-23 アイシン精機株式会社 車両用画像処理装置
CN108099788A (zh) * 2016-11-25 2018-06-01 华创车电技术中心股份有限公司 三维行车影像辅助装置
CN107215275B (zh) * 2017-05-27 2019-07-26 吉利汽车研究院（宁波）有限公司 视图显示方法、视图显示装置及汽车
CN110914094B (zh) * 2017-07-19 2023-05-16 株式会社电装 车辆用显示装置以及显示控制装置
KR101979277B1 (ko) * 2017-07-25 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
WO2019080051A1 (en) * 2017-10-26 2019-05-02 Harman International Industries, Incorporated PERIPHERAL VISION SYSTEM AND ASSOCIATED METHOD
JP2019121857A (ja) 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
US10589155B2 (en) 2017-12-28 2020-03-17 Taylor Made Golf Company, Inc. Golf club head
US10188915B1 (en) 2017-12-28 2019-01-29 Taylor Made Golf Company, Inc. Golf club head
JP7043255B2 (ja) * 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
US10695621B2 (en) 2017-12-28 2020-06-30 Taylor Made Golf Company, Inc. Golf club head
JP7135378B2 (ja) * 2018-03-29 2022-09-13 株式会社アイシン 周辺監視装置
JP7172247B2 (ja) * 2018-07-26 2022-11-16 トヨタ自動車株式会社 表示制御装置、車両用表示装置、表示制御方法及びプログラム
JP2020036166A (ja) * 2018-08-29 2020-03-05 アルパイン株式会社 画像表示装置、画像表示方法
CN112740007B (zh) * 2018-09-21 2023-06-30 本田技研工业株式会社 车辆检查系统
DE112019005706T5 (de) * 2018-11-13 2021-07-29 Rivian IP Holdings, LLC. ysteme und Verfahren zur Steuerung einer Fahrzeugkamera
JP7443749B2 (ja) 2019-12-19 2024-03-06 株式会社Ｊｖｃケンウッド 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法
CN111751824B (zh) * 2020-06-24 2023-08-04 杭州海康汽车软件有限公司 车辆周围的障碍物检测方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1138551A2 (en) * 2000-03-29 2001-10-04 Kabushiki Kaisha Tokai-Rika-Denki-Seisakusho Infrared communication system for a vehicle and vehicle accessory operation system that utilizes the communication system
CN102314315A (zh) * 2010-07-09 2012-01-11 株式会社东芝 显示装置、图像数据生成装置、图像数据生成程序及显示方法
US8379043B1 (en) * 2012-03-20 2013-02-19 David Lester Paige Methods and apparatus for displaying information on the inside of a windshield

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0952555A (ja) * 1995-08-11 1997-02-25 Mitsubishi Electric Corp 周辺監視装置
JP4063170B2 (ja) * 2003-07-23 2008-03-19 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
JP2005333565A (ja) * 2004-05-21 2005-12-02 Auto Network Gijutsu Kenkyusho:Kk 監視装置
EP2003019B1 (en) * 2007-06-13 2014-04-23 Aisin AW Co., Ltd. Driving assist apparatus for vehicle
JP5161760B2 (ja) * 2008-12-26 2013-03-13 株式会社東芝 車載用表示システム及び表示方法
US8198555B2 (en) * 2009-04-22 2012-06-12 Honda Motor Co., Ltd Multi-position switch assembly for controlling a vehicle display screen
JP5275963B2 (ja) * 2009-12-08 2013-08-28 株式会社東芝 表示装置、表示方法及び移動体
US9264672B2 (en) * 2010-12-22 2016-02-16 Magna Mirrors Of America, Inc. Vision display system for vehicle
JP5613041B2 (ja) * 2010-12-24 2014-10-22 パナソニック株式会社 カメラ装置、画像処理システムおよび画像処理方法
JP5668514B2 (ja) * 2011-02-16 2015-02-12 辰巳電子工業株式会社 自動写真作成装置
US20150022664A1 (en) * 2012-01-20 2015-01-22 Magna Electronics Inc. Vehicle vision system with positionable virtual viewpoint
WO2013121459A1 (ja) * 2012-02-16 2013-08-22 古野電気株式会社 情報表示装置、表示モード切替方法及び表示モード切替プログラム
US8854325B2 (en) * 2012-02-29 2014-10-07 Blackberry Limited Two-factor rotation input on a touchscreen device
JP6271858B2 (ja) * 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
JP6099333B2 (ja) * 2012-08-30 2017-03-22 富士通テン株式会社 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法及びパラメータ取得方法
JP6105880B2 (ja) * 2012-09-11 2017-03-29 キヤノン株式会社 撮像装置およびその制御方法
CN105075247B (zh) * 2013-02-28 2018-08-14 爱信精机株式会社 车辆的控制装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1138551A2 (en) * 2000-03-29 2001-10-04 Kabushiki Kaisha Tokai-Rika-Denki-Seisakusho Infrared communication system for a vehicle and vehicle accessory operation system that utilizes the communication system
CN102314315A (zh) * 2010-07-09 2012-01-11 株式会社东芝 显示装置、图像数据生成装置、图像数据生成程序及显示方法
US8379043B1 (en) * 2012-03-20 2013-02-19 David Lester Paige Methods and apparatus for displaying information on the inside of a windshield

Also Published As

Publication number Publication date
US20160182863A1 (en) 2016-06-23
US9973734B2 (en) 2018-05-15
JP6507626B2 (ja) 2019-05-08
CN105711499A (zh) 2016-06-29
JP2016119570A (ja) 2016-06-30

Similar Documents

Publication Publication Date Title
CN105711499B (zh) 车辆周围监视装置
JP6028848B2 (ja) 車両の制御装置、及びプログラム
JP6361382B2 (ja) 車両の制御装置
JP6388267B2 (ja) 運転支援装置
JP6380002B2 (ja) 周辺監視装置
CN105644438B (zh) 车辆周边监视装置
JP6060910B2 (ja) 周辺監視装置、及びプログラム
JP6281289B2 (ja) 周辺監視装置、及びプログラム
JP7039879B2 (ja) 表示制御装置
CN105472317B (zh) 周边监视装置及周边监视系统
JP6958163B2 (ja) 表示制御装置
WO2020116352A1 (ja) 路面検出装置および路面検出プログラム
CN109691089A (zh) 显示控制装置
JP7009785B2 (ja) 周辺監視装置
EP3382604A2 (en) Assistance apparatus
JP6930202B2 (ja) 表示制御装置
JP7423970B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant