CN105539287A - 周边监视装置 - Google Patents

周边监视装置 Download PDF

Info

Publication number
CN105539287A
CN105539287A CN201510706655.5A CN201510706655A CN105539287A CN 105539287 A CN105539287 A CN 105539287A CN 201510706655 A CN201510706655 A CN 201510706655A CN 105539287 A CN105539287 A CN 105539287A
Authority
CN
China
Prior art keywords
vehicle
road surface
view data
acquisition unit
display equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510706655.5A
Other languages
English (en)
Other versions
CN105539287B (zh
Inventor
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN105539287A publication Critical patent/CN105539287A/zh
Application granted granted Critical
Publication of CN105539287B publication Critical patent/CN105539287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种周边监视装置,其包括∶获取部(401),其从捕获包括在车辆(1)的移动方向上的路面和车辆(1)附近的区域的图像的成像部(16)获取捕获到的图像数据;以及输出控制部(405),其基于所述车辆(1)的俯仰角的变化和所述车辆(1)在其上行驶的路面的坡度的变化,将由所述获取部(401)获取的捕获到的图像数据输出到显示设备(8)。本发明使得驾驶员可以容易确认车辆的周边区域。

Description

周边监视装置
技术领域
本公开总体涉及一种周边监视装置。
背景技术
根据用于帮助车辆转向的现有技术,为车辆驾驶员提供由安装在车辆上的摄像机捕获的作为车辆周边环境(周边区域)的图像数据。
例如,JP2004-306886A(其在下文中被称作参考文献1)公开了一种用于根据车速而有选择地显示和隐藏捕获到的作为车辆的周边区域的图像数据(即,切换将要显示的和隐藏的图像数据)的技术。另外,JP2005-191655A(其在下文中被称作参考文献2)公开了一种用于显示由成像部捕获的图像数据的技术,该技术以这样的方式显示:图像数据模拟右侧处的曲面镜上的图像和左侧处的曲面镜上的图像,使得车辆左右方向上的状况或情形被容易确认。
更多的,如在参考文献1和参考文献2中公开的,例如,在车速下降或较低时和在车辆穿过预先记录的点时,显示作为周边区域的图像数据。
在具有大的坡度变动的路面上(例如,上坡转换为下坡的地点)存在驾驶员难以看到的地点或位置。根据例如为参考文献1和参考文献2的现有技术,例如,提出了用于确认车辆左右方向上的状况或情形的技术,然而,显示捕获到的图像数据时没有考虑到路面在车辆的移动方向上的坡度变化。此外,作为周边区域的图像数据的显示时间受限于对车速的依赖,即,例如在车速下降或较低时或在车辆穿过预先记录的点时显示图像数据。因此没有考虑到路面的坡度变化。
虽然如此,但是在具有大的坡度变动的上述路面,期望将考虑到车辆的移动方向上路面的坡度变化的作为周边区域的捕获到的图像数据提供给车辆驾驶员。
因此存在对周边监视装置的需求,其将作为周边环境而捕获的、考虑到在车辆的移动方向上路面的坡度变化的图像数据提供给驾驶员。
发明内容
根据本公开的一方面,一种周边监视装置包括:获取部,其从捕获包括在车辆的移动方向上的路面和车辆附近的区域的图像的成像部获取图像;以及输出控制部,其基于所述车辆的俯仰角的变化和所述车辆在其上行驶的路面的坡度的变化,将由所述获取部获取的捕获到的图像数据输出到显示设备。
因此,例如,驾驶员可以容易确认车辆的周边区域。
所述输出控制部基于所述车辆的俯仰角的变化和所述车辆在其上行驶的路面的坡度的变化,通过将在所述显示设备上显示的屏幕切换到所述捕获到的图像,将由所述获取部获取的捕获到的图像数据输出到所述显示设备。
因此,例如,该驾驶员可以容易确认车辆的周边区域。
在所述显示设备开始输出由所述获取部获取的捕获到的图像数据之后,在所述车辆的俯仰角和所述车辆在其上行驶的路面的坡度在预定时间段内没有变化的情况下,所述输出控制部停止将由所述获取部获取的捕获到的图像数据输出到所述显示设备。
因此,由于不同于由所述获取部获取的捕获到的图像数据的数据等被配置为在显示设备的屏幕上显示,所以可以改进对于驾驶员的便利性。
所述获取部获取所述车辆的速度,并且在除了所述车辆的俯仰角和所述车辆在其上行驶的路面的坡度中的一个变化的情况之外,所述车辆的速度等于或小于预定速度的情况下,所述出控制部将所述获取部获取的捕获到的图像数据输出到所述显示设备。
因此,由于在所述驾驶员希望确认所述车辆的周边区域的状况下显示所述捕获到的图像数据,因此可以容易进行对车辆的周边区域的确认。
所述获取部获取指示所述车辆在其上行驶的路面的倾斜度的倾斜度信息,并且在基于所述倾斜度信息和时间推移检测到的所述车辆在其上行驶的路面的坡度的变化量等于或大于预定阈值的情况下,所述输出控制部将由所述获取部获取的捕获到的图像数据输出到所述显示设备。
因此,由于在所述驾驶员希望确认所述车辆的周边区域的状况下显示所述捕获到的图像数据,因此可以容易进行对车辆的周边区域的确认。
在所述显示设备上显示的屏幕是用于导航的屏幕数据。
因此,可以改进对于驾驶员的便利性。
附图说明
通过下文参考附图进行的详细描述,本公开的上述及附加的特征和特点将变得更为明了,在附图中:
图1是根据这里公开的第一实施例的车辆的透视图,其中内部的一部分以透视的方式示出;
图2是根据第一实施例的车辆的俯视图;
图3是示出根据第一实施例的车辆的周边监视装置的例子的框图;
图4是示出在根据第一实施例的周边监视ECU内实现的周边监视部的构造的框图;
图5是示出根据第一实施例的车辆中的驾驶员的视野和设置在车辆的前面处的成像部的成像范围之间的差异的示意图;
图6是示出在车辆的移动方向上路面的斜率转变为下坡的情况下成像部的成像范围的示意图;
图7是示出在车辆的移动方向上路面的斜率从上坡转变为平面的情况下成像部的成像范围的示意图;
图8是示出根据第一实施例由图像数据生成部生成的图像数据的示意图;
图9是示出根据第一实施例由周边监视ECU执行的用于将图像数据输出到显示设备的输出过程的流程的流程图;并且
图10是示出显示设备是平视显示器的情况的示意图。
具体实施方式
在下面的实施例中,例如,车辆1可以是包括作为驱动源的内燃机(引擎)的汽车(内燃机汽车),包括作为驱动源的电动机(马达)的汽车(电动汽车、燃料电池汽车或类似物),或包括作为驱动源的引擎和马达的汽车(混合动力汽车)。另外,车辆1可以包括驱动内燃机或电动机所需的各种传动装置和各种设备(系统、部件等)。此外,可以不同地设定与驱动车辆1的车轮3相关的这些装置的方法、数量或布局等。
在下面解释第一实施例。如在图1中示出的,车辆本体2形成乘坐者进入的车辆内部2a。转向部4、加速操作部5、制动操作部6、变速操作部7等以面向作为乘坐者的驾驶员的座位2b的状态设置在车辆内部2a之内。在本实施例中,举例来说,转向部4对应于从仪表板(仪表面板)伸出的方向盘,并且加速操作部5对应于位于驾驶员的脚部处的加速器踏板。制动操作部6对应于位于驾驶员脚部处的制动踏板并且变速操作部7对应于从中央控制台伸出的变速杆。然而,转向部4、加速操作部5、制动操作部6以及变速操作部7不限于上述的构件。
显示设备8(显示输出部)和音频输出设备9(音频输出部)被设置在车辆内部2a之内。显示设备8例如是液晶显示器(LCD)、有机电致发光显示器(OELD)等。音频输出设备9例如是扬声器。在本实施例中,显示设备8例如由透明操作输入部10(例如,触摸面板)覆盖。乘坐者等可以经由操作输入部10在视觉上确认在显示设备8的显示屏幕(屏幕)上显示的投影图像(图像)。乘坐者等可以通过操作操作输入部10,即通过例如在对应于在显示设备8的显示屏幕上显示的投影图像(图像)的位置处以手指触摸、按压或者移动操作输入部10,来执行输入(指令输入)的操作。在本实施例中,例如,显示设备8、音频输出设备9、操作输入部10等被设置在监视器设备11处,监视器设备11在车辆宽度方向(左右方向)位于仪表板的中央。监视器设备11可以包括例如为开关、拨号盘、控制杆和按钮的操作输入部。音频输出设备可以设置在车辆内部2a之内的与设置监视器设备11的位置不同的位置。另外,声音可以从设置在监视器设备11处的音频输出设备9和另一个音频输出设备输出。在本实施例中,例如,监视器设备11由导航系统和声频系统共享。可替换地,周边监视装置的监视器设备可以被设置为独立于上述系统。
如在图1和图2中示出的,在本实施例中,车辆1例如是四轮车辆(四轮汽车)。车辆1包括两个右侧和左侧前轮3F和两个右侧和左侧后轮3R。此外,在本实施例中,这四个车轮3被配置为转向的(能被转向)。具体而言,如在图3中示出的,车辆1包括转向系统12,其有选择地使前轮3F和后轮3R转向。转向系统12可以同时使前轮3F和后轮3R转向。
在本实施例中,例如,如在图2中示出的,复数个(例如,四个)成像部16(16a、16b、16c和16d)被设置在车辆1(车辆本体2)处。每个成像部16例如是包含有成像元件的数字摄像机,成像元件例如为电荷耦合器件(CCD)、CMOS图像传感器(CIS)等。成像部16可以以预定帧速率输出图像数据(活动图像数据,帧数据)。每个成像部16包括广角镜头,从而可以例如在水平方向上在140°到220°(视角)的范围内拍摄照片。成像部16的光轴被设定为向下(例如,在垂直方向上或在倾斜向下的方向上)。因此,成像部16拍摄车辆本体2周边的外部环境的照片,外部环境包括车辆1可在其上移动的路面。
在实施例中,例如,用作第一成像部的成像部16a位于车辆本体2的前侧(即,车辆前后方向的前侧)处的端部2c(俯视图中的端部)处,并例如设置在前保险杆处。用作第二成像部的成像部16b位于车辆本体2的左侧(即,车辆宽度方向的左侧)处的端部2d处,并设置在左侧的后视镜2g(突出部)处。用作第一成像部的成像部16c位于车辆本体2的后侧(即,车辆前后方向的后侧)处的端部2e处,并设置在位于后备箱的门2h的下侧的壁部处。用作第二成像部的成像部16d位于车辆本体2的右侧(即车辆宽度方向的右侧)处的端部2f处,并设置在右侧的后视镜2g(突出部)处。在本实施例中,在车辆上安装摄像机的方法不被限制,并且摄像机可以安装为使得可以获得相对于车辆的前向上的图像数据、左侧方向上和右侧方向上的图像数据以及后向上的图像数据。
周边监视ECU14基于由复数个成像部16获得的图像数据执行计算处理和图像处理。周边监视ECU14可以在显示设备8上显示在其上执行上述处理的图像数据。
根据本实施例,在如在图3中示出的周边监视系统100中,例如,除了周边监视ECU14、监视设备11、转向系统12等之外,制动系统18、转向角度传感器19(角度传感器)、加速器传感器20、档位传感器21、轮速传感器22、加速度传感器26等经由车载网络23(电通信线路)电气连接。车载网络23例如被配置为控制器局域网(CAN)。周边监视ECU14经由车载网络23发送控制信号来控制转向系统12、制动系统18等。周边监视ECU14还可以经由车载网络23接收来自致动器18a、制动传感器18b、转向角度传感器(用于前轮3F)19、加速器传感器20、档位传感器21、轮速传感器22、加速度传感器26等的检测结果,以及来自操作输入部10等的指令信号(控制信号、操作信号、输入信号、数据)。
在本实施例中,两个加速度传感器26设置在车辆1中。在该实施例中,车辆1装备有电子稳定控制(ESC)。按照惯例安装到装备有ESC的车辆的加速度传感器26被采用。在本实施例中,对加速度传感器26没有做出限制。能检测车辆1在左右方向上的加速度的传感器是可接受的。
加速度传感器26检测三个轴上的加速度。至少车辆1的滚转角和俯仰角可以由加速度传感器26取得。车辆1的滚转角和俯仰角的计算可以由周边监视ECU14执行。
俯仰角被规定为指示绕车辆1的左右轴的车辆1的倾斜度的角度。在车辆1位于水平面(地面)上的情况下,俯仰角是零度。
滚转角为指示绕车辆1的前后轴(即纵向轴)的车辆1的倾斜度的角度。在车辆1位于水平面(地面)上的情况下,滚转角是零度。
激光传感器27设置在车辆1的前面,用于检测车辆1在其上行驶的路面的坡度,即在移动方向(前向,行驶方向)上的路面的坡度变化大的位置或点,并且用于检测到上述位置或点的距离。
周边监视ECU14例如包括CPU14a(中央处理单元)、ROM14b(只读存储器)、RAM14c(随机存取存储器)、显示控制部14d、音频控制部14e、SSD14f(固态驱动器、闪存)等。CPU14a执行与在显示设备8上显示的图像有关的图像处理和各种计算处理,例如计算车辆1的移动路径1和确定是否被一对象妨碍。CPU14a读取存储(安装)在非易失性存储器设备处的程序,并基于上述程序执行计算处理,非易失性存储器设备例如为ROM14b。
RAM14c暂时地存储各种被用于CPU14a中的计算的数据。在周边监视ECU14中的计算处理内,显示控制器部14d主要使用在成像部16处获得的图像数据执行图像处理和执行在显示设备8上显示的图像数据的图像处理(例如组成等)。另外,在周边监视ECU14中的计算处理内,音频控制部14e主要执行音频输出设备9处的音频数据输出的处理。SSD14f是可再写非易失性存储部,其即使在周边监视ECU14的电源关断的情况下也能储存数据。CPU14a、ROM14b以及RAM14c等可以集成在同一封装件中。除了CPU14a之外,周边监视ECU14可以例如被配置为包括其他的逻辑操作处理器,例如DSP(数字信号处理器)或逻辑电路。另外,可以设置HDD(硬盘驱动器)来代替SSD14f。此外,SSD14f或HDD可以被设置为独立于周边监视ECU14。
图4是示出根据本实施例在周边监视ECU14内实现的周边监视部400的构造的框图。图4中示出的周边监视部400内的每个部分被实现为一种情况,即,配置为图3中的周边监视ECU14的一部分的CPU14a执行存储在ROM14b内的软件的情况。
周边监视部400通过执行存储在ROM14b(即计算机可读存储介质)内的软件,实现获取部401、角度获取部402、确定部403、图像生成部404和输出控制部405。此时,软件(程序)可以经由其他的计算机可读存储介质提供。
取决于车辆1在路面上行驶的情况下路面的坡度,根据本实施例的周边监视部400在显示设备8上显示图像数据,通过该图像数据可识别车辆1周围的环境(状况、情形),从而帮助驾驶员的驾驶。
图5是示出根据本实施例的车辆1中的驾驶员的视野和设置在车辆1的前面处的成像部16a的成像范围之间的差异的示意图。如在图5中示出的,根据驾驶员的视野501,车辆1的移动方向是可识别的,然而,例如,在它的移动方向上邻近车辆1的区域不能被看到,这是因为上述区域被车辆本体遮掩。另一方面,车辆1在平坦(水平的或平整的)路面上行驶的情况下,成像部16a的成像范围502包括从位于垂直方向的路面到水平线的范围。
因为驾驶员连续地观看车辆1的移动方向,所以在路面是平坦的(水平的或平整的)的位置或点处,驾驶员可以了解在移动方向上车辆1的附近路面的状况。然而,在车辆1在其上行驶的路面的坡度变化的情况下,驾驶员可能发现不能了解路面的状况的位置或点。
图6是示出在车辆1的移动方向上的路面的斜率转变为下坡的情况下成像部16a的成像范围的示意图。如在图6中示出的,在路面的斜率转变为下坡的情况下,不可能基于驾驶员的视野602而视觉地识别障碍物610。尽管如此,障碍物610还是被包括在成像部16a的成像区域601中。
图7是示出在车辆1的移动方向上路面的斜率从上坡转变为平坦(水平的或平整的)的情况下成像部16a的成像范围的示意图。如在图7中示出的,在路面的斜率从上坡转变为平坦的情况下,不可能基于驾驶员的视野702视觉地识别障碍物710。尽管如此,障碍物710还是被包括在成像部16a的成像区域701中。
所以,在周边监视ECU14中,利用路面坡度的变化作为触发器,由成像部16a捕获的图像数据(捕获到的图像数据)在显示设备8上显示。参照图4解释周边监视部400内的各部分。
获取部401从例如设置在车辆1中的各种传感器获取各种信息。根据本实施例的获取部401获取从设置在车辆1中用于捕获车辆1的周边区域的图像的成像部16a、16b、16c和16d输出的捕获到的图像数据。例如,获取部401获取从成像部16a输出的捕获到的图像数据,成像部16a获取包括在车辆1的移动方向上和车辆1的附近的路面的图像。
获取部401还获取从设置在车辆1中的加速度传感器26输出的加速度数据。获取部401将获取到的信息输出到角度获取部402和图像生成部404。
获取部401还基于从轮速感传器22输出的轮速获取车辆1的速度。
角度获取部402基于加速度传感器26输出的车辆1的加速度数据获取车辆1的倾斜角(即,俯仰角和滚转角(rollangle),倾斜信息)。在本实施例中,解释了基于从加速度传感器26输出的加速度数据计算车辆1的倾斜角的例子,然而,只要能获取车辆1的倾斜角或车辆1在其上行驶的路面的坡度,任何方法都可以适用。
确定部403基于由角度获取部402获取的车辆1的俯仰角来确定上升方向上在预定时间段(例如,五秒)内(时间推移)或当车辆1行驶达到预定移动距离时车辆1在其上行驶的路面的坡度的变化量是否等于或大于第一阈值。另外,确定部403基于由角度获取部402获取的车辆1的俯仰角来确定下降方向上在预定时间段(例如,五秒)内或当车辆1行驶达到预定移动距离时车辆1在其上行驶的路面的坡度的变化量是否等于或大于第二阈值。每个用作预定阈值的第一阈值和第二阈值是鉴于根据本实施例的车辆1的驾驶员座椅的视野而规定的。
此外,在确定上升方向上车辆1在其上行驶的路面的坡度的变化量等于或大于第一阈值或下降方向上变化量等于或大于第二阈值的情况下,确定部403确定由获取部401获取的车辆1的速度是否等于或小于第三阈值(预定速度)。在确定车辆1的速度等于或小于第三阈值的情况下,图像生成部404被命令生成用于在显示设备8上显示的图像数据。
也就是说,在车辆1的速度低同时发生坡度的变化的情况下,认为车辆驾驶员在驾驶车辆1的同时确认或查看车辆1的周边区域的状况。因此,周边监视ECU14在显示设备8上显示成像部16a捕获到的图像数据。另一方面,在车辆1的速度高时,认为驾驶员不需要确认车辆1的周边区域的状况。因此,周边监视ECU14限制在显示设备8上显示成像部16a捕获到的图像数据。
在成像部16a捕获到的图像数据显示在显示设备8上之后,确定部403还确定是否停止显示捕获到的图像数据。在本实施例中,在车辆1在其上行驶的路面的坡度是水平且平整的情况下或在车辆1在下降(即下降斜率)的路面移动达到或超过预定距离的情况下,确定部403确定允许停止在显示设备8上显示成像部16a捕获到的图像数据。在显示设备8上停止显示捕获到的图像数据之后,显示设备8的任何显示屏幕(屏幕)都是可接受的。例如,导航屏幕可以在显示设备8上显示。
图像生成部404按照来自确定部403用于生成图像数据的指令,通过组合由成像部16捕获的图像数据,生成在显示设备8上显示的图像数据。
图8是示出由图像生成部404生成的图像数据的示意图。在图8中,由成像部16a捕获的捕获到的图像数据801、由成像部16b捕获的捕获到的图像数据802和由成像部16c捕获的捕获到的图像数据803进行组合。由设置在车辆1的前面的成像部16a捕获的捕获到的图像数据801包括车辆1的前面附近的区域。因此,难以被驾驶员看到的位置或点可以容易通过捕获到的图像数据801确认。例如,在图8中障碍物810是可识别的。图像生成部404可以在捕获的图像数据801中指示估算的车辆1的移动轨迹811和812。
输出控制部405输出在显示设备8上显示的图像数据。例如,输出控制部405将由图像生成部404生成的图像数据输出到显示设备8。因此,输出控制部405基于车辆1的俯仰角的变化或车辆1在其上行驶的路面的坡度的变化,通过将在显示设备8上显示的屏幕切换到由获取部401获取的捕获到的图像数据,将由获取部401获取的捕获到的图像数据输出到显示设备8。换句话说,输出控制部405基于车辆1的俯仰角的变化或车辆1在其上行驶的路面的坡度的变化,将由所述获取部401获取的捕获到的图像数据输出到显示设备8。另外,如上所述,在车辆1的速度等于或小于第三阈值的情况下,输出控制部405输出由图像生成部404生成的图像数据。因此,在驾驶员为保证安全慢速驾驶车辆并查看车辆周边的状况的情况下,驾驶员可以容易了解车辆的周边区域的状况。结果,可以改进对于驾驶员的便利性。
另外,在输出控制部405开始将由获取部401获取的捕获到的图像数据输出到显示设备8之后,在车辆1在其上行驶的路面的坡度是水平且平整的情况下或在下降路面上车辆移动达到或超过预定距离的情况下,输出控制部405按照确定部403的确定结果,停止将由获取部401获取的捕获到的图像数据输出到显示设备8。因此,当在预定时间段内车辆1在其上行驶的路面的俯仰角或坡度没有变化时,认为没有出现难以被驾驶员看到的位置或点并且停止显示由成像部16捕获的捕获到的图像数据。例如用于导航的屏幕可以在显示设备8上显示,这改进了对于驾驶员的便利性。
在车辆1在上升路面(即上坡)上行驶的情况下,当上升路面转变为水平路面或下降路面(即,下坡)时,可能出现难以被驾驶员看到的位置或点。因此,输出控制部405持续输出由图像生成部404生成的图像数据。
在本实施例中,车辆1的俯仰角,即车辆1在其上行驶的路面的坡度基于加速度传感器26获取的加速度而被检测到。然而,车辆1的俯仰角,即车辆1在其上行驶的路面的坡度的检测方法不限于使用加速度传感器26。例如,由图像分析成像部捕获的捕获到的图像数据中的水平线的变化被分析,并且在基于分析结果确定正在靠近下坡等的情况下,可以控制来显示由成像部16捕获的捕获到的图像数据。
本实施例的在周边监视ECU14中图像数据输出到显示设备8的输出过程被解释如下。图9是指示周边监视ECU14中的输出过程的流程的流程图。
首先,输出控制部405命令或控制显示设备8来输出用于车辆1的导航的屏幕(步骤S901)。接下来,获取部401从加速度传感器26获取车辆1的加速度(步骤S902)。
角度获取部402基于获取部401获取的加速度,计算和获取车辆1的滚转角和俯仰角(步骤S903)。在本实施例中,车辆1的俯仰角被认为是相当于路面的坡度。
接下来,确定部403基于车辆1的俯仰角确定是否是在上升方向车辆1在其上行驶的路面的坡度在预定时间段(例如,五秒)内或当车辆1行驶达到预定距离时的变化量等于或大于第一阈值的情况和在下降方向车辆1在其上行驶的路面的坡度在预定时间段(例如,五秒)内或当车辆1行驶达到预定预定距离时的变化量等于或大于第二阈值的情况中的一个(步骤S904)。也就是说,确定部403基于车辆1的俯仰角,来确定上升方向上在预定时间段(例如,五秒)内或当车辆1行驶达到预定移动距离时车辆1在其上行驶的路面的坡度的变化量是否等于或大于第一阈值或在下降方向上的变化量是否等于或大于第二阈值(步骤S904)。在上升方向上确定路面的坡度的变化量不等于且不大于第一阈值或者在下降方向上不等于且不大于第二阈值的情况下(步骤S904为否),处理从步骤S901起重复。
另一方面,在确定上升方向上车辆1在其上行驶的路面的坡度的变化量等于或大于第一阈值或下降方向上路面的坡度的变化量等于或大于第二阈值的情况下(步骤S904为是),确定车辆1的速度是否等于或小于第三阈值(步骤S905)。在车辆1的速度大于第三阈值的情况下(步骤S905为否),处理从步骤S901起重复。
在确定部403确定车辆1的速度等于或小于第三阈值的情况下(步骤S905为是),获取部401从成像部16获取捕获到的图像数据(步骤S906)。
接下来,图像生成部404基于获取的捕获到的图像数据,生成用于在显示设备8上显示的图像数据(步骤S907)。
此后,输出控制部405将产生的图像数据输出到显示设备8(步骤S908)。
根据上述流程,在驾驶员驾驶车辆1慢行同时确认车辆1的周边区域的情况下,在路面坡度发生变化的情况下,车辆1的移动方向上和车辆1附近的区域在显示设备8上显示。
在第一实施例中,基于加速度传感器26获取的加速度,检测车辆1在其上行驶的路面的坡度。然而,检测路面坡度的方法,不限于依赖加速度。因此,在第二实施例中,解释了使用激光传感器27来检测路面坡度的例子。第二实施例的构造与第一实施例相同,因此细节说明从略。
在本实施例中获取部401从激光传感器27获取指示车辆的1的移动方向上路面的坡度的坡度信息(倾斜度信息)。此时,采用现有方法从激光传感器27获取坡度信息,因此说明从略。
角度获取部402从获取部401获取车辆1的坡度信息和速度。然后,角度获取部402基于由获取部401获取的坡度信息,检测路面的坡度变化大的位置或点。此外,角度获取部402计算到上述位置或点的距离或到达时间。
在本实施例中,角度获取部402基于车辆1目前行驶的路面的坡度状况,检测路面坡度变化大的位置或点。也就是说,角度获取部402在车辆在水平的或平整的路面上行驶的情况下检测水平的或平整的路面转变为下降的(即,下坡的)路面的位置或点,并且也在车辆1在上升的路面上行驶的情况下检测上升的(上坡的)路面转变为水平的或下降的(下坡的)路面的位置或点。因此,不管车辆1在其上行驶的路面的当前状况如何,路面的坡度变化的位置或点是可检测的。
确定部403确定由角度获取部402计算的到坡度变化大的位置的距离或到达时间是否等于或小于第四阈值。
此外,在到坡度变化大的位置的距离或到达时间被确定为等于或小于第四阈值的情况下,确定部403确定车辆1的速度是否等于或小于第三阈值。当车辆1的速度被确定为等于或小于第三阈值时,执行用于通过组合由成像部16捕获的图像数据,在显示设备8上显示图像数据的控制。
在本实施例中,在车辆1在其上行驶的路面的坡度变化之前,切换在显示设备8上显示的屏幕,使得路面的状况在显示设备8上显示。因此,驾驶员可以及时地识别路面的状况,使得驾驶员的操作负荷可以降低。
用于限制通过组合由成像部16捕获到的图像数据获得的捕获到的图像数据在显示设备8上显示的条件与第一实施例中的那些相同,因此说明从略。
在第二实施例中,使用激光传感器27检测车辆1在其上行驶的路面的坡度。然而,路面的坡度的检测不限于使用激光传感器27检测到的坡度信息,并且可以通过对成像部16a捕获的的捕获到的用于识别路面的状况的图像数据的分析来完成。
另外,在每条路线的坡度信息被包括在用于汽车导航的地图数据中的情况下,路面的坡度的检测可以基于每条路面的坡度信息。例如,通过参考上述地图数据,确定部可以确定到车辆1在其上行驶的路面的上坡或下坡的距离或所需时间是否等于或小于预定阈值,并且可以基于确定结果显示由成像部16a捕获到的图像数据。
在本实施例中,使用激光传感器27,然而,也可以组合使用例如为加速度传感器26的其他传感器的检测结果。
另外,根据上述实施例,图像数据在显示设备8上显示。可替换地,图像数据可以在平视显示器上显示。
图10是示出显示设备8包括或相当于平视显示器的情况的示意图。在显示设备8包括或相当于平视显示器的情况下,驾驶员通过在显示设备8上显示的屏幕,确认车辆1的附近的路面的状况,同时直接在视觉上确认路面,从而进一步降低驾驶员的操作负荷。
此外,在上述实施例中,通常情况下在显示设备8上显示用于导航的屏幕,并且在路面的坡度变化的情况下,显示设备8的显示屏幕被切换到由成像部16捕获的捕获到的图像数据。作为上述方法的替代,例如,通常情况下可以在显示设备8上显示由成像部16捕获的捕获到的图像数据,并且例如,在周边监视ECU14检测路面的坡度的变化的情况下,在由成像部16捕获的捕获到的图像数据内,包括位于车辆1垂直方向上的位置的车辆1的附近的区域可以以放大方式显示。结果,第一实施例和第二实施例可获得一样的效果。
根据第一实施例和第二实施例以及它们的替换,在路面的坡度变化的情况下,由于车辆1在其上行驶的路面的坡度变化而难以被驾驶员看到的位置或点在显示设备8上显示。因此,车辆1的周边区域可以容易看到或确认,这使得驾驶员的驾驶负荷降低。
已经如上解释了这些实施例,然而,上述的实施例作为例子提出,并且可以适当地变更或变化,并以其他各种方式执行。可以适当地做出各种省略、置换和变化。
根据上述实施例,输出控制部405基于车辆1的俯仰角的变化和车辆1在其上行驶的路面的坡度的变化,将在显示设备8(显示部)上显示的屏幕从用于车辆1的导航的屏幕数据切换到由获取部401获取的捕获到的图像数据。
输出控制部405进一步切换在显示设备8上显示的屏幕,使得在由成像部16捕获的捕获到的图像数据在显示设备8(显示部)上显示的情况下,基于车辆1的俯仰角的变化或车辆1在其上行驶的路面的坡度的变化,包括车辆1在其上行驶的路面的区域以放大方式显示。

Claims (6)

1.一种周边监视装置,包括∶
获取部(401),其从成像部(16)获取捕获到的图像数据,成像部(16)捕获包括在车辆(1)的移动方向上和在车辆(1)附近的区域的路面的图像;以及
输出控制部(405),其基于所述车辆(1)的俯仰角的变化和所述车辆(1)在其上行驶的路面的坡度的变化中的一个,将由所述获取部(401)获取的所述捕获到的图像数据输出到显示设备(8)。
2.根据权利要求1所述的周边监视装置,其中所述输出控制部(405)基于所述车辆(1)的俯仰角的变化和所述车辆(1)在其上行驶的路面的坡度的变化中的一个,通过将在所述显示设备(8)上显示的屏幕切换到所述捕获到的图像数据,而将由所述获取部(401)获取的捕获到的所述图像数据输出到所述显示设备(8)。
3.根据权利要求1或2所述的周边监视装置,其中在所述显示设备(8)开始输出由所述获取部(401)获取的所述捕获到的图像数据之后,在所述车辆(1)的俯仰角和所述车辆(1)在其上行驶的路面的坡度中的一个在预定时间段内没有变化的情况下,所述输出控制部(405)停止将由所述获取部(401)获取的捕获到的图像数据输出到所述显示设备(8)。
4.根据权利要求1到3其中任一项所述的周边监视装置,其中所述获取部(401)获取所述车辆(1)的速度,并且在除了所述车辆(1)的俯仰角和所述车辆(1)在其上行驶的路面的坡度中的一个变化的情况之外,所述车辆(1)的速度等于或小于预定速度的情况下,所述输出控制部(405)将所述获取部(401)获取的捕获到的图像数据输出到所述显示设备(8)。
5.根据权利要求1到4其中任一项所述的周边监视装置,其中所述获取部(401)获取指示所述车辆(1)在其上行驶的路面的倾斜度的倾斜度信息,并且在所述车辆(1)在其上行驶的路面的坡度的变化量等于或大于预定阈值的情况下,所述输出控制部(405)将由所述获取部(401)获取的捕获到的图像数据输出到所述显示设备(8),所述路面的坡度的变化量是基于所述倾斜度信息和时间推移检测到的。
6.根据权利要求2所述的周边监视装置,其中所述在所述显示设备(8)上显示的屏幕是用于导航的屏幕数据。
CN201510706655.5A 2014-10-28 2015-10-27 周边监视装置 Active CN105539287B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-219609 2014-10-28
JP2014219609A JP6380002B2 (ja) 2014-10-28 2014-10-28 周辺監視装置

Publications (2)

Publication Number Publication Date
CN105539287A true CN105539287A (zh) 2016-05-04
CN105539287B CN105539287B (zh) 2020-02-14

Family

ID=55791333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510706655.5A Active CN105539287B (zh) 2014-10-28 2015-10-27 周边监视装置

Country Status (3)

Country Link
US (1) US10131277B2 (zh)
JP (1) JP6380002B2 (zh)
CN (1) CN105539287B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109484300A (zh) * 2017-09-13 2019-03-19 Trw汽车美国有限责任公司 车辆摄像机系统
CN109552336A (zh) * 2017-09-26 2019-04-02 罗伯特·博世有限公司 用于获取车道的坡度的方法
CN109624849A (zh) * 2017-10-09 2019-04-16 通用汽车环球科技运作有限责任公司 生成和显示指南的方法和装置
CN109835256A (zh) * 2017-11-29 2019-06-04 长城汽车股份有限公司 一种汽车全景环视系统、方法及汽车
CN111201159A (zh) * 2017-10-24 2020-05-26 标致雪铁龙汽车股份有限公司 用于机动车辆的改进的视频后视系统
CN111292555A (zh) * 2018-12-10 2020-06-16 丰田自动车株式会社 支援装置、支援方法以及存储介质
CN115742962A (zh) * 2022-11-25 2023-03-07 重庆长安汽车股份有限公司 一种全景影像控制方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6380002B2 (ja) * 2014-10-28 2018-08-29 アイシン精機株式会社 周辺監視装置
CN108432242A (zh) * 2016-05-10 2018-08-21 Jvc 建伍株式会社 车辆用显示装置、车辆用显示方法以及程序
JP6611353B2 (ja) * 2016-08-01 2019-11-27 クラリオン株式会社 画像処理装置、外界認識装置
JP7147255B2 (ja) * 2018-05-11 2022-10-05 トヨタ自動車株式会社 画像表示装置
CN110855930B (zh) * 2018-08-20 2021-09-24 深圳金智凌轩视讯技术有限公司 一种网络设备智能识别方法和系统
JP7073991B2 (ja) 2018-09-05 2022-05-24 トヨタ自動車株式会社 車両用周辺表示装置
KR102230805B1 (ko) * 2019-03-29 2021-03-26 조승우 카메라가 설치된 자동차의 시야확보방법
WO2020209298A1 (ja) * 2019-04-11 2020-10-15 パナソニックIpマネジメント株式会社 勾配変化検出システム、それを用いた表示システム及び移動体用プログラム
CN111204284A (zh) * 2020-01-20 2020-05-29 创驱(上海)新能源科技有限公司 一种消除汽车下坡前盲区的系统及其方法
US11214196B1 (en) * 2020-07-31 2022-01-04 Volkswagen Aktiengesellschaft Apparatus, system and method for enhanced driver vision based on road level characteristics
US20220396279A1 (en) * 2021-06-14 2022-12-15 Pony Ai Inc. Autonomous or semi-autonomous vehicle electronic architecture
CN115331478A (zh) * 2022-08-11 2022-11-11 富赛汽车电子有限公司 避免车辆在斜坡停车的控制方法、装置、电子设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040257443A1 (en) * 2003-04-10 2004-12-23 Keiji Ueminami Vehicle monitoring apparatus
JP2010287015A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 障害物検出装置
CN103303198A (zh) * 2012-03-07 2013-09-18 株式会社电装 车辆周边监测装置
WO2014108987A1 (ja) * 2013-01-11 2014-07-17 日産自動車株式会社 車両用表示制御装置及び車両用表示制御方法
US20160114727A1 (en) * 2014-10-28 2016-04-28 Aisin Seiki Kabushiki Kaisha Surroundings monitoring apparatus

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4321258B2 (ja) 2003-12-24 2009-08-26 株式会社エクォス・リサーチ 表示制御装置
JP4534079B2 (ja) * 2004-11-25 2010-09-01 日本精機株式会社 車両用表示装置
JP4697400B2 (ja) * 2005-03-01 2011-06-08 日本精機株式会社 車両用表示装置
JP4707106B2 (ja) * 2005-12-02 2011-06-22 Udトラックス株式会社 省燃費運転システム
JP2007223505A (ja) * 2006-02-24 2007-09-06 Mazda Motor Corp 車両の路面接触抑制装置
JP2010191666A (ja) * 2009-02-18 2010-09-02 Honda Motor Co Ltd 車両の周辺監視装置
KR20120067681A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 차량 안전 센서 제어 장치
JP2012212282A (ja) * 2011-03-31 2012-11-01 Honda Elesys Co Ltd 路面状態検出装置、路面状態検出方法、及び路面状態検出プログラム
US20150002954A1 (en) * 2013-06-26 2015-01-01 Magna Mirrors Of America, Inc. Exterior rearview mirror assembly

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040257443A1 (en) * 2003-04-10 2004-12-23 Keiji Ueminami Vehicle monitoring apparatus
JP2010287015A (ja) * 2009-06-11 2010-12-24 Konica Minolta Opto Inc 障害物検出装置
CN103303198A (zh) * 2012-03-07 2013-09-18 株式会社电装 车辆周边监测装置
WO2014108987A1 (ja) * 2013-01-11 2014-07-17 日産自動車株式会社 車両用表示制御装置及び車両用表示制御方法
CN104995054A (zh) * 2013-01-11 2015-10-21 日产自动车株式会社 车辆用显示控制装置和车辆用显示控制方法
US20160114727A1 (en) * 2014-10-28 2016-04-28 Aisin Seiki Kabushiki Kaisha Surroundings monitoring apparatus

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109484300B (zh) * 2017-09-13 2022-05-03 Trw汽车美国有限责任公司 车辆摄像机系统
CN109484300A (zh) * 2017-09-13 2019-03-19 Trw汽车美国有限责任公司 车辆摄像机系统
CN109552336A (zh) * 2017-09-26 2019-04-02 罗伯特·博世有限公司 用于获取车道的坡度的方法
CN109552336B (zh) * 2017-09-26 2024-04-16 罗伯特·博世有限公司 用于获取车道的坡度的方法
CN109624849A (zh) * 2017-10-09 2019-04-16 通用汽车环球科技运作有限责任公司 生成和显示指南的方法和装置
CN111201159A (zh) * 2017-10-24 2020-05-26 标致雪铁龙汽车股份有限公司 用于机动车辆的改进的视频后视系统
CN111201159B (zh) * 2017-10-24 2023-08-04 标致雪铁龙汽车股份有限公司 用于机动车辆的改进的视频后视系统
CN109835256B (zh) * 2017-11-29 2021-04-16 长城汽车股份有限公司 一种汽车全景环视系统、方法及汽车
CN109835256A (zh) * 2017-11-29 2019-06-04 长城汽车股份有限公司 一种汽车全景环视系统、方法及汽车
US11393196B2 (en) 2018-12-10 2022-07-19 Toyota Jidosha Kabushiki Kaisha Line of sight assistance device and method
CN111292555A (zh) * 2018-12-10 2020-06-16 丰田自动车株式会社 支援装置、支援方法以及存储介质
CN115742962A (zh) * 2022-11-25 2023-03-07 重庆长安汽车股份有限公司 一种全景影像控制方法及装置
CN115742962B (zh) * 2022-11-25 2024-05-14 重庆长安汽车股份有限公司 一种全景影像控制方法及装置

Also Published As

Publication number Publication date
US20160114727A1 (en) 2016-04-28
CN105539287B (zh) 2020-02-14
JP2016084089A (ja) 2016-05-19
JP6380002B2 (ja) 2018-08-29
US10131277B2 (en) 2018-11-20

Similar Documents

Publication Publication Date Title
CN105539287A (zh) 周边监视装置
CN105416278B (zh) 停车辅助装置
CN107554523B (zh) 行车支持装置
CN105711499B (zh) 车辆周围监视装置
EP2990265B1 (en) Vehicle control apparatus
CN105644438A (zh) 车辆周边监视装置
CN105009574A (zh) 周边监视装置及程序
CN106715220A (zh) 停车辅助装置
CN110877572A (zh) 周边监视装置
CN105416284A (zh) 停车辅助装置以及停车辅助方法
WO2018150642A1 (ja) 周辺監視装置
US11420678B2 (en) Traction assist display for towing a vehicle
JP7180144B2 (ja) 運転支援装置
CN109314770B (zh) 周边监控装置
JP2007212342A (ja) 車両用表示装置
CN112644466A (zh) 停车辅助装置、停车辅助方法以及记录介质
JP7415422B2 (ja) 駐車支援装置
US10922977B2 (en) Display control device
JP2021066286A (ja) 駐車支援装置、駐車支援方法、およびプログラム
JP6699462B2 (ja) 周辺監視装置
JP7423970B2 (ja) 画像処理装置
JP7159598B2 (ja) 周辺監視装置
JP7062983B2 (ja) 走行支援装置
WO2023238598A1 (ja) 車両制御装置
JP2019051811A (ja) 駐車支援装置および車両

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant