CN114590203A - 周边监视装置 - Google Patents

周边监视装置 Download PDF

Info

Publication number
CN114590203A
CN114590203A CN202111462115.9A CN202111462115A CN114590203A CN 114590203 A CN114590203 A CN 114590203A CN 202111462115 A CN202111462115 A CN 202111462115A CN 114590203 A CN114590203 A CN 114590203A
Authority
CN
China
Prior art keywords
vehicle
viewpoint
processing unit
angle
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111462115.9A
Other languages
English (en)
Inventor
山本欣司
渡边一矢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Co Ltd
Original Assignee
Aisin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Co Ltd filed Critical Aisin Co Ltd
Publication of CN114590203A publication Critical patent/CN114590203A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/165—Videos and animations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/171—Vehicle or relevant part thereof displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及容易确认车辆的行进方向的左侧或者右侧的状况的变化的周边监视装置。作为本发明的一个例子的周边监视装置具备：基于通过拍摄车辆的周边而得到的拍摄图像，将表示包含从反映了车辆的周边的状况的假想空间内的假想视点观察到的假想注视点的假想注视区域的周边图像显示于显示部的显示处理部；以及根据车辆的行进方向的左侧或者右侧的状况的变化，变更与假想注视点与假想视点之间的距离对应的视点半径、以及与从假想视点观察到的假想注视区域的范围对应的视场角的变更处理部。

Description

周边监视装置
技术领域
本发明涉及周边监视装置。
背景技术
以往，公知有使用表示包含从反映了车辆的周边的状况的假想空间内的假想视点观察到的假想注视点的假想注视区域的周边图像，监视车辆的周边的状况的技术。这样的周边图像基于从为了拍摄车辆的周边而设置于车辆的拍摄装置取得的拍摄图像而生成。
专利文献1：日本专利第3300334号公报
在上述那样的技术中，若将与假想注视点与假想视点之间的距离对应的视点半径、和与从假想视点观察到的假想注视区域的范围对应的视场角总是设定为恒定，则往往不易监视车辆的行进方向的左侧或者右侧的状况的变化。
发明内容
因此，本发明的课题之一在于提供一种能够容易确认车辆的行进方向的左侧或者右侧的状况的变化的周边监视装置。
作为本发明的一个例子的周边监视装置具备：显示处理部，其基于通过拍摄车辆的周边而得到的拍摄图像，将表示假想注视区域的周边图像显示于显示部，该假想注视区域包含从反映了车辆的周边的状况的假想空间内的假想视点观察到的假想注视点；以及变更处理部，其根据车辆的行进方向的左侧或者右侧的状况的变化，变更对应于假想注视点与假想视点之间的距离的视点半径、以及与从假想视点观察到的假想注视区域的范围对应的视场角。
根据上述周边监视装置，通过与车辆的行进方向的左侧或者右侧的状况的变化对应的视点半径以及视场角的变更，能够适当地执行周边图像上的针对车辆的左右的距离感的调整。因此，能够容易确认车辆的行进方向的左侧或者右侧的状况的变化。
在上述周边监视装置中，变更处理部在车辆的行进方向的左侧或者右侧的状况从第一状况变化为在周边图像上应强调针对车辆的左右的距离感的程度比第一状况大的第二状况的情况下，将视点半径变更为比在第一状况下使用的第一视点半径大的第二视点半径，将视场角变更为比在第一状况下使用的第一视场角小的第二视场角。根据这样的结构，能够根据状况适当地变更视点半径以及视场角。
另外，在上述周边监视装置中，变更处理部在第一状况下在车辆的行进方向的左侧或者右侧检测出立体物的情况下，判定为车辆的行进方向的左侧或者右侧的状况从第一状况变化为第二状况，变更视点半径以及视场角。根据这样的结构，能够根据在车辆的行进方向的左侧或者右侧是否存在立体物，适当地判定是否应该变更视点半径以及视场角。
另外，在上述周边监视装置中，变更处理部在第一状况下检测出车辆的移动的情况下，判定为车辆的行进方向的左侧或者右侧的状况从第一状况变化为第二状况，变更视点半径以及视场角。根据这样的结构，能够根据车辆是否移动，适当地判定是否应该变更视点半径以及视场角。
另外，在上述周边监视装置中，变更处理部在第一状况下检测出车辆的转角的规定以上的变化的情况下，判定为车辆的行进方向的左侧或者右侧的状况从第一状况变化为第二状况，变更视点半径以及视场角。根据这样的结构，能够根据车辆的转角是否变化规定以上，适当地判定是否应该变更视点半径以及视场角。
另外，在上述周边监视装置中，变更处理部在车辆停止的情况下，将视点半径设定为第一视点半径以下的第三视点半径，将视场角设定为第一视场角以上的第三视场角。根据这样的结构，能够抑制在不需要的情况下而在周边图像上强调针对车辆的左右的距离感的情况。
另外，在上述周边监视装置中，显示处理部根据由变更处理部进行的视点半径以及视场角的变更，通过动画使周边图像逐渐变化。根据这样的结构，能够直观且容易理解地执行伴随着视点半径以及视场角的变更的周边图像的变化。
另外，在上述周边监视装置中，变更处理部在视点半径以及视场角的变更后，直至在经过规定时间为止，维持视点半径以及视场角。根据这样的结构，能够抑制周边图像随着视点半径以及视场角的频繁变更而频繁地变化，从而难以执行周边监视的情况。
附图说明
图1是表示实施方式所涉及的车辆的车厢内的结构的示例性且示意性的图。
图2是表示从上方观察实施方式所涉及的车辆的外观的示例性且示意性的图。
图3是表示实施方式所涉及的车辆的系统结构的示例性且示意性的框图。
图4是表示实施方式所涉及的周边监视装置的功能的示例性且示意性的框图。
图5是表示实施方式所涉及的周边图像的一个例子的示例性且示意性的图。
图6是用于说明实施方式所涉及的视点参数的示例性且示意性的图。
图7是表示实施方式所涉及的周边图像的其它一个例子的示例性且示意性的图。
图8是表示由实施方式所涉及的周边监视装置执行的一系列处理的示例性且示意性的流程图。
附图标记的说明
1…车辆8…显示部400…周边监视装置403…显示处理部405…变更处理部。
具体实施方式
以下，结合附图来说明本发明的实施方式。以下记载的实施方式的结构以及由该结构带来的作用以及效果只不过是一个例子，并不限于以下的记载内容。
首先，使用图1以及图2对实施方式所涉及的车辆1的简要的结构进行说明。图1是表示实施方式所涉及的车辆1的车厢2a内的结构的示例性且示意性的图，图2是表示从上方观察实施方式所涉及的车辆1的外观的示例性且示意性的图。
如图1所示，实施方式所涉及的车辆1具有包含作为用户的驾驶员的乘客乘坐的车厢2a。在车厢2a内以用户能够从座位2b操作的状态，设置有制动部(制动操作部)301a、加速部(加速操作部)302a、转向操纵部303a、变速部(变速操作部)304a等。
制动部301a例如是设置于驾驶员的脚下的制动踏板，加速部302a例如是设置于驾驶员的脚下的加速器踏板。另外，转向操纵部303a例如是从仪表盘(仪表盘)突出的转向盘，变速部304a例如是从中控台突出的变速杆。此外，转向操纵部303a也可以是方向盘。
在车厢2a内设置有具有能够输出各种图像的显示部8、和能够输出各种声音的声音输出部9的监控装置11。监控装置11例如设置于车厢2a内的仪表盘的宽度方向(左右方向)的中央部。此外，显示部8例如由LCD(液晶显示器)、OELD(有机电致发光显示器)等构成。
这里，在显示部8中作为显示图像的区域的显示画面设置有操作输入部10。操作输入部10构成为能够检测例如手指、触笔等指示体接近(包含接触)的位置的坐标的触摸面板。由此，用户(驾驶员)能够辨认在显示部8的显示画面显示的图像，并且在操作输入部10上进行使用了指示体的触摸(轻击)操作等，从而能够执行各种操作输入。
此外，在实施方式中，操作输入部10也可以是开关、拨盘、操作杆、按钮等这样的各种物理接口。另外，在实施方式中，也可以在车厢2a内的与监控装置11的位置不同的位置设置有其它声音输出装置。在该情况下，能够从声音输出部9以及其它声音输出装置双方输出各种音信息。另外，在实施方式中，监控装置11也可以构成为能够显示与导航系统、音频系统等各种系统有关的信息。
另外，如图1以及图2所示，实施方式所涉及的车辆1构成为具有左右两个前轮3F、以及左右两个后轮3R的四轮汽车。以下，为了简化，有时将前轮3F以及后轮3R总称为车轮。在实施方式中，四个车轮的一部分或者全部的侧滑角根据转向操纵部303a的操作等而变化(转向)。
另外，在车辆1搭载有作为周边监视用的拍摄装置的多个(在图1以及图2所示的例子中为四个)车载照相机15a～15d。车载照相机15a设置于车体2的后侧的端部2e(例如后行李箱的门2h的下方)，拍摄车辆1的后方的区域。另外，车载照相机15b设置于车体2的右侧的端部2f的车门镜2g，拍摄车辆1的右侧方的区域。另外，车载照相机15c设置于车体2的前侧的端部2c(例如前保险杠)，拍摄车辆1的前方的区域。另外，车载照相机15d设置于车体2的左侧的端部2d的车门镜2g，拍摄车辆1的左侧方的区域。以下，为了简化，有时将车载照相机15a～15d总称为车载照相机15。
车载照相机15例如是具有CCD(电荷耦合元件)、CIS(CMOS(互补性金属氧化膜半导体)影像传感器)等这样的拍摄元件的所谓的数字照相机。车载照相机15以规定的帧速率进行车辆1的周围的拍摄，输出通过该拍摄得到的拍摄图像的图像数据。由车载照相机15得到的图像数据能够作为帧图像构成动态图像。
接下来，使用图3对在实施方式所涉及的车辆1中为了实现各种控制而设置的系统结构进行说明。此外，图3所示的系统结构只不过是一个例子，所以能够进行各种设定(变更)。
图3是表示实施方式所涉及的车辆1的系统结构的示例性且示意性的框图。如图3所示，实施方式所涉及的车辆1具有：制动系统301、加速系统302、转向操纵系统303、变速系统304、障碍物传感器305、行驶状态传感器306、车载照相机15、监控装置11、ECU(Electronic Control Unit：电子控制单元)310以及车载网络350。
制动系统301控制车辆1的减速。制动系统301具有制动部301a、制动控制部301b以及制动部传感器301c。
制动部301a例如是上述制动踏板等这样的、用于使车辆1减速的装置。
制动控制部301b例如构成为具有CPU(Central Processing Unit：中央处理器)等这样的硬件处理器的微机。制动控制部301b例如基于经由车载网络350而输入的指示来驱动促动器(未图示)，使制动部301a动作，从而控制车辆1的减速程度。
制动部传感器301c是用于检测制动部301a的状态的传感检测设备。例如，在制动部301a构成为制动踏板的情况下，制动部传感器301c作为制动部301a的状态，检测制动踏板的位置或者作用于该制动踏板的压力。制动部传感器301c将检测出的制动部301a的状态向车载网络350输出。
加速系统302控制车辆1的加速。加速系统302具有加速部302a、加速控制部302b以及加速部传感器302c。
加速部302a例如是上述加速器踏板等这样的、用于使车辆1加速的装置。
加速控制部302b例如构成为具有CPU等这样的硬件处理器的微机。加速控制部302b例如基于经由车载网络350而输入的指示驱动促动器(未图示)，使加速部302a动作，从而控制车辆1的加速程度。
加速部传感器302c是用于检测加速部302a的状态的传感检测设备。例如，在加速部302a构成为加速器踏板的情况下，加速部传感器302c检测加速器踏板的位置或者作用于该加速器踏板的压力。加速部传感器302c将检测出的加速部302a的状态向车载网络350输出。
转向操纵系统303控制车辆1的行进方向。转向操纵系统303具有转向操纵部303a、转向操纵控制部303b以及转向操纵部传感器303c。
转向操纵部303a例如是上述转向盘、方向盘等这样的、用于使车辆1的转向轮转向的装置。
转向操纵控制部303b例如构成为具有CPU等这样的硬件处理器的微机。转向操纵控制部303b例如基于经由车载网络350而输入的指示驱动来驱动促动器(未图示)，使转向操纵部303a动作，从而控制车辆1的行进方向。
转向操纵部传感器303c是用于检测转向操纵部303a的状态的传感检测设备，即用于检测车辆1的转角的转角传感器。例如，在转向操纵部303a构成为转向盘的情况下，转向操纵部传感器303c检测转向盘的位置或者该转向盘的旋转角度。此外，在转向操纵部303a构成为方向盘的情况下，转向操纵部传感器303c也可以检测方向盘的位置或者作用于该方向盘的压力。转向操纵部传感器303c将检测出的转向操纵部303a的状态向车载网络350输出。
变速系统304控制车辆1的变速比。变速系统304具有变速部304a、变速控制部304b以及变速部传感器304c。
变速部304a例如是上述变速杆等这样的、用于变更车辆1的变速比的装置。
变速控制部304b例如构成为具有CPU等这样的硬件处理器的计算机。变速控制部304b例如基于经由车载网络350而输入的指示驱动来驱动促动器(未图示)，使变速部304a动作，从而控制车辆1的变速比。
变速部传感器304c是用于检测变速部304a的状态的传感检测设备。例如，在变速部304a构成为变速杆的情况下，变速部传感器304c检测变速杆的位置或者作用于该变速杆的压力。变速部传感器304c将检测出的变速部304a的状态向车载网络350输出。
障碍物传感器305是用于检测与可能存在于车辆1的周围的物体(障碍物)有关的信息的传感检测设备。障碍物传感器305例如包含取得到存在于车辆1的周围的物体的距离的测距传感器。作为测距传感器例如使用通过发送声波并接收由存在于车辆1的周围的物体反射的声波来取得距离的声纳、通过发送光等电波并接收由存在于车辆1的周围的物体反射的电波来取得距离的激光雷达等。障碍物传感器305将检测出的信息向车载网络350输出。
行驶状态传感器306是用于检测车辆1的行驶状态的装置。行驶状态传感器306例如包含检测车辆1的车轮速度的车轮速度传感器、检测车辆1的前后方向或者左右方向的加速度的加速度传感器、检测车辆1的转弯速度(角速度)的陀螺仪传感器等。行驶状态传感器306将检测出的行驶状态向车载网络350输出。
ECU310是统一控制设置于车辆1的各种系统的装置。详细内容将在后述，但实施方式所涉及的ECU310具有基于作为车载照相机15的拍摄结果的图像数据，生成表示车辆1的周边的状况的周边图像，将生成的周边图像显示于显示部8的功能。周边图像例如是表示包含从反映了车辆的周边的状况的假想空间内的假想视点观察到的假想注视点的假想注视区域的三维图像(具体例子将在后述)。此外，周边图像除了该三维图像之外，也可以包含从上方俯瞰车辆1的周边的状况的俯瞰图像、以及仅基于从一个车载照相机15取得的一个图像数据的图像亦即单照相机图像等。
ECU310构成为具有CPU(Central Processing Unit：中央处理器)310a、ROM(ReadOnly Memory：只读存储器)310b、RAM(Random Access Memory：随机存取存储器)310c、SSD(Solid State Drive：固态硬盘)310d、显示控制部310e以及声音控制部310f的微机。
CPU310a是统一控制ECU310的硬件处理器。CPU310a读出存储于ROM310b等的各种控制程序(计算机程序)，根据该各种控制程序所规定的指令来实现各种功能。这里言及的各种控制程序包含用于实现将上述那样的周边图像向显示部8输出的周边监视处理的周边监视程序。
ROM310b是存储上述各种控制程序的执行所需的参数等的非易失性的主存储装置。
RAM310c是提供CPU310a的作业区域的易失性的主存储装置。
SSD310d是可改写的非易失性的辅助存储装置。此外，在实施方式所涉及的ECU310中，作为辅助存储装置，也可以代替SSD310d(或者除了SSD310d之外)，设置有HDD(HardDisk Drive：硬盘驱动器)。
显示控制部310e主要负责能够由ECU310执行的各种处理中的、针对由车载照相机15得到的拍摄图像的图像处理、向监控装置11的显示部8输出的图像数据的生成等。
声音控制部310f主要负责能够由ECU310执行的各种处理中的、向监控装置11的声音输出部9输出的声音数据的生成等。
车载网络350以能够通信的方式与制动系统301、加速系统302、转向操纵系统303、变速系统304、障碍物传感器305、行驶状态传感器306、监控装置11的操作输入部10以及ECU310连接。
然而，关于通过上述三维图像那样的周边图像来监视车辆1的周边的状况的技术，以往就进行了各种研究，但在这样的技术中，若总是将与假想注视点与假想视点之间的距离对应的视点半径、以及与从假想视点观察到的假想注视区域的范围对应的视场角设定为恒定，则往往不易监视车辆1的行进方向的左侧或者右侧的状况的变化。
因此，实施方式在ECU310内实现具有下面图4所示的功能的周边监视装置400，从而实现容易监视车辆1的行进方向的左侧或者右侧的状况的变化的技术。
图4是表示实施方式所涉及的周边监视装置400的功能的示例性且示意性的框图。
图4所示的功能通过软件与硬件的配合而在ECU310内实现。即、图4所示的功能作为ECU310的CPU310a读出并执行存储于ROM310b或者SSD310d的周边监视程序的结果而被实现。此外，在实施方式中，图4所示的功能的至少一部分也可以通过专用的硬件(电路)来实现。
如图4所示，实施方式所涉及的周边监视装置400具有拍摄图像取得部401、周边图像生成部402、显示处理部403、检测处理部404以及变更处理部405。
拍摄图像取得部401从车载照相机15取得拍摄图像。而且，周边图像生成部402基于由拍摄图像取得部401取得的拍摄图像，例如生成下面图5所示的例子那样的周边图像，显示处理部403将该周边图像向显示部8输出。
图5是表示实施方式所涉及的周边图像的一个例子的示例性且示意性的图。
在图5所示的例子中，图像IM500是作为周边图像的上述三维图像的一个例子。在该图像IM500中，与表示车辆1的车辆图像V0一起以规定的视点以及视场三维地显示车辆1的周边的状况。能够通过在假想空间内设定各种视点参数来生成图像IM500，该假想空间通过在将拍摄图像投影到碗型或者圆筒型的模型而得到。
如下面图6所示，实施方式所涉及的视点参数包含假想视点以及假想注视点的假想空间内的坐标、对应于假想视点与假想注视点之间的距离的视点半径、以及与从假想视点观察到的假想停车区域的范围对应的视场角等。
图6是用于说明实施方式所涉及的视点参数的示例性且示意性的图。
在图6所示的例子中，点P0以及点P1分别与设定了规定的坐标系的假想空间内的假想视点以及假想注视点对应。在图6中，作为一个例子例示了设定了具有从车辆图像V0的右方朝向左方沿水平方向延伸的X轴、从车辆图像V0的下方朝向上方沿垂直方向延伸的Y轴、以及从车辆图像V0的后方朝向前方沿水平方向延伸的Z轴的XYZ坐标系的假想空间。
在实施方式中，例如将作为点P0与点P1之间的距离D的视点半径、表示点P0相对于以点P1为基准的水平方向的角度的水平角度、表示点P0相对于以点P1为基准的垂直方向的角度的垂直角度设定为视点参数，其结果是，假想空间内的点P0以及点P1的坐标被设定。此外，在实施方式中，也可以通过将假想空间内的点P0以及点P1的坐标设定为视点参数，来设定视点半径、水平角度以及垂直角度。
另外，在图6所示的例子中，角度θ与来自假想视点的视场角对应。在实施方式中，若将角度θ设定为视点参数，则包含从作为假想视点的点P0观察的作为假想注视点的点P1的假想注视区域R的范围被确定为应映入周边图像的范围。
这里，如上所述，若总是将视点半径以及视场角设定为恒定，则往往很难监视车辆1的行进方向的左侧或者右侧的状况的变化。例如，在车辆1与其它车辆那样的立体物会车的状况下，与不存在该立体物的情况相比，希望适当地变更视点半径以及视场角，以便在周边图像上强调针对车辆1的左右的距离感。
因此，返回图4，检测处理部404基于搭载于车辆1的各种传感器(参照图3)的输出，检测车辆1的行进方向的左侧或者右侧的状况。而且，变更处理部405根据检测处理部404的检测的结果、即车辆1的行进方向的左侧或者右侧的状况的变化，动态地变更由显示处理部403向显示部8输出的周边图像的视点半径以及视场角。
更具体地说，变更处理部405根据检测处理部404的检测的结果，判定在周边图像上应该强调对车辆1的左右的距离的程度是否高于现状。而且，变更处理部405在判定为在周边图像上应强调对车辆1的左右的距离感的程度比现状高的情况下，以视点半径大于现状的视点半径的方式进行变更，以视场角小于现状的视场角的方式进行变更。以下，为了便于说明，有时将视点半径以及视场角的变更前的状况表现为第一状况，将视点半径以及视场角的变更后的状况表现为第二状况。
例如，变更处理部405在第一状况下，在车辆1的行进方向的左侧或者右侧检测出立体物的情况下，能够判定为车辆1的行进方向的左侧或者右侧的状况从第一状况变化为第二状况。在该情况下，变更处理部405能够将视点半径变更为比在第一状况下使用的第一视点半径大的第二视点半径，能够将视场角变更为比在第一状况下使用的第一视场角小的第二视场角。
另外，变更处理部405在第一状况下检测出车辆1的移动的情况下，也判定为车辆1的行进方向的左侧或者右侧的状况从第一状况变化为第二状况，能够执行视点半径以及视场角的上述那样的变更。并且，变更处理部405在第一状况下检测出车辆1的转角的规定以上的变化的情况下，也判定为车辆1的行进方向的左侧或者右侧的状况从第一状况变化为第二状况，能够执行视点半径以及视场角的上述那样的变更。
鉴于上述情况，在车辆1的行进方向的左侧以及右侧的任一侧都不存在立体物的图5所示的状况、变化为在车辆1的行进方向的左侧或者右侧存在立体物的状况的情况下，由显示处理部403输出的周边图像例如如下面图7所示的例子那样进行变化。
图7是表示实施方式所涉及的周边图像的其它一个例子的示例性且示意性的图。
图7所示的图像IM700是根据由变更处理部405进行的视点半径以及视场角的上述那样的变更，从图5所示的图像IM500切换并向显示部8输出的周边图像(三维图像)的一个例子。在该图像IM700中，从比图5所示的例子远的视点且以比图5所示的例子窄的视场、与表示车辆1的车辆图像V0以及作为存在于车辆1的行进方向的右侧的立体物的其它车辆的车辆图像V1一起三维地显示了车辆1的周边的状况。由此，图7所示的图像IM700与图5所示的例子相比，在车辆1与其它车辆会车时，容易了解针对应关注的车辆1的左右的距离感。
这样，根据实施方式，能够根据状况，提供容易了解针对车辆1的左右的距离感的周边图像。
然而，在上述说明中，例示出了为了容易了解针对车辆1的左右的距离感，使视点半径变大并且使视场变窄的状况。然而，根据状况也可能存在使视点半径变小并且使视场变大的一方是适合的情况。例如，在辆1停止的状态下，特别是在车辆1起动前的状态下，有时也适合从更近的视点监视更广的范围。
因此，在实施方式中，变更处理部405在车辆停止的情况下，能够将视点半径设定为在上述第一状况下使用的第一视点半径以下的第三视点半径，能够将视场角设定为在上述第一状况下使用的第一视场角以上的第三视场角。
另外，在实施方式中，若频繁地执行视点半径以及视场角的变更，则与此相伴的周边图像的变化也被频繁地执行。若周边图像频繁地变化，则很难执行使用了周边图像的周边监视。因此，在实施方式中，变更处理部405在视点半径以及视场角的变更后，直至经过规定时间为止，能够维持视点半径以及视场角。
另外，在实施方式中，在执行视点半径以及视场角的变更的情况下，与周边图像一次大幅变化的结构相比，逐渐变化的结构的一方容易直观地了解。因此，在实施方式中，显示处理部403能够根据由变更处理部405进行的视点半径以及视场角的变更，通过动画使周边图像逐渐变化。
此外，在实施方式中，在视点半径以及视场角的变更时，也可以考虑到检测出的立体物的间隔的大小等。即、在实施方式中，变更处理部405也可以根据到检测出的立体物的距离的大小，使视点半径以及视场角的变更的程度不同。
基于以上的结构，实施方式所涉及的周边监视装置400执行下面图8所示那样的一系列处理。
图8是表示由实施方式所涉及的周边监视装置400执行的一系列处理的示例性且示意性的流程图。该图8所示的一系列处理在车辆1的周边监视被请求的状况下被反复执行。
如图8所示，在实施方式中，首先，在S801中，周边监视装置400的拍摄图像取得部401从车载照相机15取得拍摄了车辆1的周边的状况的拍摄图像。
然后，在S802中，周边监视装置400的周边图像生成部402基于在S401中取得的拍摄图像，生成表示包含从反映了车辆1的周边的状况的假想空间内的假想视点观察到的假想注视点的假想注视区域的周边图像(三维图像)。
然后，在S803中，周边监视装置400的检测处理部404基于搭载于车辆1的各种传感器(参照图3)的输出，检测车辆1的行进方向的左侧或者右侧的状况。例如，检测处理部404检测在车辆1的行进方向的左侧或者右侧是否存在立体物、车辆1是否移动以及车辆1的转角是否变化了规定以上等。
然后，在S804中，周边监视装置400的变更处理部405基于在S803中的检测的结果，判定车辆1的行进方向的左侧或者右侧的状况是否变化为在周边图像上应强调针对车辆1的左右的距离感的状况。
在S804中，在判定为车辆1的行进方向的左侧或者右侧的状况没有变化为在周边图像上应强调针对车辆1的左右的距离感的状况的情况下，不需要变更周边图像的视点半径以及视场角。因此，在该情况下处理结束。
另一方面，在S804中，在判定为车辆1的行进方向的左侧或者右侧的状况变化为在周边图像上应强调对车辆1的左右的距离感的状况的情况下，往往周边图像的视点半径以及视场角是需要的。因此，在该情况下，处理进入S805，变更处理部405在变更周边图像的视点半径以及视场角之前，判定从视点半径以及视场角的上次的变更是否经过了规定时间。
在S805中，在判定为经过了规定时间的情况下，应该执行视点半径以及视场角的变更。因此，在该情况下，处理进入S806，变更处理部405将视点半径变更为比当前使用的视点半径大，并且将视场角变更为比当前使用的视场角小。然后，处理结束。
另一方面，在S805中，在判定为没有经过规定时间的情况下，再次执行S804的判定。
如以上说明的那样，实施方式所涉及的周边监视装置400具备显示处理部403和变更处理部405。显示处理部403基于通过拍摄车辆1的周边而得到的拍摄图像，将表示包含从反映了车辆1的周边的状况的假想空间内的假想视点观察到的假想注视点的假想注视区域的周边图像显示于显示部8。变更处理部405根据车辆1的行进方向的左侧或者右侧的状况的变化，变更对应于假想注视点与假想视点之间的距离的视点半径、和与从假想视点观察到的假想注视区域的范围对应的视场角。
根据上述那样的结构，通过与车辆1的行进方向的左侧或者右侧的状况的变化对应的视点半径以及视场角的变更，能够适当地执行周边图像上的针对车辆1的左右的距离感的调整。因此，能够容易确认车辆1的行进方向的左侧或者右侧的状况的变化。
此外，在实施方式所涉及的ECU310中执行的周边监视程序未必需要预先存储于ROM310b或者SSD310d。例如，实施方式所涉及的周边监视程序也可以作为计算机程序产品来提供，该计算机程序产品以可安装的形式或可执行的形式记录在软盘(FD)那样的各种磁盘、或者DVD(Digital Versatile Disk：数字多功能盘)那样的各种光盘等这样的能够由计算机读取的记录介质。
另外，实施方式所涉及的周边监视程序也可以经由因特网等网络来提供或者分发。即、实施方式所涉及的周边监视程序也可以在存储于与因特网等网络连接的计算机上的状态下，接受经由网络的下载这样的方式而被提供。
以上，虽说明了本发明的实施方式，但上述实施方式是作为例子而提示的，并不意图限定发明的范围。上述新的实施方式能够以其它的各种形态来实施，在不脱离发明的宗旨的范围内，能够进行各种省略、置换、变更。上述实施方式、其变形包含在发明的范围、宗旨中，并且包含在技术方案所记载的发明和其等同的范围中。

Claims (8)

1.一种周边监视装置，其特征在于，具备：
显示处理部，其基于通过拍摄车辆的周边而得到的拍摄图像，将表示假想注视区域的周边图像显示于显示部，该假想注视区域包含从反映了上述车辆的周边的状况的假想空间内的假想视点观察到的假想注视点；以及
变更处理部，其根据上述车辆的行进方向的左侧或者右侧的状况的变化，变更对应于上述假想注视点与上述假想视点之间的距离的视点半径、以及与从上述假想视点观察到的上述假想注视区域的范围对应的视场角。
2.根据权利要求1所述的周边监视装置，其特征在于，
上述变更处理部在上述车辆的行进方向的左侧或者右侧的状况从第一状况变化为在上述周边图像上应强调针对上述车辆的左右的距离感的程度比上述第一状况大的第二状况的情况下，将上述视点半径变更为比在上述第一状况下使用的第一视点半径大的第二视点半径，将上述视场角变更为比在上述第一状况下使用的第一视场角小的第二视场角。
3.根据权利要求2所述的周边监视装置，其特征在于，
上述变更处理部在上述第一状况下在上述车辆的行进方向的左侧或者右侧检测出立体物的情况下，判定为上述车辆的行进方向的左侧或者右侧的状况从上述第一状况变化为上述第二状况，变更上述视点半径以及上述视场角。
4.根据权利要求2或3所述的周边监视装置，其特征在于，
上述变更处理部在上述第一状况下检测出上述车辆的移动的情况下，判定为上述车辆的行进方向的左侧或者右侧的状况从上述第一状况变化为上述第二状况，变更上述视点半径以及上述视场角。
5.根据权利要求2～4中任一项所述的周边监视装置，其特征在于，
上述变更处理部在上述第一状况下检测出上述车辆的转角的规定以上的变化的情况下，判定为上述车辆的行进方向的左侧或者右侧的状况从上述第一状况变化为上述第二状况，变更上述视点半径以及上述视场角。
6.根据权利要求2～5中任一项所述的周边监视装置，其特征在于，
上述变更处理部在上述车辆停止的情况下，将上述视点半径设定为上述第一视点半径以下的第三视点半径，将上述视场角设定为上述第一视场角以上的第三视场角。
7.根据权利要求1～6中任一项所述的周边监视装置，其特征在于，
上述显示处理部根据由上述变更处理部进行的上述视点半径以及上述视场角的变更，通过动画使上述周边图像逐渐变化。
8.根据权利要求1～7中任一项所述的周边监视装置，其特征在于，
上述变更处理部在上述视点半径以及上述视场角的变更后，直至在经过规定时间为止，维持上述视点半径以及上述视场角。
CN202111462115.9A 2020-12-04 2021-12-02 周边监视装置 Pending CN114590203A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020201562A JP2022089282A (ja) 2020-12-04 2020-12-04 周辺監視装置
JP2020-201562 2020-12-04

Publications (1)

Publication Number Publication Date
CN114590203A true CN114590203A (zh) 2022-06-07

Family

ID=81803186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111462115.9A Pending CN114590203A (zh) 2020-12-04 2021-12-02 周边监视装置

Country Status (3)

Country Link
US (1) US11938818B2 (zh)
JP (1) JP2022089282A (zh)
CN (1) CN114590203A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
JP6990248B2 (ja) * 2017-08-25 2022-01-12 本田技研工業株式会社 表示制御装置、表示制御方法およびプログラム
JP2019125193A (ja) * 2018-01-17 2019-07-25 アイシン精機株式会社 周辺監視装置

Also Published As

Publication number Publication date
JP2022089282A (ja) 2022-06-16
US11938818B2 (en) 2024-03-26
US20220176819A1 (en) 2022-06-09

Similar Documents

Publication Publication Date Title
US10131277B2 (en) Surroundings monitoring apparatus
US10150486B2 (en) Driving assistance device and driving assistance system
EP3446948B1 (en) Parking assistance device and program
CN107791951B (zh) 显示控制装置
JP2018133712A (ja) 周辺監視装置
CN110884426B (zh) 显示控制装置
CN112581381A (zh) 周边监视装置以及周边监视方法
US11475676B2 (en) Periphery monitoring device
CN112644466A (zh) 停车辅助装置、停车辅助方法以及记录介质
US11104380B2 (en) Display controller
US11938818B2 (en) Periphery monitoring apparatus
JP2021014245A (ja) 車両周辺表示装置
JP7415422B2 (ja) 駐車支援装置
JP6930202B2 (ja) 表示制御装置
US11077794B2 (en) Vehicle periphery display device
CN112238812B (zh) 车辆周边显示装置
JP7331511B2 (ja) 車両周辺表示装置
US11153510B2 (en) Display control device
US20220097686A1 (en) Parking assistance device
JP2024092546A (ja) 周辺表示装置
CN112660114A (zh) 停车辅助装置、停车辅助方法以及记录介质
JP2019186755A (ja) 周辺監視装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination