CN110959289B - 周边监控装置 - Google Patents

周边监控装置 Download PDF

Info

Publication number
CN110959289B
CN110959289B CN201880048732.4A CN201880048732A CN110959289B CN 110959289 B CN110959289 B CN 110959289B CN 201880048732 A CN201880048732 A CN 201880048732A CN 110959289 B CN110959289 B CN 110959289B
Authority
CN
China
Prior art keywords
vehicle
unit
moving object
image
virtual projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880048732.4A
Other languages
English (en)
Other versions
CN110959289A (zh
Inventor
渡边一矢
丸冈哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN110959289A publication Critical patent/CN110959289A/zh
Application granted granted Critical
Publication of CN110959289B publication Critical patent/CN110959289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

实施方式的周边监控装置，具备：获取部，其从拍摄部获取拍摄图像数据，所述拍摄部拍摄包括车辆的行进方向的路面、以及所述路面的上方区域的区域；存储部，其存储所述拍摄图像数据；图像处理部，其在将所述车辆的行进方向的周边图像显示至显示部的情况下，对于包括所述车辆的车底下或车底下附近的路面的第1区域，使用存储于所述存储部的先前拍摄图像数据中的相应的图像进行显示，对于包括所述路面的上方区域的第2区域，使用由所述获取部获取到的当前拍摄图像数据中的相应的图像进行显示。

Description

周边监控装置
技术领域
本发明的实施方式涉及周边监控装置。
背景技术
以往，公知有通过车载摄像头拍摄周边环境，并将该周边图像显示至车辆内的显示部的技术。此外，存在为了显示成为车载摄像头的死角的车辆的车底下或车底下附近，例如，在车辆前进时，使用车辆的前摄像头拍摄到的先前的图像(下面也称为“先前的图像”)生成包括车辆的车底下或车底下附近的周边图像并显示的技术。驾驶员通过观察这种周边图像，能够将其作为驾驶时的各种判断的参考。
专利文献1：国际公开第2014/156220号
发明内容
但是，在上述的显示包括车辆的车底下或车底下附近的周边图像的技术中，由于使用先前的图像，因此有即使在该周边图像的区域内当前存在人或车辆等移动物体也无法显示出来的问题。
由此，本发明是鉴于上述情形而完成的，其目的在于提供一种能够显示包括车辆的车底下或车底下附近的周边图像的同时，一并显示在该周边图像的区域内的当前的移动物体的周边监控装置。
为解决上述问题，实施方式的周边监控装置，具备：获取部，其从拍摄部获取拍摄图像数据，上述拍摄部拍摄包括车辆的行进方向的路面、以及上述路面的上方区域的区域；存储部，其存储上述拍摄图像数据；以及图像处理部，其在将上述车辆的行进方向的周边图像显示至显示部的情况下，对于包括上述车辆的车底下或车底下附近的路面的第1区域，使用存储于上述存储部的先前拍摄图像数据中的相应的图像进行显示，对于包括上述路面的上方区域的第2区域，使用由上述获取部获取到的当前拍摄图像数据中的相应的图像进行显示。根据这种结构，例如在显示包括车辆的车底下或车底下附近的周边图像时，对于包括车辆的车底下或车底下附近的路面的第1区域，使用先前的图像进行显示，对于包括路面的上方区域的第2区域，使用当前的图像进行显示，由此能够一并显示在周边图像的区域内的当前的移动物体。
此外，还可以，对于上述第1区域，将存储于上述存储部的先前拍摄图像数据中的相应的图像，投影到在三维虚拟空间上作为与上述路面对应的平面而设定的第1虚拟投影面来进行显示，对于上述第2区域，将由上述获取部获取到的当前拍摄图像数据中的相应的图像，投影到在上述三维虚拟空间上设定为从上述第1虚拟投影面的端部或其附近立起的第2虚拟投影面来进行显示，并且以能够识别的方式显示上述第1虚拟投影面与上述第2虚拟投影面之间的交界。根据这种结构，例如以能够识别的方式将使用先前的图像显示的第1虚拟投影面与使用当前的图像显示的第2虚拟投影面之间的交界进行显示，驾驶员能够明确识别显示中的先前的图像部分与当前的图像部分。
此外，还可以，具备：移动物体判定部，其基于由上述获取部获取到的来自上述拍摄部的拍摄图像数据和来自设置于上述车辆的测距传感器的检测数据中的至少一方，判定在上述车辆的行进方向上是否存在移动物体，上述图像处理部，在将上述车辆的行进方向的周边图像显示至显示部的情况下，在上述移动物体判定部没有判定为存在上述移动物体时，对于上述第1区域以及上述第2区域双方，使用存储于上述存储部的先前拍摄图像数据中的相应的图像进行显示，在上述移动物体判定部判定为存在上述移动物体时，切换为：对于上述第1区域，使用存储于上述存储部的先前拍摄图像数据中的相应的图像进行显示，并且对于上述第2区域，使用由上述获取部获取到的当前拍摄图像数据中的相应的图像进行显示。根据这种结构，例如，在不存在移动物体时，对于第1区域及第2区域双方使用先前的图像进行显示，能够提供没有接缝的连续图像。此外，如果判定为存在移动物体，则切换为对于第2区域使用当前的图像进行显示，能够一并显示在周边图像的区域内的当前的移动物体。
此外，还可以，具备：移动物体判定部，其基于由上述获取部获取到的来自上述拍摄部的拍摄图像数据和来自设置于上述车辆的测距传感器的检测数据中的至少一方，判定在上述车辆的行进方向上是否存在移动物体，上述图像处理部，在将上述车辆的行进方向的周边图像显示至显示部的情况下，在上述移动物体判定部没有判定为存在上述移动物体时，对于上述第1区域以及上述第2区域双方，使用存储于上述存储部的先前拍摄图像数据中的相应的图像进行显示，在上述移动物体判定部判定为存在上述移动物体时，显示敦促乘坐者进行切换的画面，以切换成：对于上述第1区域，使用存储于上述存储部的先前拍摄图像数据中的相应的图像进行显示，并且对于上述在第2区域，使用由上述获取部获取到的当前拍摄图像数据中的相应的图像进行显示。根据这种结构，例如，在不存在移动物体时，对于第1区域及第2区域双方使用先前的图像进行显示，能够提供没有接缝的连续图像。此外，如果判定为存在移动物体，则显示用于敦促乘坐者进行切换的画面，以切换为对于第2区域使用当前的图像进行显示，由此乘坐者能够自由选择是否切换该画面。
此外，还可以，具备：移动物体判定部，其基于由上述获取部获取到的来自上述拍摄部的拍摄图像数据和来自设置于上述车辆的测距传感器的检测数据中的至少一方，判定在上述车辆的行进方向上是否存在移动物体，上述图像处理部，在将上述车辆的行进方向的周边图像显示至显示部的情况下，在上述移动物体判定部判定为存在上述移动物体时，基于上述周边图像中的上述移动物体的位置，移动上述第1虚拟投影面与上述第2虚拟投影面的交界部分。根据这种结构，例如，在判定为存在移动物体时，基于周边图像中的移动物体的位置，移动第1虚拟投影面和第2虚拟投影面的交界部分，能够使乘坐者更容易注意到移动物体的存在。
附图说明
图1是第1实施方式的车辆的立体图，其中以透视的状态示出车室的一部分。
图2是第1实施方式的车辆的俯视图(俯瞰图)。
图3是表示第1实施方式的车辆的前围板的结构的图。
图4是表示第1实施方式的周边监控装置的结构的框图。
图5是表示第1实施方式的周边监控装置的ECU的结构等的框图。
图6是用于说明第1实施方式的周边监控装置的拍摄图像在虚拟投影面上的投影的示意图。
图7是用于说明第1实施方式的周边监控装置的拍摄图像在虚拟投影面上的投影的示意图。
图8是用于说明通过第1实施方式的图像处理部生成周边图像的情况的示意图。
图9是表示第1实施方式的从车辆的侧面观察时的第1虚拟投影面和第2虚拟投影面的示意图。
图10是表示第1实施方式的车辆前方的三维虚拟空间的示意图。
图11是表示第1实施方式的显示例的示意图。
图12是表示由第1实施方式的周边监控装置进行周边图像的生成处理的流程图。
图13是表示第2实施方式的周边监控装置的ECU的结构等的框图。
图14是表示由第2实施方式的周边监控装置进行周边图像的生成处理的流程图。
图15是表示第3实施方式的周边监控装置的ECU的结构等的框图。
图16是表示由第3实施方式的周边监控装置进行周边图像的生成处理的流程图。
图17是表示由第4实施方式的周边监控装置进行周边图像的生成处理的流程图。
图18是用于说明第4实施方式的第1虚拟投影面和第2虚拟投影面之间的交界部分的移动的示意图。
具体实施方式
下面，对本发明的示例性的实施方式(第1实施方式～第4实施方式)进行公开。下面所示的实施方式的结构以及由该结构所带来的作用、结果以及效果终究只是一个示例。本发明通过以下实施方式所公开的结构以外的结构也能够得以实现，并且能够得到根据基本结构所得到的各种效果和衍生效果中的至少一种。
第1实施方式
首先，对第1实施方式进行说明。第1实施方式的车辆1(图1)例如可以是以未图示的内燃机为驱动源的汽车即内燃机汽车，也可以是以未图示的电动机为驱动源的汽车即电动汽车或燃料电池汽车等，也可以是以上述二者为驱动源的混合动力汽车，还可以是具有其他的驱动源的汽车。此外，车辆1可以搭载各种变速装置，还可以搭载用于驱动内燃机或电动机所必要的各种装置，例如系统或部件等。此外，对与车辆1的车轮3的驱动相关的装置的形式、数量、以及布局等可以进行各种设定。
图1是第1实施方式的车辆1的立体图，其中以透视的状态示出车室2a的一部分。图2是第1实施方式的车辆1的俯视图(俯瞰图)。下面，参照两图进行说明。车身2构成供未图示的乘坐者乘坐的车室2a(图1)。在车室2a内，以朝向作为乘坐者的驾驶员的座椅2b的状态，设置有转向部4、加速操作部5、制动操作部6、以及变速操作部7等。
转向部4例如是从前围板24突出的转向盘(方向盘)。加速操作部5例如是配置于驾驶员的脚下方的加速踏板。制动操作部6例如是配置于驾驶员的脚下方的制动踏板。变速操作部7例如是从中央控制台突出的换挡杆。另外，转向部4、加速操作部5、制动操作部6、以及变速操作部7等不限于此。
此外，车室2a内设置有作为显示输出部的显示装置8、以及作为声音输出部的声音输出装置9。这里，图3是表示第1实施方式的车辆1的前围板24的结构的图。如图3所示，显示装置8配置于前围板24的中央。
图1、图3所示的显示装置8例如是LCD(Liquid Crystal Display，液晶显示器)或OELD(Organic Electro-Luminescence Display，有机电致发光显示器)等。声音输出装置9例如是扬声器。此外，显示装置8例如由触控面板等透明的操作输入部10覆盖。乘坐者能够透过操作输入部10目视确认显示于显示装置8的显示画面上的图像。此外，乘坐者通过在与显示于显示装置8的显示画面上的图像对应的位置，用手指等对操作输入部10进行触碰、按压或划动等操作，能够进行操作输入。这些显示装置8、声音输出装置9、以及操作输入部10等设置于例如位于前围板24的车宽方向即左右方向上的中央部的监控装置11上。监控装置11可以具有开关、旋钮、控制杆、以及按钮等未图示的操作输入部。此外，也可以在车室2a内的与监控装置11不同的其他位置设有未图示的声音输出装置，还可以从监控装置11的声音输出装置9及其他的声音输出装置输出声音。另外，监控装置11例如可以兼用于导航系统或音响系统。
此外，如图1、图2所示的那样，车辆1例如是四轮汽车，具有左右两个前轮3F及左右两个后轮3R。这些四个车轮3均可以构成为能够转向。
这里，图4是表示第1实施方式的周边监控装置100的结构的框图。如图4所示的那样，车辆1具有能使至少两个车轮3转向的转向系统13。转向系统13具有致动器13a及扭矩传感器13b。转向系统13由ECU14(Electronic Control Unit，电子控制单元)等电控制，使致动器13a工作。转向系统13例如是电动助力转向系统或SBW(Steer By Wire，线控转向)系统等。转向系统13通过致动器13a向转向部4施加扭矩即辅助扭矩来补充转向力，或通过致动器13a使车轮3转向等。在这种情况下，致动器13a可以使一个车轮3转向，也可以使多个车轮3转向。此外，扭矩传感器13b例如检测驾驶员施加给转向部4的扭矩。
此外，如图2所示的那样，车身2上设置有例如四个拍摄部15a～15d，作为多个拍摄部15。拍摄部15例如为内设CCD(Charge Coupled Device，电荷耦合器件)或CIS(CMOSImage Sensor，互补金属氧化物半导体图像传感器)等摄像元件的数码摄像头。拍摄部15能够以规定的帧率输出视频数据。拍摄部15分别具有广角镜头或鱼眼镜头，能够在水平方向上拍摄例如140°～190°的范围。此外，拍摄部15的光轴设定为朝向斜下方。由此，拍摄部15依次拍摄包含车辆1能够在其上移动的路面及车辆1能够停车的区域的车身2的周边的外部环境，并作为拍摄图像数据输出。
拍摄部15a例如位于车身2后侧的端部2e，设置于后备箱的车门2h的下方的壁部。拍摄部15b例如位于车身2右侧的端部2f，设置于右侧的车门后视镜2g。拍摄部15c例如位于车身2的前侧即车辆前后方向上的前方侧的端部2c，设置于前保险杠等。拍摄部15d例如位于车身2的左侧即车宽方向上的左侧的端部2d，设置于作为左侧的突出部的车门后视镜2g。ECU14基于由多个拍摄部15得到的拍摄图像数据来进行运算处理或图像处理，能够生成视角更广的图像，或生成从上方观察车辆1的虚拟的俯视图像。
此外，如图2所示的那样，在车身2设置有例如四个测距部16a～16d、以及八个测距部17a～17h，作为多个测距部16、17(测距传感器)。测距部16、17例如是发射超声波而捕捉其反射波的声纳(声纳传感器、超声波探测器)。ECU14根据测距部16、17的检测结果(检测数据)能够测量是否存在配置于车辆1的周围的障碍物等的物体或到该物体的距离。此外，测距部17例如用于检测相对较近距离的物体。此外，相对于测距部17，测距部16例如用于检测更远的相对较长距离的物体。此外，测距部17例如用于检测车辆1的前方以及后方的物体的检测。此外，测距部16用于检测车辆1的侧方的物体。
此外，如图4所示的那样，在周边监控装置100中，ECU14、监控装置11、转向系统13、以及测距部16、17等以外，制动系统18、转向角传感器19、加速传感器20、档位传感器21、以及轮速传感器22等，也经由作为电子通信线路的车内网络23而电连接。
车内网络23例如构成为CAN(Controller Area Network，控制器局域网)。ECU14通过车内网络23传送控制信号，由此能够控制转向系统13、制动系统18等。此外，ECU14经由车内网络23，能够接收扭矩传感器13b、制动传感器18b、转向角传感器19、测距部16、测距部17、加速传感器20、档位传感器21、轮速传感器22等的检测结果、或操作输入部10等的操作信号等。
ECU14例如具有CPU14a(Central Processing Unit，中央处理单元)、ROM14b(ReadOnly Memory，只读存储器)、RAM14c(Random Access Memory，随机存取存储器)、显示控制部14d、声音控制部14e、SSD14f(Solid State Drive，固态硬盘，快闪存储器)等。CPU14a例如能够进行：与由显示装置8显示的图像相关的图像处理、车辆1的控制等的各种运算处理以及控制。CPU14a能够对安装并存储在ROM14b等非易失性存储装置的程序进行读取，并按照该程序进行运算处理。RAM14c临时性地存储用于在CPU14a运算的各种数据。此外，在ECU14的运算处理中，显示控制部14d主要执行使用由拍摄部15获得的拍摄图像数据进行的图像处理、以及由显示装置8显示的拍摄图像数据的合成等。此外，在ECU14的运算处理中，声音控制部14e主要执行从声音输出装置9输出的声音数据的处理。此外，SSD14f是可擦写的非易失性的存储部，即使在ECU14的电源被断开的情况下也能够存储数据。此外，CPU14a、ROM14b、RAM14c等能够集成在同一封装体内。此外，ECU14也可以是使用DSP(DigitalSignal Processor，数字信号处理器)等其他逻辑运算处理器或逻辑电路等来取代CPU14a的结构。此外，也可以设置HDD(Hard Disk Drive，硬盘驱动器)来代替SSD14f，并且SSD14f或HDD也可以与ECU14分开设置。
制动系统18例如是能够抑制制动抱死的ABS(Anti-lock Brake System，防抱死制动系统)、能够抑制车辆1在转弯时侧滑的侧滑防止装置(ESC：Electronic StabilityControl，电子稳定控制系统)、用于增强制动力(执行制动辅助)的电动制动系统、BBW(Brake By Wire，线控制动系统)等。制动系统18经由致动器18a，对车轮3进而对车辆1施加制动力。此外，制动系统18能够根据左右车轮3的转速差等来检测制动抱死、车轮3的空转、以及侧滑的征兆等，从而执行各种控制。制动传感器18b例如是检测制动操作部6的可动部的位置的传感器。制动传感器18b能够检测作为制动操作部6的可动部的制动踏板的位置。制动传感器18b包括位移传感器。
转向角传感器19例如是检测方向盘等转向部4的转向量的传感器。转向角传感器19例如用霍尔元件等构成。ECU14从转向角传感器19获取驾驶员操作转向部4的转向量、或自动转向时各车轮3的转向量等，来进行各种控制。另外，转向角传感器19检测包含在转向部4的旋转部分的旋转角度。转向角传感器19是角度传感器的一个示例。
加速传感器20例如是检测加速操作部5的可动部的位置的传感器。加速传感器20能够检测作为可动部的加速踏板的位置。加速传感器20包括位移传感器。
档位传感器21例如是检测变速操作部7的可动部的位置的传感器。档位传感器21能够检测作为变速操作部7的可动部的杆、臂、按钮等的位置。档位传感器21可以包括位移传感器，也可以构成为开关。
轮速传感器22是检测车轮3的旋转量及每单位时间的转数的传感器。轮速传感器22输出表示检测出的转速的轮速脉冲数作为传感器数值。轮速传感器22也可以例如用霍尔元件等构成。ECU14基于从轮速传感器22获取的传感器数值来对车辆1的移动量等进行运算，并进行各种控制。另外，轮速传感器22有时设置于制动系统18。在这种情况下，ECU14通过制动系统18获取轮速传感器22的检测结果。
另外，上述各种传感器以及致动器的结构、配置、电连接的形态等仅是一个示例，可以进行各种设定(变更)。
本实施方式中，ECU14通过硬件与软件(控制程序)的配合，实现作为周边监控装置100的功能的至少一部分。图5是表示第1实施方式的周边监控装置100的ECU14的结构等的框图。如图5所示，ECU14作为控制部141、存储部142发挥功能。存储部142存储有控制部141执行的程序或执行程序所必须的数据等。控制部141包括获取部1411、显示判定部1412、图像处理部1413、以及更新判定部1414。
获取部1411从对车辆1的行进方向的路面、以及包括路面的上方区域的区域进行拍摄的拍摄部15连续地获取拍摄图像数据，并将所获取的拍摄图像数据随时存储至存储部142。此外，获取部1411从测距部16、测距部17、轮速传感器22等获取各种数据。
显示判定部1412判定是否将周边图像显示至显示装置8。显示判定部1412例如根据车速是否小于预先设定的阈值车速来判定是否显示周边图像，所述车速是基于从轮速传感器22获取到的传感器数值而计算出的。阈值车速的一个示例是10km/h。显示判定部1412例如在车速小于阈值车速的情况下，判定为显示周边图像。此外，显示判定部1412也可以基于通过操作输入部10接收到的乘坐者的操作指示而判定是否显示该周边图像。
图像处理部1413，在将车辆1的行进方向的周边图像显示至显示装置8的情况下，对于包括车辆1的车底下或车底下附近的路面的第1区域(拍摄对象区域)，使用存储在存储部142的先前拍摄图像数据中的相应的图像进行显示，对于包括路面的上方区域的第2区域(拍摄对象区域)，使用由获取部1411获取到的当前拍摄图像数据中的相应的图像进行显示。
更加具体而言，对于第1区域，图像处理部1413通过将如下的图像投影到第1虚拟投影面来显示，所述图像为存储于存储部142的先前拍摄图像数据中的相应的图像，所述第1虚拟投影面在三维虚拟空间上设定为与路面对应的平面。此外，对于第2区域，图像处理部1413通过将如下的图像投影到第1虚拟投影面的端部或第2虚拟投影面并显示，所述图像为由获取部1411获取到的当前拍摄图像数据中的相应的图像，所述第2虚拟投影面在三维虚拟空间上设定为从所述第1虚拟投影面的端部附近立起。此外，图像处理部1413以能够识别的方式显示第1虚拟投影面和第2虚拟投影面之间的交界。详细情况在后文叙述。
更新判定部1414，例如根据车辆1是否移动了规定距离(例如几米)来判定是否对投影至第1虚拟投影面的先前的图像进行更新。此外，更新判定部1414，例如根据是否经过了规定时间(例如几十毫秒)来判定是否对投影至第2虚拟投影面的当前的图像进行更新。
图6是用于说明第1实施方式的周边监控装置100的拍摄图像在虚拟投影面上的投影的示意图。图像处理部1413基于由拍摄部15获得的拍摄图像数据生成视点图像。视点图像是指从虚拟视点观察拍摄图像所投影的虚拟投影面而得到的图像，例如是进行了虚拟投影变换或视点转换后的图像。图像处理部1413通过对由拍摄部15获得的拍摄图像数据进行坐标变换或投影变换等图像处理而获得视点图像的数据。
在图6的例中，虚拟投影面Sp具有沿着地面Gr(路面)的底面Spg(第1虚拟投影面)、以及从底面Spg即地面Gr立起的侧面Sps(第2虚拟投影面)。地面Gr是与车辆1的上下方向Z正交的水平面，也是轮胎的接地面。底面Spg为大致圆形的平坦面，是以车辆1为基准的水平面。侧面Sps是与底面Spg相接的曲面。如图6所示，侧面Sps的在通过车辆1的中心Gc且垂直于车辆1的虚拟截面上的形状，例如为椭圆状或抛物线状。侧面Sps例如构成为绕通过车辆1的中心Gc且沿着车辆1的上下方向Z的中心线CL的旋转面，围绕着车辆1的周围。
图像处理部1413计算将拍摄图像投影到虚拟投影面Sp时的虚拟投影图像。如果将拍摄图像Ic投影到地面Gr上，则随着远离拍摄部15而图像变长，有时在输出图像中会投映得比实际的长度长。由图6可知，投影到从地面Gr(底面Spg)立起的侧面Sps的虚拟投影图像Ip，与投影到地面Gr的情况相比，其像较短，从而能抑制在输出图像中投影得比实际的长度长。
此外，在图6中，对将拍摄图像投影至车辆1的侧方的虚拟投影面Sp的情况进行了说明，将拍摄图像投影至车辆1的前方(或后方)的虚拟投影面Sp的情况也同样。
图7是用于说明第1实施方式的周边监控装置100的拍摄图像在虚拟投影面上的投影的图。如图7所示，图像处理部1413将投影至虚拟投影面Sp的虚拟投影图像Ip(在图7中未图示。参照图6)转换为从规定的视点Ep向斜下方观察而得到的视点图像。视点Ep设定在朝向例如车辆1的车底下或车底下附近的路面的位置。
图8是用于说明通过第1实施方式的图像处理部1413生成周边图像的情况的示意图。图8是在虚拟空间203上，在从拍摄位置PT0沿粗线箭头AR1移动到虚拟位置PT1的状态下的车辆1以及车辆1的周边的大致情况的俯视图。此外，在图8中，以虚线表示拍摄位置PT0的车辆1。
如图8所示，图像处理部1413将与实际空间(例如，全局坐标)中的车辆1的当前位置对应的车辆1的虚拟位置PT1设定至虚拟空间203内。图像处理部1413将从虚拟视点VV1(与图7的视点Ep对应)观察投影至虚拟投影面200的拍摄图像而得到的图像作为周边图像生成，所述虚拟视点VV1基于车辆1的虚拟位置PT1设定，所述虚拟投影面200由第1虚拟投影面201(与图6、图7的底面Spg对应)和第2虚拟投影面202(与图6、图7的侧面Sps对应)构成。例如，图像处理部1413将以虚拟视点VV1为起点，在从虚拟视线的两侧的区域开始的预先设定的设定角度的区域中(例如图8的带点区域)可观察到的图像作为周边图像生成，所述虚拟视线规定为从该起点沿行进方向(例如，前方)的方向。此外，图像处理部1413也可以根据车辆1的当前位置或虚拟位置PT1任意设定虚拟视点VV1的位置。
此外，在图8中，为了方便图示，设第1虚拟投影面201和第2虚拟投影面202为沿图8的横向延伸的形状，但是，与图6、图7同样，这些也可以构成为绕通过车辆1的中心Gc(图6)且沿车辆1的上下方向的中心线CL(图6)的旋转面，围绕车辆1的周围。
图像处理部1413也可以将例如车辆1的图像即车辆图像叠加到生成出的周边图像。该车辆图像例如不是通过拍摄部15拍摄出的图像，而是预先存储于存储部142的图像。
图9是表示第1实施方式的从车辆1的侧面观察时的第1虚拟投影面201和第2虚拟投影面202的示意图。图10是表示第1实施方式的车辆前方的三维虚拟空间的示意图。图11是表示第1实施方式的显示例的示意图。
从上述的参照图6、图7进行了说明的内容或图9～图11可以看出，为了增加作为周边图像整体的立体感，优选从尽量接近车辆1的位置立起第2虚拟投影面202。此外，第1虚拟投影面201是存在移动物体的可能性较低的区域。另一方面，第2虚拟投影面202是存在移动物体可能性较高的区域。由此，通过将当前的图像投影至这种第2虚拟投影面202，能够实时显示周边图像上的移动物体。此外，通过将第1虚拟投影面201设为平坦，能够正确地显示车辆1的车轮3和路面之间的位置关系。
此外，如图10、图11所示，作为以能够识别的方式显示周边图像的第1虚拟投影面201和第2虚拟投影面202之间的交界的一个示例，图像处理部1413在第1虚拟投影面201和第2虚拟投影面202之间显示交界线204。由此，乘坐者能够明确地识别所显示的先前的图像部分和当前的图像部分。此外，作为以能够识别的方式显示第1虚拟投影面201和第2虚拟投影面202之间的交界的其他示例，图像处理部1413也可以将第1虚拟投影面201和第2虚拟投影面202分开显示，还可以使第1虚拟投影面201和第2虚拟投影面202的亮度或颜色等显示形态互为不同地显示。此外，这种以能够识别的方式显示第1虚拟投影面201和第2虚拟投影面202之间的交界的处理，仅在将先前的图像显示至第1虚拟投影面201的同时将当前的图像显示至第2虚拟投影面202的情况下实施。即，在对于第1虚拟投影面201和第2虚拟投影面202双方，使用在规定时刻拍摄出的一张先前的图像进行显示的情况下，提供没有接缝的连续图像，能够实现更易于观察的图像显示。
此外，图像处理部1413可以使第2虚拟投影面202进行彩色显示，使第1虚拟投影面201进行黑白显示或深褐色显示。这样，能够向乘坐者强调第1虚拟投影面201是先前的图像。此外，通过使第1虚拟投影面201为单一颜色，还有使乘坐者能够对该部分的图像感觉鲜明的效果。
下面，参照图12对由第1实施方式的周边监控装置100进行的周边图像的生成处理进行说明。图12是表示由第1实施方式的周边监控装置100进行周边图像的生成处理的流程图。
首先，显示判定部1412判定是否开始对显示装置8进行周边图像的显示(步骤S1)，在为“是”的情况下，进入步骤S2，在为“否”的情况下，返回步骤S1。在该步骤S1中，显示判定部1412，例如在基于从轮速传感器22获取到的传感器数值计算出的车速小于预先设定的阈值车速的情况下，判定为开始进行周边图像的显示。
在步骤S2中，图像处理部1413将存储于存储部142的先前拍摄图像数据(例如几米之前拍摄到的图像数据)中的相应的图像(先前的图像)投影到第1虚拟投影面201。
下面，在步骤S3中，获取部1411从拍摄部15获取当前拍摄图像数据。
接着，在步骤S4中，图像处理部1413将在步骤S3获取到的当前拍摄图像数据中的相应的图像(当前的图像)投影到第2虚拟投影面202。
接着，在步骤S5中，图像处理部1413将基于第1虚拟投影面201和第2虚拟投影面202的周边图像显示至显示装置8(参照图11)。在该步骤S5中，图像处理部1413一并进行在第1虚拟投影面201和第2虚拟投影面202之间显示交界线204的处理。
接着，在步骤S6中，更新判定部1414判定在步骤S2之后车辆1是否移动了规定距离(例如几米)，在为“是”的情况下，返回步骤S2，在为“否”的情况下，进入步骤S7。在步骤S6为“是”的情况下，在步骤S2更新第1虚拟投影面201的先前的图像。
在步骤S7中，更新判定部1414判定在步骤S4之后是否经过了规定时间(例如几十毫秒)，在为“是”的情况下，返回步骤S3，在为“否”的情况下，进入步骤S8。在步骤S7为“是”的情况下，在步骤S3以后更新第2虚拟投影面202的当前的图像。
在步骤S8中，显示判定部1412判定是否结束对显示装置8进行周边图像的显示，在为“是”的情况下结束处理，在为“否”的情况下返回步骤S6。在该步骤S8中，显示判定部1412，例如在基于从轮速传感器22获取到的传感器数值计算出的车速在预先设定的阈值车速以上的情况下，判定为结束周边图像的显示。
由此，根据第1实施方式的周边监控装置100，在显示包括车辆1的车底下或车底下附近的周边图像的情况下，通过对于包括车辆1的车底下或车底下附近的路面的第1区域使用先前的图像进行显示、对于包括路面的上方区域的第2区域使用当前的图像进行显示，能够一并显示在周边图像的区域内的当前的移动物体。因此，乘坐者通过观察这种能够一并显示当前的移动物体的周边图像，能够将其作为考虑到当前的移动物体在内驾驶时的各种判断的参考。
此外，通过以能够识别的方式显示使用先前的图像显示的第1虚拟投影面201和使用当前的图像显示的第2虚拟投影面202之间的交界，乘坐者能够明确地识别所显示的先前的图像部分和当前的图像部分，易于使用。
第2实施方式
下面，对第2实施方式进行说明。对于与第1实施方式相同的事项适当省略说明。图13是表示第2实施方式的周边监控装置100的ECU14的结构等的框图。图13的ECU14与图5的ECU14相比，在控制部141追加有移动物体判定部1415这一点不同。
移动物体判定部1415基于由获取部1411获取到的来自拍摄部15的拍摄图像数据和来自测距部16和测距部17的检测数据中的至少一方，判定在车辆1的行进方向是否存在移动物体。
接着，图像处理部1413，在将车辆1的行进方向的周边图像显示至显示装置8的情况下，在根据移动物体判定部1415没有判定为存在移动物体时，对于第1区域及第2区域双方使用存储于存储部142的先前拍摄图像数据中的相应的图像进行显示。
此外，图像处理部1413，在移动物体判定部1415判定为存在移动物体时，切换为：对于第1区域(第1虚拟投影面201)，使用存储于存储部142的先前拍摄图像数据中的相应的图像进行显示，并且对于第2区域(第2虚拟投影面202)，使用与由获取部1411获取到的当前拍摄图像数据中的相应的图像进行显示。
图14是表示由第2实施方式的周边监控装置100进行周边图像的生成处理的流程图。首先，显示判定部1412判定是否开始对显示装置8进行周边图像的显示(步骤S101)，在为“是”的情况下进入步骤S102，在为“否”的情况下返回步骤S101。
在步骤S102中，图像处理部1413将存储于存储部142的先前拍摄图像数据中的相应的图像(先前的图像)投影到第1虚拟投影面201和第2虚拟投影面202。
接着，在步骤S103中，图像处理部1413将基于第1虚拟投影面201和第2虚拟投影面202的周边图像显示至显示装置8。在该步骤S103中，图像处理部1413不进行在第1虚拟投影面201和第2虚拟投影面202之间显示交界线的处理。
接着，在步骤S104中，移动物体判定部1415基于由获取部1411获取到的来自拍摄部15的拍摄图像数据和来自测距部16和测距部17的检测数据中的至少一方，判定在车辆1的行进方向上是否存在移动物体，在为“是”的情况下进入步骤S107，在为“否”的情况下进入步骤S105。
在步骤S105中，更新判定部1414判定在步骤S102之后车辆1是否移动了规定距离(例如几米)，在为“是”的情况下返回步骤S102，在为“否”的情况下进入步骤S106。在步骤S105为“是”的情况下，在步骤S102更新第1虚拟投影面201和第2虚拟投影面202的先前的图像。
在步骤S106中，显示判定部1412判定是否结束对显示装置8进行周边图像的显示，在为“是”的情况下结束处理，在为“否”的情况下返回步骤S104。
在步骤S107中，图像处理部1413将存储于存储部142的先前拍摄图像数据中的相应的图像(先前的图像)投影到第1虚拟投影面201。
接着，在步骤S108中，获取部1411从拍摄部15获取的当前拍摄图像数据。
接着，在步骤S109中，图像处理部1413将在步骤S108获取到的当前拍摄图像数据中的相应的图像(当前的图像)投影到第2虚拟投影面202。
接着，在步骤S110中，图像处理部1413将基于第1虚拟投影面201和第2虚拟投影面202的周边图像显示至显示装置8(参照图11)。在该步骤S110中，图像处理部1413一并进行在第1虚拟投影面201和第2虚拟投影面202之间显示交界线204(图11)的处理。
接着，在步骤S111中，移动物体判定部1415判定从移动物体不再存在时开始是否经过了第2规定时间(例如1分钟)，在为“是”的情况下返回步骤S102，在为“否”的情况下进入步骤S112。在步骤S111为“是”的情况下，返回步骤S102之后在第1虚拟投影面201和第2虚拟投影面202双方显示先前的图像的状态。
在步骤S112中，更新判定部1414判定步骤S107之后车辆1是否移动了规定距离(例如几米)，在为“是”的情况下返回步骤S107，在为“否”的情况下进入步骤S113。在步骤S112为“是”的情况下，在步骤S107更新第1虚拟投影面201的先前的图像。
在步骤S113中，更新判定部1414判定在步骤S109之后是否经过了规定时间(例如几十毫秒)，在为“是”的情况下返回步骤S108，在为“否”的情况下进入步骤S114。在步骤S113为“是”的情况下，步骤S108以后更新第2虚拟投影面202的当前的图像。
在步骤S114中，显示判定部1412判定是否结束对显示装置8进行周边图像的显示，在为“是”的情况下结束处理，在为“否”的情况下返回步骤S111。
由此，根据第2实施方式的周边监控装置100，在不存在移动物体时，通过对于第1区域(第1虚拟投影面201)和第2区域(第2虚拟投影面202)双方，使用在规定时刻拍摄出的一张的先前的图像进行显示，能够提供没有接缝的连续图像。此外，如果判定为存在移动物体，对于第2区域(第2虚拟投影面202)，通过切换成使用当前的图像进行显示，能够一并显示在周边图像的区域内的当前的移动物体。
第3实施方式
接着，对第3实施方式进行说明。对于与第1实施方式、第2实施方式中的至少一个相同的事项适当省略说明。图15是表示第3实施方式的周边监控装置100的ECU14的结构等的框图。图15的ECU14与图13的ECU14相比，在控制部141追加有图像切换判定部1416这一点不同。
在该第3实施方式中，图像处理部1413，在根据移动物体判定部1415判定为存在移动物体时，显示敦促乘坐者进行切换的画面，以切换为：对于第1区域(第1虚拟投影面201)，使用存储于存储部142的先前拍摄图像数据中的相应的图像进行显示，并且对于第2区域(第2虚拟投影面202)，使用由获取部1411获取到的当前拍摄图像数据中的相应的图像进行显示。该敦促乘坐者的画面，例如，采用如下方式实现：对于第2区域(第2虚拟投影面202)，降低亮度等来使其变暗，或通过红色显示、使其闪烁等。
图像切换判定部1416判定乘坐者是否在该敦促乘坐者的画面中进行了画面切换操作。图像切换判定部1416例如根据在与显示于显示装置8的显示画面的图像对应的位置，乘坐者是否用手指等对操作输入部10进行了触碰、按压或划动操作，来进行该判定。
图16是表示由第3实施方式的周边监控装置100进行周边图像的生成处理的流程图。图16的流程图与图14的流程图相比，仅在追加有步骤S121和步骤S122这一点不同，对于相同之处省略说明。
在步骤S104为“是”的情况下，在步骤S121中，图像处理部1413，显示敦促乘坐者进行切换的画面，以切换为：对于第2区域(第2虚拟投影面202)，使用由获取部1411获取到的当前拍摄图像数据中的相应的图像进行显示。
接着，在步骤S122中，图像切换判定部1416判定乘坐者是否在该画面中进行了画面切换操作，在为“是”的情况下进入步骤S107，在为“否”的情况下进入步骤S105。
如此，根据第3实施方式的周边监控装置100，在不存在移动物体时，通过对于第1区域(第1虚拟投影面201)和第2区域(第2虚拟投影面202)双方，使用在规定时刻拍摄出的一张的先前的图像进行显示，能够实现没有接缝的连续图像。此外，如果判定为存在移动物体，则显示敦促乘坐者进行切换的画面，以切换为对于第2区域(第2虚拟投影面202)使用当前的图像进行显示，乘坐者能够自由选择是否进行该画面切换。
第4实施方式
接着，对第4实施方式进行说明。对与第1实施方式～第3实施方式中的至少一个相同的事项适当省略说明。ECU14的结构如图13所示。
在该第4实施方式中，图像处理部1413，在将车辆1的行进方向的周边图像显示至显示装置8的情况下，在移动物体判定部1415判定为存在移动物体时，基于周边图像中的移动物体的位置移动第1虚拟投影面201和第2虚拟投影面202的交界部分(交界线204、分开部分等)。
图17是表示由第4实施方式的周边监控装置100进行周边图像的生成处理的流程图。对于与图12的流程图相同的处理(步骤)，适当省略说明。
在步骤S5之后，在步骤S31中，移动物体判定部1415基于由获取部1411获取到的来自拍摄部15的拍摄图像数据和来自测距部16和测距部17的检测数据中的至少一方，判定在车辆1的行进方向上是否存在移动物体，在为“是”的情况下进入步骤S32，在为“否”的情况下进入步骤S34。
在步骤S32中，图像处理部1413判定两个虚拟投影面(第1虚拟投影面201、第2虚拟投影面202)的交界部分是否需要移动，在为“是”的情况下进入步骤S33，在为“否”的情况下进入步骤S6。在该步骤S32中，图像处理部1413，例如，如果在周边图像中的移动物体的规定比例以上的面积进入第1虚拟投影面201内，则判定为有必要移动该交界部分，但是不限于此。
在步骤S33中，图像处理部1413移动两个虚拟投影面的交界部分。在该步骤S33中，图像处理部1413移动该交界部分以使例如周边图像中的移动物体的、进入第1虚拟投影面201内的面积的比例小于规定比例。这里，图18是用于说明第4实施方式的第1虚拟投影面201和第2虚拟投影面202之间的交界部分的移动的示意图。如图18所示，图像处理部1413以靠近车辆1的方式或以远离车辆1的方式移动该交界部分。
返回图17，在步骤S34中，移动物体判定部1415判断从移动物体不再存在开始是否经过了第2规定时间(例如1分钟)，在为“是”的情况下进入步骤S35，在为“否”的情况下进入步骤S6。
在步骤S35中，图像处理部1413重新设定该交界部分(例如返回初始设定)。在步骤S35之后，进入步骤S6。
如此，根据第4实施方式的周边监控装置100，在判定为存在移动物体时，通过基于周边图像中的移动物体的位置移动第1虚拟投影面201和第2虚拟投影面202的交界部分，能够使乘坐者更容易注意到移动物体的存在。此外，图像处理部1413也可以将生成周边图像时的虚拟视点变为易于观察移动物体的位置。
以上说明了本发明的实施方式，但这些实施方式仅是作为示例而提出的，其目的不在于限定本发明的范围。上述新颖的实施方式能够以其它各种方式来实施，在不脱离本发明的主旨的范围内，能够进行各种省略、置换和变更。这些实施方式和其变形例均包含于本发明的范围和主旨，并且包含于权利要求书中记载的发明和其均等范围内。
符号说明
1…车辆、8…显示装置、14…ECU、100…周边监控装置、141…控制部、142…存储部、1411…获取部、1412…显示判定部、1413…图像处理部、1414…更新判定部、1415…移动物体判定部、1416…图像切换判定部、15…拍摄部、16…测距部、17…测距部、22…轮速传感器、201…第1虚拟投影面、202…第2虚拟投影面、203…虚拟空间、204…交界线。

Claims (6)

1.一种周边监控装置，其特征在于，具备：
获取部，其从拍摄部获取拍摄图像数据，所述拍摄部拍摄包括车辆的行进方向的路面、以及所述路面的上方区域的区域；
存储部，其存储所述拍摄图像数据；
图像处理部，其在将所述车辆的行进方向的周边图像显示至显示部的情况下，
对于包括所述车辆的车底下或车底下附近的路面的第1区域，使用存储于所述存储部的先前拍摄图像数据中的相应的图像进行显示，
对于包括所述路面的上方区域的第2区域，使用由所述获取部获取到的当前拍摄图像数据中的相应的图像进行显示，以及
移动物体判定部，其基于由所述获取部获取到的来自所述拍摄部的拍摄图像数据和来自设置于所述车辆的测距传感器的检测数据中的至少一方，判定在所述车辆的行进方向上是否存在移动物体，
所述图像处理部，
在将所述车辆的行进方向的周边图像显示至显示部的情况下，
在所述移动物体判定部没有判定为存在所述移动物体时，对于所述第1区域以及所述第2区域双方，使用存储于所述存储部的先前拍摄图像数据中的相应的图像进行显示，
在所述移动物体判定部判定为存在所述移动物体时，切换为：对于所述第1区域，使用存储于所述存储部的先前拍摄图像数据中的相应的图像进行显示，并且对于所述第2区域，使用由所述获取部获取到的当前拍摄图像数据中的相应的图像进行显示。
2.根据权利要求1所述的周边监控装置，其特征在于：
所述图像处理部，
对于所述第1区域，将存储于所述存储部的先前拍摄图像数据中的相应的图像，投影到在三维虚拟空间上作为与所述路面对应的平面而设定的第1虚拟投影面来进行显示，
对于所述第2区域，将由所述获取部获取到的当前拍摄图像数据中的相应的图像，投影到在所述三维虚拟空间上设定为从所述第1虚拟投影面的端部或其附近立起的第2虚拟投影面来进行显示，并且
以能够识别的方式显示所述第1虚拟投影面与所述第2虚拟投影面之间的交界。
3.根据权利要求2所述的周边监控装置，其特征在于，
所述图像处理部，在将所述车辆的行进方向的周边图像显示至显示部的情况下，在所述移动物体判定部判定为存在所述移动物体时，基于所述周边图像中的所述移动物体的位置，移动所述第1虚拟投影面与所述第2虚拟投影面的交界部分。
4.一种周边监控装置，其特征在于，具备：
获取部，其从拍摄部获取拍摄图像数据，所述拍摄部拍摄包括车辆的行进方向的路面、以及所述路面的上方区域的区域；
存储部，其存储所述拍摄图像数据；
图像处理部，其在将所述车辆的行进方向的周边图像显示至显示部的情况下，
对于包括所述车辆的车底下或车底下附近的路面的第1区域，使用存储于所述存储部的先前拍摄图像数据中的相应的图像进行显示，
对于包括所述路面的上方区域的第2区域，使用由所述获取部获取到的当前拍摄图像数据中的相应的图像进行显示，以及
移动物体判定部，其基于由所述获取部获取到的来自所述拍摄部的拍摄图像数据和来自设置于所述车辆的测距传感器的检测数据中的至少一方，判定在所述车辆的行进方向上是否存在移动物体，
所述图像处理部，
在将所述车辆的行进方向的周边图像显示至显示部的情况下，
在所述移动物体判定部没有判定为存在所述移动物体时，对于所述第1区域以及所述第2区域双方，使用存储于所述存储部的先前拍摄图像数据中的相应的图像进行显示，
在所述移动物体判定部判定为存在所述移动物体时，显示敦促乘坐者进行切换的画面，以切换成：对于所述第1区域，使用存储于所述存储部的先前拍摄图像数据中的相应的图像进行显示，并且对于所述第2区域，使用由所述获取部获取到的当前拍摄图像数据中的相应的图像进行显示。
5.根据权利要求4所述的周边监控装置，其特征在于：
所述图像处理部，
对于所述第1区域，将存储于所述存储部的先前拍摄图像数据中的相应的图像，投影到在三维虚拟空间上作为与所述路面对应的平面而设定的第1虚拟投影面来进行显示，
对于所述第2区域，将由所述获取部获取到的当前拍摄图像数据中的相应的图像，投影到在所述三维虚拟空间上设定为从所述第1虚拟投影面的端部或其附近立起的第2虚拟投影面来进行显示，并且
以能够识别的方式显示所述第1虚拟投影面与所述第2虚拟投影面之间的交界。
6.根据权利要求5所述的周边监控装置，其特征在于，
所述图像处理部，在将所述车辆的行进方向的周边图像显示至显示部的情况下，在所述移动物体判定部判定为存在所述移动物体时，基于所述周边图像中的所述移动物体的位置，移动所述第1虚拟投影面与所述第2虚拟投影面的交界部分。
CN201880048732.4A 2017-06-02 2018-02-26 周边监控装置 Active CN110959289B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-110336 2017-06-02
JP2017110336A JP7009785B2 (ja) 2017-06-02 2017-06-02 周辺監視装置
PCT/JP2018/007056 WO2018220915A1 (ja) 2017-06-02 2018-02-26 周辺監視装置

Publications (2)

Publication Number Publication Date
CN110959289A CN110959289A (zh) 2020-04-03
CN110959289B true CN110959289B (zh) 2021-04-20

Family

ID=64455256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880048732.4A Active CN110959289B (zh) 2017-06-02 2018-02-26 周边监控装置

Country Status (4)

Country Link
US (1) US11475676B2 (zh)
JP (1) JP7009785B2 (zh)
CN (1) CN110959289B (zh)
WO (1) WO2018220915A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
JP2022125859A (ja) * 2021-02-17 2022-08-29 株式会社デンソー 周辺画像表示装置
JP7550823B2 (ja) 2022-09-12 2024-09-13 本田技研工業株式会社 情報処理システム
CN115601711B (zh) * 2022-12-13 2023-04-25 成都合能创越软件有限公司 一种基于yolov5+deepsort的渣土车抛洒滴漏检测报警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299617A (zh) * 2011-01-11 2013-09-11 爱信精机株式会社 图像生成装置
WO2016158984A1 (ja) * 2015-04-02 2016-10-06 アイシン精機株式会社 周辺監視装置
WO2017056989A1 (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP5057936B2 (ja) * 2007-11-09 2012-10-24 アルパイン株式会社 鳥瞰画像生成装置および方法
JP4914458B2 (ja) * 2009-02-12 2012-04-11 株式会社日本自動車部品総合研究所 車両周辺表示装置
WO2011093354A1 (ja) * 2010-01-29 2011-08-04 富士通テン株式会社 画像処理装置、および画像処理方法
JP5454934B2 (ja) 2010-09-21 2014-03-26 アイシン精機株式会社 運転支援装置
JP5858650B2 (ja) * 2011-06-08 2016-02-10 富士通テン株式会社 画像生成装置、画像表示システム、及び、画像生成方法
JP5911775B2 (ja) * 2012-08-21 2016-04-27 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US9956913B2 (en) 2013-03-28 2018-05-01 Aisin Seiki Kabushiki Kaisha Surroundings-monitoring device and computer program product
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103299617A (zh) * 2011-01-11 2013-09-11 爱信精机株式会社 图像生成装置
WO2016158984A1 (ja) * 2015-04-02 2016-10-06 アイシン精機株式会社 周辺監視装置
WO2017056989A1 (ja) * 2015-09-30 2017-04-06 アイシン精機株式会社 車両用画像処理装置
CN106600581A (zh) * 2016-12-02 2017-04-26 北京航空航天大学 一种基于双目立体视觉的列车运行故障自动检测系统及方法

Also Published As

Publication number Publication date
JP7009785B2 (ja) 2022-01-26
WO2018220915A1 (ja) 2018-12-06
US20200193183A1 (en) 2020-06-18
JP2018207286A (ja) 2018-12-27
US11475676B2 (en) 2022-10-18
CN110959289A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
US10031227B2 (en) Parking assist system
US9216765B2 (en) Parking assist apparatus, parking assist method and program thereof
US9884646B2 (en) Parking assist system and path determination method
US20160075377A1 (en) Parking assist system, parking assist method and parking assist control program
US11472339B2 (en) Vehicle periphery display device
JP7222254B2 (ja) 周辺表示制御装置
CN110959289B (zh) 周边监控装置
US10377416B2 (en) Driving assistance device
CN110945558B (zh) 显示控制装置
US20170259831A1 (en) Driving assistance device and driving assistance system
CN107791951B (zh) 显示控制装置
CN107925746B (zh) 周边监控装置
WO2018150642A1 (ja) 周辺監視装置
CN111066319B (zh) 图像处理装置
CN110997409B (zh) 周边监控装置
CN110877575A (zh) 周边监视装置
JP7283514B2 (ja) 表示制御装置
JP6610140B2 (ja) 周辺監視装置
US10922977B2 (en) Display control device
JP6965563B2 (ja) 周辺監視装置
JP7259914B2 (ja) 周辺監視装置
JP2021064149A (ja) 画像処理装置
JP2018186387A (ja) 表示制御装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant