CN111612701A - 周边监视装置 - Google Patents

周边监视装置 Download PDF

Info

Publication number
CN111612701A
CN111612701A CN202010111748.4A CN202010111748A CN111612701A CN 111612701 A CN111612701 A CN 111612701A CN 202010111748 A CN202010111748 A CN 202010111748A CN 111612701 A CN111612701 A CN 111612701A
Authority
CN
China
Prior art keywords
image
vehicle
dirt
restoration
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010111748.4A
Other languages
English (en)
Inventor
平槙崇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN111612701A publication Critical patent/CN111612701A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种在污垢产生时作为应急处置而利用修复图像由此能够维持便捷性并且确保可靠性的取得系统平衡的周边监视装置。周边监视装置具备：获取部，其获取在车辆移动时由被设置于车辆并能够拍摄车辆的周围的拍摄部拍摄的拍摄图像；复原处理部，在污垢存在于拍摄图像的情况下，以污垢不存在的方式复原被污垢隐藏的拍摄图像的污垢区域从而生成复原图像；以及显示判定部，在不将复原图像作为表示车辆当前的周围状况的图像进行显示的非显示条件成立之前，允许复原图像的显示。

Description

周边监视装置
技术领域
本发明涉及周边监视装置。
背景技术
以往，存在使显示装置显示基于由被设置于车辆的拍摄部(摄像机)拍摄的拍摄图像数据的拍摄图像从而使驾驶员等识别车辆的周边的状况的系统。在这样的系统中，在拍摄部的拍摄面(例如镜头)附着了雨滴、尘埃、泥巴等污垢的情况下，往往污垢出现在拍摄图像中，无法进行用于识别周边的状况的适当的图像显示。因此，提出了对拍摄图像实施图像处理，生成并显示像除去了污垢那样的复原图像的系统。在产生了污垢的情况下，显示复原图像并将其向利用者提供，由此即使在产生了污垢的情况下，利用者也不用在每次污垢附着时去下车进行拍摄部的清扫，而是通过车内的显示装置来辨认复原图像从而容易继续进行车辆的周围状况的确认。
专利文献1：日本特开2017-92622号公报
然而，复原图像是利用图像处理消除图像上的污垢，取而代之将具有与污垢部分对应的可能性的图像叠加而生成的合成图像。因此，存在在某瞬间，在被污垢部分隐藏的区域中存在有物体的情况，往往无法还原该物体，无法使利用者识别。因此，长时间连续地利用复原图像往往会导致降低作为周边图像的可靠性，因而不优选。
发明内容
因此，本发明的课题之一在于提供一种在污垢产生时作为应急处置而利用修复图像由此能够维持便捷性并且能够确保可靠性的取得系统平衡的周边监视装置。
本发明的实施方式涉及的周边监视装置例如具备：获取部，获取在上述车辆移动时由被设置于车辆并能够拍摄上述车辆的周围的拍摄部拍摄的拍摄图像；复原处理部，在污垢存在于上述拍摄图像的情况下，以上述污垢不存在的方式复原被上述污垢隐藏的上述拍摄图像的污垢区域从而生成复原图像；以及显示判定部，在不将上述复原图像作为表示上述车辆当前的周围状况的图像进行显示的非显示条件成立之前，允许上述复原图像的显示。根据该构成，例如在非显示条件成立的情况下，以后不进行复原图像的显示。其结果是，能够暂时利用复原图像，但能够防止复原图像继续长期间被持续利用的情况，能够一边获得便捷性与确保可靠性的平衡一边运用周边监视装置运用。
本发明的实施方式涉及的周边监视装置的上述显示判定部例如也可以在进行了使上述车辆的利用者的下车成为可能的车辆操作之后上述污垢继续存在的情况下，或者在从上述复原图像的显示开始执行了规定期间的复原图像的显示的情况下，视为上述非显示条件成立。根据该结构，例如尽管利用者能够下车且能够进行拍摄部的清扫，但在没有进行拍摄部的清扫而污垢继续存在的情况下，在这以后使复原图像不进行显示。或者在从开始复原图像的显示之后在规定期间没有进行能够下车那样的车辆操作的情况下，存在长时间不进行拍摄部的清扫而继续显示复原图像的可能性。因此，在复原图像的显示开始后，在经过了规定期间的情况下，在这以后使复原图像不进行显示，从而能够抑制复原图像被长期间持续使用的情况。
本发明的实施方式涉及的周边监视装置的上述显示判定部例如也可以在被搭载于上述车辆的变速装置处于停车档位的情况、上述车辆的停车制动器变为有效的情况、上述车辆的车门中的任一个被打开的情况、上述车辆的电源开关被关闭的情况中的至少一个被执行时，判定为进行了上述车辆操作。根据该构成，例如能够根据在通常的车辆驾驶时所执行的车辆操作来检测拍摄部的清扫成为可能的时刻，能够建议在下车的同时进行拍摄部的清扫。其结果是，能够减少仅以拍摄部的清扫为目的而建议下车这样的影像。
本发明的实施方式涉及的周边监视装置也可以还具备报告部，该报告部例如在上述复原处理部判定为上述污垢存在于上述拍摄图像的情况下，向利用者报告上述污垢的存在。根据该结构，例如，容易使利用者识别复原图像被显示的情况，容易唤起驾驶员用自身的目视观察来进行周边确认的意识。
本发明的实施方式涉及的周边监视装置的上述报告部也可以执行在显示上述复原图像时被执行的上述复原图像的显示报告、和在上述复原图像的非显示条件成立时被执行的上述复原图像的非显示报告中的至少一个。复原图像是污垢已被除去的图像，所以很难识别被显示的图像是污垢已被除去的复原图像，还是原本就不存在污垢的非复原图像。根据该构成，例如能够容易使利用者识别当前显示的图像是否是复原图像。
本发明的实施方式涉及的周边监视装置的上述报告部例如也可以在进行了上述复原图像的显示的情况下，并在进行了使上述利用者的下车成为可能的车辆操作时，执行催促上述拍摄部的清扫的报告。根据该构成，例如能够根据通常的车辆运转时所进行的车辆操作，将建议拍摄部的清扫的情况报告。其结果是，能够减少为了拍摄部的清扫而建议下车这样的影像。另外，能够容易使利用者识别到现在需要进行拍摄部的清扫，减少忘记清扫的情况。
附图说明
图1是表示实施方式涉及的能够搭载周边监视装置的车辆的一个例子的示意性俯视图。
图2是表示包含实施方式涉及的周边监视装置的车辆控制系统的结构的示意性且示例性的框图。
图3是表示用CPU实现实施方式涉及的周边监视装置(周边监视部)的情况下的结构的示意性且示例性的框图。
图4是表示实施方式涉及的周边监视装置的污垢学习完毕模型的学习影像的示例性且示意性的说明图。
图5是表示在实施方式涉及的周边监视装置中生成复原图像的复原处理的影像的示例性且示意性的说明图。
图6是示意性表示在实施方式涉及的周边监视装置中复原图像与复原图像的显示报告(复原时消息)的显示例的说明图。
图7是示意性表示在实施方式涉及的周边监视装置中非复原图像与复原图像的非显示报告(非复原时消息)的显示例的说明图。
图8是表示实施方式涉及的周边监视装置的、复原图像的显示处理的流程的一个例子的流程图。
附图标记说明
10…车辆，14、14a、14b、14c、14d…拍摄部，16…显示装置，16a…图像显示区域，16b…消息显示区域，18…声音输出装置，20…操作输入部，24…ECU，24a…CPU，24b…ROM，24c…RAM，26…档位传感器，28…停车制动传感器，30…车门开闭传感器，32…IGSW传感器，34…轮速传感器，36…转向角传感器，38…信息获取部，42…周边监视部，42a…受理部，42b…图像获取部，42c…污垢信息获取部，42d…速度获取部，42e…复原处理部，42e1…复原执行判定部，42e2…阈值变更部，42f…显示判定部，42g…报告部，42h…输出部，44a…污垢信息学习完毕模型储存部，44b…学习完毕模型储存部，44c…阈值数据储存部，44d…报告数据储存部，46…拍摄图像储存部，48…复原履历储存部，58…拍摄图像，58a…最新拍摄图像，58b…过去图像，60…污垢，62、68…复原图像，64…复原区域，70、74…消息，72…非复原图像。
具体实施方式
以下，公开本发明的示例性的实施方式。以下所示的实施方式的结构，以及由该结构带来的作用、结果以及效果只是一个例子。本发明也能够通过以下的实施方式所公开的结构以外的结构来实现，并且能够得到基于基本结构的各种效果、派生的效果中的至少一个。
例如在被搭载于车辆的拍摄部的镜头附着有污垢，污垢出现在拍摄图像的情况下，本实施方式的周边监视装置生成除去了该污垢那样的图像，即生成复原污垢不存在的状态的复原图像。而且，使用复原图像，从而提高周边监视装置的周边监视功能。而且，在本实施方式的周边监视装置的情况下，复原图像在非显示条件成立之前的限定的期间作为应急处置而被显示，避免无限制地持续显示复原图像。其结果是，能够维持利用修复图像所带来的便捷性，例如不在每次污垢附着时都进行污垢清扫也能够维持能够继续进行周边监视的便捷性，并且能够避免复原图像被持续长时间显示的情况从而能够更均衡地确保作为系统的可靠性。以下，首先，对周边监视装置的详细内容进行说明。
图1是搭载有本实施方式的周边监视装置的车辆10的示意性俯视图。车辆10例如可以是将内燃机(发动机，未图示)作为驱动源的汽车(内燃机汽车)，也可以是将电动机(马达，未图示)作为驱动源的汽车(电动车、燃料电池汽车等)，也可以是将它们双方作为驱动源的汽车(混合动力汽车)。另外，车辆10能够搭载各种变速装置，能够搭载为了驱动内燃机、电动机所需的各种装置(系统、部件等)。另外，关于与车辆10的车轮12(前轮12F、后轮12R)的驱动相关的装置的方式、个数以及布局等，能够进行各种设定。
如图1例示的那样，作为多个拍摄部14，在车辆10例如设置有四个拍摄部14a～14d。拍摄部14例如是内置CCD(Charge Coupled Device：电荷耦合器件)、CIS(CMOS imagesensor：CMOS图像传感器)等拍摄元件的数字摄像机。拍摄部14能够以规定的帧率输出视频数据(拍摄图像数据)。拍摄部14分别具有广角镜头或者鱼眼镜头，能够在水平方向例如拍摄140°～220°的范围。另外，例如被配置于车辆10的外周部的拍摄部14(14a～14d)的光轴有时也被朝向斜下方地设定。因此，拍摄部14(14a～14d)依次拍摄包含车辆10能够移动的路面、被附加在路面的标记(箭头、划分线、表示停车空间的停车框、车道分离线等)、物体(作为障碍物，例如行人、其他车辆等)的车辆10外部的周边环境(周围状况)，作为拍摄图像数据来进行输出。
拍摄部14a例如在车辆10的前侧亦即车辆前后方向的前方侧被设置于车宽方向的大致中央的端部、例如前保险杠10a、前格栅等，从而能够拍摄包含车辆10的前端部(例如前保险杠10a)的前方图像。另外，拍摄部14b例如在车辆10的后侧亦即车辆前后方向的后方侧被设置于车宽方向的大致中央的端部、例如后保险杠10b的上方位置，能够拍摄包含车辆10的后端部(例如后保险杠10b)的后方区域。另外，拍摄部14c例如被设置于车辆10的右侧的端部例如右侧的车门上后视镜10c，能够拍摄包含以车辆10的右侧方为中心的区域(例如从右前方到右后方的区域)的右侧方图像。拍摄部14d例如被设置于车辆10的左侧的端部例如左侧的车门上后视镜10d，能够拍摄包含以车辆10的左侧方为中心的区域(例如从左前方到左后方的区域)的左侧方图像。
例如由拍摄部14a～14d得到的各拍摄图像数据分别被执行运算处理、图像处理，从而能够显示车辆10的周围各个方向的图像并且执行周边监视。另外，基于各拍摄图像数据，执行运算处理、图像处理，从而能够生成更广的视野角度的图像，或生成并显示从上方、前方、侧方等观察车辆10的假想图像(俯瞰图像(俯视图像)、侧方视图像、正面视图像等)，执行周边监视。
由各拍摄部14拍摄的拍摄图像数据如上所述，为了向驾驶员等利用者提供车辆10的周围的状况，而被显示于车室内的显示装置。另外，拍摄图像数据被向进行各种检测、检验的处理装置(处理部)提供，能够用于控制车辆10。
图2是包含被搭载于车辆10的周边监视装置的车辆控制系统100的结构的示例性的框图。在车辆10的车室内设置有显示装置16、声音输出装置18。显示装置16例如是LCD(liquid crystal display：液晶显示器)、OELD(organic electroluminescent display：有机电致发光显示器)等。声音输出装置18例如是扬声器。另外，显示装置16例如被触摸面板等透明的操作输入部20覆盖。利用者(例如驾驶员)能够经由操作输入部20辨认被显示于显示装置16的显示画面的图像。另外，利用者能够在与被设置于显示装置16的显示画面的图像对应的位置，通过手指等触摸或按压操作输入部20来进行操作，从而执行操作输入。这些显示装置16、声音输出装置18、操作输入部20等例如被设置于位于车辆10的仪表盘的车宽方向即左右方向的例如中央部的监视器装置22。监视器装置22能够具有开关、拨盘、操作杆、按钮等未图示的操作输入部。监视器装置22例如兼作导航系统、音频系统。
另外，如图2中例示所示，车辆控制系统100(包含周边监视装置)除了拍摄部14(14a～14d)、监视器装置22之外，还包含ECU24(electronic control unit：电子控制单元)、档位传感器26、停车制动传感器28、车门开闭传感器30、IGSW传感器32(点火开关传感器)、轮速传感器34、转向角传感器36、信息获取部38等。在车辆控制系统100中，ECU24、监视器装置22、档位传感器26、停车制动传感器28、车门开闭传感器30、IGSW传感器32、轮速传感器34、转向角传感器36、信息获取部38等经由作为电气通信线路的车内网络40被进行电连接。车内网络40例如作为CAN(controller area network：控制器局域网)而构成。ECU24通过车内网络40来发送控制信号，从而能够执行各种系统(例如驱动系统、转向操纵系统、制动器系统等)的控制。另外，ECU24能够经由车内网络40接收操作输入部20、各种开关的操作信号等、档位传感器26、停车制动传感器28、车门开闭传感器30、IGSW传感器32、轮速传感器34、转向角传感器36等各种传感器的检测信号等、信息获取部38能够获取的位置信息等信息。此外，如上述那样用于使车辆10行驶的各种系统(转向操纵系统、制动器系统、驱动系统等)、各种传感器与车内网络40连接，在图2中，关于本实施方式的周边监视装置中这些系统不是必须的构成，省略了图示，并且省略其说明。
ECU24将与基于由拍摄部14获取的拍摄图像数据生成的周边图像等、声音相关的数据向监视器装置22发送。ECU24例如具有：CPU24a(central processing unit：中央处理器)、ROM24b(read only memory：只读存储器)、RAM24c(random access memory：随机存取存储器)、显示控制部24d、声音控制部24e、SSD24f(固态硬盘、闪存)等。
CPU24a读出被存储(安装)于ROM24b等非易失性的存储装置的程序，根据该程序执行运算处理。ROM24b存储各程序以及程序的执行所需的参数、在复原拍摄图像时被利用的、事先使用多个数据进行学习的学习完毕模型等。RAM24c作为CPU24a执行复原图像的复原处理时的工作区域而被使用，并且作为在CPU24a的运算中被使用的各种数据(由拍摄部14依次(以时间序列)拍摄的拍摄图像数据等)的暂时储存区域而被利用。另外，显示控制部24d主要执行ECU24的运算处理中的、由显示装置16显示的图像数据的合成等。另外，声音控制部24e主要执行ECU24的运算处理中的、由声音输出装置18输出的声音数据的处理。SSD24f是能够改写的非易失性的存储部，即使在ECU24的电源被切断的情况下也能够存储数据。此外，CPU24a、ROM24b、RAM24c等被集成在同一组件内。另外，ECU24也可以代替CPU24a，是使用DSP(digital signal processor：数字信号处理器)等其它逻辑运算处理器、逻辑电路等的构成。另外，也可以代替SSD24f而设置有HDD(hard disk drive：硬盘驱动器)，也可以独立于ECU24而设置SSD24f、HDD。
档位传感器26例如是检测车辆10的变速操作部的可动部的位置的传感器。档位传感器26能够基于作为可动部的操作杆、臂、按钮等的位置，检测变速操作部的可动部例如是否在“停车(P)范围(停车档位)”。在变速操作部的可动部的位置处于“停车(P)范围”的情况下，能够视为车辆10的利用者(例如驾驶员等)进行了成为能够下车的状态的车辆操作。
停车制动传感器28是检测与车辆10的车轮12连接的、例如用于维持盘式制动器的制动力产生状态的操作部例如操作杆、开关、踏板等的位置的传感器。在检测出表示停车制动器(停车制动器)处于动作状态(制动力产生状态)的操作杆、开关、踏板等的位置的情况下，能够视为车辆10的利用者(例如驾驶员等)进行了成为能够下车的状态的车辆操作。
车门开闭传感器30是检测车辆10的前后排的驾驶座侧、副驾驶席侧的车门的开闭的传感器。车门开闭传感器30例如是被配置于各车门的铰接的部分，并检测成为乘客的乘降能够充分地进行的程度的打开角度的传感器。在检测出乘客的乘降能够充分地进行的程度来作为车门的打开角度的情况下，能够视为车辆10的利用者(例如驾驶员等)进行了成为能够下车的状态的车辆操作。
IGSW传感器32是为了使车辆10进行行驶状态而检测电源开关的操作状态的传感器，在是插入钥匙的圆柱型的点火开关的情况下，基于钥匙的转动位置或通过转动而被连接的电路的状态，来检测点火开关的状态。另外，在点火开关由按钮开关等构成的情况下，基于由按钮开关的操作决定的电路状态，来检测点火开关的状态。在基于点火开关的状态，检测出车辆10是未行驶的状态(例如发动机、马达的停止，电源的切断等)的情况下，能够视为车辆10的利用者(例如驾驶员等)进行了成为能够下车的状态的车辆操作。
轮速传感器34是检测车轮12的旋转量、每单位时间的转速的传感器。轮速传感器34被配置于各车轮12，输出表示在各车轮12检测出的转速的轮速脉冲数作为传感器值。轮速传感器34例如能够使用霍尔元件等构成。CPU24a在基于从轮速传感器34获取的传感器值来计算车辆10的车速的情况下，基于四个轮中的最小的传感器值的车轮12的速度来决定车辆10的车速，执行各种控制。在本实施方式的情况下，车速将在后述，其能够在决定是否执行复原图像的复原处理时被利用。
转向角传感器36例如是检测方向盘等的转向操纵量的传感器。转向角传感器36例如使用霍尔元件等而构成。CPU24a从转向角传感器36获取由驾驶员进行的方向盘的转向操纵量、自动转向操纵时的各车轮12的转向操纵量等而执行各种控制。此外，转向角传感器36检测方向盘所含的旋转部分的旋转角度。在本实施方式的情况下，转向操纵量将在后述，其能够在决定是否执行复原图像的复原处理时被利用。
信息获取部38能够接收从GPS(Global Positioning System：全球定位系统)发送的GPS信号从而获取车辆10当前的位置，并且能够获取由外部的信息中心等发送的气象信息等，将获取的信息用于各种控制。此外，在监视器装置22供导航系统使用的情况下，也可以在导航系统侧获取车辆10的位置信息、外部信息等。在本实施方式的情况下，信息获取部38获取的信息将在后述，其能够在决定是否执行复原图像的复原处理时被利用。
在本实施方式中，ECU24通过硬件与软件(控制程序)配合，在污垢存在于由拍摄部14拍摄的拍摄图像的情况下，进行从该拍摄图像除去污垢那样的图像、即复原污垢不存在的状态的“复原图像”的生成处理(复原处理)、以及进行决定是否显示该复原图像的显示处理。图3是示例性表示在ECU24所含的CPU24a中，实现实施方式涉及的周边监视装置(周边监视部42)的情况下的结构的框图。
周边监视部42包含用于实现生成除去存在于拍摄图像的污垢那样的复原图像的复原处理功能的各种模块。例如，周边监视部42包含受理部42a、图像获取部42b、污垢信息获取部42c、速度获取部42d、复原处理部42e、显示判定部42f、报告部42g、输出部42h等。上述模块也可以作为专用的硬件而构成。此外，虽将在后述，但在使用由复原处理部42e执行的深度学习等的处理中需要大量的并行计算，所以例如也可以灵活运用GPU(GraphicsProcessing Unit：中央处理器)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)等。周边监视部42实际上包含用于执行障碍物检测、白线检测等的模块来作为周边监视处理，在图3中，除了复原处理所需的模块以外省略了图示，并且省略其说明。
ROM24b除了存储由CPU24a执行的各种程序以外，还存储在生成复原图像时利用的模型数据、在执行各种判定时参照的阈值数据、在进行各种报告时利用的消息数据等。ROM24b例如包含污垢信息学习完毕模型储存部44a、学习完毕模型储存部44b、阈值数据储存部44c、报告数据储存部44d等。
被存储于污垢信息学习完毕模型储存部44a的污垢信息学习完毕模型是被污垢信息获取部42c利用的、用于以像素为单位计算复原对象的拍摄图像中的存在污垢(例如雨滴等)的概率的模型。在构建污垢信息学习完毕模型的情况下，例如将表示没有污垢的值设为“0”，将表示有污垢的值设为“1”。而且，以学习用图像的像素为单位用“0～1”之间的评价值表示作为污垢的确定性。基于使用该评价值的学习用图像，例如通过深度学习等机器学习方法进行学习，从而构建污垢信息学习完毕模型。因此，将由拍摄部14拍摄的拍摄图像(数据)向污垢信息学习完毕模型输入，从而判定评价值接近“1”的像素的多少，输出污垢的位置、污垢的大小(区域的大小)。
被存储于学习完毕模型储存部44b的学习完毕模型是被复原处理部42e利用的模型。学习完毕模型在以下情况被利用，即当车辆10正在移动时由被设置于车辆10的拍摄部14以时间序列拍摄多个拍摄图像之中的最新拍摄图像中被污垢隐藏了区域，而需要生产复原该被污垢隐藏的区域的复原图像来作为复原图像。在图4中示出了学习完毕模型的构建概念。如图4所示，学习完毕模型56是例如利用深度学习等公知的机器学习方法学习不存在学习用污垢54(例如雨滴等)的学习用图像50、与在该学习用图像50存在学习用污垢54的多个学习用污垢图像52的关系的模型。使用学习完毕模型56的复原处理的详细内容将在后述。
阈值数据储存部44c存储在判定复原处理部42e是否执行复原处理时参照的阈值。
报告数据储存部44d存储有用于使利用者容易识别有无复原图像的显示的报告、在推定为污垢附着于拍摄部14时催促清扫的报告等的消息、组合地进行输出消息的情况下的消息字段等。
另外，如上所述，RAM24c作为CPU24a执行复原图像的复原处理时的工作区域而被使用，并且包含暂时储存在CPU24a的运算中被使用的拍摄图像数据(由拍摄部14依次(以时间序列)拍摄的拍摄图像数据等)的拍摄图像储存部46等。拍摄图像储存部46依次存储拍摄图像数据直到预先决定的存储区域已满，并且在预先决定的存储容量已满的情况下，按存储的先后顺序来删除拍摄图像数据，确保新的拍摄图像数据的存储区域。因此，拍摄图像储存部46能够总是保持一定期间的拍摄图像数。
SSD24f具备复原履历储存部48，该复原履历储存部48例如保存复原图像的生成履历作为在ECU24的电源被切断的情况下事先保存的数据。表示对于多个拍摄部14中的哪个拍摄部14的拍摄图像数据进行复原的数据、进行复原的时刻、复原的程度等数据作为复原履历被保存于复原履历储存部48。SSD24f例如在ECU24的电源被切断前(例如在驾驶员下车前)显示有复原图像的情况下，存储该复原内容。其结果是，在ECU24的电源被打开的情况下(例如，驾驶员为了行驶而上车的情况下)，能够判定在ECU24的电源被切断前是否实施了图像复原。虽将在后述，但在显示复原图像时，在ECU24的电源被切断后，再次被打开的情况下，尽管进入车辆10前能够进行拍摄部14的清扫，但是在没有进行清扫的情况下，不允许(禁止)复原图像的显示。此外，在其它实施方式中，也可以保持复原履历一定期间并获取复原的趋势等时利用，但基本上以除去污垢为条件来废除复原履历，从而防止SSD24f的存储容量的溢出。
受理部42a受理请求生成复原图像时的请求信号。复原图像的生成例如也可以在车辆10的行驶中，在拍摄图像中检测出污垢的情况下被自动地执行(自动复原模式)。另外，也可以车辆10的利用者(例如驾驶员)经由操作输入部20等在希望的时刻(例如在被显示于显示装置16的图像因污垢而难以观察的情况下等)手动地执行复原图像的生成(手动复原模式)。在自动地请求生成复原图像的情况下，受理部42a受理来自周边监视部42侧的请求信号，在手动地请求生成复原图像的情况下，受理部42a经由车内网络40受理来自操作输入部20等的操作信号。此外，本实施方式的周边监视部42显示的复原图像如上所述，在非显示条件成立之前的限定的期间当污垢产生时作为应急处置地显示。因此，有时即使在根据复原图像的显示状况而选择了自动复原模式的情况下，在周边监视部42侧也不输出请求信号。另外，还存在手动复原模式没有成为有效的情况(无法进行操作输入部20等的操作的情况)。此外，复原图像是污垢被除去的图像，所以存在利用者没有意识到被显示于显示装置16的图像是复原图像的情况。因此，优选复原图像的显示被设为能够在“手动复原模式”下执行，使利用者容易识别被显示的图像是复原图像。
图像获取部42b以帧为单位获取由各拍摄部14拍摄的拍摄图像数据，并将其存储于RAM24c的拍摄图像储存部46。图像获取部42b能够在车辆10(ECU24)的电源接通的情况下依次获取由拍摄部14拍摄的拍摄图像数据。图像获取部42b以拍摄部14为单位识别并获取各拍摄部14(14a～14d)拍摄的拍摄图像数据，并存储于拍摄图像储存部46。因此，在拍摄图像储存部46中将拍摄图像数据存储为以各拍摄部14为单位按时间序列连续的帧数据。拍摄图像储存部46能够存储一定期间、例如3～5秒的拍摄图像数据，依次将新的拍摄图像数据保存。因此，拍摄图像储存部46能够向复原处理部42e提供最新拍摄图像以及从最新拍摄图像按时间序列追溯规定期间的多个过去图像。另外，拍摄图像储存部46作为以一定期间储存拍摄图像数据的情况的其它的例子，例如拍摄图像储存部46也可以存储车辆10行驶一定距离的期间的拍摄图像数据。
污垢信息获取部42c在污垢是否存在于拍摄图像中、以及污垢存在的情况下，将拍摄图像向从ROM24b的污垢信息学习完毕模型储存部44a读出的污垢信息学习完毕模型输入从而获取该污垢的位置、大小。污垢信息获取部42c将已获取的污垢信息依次向复原处理部42e提供。在污垢例如是泥巴、灰尘附着的情况下，即使在车辆10行驶的情况下污垢在拍摄部14的镜头上移动的可能性也较低。另一方面，在污垢是像雨滴等那样容易移动且变形的污垢的情况下，存在因车辆10的行驶时受到的风压等而污垢在拍摄部14的镜头上移动，大小发生变化的可能性。因此，污垢信息获取部42c至少在复原处理部42e执行复原处理的期间，以拍摄图像为单位依次执行污垢信息的获取。
速度获取部42d基于轮速传感器34的检测值，获取车辆10当前的车速、加速度。速度获取部42d将车辆10的车速向复原处理部42e提供，在显示判定部42f中，在允许复原图像的显示的非显示条件未成立的情况下，在判定是否执行复原处理时被利用。车速的利用的详细内容将在后述。
复原处理部42e进行复原对象的拍摄图像的复原。图5是表示由复原处理部42e执行的复原处理的影像的示例性且示意性的说明图。此外，图5，作为一个例子示出了复原由拍摄部14中的拍摄部14a拍摄的前方图像来作为复原对象的拍摄图像的情况。
首先，复原处理部42e将由拍摄部14(拍摄部14a)依次拍摄的以时间序列储存在RAM24c的拍摄图像储存部46的多个拍摄图像58向学习完毕模型56输入。在该情况下，与存在于拍摄图像58的污垢60(例如泥巴)的位置、大小相关的污垢信息能够基于从污垢信息获取部42c提供的污垢信息而被识别，在学习完毕模型56中，对于存在污垢60的可能性高的区域依次执行复原处理。在该情况下，对时间序列的多个拍摄图像58中的最新拍摄图像58a执行复原处理。此时，这样的可能性：被存在于最新拍摄图像58a上的污垢60隐藏的区域在由行驶的车辆10的拍摄部14拍摄的、比最新拍摄图像58a按时间序列靠过去的过去图像58b中没有被污垢60隐藏地拍摄到。因此，学习完毕模型56通过多个过去图像58b的信息的输入，能够生成以大概率复原被污垢60隐藏的区域的复原图像62，能够提高复原图像的品质。在图5的情况下，在拍摄图像58中，被污垢60隐藏的护栏66a的一部分、围栏66b的一部分在复原图像62的复原区域64被复原。其结果是，在复原图像62中，能够确认护栏66a、围栏66b。
复原处理部42e具备复原执行判定部42e1。复原处理部42e如上所述，使用包含最新拍摄图像58a以及过去图像58b的多个拍摄图像58来执行复原处理。在该情况下，能够在复原处理中利用的过去图像58b限于含有在最新拍摄图像58a中描绘的内容的过去图像。在车辆10行驶的情况下，例如限于数秒前拍摄的过去图像58b。这样，在能够利用的过去图像58b存在限制的状况下，在存在于最新拍摄图像58a的污垢60较大的情况下，有时即使使用由最新拍摄图像58a以及过去图像58b构成的多个拍摄图像58来执行复原处理也无法进行充分的复原。例如，在污垢60超过了由规定的阈值表示的大小的情况下，存在这样的可能性：在过去图像58b中也存在被污垢60一直隐藏的物体。在这样的情况下，无法充分地复原在最新拍摄图像58a中被污垢60隐藏的区域，所以不希望执行复原处理部42e的复原处理。因此，复原执行判定部42e1在不满足能够复原条件的情况下，将复原处理设为不执行。复原执行判定部42e1进行污垢信息获取部42c获取的污垢信息所含的最新拍摄图像58a的污垢的大小、与规定的阈值的比较，在污垢的大小是阈值以上的情况下，判定为充分的污垢部分的复原是不可能的，将复原处理设为不执行。
此外，在该情况下，阈值虽可以设为恒定值，但往往因车辆10的速度，而会产生能够复原的情况和无法复原的情况。例如，即使在污垢60的大小较大的情况下，在车辆10的移动速度较高的情况下，在最新拍摄图像58a中成为隐藏的原因的污垢60在过去图像58b中把从最新拍摄图像58a的隐藏区域离开的地方隐藏的可能性变高。即、在车辆10的移动量较大的情况下，在以时间序列追溯的过去图像58b中描绘了在最新拍摄图像58a中被污垢60隐藏的区域的可能性增加。相反，即使在污垢60的大小较小的情况下，在车辆10的移动速度较低的情况下，在最新拍摄图像58a与过去图像58b中污垢60的移动量较小。因此，即使参照以时间序列追溯的过去图像58b，在最新拍摄图像58a中被污垢60隐藏的区域依然被隐藏的可能性增加。因此，阈值变更部42e2根据车辆10的车速与污垢60的大小，对判定可否进行复原执行时的阈值进行变更。阈值变更部42e2从ROM24b的阈值数据储存部44c读出使车辆10的车速、污垢60的大小以及阈值建立关联的阈值映射表。而且，阈值变更部42e2在复原处理部42e的复原处理执行时，从速度获取部42d获取车辆10当前的车速，并且从污垢信息获取部42c获取到的污垢信息获取污垢60的大小，参照阈值映射表。然后，阈值变更部42e2在当前的状况下为了判定可够执行复原而决定(变更)最佳的阈值，并将该阈值向复原处理部42e提供。在复原处理部42e中，基于被提供的阈值来进行是否执行复原处理的判定。
然而，如上所述，复原图像62是利用图像处理将图像上的污垢消去，并取而代之地将具有与污垢60存在的位置对应的可能性的图像叠加而生成的合成图像。因此，在某瞬间，在物体存在于被污垢60隐藏的区域的情况下，有时无法复原该物体，无法使利用者识别。因此，不希望长期间持续地利用复原图像62而出现作为周边图像的可靠性降低的情况。因此，周边监视部42的显示判定部42f判定是应该继续显示复原图像62，还是应该不表示。在本实施方式的情况下，在产生了污垢60的情况下，避免了使利用者仅为了拍摄部14的清扫(污垢60的除去)而下车这样的麻烦，并且维持通过显示复原图像62作为应急处置而容易观察显示装置16之类的优点。其另一方面，在利用者与拍摄部14的清扫无关地从车辆10下车的情况下，顺便进行拍摄部14的清扫(污垢60的除去)，从而使只为了清扫拍摄部14而下车这样的影像减少。但是，在存在污垢60的情况下(正在生成复原图像62的情况下)，尽管存在一次下车的机会，但是在没有进行拍摄部14的清扫(污垢60的除去)的情况下，结束(禁止)复原图像62的显示，还是要显示污垢60仍然存在的拍摄图像58。通过显示污垢60存在的拍摄图像58，由此能够使利用者容易地意识污垢60存在，并且能够强调污垢60的除去(拍摄部14的清扫)的必要性。
显示判定部42f在利用复原处理部42e进行复原图像62的显示的情况下，判定是否进行使车辆10的利用者的下车成为可能的车辆操作。显示判定部42f在显示复原图像62的状态(允许复原图像62的生成的状态)下，例如基于档位传感器26的检测结果，获取当前的变速操作部的状态是否是“停车(P)范围”的情况，在是“停车(P)范围”的情况下，车辆10的利用者(例如驾驶员等)判定为是能够下车的状态。然后，尽管从“停车(P)范围”切换到其它范围、例如驾驶(D)范围(成为车辆10的停车被解除的状态的范围)，但在污垢60的存在继续的情况下，无论是否存在下车的机会，都判定为没有进行拍摄部14的清扫(污垢60的除去)。即、被视为将复原图像62不进行显示的非显示条件成立，结束(禁止)复原图像62的显示。即在显示装置16显示污垢60存在的拍摄图像58，避免在复原区域继续显示可能与现实不同的物体存在的复原图像62。
此外，是否实施了拍摄部14的清扫(污垢60的除去)的判定能够利用公知的污垢检测技术。例如，比较在有可能进行了污垢60的除去的期间(下车)的前后的时刻获取的多个(例如二张)拍摄图像，从而能够检测污垢60的有无。例如能够通过比较能够检测到已移至“停车(P)范围”时的复原图像62、与之后已移至“驾驶(D)范围”时的复原图像62来进行判定。在没有进行拍摄部14的清扫(污垢60的除去)的情况下，二张复原图像62的变化较少。另一方面，在进行了拍摄部14的清扫(污垢60的除去)的情况下，由于污垢60消失所以二张复原图像62的变化大。其结果是，能够判定拍摄部14的清扫(污垢60的除去)的有无。另外，作为其它的污垢60的检测技术例如公知有使用公知的空间频率的检测。对拍摄部14(例如拍摄部14a)拍摄的拍摄图像实施FFT(傅立叶变换)处理，改为频率区域的显示。在该情况下，若在拍摄部14的拍摄面(例如镜头)附着有污垢60则光模糊，所以出现在图像中的物体的边缘模糊。即、高频的频率部分衰减。在产生了这样的现象的情况下，能够判定为在拍摄部14的拍摄表面存在污垢60。
另外，显示判定部42f也能够利用停车制动传感器28的检测结果，同样地判定是否进行了使车辆10的利用者的下车成为可能的车辆操作。即、在进行了使停车制动器有效那样的车辆操作的情况下，能够推定为利用者从车辆10下车。另外，显示判定部42f也可以利用车门开闭传感器30的检测结果。在该情况下，能够使利用者的下车的可能性更准确。另外，显示判定部42f也可以利用IGSW传感器32的检测结果。在该情况下，也能够推定为(暂时)结束车辆10的行驶，能够推定为利用者下车的可能性较高。
为了判定是否进行了使车辆10的利用者的下车成为可能的车辆操作而使用的传感器是一个例子，并不限于此。另外，也可以组合多个传感器的检测结果而用于判定。在该情况下，能够提高判定(推定)精度。此外，即使在车辆10被长期间停车的情况下(例如被停车数日的情况下)，如上述那样能够判定是否存在拍摄部14的清扫(污垢60的除去)的机会。另外，在该情况下，通过参照复原履历储存部48，从而能够确认在长期间的停车之前是否因污垢60的存在而显示(生成)了复原图像62。
显示判定部42f在判定为进行了拍摄部14的清扫(污垢60的除去)的情况下，暂时结束复原处理部42e的复原图像的显示，使显示装置16显示非复原处理的拍摄图像58。即、如通常那样显示不存在污垢60的拍摄图像58。
此外，即使在复原图像62被生成并被显示于显示装置16的情况下，也存在车辆10的行驶长时间继续的情况。例如，在高速道路行驶的情况下，有时因停车区域的间隔而利用者的下车无法被实施。在这样的情况下，复原图像62被长时间持续显示。因此，显示判定部42f在从复原图像62的显示开始执行了规定期间的该复原图像62的显示的情况下，也可以视为非显示条件成立。显示判定部42f也可以在复原图像62的显示开始之后，例如在经过了30分的情况下，判定为非显示条件成立，结束(禁止)复原图像62的显示，显示污垢60存在的非复原图像。
报告部42g在复原处理部42e判定为污垢60存在于拍摄图像58中的情况下，向利用者报告污垢60存在的情况。报告部42g执行复原图像62被显示时被执行的复原图像62的显示报告、和复原图像62的非显示条件成立时被执行的复原图像62的非显示报告中的至少一个。另外，报告部42g在进行了复原图像62的显示的情况下，在进行了使利用者的下车成为可能的车辆操作时，执行催促拍摄部14的清扫的报告。报告部42g例如也可以读出被存储于ROM24b的报告数据储存部44d的报告消息，使其显示于显示装置16，也可以读出声音消息后经由声音输出装置18输出。另外，也可以组合它们来实施。被存储于报告数据储存部44d的消息可以是固定类型的消息，也可以组合多个消息字段而构成与状况对应的消息。
图6是表示在显示复原图像68时被执行的复原图像68的“显示报告”的一个例子的示意性说明图。如图6所示，在使显示装置16显示复原图像68的情况下，显示装置16例如被分割为图像显示区域16a与消息显示区域16b。在图6的情况下，在图像显示区域16a显示有护栏66a、围栏66b等被复原在复原区域64中的复原图像68。在图6的情况下，为了说明，虽示出了复原区域64，但在实际的复原图像68中，以复原区域64难以被识别的方式进行复原。在消息显示区域16b中显示消息70(复原时消息)，来作为复原图像68的显示报告。消息70例如能够是“当前，处于复原显示模式显示中。请充分地进行周围的确认。推荐在安全的位置停车，进行摄像机镜头的清洁。”等内容。这样，在复原图像68的“显示报告”的情况下，能够成为一边承认复原图像68的显示，一边建议拍摄部14的清扫的程度的报告。此外，上述那样的消息70的内容也可以在开始复原图像68的显示之后，执行规定的期间，例如15秒左右，然后将“复原模式显示中”的仅部分消息显示于图像显示区域16a的一部分。由此，能够将消息显示区域16b的显示区域作为图像显示区域16a的显示区域利用，能够更大地显示复原图像68。另外，能够抑制因消息70的过度显示而给利用者带来烦恼的情况。此外，消息70的显示、代替消息70而显示的“复原模式显示中”等部分消息能够以更引起利用者的注意的方式，用容易识别并且不过于强调的显示颜色(例如黄色、橙色)来显示。另外，即使周期性地进行消息70的显示、部分消息的显示，也能够抑制过度的消息显示。此外，消息70等的消息内容是一个例子能够适当地改变。另外，也可以代替消息70，以声音从声音输出装置18等输出同样内容的声音消息。另外，也可以进行消息70的显示和声音消息的输出双方。
图7是表示显示非复原图像72时被执行的非复原图像72的“非显示报告”的一个例子的示意性说明图。如图7所示，与显示复原图像68的情况相同，在使显示装置16显示非复原图像72的情况下，显示装置16例如被分割为图像显示区域16a与消息显示区域16b。在图7的情况下，在图像显示区域16a显示有护栏66a、围栏66b等的一部分被污垢60隐藏的非复原图像72。在消息显示区域16b显示消息74(非复原时消息)，来作为非复原图像72的显示报告。消息74例如能够是“当前，复原显示模式不可使用。请充分地进行周围的确认。请在安全的位置停车，进行摄像机镜头的清洁。”等内容。这样，在非复原图像72的“非显示报告”的情况下，将明确展示非复原图像72的显示并且实施拍摄部14的清扫的内容报告。此外，上述那样的消息74的内容也可以在切换为非复原图像72的显示之后，显示规定的期间、例如15秒左右，然后在图像显示区域16a的一部分显示“不可进行复原模式显示”以及“摄像机镜头的清洁”等部分消息。由此，能够将消息显示区域16b的显示区域作为图像显示区域16a的显示区域来利用，能够更大地显示非复原图像72，能够提前使利用者容易注意到污垢60的存在。相反，也可以扩大消息显示区域16b的显示区域，通过消息74的显示，使利用者容易提前注意到不能进行复原模式显示、尽早清扫拍摄部14的必要性。此外，消息74的显示、代替消息74而显示的部分消息，为了引起利用者的注意，能够用容易识别的显示颜色(例如红色等)来显示。此外，消息74等的消息内容是一个例子能够适当地改变。另外，也可以代替消息74，以声音从声音输出装置18等输出同样内容的声音消息。另外，也可以进行消息74的显示和声音消息的输出双方。此外，报告实施拍摄部14的清扫的消息也可以除了在非复原图像72的正在显示中进行报告之外，特别是在非显示条件成立的情况下，即在利用者下车的时刻进行报告。由此，在下车时容易使利用者强烈地认识到需要进行拍摄部14的清扫的情况。此外，在该情况下，也可以一并提供确定污垢60附着的拍摄部14的消息、表示拍摄部14的镜头上的污垢60的位置的消息。由此，容易执行更可靠的拍摄部14的清扫。
输出部42h将由复原处理部42e生成的复原图像68、复原图像68的显示被禁止时的非复原图像72、与上述图像对应的消息70、消息74向控制部24d输出，由显示装置16显示。另外，将声音消息向声音控制部24e输出，并由声音输出装置18输出。
此外，图3所示的框图虽以按功能分类的模块进行了记载，但也可以适当地统一各功能，或适当地分割各功能。
使用图8的流程图对由以上那样构成的周边监视装置(周边监视部42)进行的拍摄图像的复原处理的流程的一个例子进行说明。此外，图8的流程在车辆10的电源被接通的期间，以规定的处理周期被反复执行。
首先，若车辆10(ECU24)的电源被接通，则图像获取部42b使拍摄部14动作，开始拍摄图像的获取(S100)，依次执行RAM24c的拍摄图像储存部46的储存。而且，污垢信息获取部42c对于由拍摄部14拍摄的拍摄图像，开始污垢信息的获取(S102)。即依次将拍摄图像向从污垢信息学习完毕模型储存部44a调出的污垢信息学习完毕模型输入，在污垢的有无以及污垢存在的情况下，获取表示该污垢的大小和位置的污垢信息。
接着，受理部42a确认是否受理复原请求信号(S104)，在没有受理复原请求信号的情况下，(S104的否)，返回到S100。受理部42a例如在利用者经由操作输入部20等请求复原图像的显示的情况下(手动选择复原模式时)，或者在基于污垢信息获取部42c获取的污垢信息检测出污垢的情况下(自动选择复原模式时)，受理复原请求信号(S104的是)。若受理部42a受理复原请求信号，则速度获取部42d开始当前车辆10的车速信息的获取(S106)。显示判定部42f判定在当前要显示的拍摄图像58中是否存在污垢60(拍摄部14是否是污垢状态)(S108)。如上所述，例如使用FFT(傅立叶转换)处理，或比较时间上前后的多张拍摄图像58的显示内容，从而能够实施该判定。另外，也可以利用污垢信息获取部42c的获取结果来判定。然后，显示判定部42f在判定为是污垢状态的情况下(S108的是)，即如图5所示，在判定为污垢60存在于拍摄图像58的情况下，判定非显示条件是否已成立(S110)。显示判定部42f例如在进行了使车辆10的利用者的下车成为可能的车辆操作之后污垢60继续存在的情况下，或者在从复原图像68的显示开始执行了规定期间的复原图像68的显示的情况下，视为非显示条件已成立(S110的是)。在该情况下，显示判定部42f使复原图像68的显示结束(禁止)。然后，显示判定部42f使非复原图像72(有污垢60)显示于显示装置16的图像显示区域16a(S112)，并且输出消息74(非复原时消息)而使消息显示区域16b显示该消息(S114)，暂时结束该流程。
在S110中，在显示判定部42f判定为非显示条件不成立的情况下(S110的否)，即在可以显示复原图像68的状态的情况下，显示判定部42f判定当前是否正在执行复原处理(S116)。然后，显示判定部42f在判定为当前正在进行复原处置的情况下(S116的是)，复原处理部42e对当前的拍摄图像58执行复原处理，生成复原图像68(S118)。然后，输出部42h将被复原的复原图像68向控制部24d输出，并使其显示于显示装置16的图像显示区域16a(S120)。另外，输出部42h输出消息70(复原时消息)并使其显示于消息显示区域16b(S122)。在该时刻，在显示判定部42f判定为非显示条件不成立的情况下(S124的否)，暂时结束该流程。即、在进行了使车辆的利用者的下车成为可能的车辆操作，或从开始复原图像68的显示之后没有经过规定期间的情况下，继续复原图像68的显示。
在S124中，在显示判定部42f判定为非显示条件成立的情况下(S124的是)，输出部42h使复原图像68的显示结束，使非复原图像72(有污垢60)显示于显示装置16的图像显示区域16a(S126)。另外，显示判定部42f将允许复原图像68的复原的能够复原标志暂时设为“OFF”(S128)。然后，输出部42h输出消息74(非复原时消息)(S130)，使其显示于消息显示区域16b，暂时结束该流程。
在S116中，在当前不是复原处理中的情况下(S116的否)，即在存在污垢60，据此开始复原图像68的生成的状况的情况下，显示判定部42f将复原中标志设为“ON”(S132)，使输出部42h输出表示在显示装置16中开始复原图像68的显示的“复原开始消息”(S134)，移至S118。
在S108中，在显示判定部42f判定为不是污垢状态的情况下(S108的否)，即、使用FFT(傅立叶转换)处理，或比较时间上前后的多张拍摄图像58的显示内容，由此不能确认污垢60的存在的情况。在该情况下，显示判定部42f在复原中标志是“ON”或者能够复原标志是“OFF”的情况下(S136的是)，将复原中标志设为“OFF”，将能够复原标志设为“ON”(S138)。然后，使输出部42h显示非复原图像，亦即使显示装置16像通常那样显示污垢60不存在的拍摄图像58，暂时结束该流程。在该情况下，特别是消息是不需要的，显示装置16能够使用消息显示区域16b的区域来显示被放大的图像显示区域16a。
这样根据本实施方式的周边监视装置(周边监视部42)，在拍摄图像包含污垢的情况下，能够进行就像没有该污垢地看到的复原图像的显示。但是，在非显示条件成立的情况下，在这之后不进行复原图像的显示。即复原图像的显示作为应急处置，以车辆10的驾驶的一段区间亦即“一段旅程”为限定来执行。或者复原图像能够在一段旅程中从开始复原图像的显示之后以规定期间为限定来显示。其结果是，能够暂时利用复原图像，但能够防止继续长期间被持续利用的情况，能够一边均衡地实施不用对每次污垢附着进行污垢清扫就能够使周边监视继续的便捷性、和避免复原图像被长期间持续显示的可靠性的确保，一边运用周边监视装置。另外，本实施方式在一个旅程结束后也参照复原履历，在重新开始车辆10的行驶的情况下，判定是显示复原图像还是不显示复原图像。在该情况下，例如在利用者(驾驶员等)是别人的情况下，即、即使在不知道过去的复原图像的显示的事实、拍摄部14的清扫的必要性的事实的新的利用者进入车辆10的情况下，在不进行拍摄部14的清扫的情况下，不进行复原图像显示。因此，能够可靠地防止在不知道复原图像的期间继续显示的情况。
另外，在上述例子中，说明了在非显示条件成立的情况下，不显示复原图像的例子。在该情况下，虽也可以继续生成复原图像，但在其它实施方式中，也可以结束(禁止)复原图像的生成，不进行显示，能够得到相同的效果。此外，在结束(禁止)复原图像的显示的情况下，其它的周边监视处理例如障碍物检测处理、自动驾驶处理等可以继续，也可以与不显示复原图像一起被结束(禁止)。
此外，在上述实施方式中，虽基于污垢60的大小和由车辆10的车速决定(改变)的阈值来判定能否执行复原处理，但例如也可以考虑车辆10的转向操纵角、加速度等来改变阈值。例如，考虑基于转向角传感器36的检测值，检测出车辆10较大地改变方向的情况。在该情况下，即使在污垢的大小较大的情况下、车速较慢的情况下，在最新拍摄图像58a中被污垢60隐藏的区域在按时间序列追溯的过去图像58b中，没有被污垢60隐藏的可能性也较高。在车辆10被加速的情况下也同样。因此，使用转向角信息、加速度信息，由此能够进行阈值的最佳化，能够更适当地执行复原处理。另外，也可以考虑能够从信息获取部38获取的车辆10的位置信息、车辆10存在的地方的天气信息来改变阈值。例如也可以在大雨天，在判定为拍摄图像58上的雨滴的数量非常多的情况下，即使在各污垢(雨滴)的大小较小的情况下，也改变阈值使得复原处理为非执行。
另外，在上述实施方式中，例如关于前方图像，虽示出了就像污垢不存在地进行复原的例子，但关于其它拍摄图像，例如后方图像、右侧方图像、左侧方图像也能够通过同样的处理来执行复原处理，能够得到相同的效果。另外，对于俯瞰图像等的合成图像也能够应用本实施方式的复原处理，能够得到相同的效果。在该情况下，复原对象的拍摄图像、合成图像可以通过操作输入部20等来指定，也可以根据显示于显示装置16的图像、由周边监视使用的图像数据而被自动地选择。
用于由本实施方式的周边监视部42(CPU24a)执行的复原处理的周边监视程序也可以构成为，以能够安装的形式或者能够执行的形式的文件记录在CD-ROM、软盘(FD)、CD-R、DVD(Digital Versatile Disk：数字多功能磁盘)等能够由计算机读取的记录介质而被提供。
并且，也可以构成为将周边监视程序存储于与因特网等网络连接的计算机上，并经由网络下载由此被提供。另外，也可以构成为经由因特网等网络提供或者分发由本实施方式执行的周边监视程序。
虽说明了本发明的实施方式以及变形例，但上述实施方式以及变形例是作为例子而提示的，并不旨在限定本发明的范围。这些新的实施方式能够以其它的各种形态被实施，在不脱离发明的宗旨的范围，能够进行各种省略、置换、改变。这些实施方式、其变形包含在发明的范围、宗旨，并且包含在与权利要求书所记载的发明及其等同的范围。

Claims (6)

1.一种周边监视装置，其特征在于，具备：
获取部，获取在所述车辆正在移动时由被设置于车辆并能够拍摄所述车辆的周围的拍摄部拍摄的拍摄图像；
复原处理部，在污垢存在于所述拍摄图像的情况下，以所述污垢不存在的方式复原被所述污垢隐藏的所述拍摄图像的污垢区域从而生成复原图像；以及
显示判定部，在不将所述复原图像作为表示所述车辆当前的周围状况的图像进行显示的非显示条件成立之前，允许所述复原图像的显示。
2.根据权利要求1所述的周边监视装置，其特征在于，
在进行了使所述车辆的利用者的下车成为可能的车辆操作之后所述污垢继续存在的情况下，或者在从所述复原图像的显示开始已执行了规定期间的复原图像的显示的情况下，所述显示判定部视为所述非显示条件成立。
3.根据权利要求2所述的周边监视装置，其特征在于，
在被搭载于所述车辆的变速装置处于停车档位的情况、所述车辆的停车制动器变为有效的情况、所述车辆的车门中的任一个被打开的情况、所述车辆的电源开关被关闭的情况中的至少一种情况被执行时，所述显示判定部判定为进行了所述车辆操作。
4.根据权利要求1～3中任一项所述的周边监视装置，其特征在于，
所述周边监视装置还具备报告部，该报告部在所述复原处理部判定为所述污垢正在存在于所述拍摄图像的情况下，向利用者报告所述污垢正在存在的情况。
5.根据权利要求4所述的周边监视装置，其特征在于，
所述报告部执行在显示所述复原图像时被执行的所述复原图像的显示报告、和在所述复原图像的非显示条件成立时被执行的所述复原图像的非显示报告中的至少一个。
6.根据权利要求4或5所述的周边监视装置，其特征在于，
在正进行所述复原图像的显示的情况下，当进行了使所述利用者的下车成为可能的车辆操作时，所述报告部执行催促所述拍摄部的清扫的报告。
CN202010111748.4A 2019-02-26 2020-02-24 周边监视装置 Pending CN111612701A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-033262 2019-02-26
JP2019033262A JP2020138569A (ja) 2019-02-26 2019-02-26 周辺監視装置

Publications (1)

Publication Number Publication Date
CN111612701A true CN111612701A (zh) 2020-09-01

Family

ID=72138987

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111748.4A Pending CN111612701A (zh) 2019-02-26 2020-02-24 周边监视装置

Country Status (4)

Country Link
US (1) US20200273153A1 (zh)
JP (1) JP2020138569A (zh)
CN (1) CN111612701A (zh)
DE (1) DE102020103141A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7095008B2 (ja) * 2020-03-18 2022-07-04 本田技研工業株式会社 車両制御システム、車両制御方法、及び、車両制御用プログラム
WO2022101982A1 (ja) * 2020-11-10 2022-05-19 三菱電機株式会社 センサノイズ除去装置およびセンサノイズ除去方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295233B2 (en) * 2003-09-30 2007-11-13 Fotonation Vision Limited Detection and removal of blemishes in digital images utilizing original images of defocused scenes
JP4654208B2 (ja) * 2007-02-13 2011-03-16 日立オートモティブシステムズ株式会社 車載用走行環境認識装置
JP4776587B2 (ja) * 2007-06-13 2011-09-21 国立大学法人北海道大学 画像処理装置，運転支援装置
JP5210091B2 (ja) * 2008-08-29 2013-06-12 キヤノン株式会社 画像処理装置及びその制御方法、撮像装置、プログラム
JP4807439B2 (ja) * 2009-06-15 2011-11-02 株式会社デンソー 霧画像復元装置及び運転支援システム
US9449372B2 (en) * 2013-08-22 2016-09-20 Bae Systems Information And Electronic Systems Integration Inc. Dust removal technology for driver vision leverage
US9373160B2 (en) * 2013-12-18 2016-06-21 New York University System, method and computer-accessible medium for restoring an image taken through a window
US9177363B1 (en) * 2014-09-02 2015-11-03 National Taipei University Of Technology Method and image processing apparatus for image visibility restoration
JP6585995B2 (ja) * 2015-11-06 2019-10-02 クラリオン株式会社 画像処理システム
JP6576887B2 (ja) * 2016-08-09 2019-09-18 クラリオン株式会社 車載装置
US10778967B2 (en) * 2017-08-24 2020-09-15 Qualcomm Incorporated Systems and methods for improving performance of a robotic vehicle by managing on-board camera defects

Also Published As

Publication number Publication date
US20200273153A1 (en) 2020-08-27
DE102020103141A1 (de) 2020-08-27
JP2020138569A (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
JP6380002B2 (ja) 周辺監視装置
US10991086B2 (en) Adhered substance detection apparatus
US11393223B2 (en) Periphery monitoring device
JP2021115929A (ja) 車載センサ洗浄装置
CN111612701A (zh) 周边监视装置
CN109278642A (zh) 车辆倒车安全性映射
JP2020086669A (ja) 道路劣化情報収集装置
CN112581381A (zh) 周边监视装置以及周边监视方法
WO2017195403A1 (ja) 車両用表示装置および車両用表示方法およびプログラム
JP7057074B2 (ja) 車載器および運転支援装置
US20220292686A1 (en) Image processing apparatus, image processing method, and computer-readable storage medium storing program
FR3047961A1 (fr) Dispositif et procede d'aide au changement de voie de circulation pour un vehicule automobile
JP2019153932A (ja) 汚れ報知装置
EP4113973A1 (en) Vehicular recording control device and recording control method
CN112389325B (zh) 机动车
CN115022547A (zh) 车载摄像头清洗方法、装置、车辆、存储介质及芯片
JP7137356B2 (ja) 車載用故障検出装置、及び故障検出方法
JP7454177B2 (ja) 周辺監視装置、およびプログラム
JP2020071594A (ja) 履歴蓄積装置、及び履歴蓄積プログラム
CN112867663B (zh) 在倒车阶段中辅助驾驶机动车辆的驾驶辅助方法和装置
JP2019075625A (ja) 周辺監視装置
US20230373509A1 (en) Apparatus and method for message notification
JP6593258B2 (ja) 車両用表示装置および車両用表示方法およびプログラム
JP2007085745A (ja) 物体監視装置
JP2021166021A (ja) 情報処理装置および情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200901