CN112581381A - 周边监视装置以及周边监视方法 - Google Patents

周边监视装置以及周边监视方法 Download PDF

Info

Publication number
CN112581381A
CN112581381A CN202011022505.XA CN202011022505A CN112581381A CN 112581381 A CN112581381 A CN 112581381A CN 202011022505 A CN202011022505 A CN 202011022505A CN 112581381 A CN112581381 A CN 112581381A
Authority
CN
China
Prior art keywords
dirt
captured image
restoration
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011022505.XA
Other languages
English (en)
Inventor
小久保嘉人
末次惠久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Publication of CN112581381A publication Critical patent/CN112581381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了周边监视装置以及周边监视方法，其在适当的场景利用复原图像。作为本公开的一个例子的周边监视装置具备：图像获取部，获取通过拍摄部拍摄到的拍摄图像，该拍摄部在车辆设置为拍摄包含车辆的周边的路面的区域；以及复原控制部，在拍摄图像包含起因于拍摄部的光学系统的污垢的污垢区域的情况下，根据拍摄图像中路面所映现的路面区域与污垢区域的位置关系，控制是否执行复原处理，在该复原处理中输出以通过除去污垢区域来模拟地再现不存在拍摄部的光学系统的污垢的状态的方式从拍摄图像复原的复原图像。

Description

周边监视装置以及周边监视方法
技术领域
本公开涉及周边监视装置以及周边监视方法。
背景技术
以往，已知有用于通过将由安装于车辆的拍摄部拍摄到的拍摄图像输出到显示装置而使驾驶员等监视车辆的周边的状况的技术。在这样的技术中，在拍摄图像包括由于附着于拍摄部的光学系统(例如透镜)的水滴、灰尘、泥等这样的污垢引起的污垢区域的情况下，存在即使直接输出拍摄图像也不能够适当地实现车辆的周边的状况的监视的情况。因此，对用于生成以通过除去污垢区域来模拟地再现不存在拍摄部的光学系统的污垢的状态的方式从拍摄图像复原的复原图像的技术进行了研究。
专利文献1：国际公开第2017/078072号
专利文献2：日本特开2018－197666号公报
然而，在上述那样的技术中，例如即使在应该监视的对象物实际存在于路面上的情况下，根据拍摄到路面的路面区域与污垢区域的位置关系，也可能产生由于对象物应该映现的区域与污垢区域重叠而在复原图像中与污垢区域一起除去对象物应该映现的区域的情况。因此，为了监视车辆的周边的状况而在所有的场景中一直利用复原图像并不适当。
发明内容
因此，本公开的课题之一在于提供能够在适当的场景利用复原图像的周边监视装置以及周边监视方法。
作为本公开的一个例子的周边监视装置具备：图像获取部，获取通过拍摄部拍摄的拍摄图像，其中，该拍摄部设置于车辆，以便拍摄包括车辆的周边的路面的区域；以及复原控制部，在拍摄图像包含由拍摄部的光学系统的污垢引起的污垢区域的情况下，根据拍摄图像中的路面映现的路面区域与污垢区域的位置关系来控制是否执行输出复原图像的复原处理，其中，该复原图像是以通过除去污垢区域来模拟地再现拍摄部的光学系统的污垢不存在的状态的方式从拍摄图像复原的图像。
根据上述的周边监视装置，通过考虑路面区域与污垢区域的位置关系来控制是否执行复原处理，从而能够抑制在复原图像中与污垢区域一起除去应该对象物所映现的区域的情况的产生。由此，能够在适当的场景利用复原图像。
在上述的周边监视装置中，在拍摄图像中污垢区域越存在于接近路面区域的重心的位置，复原控制部越抑制复原处理的执行。根据这样的构成，应该监视的对象物映入的可能性较高的路面区域的重心与污垢区域越远，越抑制复原处理的执行，所以能够进一步抑制在复原图像中与污垢区域一起除去对象物应映现的区域的情况的产生。
在这种情况下，复原控制部根据评价值与阈值的比较结果来切换是否执行复原处理，其中，根据拍摄图像中的路面区域和污垢区域的重心的接近程度来计算评价值。根据这样的构成，能够仅通过比较评价值与阈值，来容易地切换是否执行复原处理。
在使用评价值的上述的构成中，复原控制部在不执行复原处理的情况下，试行使设置于车辆的污垢除去部工作并物理性除去拍摄部的光学系统的污垢的操作，然后对基于通过图像获取部获取的新的拍摄图像计算出的评价值与阈值进行比较。根据这样的构成，能够在试行了能够物理性除去的污垢的除去之后，计算评价值。
另外，在使用评价值的上述的构成中，复原控制部基于污垢数据和加权数据来计算评价值，其中，污垢数据是与拍摄图像所包含的污垢区域的位置以及大小相关的数据，加权数据是与以具有根据与路面区域的重心之间的距离而变动的值的方式对拍摄图像内的各区域预先决定的权重相关的数据。根据这样的构成，能够基于污垢数据和加权数据，容易地计算适当的评价值。
在这种情况下，复原控制部利用污垢检测用神经网络来获取污垢数据，其中，污垢检测用神经网络以根据拍摄图像的输入而输出该拍摄图像内的各区域相当于污垢区域的可能性的方式，通过机械学习预先训练出。根据这样的构成，能够仅通过将拍摄图像输入到污垢检测用神经网络，容易地获取污垢数据。
在上述的周边监视装置中，复原控制部利用复原用神经网络来执行复原处理，其中，复原用神经网络以根据拍摄图像的输入而输出与该拍摄图像对应的复原图像的方式，通过机械学习预先训练出。根据这样的构成，能够仅通过将拍摄图像输入到复原用神经网络，来容易地执行复原处理。
另外，在上述的周边监视装置中，复原控制部在执行代理驾驶员对车辆的驾驶操作的至少一部分的代理控制的情况下，控制是否执行复原处理。根据这样的构成，能够抑制代理控制的精度的降低。更具体而言，在执行代理控制时，若在不适当的场景利用复原图像，则有不能够从复原图像适当地检测出对象物，作为其结果，代理控制的精度降低的可能性。与此相对，若在执行代理控制时适当地控制是否执行复原处理，则能够抑制代理控制的精度的降低。
另外，在上述的周边监视装置中，复原控制部视为路面区域的重心存在于拍摄图像的中央下部的区域，并根据拍摄图像的中央下部的区域与污垢区域的位置关系，控制是否执行复原处理。根据这样的构成，视为路面区域的重心存在于拍摄图像的中央下部的区域，能够简单地确定成为是否执行复原处理的控制的根据的位置关系。
另外，周边监视装置还具备路面推断部，该路面推断部根据拍摄图像推断路面区域，复原控制部根据由路面推断部推断出的路面区域与污垢区域的位置关系，控制是否执行复原处理。根据这样的构成，能够利用路面推断部的推断结果，适当地确定成为是否执行复原处理的控制的根据的位置关系。
作为本公开的另一个例子的周边监视程序是用于使计算机执行以下步骤的程序：图像获取步骤，获取通过拍摄部拍摄的拍摄图像，其中，该拍摄部设置于车辆，以便拍摄包括上述车辆的周边的路面的区域；以及复原控制步骤，在上述拍摄图像包含由上述拍摄部的光学系统的污垢引起的污垢区域的情况下，根据上述拍摄图像中的上述路面映现的路面区域与上述污垢区域的位置关系来控制是否执行输出复原图像的复原处理，其中，该复原图像是以通过除去上述污垢区域来模拟地再现上述拍摄部的光学系统的污垢不存在的状态的方式从上述拍摄图像复原的图像。
根据上述那样的周边监视程序，通过考虑路面区域与污垢区域的位置关系来控制是否执行复原处理，能够抑制在复原图像中与污垢区域一起除去对象物应映现的区域的情况的产生。由此，能够在适当的场景利用复原图像。
附图说明
图1是表示实施方式所涉及的车辆的车厢内的构成的例示的示意图。
图2是表示实施方式所涉及的从上方观察车辆的外观的例示的示意图。
图3是表示实施方式所涉及的车辆的系统构成的例示的示意框图。
图4是表示实施方式所涉及的通过车载照相机能获取的拍摄图像的一个例子的例示的示意图。
图5是表示实施方式所涉及的通过车载照相机能获取的拍摄图像的与图4不同的一个例子的例示的示意图。
图6是表示实施方式所涉及的周边监视装置的构成的例示的示意框图。
图7是用于说明在实施方式中执行的拍摄图像的复原的例示的示意图。
图8是用于说明在实施方式中执行的评价值的计算的例示的示意图。
图9是表示实施方式所涉及的周边监视装置执行的一系列的处理的例示的示意流程图。
附图标记说明
1…车辆，15、15a～15d…车载照相机(拍摄部)，307…污垢除去部，600…周边监视装置，620…图像获取部，630…复原控制部，631a…复原用神经网络，632a…污垢检测用神经网络。
具体实施方式
以下，基于附图，对本公开的实施方式以及变形例进行说明。以下记载的实施方式以及变形例的构成、及通过该构成带来的作用以及效果仅为一个例子，并不限定于以下的记载内容。
＜实施方式＞
首先，使用图1以及图2，对实施方式所涉及的车辆1的概略构成进行说明。图1是表示实施方式所涉及的车辆1的车厢2a内的构成的例示的示意图，图2是表示实施方式所涉及的从上方观察车辆1的外观的例示的示意图。
如图1所示，实施方式所涉及的车辆1具有包括作为用户的驾驶员的乘客乘车的车厢2a。在车厢2a内以用户能够从座席2b进行操作的状态而设置制动部(制动操作部)301a、加速部(加速操作部)302a、转向操纵部303a、以及变速部(变速操作部)304a等。
制动部301a例如是设置在驾驶员的脚下的制动踏板，加速部302a例如是设置在驾驶员的脚下的加速器踏板。另外，转向操纵部303a例如是从仪表板(仪表盘)突出的方向盘，变速部304a例如是从中央控制台突出的变速杆。此外，转向操纵部303a也可以是把手。
在车厢2a内设置有监视器装置11，该监视器装置11具有能够输出各种图像的显示部8、和能够输出各种声音的声音输出部9。监视器装置11例如设置在车厢2a内的仪表板的宽度方向(左右方向)的中央部。此外，显示部8例如由LCD(液晶显示器)、OELD(有机电致发光显示器)等构成。
这里，在显示部8中作为显示图像的区域的显示画面设置有操作输入部10。操作输入部10例如构成作为能够检测手指、手写笔等指示体接近(包含接触)的位置的坐标的触摸面板。由此，用户(驾驶员)能够视觉确认显示在显示部8的显示画面的图像，并且能够通过在操作输入部10上进行使用了指示体的触摸(点击)操作等，来执行各种操作输入。
此外，在实施方式中，操作输入部10也可以是开关、拨号盘、控制杆、按钮等这样的各种物理的接口。另外，在实施方式中，也可以在车厢2a内的与监视器装置11的位置不同的位置设置其它的声音输出装置。该情况下，能够从声音输出部9以及其它的声音输出装置双方输出各种声音信息。另外，在实施方式中，监视器装置11也可以构成为能够显示导航系统、音频系统等各种系统相关的信息。
另外，如图1以及图2所示，实施方式所涉及的车辆1构成作为具有左右两个前轮3F、和左右两个后轮3R的四轮的汽车。以下，为了简单化，有时将前轮3F以及后轮3R总称为车轮3。在实施方式中，四个车轮3的一部分或者全部的侧滑角根据转向操纵部303a的操作等进行变化(转向)。
另外，在车辆1安装有多个(在图1以及图2所示的例子中为四个)车载照相机15a～15d。此外，车载照相机15a～15d是“拍摄部”的一个例子。
车载照相机15a～15d在车辆1设置为拍摄包含车辆1的周边的路面的区域。更具体而言，车载照相机15a设置于车体2的后侧的端部2e(例如后门的下方)，拍摄包含车辆1的后方的路面的区域。另外，车载照相机15b设置于车体2的右侧的端部2f的后视镜2g，并拍摄包含车辆1的右侧方的路面的区域。另外，车载照相机15c设置于车体2的前侧的端部2c(例如前保险杠)，并拍摄包含车辆1的前方的路面的区域。另外，车载照相机15d设置于车体2的左侧的端部2d的后视镜2g，并拍摄包含车辆1的左侧方的路面的区域。以下，为了简单化，有时将车载照相机15a～15d总称为车载照相机15。
车载照相机15例如是具有CCD(电荷耦合元件)、CIS(CMOS(互补金属氧化物半导体)图像传感器)等这样的拍摄元件的所谓的数字照相机。车载照相机15以规定的帧速率进行车辆1的周围的拍摄，并输出通过该拍摄得到的拍摄图像的图像数据。通过车载照相机15得到的图像数据能够作为帧图像构成动态图像。
此外，在实施方式中，作为用于感测车辆1的周围的状况的构成，除了上述的车载照相机15之外，也可以设置检测(计算、确定)到存在于车辆1的周围的立体物为止的距离的测距传感器。作为这样的测距传感器，例如使用发送声波，并接收从存在于车辆1的周围的物体反射的声波的声纳、或者发送光等电波并接收从存在于车辆1的周围的物体反射的电波的激光雷达等。
接下来，使用图3，对在实施方式所涉及的车辆1中为了实现各种控制而设置的系统构成进行说明。此外，图3所示的系统构成仅为一个例子，能够进行各种设定(变更)。
图3是表示实施方式所涉及的车辆1的系统构成的例示的示意框图。
如图3所示，实施方式所涉及的车辆1具有制动系统301、加速系统302、转向操纵系统303、变速系统304、障碍物传感器305、行驶状态传感器306、污垢除去部307、车载照相机15、监视器装置11、控制装置310、以及车载网络350。
制动系统301控制车辆1的减速。制动系统301具有制动部301a、制动控制部301b、以及制动部传感器301c。
制动部301a例如是上述的制动踏板等这样的用于使车辆1减速的装置。
制动控制部301b例如作为具有CPU(Central Processing Unit：中央处理器)等这样的硬件处理器的的微型计算机构成。制动控制部301b例如基于经由车载网络350输入的指示来驱动促动器(未图示)，使制动部301a工作，从而控制车辆1的减速程度。
制动部传感器301c是用于检测制动部301a的状态的装置。例如，在制动部301a构成为制动踏板的情况下，制动部传感器301c检测制动踏板的位置或者作用于该制动踏板的压力，作为制动部301a的状态。制动部传感器301c将检测出的制动部301a的状态输出给车载网络350。
加速系统302控制车辆1的加速。加速系统302具有加速部302a、加速控制部302b、以及加速部传感器302c。
加速部302a例如是上述的加速器踏板等这样的用于使车辆1加速的装置。
加速控制部302b例如构成作为具有CPU等这样的硬件处理器的微型计算机。加速控制部302b例如基于经由车载网络350输入的指示而驱动促动器(未图示)，使加速部302a工作，从而控制车辆1的加速程度。
加速部传感器302c是用于检测加速部302a的状态的装置。例如，在加速部302a构成为加速器踏板的情况下，加速部传感器302c检测加速器踏板的位置或者作用于该加速器踏板的压力。加速部传感器302c将检测出的加速部302a的状态输出给车载网络350。
转向操纵系统303控制车辆1的行进方向。转向操纵系统303具有转向操纵部303a、转向操纵控制部303b、以及转向操纵部传感器303c。
转向操纵部303a例如是上述的方向盘、把手等这样的使车辆1的转向轮转向的装置。
转向操纵控制部303b例如构成作为具有CPU等这样的硬件处理器的微型计算机。转向操纵控制部303b例如基于经由车载网络350输入的指示驱动促动器(未图示)，使转向操纵部303a工作，从而控制车辆1的行进方向。
转向操纵部传感器303c是用于检测转向操纵部303a的状态的装置。例如，在转向操纵部303a构成为方向盘的情况下，转向操纵部传感器303c检测方向盘的位置或者该方向盘的旋转角度。此外，在转向操纵部303a构成为把手的情况下，转向操纵部传感器303c也可以检测把手的位置或者作用于该把手的压力。转向操纵部传感器303c将检测出的转向操纵部303a的状态输出给车载网络350。
变速系统304控制车辆1的变速比。变速系统304具有变速部304a、变速控制部304b、以及变速部传感器304c。
变速部304a例如是上述的变速杆等这样的用于变更车辆1的变速比的装置。
变速控制部304b例如构成作为具有CPU等这样的硬件处理器的计算机。变速控制部304b例如基于经由车载网络350输入的指示驱动促动器(未图示)，使变速部304a工作，从而控制车辆1的变速比。
变速部传感器304c是用于检测变速部304a的状态的装置。例如，在变速部304a构成为变速杆的情况下，变速部传感器304c检测变速杆的位置或者作用于该变速杆的压力。变速部传感器304c将检测出的变速部304a的状态输出给车载网络350。
障碍物传感器305是用于检测可能存在于车辆1的周围的障碍物相关的信息的装置。障碍物传感器305例如包括上述的声纳、激光雷达等这样的测距传感器。障碍物传感器305将检测出的信息输出给车载网络350。
行驶状态传感器306是用于检测车辆1的行驶状态的装置。行驶状态传感器306例如包括检测车辆1的车轮速度的车轮速度传感器、检测车辆1的前后方向或者左右方向的加速度的加速度传感器、检测车辆1的转弯速度(角速度)的陀螺仪传感器等。行驶状态传感器306将检测出的行驶状态输出给车载网络350。
污垢除去部307是以物理性除去安装于车辆1的多个车载照相机15的光学系统(例如透镜)的污垢的方式工作的设备。污垢除去部307例如能够通过在控制装置310的控制下执行对车载照相机15的光学系统的空气的吹送、振动的给予、清洗液的供给等，从而物理性除去附着于车载照相机15的光学系统的水滴、灰尘、泥等这样的污垢。
控制装置310是统一地控制设置于车辆1的各种系统的装置。虽然详细后述，但实施方式所涉及的控制装置310具有：执行代理驾驶员对车辆1的驾驶操作的至少一部分的代理控制的功能；在执行该代理控制时在通过车载照相机15得到的拍摄图像包含起因于车载照相机15的光学系统的污垢的污垢区域的情况下执行输出以通过除去该污垢区域模拟地再现不存在车载照相机15的光学系统的污垢的状态的方式从拍摄图像复原的复原图像的复原处理的功能等。
更具体而言，控制装置310构成作为ECU(Electronic Control Unit：电子控制单元)，该ECU具有CPU(Central Processing Unit：中央处理器)310a、ROM(Read OnlyMemory：只读存储器)310b、RAM(Random Access Memory：随机存储器)310c、SSD(SolidState Drive：固盘)310d、显示控制部310e、声音控制部310f。
CPU310a是统一地控制控制装置310的硬件处理器。CPU310读出存储于ROM310b等的各种控制程序(计算机程序)，根据该各种控制程序所规定的指令实现各种功能。各种控制程序包含有用于实现伴随上述的复原处理的周边监视处理的周边监视程序。
ROM310b是存储上述的各种控制程序的执行所需要的参数等的非易失性的主存储装置。
RAM310c是提供CPU310a的工作区的易失性的主存储装置。
SSD310d是能够改写的非易失性的辅助存储装置。此外，在实施方式所涉及的控制装置310中，作为辅助存储装置，也可以代替SSD310d(或者除了SSD310d之外)，而设置HDD(Hard Disk Drive：硬盘驱动器)。
显示控制部310e主要负责由控制装置310执行的各种处理中的对从车载照相机15得到的拍摄图像的图像处理、输出到监视器装置11的显示部8的图像数据的生成等。
声音控制部310f主要负责由控制装置310执行的各种处理中的输出到监视器装置11的声音输出部9的声音数据的生成等。
车载网络350将制动系统301、加速系统302、转向操纵系统303、变速系统304、障碍物传感器305、行驶状态传感器306、污垢除去部307、监视器装置11的操作输入部10、以及控制装置310以能通信的方式连接。
然而，以往，已知有通过将由车载照相机15拍摄到的拍摄图像输出到显示部8而用于使驾驶员等监视车辆1的周边的状况的技术。在这样的技术中，在拍摄图像包含起因于附着于车载照相机15的光学系统的水滴、灰尘、泥等这样的污垢的污垢区域的情况下，有即使直接输出拍摄图像，也不能够适当地实现车辆1的周边的状况的监视的情况。因此，对用于生成以通过除去污垢区域模拟地再现不存在车载照相机15的光学系统的污垢的状态的方式从拍摄图像复原的复原图像的技术进行了研究。
然而，在上述那样的技术中，例如即使在应该监视的对象物实际存在于路面上的情况下，根据路面所映现的路面区域与污垢区域的位置关系，也可能产生由于对象物应该映现的区域与污垢区域重叠，所以在复原图像中与污垢区域一起除去对象物应该映现的区域的情况。
例如，图4是表示通过实施方式所涉及的车载照相机15获取的拍摄图像的一个例子的例示的示意图，图5是表示通过实施方式所涉及的车载照相机15获取的拍摄图像的与图4不同的一个例子的例示的示意图。
在图4所示的例子中，拍摄图像作为的图像400包含起因于水滴的污垢区域401、和路面所映现的路面区域402。另外，在图5所示的例子中，拍摄图像作为的图像500也包含起因于水滴的污垢区域501、和路面所映现的路面区域502。
在图4所示的例子中，污垢区域401与路面区域402的重叠较小。更具体而言，在图4所示的例子中，作为应该监视的对象物映入的可能性较高的区域的一个例子的路面区域402的重心(中心)附近的区域与污垢区域401不重叠。因此，即使对图4所示的图像400进行复原，与污垢区域401一起除去应该监视的对象物所映现的可能性较高的区域的可能性也较低。因此，在得到图4所示的图像400那样的拍摄图像的场景下，即使为了车辆1的周边的状况的监视而利用复原图像也不容易产生不良情况。
另一方面，在图5所示的例子中，污垢区域501与路面区域502的重叠较大。更具体而言，在图5所示的例子中，作为应该监视的对象物映入的可能性较高的区域的一个例子的路面区域502的重心(中心)附近的区域与污垢区域501较大地重叠。因此，若对图5所示的图像500进行复原，则与污垢区域501一起除去应该监视的对象物所映现的可能性较高的区域的可能性较高。因此，在得到图5所示的图像500那样的拍摄图像的场景下，若为了车辆1的周边的状况的监视而利用复原图像则容易产生不良情况。
由此，为了车辆1的周边的状况的监视而在所有的场景下一直利用复原图像并不适当。特别是，在执行代理控制时，若在不适当的场景利用复原图像，则不能够从复原图像适当地检测对象物，作为结果有代理控制的精度降低的可能性。
因此，实施方式通过在控制装置310内实现具有以下的图6所示那样的构成的周边监视装置600，实现(仅)在适当的场景利用复原图像。
图6是表示实施方式所涉及的周边监视装置600的构成的例示的示意框图。通过软件与硬件的配合在控制装置310内实现图6所示的构成。即，作为控制装置310的CPU310a读出并执行存储于ROM310b等的规定的控制程序(周边监视程序)的结果来实现图6所示的构成。此外，在实施方式中，也可以通过专用的硬件(电路)实现图6所示的功能的至少一部分。
如图6所示，实施方式所涉及的周边监视装置600具有代理控制部610、图像获取部620、以及复原控制部630。
代理控制部610通过控制上述制动系统301、加速系统302、转向操纵系统303、以及变速系统304中至少一部分来执行代理控制。此外，在图6所示的例子中，在周边监视装置600内实现代理控制部610，但在实施方式中，也可以与周边监视装置600独立地实现相当于代理控制部610的功能。
图像获取部620获取通过车载照相机15拍摄到的拍摄图像。
复原控制部630具有如下的功能：在拍摄图像包含起因于车载照相机15的光学系统的污垢的污垢区域的情况下，根据拍摄图像中路面映现的路面区域与污垢区域的位置关系，控制是否执行输出以通过除去污垢区域来模拟地再现不存在车载照相机15的光学系统的污垢的状态的方式从拍摄图像进行复原的复原图像的复原处理。
更详细而言，复原控制部630具有复原执行部631、污垢检测部632、评价值计算部633、复原判定部634、污垢除去控制部635、以及图像输出控制部636，作为用于实现上述那样的功能的构成。
复原执行部631根据拍摄图像生成复原图像。更具体而言，如以下的图7所示，复原执行部631使用以根据拍摄图像的输入而输出复原图像的方式通过机械学习预先训练的复原用神经网络631a，根据拍摄图像生成复原图像。
图7是用于说明在实施方式中执行的拍摄图像的复原的例示的示意图。在图7所示的例子中，复原执行部631通过将包含起因于水滴的污垢区域711的拍摄图像710输入到复原用神经网络631a，从而获取除去了污垢区域711的作为拍摄图像710的复原图像720。
能够以利用了机械学习的任意的方法获取上述那样的复原用神经网络631a。例如，能够通过利用任意的机械学习算法使深度神经网络学习与完全不包含污垢区域的拍摄图像对应的第一采样图像的特征量和人工地对该第一采样图像附加污垢区域的第二采样图像的特征量的对应关系来获取上述那样的复原用神经网络631a。
返回到图6，污垢检测部632通过检测拍摄图像内的各区域(大小既可以是一个像素也可以是多个像素)相当于污垢区域的可能性，从而判定拍摄图像是否包含污垢区域。虽然详细后述，但在实施方式中，污垢检测部632使用以根据拍摄图像的输入例如作为0～1的数值输出该拍摄图像内的各区域相当于污垢区域的可能性的方式通过机械学习预先训练出的污垢检测用神经网络632a，检测拍摄图像是否包含污垢区域，更具体而言检测拍摄图像所包含的污垢区域的位置以及大小(面积)相关的污垢数据。
这里，在判定为拍摄图像不包含污垢区域的情况下，没有执行拍摄图像的复原的余地。另一方面，在判定为拍摄图像包含污垢区域的情况下，有执行拍摄图像的复原的余地。其中，如上述那样，即使在判定为拍摄图像包含污垢区域的情况下，根据拍摄图像中路面映现的路面区域与污垢区域的位置关系，也有执行拍摄图像的复原不适当的情况。
特别是，如上述那样，在作为应该监视的对象物映入的可能性较高的区域的一个例子的路面区域的重心(中心)附近的区域与污垢区域重叠的情况下，执行拍摄图像的复原不适当。因此，在实施方式中，复原控制部630通过以下说明的那样的构成，考虑路面区域与污垢区域的位置关系，判定是否应该执行拍摄图像的复原，在拍摄图像中污垢区域越存在于接近路面区域的重心的位置，越抑制复原处理的执行。
更具体而言，在实施方式中，评价值计算部633使用以具有根据与路面区域的重心之间的距离而进行变动的值的方式对拍摄图像内的各区域预先决定的权重相关的加权数据633a，计算成为判定是否应该执行拍摄图像的复原为根据的评价值。基于通过污垢检测部632检测出的污垢数据、和加权数据633a，如以下的图8所示那样的方式执行评价值的计算。
图8是用于说明在实施方式中执行的评价值的计算的例示的示意图。
如图8所示，在实施方式中，在每次计算评价值时，首先污垢检测部632通过将拍摄图像810输入到污垢检测用神经网络632a，从而获取具有表示拍摄图像810内的各区域相当于污垢区域的可能性的例如0～1的数值作为像素值的污垢检测图像820。在图8所示的例子中，作为一个例子，相当于污垢区域的可能性越高的区域，在污垢检测图像820内越明亮地进行显示。
然后，污垢检测部632通过对污垢检测图像820实施阈值处理以及轮廓追踪处理，从而获取用于获取污垢区域的位置以及大小(面积)相关的污垢数据的处理图像。
例如，在图8所示的例子中，污垢检测部632获取第一处理图像831、和第二处理图像832这两个处理图像作为处理图像。第一处理图像831是通过在对污垢检测图像820内的各区域实施使用了固定的阈值的阈值处理的基础上实施轮廓追踪处理而得到的处理图像，第二处理图像832是通过在对污垢检测图像820内的各区域实施使用了考虑周围的区域的信息而决定的动态的阈值的阈值处理的基础上实施轮廓追踪处理而得到的处理图像。
根据上述阈值处理以及轮廓追踪处理，能够按照每个轮廓求出各第一处理图像831以及第二处理图像832中相当于污垢区域的可能性在阈值以上的区域。这样求出的区域能够视为获取位置以及大小(面积)相关的污垢数据的对象的污垢区域。因此，在实施方式中，污垢检测部632根据基于上述的阈值处理以及轮廓追踪处理求出的区域，分别从第一处理图像831以及第二处理图像832获取污垢数据。
此外，虽然在图8所示的例子中，第一处理图像831以及第二处理图像832按照基于上述的阈值处理以及轮廓追踪处理求出的每个区域进行颜色划分，但这只是为了便于理解。在实施方式中，并不一定需要第一处理图像831以及第二处理图像832的每个区域的颜色划分。
另外，在图8所示的例子中，从两个处理图像双方获取污垢数据，但在实施方式中，只要能够获取至少一个污垢数据，则不需要一定从两种处理图像中的双方获取污垢数据。例如，在实施方式中，也可以采用仅从两个处理图像中一方获取污垢数据的构成，也可以采用通过对从两个处理图像中双方获取的污垢数据进行平均化等计算处理来获取一个污垢数据的构成。
评价值计算部633基于从第一处理图像831以及第二处理图像832(中至少一方)获取的污垢数据、和加权数据633a，计算以判定是否应该执行拍摄图像的复原为根据的评价值。如图8所示，加权数据633a例如作为按照每个区域具有预先决定的像素值的加权图像840构成。
这里，虽然成为上述的内容的反复，但在作为应该监视的对象物映入的可能性较高的区域的一个例子的路面区域的重心(中心)附近的区域与污垢区域重叠的情况下，执行拍摄图像的复原特别不适当。因此，在图8所示的例子中，加权图像840具有根据与路面区域的重心附近的区域所对应的中央下部的区域之间的距离连续地变动的像素值，以在以判定是否应该执行拍摄图像的复原为根据的评价值的计算时考虑污垢区域与路面区域的重心的接近程度。
此外，在实施方式中，加权图像840的像素值的变动也可以并不一定连续。例如，加权图像840的像素值设定为在与路面区域的重心附近的区域所对应的中央下部的区域之间的距离在规定值以下的区域中连续地变化，在与路面区域的重心附近的区域所对应的中央下部的区域之间的距离比规定值大的区域恒定。
这样一来，实施方式所涉及的评价值计算部633考虑路面区域与污垢区域的位置关系，更具体而言路面区域的重心与污垢区域的接近程度，计算在执行复原图像的复原适当的情况和不适当的情况下成为不同的值的评价值。
此外，在图8所示的例子中，作为单纯的乘法器图示评价值计算部633，但在实施方式中，评价值计算部633并不限定于单纯的乘法器。即，在实施方式中，也可以作为包含乘法器的多个计算器的任意的组合实现评价值计算部633。
返回到图6，复原判定部634基于通过评价值计算部633计算出的评价值，判定是否应该执行拍摄图像的复原。更具体而言，复原判定部634基于评价值与规定的阈值的比较结果，判定是否应该执行拍摄图像的复原。
特别是，如上述那样，在代理控制部610的代理控制的执行时，要求在适当的场景利用复原图像。因此，在实施方式中，复原判定部634在代理控制的执行时，判定是否应该执行拍摄图像的复原。而且，在实施方式中，在通过复原判定部634判定为应该执行拍摄图像的复原的情况下，执行复原执行部631的拍摄图像的复原并且继续代理控制部610的代理控制，在通过复原判定部634判定为不应该执行拍摄图像的复原的情况下，不执行复原执行部631的拍摄图像的复原并结束代理控制部610的代理控制。
然而，有能够通过污垢除去部307物理性除去车载照相机15的光学系统的污垢(中至少一部分)的可能性。因此，在试行了物理性除去车载照相机15的光学系统的污垢之后执行上述的评价值的计算更容易缩小检测的污垢区域减小计算的负担。
因此，在实施方式中，污垢除去控制部635在通过污垢检测部632判定为车载照相机15的光学系的污垢存在的情况下，试行使污垢除去部307工作物理性除去车载照相机15的光学系统的污垢。其后，评价值计算部633基于由图像获取部620获取的新的拍摄图像计算评价值，复原判定部634基于该评价值，判定是否应该执行拍摄图像的复原。
图像输出控制部636控制对显示部8的输出内容。更具体而言，图像输出控制部636在通过污垢检测部632判定为在拍摄图像不存在污垢区域的情况下，直接将拍摄图像输出到显示部8。另外，图像输出控制部636在通过污垢检测部632判定为在拍摄图像存在污垢区域的情况下，在通过复原判定部634判定为应该执行拍摄图像的复原的情况下，将通过复原执行部631生成的复原图像输出到显示部8。此外，图像输出控制部636在通过复原判定部634判定为不应该执行拍摄图像的复原的情况下，例如将代理控制部610的代理控制结束的主旨的通知输出给显示部8(以及/或者声音输出部9)，催促车辆1的驾驶员手动的驾驶。
基于以上的构成，实施方式所涉及的周边监视装置600在代理控制部610的代理控制的执行中作为开始使用了复原图像的车辆1的周边的状况的监视的条件的复原开始条件成立的情况下，沿着以下的图9所示那样的流程执行处理。此外，复原开始条件例如是车辆1的驾驶员执行用于要求拍摄图像的复原的规定的操作。
图9是表示实施方式所涉及的周边监视装置600执行的一系列的处理的例示的示意流程图。在代理控制部610的代理控制的执行中作为开始拍摄图像的复原的条件的复原开始条件成立的情况下开始图9所示的一系列的处理。
如图9所示，在实施方式中，首先，在S901中，周边监视装置600的图像获取部620获取由车载照相机15拍摄到的拍摄图像。
然后，在S902中，周边监视装置600的污垢检测部632基于在S901获取到的拍摄图像，按照使用图8说明的那样的顺序，获取污垢区域的位置以及大小(面积)相关的污垢数据。
然后，在S903中，周边监视装置600的污垢检测部632基于在S902获取到的污垢数据，判定在拍摄图像是否存在污垢区域。
在S903中，判定为不存在污垢区域的情况下，处理进入S904。然后，在S904中，周边监视装置600的图像输出控制部636直接将拍摄图像输出到显示部8。然后，处理进入后述的S912。
另一方面，在S903中，判定为存在污垢区域的情况下，处理进入S905。然后，在S905中，周边监视装置600的污垢除去控制部635试行使污垢除去部307工作并物理性除去车载照相机15的光学系统的污垢。
然后，在S906中，周边监视装置600的图像获取部620再次获取通过车载照相机15拍摄到的拍摄图像。
然后，在S907中，周边监视装置600的污垢检测部632基于在S906获取到的拍摄图像，再次获取污垢数据。
然后，在S908中，周边监视装置600的评价值计算部633基于在S907获取到的污垢数据和预先决定的加权数据633a，计算以判定是否应该执行复原处理为根据的评价值。
然后，在S909中，复原判定部634判定在S908计算出的评价值是否比阈值小。这里，作为一个例子，对在评价值比阈值小的情况下判定为应该执行复原处理，在评价值在阈值以上的情况下判定为不应该执行复原处理的例子进行说明。
在S909中，判定为评价值比阈值小的情况下，处理进入S910。然后，在S910中，周边监视装置600的复原执行部631基于在S906获取到的拍摄图像而生成复原图像。
然后，在S911中，周边监视装置600的图像输出控制部636将在S910生成的复原图像输出到显示部8。
然后，在S912中，周边监视装置600(例如复原控制部630具有的任意一个构成)判定作为结束使用了复原图像的车辆1的周边的状况的监视的条件的复原结束条件是否成立。此外，复原结束条件例如是车辆1的驾驶员执行用于要求拍摄图像的复原的结束的规定的操作。
在S912中，在判定为复原结束条件不成立的情况下，需要继续使用了复原图像的车辆1的周边的状况的监视。因此，该情况下，处理返回到S901。
另一方面，在S912中，在判定为复原结束条件成立的情况下，需要结束使用了复原图像的车辆1的周边的状况的监视。因此，该情况下，处理结束。
此外，在S909中，在判定为评价值在阈值以上的情况下，处理进入S913。该情况下，继续使用了复原图像的车辆1的周边的状况的监视并不适当，需要将基于代理控制的车辆1的自动/半自动的驾驶切换为基于驾驶员的车辆1的手动的驾驶。因此，在S913中，周边监视装置600的代理控制部610结束代理控制。此时，图像输出控制部636将代理控制结束的主旨的通知输出给显示部8(以及/或者声音输出部9)，催促车辆1的驾驶员手动的驾驶。然后，处理结束。
如以上说明的那样，实施方式所涉及的周边监视装置600具有图像获取部620和复原控制部630。图像获取部620获取通过在车辆1设置为拍摄包含车辆1的周边的路面的区域的车载照相机15拍摄到的拍摄图像。复原控制部630在拍摄图像包含起因于车载照相机15的光学系统的污垢的污垢区域的情况下，根据拍摄图像中路面映现的路面区域与污垢区域的位置关系，控制是否执行复原处理，在该复原处理中，输出以通过除去污垢区域来模拟地再现不存在车载照相机15的光学系统的污垢的状态的方式从拍摄图像复原的复原图像。
根据实施方式所涉及的周边监视装置600，通过考虑路面区域与污垢区域的位置关系来控制是否执行复原处理，能够抑制在复原图像中与污垢区域一起除去对象物应该映现的区域的情况的产生，并(仅)在适当的场景利用复原图像。
这里，在实施方式中，拍摄图像中污垢区域越存在于接近路面区域的重心的位置，复原控制部630越抑制复原处理的执行。根据这样的构成，应该监视的对象物所映现的可能性较高的路面区域的重心与污垢区域越远离，越抑制复原处理的执行，所以能够进一步抑制在复原图像中与污垢区域一起除去对象物应该映现的区域的情况的产生。
另外，在实施方式中，复原控制部630基于根据拍摄图像中的路面区域与污垢区域的重心的接近程度计算出的评价值与阈值的比较结果，切换是否执行复原处理。根据这样的构成，能够仅通过比较评价值与阈值，来容易地切换是否执行复原处理。
另外，在实施方式中，复原控制部630在不执行复原处理的情况下，试行使设置于车辆1的污垢除去部307工作并物理性除去车载照相机15的光学系统的污垢，之后对基于由图像获取部620获取的新的拍摄图像计算出的评价值与阈值进行比较。根据这样的构成，能够在试行了能够物理性除去的污垢的除去的基础上，计算评价值。
另外，在实施方式中，复原控制部630基于拍摄图像所包含的污垢区域的位置以及大小相关的污垢数据、和以具有根据与路面区域的重心之间的距离而进行变动的值的方式对拍摄图像内的各区域预先决定的权重相关的加权数据，计算评价值。根据这样的构成，能够基于污垢数据和加权数据，容易地计算适当的评价值。
另外，在实施方式中，复原控制部630利用以根据拍摄图像的输入而输出该拍摄图像内的各区域相当于污垢区域的可能性的方式通过机械学习预先训练出的污垢检测用神经网络632a，获取污垢数据。根据这样的构成，能够仅利用在污垢检测用神经网络632a输入拍摄图像，从而容易地获取污垢数据。
另外，在实施方式中，复原控制部630利用以根据拍摄图像的输入而输出与该拍摄图像对应的复原图像的方式通过机械学习预先训练出的复原用神经网络631a，执行复原处理。根据这样的构成，能够仅利用在复原用神经网络631a输入拍摄图像，从而容易地执行复原处理。
另外，在实施方式中，复原控制部630在执行代理驾驶员对车辆1的驾驶操作的至少一部分的代理控制的情况下，控制是否执行复原处理。根据这样的构成，能够抑制代理控制的精度的降低。更具体而言，若在执行代理控制时，在不适当的场景利用复原图像，则有不能够从复原图像适当地检测到对象物，作为结果代理控制的精度降低的可能性。与此相对，若在代理控制的执行时适当地控制是否执行复原处理，则能够抑制代理控制的精度的降低。
此外，在实施方式所涉及的控制装置310中执行的周边监视程序既可以以预先设置于ROM310b或者SSD310d等存储装置的状态提供，也可以作为以能够安装的形式或者能够执行的形式记录于软盘(FD)那样的各种磁盘、或者DVD(Digital Versatile Disk：数字通用盘)那样的各种光盘等计算机能够读取的记录介质的计算机程序产品提供。
另外，在实施方式所涉及的控制装置310中执行的周边监视程序也可以经由因特网等网络提供或者分发。即，也可以在实施方式所涉及的控制装置310中执行的周边监视程序在储存于与因特网等网络连接的计算机上的状态下，以从该计算机经由网络进行下载的方式提供。
＜变形例＞
在上述的实施方式中，主要例示以在拍摄图像的中央下部的区域存在路面区域的重心为前提的构成。在该构成中，一直将拍摄图像的中央下部的区域作为基准固定地设定加权数据，复原控制部视为路面区域的重心存在于拍摄图像的中央下部的区域，并根据拍摄图像的中央下部的区域与污垢区域的位置关系，控制是否执行复原处理。然而，在实施方式中，复原控制部也能够构成为具有作为通过图像处理等来根据拍摄图像推断路面区域的路面推断部的功能，根据通过该路面推断部推断出的路面区域与污垢区域的位置关系，控制是否执行复原处理。在该构成中，将根据路面推断部的推断结果进行变动的路面区域的重心作为基准动态地设定加权数据。
另外，在上述的实施方式中，例示利用预先执行的机械学习的结果来执行拍摄图像的复原以及污垢数据的计算的构成。然而，也可以根据规则库执行拍摄图像的复原以及污垢数据的计算。换句话说，也可以基于根据许多的数据人为地决定的恒定的规则执行拍摄图像的复原以及污垢数据的计算。
另外，在上述的实施方式中，例示通过对利用预先执行的机械学习的结果计算出的污垢数据执行基于预先决定的加权数据的规定的计算来计算评价值的构成。然而，也可以利用以根据拍摄图像的输入而输出与该拍摄图像对应的评价值的方式通过机械学习预先训练出的神经网络来执行评价值的计算。
以上，对本公开的实施方式以及变形例进行了说明，但上述的实施方式以及变形例仅为一个例子，并不对发明的范围进行限定。上述的新的实施方式以及变形例能够以各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。上述的实施方式以及变形例包含于发明的范围、主旨，并且包含于本发明的保护范围所记载的发明及其同等的范围。

Claims (11)

1.一种周边监视装置，具备：
图像获取部，获取通过拍摄部拍摄的拍摄图像，其中，该拍摄部设置于车辆，以便拍摄包括上述车辆的周边的路面的区域；以及
复原控制部，在上述拍摄图像包含由上述拍摄部的光学系统的污垢引起的污垢区域的情况下，根据上述拍摄图像中的上述路面映现的路面区域与上述污垢区域的位置关系来控制是否执行输出复原图像的复原处理，其中，该复原图像是以通过除去上述污垢区域来模拟地再现上述拍摄部的光学系统的污垢不存在的状态的方式从上述拍摄图像复原的图像。
2.根据权利要求1所述的周边监视装置，其中，
在上述拍摄图像中上述污垢区域越存在于接近上述路面区域的重心的位置，上述复原控制部越抑制上述复原处理的执行。
3.根据权利要求2所述的周边监视装置，其中，
上述复原控制部根据评价值与阈值的比较结果来切换是否执行上述复原处理，其中，根据上述拍摄图像中的上述路面区域和上述污垢区域的重心的接近程度来计算上述评价值。
4.根据权利要求3所述的周边监视装置，其中，
上述复原控制部在不执行上述复原处理的情况下，试行使设置于上述车辆的污垢除去部工作并物理性除去上述拍摄部的上述光学系统的污垢的操作，然后对基于通过上述图像获取部获取的新的拍摄图像计算出的上述评价值与上述阈值进行比较。
5.根据权利要求3或4所述的周边监视装置，其中，
上述复原控制部基于污垢数据和加权数据来计算上述评价值，其中，上述污垢数据是与上述拍摄图像所包含的上述污垢区域的位置以及大小相关的数据，上述加权数据是与以具有根据与上述路面区域的重心之间的距离而变动的值的方式对上述拍摄图像内的各区域预先决定的权重相关的数据。
6.根据权利要求5所述的周边监视装置，其中，
上述复原控制部利用污垢检测用神经网络来获取上述污垢数据，其中，上述污垢检测用神经网络以根据上述拍摄图像的输入而输出该拍摄图像内的各区域相当于上述污垢区域的可能性的方式，通过机械学习预先训练出。
7.根据权利要求1～6中任一项所述的周边监视装置，其中，
上述复原控制部利用复原用神经网络来执行上述复原处理，其中，上述复原用神经网络以根据上述拍摄图像的输入而输出与该拍摄图像对应的上述复原图像的方式，通过机械学习预先训练出。
8.根据权利要求1～7中任一项所述的周边监视装置，其中，
上述复原控制部在执行代理驾驶员对上述车辆的驾驶操作的至少一部分的代理控制的情况下，控制是否执行上述复原处理。
9.根据权利要求1～8中任一项所述的周边监视装置，其中，
上述复原控制部视为上述路面区域的重心存在于上述拍摄图像的中央下部的区域，并根据上述拍摄图像的中央下部的区域与上述污垢区域的位置关系，控制是否执行上述复原处理。
10.根据权利要求1～8中任一项所述的周边监视装置，其中，
上述周边监视装置还具备路面推断部，该路面推断部根据上述拍摄图像推断上述路面区域，
上述复原控制部根据由上述路面推断部推断出的上述路面区域与上述污垢区域的位置关系，控制是否执行上述复原处理。
11.一种周边监视方法，包括：
图像获取步骤，获取通过拍摄部拍摄的拍摄图像，其中，该拍摄部设置于车辆，以便拍摄包括上述车辆的周边的路面的区域；以及
复原控制步骤，在上述拍摄图像包含由上述拍摄部的光学系统的污垢引起的污垢区域的情况下，根据上述拍摄图像中的上述路面映现的路面区域与上述污垢区域的位置关系来控制是否执行输出复原图像的复原处理，其中，该复原图像是以通过除去上述污垢区域来模拟地再现上述拍摄部的光学系统的污垢不存在的状态的方式从上述拍摄图像复原的图像。
CN202011022505.XA 2019-09-30 2020-09-25 周边监视装置以及周边监视方法 Pending CN112581381A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-180692 2019-09-30
JP2019180692A JP2021056882A (ja) 2019-09-30 2019-09-30 周辺監視装置および周辺監視プログラム

Publications (1)

Publication Number Publication Date
CN112581381A true CN112581381A (zh) 2021-03-30

Family

ID=75119615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011022505.XA Pending CN112581381A (zh) 2019-09-30 2020-09-25 周边监视装置以及周边监视方法

Country Status (3)

Country Link
US (1) US20210097305A1 (zh)
JP (1) JP2021056882A (zh)
CN (1) CN112581381A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022133156A (ja) * 2021-03-01 2022-09-13 トヨタ自動車株式会社 車両用周辺監視装置及び車両用周辺監視システム
WO2023053498A1 (ja) * 2021-09-30 2023-04-06 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、記録媒体、および車載システム
KR102457470B1 (ko) * 2021-11-08 2022-10-21 주식회사 윈드위시 영상 분석을 이용한 인공지능 기반 강수 판단장치 및 방법

Also Published As

Publication number Publication date
JP2021056882A (ja) 2021-04-08
US20210097305A1 (en) 2021-04-01

Similar Documents

Publication Publication Date Title
EP2974909B1 (en) Periphery surveillance apparatus and program
CN112581381A (zh) 周边监视装置以及周边监视方法
US20200086793A1 (en) Periphery monitoring device
WO2018150642A1 (ja) 周辺監視装置
JP7200572B2 (ja) 付着物検出装置
JP2020090138A (ja) 路面検出装置および路面検出プログラム
US11393223B2 (en) Periphery monitoring device
CN111107310A (zh) 照相机参数估计装置、照相机参数估计方法
JP2020086669A (ja) 道路劣化情報収集装置
US11475676B2 (en) Periphery monitoring device
JP7395913B2 (ja) 物体検知装置
CN112349091A (zh) 特定区域检测装置
JP2020138569A (ja) 周辺監視装置
US11104380B2 (en) Display controller
JP6965563B2 (ja) 周辺監視装置
JP7454177B2 (ja) 周辺監視装置、およびプログラム
JP2021062750A (ja) 駐車支援装置、駐車支援方法、および駐車支援プログラム
JP7259914B2 (ja) 周辺監視装置
US11938818B2 (en) Periphery monitoring apparatus
US11501561B2 (en) Occupant monitoring device, occupant monitoring method, and occupant monitoring program
CN112238812B (zh) 车辆周边显示装置
US11982538B2 (en) Passage direction detecting device
US11077794B2 (en) Vehicle periphery display device
JP7314514B2 (ja) 表示制御装置
JP7259212B2 (ja) 走行制御装置、走行制御方法、および走行制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Aichi

Applicant after: AISIN Co.,Ltd.

Address before: Aichi

Applicant before: AISIN SEIKI Kabushiki Kaisha

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination