CN117291865A - 能见度估计装置及方法、以及记录介质 - Google Patents

Abstract

服务器装置通过将映现出室外的风景的图像数据输入到多个学习完成模型中的每个学习完成模型，来获取从该多个学习完成模型的每个学习完成模型输出的、包括表示图像数据中映现的风景的场景在内的输出数据。服务器装置通过将获取到的多个输出数据整合，来判断图像数据中映现的风景是否正常。服务器装置基于被确定为正常的图像数据，来估计图像数据中映现的风景的能见度。此外，该多个学习完成模型是基于正确场景互不相同的学习用数据预先进行了学习而得到的学习完成模型，该多个学习完成模型中的一个学习完成模型的正确场景中包含的至少一个项目与另一个学习完成模型的正确场景中包含的至少一个项目相同。

Description

能见度估计装置及方法、以及记录介质

技术领域

本公开涉及一种能见度估计装置、能见度估计方法、以及记录有能见度估计程序的记录介质。

背景技术

以往，已知一种不需要特别的测定装置就能够估计能见度的能见度估计装置(例如，专利文献1)。该能见度估计装置获取由摄影单元对室外进行摄影而得到的图像；根据图像估计环境光和光的透射映射；基于环境光和光的透射映射，生成对图像进行锐化而得到的锐化图像。然后，能见度估计装置从锐化图像中识别物体；基于与该识别出的物体的实际尺度有关的信息，将该物体的像素尺度换算为该物体的物理尺度；根据物体的物理尺度的进深方向的分量，来计算物体的进深方向距离；将透射映射与距摄影单元的距离之间的关系式应用于图像，计算大气的光衰减参数；基于应用了计算出的光衰减参数的关系式，根据进深方向距离计算能见度。

现有技术文献

专利文献

专利文献1：特再公表2021-053789号公报

发明内容

发明要解决的课题

另外，在基于映现室外的图像来估计该室外的能见度的情况下，需要恰当地拍摄室外的状态。例如，在有强光映入图像的情况下或有水滴附着于照相机的镜头的情况下，该图像作为用于估计能见度的图像是不合适的。如果室外的图像中映入有这样的异常状态，则存在无法根据该图像高精度地估计能见度的课题。

本公开是鉴于上述情况而完成的，其目的在于，提供一种能够选定用于估计能见度的合适的图像并基于该图像来估计能见度的能见度估计装置、能见度估计方法、以及记录有能见度估计程序的记录介质。

解决课题的手段

为了解决上述课题，本公开的能见度估计装置包括：图像获取部，所述图像获取部获取映现室外的风景的图像数据；判定部，所述判定部通过将所述获取部获取到的所述图像数据输入到多个学习完成模型中的每个学习完成模型，来获取从所述多个学习完成模型中的每个学习完成模型输出的、表示所述图像数据中映现的风景的场景的输出数据，并通过将获取到的多个输出数据整合，来判断所述图像数据中映现的风景是否正常；以及估计部，所述估计部基于被所述判定部确定为正常的所述图像数据，来估计所述图像数据中映现的风景的能见度。其中，所述多个学习完成模型是基于正确场景互不相同的学习用数据预先进行了学习而得到的学习完成模型。所述多个学习完成模型中的一个学习完成模型的正确场景中包含的至少一个项目与另一个学习完成模型的正确场景中包含的至少一个项目相同。

发明效果

根据本公开，能够选定用于估计能见度的合适的图像并基于该图像来估计能见度。

附图说明

图1是示出了实施方式所涉及的能见度估计系统的结构例的示意图。

图2是示出了服务器装置的功能例的框图。

图3是用于说明图像数据中映现的强光等的图。

图4是用于说明图像数据中映现的强光等的图。

图5是用于说明学习完成模型集合的图。

图6是用于说明设定有道路车道的位置信息的先前图像数据的图。

图7是定义了照相机模型来估计图像数据中映现的风景的能见度的情况的说明图。

图8是用于设定像素距离与物理距离之间的关系的先前图像数据的示例的示意图。

图9是用于说明估计参数a和b的变换式的图。

图10是示出了学习装置的概要结构例的框图。

图11是作为服务器装置或学习装置发挥功能的计算机的概要框图。

图12是用于说明学习装置所执行的处理的图。

图13是用于说明服务器装置所执行的处理的图。

图14示出了现有方法和本实施方式所涉及的提案方法的实验结果。

具体实施方式

下面，参照附图来说明本实施方式。此外，下面所说明的实施方式是对能见度估计系统应用了本发明的情况下的实施方式。

[1、能见度估计系统的结构和功能的概要]

首先，使用图1来说明本发明的一个实施方式所涉及的能见度估计系统的结构和概要功能。

如图1所示，能见度估计系统1包括服务器装置10和终端装置20。该服务器装置10根据来自设置在道路等各地点的照相机C的图像数据，来计算各地点的能见度等气象信息。该终端装置20显示由服务器装置10提供的能见度等气象信息。

各终端装置20和作为能见度估计装置的示例的服务器装置10通过网络3连接。作为摄影单元的示例的照相机C，对道路等室外的气象状况进行拍摄。照相机C通过无线电台5经由无线通信与服务器装置10进行通信。另外，网络3例如可以是互联网、专用通信线路(例如，社区公共电视天线系统(Community Antenna Television，CATV)线路)、移动通信网(包括基站等)。

服务器装置10是提供各种气象信息的公司的服务器装置。服务器装置10向终端装置20提供高速公路、普通道路、铁路、机场等交通设施的气象信息、和/或航线、港湾、海上等的气象信息。例如，作为气象信息的示例，可以列举天气、气温、湿度、气压、风向、风速、表示视野范围的能见度等信息。

另外，服务器装置10也可以提供交通拥堵、通行管制等交通信息、火车、飞机等的运行状况、船舶的航行状况。

另外，服务器装置10对来自各地点的照相机C的图像数据进行图像分析，计算与能见度等气象有关的值。另外，服务器装置10也可以对来自照相机C的图像数据进行图像分析，计算并提供路面的状态、跑道的状态、海上的状态、交通量等。

终端装置20从服务器装置10接收包括道路能见度的估计结果在内的气象信息，并显示该气象信息。

照相机C例如是具有电荷耦合器件(Charge Coupled Device，CCD)图像传感器、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)图像传感器等摄影元件的彩色或黑白的数码相机。照相机C拍摄静态图像、动态图像等。照相机C也可以是搭载于车辆、飞机、火车等移动体的照相机。照相机C既可以是单眼相机，也可以是复眼相机。照相机C也可以是安装于智能手机等便携终端的照相机。

各照相机C例如在高速公路等道路上以预定间隔设置和/或设置在预定位置。在道路旁边设置杆，在预定的高度设置照相机C。照相机C例如朝向道路的行进方向。以能够从道路的上方拍摄的方式设置照相机C即可。

[2、服务器装置的结构和功能]

接着，对服务器装置10的结构和功能进行说明。

图2是示出了实施方式所涉及的服务器装置10的功能结构的示例的框图。服务器装置10是本公开的能见度估计装置的示例，并且如图2所示，服务器装置10在功能上包括接收部100、图像数据存储部102、图像获取部104、学习完成模型存储部106、判定部108、能见度估计模型存储部110、以及估计部112。实施方式的服务器装置10判断图像数据中映现的风景是否正常，并在确定图像数据中映现的风景正常的情况下，估计该图像数据中映现的风景的能见度。

图3和图4示出了用于说明实施方式所涉及的服务器装置10的图。如图3所示，在实施方式所涉及的能见度估计系统1的照相机C所拍摄的图像数据中，有时映现出强光。例如，如图3所示，虽然图像数据A、B、C中映现出道路，但在上述道路上行驶的车辆的前照灯所输出的光为强光A1、B1、C1并映入图像数据A、B、C。另外，例如，在图4的图像数据A中，映入有被认为是由于雨滴附着于照相机C的镜头而产生的强光A2以及朦胧不清A3。另外，在图4的图像数据B中，也映入有由于某种原因而产生的朦胧不清B2。另外，在图4的图像数据C中，也映入有由于某种原因而产生的强光C2。

当要根据图像数据来估计能见度时，在如图3和图4所示的强光或朦胧不清映入该图像数据的情况下，能见度估计结果的精度显著降低。当根据图像数据来估计能见度时，优选地是，使用没有发生如图3和图4的异常(例如，强光或朦胧不清)的图像数据。

因此，实施方式所涉及的服务器装置10判断图像数据中映现的风景是否正常，并在确定图像数据中映现的风景正常的情况下，估计该图像数据中映现的风景的能见度。由此，能够选定用于估计能见度的合适的图像并基于该图像来估计能见度。下面，具体地进行说明。

接收部100逐次接收由照相机C拍摄到的图像数据。然后，接收部100将接收到的图像数据保存到图像数据存储部102。

图像数据存储部102中保存有照相机C所拍摄到的图像数据。

图像获取部104从保存在图像数据存储部102中的多个图像数据中，获取待被估计能见度的对象的图像数据。

学习完成模型存储部106中保存有，用于判断图像数据中映现的风景是否正常的多个学习完成模型。图5示出了本实施方式的学习完成模型集合。如图5所示，本实施方式的学习完成模型集合M构成为包括多个学习完成模型M1、M2、M3、M4、M5和M6、以及整合学习完成模型TM。

所述多个学习完成模型M1、M2、M3、M4、M5和M6是基于正确场景互不相同的学习用数据预先进行了学习而得到的学习完成模型。所述多个学习完成模型M1、M2、M3、M4、M5和M6中的一个学习完成模型的正确场景中包含的至少一个项目与另一个学习完成模型的正确场景中包含的至少一个项目相同。例如，如图5所示，第五学习完成模型M5的输出数据的项目“雾”与第六学习完成模型M6的输出数据的项目“雾”相同。

第一学习完成模型M1至少输出与对图像数据中映现的风景进行拍摄的时间段有关的数据，作为输出数据。具体地，当输入图像数据时，第一学习完成模型M1输出该图像数据中映现的风景的场景为白天的概率、为夜晚的概率、为朝霞的概率、以及为晚霞的概率。第一学习完成模型M1是基于将正确场景为白天、夜晚、朝霞、或晚霞的学习用图像数据与其正确标签相关联的学习用数据，进行机器学习而预先生成的。

第二学习完成模型M2至少输出图像数据中映现的风景是否存在强光，作为输出数据。具体地，第二学习完成模型M2输出该图像数据中映现的风景的场景为存在强光的场景的概率、为雨的场景的概率、以及为雪的场景的概率。第二学习完成模型M2是基于将为存在强光的场景、为雨的场景、或为雪的场景的学习用图像数据与其正确场景相关联的学习用数据，进行机器学习而预先生成的。

第三学习完成模型M3至少输出拍摄图像数据的照相机C中是否发生镜头内反射，作为输出数据。具体地，第三学习完成模型M3输出该图像数据中映现的风景的场景为发生了照相机C的镜头内反射的场景的概率、以及为映入有在道路上行驶的车辆的前照灯的场景的概率。第三学习完成模型M3是基于将为发生了照相机C的镜头内反射的场景或为映入有车辆的前照灯的场景的学习用图像数据与其正确场景相关联的学习用数据，进行机器学习而预先生成的。

第四学习完成模型M4至少输出与图像数据中映现的风景中存在的对象物有关的数据，作为输出数据。具体地，第四学习完成模型M4输出该图像数据中映现的风景的场景为映入有树木的场景的概率、为映入有建筑物的场景的概率、为映入有天空的场景的概率、以及为映入有道路的场景的概率。第四学习完成模型M4是基于将为映入有树木的场景、映入有建筑物的场景、映入有天空的场景、或映入有道路的场景的学习用图像数据与其正确场景相关联的学习用数据，进行机器学习而预先生成的。

第五学习完成模型M5至少输出与由拍摄图像数据的照相机C的镜头引起的模糊以及图像数据中存在的雾有关的数据，作为输出数据。第五学习完成模型M5输出该图像数据中映现的风景的场景为映入有由照相机C的镜头引起的模糊的场景的概率、以及为映入有雾的场景的概率。第五学习完成模型M5是基于为映入有由照相机C的镜头引起的模糊的场景、或为映入有雾的场景的学习用图像数据与其正确场景相关联的学习用数据，进行机器学习而预先生成的。

第六学习完成模型M6至少输出与图像数据中存在的云以及雾有关的数据，作为输出数据。第六学习完成模型M6输出该图像数据中映现的风景的场景为映入有天空的场景的概率、为映入有云的场景的概率、以及为映入有雾的场景的概率。第六学习完成模型M6是基于将为映入有天空的场景、映入有云的场景、或映入有雾的场景的学习用图像数据与其正确场景相关联的学习用数据，进行机器学习而预先生成的。

整合学习完成模型TM通过将所述多个学习完成模型M1、M2、M3、M4、M5和M6所输出的输出数据进行整合，来输出表示图像数据中映现的风景正常的程度的数据。所述多个学习完成模型M1、M2、M3、M4、M5和M6输出的输出数据被加权，并被输入到整合学习完成模型TM。例如，对于所述多个学习完成模型M1、M2、M3、M4、M5和M6中的每个学习完成模型而言，权重W1、W2、W3、W4、W5和W6由后述的机器学习算法设定；基于各输出数据和权重进行加权运算，加权得到的数据被输入到整合学习完成模型TM。当加权得到的数据被输入到整合学习完成模型TM时，整合学习完成模型TM输出表示图像数据中映现的风景正常的程度的数据。此外，如图5所示，还向整合学习完成模型TM输入图像数据。

判定部108读取保存在学习完成模型存储部106中的学习完成模型集合M，并将图像获取部104获取到的图像数据输入到该学习完成模型集合M。由此，所述多个学习完成模型M1、M2、M3、M4、M5和M6输出表示图像数据中映现的风景的场景的输出数据。整合学习完成模型TM通过将多个输出数据进行整合，来输出表示图像数据中映现的风景正常的程度的数据R。

判定部108基于由学习完成模型集合M得到的、表示图像数据中映现的风景正常的程度的数据，来判断图像数据中映现的风景是否正常。具体地，例如，在表示图像数据中映现的风景正常的程度的数值小于规定阈值的情况下，判定部108确定图像数据中发生异常。另一方面，在表示图像数据中映现的风景正常的程度的数值为规定阈值以上的情况下，判定部108确定图像数据正常。由此，不需要估计例如如图3和图4所示的存在强光等异常的图像数据的能见度这样的处理。

能见度估计模型存储部110中保存有能见度估计模型，该能见度估计模型用于当被输入图像数据时，估计该图像数据中映现的风景的能见度。该能见度估计模型是神经网络模型等机器学习模型或规定的计算式。

估计部112基于被判定部108确定为正常的图像数据，来估计该图像数据中映现的风景的能见度。具体地，估计部112基于能见度估计模型存储部110中所保存的能见度估计模型和被判定部108确定为正常的图像数据，来估计图像数据中映现的风景的能见度。例如，在能见度估计模型为机器学习模型的情况下，估计部112通过将图像数据输入到机器学习模型，从而将表示该机器学习模型所输出的输出数据的值作为能见度的值，来估计图像数据中映现的风景的能见度。另外，例如，在能见度估计模型为日本专利第6901647号或特开2010-117335所公开的关系式的情况下，估计部112通过将根据图像数据计算出的各种数据输入到关系式，来估计图像数据中映现的风景的能见度。

此外，在图像数据中映入有具有多条车道的道路的情况下，估计部112基于针对先前图像数据预先设定的多条车道的位置信息，为图像数据中映现的多条车道中的每条车道估计能见度，该先前图像数据中映现的风景与图像数据中映现的风景相同。

图6示出了先前图像数据的示例。如图6所示，在先前图像数据中，用黑线Line设定道路的车道。因此，估计部112基于先前图像数据中的黑线所表示的位置信息，为图像数据中映现的多条车道中的每条车道估计能见度。

此外，下面说明通过将根据图像数据计算出的各种数据输入到关系式来估计图像数据中映现的风景的能见度的情况的例子。

图7是示出了定义照相机模型来估计图像数据中映现的风景的能见度的情况的说明图。在定义了如图7所示的照相机模型坐标系的情况下，在位置Origin处设置照相机。在该情况下，图7所示的L表示像素距离，D表示实际环境的物理距离，f表示照相机镜头的焦距，H表示照相机的高度，θ表示照相机相对道路的拍摄角度(angle)(度)。在该情况下，如以下的等式所示，能够容易地在几何学上定义用于计算像素距离L的等式(1)。

[数学式1]

上述等式(1)的目的在于，求出像素距离L与物理距离D之间的非线性关系。但是，上述等式的f、θ和H的值因照相机而不同，因此存在以下问题：增加了应该设定的参数的数量。因此，在本实施方式中，通过使用两个参数a和b来置换上述等式(1)中的多个参数f、θ和H，从而实现计算式的简化。

通过变换上述等式(1)并且设定两个参数a和b，能够通过以下的等式(2)和(3)来表示重新定义的像素距离和重新定义的物理距离/>

此外，在推导上述等式(2)和(3)时，利用以下的关系式。

a＝Htanθ+Hcotθ

b＝ftanθ

接着，基于预先收集到的先前图像数据，来设定像素距离D与物理距离L之间的关系。图8示出了用于设定像素距离D与物理距离L之间的关系的先前图像数据的示例。如图8所示，例如，能够根据车道上的边界线的长度，来求出图像数据中的像素间距离与由该像素间距离表示的物理距离之间的关系。车道上的边界线为长度已知的对象物的示例。

具体地，能够计算先前图像数据中的像素距离D与物理距离L组成的对中的每个对。例如，图8所示的图像的纵向尺寸为500像素，但能够将该像素距离D与实际的物理距离L相对应。基于针对多个像素p中的每个像素的、像素距离D与物理距离L组成的对中的每个对，来计算两个参数a和b，使得以下的等式(4)最小化。

E(p)＝Σ{D(b－L)－aL} (4)

例如，为了使上述等式(4)最小化，通过将参数a和b作为变量来对上述算式(4)进行偏微分，由此计算使得偏微分结果为0的参数a和b。除此之外，通过各种方法，来计算使得上述等式(4)最小化的参数a和b。

包含如此估计出的两个参数a和b的上述等式(3)是通过如下计算出的变换式：基于在预先从与照相机C相同的位置对室外进行摄影而得到的先前图像数据中，对该先前图像数据内映现的、物理距离D已知的对象物设定的多个参照点，来将照相机C的设置高度H、摄影方向θ、以及焦点距离f置换为至少两个参数a和b，并进行最优化。

图9示出了用于说明估计参数a和b的变换式的图。在图9中，横轴表示像素距离L，纵轴表示物理距离D。如图9所示的“模型预测(model prediction)”表示变换式，“训练样本(train sample)”表示计算变换式的参数a和b时所利用的训练数据，“测试样本(testsample)”表示测试数据。通过估计两个参数a和b，来得到如图9所示的用于根据像素距离L估计物理距离D的变换式。

因此，例如，估计部112针对图像数据中的像素位置，应用上述的变换式来计算图像数据中映现的风景的能见度。具体地，例如，估计部112对图像数据实施对比度法等图像处理，确定位于图像数据内的对比度的拐点的像素。然后，估计部112通过将位于图像数据内的对比度的拐点的像素的像素距离L输入到包含两个参数a和b的上述等式(3)，来估计物理距离D，并将该物理距离D作为能见度。

此外，学习完成模型存储部106中所保存的学习完成模型集合M例如是通过如图7所示的学习装置30预先学习而得到的。

学习装置30在功能上如图10所示，包括学习用数据存储部300、学习部302、以及学习完成模型存储部304。

学习用数据存储部300中保存有，用于生成如图5所示的学习完成模型集合M的学习用数据。具体地，学习用数据存储部300中保存有第一学习用数据X，该第一学习用数据X用于使多个学习完成模型M1、M2、M3、M4、M5和M6中的每个学习完成模型学习。另外，学习用数据存储部300中保存有第二学习用数据Y，该第二学习用数据Y用于在多个学习完成模型M1、M2、M3、M4、M5和M6中的每个学习完成模型学习后，使与从多个学习完成模型M1、M2、M3、M4、M5和M6中的每个学习完成模型输出的输出数据相对的权重W1、W2、W3、W4、W5和W6和整合学习完成模型TM学习。

学习部302读取保存在学习用数据存储部300中的多个第一学习用数据。然后，学习部302基于读取出的多个第一学习用数据，使用有监督的机器学习算法来使规定的机器学习模型学习，由此生成多个学习完成模型M1、M2、M3、M4、M5和M6中的每个学习完成模型。

接着，学习部302读取保存在学习用数据存储部300中的多个第二学习用数据。然后，学习部302基于读取出的多个第二学习用数据，使用有监督的机器学习算法来使规定的机器学习模型学习，由此生成权重W1、W2、W3、W4、W5和W6和整合学习完成模型TM。

此外，学习部302例如通过如以下的参考文献所公开的多专家模型(Mixture-of-Experts)，生成上述的多个学习完成模型M1、M2、M3、M4、M5和M6、以及整合学习完成模型TM。

参考文献：极其庞大的神经网络：稀疏门控混合专家层(Outrageously LargeNeural Networks:The Sparsely-Gated Mixture-of-Experts Layer)，<https://arxiv.org/abs/1701.06538>。

此外，也可以对多个学习用图像数据的至少一部分学习用图像数据添加柏林噪声(Perlin noise)。通过对学习用图像数据添加柏林噪声，能够生成映入雾或云等的学习用图像数据。

学习完成模型存储部304中保存有由学习部302生成的学习完成模型集合M。

服务器装置10和学习装置30例如均能够通过图11所示的计算机50实现。计算机50包括CPU 51、作为暂时存储区域的存储器52、以及非易失性的存储部53。另外，计算机50包括连接到输入输出装置等(未示出)的输入输出接口(I/F)54、以及控制对记录介质59进行读取和写入数据的读/写(R/W)部55。另外，计算机50包括与互联网等网络连接的网络接口(I/F)56。CPU 51、存储器52、存储部53、输入输出I/F 54、R/W部55、以及网络I/F 56经由总线57相互连接。

存储部53可以通过硬盘驱动器(Hard Disk Drive，HDD)、固态硬盘(Solid StateDrive，SSD)、闪存等来实现。在作为存储介质的存储部53中，存储有用于使计算机50发挥功能的程序。CPU 51从存储部53读取程序，将该程序扩展到存储器52中，并依次执行该程序所具有的进程。

此外，通过程序实现的功能例如也可以通过半导体集成电路、更详细地专用集成电路(Application Specific Integrated Circuit，ASIC)等实现。

＜学习装置30的作用＞

接着，对实施方式的学习装置30的作用进行说明。学习用数据存储部300中保存有多个第一学习用数据和多个第二学习用数据，当学习装置30接收到学习处理的指示信号时，执行图12所示的学习处理例程。

在步骤S100中，学习部302获取保存在学习用数据存储部300中的多个第一学习用数据和多个第二学习用数据。

在步骤S102中，学习部302基于步骤S100中获取到的所述多个第一学习用数据，使用有监督的机器学习算法来使规定的机器学习模型学习，由此生成多个学习完成模型M1、M2、M3、M4、M5和M6中的每个学习完成模型。

在步骤S104中，学习部302基于步骤S100中获取到的所述多个第二学习用数据和步骤S102中生成的所述多个学习完成模型M1、M2、M3、M4、M5和M6，使用有监督的机器学习算法来使规定的机器学习模型学习，由此生成权重W1、W2、W3、W4、W5和W6、以及整合学习完成模型TM。

在步骤S106中，学习部302将步骤S102中生成的所述多个学习完成模型M1、M2、M3、M4、M5和M6、以及步骤S104中生成的权重W1、W2、W3、W4、W5和W6和整合学习完成模型TM作为学习完成模型集合M保存到学习完成模型存储部304，并结束学习处理例程。

＜服务器装置10的作用＞

接着，对实施方式的服务器装置10的作用进行说明。当学习完成模型集合M被输入到服务器装置10时，服务器装置10将学习完成模型集合M保存到学习完成模型存储部106。另外，服务器装置10接收由照相机C逐次检测到的图像数据，并将其保存到图像数据存储部102。服务器装置10在接收到估计能见度的指示信号时，执行图13所示的能见度估计处理例程。

在步骤S200中，图像获取部104从保存在图像数据存储部102中的多个图像数据，获取待被估计能见度的对象的图像数据。

在步骤S202中，判定部108读取保存在学习完成模型存储部106中的学习完成模型集合M。

在步骤S204中，判定部108将步骤S200中获取到的图像数据输入到步骤S202中读取出的学习完成模型集合M中。由此，学习完成模型集合M输出表示图像数据中映现的风景正常的程度的数据。

在步骤S206中，判定部108基于步骤S204中得到的、表示图像数据中映现的风景正常的程度的数据，判断图像数据中映现的风景是否正常。在确定图像数据中映现的风景正常的情况下，进入到步骤S208。在确定图像数据中映现的风景异常的情况下，不执行能见度估计处理而结束能见度估计处理例程。

在步骤S208中，估计部112基于步骤S206中被确定为正常的图像数据，使用保存在能见度估计模型存储部110中的能见度估计模型，来估计图像数据中映现的风景的能见度。

在步骤S210中，估计部112将步骤S208中估计出的能见度的值作为结果输出，并结束估计处理例程。

此外，估计出的能见度的值例如，被发送到外部的其它服务器(未示出)或终端装置20。

对于上述输出的能见度，在服务器装置10所获取到的夜晚图像中的、与针对每条车道输出的能见度相对应的位置处显示长条，并显示能见度的值。

如上所述，本实施方式的服务器装置通过将映现出室外风景的图像数据输入到多个学习完成模型中的每个学习完成模型，来获取多个学习完成模型中的每个学习完成模型输出的、表示图像数据中映现的风景的场景的输出数据。然后，服务器装置通过将获取到的多个输出数据整合，来判断图像数据中映现的风景是否正常。服务器装置基于被确定为正常的图像数据，估计图像数据中映现的风景的能见度。此外，多个学习完成模型是基于正确场景互不相同的学习用数据预先进行了学习而得到的学习完成模型，所述多个学习完成模型中的一个学习完成模型的正确场景中包含的至少一个项目与另一个学习完成模型的正确场景中包含的至少一个项目相同。由此，能够选定用于估计能见度的合适的图像并基于该图像估计能见度。另外，在图像数据中，有时会映入较多被误认成雾的对象物。例如，太阳光、云、朝霞、晚霞、雪、以及雨等易被误认成雾。因此，在本实施方式中，使由所述多个学习完成模型中的一个学习完成模型进行辨别的场景与由另一个学习完成模型进行辨别的场景相同，准备多个对容易发生误认的场景进行辨别的学习完成模型。由此，场景的错误辨别得以减少，其结果是，能够高精度地估计能见度。

例如，在上述实施方式中，所述多个学习完成模型中的、作为第五学习完成模型M5的正确场景中所包含的至少一个项目的雾与作为第六学习完成模型M6的正确场景中所包含的至少一个项目的雾相同。由此，由于能够高精度地判断图像数据中是否映现出雾，因此，其结果是，能够选定用于估计能见度的合适的图像。另外，通过对学习用图像数据的至少一部分学习用图像数据添加柏林噪声，来生成用于高精度地辨别雾的学习完成模型。

而且，本发明不限定于上述各实施方式。上述各实施方式为例示性的，具有与本发明的权利要求中记载的技术思想实质上相同的结构、且起到与其相同的作用效果的技术方案，均包含在本发明的技术范围内。

[实施例]

接着，对实施例进行说明。在本实施例中，示出与在本实施方式中说明的提案方法的效果有关的实验结果。图14示出了现有方法和本实施方式所涉及的提案方法的实验结果。

如图14的上方所示，可知，在将现有方法(图14中标示为“没有自诊断功能”)与本实施方式的方法进行比较时，本实施方式的方法的能见度估计的平均误差较小。

另外，如图14的下方所示，可知，多个学习完成模型(图14中标示为“专家”)增加的越多，能见度估计的平均误差越低。

因此，可知根据本实施方式的方法，能够选定用于估计能见度的合适的图像，并能够基于该图像而高精度地估计能见度。

[附图标记的说明]

1：能见度估计系统

10：服务器装置

C：照相机

Claims (8)

1.一种能见度估计装置，其特征在于，包括：

图像获取部，所述图像获取部用于获取映现出室外的风景的图像数据；

判定部，所述判定部用于通过将所述图像获取部所获取到的所述图像数据输入到多个学习完成模型中的每个学习完成模型，来获取所述多个学习完成模型中的每个学习完成模型所输出的、表示所述图像数据中映现的风景的场景的输出数据，并通过将获取到的多个所述输出数据整合，来判断所述图像数据中映现的风景是否正常；以及

估计部，所述估计部用于基于被所述判定部确定为正常的所述图像数据，来估计所述图像数据中映现的风景的能见度，其中，

所述多个学习完成模型是基于正确场景互不相同的学习用数据预先进行了学习而得到的学习完成模型，所述多个学习完成模型中的一个学习完成模型的所述正确场景中包含的至少一个项目与另一个学习完成模型的所述正确场景中包含的至少一个项目相同。

2.根据权利要求1所述的能见度估计装置，其特征在于，

所述判定部具体用于将多个所述输出数据输入到预先进行了学习而得到的整合学习完成模型，并基于从所述整合学习完成模型输出的数据，来判断所述图像数据中映现的风景是否正常，所述整合学习完成模型通过对被输入的多个数据进行加权运算来整合所述多个数据。

3.根据权利要求1所述的能见度估计装置，其特征在于，

所述图像数据映现有具有多条车道的道路，

所述估计部具体用于基于针对先前图像数据而预先设定的多条车道的位置信息，为所述图像数据中映现的多条车道中的每条车道估计所述能见度，所述先前图像数据映现的风景与所述图像数据中映现的风景相同。

4.根据权利要求1或2所述的能见度估计装置，其特征在于，

所述学习用数据是表示所述正确场景与学习用图像数据的组合的数据，

多个所述学习用图像数据的至少一部分学习用图像数据添加有柏林噪声。

5.根据权利要求1或2所述的能见度估计装置，其特征在于，

所述多个学习完成模型包括下述中的至少一个：至少以与对所述图像数据中映现的风景进行拍摄的时间段有关的数据作为所述输出数据进行输出的第一学习完成模型、至少以所述图像数据中映现的风景中是否存在强光作为所述输出数据进行输出的第二学习完成模型、至少以在拍摄所述图像数据的照相机中是否发生了镜头内反射作为所述输出数据进行输出的第三学习完成模型、以及至少以与所述图像数据中映现的风景中存在的对象物有关的数据作为所述输出数据进行输出的第四学习完成模型，

所述多个学习完成模型包括：至少以与由拍摄所述图像数据的照相机中的镜头引起的模糊以及所述图像数据中存在的雾有关的数据作为所述输出数据进行输出的第五学习完成模型、以及至少以与所述图像数据中存在的云以及雾有关的数据作为所述输出数据进行输出的第六学习完成模型。

6.根据权利要求1或2所述的能见度估计装置，其特征在于，

所述图像获取部具体用于部获取通过照相机对室外的风景进行拍摄而得到的所述图像数据，

所述估计部具体用于获取将先前图像数据的像素距离变换为距所述照相机的物理距离的变换式，并对所述图像数据上的像素位置应用所述变换式，由此计算所述图像数据中映现的风景的能见度，

所述变换式是通过如下计算出的变换式：基于在从与所述照相机相同的位置预先对所述室外进行拍摄而得到的先前图像数据中，对所述先前图像数据内映现的物理距离已知的对象物设定的多个参照点，将所述照相机的设置高度、摄影方向、以及焦点距离置换为至少两个参数，并进行最优化。

7.一种能见度估计方法，由计算机执行，其特征在于，所述方法包括：

获取映现出室外的风景的图像数据；

通过将获取到的所述图像数据输入到多个学习完成模型中的每个学习完成模型，来获取从所述多个学习完成模型中的每个学习完成模型输出的、表示所述图像数据中映现的风景的场景的输出数据；

通过将获取到的多个所述输出数据整合，来判断所述图像数据中映现的风景是否正常；以及

基于被确定为正常的所述图像数据，来估计所述图像数据中映现的风景的能见度，在所述能见度估计方法中，

所述多个学习完成模型是基于正确场景互不相同的学习用数据预先进行了学习而得到的学习完成模型，所述多个学习完成模型中的一个学习完成模型的所述正确场景中包含的至少一个项目与另一个学习完成模型的所述正确场景中包含的至少一个项目相同。

8.一种计算机可读取的记录介质，其特征在于，记录有能见度估计程序，所述能见度估计程序用于使所述计算机执行如下处理：

获取映现出室外的风景的图像数据；

通过将获取到的所述图像数据输入到多个学习完成模型中的每个学习完成模型，来获取所述多个学习完成模型中的每个学习完成模型输出的、表示所述图像数据中映现的风景的场景的输出数据；

通过将获取到的多个所述输出数据整合，来判断所述图像数据中映现的风景是否正常；以及

基于被确定为正常的所述图像数据，来估计所述图像数据中映现的风景的能见度，其中，

所述多个学习完成模型是基于正确场景互不相同的学习用数据预先进行了学习而得到的学习完成模型，所述多个学习完成模型中的一个学习完成模型的所述正确场景中包含的至少一个项目与另一个学习完成模型的所述正确场景中包含的至少一个项目相同。