CN109068091A - 图像传送装置、图像诊断装置以及图像诊断系统 - Google Patents

Abstract

为了抑制利用外部设备进行的图像诊断的效率下降，本发明提供图像传送装置、图像诊断装置以及图像诊断系统。其中，图像传送装置包括：图像获取部，其获取基于对车辆的周边进行拍摄的车载摄像头的拍摄结果的规定图像；以及图像传送部，其在根据图像来诊断车载摄像头的异常的图像诊断装置被连接到设于车载网络上的车辆的外部接口时，根据来自图像诊断装置的指示，将从规定图像中部分地提取出的诊断图像，通过车载网络传送给图像诊断装置。

Description

图像传送装置、图像诊断装置以及图像诊断系统

技术领域

本发明的实施方式涉及图像传送装置、图像诊断装置以及图像诊断系统。

背景技术

一直以来，对利用车载网络的技术进行着各种研究。众所周知，车载网络的传输速度比较慢。

此外，通常在车辆制造工序中，在各种部件的组装工序之后，进行该各种部件的检查工序。在检查工序中，例如使用车载摄像头的拍摄图像等来进行图像诊断，由此检查车载摄像头是否正常动作。

以往，一般通过将车载摄像头的拍摄图像等显示于车辆内部的显示装置，来进行图像诊断。然而，这种图像诊断方法无法应用于不具备显示装置的车辆。

因此，目前对如下方案进行着研究：在车载网络上设置用来连接能显示图像的外部设备的外部接口，并将用于图像诊断的图像从车辆通过车载网络传送给外部设备，利用外部设备进行图像诊断。

专利文献1：日本特开2010-54293号公报

发明内容

然而，如上所述，众所周知，车载网络的传输速度是比较慢的。因此，如果将用于图像诊断的图像保持原样地传送，则到传送结束为止需要较长时间，可能导致利用外部设备进行的图像诊断的效率下降。

因此，本发明实施方式的目的之一是抑制利用外部设备进行的图像诊断的效率下降。

实施方式的图像传送装置具备：图像获取部，其获取基于对车辆的周边进行拍摄的车载摄像头的拍摄结果的规定图像；以及图像传送部，其在根据图像来诊断所述车载摄像头的异常的图像诊断装置被连接到设于车载网络上的、车辆的外部接口时，根据来自图像诊断装置的指示，将从规定图像中部分地提取出的诊断图像，通过车载网络传送给图像诊断装置。由此，为了图像诊断而传送的诊断图像的尺寸变小，使得传送量减少，因此即使是传输速度比较慢的车载网络，也能够更为迅速地传送诊断图像。其结果，能够抑制使用作为外部设备的图像诊断装置进行的图像诊断的效率下降。

在上述的图像传送装置中，图像获取部将在设有多个车载摄像头的情况下基于该多个车载摄像头的拍摄结果而生成的、从上方观察到的车辆的周边的俯视图像，获取为规定图像，图像传送部将俯视图像中的、与多个车载摄像头的多个拍摄区域的边界对应的边界区域的图像，作为诊断图像而传送。由此，能够仅将俯视图像中有必要进行图像诊断的边界区域的图像，作为诊断图像传送，因而能够提高使用图像诊断装置进行的图像诊断的效率。

在这种情况下，图像传送装置还具备存储部，其存储比较图像，该比较图像表示在多个车载摄像头没有异常的状态下的边界区域，图像传送部将与比较图像不一致的诊断图像，通过车载网络传送给图像诊断装置。由此，能够仅将与比较图像不一致的诊断图像、即有必要进行图像诊断的诊断图像传送给图像诊断装置，因而能够提高使用图像诊断装置进行的图像诊断的效率。

此外，在上述的图像传送装置中，图像获取部将在设有多个车载摄像头的情况下由该多个车载摄像头拍摄到的、设置在车辆的周边的规定位置上的标识物的拍摄图像，获取为规定图像，图像传送装置还包括判断部，其判断是否从拍摄图像中正常地检测出标识物，图像传送部根据判断部的判断结果，将没有正常地检测出标识物的拍摄图像中的、与包含有标识物的设置位置的规定范围对应的规定区域的图像，作为所述诊断图像传送。由此，能够仅将标识物的拍摄图像中有必要进行图像诊断的规定区域的图像，作为诊断图像传送。

此外，在上述的图像传送装置中，图像传送部根据来自图像诊断装置的指示，切换为将诊断图像传送或将整个规定图像传送。由此，根据需要灵活选用：使用诊断图像的图像诊断或使用整个规定图像的图像诊断。

此外，实施方式的图像诊断装置是构成为能够连接到设于车载网络上的车辆的外部接口，并且根据图像来诊断对车辆的周边进行拍摄的车载摄像头的异常的图像诊断装置，其具备：输入接受部，其接受操作输入；指示输出部，其在图像诊断装置被连接到外部接口的状态下，将与操作输入对应的指示输出到车辆的图像传送装置，该图像传送装置包括：图像获取部，其获取基于车载摄像头的拍摄结果的规定图像；以及图像传送部，其在图像诊断装置被连接到外部接口时，根据指示，将从规定图像中部分地提取出的诊断图像，通过车载网络传送给图像诊断装置；图像接收部，其接收根据指示而从图像传送装置传送来的诊断图像；以及显示处理部，其将图像接收部所接收到的诊断图像，显示于显示部。由此，为了图像诊断而传送的诊断图像的尺寸变小，使得传送量减少，因此即使是传输速度比较慢的车载网络，也能够更为迅速地传送诊断图像。其结果，能够抑制使用作为外部设备的图像诊断装置进行的图像诊断的效率下降。

在上述的图像诊断装置中，规定图像是在设有多个车载摄像头的情况下基于该多个车载摄像头的拍摄结果生成的、从上方观察到的车辆的周边的俯视图像，诊断图像是俯视图像中的、与多个车载摄像头的多个拍摄区域的边界对应的边界区域的图像，图像诊断装置还具备存储部，其存储比较图像，该比较图像表示在多个车载摄像头没有异常的状态下的边界区域，显示处理部将图像接收部所接收到的诊断图像中的、与比较图像不一致的诊断图像，显示于显示部。由此，能够仅将与比较图像不一致的诊断图像、即有必要进行图像诊断的诊断图像传送给图像诊断装置，因而能够提高图像诊断的效率。

此外，实施方式的图像诊断系统具备：图像传送装置，其设于车辆；以及图像诊断装置，其构成为能够连接到设于车载网络上的车辆的外部接口，并且根据图像来诊断对车辆的周边进行拍摄的车载摄像头的异常，图像传送装置包括：图像获取部，其获取基于车载摄像头的拍摄结果的规定图像；以及图像传送部，其在图像诊断装置被连接到外部接口时，根据来自图像诊断装置的指示，将从规定图像中部分地提取出的诊断图像，通过车载网络传送给图像诊断装置，图像诊断装置包括：输入接受部，其接受操作输入；指示输出部，其在图像诊断装置被连接到外部接口的状态下，将与操作输入对应的指示，输出到图像传送装置；以及显示处理部，其将根据指示从图像传送装置传送来的诊断图像，显示于显示部。由此，为了图像诊断而传送的诊断图像的尺寸变小，使得传送量减少，因此即使是传输速度比较慢的车载网络，也能够更为迅速地传送诊断图像。其结果，能够抑制使用作为外部设备的图像诊断装置进行的图像诊断的效率下降。

附图说明

图1是表示第1实施方式的车辆的示例性立体图，其中以透视状态表示车室的一部分。

图2是表示第1实施方式的车辆的示例性俯视图(鸟瞰图)。

图3是表示第1实施方式的车辆的内部的概略硬件结构的示例性框图。

图4是表示第1实施方式的图像诊断所使用的终端装置的概略硬件结构的示例性框图。

图5是表示第1实施方式的图像传送装置和图像诊断装置的功能性结构的示例性框图。

图6是表示第1实施方式的图像诊断所使用的俯视图像的1个示例的例示图。

图7是表示在第1实施方式中从俯视图像中部分地提取出的诊断图像的1个示例的例示图。

图8是表示第1实施方式的图像传送装置和图像诊断装置在图像诊断时的动作流程的示例性时序图。

图9是表示第2实施方式的图像传送装置和图像诊断装置的功能性结构的示例性框图。

图10是表示第2实施方式的图像传送装置和图像诊断装置在图像诊断时的动作流程的示例性时序图。

图11是表示第2实施方式的变形例的图像传送装置和图像诊断装置的功能性结构的示例性框图。

图12是表示第2实施方式的变形例的图像传送装置和图像诊断装置在图像诊断时的动作流程的示例性时序图。

图13是表示在第3实施方式的图像传送装置和图像诊断装置中实现的功能性结构的示例性框图。

图14是表示在第3实施方式的图像诊断中使用的标识物的示意性例示图。

图15是表示在第3实施方式中从标识物图像中部分地提取出的诊断图像的1个示例的例示图。

图16是表示第3实施方式的图像传送装置和图像诊断装置在图像诊断时的动作流程的示例性时序图。

符号说明

1 车辆

13 外部接口

16、16a～16d 车载摄像头

23 车载网络

100、100a、100b 图像传送装置

102 俯视图像获取部(图像获取部)

102b 标识物图像获取部(图像获取部)

104、104a、104b 图像传送部

105a 比较图像存储部(存储部)

106b 标识物异常判断部(判断部)

200、200a 图像诊断装置

201 输入接受部

202 指示输出部

203 图像接收部

204、204a 显示处理部

205a 比较图像存储部(存储部)

具体实施方式

下面，基于附图来说明实施方式。以下记述的实施方式的结构以及该结构所带来的作用和结果(效果)只不过是1个示例，并不限于以下的记述内容。

第1实施方式

首先，使用图1和图2，对第1实施方式的车辆1的概略结构进行说明。图1是表示第1实施方式的车辆1的示例性立体图，其中以透视状态表示车室2a的一部分。此外，图2是表示第1实施方式的车辆1的示例性俯视图(鸟瞰图)。

如图1所示，第1实施方式的车辆1具备供未图示的乘员(用户)乘坐的车室2a。在车室2a内，以作为用户的驾驶者在座椅2b上能够操作的状态，设有转向操作部4、加速操作部5、制动操作部6、变速操作部7等。

转向操作部4是从前围板(仪表板)突出的方向盘。加速操作部5是设在驾驶员脚下的油门踏板。制动操作部6是设在驾驶员脚下的制动踏板。变速操作部7是从中控台突出的变速杆。

车室2a内设置有监控装置11，其包括能够输出各种图像的显示装置(显示器)8以及能够输出各种声音的音频输出装置9。监控装置11设置于车室2a内的前围板的车宽方向(左右方向)的中央部。显示装置8由LCD(液晶显示器)或OELD(有机电致发光显示器)等构成，例如，能够显示对车辆1的周边进行拍摄而得到的图像、犹如从上方俯视车辆1的图像等。对车辆1的周边进行拍摄所得到的图像被称为周边图像等，犹如从上方俯视车辆1的图像被称为俯视图像或鸟瞰图像等。

这里，在第1实施方式的显示装置8中用于显示图像的区域、即显示画面上，设置有触控面板10，其能够检测该显示画面中手指或触控手写笔等指示体接近(包括接触)的位置的坐标。由此，用户能够目视确认显示于显示装置8的显示画面的图像，并且通过在触控面板10上使用指示体进行输入操作(例如触摸操作)，还能够输入各种操作。

此外，在第1实施方式中，监控装置11还可以具有开关、旋钮、控制杆、按钮等各种物理性操作输入部。此外，在第1实施方式中，也可以在车室2a内的与监控装置11的位置不同的位置上，设置有其它音频输出装置。在这种情况下，可以从音频输出装置9和其它音频输出装置的双方输出各种声音信息。此外，在第1实施方式中，监控装置11也可以构成为，能够显示与导航系统和音响系统等各种系统相关的信息。

此外，如图1和图2所示，第1实施方式的车辆1是具有左右2个前轮3F和左右2个后轮3R的四轮汽车。前轮3F的侧偏角根据对转向操作部4(方向盘)的操作而发生变化(转向)。另外，如后所述，第1实施方式的车辆1设置有转向操作系统12(参照图3)，其用于控制对前轮3F的转向操作。转向操作系统12为电动动力转向系统或SBW(线控转向)系统等，是通过未图示的致动器对转向操作部4施加转矩(辅助转矩)来补充转向操作力，从而对前轮3F进行转向操作的系统。

如图2所示，车辆1(车身2)具有多个(图2的示例中为4个)车载摄像头16a、16b、16c和16d，其设置成能够拍摄该车辆1的周围的多个区域。车载摄像头16a设置于车辆1的前方位置，车载摄像头16b设置于车辆1的后方位置，车载摄像头16c设置于车辆1的车宽方向左侧位置，车载摄像头16d设置于车辆1的车宽方向右侧位置。这些车载摄像头16a～16d例如为具有CCD(电荷耦合器件)或CIS(CMOS(互补金属氧化物半导体)图像传感器)等拍摄元件的、通常所述的数字摄像头。另外，在下文中，为了简化而有时将车载摄像头16a～16d总称为车载摄像头16。

车载摄像头16以规定的帧率拍摄车辆1的周围的区域，并输出通过该拍摄而得到的图像数据。该图像数据能够作为帧图像而构成动态图像。此外，车载摄像头16具有广角透镜，例如能够在水平方向上拍摄视角180°～220°的范围。

此外，车载摄像头16a～16d设置成各自的光轴朝向车辆1的下方。由此，车载摄像头16a～16d能够拍摄到车辆1能够行驶的路面以及该路面的上方区域(外部环境)。

更具体而言，车载摄像头16a设置于车身2的前侧的端部2c(例如，前格栅)，能够拍摄车辆1的前方的区域。此外，车载摄像头16b设置于车身2的后侧的端部2e(例如，后行李箱门2h)，能够拍摄车辆1的后方的区域。此外，车载摄像头16c设置于车身2的车宽方向左侧的端部2d(例如，左侧的车门后视镜2g)，能够拍摄车辆1的左侧的区域。此外，车载摄像头16d设置于车身2的车宽方向右侧的端部2f(例如，右侧的车门后视镜2g)，能够拍摄车辆1的右侧的区域。

下面，使用图3对第1实施方式的车辆1的内部的概略硬件结构进行说明。图3是表示第1实施方式的车辆1的内部的概略硬件结构的示例性框图。

如图3所示，第1实施方式的车辆1的内部设置有：监控装置11、转向操作系统12、外部接口(I/F)13、ECU(电子控制单元)14、制动系统18、转向角传感器19、油门传感器20、档位传感器21和轮速传感器22。监控装置11、转向操作系统12、外部接口13、ECU14、制动系统18、油门传感器20、档位传感器21和轮速传感器22经由CAN(控制器局域网)等通信电路(以下称为车载网络23)以能够相互通信的方式相连接。

ECU14对从车载摄像头16得到的图像数据执行图像处理，并将通过该图像处理得到的图像数据显示于显示装置8。此外，ECU14通过车载网路23向车辆1的各部发送控制信号，由此控制转向操作系统12和制动系统18等各部。此时，ECU14在控制中可以利用通过车载网路23获取的传感器数据、即转向角传感器19、油门传感器20、档位传感器21、轮速传感器22等的检测结果(输出值)。此外，ECU14在控制中还可以利用通过车载网路23获取的、与使用触控面板10进行的输入操作相关的信息。

ECU14具有CPU(中央运算处理装置)14a、ROM(只读存储器)14b、RAM(随机存取存储器)14c、显示控制部14d、音频控制部14e、SSD(固态硬盘)14f等硬件结构。

CPU14a是用于控制整个车辆1的控制部。CPU14a读取ROM14b和SSD14f等存储装置所存储的程序，遵照该程序所含指令来动作，从而执行各种处理。RAM14c例如被用作CPU14a执行各种处理时所用的工作区域。

显示控制部14d对通过显示装置8的图像输出进行控制。此外，音频控制部14e对通过音频输出装置9的音频输出进行控制。

另外，在第1实施方式的ECU14中，CPU14a、ROM14b和RAM14c可以搭载于1个集成电路。此外，在第1实施方式的ECU14中，作为控制整个车辆1的控制部，可以设有DSP(数字信号处理器)等处理器或逻辑电路以取代CPU14a。并且，在第1实施方式中，作为用于存储由CPU14a执行的程序等的主存储装置，代替SSD14f(或者，除SSD14f之外)，可以设有HDD(硬盘驱动器)。还有，在第1实施方式中，也可以是，被连接到ECU14的外部装置具有作为主存储装置的SSD14f。

此外，通常在车辆1的制造工序中，在各种部件的组装工序之后，进行该各种部件的检查工序。在检查工序中，例如使用车载摄像头16的拍摄图像以及基于该拍摄图像生成的图像进行图像诊断，来检查车载摄像头16是否正常动作。

在如上所述的图像诊断中，例如使用从上方观察到的车辆1的俯视图像，该俯视图像是根据车载摄像头16a～16d所拍摄的4个拍摄图像而生成的。如果车载摄像头16a～16d中的至少1个存在异常，则会出现例如在俯视图像中的、与车载摄像头16a～16d的4个拍摄区域的边界对应的边界区域中映出的对象物的显示错位等异常。因此，在使用俯视图像的图像诊断中，检查员有必要目视确认俯视图像。

一直以来，一般是通过将上述俯视图像等显示于车辆1内部的显示装置8，来进行图像诊断。然而，这种图像诊断方法无法应用于不具备显示装置8的车辆1。

因此，在第1实施方式中应用如下结构：在车载网络23上设置用来连接能显示图像的外部设备的外部接口13，并将用于图像诊断的图像从车辆通过车载网络23传送给外部设备，从而能够利用外部设备进行图像诊断。

以下，参照图4来对用于图像诊断的外部设备即终端装置50进行更具体的说明。图4是表示第1实施方式的用于图像诊断的终端装置50的概略硬件结构的示例性框图。

如图4所示，作为硬件结构，终端装置50具有连接接口(I/F)51、显示部52、操作输入部53、控制部54。连接接口51、显示部52、操作输入部53和控制部54通过总线55等相连接。

连接接口51是用来与车辆1的外部接口13进行连接的接口。例如，连接接口51与外部接口13通过通信电缆等而被连接。显示部52是用来显示图像的装置。显示部52与车辆1的显示装置8同样，由LCD或OELD等构成。

操作输入部53是用来输入对终端装置50的操作的装置。操作输入部53例如由在显示部52上重叠设置的触控面板等构成。控制部54是用于对终端装置50的各部的动作进行总体控制的装置。控制部54具有处理器和内存(以及储存空间)等与通常的计算机同样的硬件结构。

这里，为了使用终端装置50进行图像诊断，有必要将用于该图像诊断的图像、例如上述的俯视图像那样的图像，从车辆1(ECU14)传送到终端装置50并显示于显示部52。这样的图像传送是通过车载网络23进行的。

然而，众所周知，车载网络23的传输速度比较慢。因此，如果将用于图像诊断的图像保持原样地传送，则到传送结束为止需要较长时间，可能导致利用终端装置50的图像诊断的效率下降。

因此，在第1实施方式中，如下所述那样地构成用来传送图像诊断所使用的图像的车辆1侧的功能模块组、即图像传送装置100，以及用来接收并显示图像诊断所使用的图像的终端装置50侧的功能模块组、即图像诊断装置200，从而抑制图像诊断的效率下降。

图5是表示第1实施方式的图像传送装置100和图像诊断装置200的功能性结构的示例性框图。在第1实施方式中，由图5所示的图像传送装置100和图像诊断装置200构成图像诊断系统，用于进行根据图像来诊断车载摄像头16的异常的图像诊断。以下假设，车辆1的外部接口13与终端装置50的连接接口51相连接，从而图像传送装置100和图像诊断装置200处于能够相互通信的状态。此外，以下还假设，在图像诊断中使用从上方观察到的车辆1的俯视图像或基于该俯视图像的图像(其细节将后述)。

如图5所示，图像传送装置100是作为由ECU14的CPU14a执行规定的软件(计算机程序)的结果而在ECU14内实现的功能模块组，图像诊断装置200是作为由控制部54的处理器执行规定的软件的结果而在控制部54内实现的功能模块组。另外，在第1实施方式中，也可以由专用的硬件(电路)来实现这些功能模块组的一部分或全部。

更具体而言，图像传送装置100具有：指示接收部101、俯视图像获取部102、诊断图像提取部103和图像传送部104。图像诊断装置200具有：输入接受部201、指示输出部202、图像接收部203和显示处理部204。

图像诊断装置200的输入接受部201接受检查员通过操作输入部53输入的操作输入。作为操作输入的示例，可举出：指示图像传送装置100准备用于图像诊断的图像的操作、以及指示图像传送装置100传送用于图像诊断的图像的操作等。图像诊断装置200的指示输出部202将基于输入接受部201所接受到的操作输入的指示，通过车载网络23输出到图像传送装置100。

图像传送装置100的指示接收部101接收图像诊断装置200的指示输出部202所输出的指示。在指示接收部101接收到为了指示准备用于图像诊断的图像而从图像诊断装置200输出的图像准备指示时，图像传送装置100的俯视图像获取部102根据该图像准备指示，获取基于由车载摄像头16a～16d所拍摄的4个拍摄图像而生成的俯视图像。此时，俯视图像获取部102也可以对彩色的俯视图像进行灰阶化，来削减数据量。

在此，对在第1实施方式中使用的俯视图像进行简单的说明。图6是表示在第1实施方式中使用的俯视图像的1个示例的例示图。

如图6所示，俯视图像是指，从上方观察到的车辆1和该车辆1的周边区域的图像。俯视图像是通过对设于车辆1的前后左右的车载摄像头16所拍摄的4个拍摄图像施以视点变换或合成等各种图像处理来生成的。

这里，如上所述，在车载摄像头16a～16d中至少1个存在异常时，会出现在俯视图像中、与车载摄像头16a～16d的4个拍摄区域的边界对应的边界区域中映出的对象物的显示错位等异常。例如，在图6的示例中，在车载摄像头16a～16d中至少1个存在异常的情况下，在边界区域R1～R4中映出的对象物会发生显示错位，其中边界区域R1～R4包含从车辆1的4个边角倾斜地延伸出的线L1～L4。

在图6的示例中，只要目视确认整个俯视图像，就能够判断在边界区域R1～R4中映出的对象物是否有显示错位，从而诊断车载摄像头16a～16d是否有异常，这是不言而喻的。然而，不是确认整个俯视图像而是仅确认边界区域R1～R4，也就能够判断在边界区域R1～R4中映出的对象物是否有显示错位。

因此，返回到图5，在指示接收部101接收到指示传送用于图像诊断的图像的图像传送指示时，第1实施方式的图像传送装置100的诊断图像提取部103根据该图像传送指示，提取(截取)俯视图像获取部102所获取的俯视图像的一部分、即图6的示例中边界区域R1～R4的图像，作为用于图像诊断的诊断图像。

然后，图像传送装置100的图像传送部104将诊断图像提取部103所提取出的诊断图像，通过车载网络23传送给图像诊断装置200。由此，为了图像诊断而从图像传送装置100传送到图像诊断装置200的图像的尺寸变小，能够缩短到传送结束为止所需的时间，提高图像诊断的效率。

图7是表示在第1实施方式中从俯视图像中部分地提取出的诊断图像的1个示例的例示图。在图7中，诊断图像(a)是在图6中位于车辆1的左前方的边界区域R1的图像，诊断图像(b)是在图6中位于车辆1的右前方的边界区域R2的图像。并且在图7中，诊断图像(c)是在图6中位于车辆1的左后方的边界区域R3的图像，诊断图像(d)是在图6中位于车辆1的右后方的边界区域R4的图像。

另外，第1实施方式所采用的结构是，检查员可以任意选择使图像传送装置100传送的图像为俯视图像的一部分即诊断图像(参照图7)，还是整个俯视图像(参照图6)。该选择的结果，例如被包含在为了指示传送用于图像诊断的图像而从图像诊断装置200输出到图像传送装置100的图像传送指示中。

因此，返回到图5，在指示接收部101接收到图像传送指示后，第1实施方式的图像传送装置100的图像传送部104根据该图像传送指示所包含的检查员的选择，切换为将俯视图像的一部分即诊断图像(参照图7)传送或将整个俯视图像(参照图6)传送。也就是说，在第1实施方式中，在图像传送指示中所要求的是整个俯视图像的传送时，图像传送装置100的诊断图像提取部103不执行诊断图像的提取，图像传送装置100的图像传送部104执行整个俯视图像的传送。由此，根据需要灵活选用：使用俯视图像的一部分即诊断图像的图像诊断或使用整个俯视图像的图像诊断。

另外，图像诊断装置200的图像接收部203接收从图像传送装置100传送来的图像、也就是俯视图像的一部分即诊断图像(参照图7)或整个俯视图像(参照图6)。此外，图像诊断装置200的显示处理部204将图像接收部203所接收到的图像显示于显示部52。由此，检查员通过确认图像诊断装置200的显示部52的显示画面，能够根据在边界区域R1～R4中映出的对象物是否有显示错位，来诊断车载摄像头16是否有异常。

根据以上的结构，在第1实施方式的图像诊断时，图像传送装置100和图像诊断装置200按如下的流程进行动作。图8是表示第1实施方式的图像传送装置100和图像诊断装置200在图像诊断时的动作流程的示例性时序图。

如图8所述，在第1实施方式的图像诊断时，首先图像诊断装置200向图像传送装置100输出图像准备指示，指示图像传送装置100准备用于图像诊断的图像(S1)。在接收到图像准备指示后，图像传送装置100根据该图像准备指示，获取俯视图像(S2)。然后，在俯视图像的获取已结束时，图像传送装置100将准备已结束的通知输出给图像诊断装置200(S3)。

在接收到准备已结束的通知后，图像诊断装置200向图像传送装置100输出图像传送指示，指示图像传送装置100传送用于图像诊断的图像(S4)。如上所述，在图像传送指示中包含与传送对象图像是选俯视图像的一部分即诊断图像(参照图7)还是选整个俯视图像(参照图6)有关的、检查员的选择。

在接收到图像传送指示后，图像传送装置100基于该图像传送指示所包含的检查员的选择，根据需要从整个俯视图像(参照图6)提取该俯视图像的一部分即诊断图像(参照图7)(S5)。也就是说，图像传送装置100在图像传送指示所要求的是传送俯视图像的一部分即诊断图像的情况下，执行诊断图像的提取，而在图像传送指示所要求的是传送整个俯视图像的情况下，不执行诊断图像的提取而执行下一动作。

图像传送装置100在执行诊断图像的提取时，将提取出的诊断图像传送给图像诊断装置200，而没有执行诊断图像的提取时，将整个俯视图像传送给图像诊断装置200(S6)。然后，图像诊断装置200接收俯视图像的一部分即诊断图像或整个俯视图像，并将接收到的图像显示于显示部52(S7)。

如以上说明，第1实施方式的图像传送装置100具有：俯视图像获取部102，其获取俯视图像作为基于车载摄像头16的拍摄结果的(用于图像诊断的)规定图像；以及图像传送部104，其在图像诊断装置200被连接到设置在车载网络23上的外部接口13时，根据来自该图像诊断装置200的指示，将从俯视图像中部分地提取出的诊断图像通过车载网路23传送给图像诊断装置200。由此，为了图像诊断而传送的诊断图像的尺寸变小，使得传送量减少，因此即使是传输速度比较慢的车载网络，也能够迅速地传送诊断图像。其结果，能够抑制使用作为外部设备的图像诊断装置200进行的图像诊断的效率下降。

此外，在第1实施方式的图像传送装置100中，图像传送部104将俯视图像中的、与车载摄像头16a～16d的多个拍摄区域的边界对应的边界区域的图像，作为诊断图像传送。由此，能够仅将俯视图像中有必要进行图像诊断的边界区域的图像，作为诊断图像传送，因而能够提高使用图像诊断装置200进行的图像诊断的效率。

第2实施方式

在上述的第1实施方式中，在从俯视图像提取出多个诊断图像的情况下，执行所提取出的所有诊断图像的传送。然而，如果在进行传送之前判断诊断图像中是否存在异常，并且仅将判断为存在异常的诊断图像实际传送，则能够进一步削减传送量，而且可以减少检查员进行确认的工夫，由此图像诊断的效率得以提高，是有益的。

于是，在下文中，作为第2实施方式，对在提取出诊断图像时在图像传送装置100a这一方判断该诊断图像是否存在异常的图像诊断系统进行说明。

首先，对第2实施方式的图像诊断系统的结构进行说明。图9是表示第2实施方式的图像传送装置100a和图像诊断装置200的功能性结构的示例性框图。

如图9所示，第2实施方式的图像传送装置100a具有：指示接收部101、俯视图像获取部102、诊断图像提取部103、图像传送部104a以及比较图像存储部105a。因为指示接收部101、俯视图像获取部102及诊断图像提取部103与上述的第1实施方式(参照图5)中的一样，所以在下文中仅对图像传送部104a和比较图像存储部105a进行说明。此外，图像诊断装置200也是与上述的第1实施方式中的一样，因此在下文中省略对图像诊断装置200的详细说明。

第2实施方式的图像传送装置100a的图像传送部104a在根据来自图像诊断装置200的图像传送指示来传送俯视图像的一部分即诊断图像(参照图7)时，仅将该多个诊断图像中的、与存储于比较图像存储部105a的比较图像不一致的诊断图像，传送给图像诊断装置200。其中，比较图像是指，在车载摄像头16没有异常的状态下表示边界区域的图像，也就是对象物没发生显示错位的诊断图像。这样的比较图像预先存储在比较图像存储部105a中。

更具体而言，在诊断图像提取部103提取出多个诊断图像(参照图7)时，第2实施方式的图像传送部104a首先判断那些多个诊断图像是否与比较图像一致，由此确定出与比较图像不一致的诊断图像。

这里，与比较图像不一致的诊断图像可以说是异常的诊断图像，也就是根据存在异常的车载摄像头16的拍摄结果而被生成的诊断图像，因而有必要作为图像诊断的对象。相对于此，与比较图像一致的诊断图像可以说是没有异常的诊断图像，也就是根据不存在异常的车载摄像头16的拍摄结果而被生成的诊断图像，因而无需作为图像诊断的对象。

因此，第2实施方式的图像传送部104a根据上述的判断结果，仅将与比较图像不一致的诊断图像传送给图像诊断装置200。由此，根据第2实施方式，能够进一步削减传送量，而且可以减少检查员进行确认的工夫，从而图像诊断的效率得以提高。

另外，第2实施方式的其它结构与上述的第1实施方式一样，因而在此省略其说明。

接着，对在第2实施方式中执行的动作流程进行说明。图10是表示第2实施方式的图像传送装置100a和图像诊断装置200在图像诊断时的动作流程的示例性时序图。

如图10所示，在第2实施方式的图像诊断时，依序执行以下动作：由图像诊断装置200输出图像准备指示(S11)；由图像传送装置100a获取俯视图像(S12)；由图像传送装置100a输出“准备已结束”的通知(S13)；由图像诊断装置200输出图像传送指示(S14)；以及由图像传送装置100a提取诊断图像(S15)。其中，S11～S15的动作流程与图8所示的第1实施方式中的S1～S5的动作流程一样，这里省略重复的说明。此外，在下文中，为了简化而假定为在S14的图像传送指示中没有要求整个俯视图像的传送。

图像传送装置100a执行诊断图像的提取后，将提取出的诊断图像与存储于比较图像存储部105a的比较图像进行比较，并且根据比较结果，将与比较图像不一致的诊断图像确定为异常的诊断图像(S16)。然后，图像传送装置100a仅将确定出的异常的诊断图像传送给图像诊断装置200(S17)。然后，图像诊断装置200接收异常的图像，并将接收到的异常的图像显示于显示部52(S18)。

如以上说明，在第2实施方式中，图像传送装置100a具有用于存储比较图像的比较图像存储部105a，该比较图像表示在车载摄像头16a～16d没有异常的状态下的边界区域，图像传送部104a将与比较图像不一致的诊断图像，通过车载网络23传送给图像诊断装置200。由此，由于能够仅将与比较图像不一致的诊断图像、即有必要进行图像诊断的诊断图像传送给图像诊断装置200，因此能够提高使用图像诊断装置200进行的图像诊断的效率。

另外，第2实施方式的其它效果与上述的第1实施方式一样。

第2实施方式的变形例

在上述的第2实施方式中说明的是，在传送图像之前，在图像传送方执行诊断图像是否存在异常的判断的示例。然而，诊断图像是否存在异常的判断，也可在传送图像之后，由诊断图像的接收方执行。

因此，在下文中，作为第2实施方式的变形例，对在诊断图像传送后，在接收到诊断图像的图像诊断装置200a这一方执行诊断图像是否存在异常的判断的示例进行说明。

首先，对第2实施方式的变形例的图像诊断系统的结构进行说明。图11是表示第2实施方式的变形例的图像传送装置100和图像诊断装置200a的功能性结构的示例性框图。

如图11所示，第2实施方式的变形例的图像诊断装置200a具有输入接受部201、指示输出部202、图像接收部203、显示处理部204a和比较图像存储部205a。输入接受部201、指示输出部202及图像接收部203与上述的第2实施方式(参照图9)中的一样，因此在下文中仅对显示处理部204a和比较图像存储部205a进行说明。此外，图像传送装置100是与上述的第1实施方式(参照图5)中的一样，因此在下文中省略关于图像传送装置100的详细说明。

在图像接收部203接收到多个诊断图像(参照图7)时，第2实施方式的变形例的图像诊断装置200a的显示处理部204a仅将那些多个诊断图像中的、与存储于比较图像存储部205a的比较图像不一致的诊断图像，显示于显示部52(参照图4)。这里所说的比较图像是指，与上述的第2实施方式中的一样的、在车载摄像头16没有异常的状态下的表示边界区域的图像，也就是对象物没有发生显示错位的诊断图像。这样的比较图像预先存储在比较图像存储部205a中。

更具体而言，在图像接收部203接收到多个诊断图像(参照图7)时，第2实施方式的变形例的显示处理部204a首先判断那些多个诊断图像是否与比较图像一致，由此确定与比较图像不一致的诊断图像。

与上述的第2实施方式同样地，与比较图像不一致的诊断图像可以说是异常的诊断图像，也就是根据存在异常的车载摄像头16的拍摄结果而被生成的诊断图像，因而有必要作为图像诊断的对象。相对于此，与比较图像一致的诊断图像可以说是没有异常的诊断图像，也就是根据不存在异常的车载摄像头16的拍摄结果而被生成的诊断图像，因而无需作为图像诊断的对象。

因此，第2实施方式的变形例的显示处理部204a根据上述的判断结果，仅将与比较图像不一致的诊断图像显示于显示部52(参照图4)。由此，根据第2实施方式的变形例，能够使检查员仅确认异常的诊断图像，从而能够提高图像诊断的效率。

另外，第2实施方式的变形例的其它结构与上述的第2实施方式一样，因而在此省略其说明。

接着，对在第2实施方式的变形例中执行的动作流程进行说明。图12是表示第2实施方式的变形例的图像传送装置100和图像诊断装置200a在图像诊断时的动作流程的示例性时序图。

如图12所示，在第2实施方式的变形例的图像诊断时，依序执行以下动作：由图像诊断装置200a输出图像准备指示(S21)；由图像传送装置100获取俯视图像(S22)；由图像传送装置100输出“准备已结束”的通知(S23)；由图像诊断装置200a输出图像传送指示(S24)；以及由图像传送装置100提取诊断图像(S25)。其中，S21～S25的动作流程与图10所示的第2实施方式中的S11～S15的动作流程一样，这里省略重复的说明。

图像传送装置100执行诊断图像的提取后，将提取出的所有诊断图像传送给图像诊断装置200a(S26)。然后，图像诊断装置200a将接收到的诊断图像与存储于比较图像存储部205a的比较图像进行比较，并且根据比较结果，将与比较图像不一致的诊断图像确定为异常的诊断图像(S27)。然后，图像诊断装置200a仅将确定出的异常的诊断图像显示于显示部52(S28)。

如以上说明，在第2实施方式的变形例中，图像诊断装置200a具有用于存储比较图像的比较图像存储部205a，该比较图像表示在车载摄像头16a～16d没有异常的状态下的边界区域，显示处理部204a将在图像接收部203所接收到的诊断图像中的、与比较图像不一致的诊断图像，显示于显示部52。由此，由于能够仅将与比较图像不一致的诊断图像、即有必要进行图像诊断的诊断图像显示于显示部52，因此能够提高图像诊断的效率。

第3实施方式

在上述的第1实施方式以及第2实施方式及其变形例中说明的是在从上方观察到的车辆1的俯视图像中提取诊断图像的示例。然而，诊断图像并不限于从俯视图像提取出的图像。

因此，在下文中，作为第3实施方式，对从标识物图像中提取诊断图像的图像诊断系统进行说明，其中，标识物图像是作为光轴调整等对车载摄像头16进行的校正的指标而设置的标识物M(参照后述的图14)的拍摄图像。

首先，对第3实施方式的图像诊断系统的结构进行说明。图13是表示在第3实施方式的图像传送装置100b和图像诊断装置200中实现的功能性结构的示例性框图。

如图13所示，第3实施方式的图像传送装置100b具有：指示接收部101、标识物图像获取部102b、标识物异常判断部106b、诊断图像提取部103b和图像传送部104b。其中，指示接收部101与上述的第1实施方式(参照图5)中的一样，因此在下文中仅对标识物图像获取部102b、标识物异常判断部106b、诊断图像提取部103b和图像传送部104b进行说明。此外，图像诊断装置200与上述的第1实施方式(参照图5)中的一样，因此在下文中省略对图像诊断装置200的详细说明。

在指示接收部101接收到来自图像诊断装置200的图像准备指示时，标识物图像获取部102b获取标识物图像。此时，标识物图像获取部102b也可以通过对标识物图像进行二值化处理等来削减标识物图像的数据量。这里，标识物图像是指，通过车载摄像头16对标识物M进行拍摄所得的图像，该标识物M为了进行检查而设置于停车中的车辆1的周围。在第3实施方式中，如在后面详细地说明，根据标识物图像来生成的图像成为图像诊断的对象。

图14是表示在第3实施方式的图像诊断中使用的标识物M的示意性例示图。如图14所示，标识物M在车辆的周围，与每1个车载摄像头16对应地设置2个。在图14的示例中，标识物M包含多个圆形的标记S。另外，图14所示的标识物M的个数和配置只不过是1个示例，标识物M的个数和配置并不限于图14所示的示例。

返回到图13，标识物异常判断部106b判断是否从标识物图像获取部102b所获取的标识物图像中正常地检测出标识物M。例如，在标识物图像中映出的标识物M内的圆形标记S的个数与实际情况不同的状态时，标识物异常判断部106b判断为从该标识物图像中没有正常地检测出标识物M，也就是说，标识物图像存在某些异常。这样的标识物图像的异常有可能在车载摄像头16的光轴等存在异常时发生。

另一方面，如上所述的标识物图像的异常可以通过图像处理等来检测。然而，进行图像处理也无法分辨检测出的异常是由于何种具体原因而发生的。例如，检测出的异常是因标识物M的周边的照度的原因而发生的、还是因变赃的原因而发生的、或者因障碍物的原因发生的等等，只有进行由检查员目视确认标识物图像中与异常相对应的部分这样的图像诊断才能分辨。

另一方面，如上所述，众所周知车载网路23的传输速度是比较慢的。因此，考虑到检查员的图像诊断的效率，最好不是将整个标识物图像从图像传送装置100b传送到图像诊断装置200，而是仅将标识物图像中与异常相对应的部分从图像传送装置100b传送到图像诊断装置200。

因此，第3实施方式的诊断图像提取部103b根据标识物异常判断部106b的判断结果，从没有正常地检测出标识物M的标识物图像中，部分地提取用来进行图像诊断的诊断图像。更具体而言，诊断图像提取部103b将没有正常地检测出标识物M的标识物图像中的、与包含有标识物M的设置位置的规定范围对应的规定区域的图像，提取为诊断图像。

图15是表示在第3实施方式中从标识物图像中部分地提取出的诊断图像的1个示例的例示图。如图15所示，第3实施方式的诊断图像是，从通过车载摄像头16对设置于车辆1周边的标识物M进行拍摄所得的标识物图像中，将映出有标识物M的部分与其周边区域一起截取所得的图像。标识物M的设置位置是预设的，因此截取标识物图像的范围也是根据标识物M的设置位置而预设的。因此，在第3实施方式中设为，截取标识物图像的范围作为ROI(Region Of Interest,感兴趣区域)预先存储。

返回到图13，在诊断图像提取部103b提取出诊断图像后，图像传送装置104b将提取出的诊断图像传送给图像诊断装置200。此时，图像传送部104b可以对诊断图像进行数据压缩。由此，诊断图像的数据量得以削减，因此即使是传输速度比较慢的车载网络23也能够迅速传送诊断图像，可以抑制图像诊断的效率下降。

另外，第3实施方式的其它结构与上述的第1实施方式的一样，因此省略其说明。

下面，对在第3实施方式中执行的动作的流程进行说明。图16是表示第3实施方式的图像传送装置100b和图像诊断装置200在图像诊断时的动作流程的示例性时序图。

如图16所述，在第3实施方式的图像诊断时，首先图像诊断装置200向图像传送装置100b输出图像准备指示，指示图像传送装置100b准备用于图像诊断的图像(S31)。在接收图像准备指示后，图像传送装置100b根据该图像准备指示，获取标识物图像(S32)。然后，图像传送装置100b通过图像处理等，来判断是否从标识物图像正常地检测出标识物M(S33)。在判断结束后，图像传送装置100b将准备已结束的通知输出给图像诊断装置200(S34)。

在接收到准备已结束的通知后，图像诊断装置200向图像传送装置100b输出图像传送指示，要求图像传送装置100b传送用于图像诊断的图像(S35)。然后，图像传送装置100b接受到图像传送指示，并从标识物图像截取预先设定为ROI的区域，由此提取出标识物图像的一部分、即映出标识物M的诊断图像(S36)。

然后，图像传送装置100b将提取出的诊断图像通过车载网络23传送给图像诊断装置200(S37)。然后，图像诊断装置200接收到诊断图像，并将接收到的诊断图像显示于显示部52(S38)。

如以上说明，在第3实施方式的图像传送装置100b中，标识物图像获取部102b获取标识物图像作为用于图像诊断的规定图像，该标识物图像是通过车载摄像头16对设置于车辆1周边的规定位置的标识物M进行拍摄所得的拍摄图像。然后，图像传送装置100b的图像传送部104b根据标识物异常判断部106b的判断结果，将没有正常地检测出标识物M的标识物图像中的、与包含有标识物M的设置位置的规定范围对应的规定区域的图像，作为诊断图像传送。由此能够仅将标识物图像中有必要进行图像诊断的规定区域的图像，作为诊断图像传送。

另外，第3实施方式的其它效果与上述的第1实施方式一样。

以上，说明了本发明的一些实施方式及变形例，但上述实施方式及变形例只不过是示例，并没有限定发明范围的意图。上述的新颖实施方式及变形例能够以各种方式实施，在不脱离发明主旨的范围内，可以进行各种省略、替换、变更等。上述的实施方式及变形例包含于发明范围和主旨，并且也包含在权利要求书中记载的发明及其等同范围内。

Claims (8)

1.一种图像传送装置，其特征在于，具备：

图像获取部，其获取基于对车辆的周边进行拍摄的车载摄像头的拍摄结果的规定图像；以及

图像传送部，其在根据图像来诊断所述车载摄像头的异常的图像诊断装置被连接到设于车载网络上的、所述车辆的外部接口时，根据来自所述图像诊断装置的指示，将从所述规定图像中部分地提取出的诊断图像，通过所述车载网络传送给所述图像诊断装置。

2.根据权利要求1所述的图像传送装置，其特征在于：

所述图像获取部将在设有多个所述车载摄像头的情况下基于该多个车载摄像头的拍摄结果而生成的、从上方观察到的所述车辆的周边的俯视图像，获取为所述规定图像，

所述图像传送部将所述俯视图像中的、与所述多个车载摄像头的多个拍摄区域的边界对应的边界区域的图像，作为所述诊断图像传送。

3.根据权利要求2所述的图像传送装置，其特征在于，还具备：

存储部，其存储比较图像，该比较图像表示在所述多个车载摄像头没有异常的状态下的所述边界区域，

所述图像传送部将与所述比较图像不一致的所述诊断图像，通过所述车载网络传送给所述图像诊断装置。

4.根据权利要求1所述的图像传送装置，其特征在于：

所述图像获取部将在设有多个所述车载摄像头的情况下由该多个车载摄像头拍摄到的、设置在所述车辆的周边的规定位置上的标识物的拍摄图像，获取为所述规定图像，

所述图像传送装置还包括判断部，其判断是否从所述拍摄图像中正常地检测出所述标识物，

所述图像传送部根据所述判断部的判断结果，将没有正常地检测出所述标识物的所述拍摄图像中的、与包含有所述标识物的设置位置的规定范围对应的规定区域的图像，作为所述诊断图像传送。

5.根据权利要求1至4中任一项所述的图像传送装置，其特征在于：

所述图像传送部根据来自所述图像诊断装置的所述指示，切换为将所述诊断图像传送或将整个所述规定图像传送。

6.一种图像诊断装置，其构成为能够连接到设于车载网络上的车辆的外部接口，并且根据图像来诊断对所述车辆的周边进行拍摄的车载摄像头的异常，其特征在于，具备：

输入接受部，其接受操作输入；

指示输出部，其在所述图像诊断装置被连接到所述外部接口的状态下，将与所述操作输入对应的指示输出到所述车辆的图像传送装置，该图像传送装置包括：图像获取部，其获取基于所述车载摄像头的拍摄结果的规定图像；以及图像传送部，其在所述图像诊断装置被连接到所述外部接口时，根据所述指示，将从所述规定图像中部分地提取出的诊断图像，通过所述车载网络传送给所述图像诊断装置；

图像接收部，其接收根据所述指示而从所述图像传送装置传送来的所述诊断图像；以及

显示处理部，其将所述图像接收部所接收到的所述诊断图像，显示于显示部。

7.根据权利要求6所述的图像诊断装置，其特征在于：

所述规定图像是在设有多个所述车载摄像头的情况下基于该多个车载摄像头的拍摄结果生成的、从上方观察到的所述车辆的周边的俯视图像，

所述诊断图像是所述俯视图像中的、与所述多个车载摄像头的多个拍摄区域的边界对应的边界区域的图像，

所述图像诊断装置还具备存储部，其存储比较图像，该比较图像表示在所述多个车载摄像头没有异常的状态下的所述边界区域，

所述显示处理部将所述图像接收部所接收到的所述诊断图像中的、与所述比较图像不一致的所述诊断图像，显示于所述显示部。

8.一种图像诊断系统，其特征在于，具备：

图像传送装置，其设于车辆；以及

图像诊断装置，其构成为能够连接到设于车载网络上的所述车辆的外部接口，并且根据图像来诊断对所述车辆的周边进行拍摄的车载摄像头的异常，

所述图像传送装置包括：

图像获取部，其获取基于所述车载摄像头的拍摄结果的规定图像；以及

图像传送部，其在所述图像诊断装置被连接到所述外部接口时，根据来自所述图像诊断装置的指示，将从所述规定图像中部分地提取出的诊断图像，通过所述车载网络传送给所述图像诊断装置，

所述图像诊断装置包括：

输入接受部，其接受操作输入；

指示输出部，其在所述图像诊断装置被连接到所述外部接口的状态下，将与所述操作输入对应的所述指示，输出到所述图像传送装置；以及

显示处理部，其将根据所述指示从所述图像传送装置传送来的所述诊断图像，显示于显示部。