CN108417028A - 图像处理系统和图像处理方法 - Google Patents

Abstract

公开了一种图像处理系统和图像处理方法，该图像处理系统包括：信息处理装置和安装在车辆中的成像装置。车辆包括图像获取单元，该图像获取单元被配置成获取由成像装置拍摄的多个图像。信息处理装置包括：第一接收单元，其被配置成接收来自图像获取单元的第一图像；第一检测单元，其被配置成基于第一图像检测预定信息，预定信息包括以下中至少之一：指示交叉路口的标记的标记信息和关于拥堵的拥堵信息；第二接收单元，其被配置成当第一检测单元未检测到预定信息时，接收来自图像获取单元的第二图像；以及第二检测单元，其被配置成基于第一图像和第二图像检测预定信息，或者基于第二图像检测预定信息。

Description

图像处理系统和图像处理方法

技术领域

本发明涉及一种图像处理系统和图像处理方法。

背景技术

在现有技术中，已知如下技术：基于通过对车辆的周边进行成像而获取的图像来检测拥堵的原因等。

例如，系统可以首先收集通过对每个车辆的周边进行成像而获取的图像，以用于确定拥堵的原因。然后，系统可以基于所收集的图像来检测处于拥堵前部的车辆。然后，系统可以基于通过从多个方向对在拥堵前部的车辆所处的前部位置进行成像而获得的图像来确定拥堵的原因。以此方式，已知一种使系统检测交通拥堵并确定交通拥堵的原因的技术(例如，参见日本未审查专利申请公开第2008-65529号(JP 2008-65529A))。

发明内容

然而，在现有技术中，通常在车辆与信息处理装置之间发送和接收大量的图像。因此，用于发送和接收图像的数据量大并且可能出现关于对通信线路的压力的问题。

因此，根据本发明的实施方式的图像处理系统确定在检测预定信息时是否添加用于检测的图像。因此，本发明提供了一种可以减少用于发送和接收图像的数据量的图像处理系统和图像处理方法。

本发明的第一方面提供了一种图像处理系统。该图像处理系统包括：信息处理装置和安装在车辆中的成像装置。该车辆包括图像获取单元，该图像获取单元被配置成获取指示车辆的周边的多个图像。多个图像由成像装置拍摄。信息处理装置包括：第一接收单元，其被配置成接收来自图像获取单元的多个图像中的第一图像；第一检测单元，其被配置成基于第一图像检测预定信息，预定信息包括以下中至少之一：指示交叉路口的标记的标记信息和关于在拍摄第一图像的位置周围发生的拥堵的拥堵信息；第二接收单元，其被配置成当第一检测单元未检测到预定信息时，接收来自图像获取单元的多个图像中的第二图像；以及第二检测单元，其被配置成基于第一图像和第二图像检测预定信息，或者基于第二图像检测预定信息。

首先，图像处理系统利用成像装置拍摄指示车辆的周边的多个图像。由图像获取单元获取第一图像和第二图像。然后，信息处理装置接收来自车辆侧的第一图像，并且在第一图像中检测预定信息。随后，当仅在第一图像中无法检测到预定信息时，信息处理装置另外接收第二图像。因此，当仅在第一图像中检测到预定信息时，不需要发送和接收第二图像。因此，当确定不需要第二图像时，不发送和接收第二图像，因此在图像处理系统中在车辆与信息处理装置之间发送和接收的数据量通常较低。因此，图像处理系统可以减少用于发送和接收图像的数据量。

在第一方面中，标记可以包括设置在交叉路口附近的布告板、建筑物、喷涂部分、车道以及道路的特征或标志中至少之一。

在第一方面中，成像装置可以被配置成当车辆的位置在距交叉路口预定距离内时拍摄多个图像。

在第一方面中，第一图像可以是当车辆所位于的位置比拍摄第二图像的位置更靠近交叉路口时拍摄到的图像。

在第一方面中，图像处理系统可以包括：地图数据获取单元，其被配置成获取指示车辆的当前位置、目的地和从当前位置到目的地的中间路线的地图数据；以及引导单元，其被配置成基于地图数据来执行针对车辆行驶的路线的引导。该引导单元可以被配置成基于预定信息利用标记来执行针对交叉路口的引导。

在第一方面中，拥堵信息可以包括车辆加入拥堵的位置、拥堵的原因或拥堵的距离。

本发明的第二方面提供了一种图像处理方法。该图像处理方法包括：获取指示车辆的周边的多个图像，这多个图像由安装在车辆中的成像装置拍摄；利用至少一个信息处理装置接收多个图像中的第一图像；利用至少一个信息处理装置在第一图像中检测预定信息，该预定信息包括以下中至少之一：指示交叉路口的标记的标记信息和关于在车辆周围发生的拥堵的拥堵信息；当利用至少一个信息处理装置在第一图像中未检测到预定信息时，利用至少一个信息处理装置接收多个图像中的第二图像；以及利用至少一个信息处理装置，基于第一图像和第二图像检测预定信息，或者基于第二图像检测预定信息。

在第二方面中，图像处理方法可以包括将预定信息存储在可由安装在车辆上的车载装置访问的数据库中。

本发明的第三方面提供了一种图像处理系统。该图像处理系统包括：至少一个服务器，其被配置成与车辆通信。至少一个服务器包括存储装置和处理装置。处理装置被配置成：接收由安装在车辆中的成像装置获取的多个图像中的第一图像，多个图像指示车辆的周边；在第一图像中检测预定信息，预定信息包括以下中至少之一：指示交叉路口的标记的标记信息和关于在拍摄第一图像的位置周围发生的拥堵的拥堵信息；当在第一图像中未检测到预定信息时，请求车辆发送在除获取第一图像的位置之外的位置处获取的第二图像；以及接收第二图像，并且在该第二图像中检测预定信息。

在第三方面中，至少一个服务器可以被配置成向车辆和除该车辆之外的车辆中的至少一个发送以下信息中至少之一：标记信息和利用拥堵信息准备的关于拥堵位置的信息。

附图说明

以下将参照附图描述本发明的示例性实施方式的特征、优点以及技术与工业意义，在附图中，相同的附图标记指示相同的元件，并且在附图中：

图1是示出根据本发明的实施方式的图像处理系统的整体配置和硬件配置的示例的图；

图2是示出使用根据本发明的实施方式的图像处理系统的示例的图；

图3A是示出在由根据本发明的实施方式的图像处理系统执行的第一整体处理例程中由摄像装置和图像获取装置执行的操作的示例的流程图；

图3B是示出在由根据本发明的实施方式的图像处理系统执行的第一整体处理例程中由服务器执行的操作的示例的流程图；

图4是示出根据本发明的实施方式的第一整体处理例程的优点的示例的(第一)图；

图5是示出根据本发明的实施方式的第一整体处理例程的优点的示例的(第二)图；

图6是示出在根据本发明的实施方式的图像处理系统中执行地图数据获取和引导的处理例程的示例的流程图；

图7A是示出在由根据本发明的实施方式的图像处理系统执行的第二整体处理例程中由摄像装置和图像获取装置执行的操作的示例的流程图；

图7B是示出在由根据本发明的实施方式的图像处理系统执行的第二整体处理例程中由服务器执行的操作的示例的流程图；

图8是示出根据本发明的实施方式的第二整体处理例程的优点的示例的(第一)图；以及

图9是示出根据本发明的实施方式的图像处理系统的功能配置的示例的功能框图。

具体实施方式

在下文中将参照附图描述本发明的实施方式。

<整体配置和硬件配置的示例>

图1是示出根据本发明的实施方式的图像处理系统的整体配置和硬件配置的示例的图。在所示示例中，图像处理系统IS包括作为成像装置的示例的摄像装置CM和作为信息处理装置的示例的服务器SR。

如图所示，作为成像装置的示例的摄像装置CM安装在车辆CA上。摄像装置CM对车辆CA的周边进行成像并且生成图像。例如，如图所示，摄像装置CM可以对车辆CA的前方区域进行成像。摄像装置CM生成的图像被图像获取装置IM获取。

图像获取装置IM包括处理器和控制器，诸如电子电路、电子控制单元(ECU)以及中央处理单元(CPU)。图像获取装置IM还包括诸如硬盘的辅助存储单元，并且存储从摄像装置CM获取的图像。图像获取装置IM包括诸如天线和处理集成电路(IC)的通信单元，并且经由网络NW向诸如服务器SR的外部装置发送图像。

可以设置多个摄像装置CM和多个图像获取装置IM。可以设置多个车辆CA。

另一方面，服务器SR经由网络等连接到车辆CA。服务器SR包括例如CPU SH1、存储装置SH2、输入装置SH3、输出装置SH4和通信装置SH5。

服务器SR的硬件资源经由总线SH6彼此连接。硬件资源经由总线SH6对信号和数据进行发送和接收。

CPU SH1用作处理器和控制器。存储装置SH2是诸如存储器的主存储装置。存储装置SH2还可以包括辅助存储装置。输入装置SH3是键盘等，并且接收来自用户的操作。输出装置SH4是显示器等，并且向用户输出处理结果等。通信装置SH5是连接器、天线等，并且经由网络NW、线缆等向外部装置发送数据以及从外部接收数据。

服务器SR不限于所示配置，并且例如还可以包括其他装置。可以设置多个服务器SR。

<使用示例>

图2是示出使用根据本发明的实施方式的图像处理系统的示例的图。在下文中，将以图中所示的情形为例进行描述。

例如，如图所示，假设车辆CA向目的地行驶。在通往目的地的路线中，如图所示，车辆CA沿着在其前方的交叉路口CR处向右转的路线(由图中箭头所指示的路线)行驶。也就是说，在这种情形下，当在车辆CA中安装有所谓的汽车导航装置时，该汽车导航装置通过语音、图像或其组合来执行对驾驶车辆CA的驾驶员的引导，使得该车辆在交叉路口CR处向右转。

例如，当从外部装置接收到地图数据DM或者利用记录介质获取了地图数据DM时，车辆CA可以看到本车的位置、交叉路口CR的位置、目的地位于交叉路口CR的右侧等。

在下文中将描述所示示例，但是图像处理系统不限于所示示例并且可以例如在除交叉路口之外的地点使用。

<第一整体处理例程的示例>

图3A和图3B是示出由根据本发明的实施方式的图像处理系统执行的第一整体处理例程的示例的流程图。在图中所示的第一整体处理例程中，图3A所示的处理例程是由安装在车辆CA中的摄像装置CM(参见图1)或图像获取装置IM(参见图1)执行的处理的示例。另一方面，在图中所示的第一整体处理例程中，图3B所示的处理例程是由服务器SR(参见图1)执行的处理的示例。

在步骤SA01中，图像处理系统确定车辆CA是否处在距交叉路口CR(参见图2)预定距离内的位置。假设该预定距离可以由用户等预先设定。也就是说，图像处理系统确定车辆CA是否接近交叉路口CR。

然后，如果图像处理系统确定车辆处在预定距离内的位置(步骤SA01中为“是”)，则图像处理系统执行步骤SA02。另一方面，如果图像处理系统确定车辆不处在预定距离内的位置(步骤SA01中为“否”)，则图像处理系统再次执行步骤SA01。

在步骤SA02中，图像处理系统利用成像装置拍摄图像。也就是说，图像处理系统开始利用成像装置拍摄图像，并且拍摄指示车辆CA的前方区域的多个图像，直至车辆CA到达交叉路口CR为止。在下文中，在步骤SA02中拍摄的所有图像被称为“所有图像”。

具体而言，可以假设车辆CA当前位于距交叉路口CR“Z米”远的位置。假设距交叉路口CR的预定距离被设定为“Z米”。在这种情况下，从“Z米”(在交叉路口CR之前“Z米”的位置)至“0米”(交叉路口CR的位置)，图像处理系统利用成像装置拍摄图像并且存储拍摄的图像。这些图像是以由在成像装置中预先设定的帧速率确定的间隔而拍摄的。

在步骤SA03中，图像处理系统向信息处理装置发送第一图像。具体而言，当执行了步骤SA02时，首先获取从“0米”至“Z米”的多个图像。图像获取装置IM(参见图1)向服务器SR发送所有图像中的特定图像(在下文中称为“第一图像”)。

第一图像是例如所有图像中的在接近交叉路口CR的位置拍摄到的图像。具体而言，假设与“Y米”对应的位置位于“0米”(交叉路口CR的位置)与“Z米”(开始成像的位置)之间。也就是说，在此示例中，假设满足“0<Y<Z”的关系。然后，在此示例中，第一图像是在“0米”与“Y米”之间拍摄到的图像。假设可以预先设置用于限定所有图像中的第一图像的“Y”值。

在步骤SA04中，图像处理系统缓存第二图像。具体而言，图像处理系统利用图像获取装置IM将所有图像中除第一图像之外的图像(在下文中称为“第二图像”)存储在车辆CA侧。在此示例中，第二图像是在“Y米”与“Z米”之间拍摄到的图像。也就是说，第二图像是通过对不包括在第一图像中的范围进行成像而获取的图像。

在步骤SA05中，图像处理系统确定是否已经请求第二图像。在此示例中，当服务器SR执行步骤SB06时，图像处理系统利用图像获取装置IM确定已经请求了第二图像(步骤SA05中为“是”)。

然后，如果图像处理系统确定已经请求了第二图像(步骤SA05中为“是”)，则图像处理系统执行步骤SA06。另一方面，如果图像处理系统确定未请求第二图像(步骤SA05中为“否”)，则图像处理系统结束该处理例程。

在步骤SA06中，图像处理系统向信息处理装置发送第二图像。具体而言，当已经请求了第二图像时，图像处理系统利用图像获取装置IM将在步骤SA04中存储的第二图像发送给服务器SR。

如上所述，在图像处理系统中，首先从车辆CA侧发送第一图像。然后，当服务器SR侧请求第二图像时，将第二图像从车辆CA侧发送到服务器SR侧。

在步骤SB01中，图像处理系统确定是否已经接收到第一图像。在此示例中，当图像获取装置IM执行步骤SA03时，向服务器SR发送第一图像并且服务器SR接收第一图像(步骤SB01中为“是”)。

然后，如果图像处理系统确定接收到第一图像(步骤SB01中为“是”)，则图像处理系统执行步骤SB02。另一方面，如果图像处理系统确定未接收到第一图像(步骤SB01中为“否”)，则图像处理系统再次执行步骤SB01。

在步骤SB02中，图像处理系统存储第一图像。在下文中，假设服务器SR将图像存储在数据库(在下文中称为“行驶数据库DB1”)中。

在步骤SB03中，图像处理系统确定行驶数据库DB1是否已被更新。具体而言，当服务器SR执行步骤SB02时，第一图像被添加到行驶数据库DB1中。在这种情况下，图像处理系统确定行驶数据库DB1已被更新(步骤SB03中为“是”)。

然后，如果图像处理系统确定行驶数据库DB1已被更新(步骤SB03中为“是”)，则图像处理系统执行步骤SB04。在另一方面，如果图像处理系统确定行驶数据库DB1未被更新(步骤SB03中为“否”)，则图像处理系统执行步骤SB03。

在步骤SB04中，图像处理系统基于第一图像检测预定信息。预定信息是可以预先设定的信息。预定信息是包括以下中至少之一的信息：用作可以指定交叉路口CR的标记的信息(在下文中称为“标记信息”)和关于在车辆CA周围发生的拥堵的信息(在下文中称为“拥堵信息”)。在以下描述中，假设预定信息是标记信息。

具体而言，用作标记的对象的示例包括安装在交叉路口附近的布告板、建筑物、喷涂部分、车道以及道路的特征或标志。也就是说，标记是安装在交叉路口CR附近的结构，或者是在交叉路口CR附近的道路上绘制的图形、字符、数字或其组合。

图像处理系统例如利用深度学习从第一图像中识别标记。

识别标记的方法不限于深度学习。例如，可以利用以下文献中描述的方法来实现识别标记的方法：日本未审查专利申请公开第2007-240198号(JP 2007-240198A)、第2009-186372号(JP 2009-186372A)、第2014-163814号(JP 2014-163814A)或第2014-173956号(JP 2014-173956A)。

在以下描述中，假设将布告板设定为要利用上述方法识别的标记。

在步骤SB05中，图像处理系统确定是否存在标记。具体而言，当在交叉路口CR附近存在用作标记的布告板时，即，当在拍摄第一图像的范围(从“0米”至“Y米”的范围)内安装有布告板时，该布告板被拍摄到第一图像中。在这种情况下，在步骤SB04中检测到布告板，并且图像处理系统确定存在标记(步骤SB05中为“是”)。另一方面，当在交叉路口CR附近不存在布告板时，第一图像中没有拍摄到布告板。因此图像处理系统确定不存在标记(步骤SB05中为“否”)。

然后，如果图像处理系统确定存在标记(步骤SB05中为“是”)，则图像处理系统执行步骤SB12。另一方面，如果图像处理系统确定不存在标记(步骤SB05中为“否”)，则图像处理系统执行步骤SB06。

在步骤SB06中，图像处理系统请求第二图像。也就是说，图像处理系统请求通过对从“Y米”至“Z米”的范围进行成像而获取的第二图像。

在步骤SB07中，图像处理系统确定是否接收到第二图像。在此示例中，当图像获取装置IM执行步骤SA06时，向服务器SR发送第二图像并且服务器SR接收第二图像(步骤SB07中为“是”)。

然后，如果图像处理系统确定已经接收到第二图像(步骤SB07中为“是”)，则图像处理系统执行步骤SB08。另一方面，如果图像处理系统确定未接收到第二图像(步骤SB07中为“否”)，则图像处理系统执行步骤SB07。

在步骤SB08中，图像处理系统存储第二图像。例如，与第一图像类似，将接收到的第二图像存储在行驶数据库DB1中。

在步骤SB09中，图像处理系统确定行驶数据库DB1是否已被更新。具体而言，当服务器SR执行步骤SB08时，第二图像被添加到行驶数据库DB1中。在这种情况下，图像处理系统确定行驶数据库DB1已被更新(步骤SB09中为“是”)。

然后，如果图像处理系统确定行驶数据库DB1已被更新(步骤SB09中为“是”)，则图像处理系统执行步骤SB10。另一方面，如果图像处理系统确定行驶数据库DB1未被更新(步骤SB09中为“否”)，则图像处理系统再次执行步骤SB09。

在步骤SB10中，图像处理系统基于第二图像检测预定信息。例如，图像处理系统利用与步骤SB04中相同的方法来检测预定信息。在步骤SB10中，图像处理系统可以仅利用第二图像来检测预定信息，或者可以利用第一图像和第二图像两者来检测预定信息。

在步骤SB11中，图像处理系统确定是否存在标记。首先，当在拍摄第二图像的范围(从“Y米”至“Z米”的范围)内安装有布告板时，该布告板出现在第二图像中。在这种情况下，在步骤SB10中检测到该布告板，并且图像处理系统确定存在标记(步骤SB11中为“是”)。另一方面，当在拍摄第二图像的范围内不存在布告板时，第二图像中不会拍摄到布告板。因此，图像处理系统确定不存在标记(步骤SB11中为“否”)。

然后，如果图像处理系统确定存在标记(步骤SB11中为“是”)，则图像处理系统执行步骤SB13。另一方面，如果图像处理系统确定不存在标记(步骤SB11中为“否”)，则图像处理系统结束该处理例程。

在步骤SB12和步骤SB13中，图像处理系统存储标记信息。在下文中，假设服务器SR将标记信息存储在数据库(在下文中称为“引导数据库DB2”)中。

当执行步骤SB12或步骤SB13时，这意味着在作为引导目标的交叉路口CR附近存在布告板。因此，在步骤SB12和步骤SB13中，图像处理系统将指示所检测到的布告板的位置等的标记信息存储在引导数据库DB2中。当标记信息被存储在引导数据库DB2中时，汽车导航装置等可以参照该标记信息利用标记来执行引导。

<优点的示例>

图4是示出根据本发明的实施方式的第一整体处理例程的优点的示例的(第一)图。例如，当执行图3A和图3B所示的第一整体处理例程时，可以获得如图所示的优点。

首先，将距交叉路口CR“300米”内的范围定义为第一距离DIS1(上述从“0米”至“Y米”的范围)。在第一距离DIS1处，拍摄第一图像IMG1并且生成例如图中所示的图像。如图所示，在拍摄第一图像IMG1的视角中不包括布告板LM。因此，在第一图像IMG1中没有拍摄到作为标记的布告板LM(步骤SB05中为“否”)。因此，从第一图像IMG1未检测到预定信息。

将从与交叉路口CR间隔“300米”的位置起“200米”内的范围定义为第二距离DIS2(上述从“Y米”至“Z米”的范围)。如图所示，假设在与第二距离DIS2对应的范围内，即在交叉路口CR之前，安装有布告板LM。因此，如图所示，作为标记的布告板LM被拍摄到第二图像IMG2中(步骤SB11中为“是”)。因此，从第二图像IMG2检测到预定信息。

在以下情形下，获得基于第一整体处理例程的优点。

图5是示出根据本发明的实施方式的第一整体处理例程的优点的示例的(第二)图。图5示出了图4所示的交叉路口CR附近的情形。图5是不同于图4的视图的视图(所谓的侧视图)。

图5和图4在布告板LM被安装的位置方面不同。具体而言，如图所示，在图5中布告板LM被安装在交叉路口CR附近。假设布告板被安装在交叉路口CR附近的建筑物BU上。在这种情形下，可能发生例如以下情况。

如图所示，在第一距离DIS1内，布告板LM未包括在摄像装置CM成像的范围(在下文中称为“第一成像范围RA1”)中，即，类似于图4，布告板LM未包括在由第一图像IMG1(参见图4)所指示的范围中。

另一方面，在与建筑物BU间隔远于第一距离DIS1的第二距离DIS2内，布告板LM包括在摄像装置CM成像的范围(在下文中称为“第二成像范围RA2”)中，即，包括在第二图像IMG2(参见图4)中。

因此，类似于图4，可以利用第二图像IMG2来检测从第一图像IMG1中未检测到的预定信息。这样，由于布告板LM所安装的高度(在Z方向上的位置)，可能不能从第一图像IMG1中检测到布告板LM。在这种情况下，图像处理系统可以利用第二图像IMG2来检测预定信息。

如上所述，首先，图像处理系统将从第一图像IMG1中检测预定信息。然后，如果图像处理系统可以从第一图像IMG1中检测到预定信息，则服务器SR不请求第二图像。因此，在车辆CA与服务器SR之间发送和接收的图像的量减少。

当来自第一图像IMG1或第二图像IMG2的标记信息能够被存储在引导数据库DB2中时，可以执行以下处理。

图6是示出在根据本发明的实施方式的图像处理系统中执行地图数据获取和引导的处理例程的示例的流程图。例如，当存在具有汽车导航装置等的车辆CA时，优选地，图像处理系统执行以下处理。

在步骤S201中，图像处理系统获取地图数据。

在步骤S202中，图像处理系统搜索路线。

例如，如图2所示，当在步骤S201中获取到指示车辆CA的当前位置、目的地以及从当前位置到目的地中间路线或其周围的地图数据DM时，图像处理系统可以在步骤S202中搜索从当前位置到目的地的路线，并且可以执行引导。如图2所示，当在路线中应当执行向右转的引导时，图像处理系统执行步骤S203。

在步骤S203中，图像处理系统确定是否存在标记。具体而言，由于预先执行了第一整体处理例程，所以如果存在标记，则标记信息被预先存储在引导数据库DB2中。也就是说，在第一整体处理例程中，当执行了步骤SB12或步骤SB13时，在步骤S203中图像处理系统确定存在标记(步骤S203中为“是”)。

然后，如果图像处理系统确定存在标记(步骤S203中为“是”)，则图像处理系统执行步骤S205。另一方面，如果图像处理系统确定不存在标记(步骤S203中为“否”)，则图像处理系统执行步骤S204。

在步骤S204中，图像处理系统不使用标记执行引导。例如，如图所示，图像处理系统通过语音或图像显示向驾驶员输出包括例如“前方300米交叉路口处向右转”的内容的消息(在下文中称为“第一消息MS1”)。

在步骤S205中，图像处理系统利用标记执行引导。例如，如图所示，图像处理系统通过语音或图像显示向驾驶员输出包括例如“在前方300米具有OO布告板的交叉路口处向右转”的内容的消息(在下文中称为“第二消息MS2”)。

步骤S204与步骤S205在要输出的消息方面不同。第一消息MS1和第二消息MS2是针对同一交叉路口的引导消息，但是在是否利用“OO布告板”的标记信息方面彼此不同。在此，假设“OO布告板”是指示图4中的布告板LM的消息。

由于标记信息被预先存储在引导数据库DB2中，所以图像处理系统可以在步骤S205中执行引导，使得如图4所示车辆在具有布告板LM的交叉路口CR处向右转。特别地，在图2所示的情形下，车辆可以向右转的位置密集存在。在这种情形下，当如在第二消息MS2中将布告板LM用作标记时，图像处理系统可以明确地将驾驶员引导到车辆向右转的位置。因此，与不使用标记的引导相比，该图像处理系统可以以更易理解的方式执行针对交叉路口CR的引导。

<第二整体处理例程的示例>

图7A和图7B是示出由根据本发明的实施方式的图像处理系统执行的第二整体处理例程的示例的流程图。图像处理系统可以执行下述第二整体处理例程。

第二整体处理例程与第一整体处理例程(参见图3A和图3B)的不同之处在于：检测与拥堵信息相关联的预定信息。具体而言，第二整体处理例程与第一整体处理例程的不同之处在于，将步骤SA01、SB05和SB11至SB13替换为步骤SA20和SB21至SB24。第二整体处理例程与第一整体处理例程在步骤SB04和SB10的细节方面不同。将通过相同的附图标记来引用与第一整体处理例程中相同的处理以省略对相同处理的描述，并且下面将主要描述差异。

在步骤SA20中，图像处理系统确定是否检测到拥堵。例如，当车辆速度变得等于或低于预定速度时，图像处理系统确定检测到拥堵(步骤SA20中为“是”)。例如，可以基于车辆间的距离、相邻车辆的密度或者车辆速度为低速的时间或距离来确定是否已经检测到拥堵。

然后，如果图像处理系统确定检测到拥堵(步骤SA20中为“是”)，则图像处理系统执行步骤SA03。另一方面，如果图像处理系统确定未检测到拥堵(步骤SA20中为“否”)，则图像处理系统执行步骤SA20。

在步骤SB04中，图像处理系统基于第一图像来检测预定信息。在第二整体处理例程中，预定信息是包括拥堵信息的信息。在以下描述中，假设预定信息是拥堵信息。与第一整体处理例程类似，图像处理系统通过深度学习等从第一图像中检测预定信息。

拥堵信息是指示例如车辆CA加入拥堵的位置、拥堵的原因或拥堵的长度的信息。可以预先设定拥堵信息包括的内容。在下文中，假设拥堵信息包括交通事故作为拥堵的原因。

具体而言，当在图像中出现靠近的前方车辆或者在图像中出现发生事故的车辆、指示施工中的布告板等时，图像处理系统通过深度学习等检测拥堵的原因。当已知可以确认拥堵原因的位置时，图像处理系统可以理解车辆加入该拥堵的位置。

例如，当可以知道车辆加入拥堵的位置和拥堵被解除的位置时，这两个位置之间的距离就是拥堵的距离，因此图像处理系统能够检测拥堵的长度。

在步骤SB21中，图像处理系统确定是否存在拥堵信息。也就是说，如果在步骤SB04中检测到拥堵的原因，则图像处理系统确定存在拥堵信息(步骤SB21为“是”)。

然后，如果图像处理系统确定存在拥堵信息(步骤SB21中为“是”)，则图像处理系统执行步骤SB23。另一方面，如果图像处理系统确定不存在拥堵信息(步骤SB21中为“否”)，则图像处理系统执行步骤SB06。

在步骤SB10中，图像处理系统基于第二图像来检测预定信息。例如，图像处理系统利用与步骤SB04中相同的方法来检测预定信息。

在步骤SB22中，图像处理系统确定是否存在拥堵信息。也就是说，如果在步骤SB10中检测到拥堵的原因，则图像处理系统确定存在拥堵信息(步骤SB22中为“是”)。

然后，如果图像处理系统确定存在拥堵信息(步骤SB22中为“是”)，则图像处理系统执行步骤SB24。另一方面，如果图像处理系统确定不存在拥堵信息(步骤SB22中为“否”)，则图像处理系统结束该处理例程。

在步骤SB23和步骤SB24中，图像处理系统存储拥堵信息。在下文中，假设服务器SR将拥堵信息存储在数据库(在下文中称为“拥堵数据库DB3”)中。

当执行步骤SB23或步骤SB24时，已经检测到拥堵信息。因此，在步骤SB23和步骤SB24中，图像处理系统将指示拥堵的原因的拥堵信息存储在拥堵数据库DB3中。当拥堵信息被存储在拥堵数据库DB3中时，汽车导航装置等可以参照该拥堵信息向驾驶员通知发生了拥堵。

图8是示出根据本发明实施方式的第二整体处理例程的优点的示例的图。在下文中，假设在图示的位置检测到拥堵(步骤SA20中为“是”)。在该图中，将车辆CA行驶的方向(在下文中称为“行驶方向RD”)定义为前进方向并且用“+”表示。

在第二整体处理例程中，例如，如图所示，将在检测到拥堵的位置之前和之后的预定距离内的范围定义为第一距离DIS1。具体而言，在图示的示例中，关于第一距离DIS1，在检测到拥堵的位置之前和之后的“300米”是第一距离DIS1。因此，第一图像是指示在检测到拥堵的位置之前和之后“300米”(即共计“600米”)的图像。

另一方面，如果从第一图像未检测到拥堵信息(步骤SB21中为“否”)，则图像处理系统请求第二图像(步骤SB06)，第二图像包括前后超过第一距离的预定距离内的区域。在所示示例中，第二距离DIS2是通过将第一距离DIS1加“200米”而获得的距离。因此，第二图像是指示前后超过第一距离DIS1“200米”(共计“400米”)的区域的图像。

如上所述，首先，图像处理系统将从第一图像检测预定信息。如果从第一图像检测到预定信息，则服务器SR不请求第二图像。因此，在车辆CA与服务器SR之间发送和接收的图像的量减少。

<功能配置的示例>

图9是示出根据本发明实施方式的图像处理系统的功能配置的示例的功能框图。例如，图像处理系统IS包括图像获取单元ISF1、第一接收单元ISF2、第二接收单元ISF3、第一检测单元ISF4和第二检测单元ISF5。如图所示，图像处理系统IS可以具有还包括地图数据获取单元ISF6和引导单元ISF7的功能配置。

图像获取单元ISF1执行获取由摄像装置CM拍摄的指示车辆CA的周边的多个图像的图像获取处理。例如，图像获取单元ISF1由图像获取装置IM(参见图1)等实现。

第一接收单元ISF2执行接收来自图像获取单元ISF1的多个图像中的第一图像IMG1的第一接收处理。例如，第一接收单元ISF2由通信装置SH5(参见图1)等实现。

第一检测单元ISF4执行基于由第一接收单元ISF2接收的第一图像IMG1来检测预定信息的第一检测处理，预定信息包括以下中至少之一：指示交叉路口的标记的标记信息和关于在车辆CA周围发生的拥堵的拥堵信息。例如，第一检测单元ISF4由CPU SH1(参见图1)等实现。

如果第一检测单元ISF4未检测到预定信息，则第二接收单元ISF3执行接收来自图像获取单元ISF1的多个图像中的第二图像IMG2的第二接收处理。例如，第二接收单元ISF3由通信装置SH5(参见图1)等实现。

第二检测单元ISF5执行基于第一图像IMG1和第二图像IMG2两者或者基于第二图像IMG2来检测预定信息的第二检测处理。例如，第二检测单元ISF5由CPU SH1(参见图1)等实现。

地图数据获取单元ISF6执行获取地图数据DM的地图数据获取处理，地图数据DM指示车辆CA的当前位置、目的地以及从当前位置到目的地的中间路线。例如，地图数据获取单元ISF6由安装在车辆中的汽车导航装置等实现。

引导单元ISF7执行基于由地图数据获取单元ISF6获取的地图数据DM来执行针对车辆CA行驶的路线的引导的引导处理。例如，引导单元ISF7由安装在车辆中的汽车导航装置等实现。

首先，由作为成像装置的示例的摄像装置CM拍摄包括第一图像IMG1和第二图像IMG2的多个图像。然后，由图像获取单元ISF1获取由摄像装置CM拍摄的诸如第一图像IMG1和第二图像IMG2的图像。

然后，图像处理系统IS首先使服务器SR利用第一接收单元ISF2接收第一图像IMG1。然后，图像处理系统IS利用第一检测单元ISF4从第一图像IMG1检测预定信息。例如，在步骤SB04等中第一检测单元ISF4检测预定信息。

当诸如布告板LM(参见图4)的用作标记的对象被拍摄到第一图像IMG1中时，第一检测单元ISF4检测标记信息并存储检测到的标记信息(步骤SB12)。这样，图像处理系统IS首先基于作为部分图像的第一图像IMG1而不是基于所有图像来检测预定信息(步骤SB04)。

当第一检测单元ISF4未检测到预定信息时，即，当从第一图像IMG1未检测到预定信息时，图像处理系统IS利用第二接收单元ISF3请求第二图像IMG2(步骤SB06)并且另外接收图像。图像处理系统IS基于第二图像IMG2来检测预定信息(步骤SB10)。

根据上述配置，当仅从第一图像IMG1未检测到预定信息时，请求第二图像IMG2。因此，在不请求第二图像IMG2的情况下，数据量减少了第二图像IMG2的量。因此，图像处理系统IS可以减少在车辆CA与服务器SR之间传输的数据量。这样，图像处理系统IS可以减轻通信线路的负担。

另一方面，当仅从第一图像IMG1未检测到预定信息时，图像处理系统IS请求第二图像IMG2。根据该配置，例如，如图4所示，可以检测预定信息。图像处理系统IS能够有效地收集可以从中检测到预定信息的图像。因此，图像处理系统IS可以准确地检测预定信息。这样，图像处理系统IS可以同时实现预定信息的准确性和数据量的减少。

预定信息所在的位置通常不是已知的。因此，例如，在使用通过对在距交叉路口“300米”内的范围进行成像而获取的图像的情况下，以及在使用通过对在距交叉路口“500米”内的范围进行成像而获取的图像的情况下，图像处理系统IS在使用通过对“500米”内的范围进行成像而获取的图像的情况下可以更容易地检测预定信息。然而，在使用通过对“500米”内的范围进行成像而获取的图像的情况下，数据量通常较大。因此，在使用通过对“500米”内的范围进行成像而获取的图像的情况下，通信费用通常较高或者通信线路的负荷通常会变得较大。

作为试验的结果，根据图9所示的功能配置，当收集平均对应于“400米”的图像时，与仅收集对应于“300米”的连续图像相比，图像处理系统IS可以检测更大量的预定信息。

根据图9所示的功能配置，当收集平均对应于“400米”的图像时，与仅收集对应于“500米”的连续图像的情况相比，图像处理系统IS可以将通信费用降低约20％。

当设置有地图数据获取单元ISF6和引导单元ISF7时，例如，如图6所示的第二消息MS2，图像处理系统IS可以利用标记来执行对驾驶员DV的引导。

<其他实施方式>

由第一图像和第二图像指示的范围不限于基于距离的设置。例如，假设成像装置可以每秒拍摄30帧的图像。例如，图像处理系统IS可以具有以下设置：将30帧中的15帧用作第一图像并将另外15帧用作第二图像。这样，当可以添加用于检测的图像时，图像处理系统IS可以准确地检测预定信息。

地图数据获取单元ISF6和引导单元ISF7还可以设置在除了安装有成像装置的车辆以外的车辆中。

本发明的上述实施方式可以通过使信息处理装置或信息处理系统的计算机等执行与图像处理方法相关联的处理的程序来实现。该程序可以被记录在计算机可读记录介质上并被分发。

上述装置中的每一个可以包括多个装置。与图像处理方法相关联的全部或部分处理可以并行执行、以分布式方式执行或冗余地执行。

尽管以上已经描述了本发明的实施方式，但是本发明不限于这些实施方式，而是可以在不偏离在所附权利要求书中描述的本发明的要旨的情况下以各种形式进行修改或变更。

Claims (10)

1.一种图像处理系统，其特征在于，包括：

成像装置，所述成像装置安装在车辆中，所述车辆包括图像获取单元，所述图像获取单元被配置成获取指示所述车辆的周边的多个图像，所述多个图像由所述成像装置拍摄；以及

信息处理装置，所述信息处理装置包括：

第一接收单元，所述第一接收单元被配置成接收来自所述图像获取单元的所述多个图像中的第一图像，

第一检测单元，所述第一检测单元被配置成基于所述第一图像检测预定信息，所述预定信息包括以下中至少之一：指示交叉路口的标记的标记信息和关于在拍摄所述第一图像的位置周围发生的拥堵的拥堵信息，

第二接收单元，所述第二接收单元被配置成：当所述第一检测单元未检测到所述预定信息时，接收来自所述图像获取单元的所述多个图像中的第二图像，以及

第二检测单元，所述第二检测单元被配置成基于所述第一图像和所述第二图像检测所述预定信息，或者基于所述第二图像检测所述预定信息。

2.根据权利要求1所述的图像处理系统，其特征在于，

所述标记包括安装在所述交叉路口附近的布告板、建筑物、喷涂部分、车道以及道路的特征或标志中至少之一。

3.根据权利要求1或2所述的图像处理系统，其特征在于，

所述成像装置被配置成当所述车辆的位置在距所述交叉路口预定距离内时拍摄所述多个图像。

4.根据权利要求1至3中任一项所述的图像处理系统，其特征在于，

所述第一图像是当所述车辆所位于的位置比拍摄所述第二图像的位置更靠近所述交叉路口时拍摄到的图像。

5.根据权利要求1至4中任一项所述的图像处理系统，其特征在于，还包括：

地图数据获取单元，所述地图数据获取单元被配置成获取指示所述车辆的当前位置、目的地和从所述当前位置到所述目的地的中间路线的地图数据；以及

引导单元，所述引导单元被配置成基于所述地图数据来执行针对所述车辆行驶的路线的引导，其中，

所述引导单元被配置成基于所述预定信息利用所述标记来执行针对所述交叉路口的引导。

6.根据权利要求1至5中任一项所述的图像处理系统，其特征在于，

所述拥堵信息包括所述车辆加入拥堵的位置、拥堵的原因或拥堵的距离。

7.一种图像处理方法，其特征在于，包括：

获取指示车辆的周边的多个图像，所述多个图像由安装在所述车辆中的成像装置拍摄；

利用至少一个信息处理装置接收所述多个图像中的第一图像；

利用所述至少一个信息处理装置在所述第一图像中检测预定信息，所述预定信息包括以下中至少之一：指示交叉路口的标记的标记信息和关于在所述车辆周围发生的拥堵的拥堵信息；

当利用所述至少一个信息处理装置在所述第一图像中未检测到所述预定信息时，利用所述至少一个信息处理装置接收所述多个图像中的第二图像；以及

利用所述至少一个信息处理装置，基于所述第一图像和所述第二图像检测所述预定信息，或者基于所述第二图像检测所述预定信息。

8.根据权利要求7所述的图像处理方法，其特征在于，还包括：

将所述预定信息存储在数据库中，所述数据库能够由安装在所述车辆中的车载装置访问。

9.一种图像处理系统，其特征在于，包括：

至少一个服务器，所述至少一个服务器被配置成与车辆通信，所述至少一个服务器包括存储装置和处理装置，其中，

所述处理装置被配置成：

接收由安装在所述车辆中的成像装置获取的多个图像中的第一图像，所述多个图像指示所述车辆的周边；

在所述第一图像中检测预定信息，所述预定信息包括以下中至少之一：指示交叉路口的标记的标记信息和关于在拍摄所述第一图像的位置周围发生的拥堵的拥堵信息；

当在所述第一图像中未检测到所述预定信息时，请求所述车辆发送在除获取所述第一图像的位置之外的位置处获取的第二图像；以及

接收所述第二图像并在所述第二图像中检测所述预定信息。

10.根据权利要求9所述的图像处理系统，其特征在于，

所述至少一个服务器被配置成向所述车辆和除所述车辆之外的车辆中的至少一个发送以下信息中至少之一：所述标记信息和利用所述拥堵信息准备的关于拥堵位置的信息。