CN109286781A

CN109286781A - 信息处理设备、信息处理方法和信息处理系统

Info

Publication number: CN109286781A
Application number: CN201810622783.5A
Authority: CN
Inventors: 西村和也
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2017-07-20
Filing date: 2018-06-15
Publication date: 2019-01-29
Anticipated expiration: 2038-06-15
Also published as: JP2019021208A; JP6855968B2; US20190026573A1; CN109286781B; US10853672B2

Abstract

提供一种信息处理设备、信息处理方法和信息处理系统。所述信息处理设备被配置为与安装在车辆中的车载装置执行通信。所述信息处理设备包括至少一个计算机，所述至少一个计算机被配置为：通过与所述车载装置的通信获取包括所述车辆的位置的车辆信息；基于所述车辆信息，通过与所述车载装置的通信获取用安装在所述车辆中的成像装置在预定位置处捕获的图像；以及基于所述图像检测所述预定位置处的情况变化。

Description

信息处理设备、信息处理方法和信息处理系统

技术领域

本发明涉及一种信息处理设备、信息处理方法和信息处理系统。

背景技术

例如，几天前营业的诸如加油站或便利店的商店可能会突然停业，并可能成为不同的商店。在上述情况下，当前导航系统基于手动收集的信息来更新地图信息中的兴趣点(POI)的数据。出于这个原因，POI信息的新鲜度可能会相对于实际情况而变得过时。

已经提出了这样一种方法：针对一地理对象，该方法基于搜索引擎的搜索结果中出现次数的时间序列变化是否符合不支持该地理对象存在的规则来判断该地理对象是否将从地图中清除(例如，日本未审查专利申请公开第2010-164688号(JP 2010-164688A))。

发明内容

然而，在JP2010-164688A中，搜索引擎中的停业商店的信息并不总是立即反映在作为搜索引擎的信息源的网络上。存在诸如加油站或便利店的大量的商店，并且很难以网络信息指定一个特定的商店。于是，难以以较高的精度检测特定商店的停业。

本发明提供了一种提高预定位置的情况变化的检测精度的信息处理设备、信息处理方法和信息处理系统。

本发明的第一方案涉及一种信息处理设备，所述信息处理设备被配置为与安装在车辆中的车载装置执行通信。所述信息处理设备包括至少一个计算机，所述至少一个计算机被配置为：通过与所述车载装置的通信获取包括所述车辆的位置的车辆信息；基于所述车辆信息，通过与所述车载装置的通信获取用安装在所述车辆中的成像装置在预定位置处捕获的图像；以及基于所述图像检测所述预定位置处的情况变化。

为此，可以基于与基于车辆信息估计情况变化的预定位置相关的图像来检测预定位置处的情况变化。

于是，可以提高预定位置处情况的变化的检测精度。

在根据本发明的第一方案的信息处理设备中，所述预定位置可以是存在所述信息处理设备的用户请求引导的目标的点的附近的位置。

为此，可以基于与基于车辆信息估计情况变化并且存在信息处理设备的用户请求引导的目标的点的附近相关的图像来检测预定位置处的情况变化。

于是，可以提高对与存在信息处理设备的用户请求引导的目标的设施等相关的情况的变化的检测精度。

在根据本发明的第一方案的信息处理设备中，所述预定位置可以是存在所述信息处理设备的用户请求引导的目标的位置。

为此，可以基于与基于车辆信息估计情况的变化并且存在信息处理设备的用户请求引导的目标的点的附近相关的图像来检测在该点处的情况的变化。

在根据本发明的第一方案的信息处理设备中，所述车辆信息可以包括所述车辆停放的位置的位置信息。所述计算机可以被配置为基于所述车辆停放的所述位置的所述位置信息来指定所述预定位置。

在使用某个设施等时，在该设施附近进行车辆的停放。然后，车辆停放的位置被认为表示所使用的设施等的位置。

于是，可以基于设施等的使用状况来提高与设施等相关的情况的变化的检测精度。

在根据本发明的第一方案的信息处理设备中，所述计算机可以被配置为基于所述车辆停放的所述位置的位置信息的历史来指定停放频率趋于下降的位置。所述计算机可以被配置为将所述停放频率趋于下降的所述位置作为预定位置通知所述车载装置。

这里，在停放频率趋于下降的设施等中，假定了使用频率下降。作为使用频率下降的因素，假定了诸如设施停业的情况的变化的可能性。

于是，可以将情况的变化的可能性高的设施等的图像限定为处理目标，并且可以期待处理负荷等的减小。

在根据本发明的第一方案的信息处理设备中，所述计算机可以被配置为基于所述图像的亮度值、从所述图像中提取的停放车辆的数量以及从所述图像中提取的行人的数量中的至少一个来检测所述预定位置处的情况变化。

因此，即使在诸如设施的建筑物存在的状态下，也能够基于设施等的亮度值(亮度)、设施中停放的车辆的数量、设施附近的行人的数量等来检测诸如设施停业的情况变化。

于是，可以提高对预定位置处的情况变化的检测精度。

本发明的第二方案涉及一种信息处理方法。所述信息处理方法包括：利用信息处理设备获取包括车辆的位置的车辆信息，所述信息处理设备被配置为与安装在所述车辆中的车载装置执行通信；利用所述信息处理设备，基于来自所述车载装置的所述车辆信息，获取用安装在所述车辆中的成像装置在预定位置处捕获的图像；以及基于在所述预定位置处获取的所述图像来检测所述预定位置处的情况变化。

为此，可以基于与基于车辆信息估计情况的变化的预定位置相关的图像来检测预定位置处的情况变化。

于是，可以提高对预定位置处的情况的变化的检测精度。

本发明的第三方案涉及一种信息处理系统。所述信息处理系统包括：车载装置，其安装在车辆中；以及信息处理设备，其被配置为与所述车载装置执行通信。所述信息处理设备包括至少一个计算机，所述至少一个计算机被配置为：通过与所述车载装置的通信获取包括所述车辆的位置的车辆信息；基于所述车辆信息，通过与所述车载装置的通信获取用安装在所述车辆中的成像装置在预定位置处捕获的图像；以及基于所述图像检测所述预定位置处的情况变化。

于是，可以提高对预定位置处的情况变化的检测精度。

能够提高与设施等相关的情况变化的检测精度。

附图说明

下面将参考附图描述本发明的示例性实施例的特征、优点以及技术和工业意义，在附图中相同的附图标记表示相同的元件，并且其中：

图1是示出根据本发明的实施例的信息处理系统的配置例的图示；

图2是示出根据本发明的实施例的中心的硬件配置例的图示；

图3是示出根据本发明的实施例的车载装置的硬件配置例的图示；

图4是示出根据本发明的实施例的车载装置和中心的功能配置例的图示；

图5是图示出车载装置运行的处理流程的示例的流程图；

图6是图示出中心接收到车辆信息而运行的处理流程的示例的流程图；

图7是示出车辆信息存储单元的配置例的表格；

图8是图示出成像指示区域的指定处理的处理流程的示例的流程图；

图9是示出总计结果存储单元的配置例的表格；

图10是示出成像指示区域存储单元的配置例的表格；

图11是图示出在成像指示区域中捕获的图像数据的分析处理的处理流程的示例的流程图；

图12示出了亮度值表的配置例；

图13示出了情况表的配置例；

图14是图示出成像指示区域中情况变化的检测处理的处理流程的示例的流程图；

图15是示出系数存储单元的配置例的表格；和

图16是示出设定目的地时车载装置上的显示例的图示。

具体实施方式

在下文中，将参照附图描述本发明的实施例。图1是示出根据本发明的实施例的信息处理系统1的配置例的图示。在图1中，信息处理系统1包括车载装置20和中心10。车载装置20和中心10可以通过预定通信网络NW1(包括以大量基站作为终端的移动通信网络(无线通信网络)、因特网等)执行通信。在图1中，为了方便起见，仅示出一个车辆40；然而，多个车辆40中的每一个的车载装置20可以通过通信网络NW1执行与中心10的通信。

车载装置20是安装在车辆40中并具有信息处理功能和通信功能的装置。例如，车载装置20可以包括导航系统。在本实施例中，车载装置20连接到设置在车辆40中的摄像机30以便捕获车辆40前方的图像，并接收由摄像机30捕获的图像作为输入。摄像机30例如可以是为了行车记录仪或驾驶辅助的目的而设置的摄像机。

中心10是一组一台以上的计算机(信息处理设备)。在本实施例中，中心10基于从每个车辆40的车载装置20收集的车辆信息，使用由每个车辆40的摄像机30在预定位置捕获的图像来执行用于检测预定位置处的情况变化的处理。

图2是示出根据本发明的实施例的中心10的硬件配置例的图示。图2的中心10具有驱动装置100、辅助存储装置102、存储器装置103、中央处理单元(CPU)104、接口装置105等。

通过诸如CD-ROM(只读存储器)的记录介质101来提供实现中心10中处理的程序。在存储程序的记录介质101被设定在驱动装置100中的情况下，程序通过驱动装置100从记录介质101安装在辅助存储装置102上。然而，程序的安装并不需要从记录介质101执行，并且程序可以通过网络从另一台计算机下载。辅助存储装置102存储安装后的程序，并存储所需的文件、数据等。

存储器装置103在存在程序的开始指令的情况下从辅助存储装置102读取程序，并存储该程序。CPU104根据存储在存储器装置103中的程序运行与中心10相关的功能。接口装置105用作连接到网络的接口。

图3是示出根据本发明的实施例的车载装置20的硬件配置例的图示。图3的车载装置20具有驱动装置200、辅助存储装置202、存储器装置203、CPU204、通信装置205、显示装置206、输入装置207、GPS接收器208等。

通过诸如SD存储卡的记录介质201来提供实现车载装置20中的处理的程序。在存储程序的记录介质201被设定在驱动装置200中的情况下，程序通过驱动装置200从记录介质201安装在辅助存储装置202上。然而，程序的安装并不需要从记录介质201执行，并且该程序可以通过网络从另一台计算机下载。辅助存储装置202存储安装后的程序，并存储所需的文件、数据等。

存储器装置203在存在程序的开始指令的情况下从辅助存储装置202读取程序，并且存储该程序。CPU204根据存储在存储器装置203中的程序实现与车载装置20相关的功能。通信装置205是用于通过无线通信连接到网络的装置。通信装置205可以使用例如数据通信模块(DCM)来实现。显示装置206例如是液晶显示器等，并通过程序显示图形用户界面(GUI)等。输入装置207用于允许用户输入各种操作指令。例如，输入装置207可以是触控面板。GPS接收器208接收从全球定位系统(GPS)卫星发送的GPS信号，并基于GPS信号测量车辆40的当前位置。

图4是示出根据本发明的实施例的车载装置20和中心10的功能配置例的图示。在图4中，车载装置20包括HMI单元21、图像获取单元22、图像提取单元23、位置信息分析单元24、收发单元25等。这些单元通过安装在车载装置20上的一个以上程序在CPU204上执行的处理来实现。车载装置20还具有图像存储单元211、位置信息存储单元212、地图信息存储单元213等。这些存储单元可以使用例如存储器装置203、辅助存储装置202等来实现。

HMI单元21通过车载装置20的显示装置206等来实现向用户(驾驶员等)通知可能发生改变的位置或地点(例如，兴趣点(POI)等)的人机界面(HMI)。该改变例如是商店或设施的停业(中断业务)等。POI是作为导航系统中的引导目标(例如商店、设施等)的点(即，成为候选目的地的点)的示例。

图像获取单元22以预定格式获取由摄像机30捕获的图像，并且将该图像以诸如MP4的运动图像格式存储在图像存储单元211中。

图像提取单元23从存储在图像存储单元211中的运动图像中提取与从位置信息分析单元24指定的日期和时间相对应的静止图像，并将该静止图像等发送到中心10。

位置信息分析单元24在车辆40的辅助电源接通(ACC-ON(ACCESSORY-ON))的状态下以给定的时间间隔将由GPS接收器208测量的位置信息记录在位置信息存储单元212中。在车辆40中发生断开辅助电源的操作(以下称为“ACC-OFF(ACCESSORY-OFF)”)的情况下，位置信息分析单元24从GPS接收器208获取ACC-OFF的发生点的位置信息，并且将包括该位置信息的车辆信息发送到中心10。所述位置信息具有作为表示车辆40被估计所停放的位置的信息的含义。另外，在从中心10接收到表示被中心10指定为成像范围的区域(在下文中称为“成像指示区域”)的信息的情况下，位置信息分析单元24参考位置信息存储单元212指定在成像指示区域中行驶期间的日期和时间，并且请求图像提取单元23将与该日期和时间对应的静止图像发送到中心10。

地图信息存储单元213存储在导航系统中使用的地图信息。所述地图信息还包括POI信息等。

收发单元25控制与车载装置20和中心10的通信。

中心10具有车辆信息获取单元11、统计分析单元12、成像指示区域发送单元13、图像处理单元14、变化检测单元15、收发单元16等。这些单元通过安装在中心10上的一个以上程序在CPU104上执行的处理来实现。中心10使用车辆信息存储单元111、地图信息存储单元112、总计结果存储单元113、成像指示区域存储单元114、图像处理结果存储单元115、系数存储单元116、停业列表存储单元117等。这些存储单元可以使用通过网络能连接到中心10或中心10中的辅助存储装置102的存储装置等来实现。

车辆信息获取单元11在车辆40中发生ACC-OFF时接收从车辆40的车载装置20发送的包括车辆40的位置信息的车辆信息，并将车辆信息存储在车辆信息存储单元111中。于是，车辆信息存储单元111存储每个车辆40的ACC-OFF点的位置信息的历史。

统计分析单元12基于存储在车辆信息存储单元111中的车辆信息、存储在地图信息存储单元112中的地图信息等来指定ACC-OFF的频率趋于下降的位置(POI)，并且将包括所指定的POI的周边区域指定为成像指示区域。表示成像指示区域的信息被存储在成像指示区域存储单元114中。总计结果存储单元113存储为允许统计分析单元12指定ACC-OFF的频率趋于下降的POI而执行的车辆信息的总计处理的结果。

成像指示区域发送单元13将表示成像指示区域的信息发送到每个车辆40的车载装置20。

图像处理单元14从每个车辆40在成像指示区域中捕获的图像中检测亮度(亮度值)的变化、停放车辆的数量、行人的数量等，并将检测结果存储在图像处理结果存储单元115中。

变化检测单元15基于存储在图像处理结果存储单元115中的信息和存储在系数存储单元116中的系数，根据亮度(亮度值)的变化、停放车辆的数量和行人的数量中的每一个来检测每个成像指示区域中情况的变化(POI的重建或者停业)。变化检测单元15将与检测到变化的成像指示区域相关的POI记录在停业列表存储单元117中。

收发单元16控制车载装置20和中心10之间的通信。

在下文中，将描述由车载装置20或中心10运行的处理流程。图5是示出由车载装置20运行的处理流程的示例的流程图。

当车辆40处于ACC-ON状态时(例如，当车辆40由于等待交通信号等而正在行驶或停止时)，图像获取单元22连续获取由摄像机30捕获的运动图像并将运动图像存储在图像存储单元211中(S101)。所述运动图像包括日期和时间信息。在图像存储单元211的容量即将不足的情况下，可以对具有旧的成像时机的运动图像执行重写。与存储运动图像并行地，位置信息分析单元24将表示车辆40的当前位置的位置信息和表示车辆40的当前行驶方向的信息与当前日期和时间信息相关联地、定期地记录在位置信息存储单元212中。所述位置信息由GPS接收器208测量。

在车辆40停止并且检测到发生ACC-OFF的情况下(在S102中，是)，位置信息分析单元24向中心10发送包括由GPS接收器208测量的车辆40的当前点(即，停放位置)的位置信息(经度和纬度)、与当前位置相对应的静止图像以及车辆40的ID(在下文中称为“车辆ID”)的车辆信息(S103)。关于车辆ID，只要信息允许车辆40之间的区别，就可以使用任何类型的信息。可以通过从存储在图像存储单元211中的运动图像中提取与当前时间对应的静止图像来获取与当前位置相对应的图像。

位置信息分析单元24从中心10接收响应(S104)。也就是说，在从车载装置20接收到位置信息的情况下，中心10确认成像指示区域是否存在，并且在存在成像指示区域的情况下，向车载装置20返回包括表示成像指示区域的信息(在下文中称为“成像指示区域信息”)的响应。成像指示区域信息包括例如与成像指示区域对应的POI的ID(在下文中，被称为“POI_ID”)和表示成像指示区域的范围的信息(区域范围)。在存在多个成像指示区域的情况下，在该响应中包括各成像指示区域的成像指示区域信息。在不存在成像指示区域的情况下，中心10向车载装置20返回表示不存在成像指示区域的响应。

在来自中心10的响应中不包括成像指示区域信息的情况下(在S105中，否)，图5的处理流程结束。在来自中心10的响应中包括成像指示区域信息的情况下(在S105中，是)，位置信息分析单元24参考位置信息存储单元212来指定当车辆40经过由成像指示区域信息表示的任何成像指示区域时的日期和时间，以及车辆40经过成像指示区域时的行驶方向(S106)。即，从存储在位置信息存储单元212中的位置信息的历史中搜索任何成像指示区域的位置信息，并且与位置信息相关联地存储的日期和时间以及行驶方向被获取。在位置信息的记录间隔非常短(分钟)的情况下，针对单次经过特定的成像指示区域而搜索到多条位置信息。在这种情况下，获取与搜索到的位置信息相对应的多个日期和时间以及行驶方向。

在未指定相应的日期和时间以及行驶方向的情况下，即，在车辆40未经过任何成像指示区域的情况下(在S107中，否)，图5的处理流程结束。在指定了相应的日期和时间以及行驶方向的情况下(在S107中，是)，即，在车辆40经过任何成像指示区域的情况下，位置信息分析单元24针对每个成像指示区域向图像提取单元23通知POI_ID、成像指示区域中的一条以上位置信息、每条位置信息的日期和时间以及在与每条位置信息相关的位置处的车辆40的行驶方向。

图像提取单元23从存储在图像存储单元211中的运动图像中提取与每个所通知的日期和时间对应的静止图像(S108)。从运动图像中提取与从位置信息通知单元所通知的所有日期和时间对应的所有静止图像(即，在一个成像指示区域中连续捕获的所有图像)。此时，在提取了与从位置信息通知单元所通知的所有日期和时间相对应的所有静止图像并且数据量变得非常大的情况下，可以精简(thinned)要提取的静止图像。精简(thinning)可以基于例如距离或时间来执行。例如，可以提取间隔为1m的行驶距离的静止图像。可以从车辆40的速度和行驶时间来计算1m间隔的静止图像。然而，期望的是针对一个成像指示区域来提取多个静止图像。

对于被提取了静止图像的每个成像指示区域来说，图像提取单元23向中心10发送包括与成像指示区域对应的POI_ID、针对成像指示区域提取的一个以上静止图像(以下简称为“图像数据”)、每条图像数据的成像位置的位置信息、每条图像数据的成像日期和时间以及在捕获每条图像数据时的行驶方向的信息(在下文中称为“成像信息”)(S109)。

成像信息的发送可以在从ACC-OFF操作发生时到辅助电源实际中断为止的时间内在能够发送的范围内执行。具体地，例如在需要发送多条成像信息的情况下，也可以按照与在步骤S104中接收到的响应中包括的、具有较高优先级的成像指示区域相关的成像信息的顺序发送成像信息。无法发送的成像信息可以在下一次ACC-OFF时发送。

包括当车辆40位于成像指示区域外部时的图像数据的车辆信息可以被发送到中心10。例如，包括在车辆40行驶期间的给定时间间隔的图像数据的车辆信息可以被发送到中心10。在这种情况下，例如，中心10的车辆信息获取单元11可以仅提取成像指示区域中的车辆信息。然而，如上所述，要发送与成像指示区域相关的车辆信息，由此可以减小网络负荷、中心10的处理负荷等。

将描述中心10在图5的步骤S103中接收到从车载装置20发送的车辆信息时运行的处理流程。图6是示出中心10在接收到车辆信息时运行的处理流程的示例的流程图。

在接收到从车载装置20发送的车辆信息的情况下，中心10的车辆信息获取单元11将包括车辆信息的记录存储在车辆信息存储单元111中(S201)。

图7是示出车辆信息存储单元111的配置例的表格。如图7所示，车辆信息存储单元111将包括从发生ACC-OFF的每个车辆40发送的车辆ID、位置信息、在停放位置捕获的图像等的车辆信息与接收车辆信息时的日期和时间相关联地存储。在下文中，包括日期和时间的信息也被称为车辆信息。

成像指示区域发送单元13判定在成像指示区域存储单元114中是否存储有一条以上成像指示区域信息(S202)。在成像指示区域存储单元114中存储有一条以上成像指示区域信息的情况下(在S202中，是)，成像指示区域发送单元13将包括存储在成像指示区域存储单元114中的所有成像指示区域信息的响应返回给作为车辆信息的发送源的车载装置20(S203)。

在成像指示区域存储单元114未存储有成像指示区域信息的情况下(在S202中，否)，成像指示区域发送单元13将表示不存在成像指示区域的响应返回给作为车辆信息的发送源的车载装置20(S204)。

将描述统计分析单元12基于存储在车辆信息存储单元111中的信息来批量运行的处理流程。图8是示出成像指示区域的指定处理的处理流程的示例的流程图。图8的处理流程例如以诸如一周的每个给定时间段T1来运行。

在步骤S301中，统计分析单元12从车辆信息存储单元111获取在最近的给定时间段T1内接收到的车辆信息。具体地，具有给定时间段T1中包括的日期和时间的值的车辆信息组从车辆信息存储单元111获取。

统计分析单元12基于在步骤S301中获取的每条车辆信息中包括的位置信息来指定与车辆信息对应的POI，并将该指定的POI与每条车辆信息关联起来(S302)。即，指定了被估计为与车辆信息相关的车辆40的停放位置的POI。POI的指定方法不限于预定的方法。例如，可以将与由车辆信息中包括的位置信息表示的位置最接近的POI指定为与车辆信息相对应的POI。最接近的POI可以基于POI的位置信息来指定。可以参考地图信息存储单元112来指定每个POI的位置信息。即，地图信息存储单元112针对每个POI存储包括商店、设施等的POI_ID、名称、类别(类型)、位置(纬度和经度)等的POI信息。

可替代地，可以通过估计POI之间的边界来估计每个POI的范围。即，虽然POI是点的信息(一维信息)，但是对于每个POI，可以估计POI的范围(二维信息)。例如，以POI为中心的预定距离(例如几米)为半径的圆形区域、以POI作为对角线的交点的具有预定距离(例如几米)的边的矩形区域等可以被定义为每个POI的范围。在这种情况下，关于多个POI的范围彼此重叠的部分，可以通过POI之间的中间位置来限定边界。在这种情况下，可以将与包括车辆信息中所包括的位置信息的范围相对应的POI指定为与车辆信息相对应的POI。

可替代的，也可以在地图信息存储单元112中存储表示与每个POI对应的建筑物的二维轮廓(边界)的信息。在这种情况下，可以将位于包括车辆信息中所包括的位置信息的边界内的POI指定为与车辆信息对应的POI。

基于包括在车辆信息中的图像(即，在停放时捕获的图像)可以实现POI的指定精度的提高。具体地，在通过上述任何方法针对一条车辆信息指定了多个POI的情况下(例如，在存在多个最接近的POI的情况下)，商店名称等可以通过对图像执行字符识别或招牌识别(对招牌的设计等的识别)来指定，并且可以唯一地指定与车辆信息对应的POI。

在所有方法中，针对一条车辆信息指定一个POI，并且所指定POI的信息(POI信息)与每条车辆信息相关联。

统计分析单元12针对具有共同相关联的POI信息的每个车辆信息组按时隙和星期几来总计车辆信息的条数，并将总计结果记录在总计结果存储单元113中(S303)。

图9是示出总计结果存储单元113的配置例的表格。如图9所示，总计结果存储单元113存储对于每个给定时间段T1记录给定时间段T1中的总计结果的表格(在下文中，称为“总计表”)。总计表的记录包括POI_ID、时隙分类、星期几分类、车辆ID列、处于ACC-OFF状态的车辆的数量等。

POI_ID是POI的ID。时隙分类是时隙的分类。例如，可以设定诸如下午(14：00至15：00)和晚上(17：00至18：00)的时隙分类，或者可以设定通过将24小时除以一小时的时间宽度等获得的时隙。星期几分类可以是星期一、星期二、星期三、星期四、星期五、星期六和星期天，或者可以是定休日和非定休日的分类。每个POI的定休日可以被包括在地图信息存储单元112中存储的POI信息中，或者可以存储在另一个存储单元中。车辆ID列是车辆信息组中相关联的POI信息和日期和时间与POI_ID、时隙分类和星期几分类相对应的每条车辆信息中包括的车辆ID的排列。即，车辆ID列包括在最近的给定时间段T1中被估计停放在与POI_ID相关的POI处的车辆40的车辆ID。但是，在车辆ID列中，消除了相同车辆ID的复制。这是为了掌握未指定的人对商店等的使用状况。也就是说，这是因为认为在包括于车辆ID列中的所有车辆ID都相同的情况下只有一指定的人在停放车辆，并且基于车辆ID列执行对商店等的是否存在的判定是不合适的。处于ACC-OFF状态的车辆的数量是包括于车辆ID列中的车辆ID的数量。即，处于ACC-OFF状态的车辆的数量是在最近的给定时间段T1中被估计停放在与POI_ID相关的POI处的车辆40的数量(然而，排除了对同一车辆的重复计数)。消除同一车辆的重复计数并不是必不可少的要求。因此，可以允许重复计数。

在可以获取关于活动的日期和时间或新装开店的日期和时间的信息的情况下，可以从总计目标中排除与举行活动的日期和时间或者存在新装开店等的日期和时间相对应的车辆信息。这是因为，在附近存在活动、新装开店等的情况下，停放车辆的数量可能会偏离正常时间期间的数量，并且在停放车辆的数量偏离在正常时间期间的数量的记录被包括在总计目标中的情况下，会获得不适于作为正常时间期间停放车辆的数量的值。

统计分析单元12按与最新总计表(即，最近的给定时间段T1的总计表)的每个记录相关的POI、时隙分类和星期几分类，基于过去总计表来指定处于ACC-OFF状态的车辆的数量的上限和下限(S304)。这里，过去总计表是指在最新总计表是第n个总计表的情况下第(n-m)个(其中，m>1)至第(n-1)个总计表。m的值可以以预定的方式设定。处于ACC-OFF状态的车辆的数量的上限是指第(n-m)个至第(n-1)个总计表中的相应记录中处于ACC-OFF状态的车辆的数量的最大值。处于ACC-OFF状态的车辆的数量的下限是指在第(n-m)个至第(n-1)个总计表中的相应记录中处于ACC-OFF状态的车辆的数量的最小值。

统计分析单元12从最新总计表的每个记录中提取具有在由为记录指定的上限和下限限定的范围之外的处于ACC-OFF状态的车辆的数量的值的记录，并且将与提取的记录的POI_ID相关的POI指定为成像目标(S305)。这是因为认为上述的POI在最近的给定时间段内识别的停放车辆的数量方面经历了大的变化，并且可能会停业等。在POI、时隙分类和星期几分类的方面来存储总计表的记录，而不是针对每个POI。于是，多个记录可以针对一个POI而存储在总计表中。上述POI可以使至少一个记录在上限和下限的范围之外作为是成像目标的条件，可以使所有记录在上限和下限的范围之外作为是成像目标的条件，或者可以使预定比率以上的记录在上限和下限的范围之外作为是成像目标的条件。

针对成为成像目标的每个POI，统计分析单元12将包括POI的位置的周边区域定义为成像指示区域，并且将表示该成像指示区域的成像指示区域信息记录在成像指示区域存储单元114中(S306)。

图10是示出成像指示区域存储单元114的配置例的表格。如图10所示，成像指示区域存储单元114的每个记录包括POI_ID、区域范围、优先级等。

POI_ID是成为成像目标的POI的POI_ID。区域范围是表示关于POI的成像指示区域的范围的信息。例如，在圆形区域的情况下，可以通过中心点和半径来指定区域范围。在这种情况下，中心点可以由POI的位置信息来指定。可替代地，在区域范围是矩形区域的情况下，可以通过每个对角顶点(右上顶点和左下顶点，或者左上顶点和右下顶点)的经度和纬度来指定区域范围。例如，在步骤S303中，在针对每个POI指定区域的情况下，可以将向范围的周边扩大预定量的范围定义为区域范围。优选的是，POI周边内的道路被包括在该区域范围内。这是为了允许在POI的周边内的道路上行驶期间捕获包括与POI对应的设施等的图像。

优先级是成像指示区域之间的优先级。例如，可以在步骤S305中确定优先级。也就是说，与具有较大程度超出上限和下限的POI相关的成像指示区域可以被赋予高优先级。

上述的成像指示区域信息被包括在图6的步骤S203中返回的响应中。

图8的处理流程是为了基于每个车辆40的ACC-OFF点(停放位置)的历史指定ACC-OFF的发生频率趋于下降的POI的目的以及为了将包括该POI的范围指定为成像指示区域的目的的处理流程。成像指示区域可以通过除了图8的处理流程之外的处理流程来指定，只要能达到相同的目的即可。

例如，可以基于过去总计结果表的车辆ID列来指定在特定POI中连续(例如，定期地)检测到ACC-OFF的一个以上车辆ID，并且包括如下的POI的周边区域可以被指定为成像指示区域：在该POI处，在最新总计结果表或最新总计结果表之前的几个总计结果表中不包括一个以上的车辆ID。这是因为认为没有被普通顾客访问的商店可能会停业。

在图5的步骤S109中，将描述中心10在接收到从车载装置20发送的成像信息(POI_ID、一条以上图像数据、日期和时间、行驶方向等)时运行的处理流程。

图11是示出在成像指示区域中捕获的图像数据的分析处理的处理流程的示例的流程图。

在步骤S401中，在接收到从车载装置20发送的成像信息的情况下，针对每条接收到的成像信息(每个捕获的POI)，图像处理单元14通过将成像信息中包括的图像数据的亮度值与登记在于图像处理结果存储单元115中存储的亮度值表中的过去的亮度值进行比较，确定是否存在亮度值的变化(亮度变化)。在成像信息中包括的图像数据的亮度值是在成像信息中包括的任意图像数据的像素的亮度值的平均值。可替代地，亮度值可以是例如图像数据中的与成像信息中包括的POI_ID相关的POI的附近对应的部分的亮度值的平均值。可以基于在成像信息中包括的行驶方向、POI的位置信息、图像数据的成像位置的位置信息以及车辆40在成像位置的行驶方向来估计图像数据中的POI的位置。包括该位置的周边部分可以被指定为与POI的附近对应的部分。可替代地，例如，在将图像数据分成四部分等的情况下的任何区域可以被指定为与POI的附近对应的部分。

在亮度值表中登记的过去的亮度值，是在与对应于成像信息的POI相关的过去成像信息中包括的图像数据中的、在与此次接收到的成像信息的成像日期和时间相对应的时隙中捕获的图像数据的亮度值的平均值。

图12示出亮度值表的配置例。如图12所示，亮度值表针对过去接收到成像信息的每个成像指示区域存储POI_ID和亮度值1至4。

POI_ID是与成像指示区域对应的POI的POI_ID。亮度值1是在POI的营业日上午期间的时隙中捕获的图像数据的亮度值。亮度值2是在POI的营业日晚上期间的时隙中捕获的图像数据的亮度值。亮度值3是在POI的定休日上午期间的时隙中捕获的图像数据的亮度值。亮度值4是在POI的定休日晚上期间的时隙中捕获的图像数据的亮度值。每个亮度值是每条图像数据(或者每条图像数据中与POI的附近对应的部分的图像)的像素的亮度值的平均值。

在步骤S401中，在接收到的成像信息中包括的图像数据的成像日期和时间对应于与成像信息中包括的POI_ID相关的POI的营业日的早上的情况下，图像数据的亮度值与存储在关于POI_ID的亮度值表中的亮度值1比较。在成像信息中包括的图像数据的成像日期和时间对应于与成像信息中包括的POI_ID相关的POI的营业日的晚上的情况下，图像数据的亮度值与存储在关于POI_ID的亮度值表中的亮度值2比较。在成像信息中包括的图像数据的成像日期和时间对应于与成像信息中包括的POI_ID相关的POI的定休日的上午的情况下，图像数据的亮度值与存储在关于POI_ID的亮度值表中的亮度值3比较。在成像信息中包括的图像数据的成像日期和时间对应于与成像信息中包括的POI_ID相关的POI的定休日的晚上的情况下，图像数据的亮度值与存储在关于POI_ID的亮度值表中的亮度值4比较。可以从地图信息存储单元112获取每个POI的定休日。可以通过预先确定的时隙来区分上午和晚上。

在比较关于接收到的成像信息中包括的图像数据的亮度值之后，可以用图像数据的亮度值代替要成为亮度值表中的比较目标的亮度值。也就是说，图像数据的最新亮度值可以被登记在亮度值表中。在要成为比较目标的亮度值没有存储在关于图像数据的亮度值表中的情况下，图像数据的亮度值被登记在要成为比较目标的亮度值应当被存储的亮度值表的字段中。

在步骤S401中，在执行对亮度值的比较的情况下，输出是否存在亮度值的变化。此时，可以预先将阈值α设定给亮度值之间的差值，在存在超过阈值α的差值的情况下，可以判定为“(变化)存在”，并且在亮度值之间的差值在阈值α内的情况下，可以判定为“(变化)不存在”。在未执行亮度值的比较的情况下，即在要成为比较目标的亮度值没有登记在亮度值表中的情况下，输出“不明”作为判定结果。

对于每条接收到的成像信息，图像处理单元14基于在成像信息中包括的图像数据等来估计与成像信息相关的POI中的停放车辆的数量(S402)。例如，在特定成像信息中包括多条图像数据的情况下，图像处理单元14确定未在图像数据中移动的车辆40(以下，称为“停止车辆”)。图像处理单元14将停止车辆中的位于与图像数据中的成像信息相关的POI附近的车辆40定义为POI中的停放车辆，并对停放车辆的数量计数。图像数据中的POI附近的指定方法如步骤S401所述。

对于每条接收到的成像信息，图像处理单元14基于在成像信息中包括的图像数据等来估计将与成像信息相关的POI作为目的地的行人(其是与POI相关的设施的用户)的数量(S403)。对行人的数量的这种估计可以通过在步骤S402中将“车辆40”替换为“行人”的方法来实现。这样，可以估计在POI中排队的行人的数量。

图像处理单元14针对每条接收到的成像信息将步骤S401至S403的处理结果记录在图像处理结果存储单元115的情况表中(S404)。

图13示出了情况表的配置例。如图13所示，情况表的每个记录包括POI_ID、亮度值的变化、停放车辆的数量、行人的数量、日期和时间等。

POI_ID是在成像信息中包括的POI_ID。亮度值的变化是关于成像信息的步骤S401的处理结果，并且亮度值的变化值为“存在”、“不明”和“不存在”。“存在”表示亮度值有变化。“不明”表示是否存在亮度值的变化不明。“不存在”表示亮度值没有变化。停放车辆的数量是在关于成像信息的步骤S402中计数的停放车辆的数量。行人的数量是在关于成像信息的步骤S403中计数的行人的数量。日期和时间是检测到由记录所表示的情况(亮度值的变化、停放车辆的数量、行人的数量)的日期和时间。在日期和时间中，例如，可以记录成像信息中包括的日期和时间。

将基于情况表来描述用于检测每个成像指示区域(POI)的情况变化(例如，商店的停业等)的处理。

图14是图示出成像指示区域的情况变化的检测处理的处理流程的示例的流程图。例如，针对每个给定的时间段T2，例如一周一次，批量运行图14的处理流程。给定时间段T2可以等于给定时间段T1。

在步骤S501中，变化检测单元15将存储在成像指示区域存储单元114(图10)中的记录之中的一个记录设定为处理目标。作为处理目标的记录的顺序没有特别限定。该记录被称为“目标区域记录”。

变化检测单元15从情况表(图13)中获取包括目标区域记录的POI_ID的记录组(S502)。此时，获取目标可以限于具有在最近的给定时段T2中包括的日期和时间的记录。在下文中，所获取的记录组被称为“目标情况记录组”。

变化检测单元15基于目标情况记录组和存储在系数存储单元116中的系数来计算关于与目标区域记录相关的POI的停业分数(S503)。停业分数是以数值表示与POI相关的设施等可能停业(不在营业中)等的指数。

图15是示出系数存储单元116的配置例的表格。如图15所示，系数存储单元116存储亮度值变化系数表C1、停放车辆数量系数表C2、行人数量系数表C3等。在下文中，在各表格之间不区分的情况下，各表格被简单地称为“系数表”。

在亮度值变化系数表C1中，存储了在亮度值变化为“存在”、“不明”或“不存在”的情况下的系数(亮度值变化系数)。在停放车辆数量系数表C2中，存储了在停放车辆的数量等于或大于X、超过零且小于X、或者为零的情况下的系数(停放车辆数量系数)。X可以被设定为停放车辆的数量被认为是大的值。在行人数量系数表C3中，存储了在行人数量等于或大于Y、超过零且小于Y、或者为零的情况下的系数(行人数量系数)。Y可以被设定为行人数量被认为是大的值。

关于各系数，在情况发生变化可能性高的情况下，各系数的绝对值成为正方向上的大的值，而在情况发生变化可能性低的情况下，各系数的绝对值成为负方向上的大的值。

目标区域记录的停业分数通过以下表达式基于上述的系数表来计算。

停业分数＝Σ(亮度值变化系数+停放车辆数量系数+行人数量系数)

这里，Σ是指针对在目标情况记录组中包括的每个记录而计算的目标情况记录组的总和(亮度值变化系数+停放车辆数量系数+行人数量系数)。在停业分数变为负值的情况下，停业分数可以被修正为零，而在停业分数超过100的情况下，停业分数可以被修正为100。

变化检测单元15将停业分数与阈值β(例如，50)比较(S504)。在停业分数等于或大于阈值β的情况下(在S504中，是)，变化检测单元15另外将目标区域记录的POI_ID存储在停业列表存储单元117中(S505)。也就是说，检测到与POI_ID相关的POI可能会停业(可能经历情况的变化)。在停业分数小于阈值β的情况下(在S504中，否)，不执行步骤S505。

在针对存储在成像指示区域存储单元114(图10)中的所有记录执行步骤S501至S504或S505的情况下(在S506中，是)，图14的处理结束。

在上面的描述中，虽然已经描述了使用亮度值、停放车辆的数量和行人数量的全部的示例，但是可以基于亮度值、停放车辆的数量和行人数量中的一个或两个来计算停业分数。在这种情况下，可以调整阈值β的值。

存储在停业列表存储单元117中的POI_ID组可以在预定时机被通知给每个车辆40的车载装置20。例如，在车载装置20中，在某个POI被设定为目的地(引导的目标)的情况下，车载装置20可以向中心10查询POI是否被存储在停业列表存储单元117中。中心10可以返回表示与查询相关的POI是否被存储在停业列表存储单元117中的响应。在POI存储在停业列表存储单元117中的情况下，车载装置20可以显示表示被设定为目的地的POI可能不存在(停业)的信息。

图16是示出设定目的地时车载装置20中的显示例的图示。图16示出了目的地o1附近的地图。这里，在目的地o1的POI_ID被存储在停业列表存储单元117中的情况下，车载装置20可以显示标记m1以通知驾驶员等目的地o1可能不存在。这样的通知可以通过语音来执行，或者可以通过改变(例如，降低或变暗)目的地o1的图标的显示形式来执行。最后捕获的关于目的地o1的图像数据可以从车辆信息存储单元111获取，并且图像数据可以与标记m1一起显示或者代替标记m1显示。

在上面的描述中，虽然已经描述了基于ACC-OFF的频率变化来指定可能停业的POI的示例，但是代替ACC-OFF点的位置信息，可以使用车辆在ACC-ON状态下停止预定时间以上的情况下的位置的位置信息、速度减小到等于或低于给定速度的状态持续了预定时间的位置的位置信息等。

可替代地，在目的地被设定在车载装置20中并且当车辆40到达目的地时，车辆不进入ACC-OFF并且在没有ACC-OFF的情况下目的地变为与目的地相同类型的不同设施的情况下，位置信息分析单元24可以将包括初始目的地的位置信息的车辆信息发送到中心10。也就是说，可以使用该位置信息代替ACC-OFF点的位置信息。这是因为估计初始目的地可能会停业。

如上所述，根据本实施例，基于车辆信息在预定位置(成像指示区域)处捕获图像，并且基于图像检测预定位置的情况的变化。为此，可以基于与基于车辆信息估计情况的变化的预定位置相关的图像来检测情况的变化。因此，能够提高与设施等相关的情况的变化的检测精度。

在本实施例中，车辆40的车辆信息是在存在信息处理设备的用户请求引导的目标的点的附近获取的。为此，可以基于与基于车辆信息估计情况的变化的并且存在信息处理设备的用户请求引导的目标的点的附近相关的图像来检测预定位置处的情况的变化。于是，可以提高对与存在信息处理设备的用户请求引导的目标的设施等相关的情况的变化的检测精度。

在本实施例中，基于在存在信息处理设备的用户请求引导的目标的位置处捕获的图像，检测该位置处的情况的变化。于是，可以提高对与存在信息处理设备的用户请求引导的目标的设施等相关的情况的变化的检测精度。

在本实施例中，在基于车辆40停放的位置的位置信息而指定的位置(POI)处捕获图像，并且基于该图像检测该位置处的情况的变化。这里，在使用某个设施等时，在该设施附近执行车辆的停放。然后，车辆停放的位置被认为表示所使用的设施等的位置。因此，基于设施的使用状况等，能够提高对与设施等相关的情况的变化的检测精度。

在本实施例中，停放频率趋于下降的位置被指定，并且将该位置通知给车载装置20。这里，在停放频率趋于下降所在的设施等中，假定使用频率下降。作为使用频率下降的因素，假设诸如设施停业的情况的变化的可能性。于是，可以将情况的变化的可能性高的设施等的图像定义为处理目标，并且期待处理负荷的减小等。

在本实施例中，基于图像的亮度值、从图像中提取的停放车辆的数量以及从图像中提取的行人的数量中的至少一个来检测设施等中的情况的变化。为此，即使在存在诸如设施等建筑物的状态下，也能够基于设施等的亮度值(亮度)、设施中停放的车辆的数量、设施附近的行人的数量等来检测诸如设施的停业的情况变化。于是，可以提高对预定位置处的情况的变化的检测精度。

在本实施例中，中心10是信息处理设备的示例。车辆信息获取单元11是第一获取单元的示例。图像处理单元14是第二获取单元的示例。变化检测单元15是检测单元的示例。统计分析单元12是指定单元的示例。

尽管以上已经详细描述了本发明的实施例，但是本发明不限于这样的具体实施例，并且可以进行各种变形和改变。

Claims

1.一种信息处理设备，其被配置为与安装在车辆中的车载装置执行通信，所述信息处理设备的特征在于包括：至少一个计算机，其被配置为

通过与所述车载装置的通信获取包括所述车辆的位置的车辆信息，

基于所述车辆信息，通过与所述车载装置的通信获取用安装在所述车辆中的成像装置在预定位置处捕获的图像，以及

基于所述图像检测所述预定位置处的情况变化。

2.根据权利要求1所述的信息处理设备，其特征在于，所述预定位置是存在所述信息处理设备的用户请求引导的目标的点的附近的位置。

3.根据权利要求2所述的信息处理设备，其特征在于，所述预定位置是存在所述信息处理设备的所述用户请求所述引导的所述目标的位置。

4.根据权利要求1至3中任一项所述的信息处理设备，其特征在于：

所述车辆信息包括所述车辆停放的位置的位置信息；并且

所述计算机被配置为基于所述车辆停放的所述位置的所述位置信息来指定所述预定位置。

5.根据权利要求4所述的信息处理设备，其特征在于：

所述计算机被配置为基于所述车辆停放的所述位置的位置信息的历史来指定停放频率趋于下降的位置；和

所述计算机被配置为将所述停放频率趋于下降的所述位置作为所述预定位置通知所述车载装置。

6.根据权利要求1至5中的任一项所述的信息处理设备，其特征在于，所述计算机被配置为基于所述图像的亮度值、从所述图像中提取的停放车辆的数量以及从所述图像中提取的行人的数量中的至少一个来检测所述预定位置处的情况变化。

7.一种信息处理方法，其特征在于，包括：

利用信息处理设备获取包括车辆的位置的车辆信息，所述信息处理设备被配置为与安装在所述车辆中的车载装置执行通信；

利用所述信息处理设备，基于来自所述车载装置的所述车辆信息，获取用安装在所述车辆中的成像装置在预定位置处捕获的图像；以及

基于在所述预定位置处获取的所述图像来检测所述预定位置处的情况变化。

8.一种信息处理系统，其特征在于，包括：

车载装置，其安装在车辆中；以及

信息处理设备，其被配置为与所述车载装置执行通信，

其中所述信息处理设备包括至少一个计算机，所述至少一个计算机被配置为

基于所述车辆信息，通过与所述车载装置的通信获取用安装在所述车辆中的成像装置在预定位置处捕获的图像，并且

基于所述图像检测所述预定位置处的情况变化。