CN111242342A - 信息处理系统、信息处理方法和程序 - Google Patents

Abstract

信息处理系统(S)包括服务器装置和信息处理装置，该信息处理装置能够与服务器装置通信。信息处理装置配置为：获取由包括在车辆中的成像装置成像的多个图像，并且当基于所获取的图像检测到从非降雨状态到降雨状态，或从降雨状态到非降雨状态的变化时，将关于检测到变化时的车辆的位置信息输出至服务器装置。

Description

信息处理系统、信息处理方法和程序

技术领域

本发明涉及信息处理系统、信息处理方法和程序。

背景技术

通常已知一种系统，该系统从大量安装的测量装置(光伏发电机或收集重要信息的可穿戴终端)接收测量值，计算每个区域的测量值的变化率，并将该变化率与每个对应区域周围的区域的变化率进行比较(例如，第2016-114495号日本专利申请公开(JP 2016-114495 A))。基于比较结果，系统检测具有快速环境变化的区域。

发明内容

当JP 2016-114495 A中公开的系统检测到利用光伏发电机测量的发电量或发电效率的降低时，该系统确定日照强度的降低，并预测局部强降雨。替代性地，当JP 2016-114495中公开的系统检测到利用可穿戴终端测量的心率、体温或血压的变化时，该系统确定低气压的发生，并预测局部强降雨。然而，当满足局部强降雨趋于发生的条件时，该系统简单地预测局部强降雨的发生。因此，该系统不能确定是否实际发生了局部强降雨。

鉴于上述问题，本发明的目的是提供能够检测降雨状态和非降雨状态之间的变化的信息处理系统、信息处理方法和程序。

根据本发明的一个实施例是这样的信息处理系统：其包括服务器装置；和能够与所述服务器装置通信的信息处理装置。所述信息处理装置配置为：获取由包括在车辆中的成像装置成像的多个图像，并且当基于所获取的图像检测到从非降雨状态到降雨状态，或从所述降雨状态到所述非降雨状态的变化时，将关于检测到所述变化时的所述车辆的位置信息输出至所述服务器装置。

根据本发明的一个实施例的信息处理方法是这样的信息处理方法：其在信息处理系统中执行，所述信息处理系统包括服务器装置和能够与所述服务器装置通信的信息处理装置，所述方法包括以下由所述信息处理装置执行的步骤：获取由包括在车辆中的成像装置成像的多个图像，以及当基于所获取的图像检测到从非降雨状态到降雨状态，或从所述降雨状态到所述非降雨状态的变化时，将关于检测到所述变化时的所述车辆的位置信息输出至所述服务器装置。

根据本发明的一个实施例的程序使包括服务器装置和能够与所述服务器装置通信的信息处理装置的信息处理系统执行以下步骤：获取由包括在车辆中的成像装置成像的多个图像，以及当基于所获取的图像检测到从非降雨状态到降雨状态，或从所述降雨状态到所述非降雨状态的变化时，将关于检测到所述变化时的所述车辆的位置信息输出至所述服务器装置。

本发明的信息处理系统、信息处理方法和程序能够检测降雨状态和非降雨状态之间的变化。

附图说明

本发明的示例实施例的特征、优点和技术及工业意义，将在下文中参考附图而加以描述，其中相似标号表示相似要素，且其中：

图1是实施例的信息处理系统的整体视图；

图2A是实施例中的车辆的功能性框图；

图2B是实施例中的服务器装置的功能性框图；

图2C是实施例中的用户终端的功能性框图；

图3展示了与成像的图像相关联的数据的示例；

图4展示了成像的图像的示例；

图5展示了变化通知的示例；

图6A展示了映射的示例；

图6B展示了映射的另一示例；

图6C展示了预测从非降雨状态到降雨状态的变化的区域；和

图7是由实施例的信息处理系统执行的处理的序列图。

具体实施方式

下面将参考附图描述本发明的实施例。

图1是实施例的信息处理系统S的整体视图。信息处理系统S包括车辆1、服务器装置2和用户终端3。尽管该实施例中的车辆1例如是汽车，但是车辆1可以是任何车辆，而不限于汽车。在图1中，为了简化描述，示出了一个车辆1、一个服务器装置2和一个用户终端3。但是，车辆1、服务器装置2和用户终端3的数量可以是一个或多个。例如，车辆1、服务器装置2和用户终端3配置为可通过包括移动通信网络和互联网的网络NW通信。

首先，将描述由该实施例的信息处理系统S执行的处理的概要。当车辆1获取由成像装置11成像的多个图像时，车辆1分析图像以检测从非降雨状态到降雨状态的变化或从降雨状态到非降雨状态的变化。例如，当雨具使用者的数量与图像中检测到的人(例如，行人)的数量的比例达到规定值(例如，25％)时，车辆1确定存在从非降雨状态到降雨状态的变化。当检测到变化时，车辆1将关于车辆1的位置信息输出至服务器装置2。服务器装置2通过在将从车辆1获取的多条位置信息映射在地图上来指定有降雨的区域。

因此，根据该实施例，信息处理系统S基于成像的图像检测人们从非降雨状态到降雨状态的变化采取何种动作(在该情况下为使用雨具)。因此，信息处理系统S可以检测从非降雨状态到降雨状态的实际变化。

将详细描述车辆1、服务器装置2和用户终端3的内部配置。

如图2A所示，车辆1包括成像装置11、位置信息获取单元12、存储单元13、控制单元14和通信单元15。

成像装置11包括所谓的车载摄像头以对车辆1的外部的图像(例如，前部区域、侧部区域、后部区域等)进行成像。成像装置11可以在车辆1行驶或停止时生成车辆1外部的连续视频图像，并且可以将生成的视频图像记录在存储单元13上。作为替代性示例，任何通信终端(例如智能手机)可以用作成像装置11。

位置信息获取单元12包括与任何全球定位系统相对应的一个或多个接收器。例如，位置信息获取单元12还可以包括全球定位系统(Global Positioning System，GPS)接收器。位置信息获取单元12检测指示停止或行驶的车辆1的位置的位置信息。位置信息获取单元12还可以包括电子罗盘，以获取关于车辆1面向的方向的信息。

存储单元13是记录或存储各条信息的装置。存储单元13包括一个或多个存储器。尽管“存储器”的示例包括半导体存储器、磁存储器或光学存储器，但存储器不限于此。例如，存储单元13中包括的存储器或每个存储器可以用作主存储器、辅助存储器或高速缓冲存储器。存储单元13存储与车辆1的操作有关的任何信息。存储单元13可以存储关于由控制单元14执行的分析和处理的结果的信息。存储单元13可以存储关于车辆1的操作或控制的各条信息，例如本车辆的车辆控制程序。

控制单元14包括一个或多个处理器。“处理器”可以是通用处理器或专用于特定处理的专用处理器。例如，安装在车辆1上的电子控制单元(Electronic Control Unit，ECU)可以用作控制单元14。控制单元14控制车辆1的整个操作。控制单元14对成像装置11、位置信息获取单元12、存储单元13和通信单元15执行控制，并且还执行关于车辆1的行驶或操作的所有控制。例如，控制单元14可以从成像装置11获取图像，并分析图像以检测对象。控制单元14可以配置为信息处理装置。信息处理装置可以如在该实施例中那样搭载在车辆1上，或者可以设置在车辆外部的中央服务器或集群服务器中。当信息处理装置设置在车辆外部时，可与车辆外部的信息处理装置通信的车载通信装置(例如数据通信模块(DataCommunication Module，DCM))将从成像装置11接收到的图像发送至车辆外部的信息处理装置。车辆外部的信息处理装置包括连接至网络NW的通信模块，以便通过通信模块接收图像。

通信单元15包括执行车辆1和服务器装置2之间的通信的通信模块。通信单元15根据需要可以包括不通过服务器装置2执行车辆1与其他车辆之间的车辆间通信的通信模块。通信单元15可以包括连接至网络的通信模块，或者符合移动对象通信标准(例如第4代(4thgeneration，4G)和第5代(4th generation，5G)移动对象通信标准)的通信模块。例如，装置(例如安装在车辆1上的DCM)可以用作通信单元15。

如图2B所示，服务器装置2包括服务器通信单元21、服务器存储单元22和服务器控制单元23。

服务器通信单元21包括执行服务器装置2与车辆1之间或服务器装置2与用户终端3之间的通信的通信模块。服务器通信单元21可以包括连接至网络NW的通信模块。服务器通信单元21可以从车辆1获取信息输出，也可以向车辆1输出信息或指令。

服务器存储单元22是记录和存储各条信息的装置。服务器存储单元22包括一个或多个存储器。例如，服务器存储单元22中包括的一个或多个存储器可以各自用作主存储器、辅助存储器或高速缓冲存储器。例如，服务器存储单元22存储从车辆1输出的信息。服务器存储单元22可以存储服务器控制程序或与整个信息处理系统S的操作和控制有关的各种程序。

服务器控制单元23包括一个或多个处理器。服务器控制单元23执行服务器通信单元21和服务器存储单元22的控制，并且还执行关于服务器装置2和整个信息处理系统S的操作的所有控制。

如图2C所示，用户终端3包括通信单元31、存储单元32、输出单元33、输入单元34和控制单元35。

通信单元31包括连接至网络的通信模块。通信单元31可以包括符合移动对象通信标准(例如4G和5G移动对象通信标准)的通信模块。

存储单元32是记录和存储各条信息的装置。存储单元32包括一个或多个存储器。例如，包括在存储单元32中一个或多个存储器可以各自用作主存储器、辅助存储器或高速缓冲存储器。存储单元32可以存储关于整个用户终端3的操作或控制的各种程序。

输出单元33包括输出信息并将该信息通知给用户的一个或多个输出接口。例如，包括在输出单元33中的输出接口是输出作为视频图像的信息的显示器，或者通过语音输出信息的扬声器。但是，输出接口不限于此。

输入单元34包括检测用户输入的一个或多个输入接口。包括在输入单元34中的输入接口的示例包括物理键、静电电容键、与输出单元33的显示器一体设置的触摸屏，或接收语音输入的麦克风。但是，输入接口并不限于此。

控制单元35包括一个或多个处理器。控制单元35执行关于整个用户终端3的操作的所有控制。

下面将详细描述由信息处理系统S执行的处理。车辆1以规定的间隔(例如，每秒30帧、每秒一帧等)利用成像装置11成像多个图像。车辆1与图像ID相关联地存储关于当图像被成像时的车辆1的位置信息。

车辆1在每个成像的图像中检测人的数量和在其中使用雨具的人的数量，并且将这两个数量与图像ID相关联地存储在存储单元13中。例如，雨具包括雨伞和雨衣。

例如，如图3所示，在位置(X1，Y1)在时间t1成像的图像R01中，检测到的人的数量(对应于图3中的“人的数量”)为3，在这些人之中使用雨具的人的数量(对应于图3中的“雨具使用者的数量”)为0。车辆1使用随后的等式计算雨具使用率：

雨具使用率(％)＝雨具使用者的数量/人的数量×100

利用上述等式，车辆1计算图像R01中的雨具使用率为0％。

车辆1根据雨具使用率确定降雨的存在。降雨是涉及雨、雪、雨夹雪、霰或冰雹中至少一种的降落的现象。

当雨具使用率等于或大于规定值时，车辆1确定存在降雨。在该实施例中，在一个示例中，规定值为25％，然而规定值可以采用其他值。当雨具使用率小于规定值时，车辆1确定没有降雨。例如，在雨具使用率为0％的图像R01中，车辆1确定没有降雨。

图像R01至R05按照较早成像在前的时间顺序来存储。车辆1通过与用于图像R01的相同的方法，针对图像R02和图像R03中的每个图像，确定人的数量、雨具使用者的数量、雨具使用率和降雨的存在。为了避免多余的描述，省略针对图像R02和图像R03的确定方法的描述。确定结果如图3所示。

图4示出了在位置(X4，Y4)在时间t4成像的图像R04。在图像R04中，车辆1确定人的数量为3，包括P1到P3。车辆1还检测到人P1使用雨具R1，人P2使用雨具R2。因此，车辆1确定雨具使用者的数量为2。根据测定结果，车辆1确定雨具使用率为66.7％。由于雨具使用率为25％以上，车辆1确定存在降雨。为了避免多余的描述，省略关于图像R05的描述。

车辆1检测到从非降雨状态到降雨状态的变化或从降雨状态到非降雨状态的变化。在下文中，在该实施例中，为了简化描述，车辆1检测到从非降雨状态到降雨状态的变化。然而，在其他实施例中，当系统S检测到任何一个变化时，信息处理系统S可以执行相同的处理。

当在图像R04中检测到雨具使用率达到25％时，车辆1检测到从非降雨状态到降雨状态的变化。当检测到这种变化时，车辆1向服务器装置2输出通知变化的存在的变化通知，变化通知与当检测到变化时的关于车辆1的位置信息(更具体地，位置(X4，Y4))和当检测到变化时的时间相关联。在该实施例中，在一个示例中，车辆1可以将雨具使用率以及位置信息与变化通知相关联。

可能有两个或更多个车辆1。当检测到从非降雨状态到降雨状态的变化时，车辆1将变化通知与时间、位置信息和雨具使用率相关联地输出至服务器装置2。

当服务器装置2获取变化通知时，服务器装置2如图5所示将变化通知存储在服务器存储单元22中。在图5所示的示例中，服务器装置2存储与在时间t4成像的图像对应的变化通知S01至S03，并且与变化通知S01至S03相关联地存储对应的时间、位置信息和雨具使用率。

将具体描述在时间t4指定具有降雨的区域的处理。服务器装置2从时间t＝t4从服务器存储单元22提取关于车辆1的信息。此时提取多条位置信息。服务器装置2将所提取的多条位置信息映射在地图上。服务器装置2通过简单的闭合曲线(例如圆形曲线或椭圆曲线)近似映射的位置信息。此时，服务器装置2可以使用任何方法，例如几何拟合。服务器装置2将简单的闭合曲线的内部指定为具有降雨的区域。简单的闭合曲线的周边大致与具有降雨的区域和没有降雨的区域之间的边界相匹配。映射后的地图如图6A所示。具有降雨的区域展示为区域A1。服务器装置2可以响应于来自车辆1或用户终端3的请求输出映射后的地图。

在指定图6A所示的区域A1之后，服务器装置2可以以规定间隔从车辆1获取变化通知，并且使用与所获取的变化通知相关联的位置信息重新执行与一个特定时间有关的映射。重新执行映射后的地图如图6B所示。服务器装置2通过用于确定区域A1的相同方法指定区域A2。

服务器装置2检测被识别为具有降雨的区域的过去转变，并基于过去转变预测在将来的规定时间内具有变化的区域。具体地，服务器装置2比较区域A1和区域A2，并确定具有降雨的区域向大致东北方向移动，并且区域大小增大。服务器装置2估计具有降雨的区域在相同方向上移动并以与之前相同的比例扩大。因此，如图6C所示，服务器装置2指定预测为在将来的规定时间内具有降雨的区域A3。通过比较区域A2和区域A3并提取它们之间的差异，服务器装置2可以预测在将来的规定时间内具有从非降雨状态到降雨状态的变化以及从降雨状态到非降雨状态的变化的区域。

服务器装置2获取关于各个用户终端3的位置信息，并检测存在于预测有状态变化的区域中的一个或多个用户终端3。服务器装置2从服务器存储单元22中提取关于存在于距检测的位置规定距离(例如，50米)内的设施的信息。设施信息的示例包括设施的位置和名称。设施的示例包括允许用户进入的建筑物，例如餐饮场所(例如咖啡厅和餐馆)、零售商店(例如便利店和超市)和政府办公室。

服务器装置2将向检测到的用户终端3通知在将来的规定时间内从非降雨状态到降雨状态的潜在变化，并且还通知所提取的设施信息。附加性地，服务器装置2可以估计并通知直到发生变化的时间。

用户终端3将所获取的通知的内容显示在输出单元33上。没有雨具的用户可以通过视觉地识别显示的设施信息并访问与设施信息相对应的设施来避免在雨中被淋湿。

图7是由本实施例的信息处理系统S在任何时间点执行的信息处理方法的序列图。

步骤S1：车辆1对多个图像进行成像。

步骤S2：车辆1分析图像，并检测从非降雨状态到降雨状态的变化。

步骤S3：当在步骤S2中检测到变化时(步骤S2中的是)，车辆1将变化通知与当检测到变化时的关于车辆1的位置信息相关联地输出至服务器装置2。

步骤S4：服务器装置2将与从车辆1获取的位置信息相对应的位置映射在地图上。

步骤S5：服务器装置2以规定间隔执行映射，并检测被识别为具有降雨的区域的过去转变。

步骤S6：服务器装置2基于检测到的转变预测在将来的规定时间内发生变化的区域。

步骤S7：服务器装置2向存在于预测在将来的规定时间内发生变化的区域中的用户终端3通知关于距用户终端规定距离内的设施的信息。

步骤S8：用户终端3显示从服务器装置2获取的通知的内容。

如上所述，根据实施例，车辆1分析由成像装置11成像的图像，并检测降雨状态和非降雨状态之间的变化。利用该配置，车辆1可以检测人(例如行人)从非降雨状态到降雨状态的变化采取何种动作。因此，车辆1可以检测从非降雨状态到降雨状态的实际变化。

根据实施例，分析以便检测状态变化的图像由车辆1成像。由于车辆1是移动物体，因此车辆1可以全面地检测各种道路上的状态变化。

根据该实施例，车辆1在图像中检测一个或多个人以及由一个或多个人使用的雨具，并且当雨具使用者的数量与检测到的人的数量的比例达到规定值时，确定非降雨状态变化为降雨状态。利用该配置，车辆1基于针对降雨现象的人的特征行为(在该实施例中使用雨具)检测从非降雨状态到降雨状态的变化。这使得能够进一步提高检测变化的准确度。

根据本发明，服务器装置2从车辆1获取位置信息，将与位置信息相对应的位置映射在地图上，并输出映射后的地图。利用该配置，服务器装置2可以确定当前降雨的位置。这使得能够提供更充分的天气信息。服务器装置2还使得在视觉地识别天气信息的用户能够在访问具有降雨的区域时意识到雨具是必须的。此外，当政府和市政办公室或当地政府办公室向游客提供天气信息时，他们可以减少天气带给游客的困扰。因此，能够向游客提供愉快的观光体验。

根据该实施例，服务器装置2从信息处理装置获取位置信息以检测指定为具有降雨的区域的过去转变，并基于过去转变预测在将来的规定时间内具有变化的区域。服务器装置2还向存在于预测在将来的规定时间内发生变化的区域中的用户终端通知在将来的规定时间内发生变化。由于在该配置中服务器装置2可以提供更充分的天气预报，因此能够减少安排访问预测为在将来的规定时间内发生变化的区域的用户被天气所困扰。

根据本发明，服务器装置2还向存在于预测在将来的规定时间内发生变化的区域中的用户终端通知存在于距用户终端规定距离内的设施的信息。利用该配置，服务器装置2可以支持没有雨具的用户以便避雨。因此，变得能够进一步提高便利性。

尽管已经基于附图和实施例描述了本发明，但是应该理解，本领域技术人员可以基于本公开容易地进行各种变换和校正。因此，应注意，这些变换和校正旨在包含在本发明的范围内。例如，可以重新安排包括在每个装置、步骤等中的功能等，而不会引起逻辑上的不一致，并且多个装置、步骤等可以被整合为一体或者可以被分割。

例如，当雨具使用率在将来的规定时间内增加规定值或更多时(例如，在五秒内90％或更多)，车辆1可以确定游击式暴雨的发生，并且可以向服务器装置2通知确定结果。在映射中，服务器装置2可以以与其他区域可区分的方式显示被确定为游击暴雨发生的区域的区域。可区分的显示可以包括以不同颜色显示。

根据该实施例，服务器装置2利用简单的闭合曲线近似多条映射的位置信息，并且将简单的闭合曲线的内部指定为具有降雨的区域。在另一个实施例中，具有降雨的区域可以通过不同的方法指定。更具体地，车辆1还与变化通知相关联地向服务器装置2发送车辆1的移动方向和变化的内容(即，从非降雨状态到降雨状态的变化和从降雨状态到非降雨状态的变化中的一个变化)。服务器装置2通过在上述说明的实施例中描述的方法，通过简单的闭合曲线近似多条映射的位置信息。服务器装置2可以使用从车辆1获取的移动方向和变化的内容来确定简单的闭合曲线的内部或外部中哪个是表示具有降雨的区域。

还可以建立其中任何车辆或任何服务器装置分别用作根据上述实施例的车辆1或服务器装置2的配置。具体地，描述实现根据实施例的车辆1或服务器装置2的每个功能的处理的内容的程序存储在任何车辆或服务器装置的存储器中，并且该程序由任何车辆或服务器装置的处理器读取和执行。因此，根据该实施例的本发明可以实现为可由处理器执行的程序。

Claims (8)

1.信息处理系统，包括：

服务器装置；和

信息处理装置，其能够与所述服务器装置通信，其中

所述信息处理装置配置为：

获取由包括在车辆中的成像装置成像的多个图像，并且

当基于所获取的图像检测到从非降雨状态到降雨状态，或从所述降雨状态到所述非降雨状态的变化时，将关于检测到所述变化时的所述车辆的位置信息输出至所述服务器装置。

2.根据权利要求1所述的信息处理系统，其特征在于，所述信息处理装置配置为：

在所述多个图像中检测一个或多个人以及由所述一个或多个人使用的雨具，并且

当雨具使用者的数量与检测到的人的数量的比例达到规定值时，确定所述非降雨状态变化为所述降雨状态。

3.根据权利要求1或2所述的信息处理系统，其特征在于，所述服务器装置配置为：

从所述信息处理装置获取所述位置信息，

将与所述位置信息相对应的位置映射在地图上，并且

输出映射后的地图。

4.根据权利要求1至3中的任一项所述的信息处理系统，其特征在于，所述服务器装置配置为：

从所述信息处理装置获取所述位置信息，

检测具有降雨的区域的过去转变，所述区域是基于所述位置信息指定的，并且

基于所述过去转变，预测在将来的规定时间内发生所述变化的区域。

5.根据权利要求4的信息处理系统，其特征在于，所述服务器装置配置为：向存在于预测在将来的规定时间内发生所述变化的区域中的用户终端通知将在所述将来的规定时间内发生所述变化。

6.根据权利要求5所述的信息处理系统，其特征在于，所述服务器装置还配置为：向存在于预测在所述将来的规定时间内发生所述变化的所述区域中的用户终端通知关于存在于距所述用户终端规定的距离内的设施的信息。

7.信息处理方法，其在信息处理系统中执行，所述信息处理系统包括服务器装置和能够与所述服务器装置通信的信息处理装置，所述方法包括以下由所述信息处理装置执行的步骤：

获取由包括在车辆中的成像装置成像的多个图像，以及

当基于所获取的图像检测到从非降雨状态到降雨状态，或从所述降雨状态到所述非降雨状态的变化时，将关于检测到所述变化时的所述车辆的位置信息输出至所述服务器装置。

8.一种程序，其使包括服务器装置和能够与所述服务器装置通信的信息处理装置的信息处理系统执行以下步骤：

获取由包括在车辆中的成像装置成像的多个图像，以及

当基于所获取的图像检测到从非降雨状态到降雨状态，或从所述降雨状态到所述非降雨状态的变化时，将关于检测到所述变化时的所述车辆的位置信息输出至所述服务器装置。

Images