CN113191305A - 一种基于Flink框架的数据管理方法及装置 - Google Patents

Abstract

本申请实施例提供一种基于Flink框架的数据管理方法及装置，该基于Flink框架的数据管理方法通过获取至少两个不同地理位置的前端设备的数据处理请求，并采用Flink框架中的数据处理模型对视频数据中的车辆进行处理，得到车辆的位置信息，使得在车辆出现在至少两个不同的地理位置时，确定该车辆为跨境目标车辆数据，并对该跨境目标车辆数据进行相应的处理，从而使得不同区域的数据能够互通，且在存在不同区域的异常行为时，能够通过对不同区域的异常行为进行分析，从而准确查找到在不同区域进行异常行为的车辆。

Description

一种基于Flink框架的数据管理方法及装置

技术领域

本申请涉及智慧交通技术领域，尤其是涉及一种基于Flink框架的数据管理方法及装置。

背景技术

随着技术的进步和发展，为了防止异常事件发生，会在各个区域设置抓拍设备，包括在各个道路、各个小区、各个路口等位置设置前端摄像头，以使得抓拍设备能够采集各个区域的信息，从而根据各个抓拍设备采集到的信息得到异常数据，但由于抓拍设备的数量较多，导致得到的数据量数以亿计，且在数据的管理过程中，现有采用人工来分析数据，而由于不同地区的前端摄像头所属的管辖区域不同，导致人工在分析数据时仅能查看自身管辖区域内的视频数据，在存在异常行为在不同的地区进行时，由于人工管辖范围的不同，数据不互通，导致使得无法对异常行为进行判断和分析，会存在遗漏异常行为的问题。

所以，现有对前端设备的数据的处理过程存在不同区域的数据无法互通，导致无法准确查找到异常行为车辆的技术问题。

发明内容

本申请实施例提供一种基于Flink框架的数据管理方法及装置，用以解决现有对前端设备的数据的处理过程存在不同区域的数据无法互通，导致无法准确查找到异常行为车辆的技术问题。

本申请实施例提供一种基于Flink框架的数据管理方法，该基于Flink框架的数据管理方法包括：

获取携带数据处理标识的数据处理请求；

根据所述数据处理标识，调用所述Flink框架中与所述数据处理标识对应的数据处理模型；

根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置；

在所述车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据。

同时，本申请实施例提供一种基于Flink框架的数据管理装置，该基于Flink 框架的数据管理装置包括：

获取模块，用于获取携带数据处理标识的数据处理请求；

调用模块，用与根据所述数据处理标识，调用所述Flink框架中与所述数据处理标识对应的数据处理模型；

判断模块，用于根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置；

确定模块，用于在所述车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据。

同时，本申请实施例提供一种服务器，所述服务器包括存储器，处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行程序时实现上述基于Flink框架的数据管理方法中的步骤。

同时，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有多条指令，指令适于处理器进行加载，以执行上述基于Flink框架的数据管理方法中的步骤。

有益效果：本申请实施例提供一种基于Flink框架的数据管理方法及装置，该基于Flink框架的数据管理方法在获取到携带数据处理标识的数据处理请求后，根据数据处理标识，调用Flink框架中与数据处理标识对应的数据处理模型，然后根据数据处理模型以及数据处理请求携带的视频数据，确定视频数据中的车辆的位置信息，并根据车辆的位置信息判断车辆是否出现在至少两个不同的地理位置，然后在车辆出现在至少两个不同的地理位置时，确定车辆为跨境目标车辆数据；本申请通过获取至少两个不同地理位置的前端设备的数据处理请求，并采用Flink框架中的数据处理模型对视频数据中的车辆进行处理，得到车辆的位置信息，使得在车辆出现在至少两个不同的地理位置时，确定该车辆为跨境目标车辆数据，并对该跨境目标车辆数据进行相应的处理，从而使得不同区域的数据能够互通，且在存在不同区域的异常行为时，能够通过对不同区域的异常行为进行分析，从而准确查找到在不同区域进行异常行为的车辆。

附图说明

下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的智慧交通系统的场景示意图。

图2为本申请实施例提供的基于Flink框架的数据管理方法的流程示意图。

图3为本申请实施例提供的基于Flink框架的数据管理方法中前端设备的视频数据的第一种示意图。

图4为本申请实施例提供的基于Flink框架的数据管理方法中前端设备的视频数据的第二种示意图。

图5为本申请实施例提供的基于Flink框架的数据管理方法中前端设备的视频数据的第三种的示意图。

图6为本申请实施例提供的基于Flink框架的数据管理装置的结构示意图。

图7为本申请实施例提供的服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请实施例提供的智慧交通系统的场景示意图，该系统可以包括设备和服务器、服务器和服务器之间通过各种网关组成的互联网等方式连接通信，不再赘述，其中，设备包括前端设备11等，服务器包括存储服务器12、处理服务器13以及通信服务器，图1未示出通信服务器等，其中：

前端设备11包括但不局限于嵌入式高清摄像机、工控机、高清相机等，用于对通过前端设备的车辆、行人进行数据采集，数据采集包括但不局限于对车辆的车牌号码(号码可以是假牌或者套牌)、车牌类型(私家车的蓝底车牌、货车的黄底车牌等)、行人的异常行为。

服务器包括本地服务器和/或远程服务器等。存储服务器12、处理服务器 13以及通信服务器都可以部署在本地服务器，也可以部分或者全部部署在远程服务器上。

处理服务器13可以获取携带数据处理标识的数据处理请求；根据所述数据处理标识，调用所述Flink框架中与所述数据处理标识对应的数据处理模型；根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置；在所述车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据。

需要说明的是，图1所示的系统场景示意图是一个示例，本申请实施例描述的服务器以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

图2为本申请实施例提供的基于Flink框架的数据管理方法的流程示意图，请参阅图2，该基于Flink框架的数据管理方法包括以下步骤：

201：获取携带数据处理标识的数据处理请求；所述数据处理请求来源于至少两个不同地理位置的前端设备。

需要说明的是，在本申请实施例中，考虑到在中国的行政区域划分方式上，一般同一地级市属于同一管辖范围，因此，在数据的共享和管辖上，同一地级市内的所有前端设备均可以被同一地级市的相关人员查看，本申请针对不同地理位置的前端设备的数据无法互通，导致无法查找到跨境目标车辆，因此通过将不同地理位置的数据同步进行处理，从而使得数据能够互通，并在互通的数据中查找到跨境目标车辆数据，因此，在视频数据中会存在来源于至少两个不同地理位置的前端设备，而根据中国的行政区域的划分方式，此处的不同的地理位置指代不同的地级市，但考虑到在不同的省、不同的地级市、不同的县级市或者县、不同的乡(镇)或者行政区也会采用不同的管辖，在人工进行数据处理时，也无法获取到其他乡(镇)或者行政区、其他县级市或者县、其他地级市、其他省的数据，则此时也可以将乡(镇)或者行政区、县级市或者县、省作为地理位置，在下述实施例中以地级市作为地理位置进行叙述，以乡(镇) 或者行政区、县级市或者县、省作为地理位置的方式与下述以地级市作为地理位置的方式相同，同时，此处不限定为中国，在其他国家的行政区域划分方式不同时，根据该国家的行政区域以及管辖方式进行地理位置的确定。

在一种实施例中，在获取携带数据处理标识的数据处理请求时，需要获取到数据处理请求携带的视频数据，该视频数据可以是从前端设备中获取到实时监控视频流后，服务器处理实时监控视频流得到的视频数据，考虑到数据处理为了尽量保持实时性，避免在查找异常行为时，周期过长，无法追踪到异常行为车辆，获取到的视频数据可以是一天前的视频数据，但在对视频数据进行处理时，还可以是预先存储多天的视频数据，然后对多天的视频数据进行处理，在获取到视频数据时，可以是存储服务器先接收到前端设备发送的实时监控视频流，然后直接将该实时监控视频流存储在存储服务器中，或者对实时监控视频流进行处理后得到视频数据存储在存储服务器中，然后处理服务器会接收携带数据处理标识的数据处理请求，以进行处理，在该过程中，可以是存储服务器向处理服务器发送数据处理请求，还可以是在设置服务器时，在存储服务器存储有视频数据时，会自动向处理服务器发送数据处理请求，使得每个获取到的实时监控视频流都能处理得到异常行为车辆。

在一种实施例中，在获取携带数据处理标识的数据处理请求时，会获取至少两个不同地理位置的前端设备发送的数据处理请求，即视频数据至少包括两个不同地理位置的前端设备拍摄的视频，从而使得在存在跨境的车辆时，可以同时对多个地理位置的前端设备拍摄的视频进行处理，从而使得在对异常行为车辆进行查找和确定时，由于包括多个地理位置的前端设备拍摄的视频，使得即使异常行为车辆出现在不同的地理位置，也可以根据异常行为车辆出现的地理位置进行分析，从而确定异常行为车辆，且在跨境处理时，提高处理效率。

在一种实施例中，在对实时监控视频流进行处理得到视频数据时，可以直接将实时监控视频流作为视频数据，还可以是通过对实时监控视频流进行相应的解码和编码得到视频数据，以使得能够对视频数据进行处理，得到跨境目标车辆数据。

在一种实施例中，实时监控视频流包括前端设备、例如高清摄像机拍摄的视频，该实时监控视频流包括对通过前端设备的车辆的实时监控、对通过前端设备的行人的实时监控，同时，在实时监控视频流中，可以记录对应的时间、对应前端设备的地址的信息，便于在实时监控视频流中出现异常行为时，可以对异常行为发生的时间、地址进行对应的记录，以便于后续处理异常行为时可以依据对应的记录进行处理。

在一种实施例中，数据处理标识指数据处理请求的标识，在对数据进行处理时，需要确定数据处理标识，才能根据数据处理标识确定需要处理的过程，以及采用相应的处理方式进行处理，例如分析多个地理位置的视频数据以得到跨境目标车辆数据，并记录跨境目标车辆数据的异常行为，且在数据的查找过程中，可以通过数据处理标识查找到数据处理请求携带的视频数据，从而使得在得到可以通过数据处理标识查找到数据处理请求携带的视频数据，从而使得在得到数据处理标识后，根据数据处理标识进行相应的处理过程。

202：根据数据处理标识，调用Flink框架中与数据处理标识对应的数据处理模型。

在一种实施例中，Flink框架是分布式处理引擎，可以对有界流和无界流进行处理，有界流指离线数据，无界流指实时数据，Flink框架具有低延迟、高吞吐量、实时性高、分析精度准确等优点，因此在对数据进行去重时可以提高去重效率，从而提高数据处理效率。

在一种实施例中，Flink框架中存在多个模型，该模型包括各类型数据处理模型、数据分析模型，则在对视频数据进行处理得到跨境目标车辆数据时，需要根据数据处理标识确定对应的数据处理模型，即可以使得数据处理标识中携带数据处理类型，从而使得根据数据处理标识能够确定对应类型的数据处理模型，然后从对应类型的数据处理分析模型中选择确定的数据处理模型，对视频数据进行处理得到跨境目标车辆数据。

在一种实施例中，在根据数据处理标识确定Flink框架中对应的数据处理模型时，可以通过数据处理标识确定Flink框架对应的Flink标识，然后根据Flink 标识从Flink框架中获取到对应的数据处理模型，此步骤包括：根据所述数据处理标识，获取所述Flink框架与所述数据处理标识对应的Flink标识；根据所述Flink标识，从所述Flink框架中获取所述数据处理模型。

在一种实施例中，Flink标识指对应每个或者每一类模型，会为每个或者每一类模型设定对应的Flink标识，使得在调用模型时，可以根据数据处理标识查找到对应的Flink标识，然后可以根据Flink标识查找到对应的数据处理模型。

在一种实施例中，在获取到数据处理模型前，需要对数据处理模型进行训练，使得数据处理模型处理得到的跨境目标车辆数据较为准确，可以先设置一个初始的数据处理模型，然后采用多个不同地理位置的视频数据对初始数据处理模型进行训练，得到训练后的数据处理模型，使得训练后的数据处理模型能较为准确的得到跨境目标车辆数据，此步骤包括：设定初始数据处理模型；获取测试视频数据、各测试视频数据对应的跨境车辆测试数据；采用初始数据处理模型对测试视频数据进行处理，得到跨境车辆模型数据；根据所述跨境车辆测试数据、所述跨境车辆模型数据，修正所述初始数据处理模型，得到数据处理模型；具体的，在获取测试视频数据时，该测试视频数据可以是获取到的历史视频数据，该历史视频数据具有对应的跨境目标车辆数据，从而可以将该历史视频数据作为测试视频数据，同时，在得到测试视频数据后，采用初始数据处理模型对测试视频数据进行处理，使得根据初始数据处理模型得到的跨境车辆模型数据与跨境车辆测试数据进行对比，从而使得在初始数据处理模型得到的跨境车辆模型数据与跨境车辆测试数据存在差异时，对初始数据处理模型进行修正，并采用大量的测试视频数据对初始数据处理模型进行训练，从而使得得到的数据处理模型的处理结果较为准确。

在一种实施例中，在对初始数据处理模型进行训练时，考虑到训练后的数据处理模型不能找到所有的跨境目标车辆数据或者会查找到不符合的目标车辆数据，因此，在对初始数据处理模型进行训练时，可以设置预设处理准确率，在初始数据处理模型达到预设处理准确率后，将初始数据处理模型确定为数据处理模型，例如可以设置预设处理准确率为95％，假设多个视频数据中存在跨境目标车辆数据，初始数据处理模型处理得到的跨境目标车辆数据的准确率为98％，则判断初始数据处理模型的处理准确率大于95％，则可以将初始数据处理模型作为数据处理模型。

在一种实施例中，在训练得到数据处理模型后，会采用数据处理模型对视频数据进行处理，在此过程中，考虑到数据处理模型仍然会存在处理视频数据未得到跨境目标车辆数据的问题，可以在数据处理模型处理视频数据得到跨境目标车辆数据后，假设仍然在视频数据中查找到跨境目标车辆数据，可以采用该数据继续对数据处理模型进行训练，即保持对数据处理模型的训练，使得数据处理模型的处理准确率提高。

203：根据数据处理模型以及数据处理请求携带的视频数据，确定视频数据中车辆的位置信息，并根据车辆的位置信息判断车辆是否出现在至少两个不同的地理位置。

在一种实施例中，在处理视频数据得到跨境目标车辆数据时，可以从视频数据中获取到各个车辆的信息，从而分别对各个车辆的位置信息进行处理，判断各个车辆在不同时间的位置是否相同，从而判断车辆是否出现在至少两个不同的地理位置，此步骤包括：根据所述数据处理请求携带的视频数据，确定所述视频数据中各车辆的车辆信息；根据各车辆的车辆信息，获取各车辆在不同时间的位置信息；根据各车辆在不同时间的位置信息，判断各车辆在不同时间的位置信息是否相同；具体的，考虑到在同一视频数据中，例如某一前端设备拍摄的由00：00：00至24：00：00的视频数据，则该视频数据一般会存在大量的车辆数据，包括但不限私家车、出租车、公共汽车、货车等多种类型的多个车辆，则此时需要判断某一车辆是否出现在至少两个不同的地理位置时，需要根据该车辆的车辆信息来获取到该车辆在不同时间的位置信息，从而根据该车辆在不同时间的位置信息判断该车辆是否出现在至少两个不同的地理位置，例如车辆的车辆信息为车牌号，则在某一视频数据中确定该车辆的车牌号后，在其他视频数据中查找是否存在包含该车辆的视频数据，并在存在其他包含该车辆的视频数据时，根据其他包含该车辆的视频数据获取到车辆的位置信息，从而使得可以根据该车辆在不同时间的位置信息，判断该车辆是否出现在至少两个不同的地理位置。

需要说明的是，根据上述实施例可知，不同的地理位置指不同的地级市，因此，在车辆出现在同一地级市的不同县、县级市、行政区时，此时认为车辆的位置信息是相同的，该车辆并不是跨境车辆。

在一种实施例中，在根据所述数据处理请求携带的视频数据，确定所述视频数据中各车辆的车辆信息时，需要确定车辆的关键信息，从而使得根据车辆的关键信息查找到包含该车辆的视频数据，例如以车辆的车牌号作为车辆的车辆信息，则在确定了某一视频数据中车辆的车辆信息后，可以在其他视频数据中查找该车辆，并在根据车辆的车辆信息查找到该车辆时，确定车辆的位置信息，从而得到车辆在不同时间的位置信息，从而判断车辆是否出现在至少两个不同的地理位置。

在一种实施例中，在获取车辆的信息时，假设存在视角内看不到车牌的车辆，则此时可以获取到该车辆的型号、颜色、划痕等车辆数据，将所有的数据作为关键数据，并在下一次查看到该车辆时，比对信息，在信息相同时确定该车辆为相同车辆，从而判断该车辆是否为跨境目标车辆。

在一种实施例中，在得到车辆的车辆信息，并根据车辆的车辆信息，获取车辆在不同时间的位置信息时，考虑到视频数据是获取的多个地理位置的大量的视频数据，同一视频数据中会存在不同的车辆，如果按照车辆在视频数据中出现的顺序查找某一车辆，会导致效率较低，因此，可以对各车辆进行分组，从而在查找某一车辆时，仅需要在查找到某一车辆的视频数据，记录该车辆，并得到该车辆的位置信息，此步骤包括：根据不同车辆的车辆信息，对各车辆进行分组，并获取各车辆对应的视频数据；根据各车辆对应的视频数据，获取个车辆在不同时间的位置信息；具体的，如图3所示，假设在某一时间段内，前端摄像头31在某一路口拍摄到位于左转车道上的车辆一311、车辆二312、车辆三313、车辆五315、位于直行/右转车道上的车辆四314，图3中箭头表示车辆的正确行驶方向，由于在前端摄像头31的某一时间节点的视频数据内存在五个车辆，因此，可以建立五个分组，分别为每个分组分配一个视频数据，在后续的视频数据处理的过程中，在存在相同的车辆时，将该视频数据加入到上述分组中，在存在不属于上述五个分组内的车辆时，则增加其他的分组，从而使得在同一分组内，均是同一车辆的视频数据，避免在处理某一车辆时，会处理到没有该车辆的视频数据，导致效率较低。

在一种实施例中，在得到各车辆对应的视频数据后，可以根据该车辆对应的视频数据的位置得到车辆的位置信息，此步骤包括：获取同一车辆的不同时间的视频数据的地点位置，根据不同时间的视频数据的地点位置，确定所述车辆在不同时间的地点位置；根据所述车辆在不同时间的地点位置，确定各车辆在不同时间的位置信息；具体的，即在得到各车辆的视频数据后，可以根据视频数据的地点位置，即视频数据对应的前端设备的拍摄地点确定视频数据的地点位置，从而根据视频数据的地点位置得到车辆的地点位置，从而得到车辆的位置信息。

在一种实施例中，在得到各车辆对应的视频数据，获取各车辆在不同时间的位置信息时，可以对各车辆的视频片段进行排序，从而使得在获取到车辆的位置时，还可以获取到车辆的行驶轨迹，从而得到车辆的位置信息；此步骤包括：根据各车辆对应的视频数据，获取各车辆的视频片段以及各车辆的视频片段的时间信息；根据各车辆的视频片段的时间信息，对各车辆的视频片段进行排序；根据各车辆的视频片段的排序，确定各车辆在不同时间的位置信息；具体的，在根据车辆信息对各车辆进行分组后，考虑到在视频数据中会存在其他车辆的视频片段或者同一车辆在同一视频数据中出现多次，例如图4中，前端设备41在时间点21：00：00拍摄到车辆一411、车辆二412，前端设备41在时间点24：00：00拍摄到车辆一411和车辆三413，假设前端设备41的某一视频数据的时间段为20：00：00至24：00：00，则在同一视频数据中会存在车辆一411的两个视频片段，假设仅记录一次该视频数据对应的地点位置，则会导致车辆一411的轨迹不完整，同时，假设在21：00：00后，直到24：00： 00未记录到车辆一411，则可以去除21：00：00至24：00：00之间的视频片段，在数据的存储过程中，可以降低内存的占用，在数据的处理过程中，提高处理效率，因此，可以首先对视频数据进行处理得到仅具有该车辆的视频片段，然后对视频片段进行排序，从而可以得到该车辆是否出现在不同的地理位置，从而可以确定车辆是否为跨境车辆，并可以根据视频片段的排序，得到车辆的行驶轨迹，且在该过程中，考虑到了同一车辆在同一视频数据中出现多次，使得得到的车辆的行驶轨迹更加准确。

在一种实施例中，在对各车辆的视频片段进行排序后，即对各车辆出现的时间点以及位置进行排序后，可以获取到各视频片段的地点位置，从而得到车辆的各时间点或者时间段的地点位置，从而得到该车辆的位置信息，此步骤包括：获取同一车辆的不同时间的视频片段的地点位置；根据不同时间的视频片段的地点位置，确定所述车辆在不同时间的地点位置；根据所述车辆在不同时间的地点位置，确定各车辆在不同时间的位置信息；具体的，例如图4中，假设车辆一411分别在21：00：00和24：00：00出现在武汉市-江夏区，在22：00：00出现在鄂州市，则可以根据三个视频片段，确定车辆一411出现在武汉市、鄂州市、武汉市，从而可以得到车辆一411在不同时间的位置信息，例如武汉市(21：00：00)-鄂州市(22：00：00)-武汉市(24：00：00)。

在一种实施例中，在得到车辆的位置信息时，考虑到前端设备记录的是区域信息，则需要根据该区域信息确定该车辆的地理位置，例从而判断车辆在不同时间的地理位置是否相同，此步骤包括：根据各车辆在不同时间的位置信息，确定各车辆在不同时间的地理位置，根据各车辆在不同时间的地理位置，判断各车辆在不同时间的位置信息是否相同；具体的，例如某一车辆按照时间顺序依次经过江夏区-洪山区-武昌区-江岸区，由于江夏区、洪山区、武昌区、江岸区均属于武汉市的行政区域划分，则可以确定该车辆在不同时间的地理位置均为武汉市，从而可以判断该车辆在不同时间的位置信息是否相同。

在一种实施例中，在根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置时，考虑到某些前端设备的空置率较高，即该前端设备记录的视频数据中，较长时间内没有车辆数据，则该时间段内的视频数据是无效数据，但在视频数据的记录过程中，该部分会被保留，则可以在对该前端设备的视频数据进行处理时，预先处理所述视频数据，从而消除视频数据中的无效部分，从而加快视频数据的处理过程，使得在每一时间段的视频数据均是有效数据，此步骤包括：预处理所述视频数据，得到消除无效数据的有效视频数据。

204：在车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据。

在一种实施例中，在车辆出现在至少两个不同的地理位置时，可以获取到该车辆的位置信息以及该车辆的时间数据，从而便于在后续根据跨境目标车辆数据进行异常行为的认定和处理时，可以准确的得到异常行为车辆的相关信息，此步骤包括：在所述车辆出现在至少两个不同的地理位置时，获取所述车辆在不同地理位置的出现时间，根据所述车辆在不同地理位置的出现时间，确定所述跨境目标车辆数据的跨境时间，根据所述车辆的车辆信息，将所述车辆对应的地理位置以及跨境时间作为跨境目标车辆数据存储至ES系统；具体的，如图5 所示，以时间轴T，时间区间为12：00：00至24：00：00为例，某一车辆按照时间顺序依次出现武汉市(13：00：00)、鄂州市(15：00：00)、武汉市 (20：00：00)，则此时可以确定该车辆的跨境时间为7小时，假设仅出现武汉市(13：00：00)和鄂州市(15：00：00)，则跨境时间确定为2小时，从而可以得到该车辆的地理位置和跨境时间，从而得到该车辆的跨境目标车辆数据，并查存储该数据至ES系统，便于后续根据该跨境目标车辆数据进行车辆的查询，但本申请不限于此，在记录车辆的位置信息时，可以记录车辆出现的具体位置，例如武汉市-洪山区-高新大道。

在一种实施例中，ES系统是一种分布式全文检索系统，由于ES系统支持分片和复制，使得方便水平分割和扩展，且在查询时采用倒排索引，使得在查询时查询效率更高。

在一种实施例中，在确定跨境目标车辆的跨境时间时，考虑到在不同区域之间所需的时间会影响到跨境时间的真实性，则可以消除路程时间，从而使得跨境时间更加准确，此步骤包括：获取到达不同地理位置之间所需的历史时间；根据所述车辆在不同地理位置的出现时间，以及所述历史时间，确定所述跨境目标车辆数据的跨境时间；具体的，例如在武汉市和鄂州市之间的行驶平均时间为1.5小时，则将1.5小时作为历史时间，并根据车辆在不同地理位置的出现时间，例如在武汉市和鄂州市的出现时间之间相差10小时，则可以确定跨境时间为8.5小时，从而使得跨境时间更加准确，但本申请实施例不限于此，考虑在武汉市的不同行政区域，到达鄂州市的时间不同，则可以获取各行政区域到达另一城市的行政区域的历史时间，从而使得跨境更加准确。

在一种实施例中，考虑到在车辆跨境时，会存在车辆仅是经过某一地级市，而没有停留在该地级市，则可以在车辆跨越三个城市时，可以判断在车辆是否仅是经过中间的城市，可以根据历史时间进行判断，从而在记录车辆的跨境目标车辆数据时，记录该车辆仅为经过过程，从而提高数据处理的效率。

在一种实施例中，在将跨境目标车辆数据存储至ES系统后，在接收到终端发送的请求后，可以调用车辆的跨境目标车辆数据，从而判断该车辆是否为异常行为车辆，并追踪该异常行为车辆的行驶轨迹，此步骤包括：接收终端发送的车辆数据查看请求；所述车辆数据查看请求携带车辆的车辆信息；根据所述车辆数据查看请求，获取所述车辆对应的地理位置和跨境时间；具体的，例如需要查看某一时间段的跨境目标车辆，则终端会发送车辆数据查看请求，该车辆数据查看请求可以包括车牌号，或者包括时间点，从而可以根据该时间点确定跨境目标车辆，然后根据车牌号、车辆颜色、人员数量等数据确定该跨境目标车辆，从而能够快速查找到跨境目标车辆，加快了跨境目标车辆的查找效率。

在一种实施例中，针对异常行为车辆的跨境活跃度大于非异常行为车辆的跨境活跃度，本申请实施例在确定跨境目标车辆后，分析跨境目标车辆的跨境活跃度，并设定活跃度阈值。在跨境目标车辆的跨境活跃度大于活跃度阈值时，确定跨境活跃车辆，以进一步缩小异常行为车辆的范围，便于确定异常行为车辆；此步骤包括：设定活跃度阈值；根据所述跨境目标车辆的跨境时间以及对应的地理位置，确定所述跨境目标车辆的车辆活跃度；判断所述车辆活跃度是否大于所述活跃度阈值；在所述车辆活跃度大于所述活跃度阈值时，确定跨境活跃车辆。

本申请实施例中，跨境活跃度指跨境目标车辆一定时间内在至少两个地点的跨境次数，例如，跨境目标车辆在一天内，在武汉和鄂州两地来回3次，则该跨境目标车辆的活跃度为3。在本申请其他实施例中，也可以是跨境目标车辆在7天内，在武汉和鄂州两地来回3次，该跨境目标车辆的活跃度为3。在本申请其他实施例中，也可以是在7天内，在武汉、鄂州、黄石3地来回6次，则跨境目标车辆的活跃度为6。

本申请实施例中，活跃度阈值指一定时间内在至少两个地点的跨境次数的阈值，例如，活跃度阈值指一天内在两个地点的跨境3次，在跨境目标车辆在一天内在两个地点跨境4次时，表示跨境目标车辆的活跃度大于活跃度阈值。

在本申请实施例中，由于在记录跨境目标车辆时，记录了跨境目标车辆数据，使得在查询跨境目标车辆时，直接可以获取到该车辆的跨境时间、跨境地点，无需计算，从而使得在数据调用时效率较高，避免由于数据量大、数据处理时间长导致数据报错或者查询失败。

本申请实施例提供一种数据管理方法，该数据管理方法通过获取至少两个不同地理位置的前端设备的数据处理请求，并采用Flink框架中的数据处理模型对视频数据中的车辆进行处理，得到车辆的位置信息，使得在车辆出现在至少两个不同的地理位置时，确定该车辆为跨境目标车辆数据，并对该跨境目标车辆数据进行相应的处理，从而使得不同区域的数据能够互通，且在存在不同区域的异常行为时，能够通过对不同区域的异常行为进行分析，从而准确查找到在不同区域进行异常行为的车辆，且在获取到视频数据后，对车辆进行分组，从而分别获取到各车辆对应的视频片段，并对车辆的视频片段进行排序，从而使得得到的视频片段能够确定车辆在不同时间的地理位置，并根据车辆在不同时间的地理位置确定该车辆是否为跨境目标车辆数据，并在该车辆为跨境目标车辆时，记录跨境目标车辆数据，从而使得在后续数据查询过程中，便于查询到跨境目标车辆数据。

相应的，图6为本申请实施例提供的基于Flink框架的数据管理装置的结构示意图，请参阅图6，该基于Flink框架的数据管理装置包括以下模块：

获取模块601，用于获取携带数据处理标识的数据处理请求；所述数据处理请求来源于至少两个不同地理位置的前端设备；

调用模块602，用与根据所述数据处理标识，调用所述Flink框架中与所述数据处理标识对应的数据处理模型；

判断模块603，用于根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置；

确定模块604，用于在所述车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据。

在一种实施例中，判断模块603用于根据所述数据处理请求携带的视频数据，确定所述视频数据中各车辆的车辆信息；根据各车辆的车辆信息，获取各车辆在不同时间的位置信息；根据各车辆在不同时间的位置信息，判断各车辆在不同时间的位置信息是否相同。

在一种实施例中，判断模块603用于根据不同车辆的车辆信息，对各车辆进行分组，并获取各车辆对应的视频数据；根据各车辆对应的视频数据，获取各车辆在不同时间的位置信息。

在一种实施例中，判断模块603用于根据各车辆对应的视频数据，获取各车辆的视频片段以及各车辆的视频片段的时间信息；根据各车辆的视频片段的时间信息，对各车辆的视频片段进行排序；根据各车辆的视频片段的排序，确定各车辆在不同时间的位置信息。

在一种实施例中，判断模块603用于获取同一车辆的不同时间的视频片段的地点位置；根据不同时间的视频片段的地点位置，确定所述车辆在不同时间的地点位置；根据所述车辆在不同时间的地点位置，确定各车辆在不同时间的位置信息。

在一种实施例中，判断模块603用于根据各车辆在不同时间的位置信息，确定各车辆在不同时间的地理位置；根据各车辆在不同时间的地理位置，判断各车辆在不同时间的位置信息是否相同。

在一种实施例中，确定模块604用于在所述车辆出现在至少两个不同的地理位置时，获取所述车辆在不同地理位置的出现时间；根据所述车辆在不同地理位置的出现时间，确定所述跨境目标车辆的跨境时间；根据所述车辆的车辆信息，将所述车辆对应的地理位置以及跨境时间作为跨境目标车辆数据存储至 ES系统。

在一种实施例中，确定模块604用于获取到达不同地理位置之间所需的历史时间；根据所述车辆在不同地理位置的出现时间，以及所述历史时间，确定所述跨境目标车辆数据的跨境时间。

在一种实施例中，该基于Flink框架的数据管理装置还包括接收模块，该接收模块用于接收终端发送的车辆数据查看请求；所述车辆数据查看请求携带车辆的车辆信息；根据所述车辆数据查看请求，获取所述车辆对应的地理位置和跨境时间。

相应的，本申请实施例还提供一种服务器，如图7所示，该服务器可以包括射频(RF，Radio Frequency)电路701、包括有一个或一个以上计算机可读存储介质的存储器702、输入单元703、显示单元704、传感器705、音频电路706、无线保真(WiFi，WirelessFidelity)模块707、包括有一个或者一个以上处理核心的处理器708、以及电源709等部件。本领域技术人员可以理解，图7 中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部分，或者不同的部件布置。其中：

RF电路701可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器708处理；另外，将涉及上行的数据发送给基站。存储器702可用于存储软件程序以及模块，处理器708通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。输入单元703可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

显示单元704可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

服务器还可包括至少一种传感器705，比如光传感器、运动传感器以及其他传感器。音频电路706包括扬声器，扬声器可提供用户与服务器之间的音频接口。

WiFi属于短距离无线传输技术，服务器通过WiFi模块707可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块707，但是可以理解的是，其并不属于服务器的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。

处理器708是服务器的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行服务器的各种功能和处理数据，从而对手机进行整体监控。

服务器还包括给各个部件供电的电源709(比如电池)，优选的，电源可以通过电源管理系统与处理器708逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，服务器还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，服务器中的处理器708会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器708 来运行存储在存储器702中的应用程序，从而实现以下功能：

获取携带数据处理标识的数据处理请求；根据所述数据处理标识，调用所述Flink框架中与所述数据处理标识对应的数据处理模型；根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置；在所述车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文的详细描述，此处不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现以下功能：

获取携带数据处理标识的数据处理请求；根据所述数据处理标识，调用所述Flink框架中与所述数据处理标识对应的数据处理模型；根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置；在所述车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种方法中的步骤，因此，可以实现本申请实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种基于Flink框架的数据管理方法及装置、服务器及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (10)

1.一种基于Flink框架的数据管理方法，其特征在于，包括：

获取携带数据处理标识的数据处理请求；所述数据处理请求来源于至少两个不同地理位置的前端设备；

根据所述数据处理标识，调用所述Flink框架中与所述数据处理标识对应的数据处理模型；

根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置；

在所述车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据。

2.如权利要求1所述的基于Flink框架的数据管理方法，其特征在于，所述根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置的步骤，包括：

根据所述数据处理请求携带的视频数据，确定所述视频数据中各车辆的车辆信息；

根据各车辆的车辆信息，获取各车辆在不同时间的位置信息；

根据各车辆在不同时间的位置信息，判断各车辆在不同时间的位置信息是否相同。

3.如权利要求2所述的基于Flink框架的数据管理方法，其特征在于，所述根据各车辆的车辆信息，获取各车辆在不同时间的位置信息的步骤包括：

根据不同车辆的车辆信息，对各车辆进行分组，并获取各车辆对应的视频数据；

根据各车辆对应的视频数据，获取各车辆在不同时间的位置信息。

4.如权利要求3所述的基于Flink框架的数据管理方法，其特征在于，所述根据各车辆对应的视频数据，获取各车辆在不同时间的位置信息的步骤，包括：

根据各车辆对应的视频数据，获取各车辆的视频片段以及各车辆的视频片段的时间信息；

根据各车辆的视频片段的时间信息，对各车辆的视频片段进行排序；

根据各车辆的视频片段的排序，确定各车辆在不同时间的位置信息。

5.如权利要求4所述的基于Flink框架的数据管理方法，其特征在于，所述根据各车辆的视频片段的排序，确定各车辆在不同时间的位置信息的步骤，包括：

获取同一车辆的不同时间的视频片段的地点位置；

根据不同时间的视频片段的地点位置，确定所述车辆在不同时间的地点位置；

根据所述车辆在不同时间的地点位置，确定各车辆在不同时间的位置信息。

6.如权利要求2所述的基于Flink框架的数据管理方法，其特征在于，所述根据各车辆在不同时间的位置信息，判断各车辆在不同时间的位置信息是否相同的步骤，包括：

根据各车辆在不同时间的位置信息，确定各车辆在不同时间的地理位置；

根据各车辆在不同时间的地理位置，判断各车辆在不同时间的位置信息是否相同。

7.如权利要求2所述的基于Flink框架的数据管理方法，其特征在于，所述车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据的步骤，包括：

在所述车辆出现在至少两个不同的地理位置时，获取所述车辆在不同地理位置的出现时间；

根据所述车辆在不同地理位置的出现时间，确定所述跨境目标车辆的跨境时间；

根据所述车辆的车辆信息，将所述车辆对应的地理位置以及跨境时间作为跨境目标车辆数据存储至ES系统。

8.如权利要求7所述的基于Flink框架的数据管理方法，其特征在于，所述根据所述车辆在不同地理位置的出现时间，确定所述跨境目标车辆的跨境时间的步骤，包括：

获取到达不同地理位置之间所需的历史时间；

根据所述车辆在不同地理位置的出现时间，以及所述历史时间，确定所述跨境目标车辆数据的跨境时间。

9.如权利要求7所述的基于Flink框架的数据管理方法，其特征在于，在所述根据所述车辆的车辆信息，将所述车辆对应的地理位置以及跨境时间作为跨境目标车辆数据存储至ES系统的步骤之后，还包括：

接收终端发送的车辆数据查看请求；所述车辆数据查看请求携带车辆的车辆信息；

根据所述车辆数据查看请求，获取所述车辆对应的地理位置和跨境时间。

10.一种基于Flink框架的数据管理装置，其特征在于，包括：

获取模块，用于获取携带数据处理标识的数据处理请求；所述数据处理请求来源于至少两个不同地理位置的前端设备；

调用模块，用与根据所述数据处理标识，调用所述Flink框架中与所述数据处理标识对应的数据处理模型；

判断模块，用于根据所述数据处理模型以及所述数据处理请求携带的视频数据，确定所述视频数据中车辆的位置信息，并根据所述车辆的位置信息判断所述车辆是否出现在至少两个不同的地理位置；

确定模块，用于在所述车辆出现在至少两个不同的地理位置时，确定跨境目标车辆数据。

Images