CN112989078A - 数据处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本公开提供了一种数据处理方法、装置、计算机设备及存储介质，通过从第一数据库获取第一协议数据流；基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据；提取出所述第二目标数据；对提所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流。这样，可以免去第一数据库和第二数据库之间直接对接时可能存在的数据库调整，降低时间和人力物力的消耗，并且可以在转发数据时，实现至少部分数据转换过程，省去第二数据库的部分数据处理过程，减少数据处理压力，节省数据处理时间，降低第二数据库的数据负荷，可以实现针对跨协议数据的传输与处理，提高数据的处理效率。

Description

数据处理方法、装置、计算机设备及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种数据处理方法、装置、计算机设备及存储介质。

背景技术

随着科技的不断发展，为了实现越来越丰富的功能，以及满足人们不断提高的需求，通常需要各种设备、服务器以及数据库等互相搭配使用，甚至对不同的设备、服务器或者数据库等，配置不同的权限或者不同的级别，来构架为用户服务的系统或者平台，以满足用户的业务需求，例如在需要对用户的行动进行分析时，可能需要图像采集设备进行图像采集，需要服务器对采集的图像进行分析以及进行轨迹的汇总，以及通过相应的服务器或者数据库进行轨迹数据的存储等。

面对各种设备、服务器和数据库等之间的组合，一般需要通过各种接口的连接和传输协议等实现彼此之间的数据传输等，但是由于设备存在更新换代，以及相应算法的版本更迭等因素，存在需要对不同设备进行升级改造，或者在对多个设备或者服务器进行组合配置时，需要对相应设备或者服务器进行配置甚至改造，尤其是存在特殊对接方式的时候，在配置、改造上不仅需要消耗大量的人力物力，还需要消耗大量的时间。

发明内容

本公开实施例至少提供一种数据处理方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种数据处理方法，所述方法包括：

从第一数据库获取第一协议数据流，其中，所述第一协议数据流包括基于与所述第一数据库之间的第一传输协议对第一目标数据进行封装得到的数据；

基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据；

在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据；

对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流。

本公开实施例，通过从第一数据库接收数据，并将数据处理后转发给第二数据库，可以免去第一数据库和第二数据库之间直接对接时存在的改造，降低时间和人力物力的消耗，并且可以在转发数据时，帮助第二数据库实现至少部分数据转换过程，省去第二数据库的部分数据处理过程，减少数据处理压力，节省数据处理时间，降低第二数据库的数据负荷，可以实现针对跨协议数据的传输与处理，提高数据的处理效率。

一种可选的实施方式中，所述基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据，包括：

基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解封装处理，得到所述第一目标数据，其中，所述第一目标数据包括采集图像和与所述采集图像对应的元数据；

从所述采集图像中提取出人脸图像；

确定包括所述采集图像、所述元数据和所述人脸图像的第二目标数据。

在本可选的实施方式中，通过对第一协议数据流进行解封装处理，得到第一目标数据包括的采集图像中的人脸图像，为后续确定满足提取条件的第二目标数据做出准备。

一种可选的实施方式中，所述基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解封装处理，得到所述第一目标数据，包括：

基于所述第一传输协议的交互信息格式，从所述第一协议数据流中解封装出候选图像，以及所述候选图像对应的元数据；

将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像；

确定包括所述采集图像对应的元数据和所述采集图像的第一目标数据。

一种可选的实施方式中，所述将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像，包括：

对所述候选图像进行目标检测；

若所述候选图像中具有目标对象，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

一种可选的实施方式中，所述将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像，包括：

对所述候选图像进行图像质量检测；

若所述候选图像的图像质量高于预设阈值，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

在本可选的实施方式中，选取图像质量佳的候选图像进行处理，减少对于干扰图像的处理，节省处理资源。

一种可选的实施方式中，所述在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据，包括：

每隔预设的调用时间间隔，提取出得到的所述第二目标数据；或者，

当所述第二目标数据的缓存量超过预设存储量时，提取出得到的所述第二目标数据；或者，

每隔所述调用时间间隔，并且在缓存池的缓存消息量超过预设存储量时，提取出得到的所述第二目标数据。

在本可选的实施方式中，每隔预设的调用时间间隔，或者当所述缓存池的缓存消息量超过预设存储量时，从缓存池提取第二目标数据进行处理，即批量地对第二目标数据进行处理，减少处理系统的使用频率，提高处理效率。

一种可选的实施方式中，所述对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流，包括：

在接收到所述第二数据库的数据调用请求后，通过与所述第二数据库之间的第二连接协议，将所述第二协议数据流发送至所述第二数据库。

第二方面，本公开实施例提供了一种数据处理装置，所述装置包括：

获取模块，用于从第一数据库获取第一协议数据流，其中，所述第一协议数据流包括基于与所述第一数据库之间的第一传输协议对第一目标数据进行封装得到的数据；

解析模块，用于基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据；

提取模块，用于在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据；

封装模块，用于对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流。

一种可选的实施方式中，所述解析模块，包括：

解封装单元，用于基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解封装处理，得到所述第一目标数据，其中，所述第一目标数据包括采集图像和与所述采集图像对应的元数据；

提取单元，用于从所述采集图像中提取出人脸图像；

确定单元，用于确定包括所述采集图像、所述元数据和所述人脸图像的第二目标数据。

一种可选的实施方式中，所述解封装单元包括：

解封装子单元，用于基于所述第一传输协议的交互信息格式，从所述第一协议数据流中解封装出候选图像，以及所述候选图像对应的元数据；

第一确定子单元，用于将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像；

第二确定子单元，用于确定包括所述采集图像对应的元数据和所述采集图像的第一目标数据。

一种可选的实施方式中，所述第一确定子单元用于：

对所述候选图像进行目标检测；

若所述候选图像中具有目标对象，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

一种可选的实施方式中，所述第一确定子单元还用于：

对所述候选图像进行图像质量检测；

若所述候选图像的图像质量高于预设阈值，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

一种可选的实施方式中，所述提取模块具体用于：

每隔预设的调用时间间隔，提取出得到的所述第二目标数据；或者，

当所述第二目标数据的缓存量超过预设存储量时，提取出得到的所述第二目标数据；或者，

每隔所述调用时间间隔，并且在缓存池的缓存消息量超过预设存储量时，提取出得到的所述第二目标数据。

一种可选的实施方式中，所述封装模块具体用于：

在接收到所述第二数据库的数据调用请求后，通过与所述第二数据库之间的第二连接协议，将所述第二协议数据流发送至所述第二数据库。

第三方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

本公开实施例提供的数据处理方法、装置、计算机设备及存储介质，包括：从第一数据库获取第一协议数据流，其中，所述第一协议数据流包括基于与所述第一数据库之间的第一传输协议对第一目标数据进行封装得到的数据；基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据；在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据；对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流。

这样，通过从第一数据库接收数据，并将数据处理后转发给第二数据库，可以免去第一数据库和第二数据库之间直接对接时存在的改造，降低时间和人力物力的消耗，并且可以在转发数据时，帮助第二数据库实现至少部分数据转换过程，省去第二数据库的部分数据处理过程，减少数据处理压力，节省数据处理时间，降低第二数据库的数据负荷，可以实现针对跨协议数据的传输与处理，提高数据的处理效率。

进一步的，当满足数据提取条件时，从缓存池提取多个得到的第二目标数据，即批量地对第二目标数据进行处理，减少处理系统的使用频率，提高数据处理效率。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例中的数据处理的场景图；

图2示出了本公开实施例所提供的一种数据处理方法的流程图；

图3示出了本公开实施例所提供的一种数据处理装置的示意图；

图4示出了本公开实施例所提供的数据处理装置中解析模块的具体示意图；

图5示出了本公开实施例所提供的解析模块中解封装单元的具体示意图；

图6示出了本公开实施例所提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

经研究发现，针对各种不同的设备、服务器、数据库以及服务器等之间的结合，一般需要通过各种接口的连接实现彼此之间的数据传输等，但是由于设备的更新换代和升级，以及相应算法的版本更得等因素，可能需要对不同设备进行升级改造，又或者在对多个设备或者服务器进行新的组合时，需要对相应设备或者服务器进行改造，尤其是存在特殊对接方式时候的改造，在改造上不仅需要消耗大量的人力物力，还需要消耗大量的时间。

基于上述研究，本公开实施例提供一种数据处理方法，从第一数据库接收数据，并将数据处理后转发给第二数据库，可以免去第一数据库和第二数据库之间直接对接时存在的改造，降低时间和人力物力的消耗，并且可以在转发数据时，帮助第二数据库实现至少部分数据转换过程，省去第二数据库的部分数据处理过程，减少数据处理压力，节省数据处理时间，降低第二数据库的数据负荷，可以实现针对跨协议数据的传输与处理，提高数据的处理效率。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种数据处理方法进行详细介绍，本公开实施例所提供的数据处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该数据处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例中的数据处理的场景图。如图1中所示，第一数据库和第二数据库为配合使用的数据库，例如，第一数据库中存储有由图像采集设备采集的图像数据，第二数据库为对图像进行处理的设备对应的数据库，第一数据库可以将采集的图像数据传输给第二数据库，以进行图像处理，又例如第一数据库和第二数据库为具有不同权限或者不同等级的平台对应的数据库，如同一公司的上下级部分对应的数据库，第一数据库将高等级或者高权限的数据发送给等级或者权限较低的第二数据库进行数据处理。

此时，可以通过数据处理装置将第一数据库和第二数据库进行连接，即第一数据库和第二数据库之间不直接连接，而是分别与数据处理装置连接，从而通过数据处理装置实现连接，并通过数据处理装置进行数据的传输。数据处理装置即作为一个摆渡装置，实现数据传输等中间摆渡的功能。

这样，在第一数据库和第二数据库中的至少一个存在变化，例如升级、改造或者跟换等，第一数据库和第二数据库无需进行改变，仅需对数据处理装置进行相应的调整即可，而且可以将需要第二数据库对数据的至少部分处理过程转嫁到数据处理装置中，从而减少第二数据库处的数据库处理负荷和数据处理时间。

接下来，结合本公开实施例提供的数据处理方法，具体进行说明。

参见图2所示，为本公开实施例提供的一种数据处理方法的流程图，所述数据处理方法包括步骤S201～S204，其中：

S201：从第一数据库获取第一协议数据流，其中，所述第一协议数据流包括基于与所述第一数据库之间的第一传输协议对第一目标数据进行封装得到的数据。

该步骤中，可以首先获取在第一数据库中存储的第一协议数据流，并对获取到的第一数据库传输的第一协议数据流进行存储。

在本公开实施例中，第一协议数据流为基于与第一数据库之间确定的第一传输协议对第一目标数据进行封装之后得到的数据。其中，第一传输协议可以为第一数据库针对对外传输数据的特定传输协议，也可以是与目标下发对象约定好的传输协议。

其中，第一数据库可以为存储各摄像头采集的抓拍图像及对应抓拍信息的数据库。第一数据库可以将存储于自身的抓拍图像及对应抓拍信息进行下发，下发至与其对接的其他处理系统中。第一目标数据可以是第一数据库主动下发的数据，或是向第一数据库请求下发的数据。

在本公开实施例中，出于对第一目标数据安全性与保密性的考量，不会直接对第一目标数据进行传输，而是基于与第一数据库相适配的第一传输协议对第一目标数据进行封装，即生成包括第一目标数据的第一协议数据流，并对第一协议数据流进行传输，由此在保证数据传输安全性的同时，在明确第一传输协议的前提下，可以对第一协议数据流进行特定处理，从而获取到目标数据。

在本公开的一个实施例中，可以将获取第一协议数据流存入消息队列，具体的，可以基于第一传输协议与所述第一数据库建立通信连接，并基于所述通信连接获取接入的第一数据库依次传输的第一协议数据流，并存入消息队列。

示例性的，第一传输协议是与第一数据库相匹配的，例如，对于A公司建立的第一数据库，其对应的第一传输协议为B协议，该B协议可以是A公司针对对外传输数据的特定传输协议，也可以是与目标下发对象约定好的传输协议。由于第一数据库的保密性，因此只能通过与其对应的第一传输协议才可以获取第一数据库中存储的资源文件。以上述示例为例，本公开中需要通过B协议与A公司建立的第一数据库建立通信连接。在基于第一传输协议与所述第一数据库建立通信连接之后，通过该通信连接，获取到第一数据库下发传输的第一协议数据流。

在本公开实施例中，第一传输数据可以为第一数据库中存储的对于行人的抓拍图像。

S202、基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据。

该步骤中，基于第一传输协议的特性，可以对获取到的第一协议数据流进行解析处理，由此便可以得到第二目标数据。其中，第二目标数据中除了包括第一目标数据之外，还可以包括针对第一目标数据的其他属性信息，以及针对第一目标数据进行处理之后得到的数据等。

具体的，所述基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据，包括：

基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解封装处理，得到所述第一目标数据，其中，所述第一目标数据包括采集图像和与所述采集图像对应的元数据。

具体的，基于第一传输协议的交互信息格式，可以为针对第一传输协议的常用交互信息格式，也可以是预先约定的交互信息格式，对获取的第一协议数据流进行解封装处理，即与对第一目标数据进行封装的过程相逆的处理过程，这样便可以间接得到从属于第一数据库的第一目标数据。第一目标数据包括采集图像和与所述采集图像对应的元数据。

在本公开实施例中，当第一目标数据为抓拍图像数据时，元数据可以包括抓拍图像的抓拍设备信息、抓拍时间信息、抓拍地点信息等表征该抓拍图像属性的信息。示例性的，第一目标数据中，除了抓拍图像数据之外，还包括对应该抓拍图像数据的拍摄设备信息，包括拍摄摄像机的编号、安装地点等；拍摄时间，即拍摄该抓拍图像的时间戳信息；抓拍场景图，即拍摄该抓拍图像时的周围环境等辅助信息。

在本公开的一个实施例中，在对所述第一协议数据流进行解封装处理之后，可以将解封装处理之后的第一目标数据存入消息队列中，等待后续处理。

具体的，在接收到第一数据库下发的采集图像及对应元数据之后，可以将采集图像及对应元数据以数据组的形式存储进消息队列里。也就是说，数据组中包括采集图像，以及与采集图像对应的元数据。示例性的，当获取到一张抓拍图像的同时，获取与该抓拍图像对应的元数据，例如，抓拍时间、抓拍设备、抓拍地点等，并将上述抓拍图像以及对应的抓拍信息一一对应的组合成包括采集图像，以及与采集图像对应的元数据的数据组，并将多个抓拍数据存储在消息队列中。

在本公开实施例中，当第一数据库主动下发数据时，可能存在并非第二数据库想要的数据，或者，对于请求的情况，存在下发错误、多下发等情况，因此需要对第一数据库下发的第一目标数据进行筛选。具体的，针对于对所述第一协议数据流进行解封装处理，得到所述第一目标数据的方法，如下：

基于所述第一传输协议的交互信息格式，从所述第一协议数据流中解封装出候选图像，以及所述候选图像对应的元数据；

将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像；

确定包括所述采集图像对应的元数据和所述采集图像的第一目标数据。

该步骤中，首先基于第一传输协议的交互信息格式，对第一协议数据流中的全部数据进行解封装，得到多个候选图像以及对应的元数据。之后，基于第二数据库的处理条件，例如：第二数据库只能对C格式的图像进行处理，或者第二数据库只能对图像进行人脸识别处理时，筛选出对应格式候选图像，或者包括目标对象的候选图像，并将筛选出的候选图像确定为采集图像，最后将包括所述采集图像对应的元数据和所述采集图像确定为第一目标数据。

在本公开一个实施例中，针对于从候选图像中，选取满足第二数据库的处理条件的图像的方法包括：

对所述候选图像进行目标检测；

若所述候选图像中具有目标对象，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

该实施例中，可以对多条所述候选图像分别进行目标检测，确定多张所述候选图像中具有目标对象的采集图像。该步骤中，由于候选图像中存在一定数量的干扰图像，例如不包括人脸的抓拍图像，或是无法进行后续处理的图像等。为了减少运算处理量，提高处理速度，可以预先进行目标检测，以筛选出多张所述候选图像中具有目标对象的采集图像。

示例性的，所述目标对象可以为包括人脸图像，可以首先对候选图像进行人脸检测。以利用人脸识别模型对候选图像进行目标检测为例，针对于筛选包括人脸的抓拍图像时，所述确定多张所述候选图像中具有目标对象的目标抓拍图像，包括：

将所述候选图像输入预先训练的人脸检测模型，得到输出的所述候选图像中存在目标对象的概率值；

基于所述候选图像对应的所述概率值，选取所述概率值高于预设概率阈值候选图像作为所述具有目标对象的采集图像。

其中，通过以下步骤训练所述人脸检测模型：

获取抓拍图像样本；其中，所述抓拍图像样本中包括样本抓拍图像以及所述样本抓拍图像对应的检测结果标签；

将所述样本抓拍图像输入至待训练的人脸检测模型，得到针对所述样本抓拍图像的输出结果；

基于针对所述样本抓拍图像的输出结果以及所述样本抓拍图像对应的检测结果标签，确定所述待训练的人脸检测模型的模型损失，并利用所述模型损失对所述待训练的人脸检测模型的模型参数进行调整，直至所述模型损失小于预设的损失阈值，确定所述人脸检测模型训练完成。

具体的，可以将候选图像输入至人脸检测模型中，便可以得到针对该候选图像是否包括目标对象的概率值。当概率值高于预设的概率阈值时，便可以确定该候选图像中包括目标对象的可能性较大或是极大，由此可以确定该候选图像为具有目标对象的目标抓拍图像。

示例性的，将候选图像输入至人脸检测模型中，得到该候选图像包括目标对象的概率值为80％。当预设的概率阈值为60％时，便可以确定该候选图像中包括目标对象的可能性极大，由此可以确定该候选图像为具有目标对象的目标抓拍图像。

在本公开的另一实施例中，为例确保处理结果的准确性，还可以将模糊、亮度差等质量较差的图像进行删除，以免影响处理结果。具体的，所述将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像，还可以包括：

对所述候选图像进行图像质量检测；

若所述候选图像的图像质量高于预设阈值，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

具体的，针对于候选图像的图像质量进行检测时，可以包括以下方法：

基于预设的图像质量指标，得到对每张所述候选图像进行图像质量分析后的图像质量评分，并候选图像的图像质量评分高于预设评分阈值的候选图像作为满足处理条件的采集图像。

示例性的，图像质量指标可以包括图像的清晰度指标、拍摄姿态指标等，其中，图像的清晰度指标可以指图像的像素值，姿态指标可以为图像的拍摄角度。具体的，当候选图像的清晰度较低或是拍摄角度不佳时，该候选图像进行图像质量分析后的图像质量评分也会较低。也就是说，图像质量评分较低的候选图像无法很好的完成后续的处理工作。

示例性的，对候选图像进行图像质量评分，得到该候选图像的图像质量评分为80。当预设评分阈值为60时，便可以确定该候选图像的图像质量较好，由此可以确定该候选图像为采集图像。

在本公开实施例中，可以同时基于候选图像中存在目标对象的概率值以及图像质量评分确定采集图像。

在本公开实施例中，在得到第一目标数据之后，可以从所述采集图像中提取出人脸图像；

确定包括所述采集图像、所述元数据和所述人脸图像的第二目标数据。

具体的在获取第一目标数据包括的采集图像之后，可以对该采集图像进行人脸识别处理。例如，基于人脸识别技术，或是将采集图像输入至人脸识别模型中，便可以识别采集图像中是否包括人脸图像，从采集图像中提取出人脸图像。针对于包括人脸图像的采集图像，将该采集图像、对应的元数据、以及出采集图像中识别出的人脸图像进行组合，得到第二目标数据。

S203：在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据。

该步骤中，可以基于目标需求，在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据。

具体的，所述在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据，包括：

每隔预设的调用时间间隔，提取出得到的所述第二目标数据；或者，当所述第二目标数据的缓存量超过预设存储量时，提取出得到的所述第二目标数据；或者，每隔所述调用时间间隔，并且在缓存池的缓存消息量超过预设存储量时，提取出得到的所述第二目标数据。

其中，缓存池为暂时存放第二目标数据的存储位置，可供处理系统调用第二目标数据，或是主动向处理系统发送第二目标数据。

在本公开实施例中，为了使得处理系统可以一并地处理多个第二目标数据，无需一一进行比对，提高处理系统的利用率。因此，可以基于一定的调用规则，在一定条件下，一并调用多个第二目标数据，发送至处理系统进行处理。

示例性的，基于历史数据或是目标业务需求，可以每隔30min，或是1h调用在该时间段内存储于该缓存池的多个第二目标数据，发送至处理系统进行处理。

示例性的，为了尽可能减少对于处理系统的使用频率，基于缓存池的承载能力，当所述缓存池的缓存消息量超过预设存储量时，调用在该时间段内存储于该缓存池的多个第二目标数据，发送至处理系统进行比对处理。例如，缓存池最多能够存储200条第二目标数据，可以当缓存池存储有200条第二目标数据时，从缓存池中提取所述第二目标数据发送至所述目标处理系统；又或者，为了保证缓存池不会超出负荷，当缓存池存储有80％容量时，即160条第二目标数据时，从缓存池中提取所述第二目标数据发送至所述处理系统。

在本公开实施例中，可以异步接收第二目标数据，放入缓存池中，并基于一定调用规则决定如何从缓存池中提取第二目标数据发送至处理系统，从而解决频繁少量多人场景导致频繁数据处理系统，比对性能较低的问题，资源消耗较大的问题。

此外，在本公开实施例中，还可以设置一监控装置，用于监控本方案中每个环节对应的处理时间，由此判断各个环节是否存在异常，并针对性对其进行处理，从而可以帮助快速排查定位出本方案中长链路的问题所在。

S204：对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流。

该步骤中，为了便于第二数据库进行数据调用，以及数据安全性的考量，可以对提取出的所述第二目标数据进行封装处理，得到第二协议数据流，供第二数据库调用。

具体的，可以基于第二目标数据库可识别的图像格式、文件类型，对第二目标数据进行封装处理。

本公开实施例提供的数据处理方法，通过从第一数据库接收数据，并将数据处理后转发给第二数据库，可以免去第一数据库和第二数据库之间直接对接时存在的改造，降低时间和人力物力的消耗，并且可以在转发数据时，帮助第二数据库实现至少部分数据转换过程，省去第二数据库的部分数据处理过程，减少数据处理压力，节省数据处理时间，降低第二数据库的数据负荷，可以实现针对跨协议数据的传输与处理，提高数据的处理效率。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与数据处理方法对应的数据处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述数据处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图3、图4、图5所示，图3为本公开实施例提供的一种数据处理的示意图；图4为本公开实施例所提供的数据处理装置中解析模块的具体示意图；图5为本公开实施例所提供的解析模块中解封装单元的具体示意图；如图3所示，所述数据处理装置包括：获取模块310、解析模块320、提取模块330、封装模块340；其中：

本公开实施例提供了一种数据处理装置，所述装置包括：

获取模块310，用于从第一数据库获取第一协议数据流，其中，所述第一协议数据流包括基于与所述第一数据库之间的第一传输协议对第一目标数据进行封装得到的数据；

解析模块320，用于基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据；

提取模块330，用于在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据；

封装模块340，用于对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流。

一种可选的实施方式中，如图4所示，所述解析模块320，包括：

解封装单元321，用于基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解封装处理，得到所述第一目标数据，其中，所述第一目标数据包括采集图像和与所述采集图像对应的元数据；

提取单元322，用于从所述采集图像中提取出人脸图像；

确定单元323，用于确定包括所述采集图像、所述元数据和所述人脸图像的第二目标数据。

一种可选的实施方式中，如图5所示，所述解封装单元321包括：

解封装子单元3211，用于基于所述第一传输协议的交互信息格式，从所述第一协议数据流中解封装出候选图像，以及所述候选图像对应的元数据；

第一确定子单元3212，用于将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像；

第二确定子单元3213，用于确定包括所述采集图像对应的元数据和所述采集图像的第一目标数据。

一种可选的实施方式中，所述第一确定子单元3212用于：

对所述候选图像进行目标检测；

若所述候选图像中具有目标对象，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

一种可选的实施方式中，所述第一确定子单元3212还用于：

对所述候选图像进行图像质量检测；

若所述候选图像的图像质量高于预设阈值，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

一种可选的实施方式中，所述提取模块330具体用于：

每隔预设的调用时间间隔，提取出得到的所述第二目标数据；或者，

当所述第二目标数据的缓存量超过预设存储量时，提取出得到的所述第二目标数据；或者，

每隔所述调用时间间隔，并且在缓存池的缓存消息量超过预设存储量时，提取出得到的所述第二目标数据。

一种可选的实施方式中，所述封装模块340具体用于：

在接收到所述第二数据库的数据调用请求后，通过与所述第二数据库之间的第二连接协议，将所述第二协议数据流发送至所述第二数据库。

本公开实施例提供的数据处理装置，从第一数据库接收数据，并将数据处理后转发给第二数据库，可以免去第一数据库和第二数据库之间直接对接时存在的改造，降低时间和人力物力的消耗，并且可以在转发数据时，帮助第二数据库实现至少部分数据转换过程，省去第二数据库的部分数据处理过程，减少数据处理压力，节省数据处理时间，降低第二数据库的数据负荷，可以实现针对跨协议数据的传输与处理，提高数据的处理效率。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

对应于图2中的数据处理方法，本公开实施例还提供了一种计算机设备，如图6所示，为本公开实施例提供的计算机设备结构示意图，包括：

处理器601、存储器602、和总线603；存储器602用于存储执行指令，包括内存6021和外部存储器6022；这里的内存6021也称内存储器，用于暂时存放处理器601中的运算数据，以及与硬盘等外部存储器6022交换的数据，处理器601通过内存6021与外部存储器6022进行数据交换，当所述计算机设备运行时，所述处理器601与所述存储器602之间通过总线603通信，使得所述处理器601执行以下指令：

从第一数据库获取第一协议数据流，其中，所述第一协议数据流包括基于与所述第一数据库之间的第一传输协议对第一目标数据进行封装得到的数据；

基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据；

在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据；

对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的数据处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的数据处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

从第一数据库获取第一协议数据流，其中，所述第一协议数据流包括基于与所述第一数据库之间的第一传输协议对第一目标数据进行封装得到的数据；

基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据；

在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据；

对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据，包括：

基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解封装处理，得到所述第一目标数据，其中，所述第一目标数据包括采集图像和与所述采集图像对应的元数据；

从所述采集图像中提取出人脸图像；

确定包括所述采集图像、所述元数据和所述人脸图像的第二目标数据。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解封装处理，得到所述第一目标数据，包括：

基于所述第一传输协议的交互信息格式，从所述第一协议数据流中解封装出候选图像，以及所述候选图像对应的元数据；

将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像；

确定包括所述采集图像对应的元数据和所述采集图像的第一目标数据。

4.根据权利要求3所述的方法，其特征在于，所述将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像，包括：

对所述候选图像进行目标检测；

若所述候选图像中具有目标对象，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

5.根据权利要求3所述的方法，其特征在于，所述将所述候选图像中，满足所述第二数据库的处理条件的图像确定为采集图像，包括：

对所述候选图像进行图像质量检测；

若所述候选图像的图像质量高于预设阈值，确定所述候选图像为满足所述第二数据库的处理条件的采集图像。

6.根据权利要求1所述的方法，其特征在于，所述在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据，包括：

每隔预设的调用时间间隔，提取出得到的所述第二目标数据；或者，

当所述第二目标数据的缓存量超过预设存储量时，提取出得到的所述第二目标数据；或者，

每隔所述调用时间间隔，并且在缓存池的缓存消息量超过预设存储量时，提取出得到的所述第二目标数据。

7.根据权利要求1所述的方法，其特征在于，所述对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流，包括：

在接收到所述第二数据库的数据调用请求后，通过与所述第二数据库之间的第二连接协议，将所述第二协议数据流发送至所述第二数据库。

8.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于从第一数据库获取第一协议数据流，其中，所述第一协议数据流包括基于与所述第一数据库之间的第一传输协议对第一目标数据进行封装得到的数据；

解析模块，用于基于所述第一传输协议的交互信息格式，对所述第一协议数据流进行解析处理，得到第二目标数据，所述第二目标数据包括所述第一目标数据；

提取模块，用于在得到的所述第二目标数据满足数据提取条件后，提取出所述第二目标数据；

封装模块，用于对提取出的所述第二目标数据进行封装处理，得到待第二数据库调用的第二协议数据流。

9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的数据处理方法的步骤。

Images