CN116010545A - 一种数据处理方法、装置及设备 - Google Patents

Abstract

本申请实施例涉及数据处理领域，公开了一种数据处理方法、装置及设备。本申请实施例涉及的数据处理方法包括：获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；根据所述至少两个语义特征获得所述待处理数据的结果。这样，将处理对象由多类型混合的数据结构转变为单一类型的数据结构，可以降低数据处理难度，进而提高对数据处理结果的准确性。

Description

一种数据处理方法、装置及设备

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种数据处理方法、装置及设备。

背景技术

随着信息技术的发展，人们的日常生活和工作中充斥着大量且多样的数据，这些数据中还包括以文本、图片、音频以及视频之类的非结构化数据，所述非结构化数据是指数据排布结构不规则或者不完整，没有预定义的数据模型，不方便用数据库二维逻辑来表现的数据。由于非结构化数据本身具有表征语义的特征数据之间关联性较弱，使得对该数据进行语义特征提取相较于结构化信息难度更大。通常存在多种类非结构化数据混合的情况，例如，一件带有图片信息的非结构化数据文档，也为对非结构化数据信息进行核心内容提取增加了难度。

现阶段对于非结构化数据的语义特征提取，通常依赖于经过训练的数据处理模型。现阶段数据处理模型针对待处理的非结构化数据，采用整体识别后，再进行特征提取的方式进行语义特征提取。

但是，由于当前数据处理模型对于数据处理的类别较为单一，面对多种类非结构数据混合的情况，无法对全部种类的非结构数据进行识别处理，进而存在对语义特征抽取结果确实的可能，造成最终语义特征提取结果较实际偏差较大。

发明内容

本申请实施例提供了一种数据处理方法、装置及设备，以解决现有数据处理中应对多类型混合式非结构化数据处理结果不精确的问题。

第一方面，本申请实施例提供了一种数据处理方法，所述方法包括：

获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；

按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；

对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；

根据所述至少两个语义特征获得所述待处理数据的结果。

可选的，所述待处理数据由预设的非结构化数据库得到，所述非结构化数据库内部存储数据依据数据处理需求实时更新。这样，可以保证数据处理过程的可持续性。

可选的，在所述获取待处理数据之后，所述按照类别对所述待处理数据进行拆解之前，所述方法还包括：

对获取数据进行预处理，所述预处理内容包括：数据整合、数据去重以及数据编目等。这样，可以提高后续对待处理数据拆解工作的准确度。

一种可能的实施方式中，在所述按照类别对所述待处理非结构化数据拆解之前，还包括：

调用预设的数据解析模型对所述待处理数据进行内容识别，以得到所述待处理数据中包括的数据类别。这样，通过对待处理数据进行数据混合类别获取，以使后续拆解得到的每个子数据对应的拆解类别更为准确。

一种可能的实施方式中，所述按照与相应子数据的类别相匹配的特征提取规则提取语义特征，通过调用至少两个经过所述特征提取规则训练后的预设模型实现，所述预设模型包括：图像处理模型、语音处理模型、文本处理模型以及视频处理模型。这样，可以通过多种类的数据处理模型应对多类型混合式非结构化数据的处理。

可选的，所述图像处理模型、语音处理模型、文本处理模型以及视频处理模型均为独立并行关系。这样，在进行多类别非结构化数据处理中，彼此进程不会受到影响。

一种可能的实施方式中，用所述文本处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标文本，所述目标文本由对应文本类别的子数据得到：

对所述目标文本进行第一关键特征以及对应的元数据提取，得到第一提取结果，所述第一关键特征包括：事件文本信息；

调用预设的语义分析模型，对所述第一提取结果进行语义分析，得到第一关键特征语义分析结果；

对所述第一关键特征语义分析结果按照第一预设规则进行相似度比对，得到第一比对结果；

若所述第一比对结果大于或等于第一预设阈值，则所述第一比对结果对应的关键特征语义分析结果用于表征所述目标文本的语义特征。这样，可以实现对文本类别的数据的语义提取，实现对文本类非结构化数据的处理，并且对于目标文档对应的元数据进行的单独提取，可以用于为后续检索作业提供数据支撑。

可选的，在所述获取目标文本之前，还包括，依据处理需求构建所述目标文本的语义提取规则。这样，可以保证后续第一关键特征语义分析结果满足实际需求，进而提升所述目标文本语义提取结果的准确性。

一种可能的实施方式中，调用所述语音处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标语音，所述目标语音由对应语音类别的子数据得到；

调用预设的韵律模型以及预设的语音转文本模型将所述目标语音转化为对应的文本数据；

对所述语音进行第二关键特征以及对应的元数据提取，得到第二提取结果，所述第二关键特征包括：语音频率数据、语音振幅数据以及语音波型数据；

调用预设的语义分析模型，对所述第二提取结果进行语义分析，得到第二关键特征语义分析结果；

对所述第二关键特征语义分析结果按照第二预设规则进行相似度比对，得到第二比对结果；

若所述第二比对结果大于或等于第二预设阈值，则所述第二比对结果对应的关键特征语义分析结果用于表征所述目标语音的语义特征。这样，可以通过与语音转文本的方式实现对语音类别的数据的语义提取，实现对语音类非结构化数据的处理，并且对于目标语音对应的元数据进行的单独提取，可以用于为后续检索作业提供数据支撑。

可选的，所述目标语音包括：录音文件以及实时语音文件。

一种可能的实施方式中，调用所述图像处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标图像，所述目标图像由对应图像类别的子数据得到；

对所述目标图像进行第三关键特征以及对应的元数据提取，得到第三提取结果，所述第三关键特征包括：文字特征数据、目标特征数据以及人脸特征数据；

调用预设的语义分析模型，对所述第三提取结果进行语义分析，得到第三关键特征语义分析结果；

对所述第三关键特征语义分析结果按照第三预设规则进行相似度比对，得到第三比对结果；

若所述第三比对结果大于或等于第三预设阈值，则所述第三比对结果对应的关键特征语义分析结果用于表征所述目标图像的语义特征。这样，可以实现对图像类别的数据的语义提取，实现对图像类非结构化数据的处理，并且对于目标图像对应的元数据进行的单独提取，可以用于为后续检索作业提供数据支撑。

可选的，所述目标图像格式包括：JEPG、TIFF、RAW、BMP、GIF以及PNG。

可选的，所述图像元数据包括：EXIF、IPTC、XMP、图像时间数据、图像像素数据以及图像位置数据。

可选的，所述文字特征数据包括：图像中的文字字体数据以及图像中的文字颜色数据等。

可选的，所述目标特征数据包括：图像中所识别的目标特征以及图像中未识别的目标特征。

可选的，所述人脸特征数据包括：图像中人脸检测数据。

一种可能的实施方式中，调用所述视频处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标视频，所述目标视频由对应视频类别的子数据得到；

对所述目标视频进行特征分割，得到视频流信息以及音频流信息；

对所述视频流信息进行第四关键特征以及对应的元数据提取，得到第四提取结果，所述第四关键特征包括：视频元数据、时间数据、场景数据、镜头数据、代表帧数据以及编目数据；

调用预设的语义分析模型，对所述第四提取结果进行语义分析，得到第四关键特征语义分析结果；

对第四关键特征语义分析结果按照第四预设规则进行相似度比对，得到第四比对结果；

若所述第四比对结果大于或等于第四预设阈值，则所述第四比对结果对应的关键特征语义分析结果用于表征所述目标视频的语义特征。这样，可以实现对视频类别的数据的语义提取，实现对视频类非结构化数据的处理，并且对于目标视频对应的元数据进行的单独提取，可以用于为后续检索作业提供数据支撑。

可选的，所述目标视频的格式包括：AVI、RMVB、FLV以及MP4。

可选的，所述对所述目标视频进行特征分割，针对所述音频流信息，使用预设的语音识别模型，得到相应的语义特征。

第二方面，本申请实施例提供了一种数据处理所述装置，包括：

获取模块，用于获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；

拆解模块，用于按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；

特征提取模块，用于对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；

处理模块，用于根据所述至少两个语义特征获得所述待处理数据的结果。

第三方面，本申请实施例还提供了一种电子设备，所诉电子设备包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存储可执行指令，所述可执行指令运行时使所述处理器执行第一方面或者第二方面任一可能的实施方式中的数据处理方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有可执行指令，所述可执行指令运行时使计算设备执行第一方面或者第二方面任一可能的实施方式中的数据处理方法。

本申请实施例提供了一种数据处理方法，本方案中，首先，获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；然后，按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；最后，根据所述至少两个语义特征获得所述待处理数据的结果。可见，通过对含有多类别待处理数据进行拆解，得到拆解后的子数据，由于拆解后的子数据均为独立类别的数据，将其分别输入至预设的对应类别的数据处理模型中，最后汇总数据处理结果。这样，将处理对象由多类型混合的数据结构转变为单一类型的数据结构，可以降低数据处理难度，进而提高对数据处理结果的准确性。

附图说明

图1是本申请实施例提供的数据处理方法流程示意图；

图2a是本申请实施例提供的文本类子数据处理方法流程示意图；

图2b是本申请实施例提供的语音类子数据处理方法流程意图；

图2c是本申请实施例提供的图像类子数据处理方法处理流程示意图；

图2d是本申请实施例提供的视频类子数据处理方法处理流程示意图；

图3是本申请实施例提供的数据处理装置示意图；

图4是本申请实施例提供的数据处理电子设备示意图。

具体实施方式

本申请以下实施例中所使用的术语是为了描述可选实施方式的目的，而非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式。还应当理解，尽管在以下实施例中可能采用术语第一、第二等来描述某一类对象，但所述对象不限于这些术语。这些术语用来将该类对象的具体对象进行区分。例如，以下实施例中可能采用术语第一、第二等来描述的其他类对象同理，此处不再赘述。

本申请实施例提供了一种非结构化数据处理方法，本方案中，首先，获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；然后，按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；最后，根据所述至少两个语义特征获得所述待处理数据的结果。可见，通过对含有多类别待处理数据进行拆解，得到拆解后的子数据，由于拆解后的子数据均为独立类别的数据，将其分别输入至预设的对应类别的数据处理模型中，最后汇总数据处理结果。这样，将处理对象由多类型混合的数据结构转变为单一类型的数据结构，可以降低数据处理难度，进而提高对数据处理结果的准确性。

本申请实施例提供的数据处理方法可以由一个电子设备执行，也可以由计算机集群执行。该计算机集群包括至少两个支持本申请实施例的策略模型训练方法的电子设备，任一电子设备可通过策略模型训练方法实现本申请实施例所描述的策略模型训练功能。

本申请实施例设计的任一电子设备可以是诸如手机、平板电脑、可穿戴设备(例如，智能手表、智能手环等)、笔记本电脑、台式计算机和车载设备等电子设备。该电子设备预先安装有策略模型训练应用程序。可以理解的是，本申请实施例对电子设备的具体类型不作任何限制。

随着信息技术的发展，人们的日常生活和工作中充斥着大量且多样的数据，这些数据中还包括以文本、图片、音频以及视频之类的非结构化数据，所述非结构化数据是指数据排布结构不规则或者不完整，没有预定义的数据模型，不方便用数据库二维逻辑来表现的数据。由于非结构化数据本身具有表征语义的特征数据之间关联性较弱，使得对该数据进行语义特征提取相较于结构化信息难度更大。通常存在多种类非结构化数据混合的情况，例如，一件带有图片信息的非结构化数据文档，也为对非结构化数据信息进行核心内容提取增加了难度。

现阶段对于非结构化数据的语义特征提取，通常依赖于经过训练的数据处理模型。现阶段数据处理模型针对待处理的非结构化数据，采用整体识别后，再进行特征提取的方式进行语义特征提取。

但是，由于当前数据处理模型对于数据处理的类别较为单一，面对多种类非结构数据混合的情况，无法对全部种类的非结构数据进行识别处理，进而存在对语义特征抽取结果确实的可能，造成最终语义特征提取结果较实际偏差较大。

下面是对几个示例性实施方式的描述，对本申请实施例的技术方案以及本申请的技术方案产生的技术效果进行说明。

示例性的，本申请讲通过下述实施例对数据处理方法应用在非结构化数据检索的场景下进行说明。

可以理解的是，为了保证非结构化数据在检索场景下的检索结果准确，需要在检索前对其进行数据处理(具体包括提取语义特征以及根据语义特征进行标签分类)。

参见图1，图1是本申请实施例提供的数据处理方法流程示意图，包括以下步骤：

获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；

按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；

对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；

根据所述至少两个语义特征获得所述待处理数据的结果。

可以理解的是，所述数据处理的针对对象通常为非结构化数据。对于非结构化数据的处理，通常包括：对非结构化数据中的关键信息以及隐藏信息的提取。例如：对文档中的整体主题语义(即语义特征)或者每个段落的主题语义进行获取。

可选的，所述待处理数据由预设的非结构化数据库得到，所述非结构化数据库内部存储数据依据数据处理需求实时更新。

示例性的，所述非结构化数据库可以为现有待处理数据所存放的数据库，也可以通过数据接引的方式，将外部非结构化数据接引到所述非结构化数据库中进行更新。

可选的，在所述获取待处理数据之后，所述按照类别对所述待处理数据进行拆解之前，所述方法还包括：

对获取数据进行预处理，所述预处理内容包括：数据整合、数据去重以及数据编目、数据抽取以及格式转换等。

示例性的，为了能够对所述非结构化数据库中的待处理数据进行充分应用，需要对其中的非结构化数据进行统一管理。针对数据编目，具体包括：

获取待管理数据，所述待管理数据由预设的非结构化数据库得到；

根据需求，对所述待管理数据进行层次化编目，得到文件目录树，所述文件目录树用于呈现所述待管理数据根据需求呈现的层次关系。

示例性的，在所述得到文件目录树之后，获取待处理数据之前，还包括对所述待管理数据以及相应的文件增删改查以及去重处理，以得到所述待处理数据，例如，基于组织结构树模型对所述非结构化数据哭进行层次化编目得到文件目录树，之后利用文件管理模型，进行文件增删改查、文件预览和文件统计分析管理。

一种可能的实施方式中，在所述按照类别对所述待处理非结构化数据拆解之前，还包括：

调用预设的数据解析模型对所述待处理数据进行内容识别，以得到所述待处理数据中包括的数据类别。

示例性的，通过对所述待处理数据中内容的标签识别，以得到所述待处理数据中包括的数据类别。例如，当获取到的所述待处理数据中为带有图片信息的文档是(即图片数据和文本数据共存)。那么通过分别对图片数据对应的标签以及文本数据的标签进行获取，识别，最终确认所述待处理数据中含有图片类数据以及文本类数据。

一种可能的实施方式中，所述按照与相应子数据的类别相匹配的特征提取规则提取语义特征，通过调用至少两个经过所述特征提取规则训练后的预设模型实现，所述预设模型包括：图像处理模型、语音处理模型、文本处理模型以及视频处理模型。

可选的，所述预设模型由初始模型经过与子数据的类别相匹配的特征提取规则训练得到。

可选的，所述图像处理模型、语音处理模型、文本处理模型以及视频处理模型均为独立并行关系。

可以理解的是，所述预设模型包括但不限于上述类别，具体可根据实际需求进行补充。

一种可能的实施方式中，用所述文本处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标文本，所述目标文本由对应文本类别的子数据得到：

对所述目标文本进行第一关键特征以及对应的元数据提取，得到第一提取结果，所述第一关键特征包括：事件文本信息；

调用预设的语义分析模型，对所述第一提取结果进行语义分析，得到第一关键特征语义分析结果；

对所述第一关键特征语义分析结果按照第一预设规则进行相似度比对，得到第一比对结果；

若所述第一比对结果大于或等于第一预设阈值，则所述第一比对结果对应的关键特征语义分析结果用于表征所述目标文本的语义特征。

可以理解的是，所述元数据是描述信息资源或者数据等对象的数据，此处元数据用于描述所述目标文本的其它构成数据。对元数据的抽取是为了满足后续对非结构数据检索场景下的数据支持。

可选的，在所述获取目标文本之前，还包括，依据处理需求构建所述目标文本的语义提取规则。

示例性的，如图2a所示，描述了当获取子数据为文本数据时，对应的数据处理过程，包括：

获取文本类类别的子数据(即所述目标文本)；

对所述目标文本进行预处理，所述预处理包括：文本去重以及关键特征提取(即所述第一关键特征提取中的元数据以及事件文本信息提取)；

对关键特征提取结果进行语义分析，得到语义分析结果(即第一关键特征语义分析结果)；

对语义分析结果，使用相似度计算模型，同标准结果进行相似度比对，如果比对结果大于或等于预设阈值(即第一预设阈值)，则将语义进行可视化展示(即所述第一比对结果对应的关键特征语义分析结果用于表征所述目标文本的语义特征)。

可以理解的是，对于相同的文本类子数据，针对不同的提取需求，可能会产生不同地提取结果。所以，在模型训练过程中，对于预设的规则也可以通过相应的规则训练模型得到。即构建母本规则，对母本规则进行无监督训练迭代，达到所述预设的规则。

一种可能的实施方式中，调用所述语音处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标语音，所述目标语音由对应语音类别的子数据得到；

调用预设的韵律模型以及预设的语音转文本模型将所述目标语音转化为对应的文本数据；

对所述语音进行第二关键特征以及对应的元数据提取，得到第二提取结果，所述第二关键特征包括：语音频率数据、语音振幅数据以及语音波型数据；

调用预设的语义分析模型，对所述第二提取结果进行语义分析，得到第二关键特征语义分析结果；

对所述第二关键特征语义分析结果按照第二预设规则进行相似度比对，得到第二比对结果；

若所述第二比对结果大于或等于第二预设阈值，则所述第二比对结果对应的关键特征语义分析结果用于表征所述目标语音的语义特征。

可选的，所述目标语音包括：录音文件以及实时语音文件。

示例性的，如图2b所示，描述了当获取子数据为语音数据时，对应的数据处理过程，语音类子数据按照接收方式分类，通常可以分为实时语音文件(例如实时通话语音)录音文件语音。对于语音类子数据获取之后，进行分析处理之前，首先进行预处理作业(例如：去噪、去重等)；

对经过预处理作业之后的语音类子数据通过预设的语音资料分析处理模型进行相应的关键特征提取(即第二关键特征提取)以及相似度结果比对，以得到关键特征对应的语义特征；

最后，针对已经实现关键特征提取后的语音类子文件，进行文本转录(由预先设置的语音转文本模型实现)，然后调用预先设置的文本分析模型对文本进行分析处理(例如语义特征提取等)，最后依据分类结果，使用语音打标分类模型对其进行分类和结果展示。

若获取的录音文件的格式为文档，那么可以首先对文档类的录音文件进行音频转换，形成语音数据(即语音类子数据)，然后依据上述方式进行语义特征提取以及实现最后的分类展示。

一种可能的实施方式中，调用所述图像处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标图像，所述目标图像由对应图像类别的子数据得到；

对所述目标图像进行第三关键特征以及对应的元数据提取，得到第三提取结果，所述第三关键特征包括：文字特征数据、目标特征数据以及人脸特征数据；

调用预设的语义分析模型，对所述第三提取结果进行语义分析，得到第三关键特征语义分析结果；

对所述第三关键特征语义分析结果按照第三预设规则进行相似度比对，得到第三比对结果；

若所述第三比对结果大于或等于第三预设阈值，则所述第三比对结果对应的关键特征语义分析结果用于表征所述目标图像的语义特征。

可选的，所述目标图像格式包括：JEPG、TIFF、RAW、BMP、GIF以及PNG。

可选的，所述图像元数据包括：EXIF、IPTC、XMP、图像时间数据、图像像素数据以及图像位置数据。

可选的，所述文字特征数据包括：图像中的文字字体数据以及图像中的文字颜色数据等。

可选的，所述目标特征数据包括：图像中所识别的目标特征以及图像中未识别的目标特征。

可选的，所述人脸特征数据包括：图像中人脸检测数据。

示例性的，如图2c所示，描述了当获取子数据为图像数据时，对应的数据处理过程，在获取图像类子数据之后(即所述目标图像)，首先对所属目标图像进行数据预处理(去噪、去重等)；

然后通过预设的元数据解析模型，对元数据进行特征提取，并且同步对预设的图像识别模型进行图像检测以实现对图像的特征提取，包括：图像中的文字特征数据、目标特征数据以及人脸特征数据等(即第三关键特征)；

分别对第三关键特征的语义分析结果进行相似度比对，得到各自的识别结果(目标识别结果、人员识别结果以及文字识别结果等)，最后结合相似度识别结果以及元数据的提取结果实现对图像的打标分类。

可选的，对于图像中文字(或区别于图像的字符特征)识别，可以通过构建基于DBNET和CRNN算法的图像文字识别模型，通过字符检测与字符识别技术，对图片中的文字或其它字符进行检测，检测内容包括字体以及字符颜色等属性。

可选的，对于目标识别，可以通过构建基于深度学习的OneStage目标检测模型和基于ResNet、MobileNet的深度学习模型，对图像分类识别，提取关键特征信息，实现对目标的裁剪和标注。

可选的，对于图像中的人员识别，可以构建基于深度学习的特征提取法的人员识别模型，结合CascadeResNet技术，实现人脸检测、关键点检测、图像预处理、特征提取和比对识别。

一种可能的实施方式中，调用所述视频处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标视频，所述目标视频由对应视频类别的子数据得到；

对所述目标视频进行特征分割，得到视频流信息以及音频流信息；

对所述视频流信息进行第四关键特征以及对应的元数据提取，得到第四提取结果，所述第四关键特征包括：视频元数据、时间数据、场景数据、镜头数据、代表帧数据以及编目数据；

调用预设的语义分析模型，对所述第四提取结果进行语义分析，得到第四关键特征语义分析结果；

对第四关键特征语义分析结果按照第四预设规则进行相似度比对，得到第四比对结果；

若所述第四比对结果大于或等于第四预设阈值，则所述第四比对结果对应的关键特征语义分析结果用于表征所述目标视频的语义特征。

示例性的，如图2d所示，描述了当获取子数据为视频数据时，对应的数据处理过程在获取视频类的子数据(即目标视频)之后，对所述目标视频进行元数据提取，经过预设的元数据解析模型以及元数据提取模型对元数据进行提取，并对元数据进行统一管理，便于后续使用；

然后对于视频进行音频流和视频流分割，将原目标视频分割为单独的视频数据以及单独的音频数据；

针对音频数据，构建语音识别分析模型，将语音转写成文字，并结合相应的文本语义识别模型得到语音对应的语义特征(具体如上述实施例所述，此处不再赘述)；

针对视频数据，采用分帧技术，对视频分割为具体的图像帧，并对图像行关键特征识别以及关键帧提取，具体包括：通过场景分析以及视频运动分析技术，得到关键帧，辅助用户进行是视频编目；

最后，构建视频算法识别模型，对抽取的视频进行统一处理(具体包括对视频流语义特征、音频流语义特征以及二者结合的比对结果进行综合性结果评价)，得到视频识别结果。

本申请实施例提供了一种数据处理方法，本方案中，首先，获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；然后，按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；最后，根据所述至少两个语义特征获得所述待处理数据的结果。可见，通过对含有多类别待处理数据进行拆解，得到拆解后的子数据，由于拆解后的子数据均为独立类别的数据，将其分别输入至预设的对应类别的数据处理模型中，最后汇总数据处理结果。这样，将处理对象由多类型混合的数据结构转变为单一类型的数据结构，可以降低数据处理难度，进而提高对数据处理结果的准确性。

上述实施例从待处理数据的获取方式、待处理数据的拆解、对子数据进行语义特征提取以及根据语义特征得到数据处理结果等电子设备所执行的动作逻辑和学习算法处理角度，对本申请实施例提供的数据处理方法的各实施方式进行了介绍。应理解，待处理数据的获取方式、待处理数据的拆解、对子数据进行语义特征提取以及根据语义特征得到数据处理结果等的处理步骤，本申请实施例可以以硬件或硬件和计算机软件的结合形式来实现上述功能。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

例如，若上述实现步骤通过软件模块来实现相应的功能，如图3所示，数据处理装置可以包括：

获取模块，用于获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；

拆解模块，用于按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；

特征提取模块，用于对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；

处理模块，用于根据所述至少两个语义特征获得所述待处理数据的结果。

可以理解的是，以上各个模块/单元的划分仅仅是一种逻辑功能的划分，实际实现时，以上各模块的功能可以集成到硬件实体实现，例如，获取模块、处理模块以及比对模块可以集成到处理器实现，实现上述各模块功能的程序和指令，可以维护在存储器中。例如，图4提供了一种电子设备，该电子设备包括可以包括处理器、收发器和存储器。其中，收发器用于数据处理待处理数据获取。存储器可以用于存储子数据对应的语义特征，也可以存储用于处理器执行的代码等。当处理器运行存储器存储的代码过程中，使得电子设备执行上述方法中策略模型训练方法的部分或全部操作。

具体实现过程详见上述方法示意的实施例所述，此处不再详述。

具体实现中，对应前述电子设备，本申请实施例还提供一种计算机存储介质，其中，设置在电子设备中的计算机存储介质可存储有程序，该程序执行时，可实施包括策略模型的训练方法的各实施例中的部分或全部步骤。该存储介质均可为磁碟、光盘、只读存储记忆体(read-onlymemory，ROM)或随机存储记忆体(randomaccessmemory，RAM)等。

以上模块或单元的一个或多个可以软件、硬件或二者结合来实现。当以上任一模块或单元以软件实现的时候，所述软件以计算机程序指令的方式存在，并被存储在存储器中，处理器可以用于执行所述程序指令并实现以上方法流程。所述处理器可以包括但不限于以下至少一种：中央处理单元(centralprocessing unit，CPU)、微处理器、数字信号处理器(DSP)、微控制器(microcontroller unit，MCU)、或人工智能处理器等各类运行软件的计算设备，每种计算设备可包括一个或多个用于执行软件指令以进行运算或处理的核。该处理器可以内置于SoC(片上系统)或专用集成电路(applicationspecificintegratedcircuit，ASIC)，也可是一个独立的半导体芯片。该处理器内处理用于执行软件指令以进行运算或处理的核外，还可进一步包括必要的硬件加速器，如现场可编程门阵列(fieldprogrammablegatearray，FPGA)、PLD(可编程逻辑器件)、或者实现专用逻辑运算的逻辑电路。

当以上模块或单元以硬件实现的时候，该硬件可以是CPU、微处理器、DSP、MCU、人工智能处理器、ASIC、SoC、FPGA、PLD、专用数字电路、硬件加速器或非集成的分立器件中的任一个或任一组合，其可以运行必要的软件或不依赖于软件以执行以上方法流程。

进一步的，图4中还可以包括总线接口，总线接口可以包括任意数量的互联的总线和桥，具体由处理器代表的一个或多个处理器和存储器代表的存储器的各种电路链接在一起。总线接口还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发器提供用于在传输介质上与各种其他设备通信的单元。处理器负责管理总线架构和通常的处理，存储器可以存储处理器在执行操作时所使用的数据。

当以上模块或单元使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk(SSD))等。

应理解，在本申请的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对实施例的实施过程构成任何限定。

本说明书的各个部分均采用递进的方式进行描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点介绍的都是与其他实施例不同之处。尤其，对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。

尽管已描述了本申请的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；

按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；

对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；

根据所述至少两个语义特征获得所述待处理数据的结果。

2.如权利要求1所述的方法，其特征在于，在所述按照类别对所述待处理非结构化数据拆解之前，还包括：

调用预设的数据解析模型对所述待处理数据进行内容识别，以得到所述待处理数据中包括的数据类别。

3.如权利要求1所述的方法，其特征在于，所述按照与相应子数据的类别相匹配的特征提取规则提取语义特征，通过调用至少两个经过所述特征提取规则训练后的预设模型实现，所述预设模型包括：图像处理模型、语音处理模型、文本处理模型以及视频处理模型。

4.如在权利要求3所述的方法，其特征在于，调用所述文本处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标文本，所述目标文本由对应文本类别的子数据得到：

对所述目标文本进行第一关键特征以及对应的元数据提取，得到第一提取结果，所述第一关键特征包括：事件文本信息；

调用预设的语义分析模型，对所述第一提取结果进行语义分析，得到第一关键特征语义分析结果；

对所述第一关键特征语义分析结果按照第一预设规则进行相似度比对，得到第一比对结果；

若所述第一比对结果大于或等于第一预设阈值，则所述第一比对结果对应的关键特征语义分析结果用于表征所述目标文本的语义特征。

5.如权利要求3所述的方法，其特征在于，调用所述语音处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标语音，所述目标语音由对应语音类别的子数据得到；

调用预设的韵律模型以及预设的语音转文本模型将所述目标语音转化为对应的文本数据；

对所述语音进行第二关键特征以及对应的元数据提取，得到第二提取结果，所述第二关键特征包括：语音频率数据、语音振幅数据以及语音波型数据；

调用预设的语义分析模型，对所述第二提取结果进行语义分析，得到第二关键特征语义分析结果；

对所述第二关键特征语义分析结果按照第二预设规则进行相似度比对，得到第二比对结果；

若所述第二比对结果大于或等于第二预设阈值，则所述第二比对结果对应的关键特征语义分析结果用于表征所述目标语音的语义特征。

6.如权利要求3所述的方法，其特征在于，调用所述图像处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标图像，所述目标图像由对应图像类别的子数据得到；

对所述目标图像进行第三关键特征以及对应的元数据提取，得到第三提取结果，所述第三关键特征包括：文字特征数据、目标特征数据以及人脸特征数据；

调用预设的语义分析模型，对所述第三提取结果进行语义分析，得到第三关键特征语义分析结果；

对所述第三关键特征语义分析结果按照第三预设规则进行相似度比对，得到第三比对结果；

若所述第三比对结果大于或等于第三预设阈值，则所述第三比对结果对应的关键特征语义分析结果用于表征所述目标图像的语义特征。

7.如权利要求3所述的方法，其特征在于，调用所述视频处理模型按照与相应子数据的类别相匹配的特征提取规则提取语义特征，包括：

获取目标视频，所述目标视频由对应视频类别的子数据得到；

对所述目标视频进行特征分割，得到视频流信息以及音频流信息；

对所述视频流信息进行第四关键特征以及对应的元数据提取，得到第四提取结果，所述第四关键特征包括：视频元数据、时间数据、场景数据、镜头数据、代表帧数据以及编目数据；

调用预设的语义分析模型，对所述第四提取结果进行语义分析，得到第四关键特征语义分析结果；

对第四关键特征语义分析结果按照第四预设规则进行相似度比对，得到第四比对结果；

若所述第四比对结果大于或等于第四预设阈值，则所述第四比对结果对应的关键特征语义分析结果用于表征所述目标视频的语义特征。

8.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取待处理数据，所述待处理数据包括以下至少两种类别的数据：图像数据、语音数据、文本数据以及视频数据；

拆解模块，用于按照类别对所述待处理数据进行拆解，得到至少两个类别的子数据；

特征提取模块，用于对应所述至少两个类别的子数据中的每个子数据，按照与相应子数据的类别相匹配的特征提取规则提取语义特征，得到至少两个语义特征；

处理模块，用于根据所述至少两个语义特征获得所述待处理数据的结果。

9.一种计算设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存储可执行指令，所述可执行指令运行时使所述处理器执行如权利要求1-7中任一项所述的应用于数据处理方法。

10.一种计算机存储介质，其特征在于，所述存储介质中存储可执行指令，所述可执行指令运行时使计算设备执行如权利要求1-7中任一项所述的应用于数据处理方法。

Images