CN114399718A - 一种视频播放过程中的图像内容识别方法及装置 - Google Patents

Abstract

本公开涉及一种视频播放过程中的图像内容识别方法及装置，其中，方法包括：获取待处理视频，并提取目标帧图像，基于图像特征提取模型对目标帧图像进行提取，得到图像特征向量和目标对象向量，然后对目标对象向量进行识别，得到目标对象类别，基于目标对象向量和目标对象类别进行处理，得到目标对象整体特征向量并对其进行图片转换，得到目标对象图像，将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入图像拟态图像运动识别模型，得到每多张运动图像和运动图像特征，最后对其进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码，从而提高视频播放过程中图像识别的效率及精度。

Description

一种视频播放过程中的图像内容识别方法及装置

技术领域

本公开涉及人工智能技术领域，尤其涉及一种视频播放过程中的图像内容识别方法及装置。

背景技术

通常，在对视频处理的过程中，涉及从视频中识别图像内容。

相关技术中，采用基于帧的技术，通过每秒捕获多帧静止图像来表达/记录，帧与帧之间存在空白，导致物体的部分信息丢失及相同背景信息被重复记录，从而生成大量无用数据，以及在已有的传统视频识别图像内容方式中，常常由于计算资源的限制，将视频转换为图像，再进行图像的识别，由于视频图像的规格、编码、清晰度的不同，集中在不同环境中图像质量的变化，从而很难通过图像识别出图像内容的情况。

发明内容

为了解决上述技术问题，本公开提供了一种视频播放过程中的图像内容识别方法及装置。

第一方面，本公开实施例提供了一种视频播放过程中的图像内容识别方法，包括：

获取待处理视频，并提取待处理视频的目标帧图像；

基于预先训练的图像特征提取模型对目标帧图像进行提取，得到图像特征向量，并提取图像特征向量中的目标对象向量；

基于预先训练的图像实体分类识别模型对目标对象向量进行识别，得到目标对象类别；

基于目标对象向量和目标对象类别进行处理，得到每个目标对象对应的目标对象整体特征向量；

对目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于目标帧图像的视频编码位置确定目标对象图像的目标视频编码位置；

将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征；

对多张运动图像和运动图像特征进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码。

第二方面，本公开实施例提供了一种视频播放过程中的图像内容识别装置，包括：

第一获取模块，用于获取待处理视频，并提取待处理视频的目标帧图像；

第一提取模块，用于基于预先训练的图像特征提取模型对目标帧图像进行提取，得到图像特征向量，并提取图像特征向量中的目标对象向量；

第一识别模块，用于基于预先训练的图像实体分类识别模型对目标对象向量进行识别，得到目标对象类别；

处理模块，用于基于目标对象向量和目标对象类别进行处理，得到每个目标对象对应的目标对象整体特征向量；

转换确定模块，用于对目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于目标帧图像的视频编码位置确定目标对象图像的目标视频编码位置；

输入模块，用于将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征；

转换模块，用于对多张运动图像和运动图像特征进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码。

第三方面，本公开实施例提供了一种视频播放过程中的图像内容识别设备，包括：

处理器，用于存储处理器可执行指令的存储器；

处理器，用于从存储器中读取可执行指令，并执行指令以实现本公开前述实施例所述的视频播放过程中的图像内容识别方法。

第四方面，本公开实施例提供了一种视频播放过程中的图像内容识别介质，包括：

存储介质存储有计算机程序，计算机程序用于执行本公开前述实施例所述的视频播放过程中的图像内容识别方法。

本公开实施例中，获取待处理视频，并提取目标帧图像，基于图像特征提取模型对目标帧图像进行提取，得到图像特征向量和目标对象向量，然后对目标对象向量进行识别，得到目标对象类别，基于目标对象向量和目标对象类别进行处理，得到目标对象整体特征向量并对其进行图片转换，得到目标对象图像，将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入图像拟态图像运动识别模型，得到每多张运动图像和运动图像特征，最后对其进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码，从而提高视频播放过程中图像识别的效率及精度。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的一种视频播放过程中的图像内容识别方法的流程示意图；

图2为本公开实施例提供的另一种视频播放过程中的图像内容识别方法的流程示意图；

图3为本公开实施例提供的一种视频播放过程中的图像内容识别装置的结构示意图；

图4为本公开实施例提供的一种电子设备的结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

在实际应用中，将视频转换为图像，但并不能完整表达图像的结构，存在丢失物体部分信息的问题，以及传统的图像识别技术，需要根据整体图像结构，包括固定场景，图像目标的色彩，图像轮廓特征进行多约束多目标的识别，但也存在由于固定场景，目标图像的色彩，图像轮廓在不同角度，距离以及光感的变化等问题造成图像无法有效识别等问题。

针对上述问题，本公开提出一种视频播放过程中的图像内容识别方法，通过获取待处理视频，并提取目标帧图像，基于图像特征提取模型对目标帧图像进行提取，得到图像特征向量和目标对象向量，然后对目标对象向量进行识别，得到目标对象类别，基于目标对象向量和目标对象类别进行处理，得到目标对象整体特征向量并对其进行图片转换，得到目标对象图像，将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入图像拟态图像运动识别模型，得到每多张运动图像和运动图像特征，最后对其进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码，从而提高视频播放过程中图像识别的效率及精度。

具体地，图1为本公开实施例提供的一种视频播放过程中的图像内容识别方法的流程示意图，包括：

步骤101、获取待处理视频，并提取待处理视频的目标帧图像。

其中，待处理视频可以为任意一个视频文件，本公开实施例对视频的来源不作限定，可以通过摄像头拍摄的视频、也可以是直播生成的视频。目标帧图像指的是待处理视频中任一帧图像，本公开实施例中指的是待处理视频的首帧图像或者是在视频播放过程中的图像内容识别处理过程中，确定出现变化的视频字符编码中的图像。

在本公开实施例中，提取待处理视频的目标帧图像的方式有很多种，作为一种示例，从待处理视频中时序源（帧时钟）控制时序帧过程时间内的图像，得到目标帧图像。

步骤102、基于预先训练的图像特征提取模型对目标帧图像进行提取，得到图像特征向量，并提取图像特征向量中的目标对象向量。

其中，图像特征提取模型可根据需要进行选择，如HOG（Histogram of OrientedGradient，方向梯度直方图）特征提取模型、LBP（Local Binary Pattern，局部二值模式）特征提取模型等，本公开对此不作任何限定。

在本公开实施例中，将目标帧图像输入预先训练的图像特征提取模型进行处理，得到图像特征、主题事物、图像实体、整体图像拟合描述图像轮廓特征、整体图像拟合描述图像特征作为图像特征向量，其中，该图像特征向量包括目标帧图像的多个部位的差分的位置信息，然后提取图像特征向量中的目标对象向量，比如人脸、某个动物和某个物品等。

具体地，图像特征向量包括：颜色、像素位置、静态、动态、变化、运动、转换幅度、字符起始位置、图像特征向量所表达的数学表示及转换目标范围中的一种或者多种；目标对象向量可以是一个或多个。

需要说明的是，由于图像存在多种不同轮廓及特征的情况，若需要通过图像的部分轮廓及特征来模拟补充完整的图像特征，则需要对图像及对应图像特征向量进行分割，而由于分割的图像不仅仅是对图像进行分割，图像对应的训练图像特征向量也需进行分割，因此需要利用特征向量进行图像的分割。

具体地，找到对应图像的顶点坐标，而顶点坐标对于一个图像来说会存在n个坐标位置，可以通过不同的顶点坐标位置找到全部的边，在找到全部顶点坐标后，遍历全部顶点坐标并形成顶点坐标的子集，并计算出最稀疏的边与边的关系，得到分割出的图像并转换得到图像的特征值及特征向量，对最小稀疏密度的图像特征值对应的特征向量寻找对应分量并形成降序序列排列，得到最小密度特征向量，通过最大、左、右边界进行向量特征的序列公式的调整，计算拟合过程中存在的非正常向量特征，推导计算出多维的向量特征，最终得到图像分割后的最优图像特征向量结果。

步骤103、基于预先训练的图像实体分类识别模型对目标对象向量进行识别，得到目标对象类别。

其中，图像实体分类识别模型可采用监督学习算法、深度机器学习算法以标记后的图像数据作为训练数据进行学习得到，其中，该图像数据包括图像的完整数据，该数据可根据其所属预先标注相应的属性。

在本公开实施例中，获取目标帧图像对应的场景类型，将场景类型和目标对象向量输入图像实体分类识别模型，得到每个目标对象在场景类型下的目标对象类别。

具体地，将场景信息，目标帧图像尺寸比例信息、目标帧图像特征信息以及三维结构的数据输入三维构建识别转换模型，得到目标帧图像对应的场景类型，然后将场景类型和目标对象向量输入图像实体分类识别模型，得到每个目标对象在场景类型下的目标对象类别。

步骤104、基于目标对象向量和目标对象类别进行处理，得到每个目标对象对应的目标对象整体特征向量。

在本公开实施例中，将目标对象向量和目标对象类别输入图像三维构建识别模型，得到识别结果，基于识别结果确定每个目标对象不同部位的图像之间的尺寸比例、图像差分比例和图像三维，构建三维完整结构，得到每个目标对象对应的目标对象整体特征向量，如通过飞机的机翼图像特征可以识别转换完整的飞机图像的图像特征。

通常每个目标对象不同部位的图像之间的尺寸比例不同，因此可根据每个目标对象不同部位的图像之间的尺寸比例标识唯一个体，基于此，可从上述图像中区分出不同的图像，即一组图像尺寸比例对应于一个个体，当需识别某一图像目标对象的类别时，可先基于该目标对象的不同部位的之间的尺寸比例，通过图像三维构建识别模型来标识该图像目标对象。

可选地，在得到图像的三维完整结构的图像特征后，可将图像的三维完整结构的图像特征作为输入数据输入对应的目标视频字符编码处理系统转换形成目标视频的字符编码以及对应的字符编码字典。

步骤105、对目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于目标帧图像的视频编码位置确定目标对象图像的目标视频编码位置。

其中，图片转换的方式可根据需要进行选择，在本公开实施例中，通过对目标对象整体性特征向量进行图片转换，得到相应的目标对象图像，并通过视频编码同步识别，确定出目标对象信号幅度变化、连续信息流运动变化及运动的图像编码位置，最终确定出目标对象图像的目标视频编码位置。

步骤106、将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征。

为了更加高效、精确的识别出连续信息流运动变化及运动的图像，需要将上述获取的目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入到预先已训练的图像拟态图像运动识别模型，进而得到每个目标对象对应的多张运动图像和运动图像特征。

步骤107、对多张运动图像和运动图像特征进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码。

具体地，通过预设的编码算法对多张运动图像和运动图像特征进行字符转换，得到待处理视频播放过程中的目标视频字符编码。

本公开实施例提供的一种视频播放过程中的图像内容识别方案，获取待处理视频，并提取待处理视频的目标帧图像，基于预先训练的图像特征提取模型对目标帧图像进行提取，得到图像特征向量，并提取图像特征向量中的目标对象向量，基于预先训练的图像实体分类识别模型对目标对象向量进行识别，得到目标对象类别，基于目标对象向量和目标对象类别进行处理，得到每个目标对象对应的目标对象整体特征向量，对目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于目标帧图像的视频编码位置确定目标对象图像的目标视频编码位置，将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征，对多张运动图像和运动图像特征进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码，本公开通过图像尺寸比例、图像差分比例、图像三维构建的方法进行完整三维图像构建，并转换符合当前目标视频的视频字符编码，通过字符识别连续信息流运动变化及运动的图像的同时，如出现识别过程中未出现及运动幅度超过阈值的视频字符编码，则提取视频并转换形成图片进行再次识别，从而提高图像的识别精度。

图2为本公开实施例提供的另一种视频播放过程中的图像内容识别方法的流程示意图，包括：

步骤201、获取待处理视频，并提取待处理视频的目标帧图像。

步骤202、基于预先训练的图像特征提取模型对目标帧图像进行提取，得到图像特征向量，并提取图像特征向量中的目标对象向量。

需要说明的是，步骤201-202与上述步骤101-102相同，具体参见对步骤101-102的描述，此处不再详述。

步骤203、获取目标帧图像对应的场景类型，将场景类型和目标对象向量输入图像实体分类识别模型，得到每个目标对象在场景类型下的目标对象类别。

其中，场景类型可以是用户在预测目标帧图像实体的场景类型时用户指定的场景类型，基于此，将目标帧图像实体的场景类型的识别结果输入拟人高速推理识别模型、即可识别出目标帧图像实体当前的图像在该场景下的含义，其中，场景可以包括体育运动、日常生活以及公共场所等，又或者，这些场景还可被细分为多种子场景，以体育运动为例，还可分为更为具体的各种体育运动，基于此，在用户指定了当前是某一项体育运动后，可识别出该图像实体属于该项目体育运动中的含义。

步骤204、将目标对象向量和目标对象类别输入图像三维构建识别模型，得到识别结果，基于识别结果确定每个目标对象不同部位的图像之间的尺寸比例、图像差分比例和图像三维，构建三维完整结构，得到每个目标对象对应的目标对象整体特征向量。

其中，图像三维构建识别模型可基于目前已知的监督学习算法、深度机器学习算法对预先构建的训练数据集进行训练得到，该训练数据集中可包括预先标注了各种动作类型的不同部位的图像之间的图像特征尺寸比例数据，以及图像实体的三维结构的数据；图像的三维完整结构可包括图像尺寸比例、图像特征、图像各节点对应的坐标值、图像实体类型等；图像的识别结果至少包括：图像各部位的图像的特征、轮廓、尺寸及位置，其中，图像各部位的图像特征的图像尺寸比例、图像特征、位置信息如图像各部位的图像特征对应的视频字符坐标值。

每个目标对象不同部位至少包括以下7种：圆心左上、圆心左腰部、圆心左下腰部、圆心右上、圆心右腰部、圆心右下腰部、圆心0.5半径、圆心0.6半径、圆心0.7半径、圆心0.8半径、圆心0.9半径、圆心180度/12、圆心-180度/12、圆心450度/12、圆心580度/12。

在本公开一些实施例中，首先将目标对象向量和目标对象类别输入图像三维构建识别模型，得到识别结果，然后将识别结果输入预先训练完成的图像差分比例识别模型得到每个目标对象不同部位的图像之间的尺寸比例，再跟据每个目标对象不同部位的图像之间的尺寸比例、图像差分比例和图像三维，构建三维完整结构，从而得到每个目标对象对应的目标对象整体特征向量。

以三组为例对三维完整结构进行说明，如其中一组包括：圆心左上、圆心左腰部、圆心左下腰部以及圆心0.5半径的图像尺寸、图像特征，一组包括：圆心右上、圆心右腰部、圆心右下腰部以及圆心0.6半径的图像尺寸、图像特征，另一组包括：圆心0.5半径、圆心0.9半径、圆心180度/12以及圆心580度/12的图像尺寸、图像特征。

在本公开另一些实施例中，在图像三维构建识别模型中输入图像的圆心左上、圆心左腰部、圆心左下腰部、圆心右上、圆心右腰部、圆心右下腰部、圆心0.5半径、圆心0.6半径、圆心0.7半径、圆心0.8半径、圆心0.9半径、圆心180度/12、圆心-180度/12、圆心450度/12、圆心580度/12以及图像一个或多个部位的图像，识别不完整的三维结构对应目标对象的图像特征。

具体地，识别不完整图像的图像特征，如在训练该模型时，设定了输出包括飞机机翼与飞机机身之间的尺寸比例，飞机机翼与飞机机身之间的图像差分比例、飞机机翼与飞机机身之间图像指示的方位或位置关系为基于图像的方位或位置关系、飞机机翼与飞机机身之间的图像三维构建三维完整结构数据，则在将目标对象的图像特征输入该模型后，该模型可输出完整的三维结构对应目标对象的图像特征。

需要说明的是，对于不同的图像方位坐标来说，其各部位的图像方位坐标的尺寸具有一定的差别，因此，如需将某个体明显区别于其他个体，可以参考多组不同部位图像之间识别构建体现某个个体与其他个体之间的差异，在不影响系统运行效率的基础上，可确定出图像多个部位的图像特征之间的图像特征关系以及图像特征在连续动作时的比例变化关系。

在本公开又一些实施例中，在得到图像各节点的图像特征坐标后，可将图像各节点的图像特征坐标作为输入数据输入预先训练完成的三维构建识别转换模型，该模型可基于该输入数据构建图像的三维结构，输出图像的圆心左上、圆心左腰部、圆心左下腰部、圆心右上、圆心右腰部、圆心右下腰部、圆心0.5半径、圆心0.6半径、圆心0.7半径、圆心0.8半径、圆心0.9半径、圆心180度/12、圆心-180度/12、圆心450度/12、圆心580度/12以及图像一个或多个部位的图像之间的指示的方位或位置关系为基于图像的方位或位置关系。

进一步地，训练转换图像的不完整图像的图像特征三维结构中各节点的图像特征坐标，该图像可以包括图像一个或多个部位的图像之间的指示的方位或位置关系为基于图像的方位或位置关系，识别不完整图像的图像特征，识别并构建不完整三维立体对应图像目标的图像特征，如，可获取飞机机翼与飞机机身之间的图像尺寸比例，飞机机翼与飞机机身之间的图像差分比例、飞机机翼与飞机机身之间的图像三维构建三维完整结构数据作为训练数据集。

从而基于该训练数据集进行学习，构建图像三维构建识别模型，形成图像的不完整三维立体特征，其中，图像的三维构建识别转换模型可以采用目前已知的监督学习算法、深度机器学习算法以标记后的图像实体分类识别模型进行尺寸比例、图像差分比例、图像三维构建进行训练得到。

步骤205、对目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于目标帧图像的视频编码位置确定目标对象图像的目标视频编码位置。

步骤206、将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征。

步骤207、对多张运动图像和运动图像特征进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码。

需要说明的是，步骤205-207与上述步骤105-107相同，具体参见对步骤105-107的描述，此处不再详述；步骤207后可执行步骤208或步骤209或步骤210或步骤211。

步骤208，获取原始视频字符编码，将原始视频字符编码和目标视频字符编码输入视频字符编码多重序列比对系统进行对比，得到待处理视频字符编码，提取待处理视频字符编码中的图像作为目标帧图像。

在本公开实施例中，将原始视频字符编码以及上述转换识别完成得到的确定出视频目标对象未播放的视频信号幅度变化、连续信息流运动变化及运动的视频字符编码即目标视频编码输入视频字符编码多重序列对比系统进行对比，得到出现变化的视频字符编码即待处理视频字符编码，提取该待处理视频字符编码中的图像作为目标帧图像，然后再次执行步骤201-207步骤。

步骤209、获取图像拟态图像运动识别模型未能检测识别得到多张运动图像和运动图像特征的目标对象整体特征向量作为训练特征向量，根据训练特征向量进行目标对象图像拟态运动图像训练识别，得到训练结果，根据训练结果对图像拟人高速推理识别模型的图像特征向量库进行更新处理。

在本公开实施例中，若多张运动图像和运动图像特征不能被图像拟态图像运动识别模型识别时，可将多张运动图像和运动图像特征作为训练特征向量，并对其进行目标对象图像拟态运动图像训练识别，得到训练结果，再跟据训练结果对图像拟人高速推理识别模型的图像特征向量库进行更新处理。

同理，也可以运用在图像三维构建识别模型、三维构建识别转换模型、图像拟态运动识别模型、图像差分比例识别模型、图像拟态运动图像训练识别模型、图像实体分类识别模型、图像特征提取模型、拟人高速推理识别模型中，以实现对模型的更新，本公开在此不再赘述。

步骤210、接收训练图像以及对训练图像的标注信息，其中，标注信息包括训练图像中的实体类型、实体名称以及实体类型对应的场景类型，将训练图像以及标注信息作为训练数据重新训练图像拟态图像运动识别训练模型，得到重新训练完成的图像拟态运动识别模型并同时形成图像拟人高速推理识别模型使用的图像特征向量库。

在本公开实施例中，当用户向服务器上传一段视频，且选择了该视频对应的场景类型，服务器接收到该数据后，可将该数据保存为图像拟态运动图像训练识别模型的训练数据，基于这些训练数据重新训练图像拟态运动图像训练识别模型可使得训练得到的图像拟态运动识别模型能够对更多类型的场景下的更多种类的动作进行识别。

步骤211、多个处理模型和视频字符编码多重序列比对系统部署于设备中。

其中，多个处理模型包括：图像特征提取模型、图像实体分类识别模型、图像拟态图像运动识别模型、图像拟人高速推理识别模型、图像三维构建识别模型。

具体地，获取设备的工况参数、每个处理模型的参数和视频字符编码多重序列比对系统的参数，根据设备的工况参数、每个处理模型的参数和视频字符编码多重序列比对系统的参数确定设备的目标配置参数，根据目标配置参数调整设备的控制参数。

在本公开一些实施例中，基于历史数据库（该数据库中存储有模型参数的历史数据及在模型运行过程中记录其他的历史数据）与每个处理模型库，通过对DCS（DistributedControl Systems，分布式控制系统）的监测数据参数集和设备工况参数集与设备功率因素的函数关系进行分析，并将设备的多个约束因素进行考虑，最终得到设备的目标配置参数。

其中，设备的多个约束因素可包括：内存、GPU（图形处理器，Graphics ProcessingUnit）、CPU（Central Processing Unit，中央处理器）以及网络等因素，在确定出目标配置参数后，可将该配置参数发送至DCS，以使DCS通过执行系统平台发出的控制指令，对设备的运行状态进行调整，此外，每个处理模型的参数可通过自动寻优算法、决策算法、DNA算法、蜂群算法根据设置的目标调节。

在本公开另一些实施例中，可根据DCS的设备工况数据、图像实体动作的动作数据及图像环境监测的图像环境的数据、视频数据，在每个处理模型库中，查找目标图像实体，根据查找到的模型确定出设备的目标控制参数，根据该目标控制参数调节每个处理模型的参数，保存调节后的模型作为新的识别模型，同时本公开的一个或多个模型之间，可采用分布式技术、密集计算型架构技术、多模态神经网络技术、大数据技术等。

本公开实施例提供的一种视频播放过程中的图像内容识别方案，获取待处理视频，并提取待处理视频的目标帧图像，基于预先训练的图像特征提取模型对目标帧图像进行提取，得到图像特征向量，并提取图像特征向量中的目标对象向量，获取目标帧图像对应的场景类型，将场景类型和目标对象向量输入图像实体分类识别模型，得到每个目标对象在场景类型下的目标对象类别，将目标对象向量和目标对象类别输入图像三维构建识别模型，得到识别结果，基于识别结果确定每个目标对象不同部位的图像之间的尺寸比例、图像差分比例和图像三维，构建三维完整结构，得到每个目标对象对应的目标对象整体特征向量，对目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于目标帧图像的视频编码位置确定目标对象图像的目标视频编码位置，将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征，对多张运动图像和运动图像特征进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码，获取原始视频字符编码，将原始视频字符编码和目标视频字符编码输入视频字符编码多重序列比对系统进行对比，得到待处理视频字符编码，提取待处理视频字符编码中的图像作为目标帧图像，再次执行上述操作，或获取图像拟态图像运动识别模型未能检测识别得到多张运动图像和运动图像特征的目标对象整体特征向量作为训练特征向量，根据训练特征向量进行目标对象图像拟态运动图像训练识别，得到训练结果，根据训练结果对图像拟态图像运动识别模型的图像特征向量库进行更新处理，或接收训练图像以及对训练图像的标注信息，其中，标注信息包括训练图像中的实体类型、实体名称以及实体类型对应的场景类型，将训练图像以及标注信息作为训练数据重新训练图像拟态图像运动识别训练模型，得到重新训练完成的图像拟态运动识别模型并同时形成图像拟人高速推理识别模型使用的图像特征向量库，或多个处理模型和视频字符编码多重序列比对系统部署于设备中，从而在视频实时播放过程中可以高效识别图像，在繁多的实时数据中分析出最优的配置参数，免除了人工配置，实现了实时的自动优化，并且该数据通常不受图像中背景、色彩等外在因素影响，因此基于这些数据转换形成的视频字符编码通过字符的识别更加高效、精确。

为了便于对本公开一个或多个实施例提供的视频播放过程中图像内容识别方法的理解，分别从图像识别及模型训练两方面进行描述。

具体地，图像识别：1．获取待处理视频；2．基于待处理视频提取目标帧图像；3．基于目标帧图像识别图像特征；4．基于图像特征识别转换目标图像三维完整图像特征、图像实体；5．基于图像三维完整图像特征转换目标视频字符编码；6．基于目标视频字符编码识别目标视频播放过程中变化、运动的视频帧；7．基于视频播放过程中变化、运动的视频帧提取图像特征（最小范围图像的特征）；8．基于图像特征（最小范围图像的特征）识别图像三维完整图像特征、图像实体。

模型训练：1．基于获取到的图像实体数据通过图像特征提取模型构建训练图像实体图像特征数据结构；2．基于图像实体图像特征数据训练图像实体分类识别模型，将图像实体图像特征数据输入训练图像实体分类识别模型，训练得到图像实体分类数据；3．基于图像实体分类数据、图像特征数据训练三维构建识别转换模型，得到一个或多个图像的图像尺寸比例、图像特征数据；4．基于图像实体分类数据、图像特征数据训练图像差分比例识别模型，增强验证补充三维构建识别转换模型，训练构建得到的图像实体的一个或多个图像的图像尺寸比例、图像特征数据；5．基于图像实体的一个或多个图像的图像尺寸比例、图像特征数据输入训练完成的图像三维构建识别模型，训练得到图像实体完整的三维图像特征数据；6．基于图像实体完整的三维图像特征数据输入图像拟态运动图像训练识别模型，识别得到图像拟态运动识别模型，训练得到图像运动过程中图像各节点对应的坐标值、图像特征、图像尺寸比例、图像实体类型数据；7．基于图像运动过程中图像各节点对应的坐标值、图像特征、图像尺寸比例、图像实体类型数据输入拟人高速推理识别模型，训练得到目标视频坐标、圆心角度、空间记忆、空间偏移、完整三维图像特征、图像尺寸比例、图像实体、图像实体类型的字符编码数据；8．根据视频坐标、圆心角度、空间记忆、空间偏移、完整三维图像特征、图像尺寸比例、图像实体、图像实体类型的字符编码数据得到符合当前播放视频字符编码的数据结构，根据符合当前播放视频字符编码的数据结构得到视频中变化、运动幅度识别结果无法识别的数据结果。

此外，本公开涉及的技术优势包括如下：1.等效时间帧速率>10k fps；2.像素级别曝光调节，极暗或极亮的光照，实现>120dB的动态范围，低光灵敏度<1lux；3.更优的微光性能，眼跳或微表情检测；4.响应时间< 4毫秒；5.算法捕捉时间分辨率达5-10微秒的运动，并处理与之相关的运动模糊；6.时间可放慢至7000-9000倍。

图3为本公开实施例提供的一种视频播放过程中的图像内容识别装置的结构示意图，该装置包括：第一获取模块301、第一提取模块302、第一识别模块303、处理模块304、转换确定模块305、输入模块306、转换模块307，其中，

第一获取模块301，用于获取待处理视频，并提取待处理视频的目标帧图像；

第一提取模块302，用于基于预先训练的图像特征提取模型对目标帧图像进行提取，得到图像特征向量，并提取图像特征向量中的目标对象向量；

第一识别模块303，用于基于预先训练的图像实体分类识别模型对目标对象向量进行识别，得到目标对象类别；

处理模块304，用于基于目标对象向量和目标对象类别进行处理，得到每个目标对象对应的目标对象整体特征向量；

转换确定模块305，用于对目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于目标帧图像的视频编码位置确定目标对象图像的目标视频编码位置；

输入模块306，用于将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征；

转换模块307，用于对多张运动图像和运动图像特征进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码。

可选地，提取模块302，具体用于：

提取图像特征向量中颜色、像素位置、静态、动态、变化、运动、转换幅度、字符起始位置、图像特征向量所表达的数学表示及转换目标范围中的一种或者多种。

可选地，识别模块303，具体用于：

获取目标帧图像对应的场景类型；

将场景类型和目标对象向量输入图像实体分类识别模型，得到每个目标对象在场景类型下的目标对象类别。

可选地，处理模块，具体用于：

将目标对象向量和目标对象类别输入图像三维构建识别模型，得到识别结果；

基于识别结果确定每个目标对象不同部位的图像之间的尺寸比例、图像差分比例和图像三维，构建三维完整结构，得到每个目标对象对应的目标对象整体特征向量。

可选地，所述装置还包括：

第二获取模块，用于获取原始视频字符编码；

对比模块，用于将原始视频字符编码和目标视频字符编码输入视频字符编码多重序列比对系统进行对比，得到待处理视频字符编码；

第二提取模块，用于提取待处理视频字符编码中的图像作为目标帧图像。

可选地，所述装置还包括：

第三获取模块，用于获取图像拟态图像运动识别模型未能检测识别得到多张运动图像和运动图像特征的目标对象整体特征向量作为训练特征向量；

第二识别模块，用于根据训练特征向量进行目标对象图像拟态运动图像训练识别，得到训练结果；

更新模块，用于根据训练结果对图像拟人高速推理识别模型拟态图像运动识别模型的图像特征向量库进行更新处理。

可选地，所述装置还包括：

接收模块，用于接收训练图像以及对训练图像的标注信息，其中，标注信息包括训练图像中的实体类型、实体名称以及实体类型对应的场景类型；

获得模块，用于将训练图像以及标注信息作为训练数据重新训练图像拟态图像运动识别训练模型，得到重新训练完成的图像拟态运动识别模型并同时形成图像拟态运动识别模型使用的图像特征向量库。

可选地，所述装置还包括：

第四获取模块，用于获取设备的工况参数、每个处理模型的参数和视频字符编码多重序列比对系统的参数；

比对模块，用于根据设备的工况参数、每个处理模型的参数和视频字符编码多重序列比对系统的参数确定设备的目标配置参数；

调整模块，用于根据目标配置参数调整设备的控制参数。

图4为本公开实施例提供的一种电子设备的结构示意图。

下面具体参考图4，其示出了适于用来实现本公开实施例中的电子设备400的结构示意图。本公开实施例中的电子设备400可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，电子设备400可以包括处理装置（例如中央处理器、图形处理器等）401，其可以根据存储在只读存储器（ROM）402中的程序或者从存储装置408加载到随机访问存储器（RAM）403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出（I/O）接口405也连接至总线404。

通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的流量检测规则的生成方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取待处理视频，并提取待处理视频的目标帧图像，基于预先训练的图像特征提取模型对目标帧图像进行提取，得到图像特征向量，并提取图像特征向量中的目标对象向量，基于预先训练的图像实体分类识别模型对目标对象向量进行识别，得到目标对象类别，基于目标对象向量和目标对象类别进行处理，得到每个目标对象对应的目标对象整体特征向量，对目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于目标帧图像的视频编码位置确定目标对象图像的目标视频编码位置，将每个目标对象对应的目标对象类别、目标对象整体特征向量和目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征，对多张运动图像和运动图像特征进行编码字符转换，得到待处理视频播放过程中的目标视频字符编码。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Python、Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种视频播放过程中的图像内容识别方法，其特征在于，包括：

获取待处理视频，并提取所述待处理视频的目标帧图像；

基于预先训练的图像特征提取模型对所述目标帧图像进行提取，得到图像特征向量，并提取所述图像特征向量中的目标对象向量；

基于预先训练的图像实体分类识别模型对所述目标对象向量进行识别，得到目标对象类别；

基于所述目标对象向量和所述目标对象类别进行处理，得到每个目标对象对应的目标对象整体特征向量；

对所述目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于所述目标帧图像的视频编码位置确定所述目标对象图像的目标视频编码位置；

将每个目标对象对应的所述目标对象类别、所述目标对象整体特征向量和所述目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征；

对所述多张运动图像和所述运动图像特征进行编码字符转换，得到所述待处理视频播放过程中的目标视频字符编码。

2.根据权利要求1所述的视频播放过程中的图像内容识别方法，其特征在于，还包括：

获取原始视频字符编码；

将所述原始视频字符编码和所述目标视频字符编码输入视频字符编码多重序列比对系统进行对比，得到待处理视频字符编码；

提取待处理视频字符编码中的图像作为所述目标帧图像。

3.根据权利要求1所述的视频播放过程中的图像内容识别方法，其特征在于，还包括：

获取所述图像拟态图像运动识别模型未能检测识别得到多张运动图像和运动图像特征的目标对象整体特征向量作为训练特征向量；

根据所述训练特征向量进行目标对象图像拟态运动图像训练识别，得到训练结果；

根据所述训练结果对所述图像拟人高速推理识别模型的图像特征向量库进行更新处理。

4.根据权利要求1所述的视频播放过程中的图像内容识别方法，其特征在于，还包括：

接收训练图像以及对所述训练图像的标注信息，其中，所述标注信息包括所述训练图像中的实体类型、实体名称以及所述实体类型对应的场景类型；

将所述训练图像以及所述标注信息作为训练数据重新训练所述图像拟态图像运动识别训练模型，得到重新训练完成的图像拟态运动识别模型并同时形成所述图像拟态运动识别模型使用的图像特征向量库。

5.根据权利要求1所述的视频播放过程中的图像内容识别方法，其特征在于，所述基于预先训练的图像实体分类识别模型对所述目标对象向量进行识别，得到目标对象类别，包括：

获取所述目标帧图像对应的场景类型；

将所述场景类型和所述目标对象向量输入所述图像实体分类识别模型，得到每个目标对象在所述场景类型下的目标对象类别。

6.根据权利要求1所述的视频播放过程中的图像内容识别方法，其特征在于，所述基于所述目标对象向量和所述目标对象类别进行处理，得到每个目标对象对应的目标对象整体特征向量，包括：

将所述目标对象向量和所述目标对象类别输入图像三维构建识别模型，得到识别结果；

基于所述识别结果确定每个目标对象不同部位的图像之间的尺寸比例、图像差分比例和图像三维，构建三维完整结构，得到每个目标对象对应的目标对象整体特征向量。

7.根据权利要求1所述的视频播放过程中的图像内容识别方法，其特征在于，所述图像特征向量包括：颜色、像素位置、静态、动态、变化、运动、转换幅度、字符起始位置、图像特征向量所表达的数学表示及转换目标范围中的一种或者多种。

8.根据权利要求1-7任一项所述的视频播放过程中的图像内容识别方法，其特征在于，多个处理模型和视频字符编码多重序列比对系统部署于设备中，其中，所述多个处理模型包括：图像特征提取模型、图像实体分类识别模型、图像拟态图像运动识别模型、图像拟人高速推理识别模型、图像三维构建识别模型，所述方法还包括：

获取所述设备的工况参数、每个处理模型的参数和视频字符编码多重序列比对系统的参数；

根据所述设备的工况参数、所述每个处理模型的参数和所述视频字符编码多重序列比对系统的参数确定所述设备的目标配置参数；

根据所述目标配置参数调整所述设备的控制参数。

9.一种视频播放过程中的图像内容识别装置，其特征在于，包括：

第一获取模块，用于获取待处理视频，并提取所述待处理视频的目标帧图像；

第一提取模块，用于基于预先训练的图像特征提取模型对所述目标帧图像进行提取，得到图像特征向量，并提取所述图像特征向量中的目标对象向量；

第一识别模块，用于基于预先训练的图像实体分类识别模型对所述目标对象向量进行识别，得到目标对象类别；

处理模块，用于基于所述目标对象向量和所述目标对象类别进行处理，得到每个目标对象对应的目标对象整体特征向量；

转换确定模块，用于对所述目标对象整体特征向量进行图片转换，得到每个目标对象对应的目标对象图像，并基于所述目标帧图像的视频编码位置确定所述目标对象图像的目标视频编码位置；

输入模块，用于将每个目标对象对应的所述目标对象类别、所述目标对象整体特征向量和所述目标视频编码位置输入预先训练的图像拟态图像运动识别模型，得到每个目标对象对应的多张运动图像和运动图像特征；

转换模块，用于对所述多张运动图像和所述运动图像特征进行编码字符转换，得到所述待处理视频播放过程中的目标视频字符编码。

10.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-8中任一所述的视频播放过程中的图像内容识别方法。

11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-8中任一所述的视频播放过程中的图像内容识别方法。

Images