CN113365027B - 视频处理方法及装置、电子设备和存储介质 - Google Patents

Abstract

本申请提供了一种视频处理方法及装置、电子设备和存储介质，其中，该方法包括：获取视频流的视频帧，视频帧中包括采集的第一目标对象；基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；基于目标影响因子的得分对结构化信息进行提取。本申请实施例有利于降低视频结构化处理中对计算资源的消耗。

Description

视频处理方法及装置、电子设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种视频处理方法及装置、电子设备和存储介质。

背景技术

随着计算机视觉技术的发展，智能视频分析被广泛应用于安防监控领域，对维护社会治安、保障人们日常生活有着重要作用。智能视频分析依赖于视频结构化技术，视频结构化技术用于提取视频中目标或物体的特征属性，并对提取出的特征属性进行识别和分析，将其转化成可供计算机和人理解的信息。目前面向安防领域的视频结构化，在提取特征属性时通常采用间隔抽帧的方式，由于间隔抽帧的方式对同一个目标会有多次提取、计算操作，处理频率较高，计算资源消耗大。

发明内容

针对上述问题，本申请提供了一种视频处理方法及装置、电子设备和存储介质，有利于降低对计算资源的消耗。

为实现上述目的，本申请实施例提供了一种视频处理方法，该方法包括：

获取视频流的视频帧，视频帧中包括采集的第一目标对象；

基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；

基于目标影响因子的得分对结构化信息进行提取。

在一种可能的实施方式中，基于目标影响因子的得分对结构化信息进行提取，包括：

基于目标影响因子的得分计算得到第一目标对象的综合质量得分；

在综合质量得分大于或等于得分阈值的情况下，对结构化信息进行提取。

在一种可能的实施方式中，基于视频帧获取目标影响因子的得分，包括：

对视频帧进行目标检测，得到第一目标对象的第一检测框和类别信息；

基于第一检测框，从视频帧中截取出包括第一目标对象的目标对象区域图像；

根据目标对象区域图像获取第一目标对象的清晰度得分；

根据类别信息获取第一目标对象的角度得分；

根据第一检测框在视频帧中的位置信息和类别信息获取第一目标对象的尺寸得分；以及

根据位置信息获取第一目标对象的遮挡比得分和第一目标对象的位置得分；

其中，目标影响因子包括第一目标对象的清晰度、尺寸、角度、遮挡比以及位置中的至少一个。

在一种可能的实施方式中，根据目标对象区域图像获取第一目标对象的清晰度得分，包括：

获取目标对象区域图像的灰度图；

对灰度图进行归一化处理，获取归一化处理后的灰度图的梯度信息；

根据梯度信息得到清晰度得分。

在一种可能的实施方式中，根据类别信息获取第一目标对象的角度得分，包括：

在类别信息为第一预设类别的情况下，获取第一目标对象的第一旋转角度和第二旋转角度，根据第一旋转角度和第二旋转角度得到角度得分；

在类别信息为第二预设类别的情况下，将第二预设类别对应的预设值确定为角度得分；

在类别信息为第三预设类别，且获取到第一目标对象所属主体的至少一个角度的情况下，获取至少一个角度中每个角度对应的预设值，根据至少一个角度中每个角度对应的预设值得到角度得分。

在一种可能的实施方式中，根据第一检测框在视频帧中的位置信息和类别信息获取第一目标对象的尺寸得分，包括：

根据位置信息得到目标对象区域图像的宽度信息；

根据宽度信息和类别信息得到尺寸得分。

在一种可能的实施方式中，根据位置信息获取第一目标对象的遮挡比得分和第一目标对象的位置得分，包括：

根据位置信息确定第一目标对象存在遮挡；

根据遮挡第一目标对象的第二目标对象的第二检测框和第一检测框获取第一目标对象的遮挡比；

根据第一目标对象的遮挡比得到遮挡比得分；以及

根据位置信息确定出目标位置信息；

根据目标位置信息与视频帧的尺寸计算得到目标比值；

根据目标比值与视频帧中的预设区域得到位置得分。

本申请另一些实施例提供了一种视频处理装置，该装置包括：

收发单元，用于获取视频流的视频帧，视频帧中包括采集的第一目标对象；

处理单元，用于基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；

处理单元，还用于基于目标影响因子的得分对结构化信息进行提取。

本申请另一些实施例提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行以下步骤：

获取视频流的视频帧，视频帧中包括采集的第一目标对象；

基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；

基于目标影响因子的得分对结构化信息进行提取。

本申请另一些实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行以下步骤：

获取视频流的视频帧，视频帧中包括采集的第一目标对象；

基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；

基于目标影响因子的得分对结构化信息进行提取。

可以看出，本申请实施例通过获取视频流的视频帧，视频帧中包括采集的第一目标对象；基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；基于目标影响因子的得分对结构化信息进行提取。这样针对视频帧中的任一目标对象，通过综合考量影响其结构化信息的提取精度的目标影响因子，对该目标影响因子进行量化，只在目标影响因子的得分满足精度要求的情况下才提取结构化信息，有利于降低处理频率，从而降低对计算资源的消耗。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种应用环境的示意图；

图2为本申请实施例提供的一种视频处理方法的流程示意图；

图3为本申请实施例提供的一种确定第一目标对象存在遮挡的示意图；

图4为本申请实施例提供的一种获取第一目标对象位置得分的示意图；

图5为本申请实施例提供的一种结构化信息可视化的示意图；

图6为本申请实施例提供的另一种视频处理方法的流程示意图；

图7为本申请实施例提供的一种视频处理装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

本申请实施例提出一种视频处理方法，可基于图1所示的应用环境实施，如图1所示，该应用环境包括电子设备101、图像采集装置102，电子设备101通过有线或无线网络与图像采集装置102连接，应当理解的，图像采集装置102可将采集的实时视频以视频流的形式传输至电子设备101，由电子设备101对视频流中的视频帧进行处理。

具体的，电子设备101可通过本申请实施例提供的视频处理方法对视频帧中的目标对象进行结构化信息的提取精度的影响因子分析，基于该影响因子的量化得分计算出目标对象的综合质量得分，对于综合质量得分满足要求的目标对象，电子设备101可执行结构化信息提取操作，而对于综合质量得分不满足要求的目标对象，电子设备101将不执行结构化信息提取操作，这样既能满足目标对象结构化信息提取的精度要求，也能降低电子设备101的处理频率。可选的，电子设备101还可基于本地视频执行上述视频处理方法，本地视频可以是图像采集装置102历史采集的视频，由电子设备101保存在本地，也可是由电子设备101从第三方数据库获取的视频，比如，研发人员在算法开发过程中，可采用本地视频进行算法测试。

电子设备101可以是独立的物理服务器、视频结构化服务器，也可以是服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器，进一步还可以是端侧设备，比如视频结构化相机、视频结构化盒子。图像采集装置102可以是安防监控系统中的摄像头、摄像机等，即本申请实施例可以应用于算法开发、实际安防监控(比如交通路口，小区出入口)等场景中。

以下结合相关附图对本申请实施例提供的视频处理方法进行详细阐述。

请参见图2，图2为本申请实施例提供的一种视频处理方法的流程示意图，应用于电子设备，如图2所示，包括步骤201-203：

201：获取视频流的视频帧，视频帧中包括采集的第一目标对象。

本申请实施例中，视频流可以是图像采集装置采集的实时视频流，也可以是电子设备的本地视频流，视频帧可以是视频流中每一帧视频图像，比如通过对实时视频流进行解码便可得到视频帧。示例性的，第一目标对象可以是视频帧中的任一对象，第一目标对象可以是人脸、人体及车辆等。

202：基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子。

本申请实施例中，通过对实际场景下会对目标对象的结构化信息的提取精度造成影响的因素进行分析，发现目标对象在视频中的清晰度、尺寸、角度、遮挡比及位置等都是影响其结构化信息提取精度的重要因子。也就是说，本申请实施例中的目标影响因子包括第一目标对象的清晰度、尺寸、角度、遮挡比以及位置中的至少一个，应当理解的，多数场景下为了提高第一目标对象选取的精度，目标影响因子通常是多个。

示例性的，上述基于视频帧获取目标影响因子的得分，包括：

对视频帧进行目标检测，得到第一目标对象的第一检测框和类别信息；

基于第一检测框，从视频帧中截取出包括第一目标对象的目标对象区域图像；

根据目标对象区域图像获取第一目标对象的清晰度得分；

根据类别信息获取第一目标对象的角度得分；

根据第一检测框在视频帧中的位置信息和类别信息获取第一目标对象的尺寸得分；以及

根据位置信息获取第一目标对象的遮挡比得分和第一目标对象的位置得分。

本申请实施例中，在获取到视频帧的情况下，电子设备可调用目标检测算法对视频帧进行目标检测，针对第一目标对象，由目标检测算法处理后将得到其检测框(即第一检测框)和类别信息，基于该第一检测框在视频帧中的位置信息进行第一目标对象的截取，得到目标对象区域图像。

示例性的，上述根据目标对象区域图像获取第一目标对象的清晰度得分，包括：

获取目标对象区域图像的灰度图；

对灰度图进行归一化处理，获取归一化处理后的灰度图的梯度信息；

根据梯度信息得到清晰度得分。

本申请实施例中，将目标对象区域图像转换为灰度图，将该灰度图归一化到预设尺寸，比如80*80像素，对于归一化后的灰度图，采用图像梯度算法计算其梯度信息，将该梯度信息线性映射为预设清晰度得分范围(0.5,1)中的值，得到清晰度得分，比如梯度信息为80，则清晰度得分为0.8。该实施方式中采用目标对象区域图像的灰度图计算梯度信息，有利于凸显目标对象的边缘。

示例性的，上述根据类别信息获取第一目标对象的角度得分，包括：

在类别信息为第一预设类别的情况下，获取第一目标对象的第一旋转角度和第二旋转角度，根据第一旋转角度和第二旋转角度得到角度得分；

在类别信息为第二预设类别的情况下，将第二预设类别对应的预设值确定为角度得分；

在类别信息为第三预设类别，且获取到第一目标对象的至少一个角度的情况下，获取至少一个角度中每个角度对应的预设值，根据至少一个角度中每个角度对应的预设值得到角度得分。

本申请实施例中，第一预设类别可以是人脸，第一旋转角度和第二旋转角度为人脸姿态的两个旋转角度，即第一旋转角度是指围绕视频帧左上角为原点的坐标轴的X轴旋转角度pitch，第二旋转角度是指围绕该坐标轴的Y轴旋转角度yaw。其中，第一旋转角度和第二旋转角度可通过训练好的人脸角度模型获取。

示例性的，上述根据第一旋转角度和第二旋转角度得到角度得分，包括：

根据第一旋转角度计算得到第一角度得分；

根据第二旋转角度计算得到第二角度得分；

根据第一角度得分和第二角度得分，得到上述角度得分。

具体的，第一角度得分是指第一旋转角度的得分，采用以下公式计算得到：

其中，X表示第一角度得分，-4表示预设系数，可经过实验数据设定，8100表示角度的最大值90的平方，对第一旋转角度的绝对值取平方再除以8100有利于降低旋转角度的影响。应当理解的，第一旋转角度的绝对值通常在(0,90)度，采用以上公式(1)能够将第一旋转角度的绝对值映射到(1,0)的某个值，第一旋转角度的绝对值越小，其得分越高。

具体的，第二角度得分是指第二旋转角度的得分，采用以下公式计算得到：

其中，Y表示第二角度得分，-10表示预设系数，可经过实验数据设定，对第二旋转角度的绝对值取平方再除以8100同样有利于降低角度的影响。同理，第二旋转角度的绝对值通常也在(0,90)度，采用以上公式(2)能够将第二旋转角度的绝对值映射到(1,0)的某个值，第二旋转角度的绝对值越小，其得分越高。

对于计算出的第一角度得分和第二角度得分，将两者相乘即可得到人脸的角度得分。

本申请实施例中，第二预设类别可以是人体、车辆等，车辆可以是机动车和非机动车，对于人体和车辆在结构化信息提取时，无需考虑角度这一影响因子，因此，用其预设值1作为角度得分。

本申请实施例中，第三预设类别可以是车牌，则第一目标对象所属主体为车辆，则可能识别到车辆的角度包括前、后、左、右、左前、左后、右前和右后中的至少一个，而该至少一个角度中每个角度都有对应的预设值，将该每个角度对应的预设值相乘即得到车牌的角度得分。比如，可车辆前和后的预设值可以是1，左和右的预设值可以是0.6，其他角度的预设值可以是0.8。其中，车辆的至少一个角度可通过训练好的车辆角度模型获取，比如，车辆角度模型仅能识别到车辆前、左前、左三个角度，则车牌的角度得分为1*0.6*0.8＝0.48。

示例性的，上述根据第一检测框在视频帧中的位置信息和类别信息获取第一目标对象的尺寸得分，包括：

根据位置信息得到目标对象区域图像的宽度信息；

根据宽度信息和类别信息得到尺寸得分。

本申请实施例中，上述位置信息可以由第一检测框的中心点坐标、宽度和高度确定，也可以由第一检测框的左上角坐标和右下角坐标确定，比如，当采用第一检测框的中心点坐标、宽度和高度来标定第一检测框的位置信息时，则第一检测框的宽度即为目标对象区域图像的宽度信息；比如当采用第一检测框的左上角坐标和右下角坐标来标定第一检测框的位置信息时，根据左上角坐标和右下角坐标的X轴坐标值便能计算出目标对象区域图像的宽度信息，此处不作限定。

在类别信息为第一预设类别，且宽度信息在第一宽度范围内的情况下，将尺寸得分确定为预设尺寸得分范围内的值；在类别信息为第一预设类别，且宽度信息不在第一宽度范围内的情况下，将尺寸得分确定为预设值1。比如，第一宽度范围可以是(0,100)像素，尺寸得分范围可以是(0,1)，若人脸的宽度信息在(0,100)像素，则将其映射为(0,1)中的某个值，此处采用线性映射，例如：人脸的宽度信息90像素，则尺寸得分为0.9；人脸的宽度信息达到100像素，则尺寸得分为1。

在类别信息为第二预设类别A，且宽度信息在第一宽度范围内的情况下，将尺寸得分确定为预设尺寸得分范围内的值；在类别信息为第二预设类别A，且宽度信息不在第一宽度范围内的情况下，将尺寸得分确定为预设值1。比如，第二预设类别A可以是人体，其尺寸得分的映射取值与人脸一致。

在类别信息为第二预设类别B，且宽度信息在第二宽度范围内的情况下，将尺寸得分确定为预设尺寸得分范围内的值；在类别信息为第二预设类别B，且宽度信息不在第二宽度范围内的情况下，将尺寸得分确定为预设值1。比如，第二预设类别B可以是机动车，第二宽度范围可以是(0,500)像素，例如：机动车的宽度信息为400像素，则其尺寸得分可线性映射为0.8，机动车的宽度信息达到500像素，则其尺寸得分取1。

在类别信息为第二预设类别C，且宽度信息在第三宽度范围内的情况下，将尺寸得分确定为预设尺寸得分范围内的值；在类别信息为第二预设类别C，且宽度信息不在第三宽度范围内的情况下，将尺寸得分确定为预设值1。比如，第二预设类别C可以是非机动车，第三宽度范围可以是(0,160)像素，对于宽度信息在(0,160)像素范围内的非机动车，其尺寸得分可线性映射为(0,1)中的某个值，非机动车的宽度信息达到160，则其尺寸得分取1。同理，车牌的尺寸得分也可根据其宽度信息进行设定，此处不再说明。

示例性的，根据位置信息获取第一目标对象的遮挡比得分，包括：

根据位置信息确定第一目标对象存在遮挡；

根据遮挡第一目标对象的第二目标对象的第二检测框和第一检测框获取第一目标对象的遮挡比；

根据第一目标对象的遮挡比得到遮挡比得分。

本申请实施例中，第二目标对象是指对第一目标对象造成遮挡的目标对象，应当理解的，若视频帧中只检测出第一目标对象，则确认第一目标对象不存在遮挡，则可将其遮挡比得分确定为预设值1。若视频帧中检测出多个目标对象，则根据多个目标对象的检测框的位置信息可确定检测框是否存在重合，比如，第一检测框和第二检测框存在重合，同时，第一检测框的位置信息在视频帧中更靠上(一般情况下)，比如，更接近于X轴，如图3所示，则认为第一目标对象存在遮挡，用第一检测框与第二检测框的交集比上第一检测框，便得到第一目标对象的遮挡比，应当理解的，遮挡比的取值范围通常为(0,1)，将第一目标对象的遮挡比映射为预设遮挡比得分范围内的某个值，比如，遮挡比得分范围可以是(1,0)，若第一目标对象的遮挡比为0.1，则第一目标对象的遮挡比得分可以被线性映射为0.9，即遮挡比越高，遮挡比得分越低。

示例性，上述根据位置信息获取第一目标对象的位置得分，包括：

根据位置信息确定出目标位置信息；

根据目标位置信息与视频帧的尺寸计算得到目标比值；

根据目标比值与视频帧中的预设区域得到位置得分。

本申请实施例中，根据第一检测框的位置信息可以确定出第一目标对象在视频帧中是偏左、偏右、偏上或偏下，如图3所示的第一检测框在视频帧中的位置，则可确定第一目标对象在视频帧中偏上，请参见图4，将目标区域图像中高度值最小的像素点的坐标确定为目标位置信息，比如沿高度方向第一行的像素点，求取目标位置信息中的高度值与视频帧的高度值的比值，作为目标比值。

请继续参见图4，视频帧的边缘区域为预设区域，即虚线矩形框与视频帧之间的区域，该预设区域的范围可以是视频帧边缘的(0,2％)，若目标位置信息落在了预设区域内，则认为第一目标对象处在视频帧的边缘区域，将该目标比值映射为(0,2％)中的某个值，比如1％，则可采用线性映射将目标比值映射为预设位置得分范围(0,1)中的某个值，比如0.5，目标比值被映射为(0,2％)的值越接近于0，说明第一目标对象越靠近视频帧边缘，其位置得分越低。应当理解的，若第一目标对象偏下，则可将目标区域图像中高度值最大的像素点的坐标确定为目标位置信息，若第一目标对象偏左，则可将目标区域图像中宽度值最小的像素点的坐标确定为目标位置信息，比如沿宽度方向第一列的像素点，若第一目标对象偏右，则可将目标区域图像中宽度值最大的像素点的坐标确定为目标位置信息。针对第一目标对象偏下或偏右的情况，若第一目标对象落在了预设区域内，计算出的目标比值可能达到98％以上，则同样将其映射为(0,2％)中的某个值，比如99％可以被映射为1％。需要说明的是，若根据第一检测框的位置信息或目标比值确定第一目标对象未处于视频帧的预设区域(即边缘区域)，则第一目标对象的位置得分取1，比如目标比值不能被映射为(0,2％)中的值。

203：基于目标影响因子的得分对结构化信息进行提取。

本申请实施例中，上述基于目标影响因子的得分对结构化信息进行提取，包括：

基于目标影响因子的得分计算得到第一目标对象的综合质量得分；

在综合质量得分大于或等于得分阈值的情况下，对结构化信息进行提取。

具体的，步骤202获取到至少一个目标影响因子的得分即完成了对至少一个目标影响因子的量化，对于获取到的每个目标影响因子的得分，将其相乘得到一综合质量得分，其取值范围为(0,1)，该综合质量得分用于表示该第一目标对象是否可作为结构化信息提取的对象，若其大于或等于得分阈值，则可对其执行后续的结构化信息提取操作，并将提取出的结构化信息可视化。该结构化信息即指视频帧中目标对象的属性信息，如图5中所示车辆的颜色、车辆的型号、人物的性别、人物的穿着，等等。该实施方式中，对综合质量得分大于或等于得分阈值的目标对象进行结构化信息提取，有利于提高提取出的结构化信息的精度，经测试，本方案在端侧设备上能够将结构化信息提取的精度提升10％至30％，且得分阈值的设定可以有效扩大处理器执行结构化信息提取的帧间隔，从而降低处理器的处理频率。

可以看出，本申请实施例通过获取视频流的视频帧，视频帧中包括采集的第一目标对象；基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；基于目标影响因子的得分对结构化信息进行提取。这样针对视频帧中的任一目标对象，通过综合考量影响其结构化信息的提取精度的目标影响因子，对该目标影响因子进行量化，只在目标影响因子的得分满足精度要求的情况下才提取结构化信息，有利于降低处理器的处理频率，从而降低对计算资源的消耗，保障电子设备或处理器的实时运行。

请参见图6，图6为本申请实施例提供的另一种视频处理方法的流程示意图，如图6所示，包括步骤601-604：

601：获取视频流的视频帧，视频帧中包括采集的第一目标对象；

602：基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；

603：基于目标影响因子的得分计算得到第一目标对象的综合质量得分；

604：在综合质量得分大于或等于得分阈值的情况下，对结构化信息进行提取。

其中，上述步骤601-604的具体实施方式，在图2所示的实施例中已有相关说明，且能达到相同或相似的有益效果，此处不再赘述。

基于图2或图6所示方法实施例的描述，本申请实施例还提供一种视频处理装置，请参见图7，图7为本申请实施例提供的一种视频处理装置的结构示意图，如图7所示，该装置包括：

收发单元701，用于获取视频流的视频帧，视频帧中包括采集的第一目标对象；

处理单元702，用于基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；

处理单元702，还用于基于目标影响因子的得分对结构化信息进行提取。

在一种可能的实施方式中，在基于目标影响因子的得分对结构化信息进行提取方面，处理单元702具体用于：

基于目标影响因子的得分计算得到第一目标对象的综合质量得分；

在综合质量得分大于或等于得分阈值的情况下，对结构化信息进行提取。

在一种可能的实施方式中，在基于视频帧获取目标影响因子的得分方面，处理单元702具体用于：

对视频帧进行目标检测，得到第一目标对象的第一检测框和类别信息；

基于第一检测框，从视频帧中截取出包括第一目标对象的目标对象区域图像；

根据目标对象区域图像获取第一目标对象的清晰度得分；

根据类别信息获取第一目标对象的角度得分；

根据第一检测框在视频帧中的位置信息和类别信息获取第一目标对象的尺寸得分；以及

根据位置信息获取第一目标对象的遮挡比得分和第一目标对象的位置得分；

其中，目标影响因子包括第一目标对象的清晰度、尺寸、角度、遮挡比以及位置中的至少一个。

在一种可能的实施方式中，在根据目标对象区域图像获取第一目标对象的清晰度得分方面，处理单元702具体用于：

获取目标对象区域图像的灰度图；

对灰度图进行归一化处理，获取归一化处理后的灰度图的梯度信息；

根据梯度信息得到清晰度得分。

在一种可能的实施方式中，在根据类别信息获取第一目标对象的角度得分方面，处理单元702具体用于：

在类别信息为第一预设类别的情况下，获取第一目标对象的第一旋转角度和第二旋转角度，根据第一旋转角度和第二旋转角度得到角度得分；

在类别信息为第二预设类别的情况下，将第二预设类别对应的预设值确定为角度得分；

在类别信息为第三预设类别，且获取到第一目标对象所属主体的至少一个角度的情况下，获取至少一个角度中每个角度对应的预设值，根据至少一个角度中每个角度对应的预设值得到角度得分。

在一种可能的实施方式中，在根据第一检测框在视频帧中的位置信息和类别信息获取第一目标对象的尺寸得分方面，处理单元702具体用于：

根据位置信息得到目标对象区域图像的宽度信息；

根据宽度信息和类别信息得到尺寸得分。

在一种可能的实施方式中，在根据位置信息获取第一目标对象的遮挡比得分和第一目标对象的位置得分方面，处理单元702具体用于：

根据位置信息确定第一目标对象存在遮挡；

根据遮挡第一目标对象的第二目标对象的第二检测框和第一检测框获取第一目标对象的遮挡比；

根据第一目标对象的遮挡比得到遮挡比得分；以及

根据位置信息确定出目标位置信息；

根据目标位置信息与视频帧的尺寸计算得到目标比值；

根据目标比值与视频帧中的预设区域得到位置得分。

根据本申请的一个实施例，图7所示的视频处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，视频处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图6中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图7中所示的视频处理装置设备，以及来实现本申请实施例的视频处理方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。

基于上述方法实施例和装置实施例的描述，本申请实施例还提供一种电子设备。请参见图8，该电子设备至少包括处理器801、输入设备802、输出设备803以及计算机存储介质804。其中，电子设备内的处理器801、输入设备802、输出设备803以及计算机存储介质804可通过总线或其他方式连接。

计算机存储介质804可以存储在电子设备的存储器中，所述计算机存储介质804用于存储计算机程序，所述计算机程序包括程序指令，所述处理器801用于执行所述计算机存储介质804存储的程序指令。处理器801(或称CPU(Central Processing Unit，中央处理器))是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。

在一个实施例中，本申请实施例提供的电子设备的处理器801可以用于进行一系列视频处理：

获取视频流的视频帧，视频帧中包括采集的第一目标对象；

基于视频帧获取目标影响因子的得分，目标影响因子为影响第一目标对象的结构化信息的提取精度的因子；

基于目标影响因子的得分对结构化信息进行提取。

再一个实施例中，处理器801执行基于目标影响因子的得分对结构化信息进行提取，包括：

基于目标影响因子的得分计算得到第一目标对象的综合质量得分；

在综合质量得分大于或等于得分阈值的情况下，对结构化信息进行提取。

再一个实施例中，处理器801执行基于视频帧获取目标影响因子的得分，包括：

对视频帧进行目标检测，得到第一目标对象的第一检测框和类别信息；

基于第一检测框，从视频帧中截取出包括第一目标对象的目标对象区域图像；

根据目标对象区域图像获取第一目标对象的清晰度得分；

根据类别信息获取第一目标对象的角度得分；

根据第一检测框在视频帧中的位置信息和类别信息获取第一目标对象的尺寸得分；以及

根据位置信息获取第一目标对象的遮挡比得分和第一目标对象的位置得分；

其中，目标影响因子包括第一目标对象的清晰度、尺寸、角度、遮挡比以及位置中的至少一个。

再一个实施例中，处理器801执行根据目标对象区域图像获取第一目标对象的清晰度得分，包括：

获取目标对象区域图像的灰度图；

对灰度图进行归一化处理，获取归一化处理后的灰度图的梯度信息；

根据梯度信息得到清晰度得分。

再一个实施例中，处理器801执行根据类别信息获取第一目标对象的角度得分，包括：

在类别信息为第一预设类别的情况下，获取第一目标对象的第一旋转角度和第二旋转角度，根据第一旋转角度和第二旋转角度得到角度得分；

在类别信息为第二预设类别的情况下，将第二预设类别对应的预设值确定为角度得分；

在类别信息为第三预设类别，且获取到第一目标对象所属主体的至少一个角度的情况下，获取至少一个角度中每个角度对应的预设值，根据至少一个角度中每个角度对应的预设值得到角度得分。

再一个实施例中，处理器801执行根据第一检测框在视频帧中的位置信息和类别信息获取第一目标对象的尺寸得分，包括：

根据位置信息得到目标对象区域图像的宽度信息；

根据宽度信息和类别信息得到尺寸得分。

再一个实施例中，处理器801执行根据位置信息获取第一目标对象的遮挡比得分和第一目标对象的位置得分，包括：

根据位置信息确定第一目标对象存在遮挡；

根据遮挡第一目标对象的第二目标对象的第二检测框和第一检测框获取第一目标对象的遮挡比；

根据第一目标对象的遮挡比得到遮挡比得分；以及

根据位置信息确定出目标位置信息；

根据目标位置信息与视频帧的尺寸计算得到目标比值；

根据目标比值与视频帧中的预设区域得到位置得分。

示例性的，电子设备可包括但不仅限于处理器801、输入设备802、输出设备803以及计算机存储介质804，输入设备802可以是键盘、触摸屏等，输出设备803可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。

需要说明的是，由于电子设备的处理器801执行计算机程序时实现上述的视频处理方法中的步骤，因此上述视频处理方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。

本申请实施例还提供了一种计算机存储介质(Memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器801加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器801的计算机存储介质。在一个实施例中，可由处理器801加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关视频处理方法的相应步骤。

示例性的，计算机存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，由于计算机存储介质的计算机程序被处理器执行时实现上述的视频处理方法中的步骤，因此上述视频处理方法的所有实施例均适用于该计算机存储介质，且均能达到相同或相似的有益效果。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种视频处理方法，其特征在于，所述方法包括：

获取视频流的视频帧，所述视频帧中包括采集的第一目标对象；

基于所述视频帧获取目标影响因子的得分，所述目标影响因子为影响所述第一目标对象的结构化信息的提取精度的因子；其中，所述目标影响因子包括所述第一目标对象的清晰度、尺寸、角度、遮挡比以及位置中的至少一个；

基于所述目标影响因子的得分对所述结构化信息进行提取；

所述第一目标对象的角度得分的获取步骤，包括：

在所述第一目标对象的类别信息为第一预设类别的情况下，获取所述第一目标对象的第一旋转角度和第二旋转角度，根据所述第一旋转角度和第二旋转角度得到所述角度得分；

在所述类别信息为第二预设类别的情况下，将所述第二预设类别对应的预设值确定为所述角度得分；

在所述类别信息为第三预设类别，且获取到所述第一目标对象所属主体的至少一个角度的情况下，获取所述至少一个角度中每个角度对应的预设值，根据所述至少一个角度中每个角度对应的预设值得到所述角度得分。

2.根据权利要求1所述的方法，其特征在于，所述基于所述目标影响因子的得分对所述结构化信息进行提取，包括：

基于所述目标影响因子的得分计算得到所述第一目标对象的综合质量得分；

在所述综合质量得分大于或等于得分阈值的情况下，对所述结构化信息进行提取。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述视频帧获取目标影响因子的得分，包括：

对所述视频帧进行目标检测，得到所述第一目标对象的第一检测框和所述类别信息；

基于所述第一检测框，从所述视频帧中截取出包括所述第一目标对象的目标对象区域图像；

根据所述目标对象区域图像获取所述第一目标对象的清晰度得分；

根据所述类别信息获取所述第一目标对象的角度得分；

根据所述第一检测框在所述视频帧中的位置信息和所述类别信息获取所述第一目标对象的尺寸得分；以及

根据所述位置信息获取所述第一目标对象的遮挡比得分和所述第一目标对象的位置得分。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象区域图像获取所述第一目标对象的清晰度得分，包括：

获取所述目标对象区域图像的灰度图；

对所述灰度图进行归一化处理，获取归一化处理后的所述灰度图的梯度信息；

根据所述梯度信息得到所述清晰度得分。

5.根据权利要求3所述的方法，其特征在于，所述根据所述第一检测框在所述视频帧中的位置信息和所述类别信息获取所述第一目标对象的尺寸得分，包括：

根据所述位置信息得到所述目标对象区域图像的宽度信息；

根据所述宽度信息和所述类别信息得到所述尺寸得分。

6.根据权利要求3所述的方法，其特征在于，所述根据所述位置信息获取所述第一目标对象的遮挡比得分和所述第一目标对象的位置得分，包括：

根据所述位置信息确定所述第一目标对象存在遮挡；

根据遮挡所述第一目标对象的第二目标对象的第二检测框和所述第一检测框获取所述第一目标对象的遮挡比；

根据所述第一目标对象的遮挡比得到所述遮挡比得分；以及

根据所述位置信息确定出目标位置信息；

根据所述目标位置信息与所述视频帧的尺寸计算得到目标比值；

根据所述目标比值与所述视频帧中的预设区域得到所述位置得分。

7.一种视频处理装置，其特征在于，所述装置包括：

收发单元，用于获取视频流的视频帧，所述视频帧中包括采集的第一目标对象；

处理单元，用于基于所述视频帧获取目标影响因子的得分，所述目标影响因子为影响所述第一目标对象的结构化信息的提取精度的因子；其中，所述目标影响因子包括所述第一目标对象的清晰度、尺寸、角度、遮挡比以及位置中的至少一个；

所述处理单元，还用于基于所述目标影响因子的得分对所述结构化信息进行提取；

所述处理单元具体还用于：

在所述第一目标对象的类别信息为第一预设类别的情况下，获取所述第一目标对象的第一旋转角度和第二旋转角度，根据所述第一旋转角度和第二旋转角度得到所述角度得分；

在所述类别信息为第二预设类别的情况下，将所述第二预设类别对应的预设值确定为所述角度得分；

在所述类别信息为第三预设类别，且获取到所述第一目标对象所属主体的至少一个角度的情况下，获取所述至少一个角度中每个角度对应的预设值，根据所述至少一个角度中每个角度对应的预设值得到所述角度得分。

8.一种电子设备，包括输入设备和输出设备，其特征在于，还包括：

处理器，适于实现一条或多条指令；以及，

计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-6任一项所述的方法。

9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-6任一项所述的方法。

Images