CN110390263A - 一种视频图像处理方法及系统 - Google Patents
一种视频图像处理方法及系统 Download PDFInfo
- Publication number
- CN110390263A CN110390263A CN201910523657.9A CN201910523657A CN110390263A CN 110390263 A CN110390263 A CN 110390263A CN 201910523657 A CN201910523657 A CN 201910523657A CN 110390263 A CN110390263 A CN 110390263A
- Authority
- CN
- China
- Prior art keywords
- image
- frame image
- frame
- scoring
- clarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000014509 gene expression Effects 0.000 claims abstract description 80
- 230000009471 action Effects 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims description 3
- 238000013077 scoring method Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种视频图像处理方法及系统，通过对视频进行预处理，得到视频中每一帧的帧图像，随后对每一帧帧图像进行清晰度判定，去除不符合清晰度要求的帧图像，并对符合清晰度要求的帧图像进行跟踪主角确定，采用预先训练形成的表情识别模型和动作识别模型对不同面部尺寸的跟踪主角进行整体评分输出，经处理得到帧图像的图像评分，最后根据图像评分输出优选的至少一帧帧图像作为推荐图像提供给用户查看。本发明应用清晰度处理、表情识别、动作识别等多种技术手段从多角度对视频帧图像进行综合评分，能够大幅缩减通过人力筛选优质图像的时间成本，并使得对帧图像的筛选推荐结果更为客观公允，以符合用户需求，从而提升用户满意度。
Description
技术领域
本发明涉及计算机数字视频图像处理领域，尤其涉及一种视频图像处理方法及系统。
背景技术
现如今，随着科学技术的不断发展，人们愈发热衷于采用视频去记录生活中的美好片段，而视频即是一系列连续的静态图像的序列，是一种对客观事物更为形象，生动地描述；随着计算机技术的发展，CPU计算能力的不断提高，存储空间的大幅度提升，硬件支持方法的多样化，计算机数字视频图像处理领域有了长足的发展和进步，越来越多新的需求也开始涌现，例如，如何从整段人物摄影视频中截取表现力优异的优质图像便成了现阶段现有技术领域的一大问题。
若是单凭人力和肉眼去识辨视频中哪一帧图像能够最为完美地展现当时的人物动作与场景，这无疑是一项耗时巨大且相对繁琐的工作，同时人的主观意识形态差别亦会影响筛选图像的客观性；在各类涉及人物摄影的视频图像处理领域，我们亟需一种智能化的筛选方式，来帮助我们更为便捷和直观地从视频中挑选符合表现力要求的图像。
发明内容
针对现有技术领域中存在的上述问题，现提供一种视频图像处理方法及装置，具体技术方案如下：
一种视频图像处理方法，预先拍摄得到一视频，并于该视频中得到每一帧的帧图像；
针对每一帧帧图像执行以下步骤：
步骤S1，判断帧图像的清晰度是否大于一预设清晰度阈值：
若是，则转向步骤S2；
若否，则将帧图像丢弃，并退出对帧图像的处理过程；
步骤S2，于帧图像中确定一跟踪主角；
步骤S3，判断帧图像中的跟踪主角的面部尺寸是否大于一预设尺寸：
若是，则转向步骤S4；
若否，则转向步骤S5；
步骤S4，采用一预先训练形成的表情识别模型对跟踪主角的表情进行识别，并将识别得到的表情评分作为整体评分输出，随后转向步骤S6；
步骤S5，采用一预先训练形成的动作识别模型，依据相邻与帧图像的连续多帧对跟踪主角的动作进行识别，并将识别得到的动作评分作为整体评分输出，随后转向步骤S6；
步骤S6，对整体评分进行处理，得到帧图像的图像评分，随后结束对帧图像的处理过程；
重复步骤S1-S6，以对视频中的每一帧帧图像进行处理后得到每一帧帧图像的图像评分，并根据图像评分输出优选的至少一帧帧图像作为推荐图像提供给用户查看。
优选的，该种视频图像处理方法，其中步骤S1中，采用下述步骤处理得到帧图像的清晰度：
步骤S11，处理得到帧图像的图像清晰度参数；
步骤S12，根据图像清晰度参数处理得到帧图像的清晰度；
图像清晰度参数包括帧图像的图像模糊参数和/或相机晃动参数。
优选的，该种视频图像处理方法，其中步骤S2具体包括：于帧图像前后的连续多帧中识别得到一始终处于帧图像的中心位置的人脸，以作为跟踪主角。
优选的，该种视频图像处理方法，其中面部尺寸为面部的宽度，或者面部的面积。
优选的，该种视频图像处理方法，其中步骤S4中，表情识别模型中预先设置有多个标准表情以及每个标准表情对应的表情评分；
则步骤S4中，识别得到跟踪主角的表情后，与标准表情进行匹配，并输出相匹配的标准表情所对应的表情评分。
优选的，该种视频图像处理方法，其中步骤S4中，通过深度学习的方式扩充表情识别模型中的标准表情以及对应的表情评分。
优选的，该种视频图像处理方法，其中步骤S5中，动作识别模型中预先设置有多个标准动作以及每个标准动作对应的动作评分；
则步骤S5中，识别得到跟踪主角的动作后，与标准动作进行匹配，并输出相匹配的标准动作所对应的动作评分。
优选的，该种视频图像处理方法，其中步骤S5中，根据帧图像前后的连续多帧图像处理得到跟踪主角的运动轨迹，并根据运动轨迹识别得到跟踪主角的动作。
优选的，该种视频图像处理方法，其中步骤S2中，在确定跟踪主角的同时，将帧图像中不为跟踪主角的人脸均识别为非主角部分；
则步骤S6具体包括：
步骤S61，处理得到帧图像中的非主角部分的清晰度；
步骤S62，根据非主角部分的清晰度输出一清晰度评分，清晰度评分与非主角部分的清晰度成反比；
步骤S63，根据清晰度评分与整体评分处理得到图像评分。
一种视频图像处理系统，应用于如上述任意一项的视频帧图像打分方法，具体包括：
帧图像提取单元，用于从预先拍摄得到的视屏中得到每一帧的帧图像；
存储单元，连接帧图像提取单元，用于存储每一帧的帧图像；
第一判定单元，连接存储单元，用于对帧图像的清晰度进行判断，并根据第一判断结果保留清晰度大于一预设清晰度阈值的帧图像，丢弃清晰度不大于清晰度阈值的帧图像；
主角确定单元，连接第一判定单元和存储单元，用于于第一判定单元所保留的帧图像中，针对每帧帧图像确定一跟踪主角；
第二判定单元，连接主角确定单元，用于判断帧图像中的跟踪主角的面部尺寸是否大于一预设尺寸，并输出一第二判断结果；
表情识别单元，连接第二判定单元，用于根据第二判断结果，在面部尺寸大于尺寸时，对跟踪主角的表情进行识别，并将识别得到的表情评分作为整体评分输出；
动作识别单元，连接第二判定单元和存储单元，根据第二判断结果，在面部尺寸不大于尺寸时，依据相邻于帧图像的连续多帧对跟踪主角的动作进行识别，并将识别得到的动作评分作为整体评分输出；
处理单元，连接表情识别单元和动作识别单元，用于对整体评分进行处理，得到帧图像的图像评分；
输出显示单元，连接处理单元和存储单元，用于根据图像评分输出优选的至少一帧帧图像作为推荐图像提供给用户查看。
上述技术方案具有如下优点或有益效果：
本发明通过对视频进行预处理，得到视频中每一帧的帧图像，随后对每一帧帧图像进行清晰度判定，去除不符合清晰度要求的帧图像，并对符合清晰度要求的帧图像进行跟踪主角确定，采用预先训练形成的表情识别模型和动作识别模型对不同面部尺寸的跟踪主角进行整体评分输出，经处理得到帧图像的图像评分，最后根据图像评分输出优选的至少一帧帧图像作为推荐图像提供给用户查看。
本技术方案应用清晰度处理、人脸识别、动作识别等多种技术手段从多角度对视频帧图像进行综合评分，能够大幅缩减通过人力筛选优质图像的时间成本，同时使得对帧图像的筛选更为客观公允，更能符合用户的实际需求；依据图像评分输出优选的帧图像作为推荐图像提供给用户查看，采用直观化的方式展示筛选结果，能够提升用户的体验度与满意度。
附图说明
图1-3为本发明一种视频图像处理方法的流程示意图；
图4为本发明一种视频图像处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
针对现有技术领域中存在的上述问题，现提供一种视频图像处理方法及装置，应用于计算机数字视频图像处理领域，具体技术方案如下：
一种视频图像处理方法，预先拍摄得到一视频，并于该视频中得到每一帧的帧图像；
针对每一帧帧图像执行以下步骤，如图1所示：
步骤S1，判断帧图像的清晰度是否大于一预设清晰度阈值：
若是，则转向步骤S2；
若否，则将帧图像丢弃，并退出对帧图像的处理过程；
步骤S2，于帧图像中确定一跟踪主角；
步骤S3，判断帧图像中的跟踪主角的面部尺寸是否大于一预设尺寸：
若是，则转向步骤S4；
若否，则转向步骤S5；
步骤S4，采用一预先训练形成的表情识别模型对跟踪主角的表情进行识别，并将识别得到的表情评分作为整体评分输出，随后转向步骤S6；
步骤S5，采用一预先训练形成的动作识别模型，依据相邻与帧图像的连续多帧对跟踪主角的动作进行识别，并将识别得到的动作评分作为整体评分输出，随后转向步骤S6；
步骤S6，对整体评分进行处理，得到帧图像的图像评分，随后结束对帧图像的处理过程；
重复步骤S1-S6，以对视频中的每一帧帧图像进行处理后得到每一帧帧图像的图像评分，并根据图像评分输出优选的至少一帧帧图像作为推荐图像提供给用户查看。
作为优选的实施方式，该种视频图像处理方法，采用逐帧提取的方式从视频中提取得到每一帧的帧图像，帧图像为视频中最小单位的单幅静态影视图像。
作为优选的实施方式，该种视频图像处理方法，其中面部尺寸为面部的宽度，或者面部的面积。
作为优选的实施方式，该种视频图像处理方法，其中步骤S1中，采用下述步骤处理得到帧图像的清晰度，如图2所示：
步骤S11，处理得到帧图像的图像清晰度参数；
步骤S12，根据图像清晰度参数处理得到帧图像的清晰度；
其中图像清晰度参数包括帧图像的图像模糊参数和/或相机晃动参数。
作为优选的实施方式，该种视频图像处理方法，其中图像模糊参数代表帧图像的模糊程度，由Brenner梯度函数或Tenengrad梯度函数或Laplacian梯度函数计算处理得出；相机晃动参数代表因相机晃动致使帧图像出现图像模糊的情况，由相机的上下左右移动情况和相机镜头的变倍、变焦情况所决定。
作为优选的实施方式，该种视频图像处理办法，若图像清晰度参数仅包含图像模糊参数，则图像模糊参数即为图像清晰度参数；若图像清晰度参数仅包含相机晃动参数，则相机晃动参数即为图像清晰度参数；若图像清晰度参数同时包含图像模糊参数和相机晃动参数，则通过对图像模糊参数和相机晃动参数进行加权相加得到图像清晰度参数。
作为优选的实施方式，该种视频图像处理方法，其中步骤S2具体包括：于帧图像前后的连续多帧中识别得到一始终处于帧图像的中心位置的人脸，以作为跟踪主角。
作为优选的实施方式，该种视频图像处理方法，其中中心区域为一矩形区域，中心区域的形状与帧图像的形状相似，中心区域的面积为帧图像的面积的二分之一，中心区域的中心点与帧图像的中心点相重合。
作为优选的实施方式，该种视频图像处理方法，其中步骤S4中，表情识别模型中预先设置有多个标准表情以及每个标准表情对应的表情评分；
则步骤S4中，识别得到跟踪主角的表情后，与标准表情进行匹配，并输出相匹配的标准表情所对应的表情评分。
作为优选的实施方式，该种视频图像处理方法，其中标准表情对应的表情评分可以由用户根据实际需求进行修改。
作为优选的实施方式，该种视频图像处理方法，其中步骤S4中，通过深度学习的方式扩充表情识别模型中的标准表情以及对应的表情评分。
作为优选的实施方式，该种视频图像处理方法，其中步骤S5中，动作识别模型中预先设置有多个标准动作以及每个标准动作对应的动作评分；
则步骤S5中，识别得到跟踪主角的动作后，与标准动作进行匹配，并输出相匹配的标准动作所对应的动作评分。
作为优选的实施方式，该种视频图像处理方法，其中标准动作对应的动作评分可以由用户根据实际需求进行修改。
作为优选的实施方式，该种视频图像处理方法，其中步骤S5中，根据帧图像前后的连续多帧图像处理得到跟踪主角的运动轨迹，并根据运动轨迹识别得到跟踪主角的动作。
作为优选的实施方式，该种视频图像处理方法，其中步骤S2中，在确定跟踪主角的同时，将帧图像中不为跟踪主角的人脸均识别为非主角部分；
则步骤S6具体包括，如图3所示：
步骤S61，处理得到帧图像中的非主角部分的清晰度；
步骤S62，根据非主角部分的清晰度输出一清晰度评分，清晰度评分与非主角部分的清晰度成反比；
步骤S63，根据清晰度评分与整体评分处理得到图像评分。
作为优选的实施方式，该种视频图像处理方法，其中图像评分由清晰度评分与整体评分简单相加得到或加权相加得到，若采用加权相加得到图像评分，其中清晰度评分的加权占比为百分之三十，整体评分的加权占比为百分之七十。
作为优选的实施方式，该种视频图像处理方法，其中推荐图像的筛选方式为：依据图像评分从大到小的顺序对所对应的帧图像进行排序，将排序靠前的一个或多个帧图像作为推荐图像，或将图像评分值大于一预设分值的帧图像作为推荐图像。
一种视频图像处理系统，应用于如上述任意一项的视频帧图像打分方法，如图4所示，具体包括：
帧图像提取单元1，用于从预先拍摄得到的视屏中得到每一帧的帧图像；
存储单元2，连接帧图像提取单元1，用于存储每一帧的帧图像；
第一判定单元3，连接存储单元2，用于对帧图像的清晰度进行判断，并根据第一判断结果保留清晰度大于一预设清晰度阈值的帧图像，丢弃清晰度不大于清晰度阈值的帧图像；
主角确定单元4，连接第一判定单元3和存储单元2，用于于第一判定单元所保留的帧图像中，针对每帧帧图像确定一跟踪主角；
第二判定单元5，连接主角确定单元4，用于判断帧图像中的跟踪主角的面部尺寸是否大于一预设尺寸，并输出一第二判断结果；
表情识别单元6，连接第二判定单元5，用于根据第二判断结果，在面部尺寸大于尺寸时，对跟踪主角的表情进行识别，并将识别得到的表情评分作为整体评分输出；
动作识别单元7，连接第二判定单元5和存储单元2，根据第二判断结果，在面部尺寸不大于尺寸时，依据相邻于帧图像的连续多帧对跟踪主角的动作进行识别，并将识别得到的动作评分作为整体评分输出；
处理单元8，连接表情识别单元6和动作识别单元7，用于对整体评分进行处理，得到帧图像的图像评分；
输出显示单元9，连接处理单元8和存储单元2，用于根据图像评分输出优选的至少一帧帧图像作为推荐图像提供给用户查看。
作为优选的实施方式，该种视频帧图像打分系统，其中表情识别单元6具体包括：
第一存储模块，用于存储预先设置的多个标准表情以及每个标准表情对应的表情评分；
表情识别模块，用于识别得到跟踪主角的表情；
第一匹配模块，连接第一存储模块和表情识别模块，用于将识别得到表情与标准表情进行匹配，并输出相匹配的标准表情所对应的表情评分。
作为优选的实施方式，该种视频帧图像打分系统，其中表情识别单元6还包括：深度学习模块，用于通过深度学习的方式扩充表情识别模型中的标准表情以及对应的表情评分。
作为优选的实施方式，该种视频帧图像打分系统，其中动作识别单元7具体包括：
第二存储模块，用于存储预先设置的多个标准动作以及每个标准动作对应的动作评分；
动作识别模块，用于识别得到跟踪主角的动作；
第二匹配模块，连接第二存储单元和动作识别模块，用于将识别得到的动作与标准动作进行匹配，并输出相匹配的标准动作所对应的动作评分。
作为优选的实施方式，该种视频帧图像打分系统，其中动作识别模块，根据帧图像前后的连续多帧图像处理得到跟踪主角的运动轨迹，并根据运动轨迹识别得到跟踪主角的动作。
现提供一具体实施例对本技术方案进行更为清晰完整的描述：
对于一运动会田径比赛运动员冲刺撞线的视频按照本技术方案进行处理，首先对于该视频进行逐帧提取，得到该视频中每一帧的帧图像，随后通过清晰度判定对于每一幅帧图像进行初步筛选，去除其中较为模糊或因拍摄时相机晃动致使表现力不佳的帧图像；而后对通过初步筛选的帧图像逐一进行跟踪主角识别，对帧图像及其前后的连续多帧进行人脸识别，若识别得到一始终处于中心位置的人脸，则将其作为跟踪主角，在该视频中识别得到的跟踪主角即为视频图像中冲刺撞线的运动员。在确定跟踪主角后首先对该运动员在帧图像中的脸部尺寸进行判定，若脸部尺寸较大，则采用预先训练的表情识别模型对其面部表情进行打分，若脸部尺寸较小，则采用预先训练的动作识别模型对其动作进行打分，其中：该表情识别模型设置有深度学习算法，能够自主扩充标准表情库，优化标准表情评分，能够对于运动员冲线时面部表情丰富鲜活的帧图像给予较高的整体评分；该动作识别模型通过对连续多帧进行运动轨迹识别，能够对于运动员冲线时形体表现佳，动作力度强的帧图像给予较高的整体评分，同时对于帧图像中出现的非主角部分进行清晰度评分，非主角部分清晰度越低，主角部分就越突出，清晰度评分也就越高，最后综合整体评分与清晰度评分得到帧图像的图像评分。图像评分越高，说明该帧图像的图像质量越佳，表现力越好；通过比较图像评分所得出的推荐图像即为运动员冲刺撞线时表现力最佳的图像。
综上，本发明通过对视频进行预处理，得到视频中每一帧的帧图像，随后对每一帧帧图像进行清晰度判定，去除不符合清晰度要求的帧图像，并对符合清晰度要求的帧图像进行跟踪主角确定，采用预先训练形成的表情识别模型和动作识别模型对不同面部尺寸的跟踪主角进行整体评分输出，经处理得到帧图像的图像评分，最后根据图像评分输出优选的至少一帧帧图像作为推荐图像提供给用户查看。
本技术方案应用清晰度处理、人脸识别、动作识别等多种技术手段从多角度对视频帧图像进行综合评分，能够大幅缩减通过人力筛选优质图像的时间成本，同时使得对帧图像的筛选更为客观公允，更能符合用户的实际需求；依据图像评分输出优选的帧图像作为推荐图像提供给用户查看，采用直观化的方式展示筛选结果，能够提升用户的体验度与满意度。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
Claims (10)
1.一种视频图像处理方法，其特征在于，预先拍摄得到一视频，并于所述视频中得到每一帧的帧图像；
针对每一帧所述帧图像执行以下步骤：
步骤S1，判断所述帧图像的清晰度是否大于一预设清晰度阈值：
若是，则转向步骤S2；
若否，则将所述帧图像丢弃，并退出对所述帧图像的处理过程；
步骤S2，于所述帧图像中确定一跟踪主角；
步骤S3，判断所述帧图像中的所述跟踪主角的面部尺寸是否大于一预设尺寸：
若是，则转向步骤S4；
若否，则转向步骤S5；
步骤S4，采用一预先训练形成的表情识别模型对所述跟踪主角的表情进行识别，并将识别得到的表情评分作为整体评分输出，随后转向步骤S6；
步骤S5，采用一预先训练形成的动作识别模型，依据相邻与所述帧图像的连续多帧对所述跟踪主角的动作进行识别，并将识别得到的动作评分作为整体评分输出，随后转向步骤S6；
步骤S6，对所述整体评分进行处理，得到所述帧图像的图像评分，随后结束对所述帧图像的处理过程；
重复所述步骤S1-S6，以对所述视频中的每一帧所述帧图像进行处理后得到每一帧所述帧图像的所述图像评分，并根据所述图像评分输出优选的至少一帧所述帧图像作为推荐图像提供给用户查看。
2.如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S1中，采用下述步骤处理得到所述帧图像的清晰度：
步骤S11，处理得到所述帧图像的图像清晰度参数；
步骤S12，根据所述图像清晰度参数处理得到所述帧图像的所述清晰度；
所述图像清晰度参数包括所述帧图像的图像模糊参数和/或相机晃动参数。
3.如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S2具体包括：于所述帧图像前后的连续多帧中识别得到一始终处于所述帧图像的中心位置的人脸，以作为所述跟踪主角。
4.如权利要求1所述的视频图像处理方法，其特征在于，所述面部尺寸为面部的宽度，或者面部的面积。
5.如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S4中，所述表情识别模型中预先设置有多个标准表情以及每个所述标准表情对应的所述表情评分；
则所述步骤S4中，识别得到所述跟踪主角的表情后，与所述标准表情进行匹配，并输出相匹配的所述标准表情所对应的所述表情评分。
6.如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S4中，通过深度学习的方式扩充所述表情识别模型中的所述标准表情以及对应的所述表情评分。
7.如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S5中，所述动作识别模型中预先设置有多个标准动作以及每个所述标准动作对应的所述动作评分；
则所述步骤S5中，识别得到所述跟踪主角的动作后，与所述标准动作进行匹配，并输出相匹配的所述标准动作所对应的所述动作评分。
8.如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S5中，根据所述帧图像前后的连续多帧图像处理得到所述跟踪主角的运动轨迹，并根据所述运动轨迹识别得到所述跟踪主角的动作。
9.如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S2中，在确定所述跟踪主角的同时，将所述帧图像中不为所述跟踪主角的人脸均识别为非主角部分；
则所述步骤S6具体包括：
步骤S61，处理得到所述帧图像中的所述非主角部分的清晰度；
步骤S62，根据所述非主角部分的清晰度输出一清晰度评分，所述清晰度评分与所述非主角部分的清晰度成反比；
步骤S63，根据所述清晰度评分与所述整体评分处理得到所述图像评分。
10.一种视频图像处理系统，其特征在于，应用于如权利要求1-9中任意一项所述的视频帧图像打分方法，具体包括：
帧图像提取单元，用于从预先拍摄得到的视屏中得到每一帧的帧图像；
存储单元，连接所述帧图像提取单元，用于存储所述每一帧的帧图像；
第一判定单元，连接所述存储单元，用于对所述帧图像的清晰度进行判断，并根据第一判断结果保留所述清晰度大于一预设清晰度阈值的所述帧图像，丢弃所述清晰度不大于所述清晰度阈值的所述帧图像；
主角确定单元，连接所述第一判定单元和所述存储单元，用于于所述第一判定单元所保留的所述帧图像中，针对每帧所述帧图像确定一跟踪主角；
第二判定单元，连接所述主角确定单元，用于判断所述帧图像中的所述跟踪主角的面部尺寸是否大于一预设尺寸，并输出一第二判断结果；
表情识别单元，连接所述第二判定单元，用于根据所述第二判断结果，在所述面部尺寸大于所述尺寸时，对所述跟踪主角的表情进行识别，并将识别得到的表情评分作为整体评分输出；
动作识别单元，连接所述第二判定单元和所述存储单元，根据所述第二判断结果，在所述面部尺寸不大于所述尺寸时，依据相邻于所述帧图像的连续多帧对所述跟踪主角的动作进行识别，并将识别得到的动作评分作为整体评分输出；
处理单元，连接所述表情识别单元和所述动作识别单元，用于对所述整体评分进行处理，得到所述帧图像的图像评分；
输出显示单元，连接所述处理单元和所述存储单元，用于根据所述图像评分输出优选的至少一帧所述帧图像作为推荐图像提供给用户查看。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910523657.9A CN110390263A (zh) | 2019-06-17 | 2019-06-17 | 一种视频图像处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910523657.9A CN110390263A (zh) | 2019-06-17 | 2019-06-17 | 一种视频图像处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110390263A true CN110390263A (zh) | 2019-10-29 |
Family
ID=68285735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910523657.9A Pending CN110390263A (zh) | 2019-06-17 | 2019-06-17 | 一种视频图像处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110390263A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444770A (zh) * | 2020-02-26 | 2020-07-24 | 北京大米未来科技有限公司 | 图像处理方法、装置、电子设备及介质 |
| CN112528072A (zh) * | 2020-12-02 | 2021-03-19 | 泰州市朗嘉馨网络科技有限公司 | 应用大数据存储的对象类型分析平台及方法 |
| CN114550069A (zh) * | 2022-03-01 | 2022-05-27 | 华南农业大学 | 一种基于深度学习的仔猪乳头计数方法 |
| WO2022105757A1 (zh) * | 2020-11-19 | 2022-05-27 | 华为技术有限公司 | 图像处理方法及装置 |
| CN116033188A (zh) * | 2023-03-30 | 2023-04-28 | 湖南二三零信息科技有限公司 | 基于多路短视频的二次处理系统 |
| CN116473520A (zh) * | 2023-05-18 | 2023-07-25 | 深圳市宗匠科技有限公司 | 电子设备及其肤质分析方法和装置 |
| WO2023241298A1 (zh) * | 2022-06-16 | 2023-12-21 | 虹软科技股份有限公司 | 一种视频生成方法、装置、存储介质及电子设备 |
| CN117437157A (zh) * | 2023-10-16 | 2024-01-23 | 无锡远传融创科技有限公司 | 一种基于监控视频数据的图像处理方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011151482A (ja) * | 2010-01-19 | 2011-08-04 | Canon Inc | 撮像装置および撮像装置の制御方法 |
| CN104834898A (zh) * | 2015-04-09 | 2015-08-12 | 华南理工大学 | 一种人物摄影图像的质量分类方法 |
| CN108198177A (zh) * | 2017-12-29 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像获取方法、装置、终端及存储介质 |
| CN108234870A (zh) * | 2017-12-27 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN108388885A (zh) * | 2018-03-16 | 2018-08-10 | 南京邮电大学 | 面向大型直播场景的多人特写实时识别与自动截图方法 |
-
2019
- 2019-06-17 CN CN201910523657.9A patent/CN110390263A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011151482A (ja) * | 2010-01-19 | 2011-08-04 | Canon Inc | 撮像装置および撮像装置の制御方法 |
| CN104834898A (zh) * | 2015-04-09 | 2015-08-12 | 华南理工大学 | 一种人物摄影图像的质量分类方法 |
| CN108234870A (zh) * | 2017-12-27 | 2018-06-29 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、终端及存储介质 |
| CN108198177A (zh) * | 2017-12-29 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像获取方法、装置、终端及存储介质 |
| CN108388885A (zh) * | 2018-03-16 | 2018-08-10 | 南京邮电大学 | 面向大型直播场景的多人特写实时识别与自动截图方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111444770A (zh) * | 2020-02-26 | 2020-07-24 | 北京大米未来科技有限公司 | 图像处理方法、装置、电子设备及介质 |
| WO2022105757A1 (zh) * | 2020-11-19 | 2022-05-27 | 华为技术有限公司 | 图像处理方法及装置 |
| CN112528072A (zh) * | 2020-12-02 | 2021-03-19 | 泰州市朗嘉馨网络科技有限公司 | 应用大数据存储的对象类型分析平台及方法 |
| CN112528072B (zh) * | 2020-12-02 | 2021-06-22 | 深圳市三希软件科技有限公司 | 应用大数据存储的对象类型分析平台及方法 |
| CN114550069A (zh) * | 2022-03-01 | 2022-05-27 | 华南农业大学 | 一种基于深度学习的仔猪乳头计数方法 |
| CN114550069B (zh) * | 2022-03-01 | 2022-10-21 | 华南农业大学 | 一种基于深度学习的仔猪乳头计数方法 |
| WO2023241298A1 (zh) * | 2022-06-16 | 2023-12-21 | 虹软科技股份有限公司 | 一种视频生成方法、装置、存储介质及电子设备 |
| CN116033188A (zh) * | 2023-03-30 | 2023-04-28 | 湖南二三零信息科技有限公司 | 基于多路短视频的二次处理系统 |
| CN116473520A (zh) * | 2023-05-18 | 2023-07-25 | 深圳市宗匠科技有限公司 | 电子设备及其肤质分析方法和装置 |
| CN117437157A (zh) * | 2023-10-16 | 2024-01-23 | 无锡远传融创科技有限公司 | 一种基于监控视频数据的图像处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110390263A (zh) | 一种视频图像处理方法及系统 | |
| CN110139159B (zh) | 视频素材的处理方法、装置及存储介质 | |
| CN111950655B (zh) | 一种基于多领域知识驱动的图像美学质量评价方法 | |
| CN110533097B (zh) | 一种图像清晰度识别方法、装置、电子设备及存储介质 | |
| CN109657609B (zh) | 人脸识别方法及系统 | |
| CN108829855B (zh) | 基于条件生成对抗网络的衣着穿搭推荐方法、系统及介质 | |
| Luo et al. | Photo and video quality evaluation: Focusing on the subject | |
| Zhu et al. | Learning a discriminative model for the perception of realism in composite images | |
| US20230049135A1 (en) | Deep learning-based video editing method, related device, and storage medium | |
| CN114731458B (zh) | 视频处理方法、视频处理装置、终端设备以及存储介质 | |
| Tran et al. | Two-stream flow-guided convolutional attention networks for action recognition | |
| CN105005777A (zh) | 一种基于人脸的音视频推荐方法及系统 | |
| CN109815874A (zh) | 一种人员身份识别方法、装置、设备及可读存储介质 | |
| US20110292051A1 (en) | Automatic Avatar Creation | |
| CN110866563B (zh) | 相似视频检测、推荐方法、电子设备和存储介质 | |
| CN107807914A (zh) | 情感倾向的识别方法、对象分类方法及数据处理系统 | |
| CN108985262A (zh) | 肢体运动指导方法、装置、服务器及存储介质 | |
| CN107871103B (zh) | 一种人脸认证方法和装置 | |
| WO2014180108A1 (en) | Systems and methods for matching face shapes | |
| CN111432206A (zh) | 基于人工智能的视频清晰度处理方法、装置及电子设备 | |
| CN112818755A (zh) | 一种基于主动学习的步态识别方法 | |
| CN112767386A (zh) | 基于主题特征和评分分布的图像美学质量评价方法及系统 | |
| CN112633221A (zh) | 一种人脸方向的检测方法及相关装置 | |
| CN110175553A (zh) | 基于步态识别与人脸识别建立特征库的方法及装置 | |
| CN116757923A (zh) | 一种图像生成方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191029 |
|
| RJ01 | Rejection of invention patent application after publication |