CN109840491B - 视频流播放方法、系统、计算机装置及可读存储介质 - Google Patents
视频流播放方法、系统、计算机装置及可读存储介质 Download PDFInfo
- Publication number
- CN109840491B CN109840491B CN201910075210.XA CN201910075210A CN109840491B CN 109840491 B CN109840491 B CN 109840491B CN 201910075210 A CN201910075210 A CN 201910075210A CN 109840491 B CN109840491 B CN 109840491B
- Authority
- CN
- China
- Prior art keywords
- face
- frames
- image
- frame
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 87
- 238000012545 processing Methods 0.000 claims abstract description 49
- 230000009467 reduction Effects 0.000 claims abstract description 35
- 238000013507 mapping Methods 0.000 claims abstract description 29
- 238000012216 screening Methods 0.000 claims abstract description 11
- 238000004590 computer program Methods 0.000 claims description 22
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000001815 facial effect Effects 0.000 abstract description 4
- 230000000903 blocking effect Effects 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 210000004709 eyebrow Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 210000000887 face Anatomy 0.000 description 4
- 230000006872 improvement Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种视频流播放方法、系统、计算机装置及计算机可读存储介质。所述视频流播放方法包括：接收视频采集设备所采集的视频流；获取所述视频流中每一图像帧，并对每一所述图像帧按预设比例进行缩小处理；对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧；绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中；将添加有所述人脸特征点及所述人脸框的视频流按照预设帧频率进行播放。本发明涉及人脸检测技术，通过对视频流的图像帧进行按比例缩小处理，降低人脸及面部特征点检测耗时，可避免出现视频播放卡顿现象。
Description
技术领域
本发明涉及视频数据处理技术领域，尤其涉及一种视频流播放方法、系统、计算机装置及计算机可读存储介质。
背景技术
人脸追踪技术是基于人的面部特征信息，对摄像机采集的视频中人脸位置和面部特征进行追踪的一种人脸检测技术。在读取摄像头采集的视频流后，需对视频流的每帧图像进行人脸和面部特征点检测，并绘制人脸框和面部特征点，传统的人脸及面部特征点检测耗时过大，可能会出现视频显示卡顿，甚至无法显示的现象。现有的改进做法是通过优化人脸或特征点检测算法来提高检测速度，避免视频显示卡顿，但算法的提升较为困难，效果有限。
发明内容
鉴于上述，本发明提供一种视频流播放方法、系统、计算机装置及计算机可读存储介质，其可实现避免视频显示卡顿现象。
本申请一实施方式提供一种视频流播放方法，所述方法包括：
接收视频采集设备所采集的视频流；
获取所述视频流中每一图像帧，并对每一所述图像帧按预设比例进行缩小处理；
对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧；
绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中；及
将添加有所述人脸特征点及所述人脸框的视频流按照预设帧频率进行播放。
优选地，所述获取所述视频流中每一图像帧，并对每一所述图像帧按预设比例进行缩小处理的步骤包括：
建立第一线程并利用所述第一线程获取所述视频流中每一图像帧；及
建立第二线程并利用所述第二线程对每一所述图像帧按所述预设比例进行缩小处理。
优选地，所述对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧的步骤包括：
利用所述第二线程对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像；
所述绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中的步骤包括：
利用所述第二线程绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中。
优选地，所述将添加有所述人脸特征点及所述人脸框的视频流按照预设帧频率进行播放的步骤包括：
建立第三线程并利用所述第三线程读取添加有所述人脸特征点及所述人脸框的视频流的每一图像帧，并将每一所述图像帧按照所述预设帧频率进行播放。
优选地，所述对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧的步骤包括：
根据预设人脸图像样本库建立并训练得到人脸识别模型；及
利用所述人脸识别模型对经过缩小处理的图像帧进行人脸检测，以筛选出人脸图像帧。
优选地，所述根据预设人脸图像样本库建立并训练得到人脸识别模型的步骤包括：
建立卷积神经网络，并将所述预设人脸图像样本库中的人脸图像输入至所述卷积神经网络，其中所述预设人脸图像样本库包含多个人的人脸图像，每个人的人脸图像包括多种角度，且每种角度包括有多张图片；及
利用所述卷积神经网络的默认参数进行训练；及
根据训练结果对所述默认参数的初始权值、训练速率、迭代次数进行调整，直至所述卷积神经网络的网络参数被调整至符合预设参数要求。
优选地，所述将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中的步骤包括：
判断当前待播放的人脸图像帧的人脸特征点及人脸框是否绘制完成；
若当前待播放的人脸图像帧的人脸特征点及人脸框绘制完成，则将所述人脸特征点及所述人脸框映射到未经过缩小处理的原人脸图像帧中；
若当前待播放的人脸图像帧的人脸特征点及人脸框未绘制完成，则将上一帧的人脸图像帧的人脸特征点及人脸框映射到未经过缩小处理的原人脸图像帧中。
本申请一实施方式提供一种视频流播放系统，所述系统包括：
接收模块，用于接收视频采集设备所采集的视频流；
处理模块，用于获取所述视频流中每一图像帧，并对每一所述图像帧按预设比例进行缩小处理；
检测模块，用于对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧；
映射模块，用于绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中；及
播放模块，用于将添加有所述人脸特征点及所述人脸框的视频流按照预设帧频率进行播放。
本申请一实施方式提供一种计算机装置，所述计算机装置包括处理器及存储器，所述存储器上存储有若干计算机程序，所述处理器用于执行存储器中存储的计算机程序时实现如前面所述的视频流播放方法的步骤。
本申请一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前面所述的视频流播放方法的步骤。
上述视频流播放方法、系统、计算机装置及计算机可读存储介质，通过将视频流的图像帧按预设比例进行缩小处理，缩写后的图像数据较小，在人脸检测时能减少数据计算量，提高人脸检测速度，检测完毕后再将人脸特征点信息映射到原始图像帧中进行播放，在当前图像帧检测忙碌时，可直接用上一帧的人脸和特征点信息，可进一步避免视频播放时出现人脸和特征点拖拉现象，且充分发挥检测设备的并行计算能力，采用多线程来实现视频流人脸检测功能，进一步缩短人脸检测时间。
附图说明
为了更清楚地说明本发明实施方式的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中视频流播放方法的步骤流程图。
图2为本发明一实施例中视频流播放系统的功能模块图。
图3为本发明一实施例中计算机装置示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施方式及实施方式中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。
优选地，本发明的视频流播放方法应用在一个或者多个计算机装置中。所述计算机装置是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机装置可以是桌上型计算机、笔记本电脑、平板电脑、服务器等计算设备。所述计算机装置可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一：
图1是本发明视频流播放方法较佳实施例的步骤流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。
参阅图1所示，所述视频流播放方法具体包括以下步骤。
步骤S11、接收视频采集设备所采集的视频流。
在一实施方式中，所述视频采集设备可以是摄像头、摄像机、LD视频机等。所述视频采集设备可以安装在需要进行视频采集的区域特定位置。所述视频采集设备可以通过网络与计算机装置1(如图3所示)进行通信，当启动所述视频采集设备时，所述视频采集设备可以采集视频流，并将所述视频流发送至所述计算机装置1进行处理。
步骤S12、获取所述视频流中每一图像帧，并对每一所述图像帧按预设比例进行缩小处理。
在一实施方式中，视频采集设备所采集的视频流清晰度一般较高(比如高清、超清)，进而使得视频流中的每一图像帧具有较大的图像数据，在进行人脸检测时将需要更多的检测时间。通过对视频流中每一图像帧按预设比例进行缩小处理，缩小后的图像帧数据比较小，在人脸检测时能减少数据计算量，可以使得人脸检测将花费更少的检测时间。所述预设比例优选需要保证缩小后的图像能清楚分辨出人脸区域，不影响人脸图像的检测。例如可以将待检测图像缩小到M*N大小，所述M、N为像素点数，M与N的值与所述原图像帧长宽比一致，例如原始图片帧的像素比为1600*1200，所述预设比例为十分之一，缩小后的图像像素比为160*120，160*120大小的图像既能保证图像中的人脸比较容易分辨，又能最大限度的减少检测人脸图像时的计算量。
在一实施方式中，为了进一步缩短人脸检测时间，可以利用多线程并行执行视频流人脸检测动作，比如：建立第一线程并利用所述第一线程获取所述视频流中每一图像帧，建立第二线程并利用所述第二线程对每一所述图像帧按所述预设比例进行缩小处理。
步骤S13，对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧。
在一实施方式中，前述步骤接收到的视频流的各图像帧中可能包括不存在人脸的图像帧，即所述视频流中的各图像帧所包含的图像信息并不是全部都需要进行人脸检测，需对所述视频流中的每一图像帧进行人脸检测，以从所述视频流中筛选出包含人脸的图像帧。
在一实施方式中，可以根据预设人脸图像样本库建立并训练得到人脸识别模型，并利用所述人脸识别模型对经过缩小处理的图像帧进行人脸检测，以筛选出人脸图像帧。具体地，先构建人脸图像样本库并建立一用于人脸检测的卷积神经网络，所述人脸图像样本库包含多个人的人脸图像，每个人的人脸图像可以包括多种角度，每种角度的人脸图像可以有多张图片；将人脸图像样本库中的人脸图像输入至卷积神经网络，使用卷积神经网络的默认参数进行卷积神经网络训练；根据训练得到的中间结果，对默认参数的初始权值、训练速率、迭代次数等参数进行不断调整，直到得到最优的卷积神经网络网络参数，该具有最优网络参数的卷积神经网络即可作为所述人脸识别模型。卷积神经网络的最优网络参数是指符合预设参数要求的参数，所述预设参数要求可以根据实际的使用需求进行设定。
在一实施方式中，可以利用所述第二线程来实现对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧。
步骤S14、绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中。
在一实施方式中，所述人脸特征点可以由眼睛、鼻子、嘴巴、下巴等部分构成，人脸特征点可以通过积分投影方式或者人脸对齐算法从图像帧信息中求出，人脸特征点的数目可以根据所选择的算法和实际需求而定。人脸特征点可以用于进行人脸识别来区分图像中不同的人脸，由于眼睛是人脸当中比较突出的人脸特征，可以先对眼睛进行精确定位，则脸部其他器官，如：眼眉、嘴巴、鼻子等，可以由潜在的分布关系得出比较准确的定位。所述人脸框为人脸图像中可以将人脸特征点全部包含在内的一个矩形区域的边框，可以根据人脸的特征点位置确定出当前图像帧中的人脸框，通过这些特征点的位置，计算求出包含这些特征点的矩形区域，该矩形区域的边框即为当前图像帧中确定出的人脸检测框。人脸检测框的大小可根据实际需求而定，但最好需包含人脸的全部的特征点在内。所述人脸对齐算法可以是ASM算法、AAM算法、STASM算法等。
举例而言，人脸图像特征点的绘制通过对应于不同积分投影方式下产生的波峰或波谷进行。其中，积分投影分为垂直投影和水平投影，设f(x，y)表示图像(x，y)处的灰度值，在图像[y1，y2]和[x1，x2]区域的水平积分投影Mh(y)和垂直积分投影Mv(x)分别表示为：
其中，水平积分投影是将一行所有像素点的灰度值进行累加后再显示，垂直积分投影是将一列所有像素点的灰度值进行累加后再显示。通过定位两个波谷点x1、x2从该待识别人脸图像中把横轴[x1，x2]区域的图像截取出来，即可实现待识别人脸图像左右边界的定位。对左右边界定位后二值化待识别人脸图像，分别进行水平积分投影和垂直积分投影。进一步的，利用对人脸图像的先验知识可知，眉毛和眼睛是人脸图像中较近的黑色区域，其对应着水平积分投影曲线上的前两个极小值点。第一个极小值点对应的是眉毛在纵轴上的位置，记做ybrow，第二个极小值点对应的是眼睛在纵轴上的位置，记做yeye，第三个极小值点对应的是鼻子在纵轴上的位置，记做ynose，第四个极小值点对应的是嘴巴在纵轴上的位置，记做ymonth。同样，人脸图像中心对称轴两侧出现两个极小值点，分别对应左右眼在横轴上的位置，记做xleft-eye、xright-eye；眉毛在横轴上的位置和眼睛相同，嘴巴和鼻子在横轴上的位置为(xleft-eye+xright-eye)/2。
在一实施方式中，由于是对缩小后的图像帧进行人脸特征点及人脸框的绘制，绘制完成后还需要将人脸特征点及人脸框映射到原始大小的图像帧中，进而使得播放的视频中若存在人脸时会同时显示绘制的人脸框及人脸特征点。可以根据先前图像的缩小比例进行人脸特征点及人脸框映射。
举例而言，当对视频流的第二帧图像进行人脸检测时，首先对该第二帧图像进行缩小处理，若检测到该第二帧图像包含有人脸图像，则对缩小后的第二帧图像绘制人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到原始的第二图像帧中，若判断该第二帧图像不包含人脸图像，则不进行后续的人脸特征点及人脸框的绘制。
在一实施方式中，同样可以利用所述第二线程来实现绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中。
在一实施方式中，由于视频播放原理一般是每秒显示若干张连续图片(例如25张)，在对每一人脸图像进行人脸特征点检测与人脸框绘制时，可能会出现某一图像帧需要被播放但是该图像帧的人脸特征点与人脸框还未绘制或者还未绘制完成，此时可以直接用上一帧的人脸特征点与人脸框映射到该图像帧，避免由于人脸特征点、人脸框检测绘制耗时过长，导致出现视频显示卡顿或无法显示的现象。具体地，还可以通过以下方式来实现避免视频显示卡顿的现象：判断当前待播放的人脸图像帧的人脸特征点及人脸框是否绘制完成；若当前待播放的人脸图像帧的人脸特征点及人脸框绘制完成，则将所述人脸特征点及所述人脸框映射到未经过缩小处理的原人脸图像帧中；若当前待播放的人脸图像帧的人脸特征点及人脸框未绘制完成，则将上一帧或者更早的人脸图像帧的人脸特征点及人脸框映射到未经过缩小处理的原人脸图像帧中。
在一实施方式中，可以通过估算绘制一人脸图像的人脸特征点及人脸框的耗时，并将该绘制耗时与每秒钟帧数进行比较，来得到人脸特征点检测需要间隔多少帧数检测一次，例如计算得到绘制耗时为1/9秒，而每秒钟帧数为25帧/s，则可以得到每3帧检测一次。
步骤S15、将添加有所述人脸特征点及所述人脸框的视频流按照预设帧频率进行播放。
在一实施方式中，所述预设频率可以根据实际使用需求进行设定，例如所述预设频率是每秒25帧。可以建立第三线程并利用所述第三线程读取添加有所述人脸特征点及所述人脸框的视频流的每一图像帧，并将每一所述图像帧按照所述预设帧频率进行播放。
上述视频流播放方法，通过将视频流的图像帧按预设比例进行缩小处理，缩写后的图像数据较小，在人脸检测时能减少数据计算量，提高人脸检测速度，检测完毕后再将人脸特征点信息映射到原始图像帧中进行播放，在当前图像帧检测忙碌时，可直接用上一帧的人脸和特征点信息，可进一步避免视频播放时出现人脸和特征点拖拉现象，且充分发挥检测设备的并行计算能力，采用多线程来实现视频流人脸检测功能，进一步缩短人脸检测时间。
实施例二：
图2为本发明视频流播放系统较佳实施例的功能模块图。
参阅图2所示，所述视频流播放系统10可以包括接收模块101、处理模块102、检测模块103、映射模块104及播放模块105。
所述接收模块101用于接收视频采集设备所采集的视频流。
在一实施方式中，所述视频采集设备可以是摄像头、摄像机、LD视频机等。所述视频采集设备可以安装在需要进行视频采集的区域特定位置。所述视频采集设备可以通过网络与计算机装置1进行通信，当启动所述视频采集设备时，所述视频采集设备可以采集视频流，并将所述视频流发送至所述计算机装置1进行处理。
所述处理模块102用于获取所述视频流中每一图像帧，并对每一所述图像帧按预设比例进行缩小处理。
在一实施方式中，视频采集设备所采集的视频流清晰度一般较高(比如高清、超清)，进而使得视频流中的每一图像帧具有较大的图像数据，在进行人脸检测时将需要更多的检测时间。通过所述处理模块102对视频流中每一图像帧按预设比例进行缩小处理，缩小后的图像帧数据比较小，在人脸检测时能减少数据计算量，可以使得人脸检测将花费更少的检测时间。所述预设比例优选需要保证缩小后的图像能清楚分辨出人脸区域，不影响人脸图像的检测。例如可以将待检测图像缩小到M*N大小，所述M、N为像素点数，M与N的值与所述原图像帧长宽比一致，例如原始图片帧的像素比为1600*1200，所述预设比例为十分之一，缩小后的图像像素比为160*120，160*120大小的图像既能保证图像中的人脸比较容易分辨，又能最大限度的减少检测人脸图像时的计算量。
在一实施方式中，为了进一步缩短人脸检测时间，所述视频流播放系统10可以利用多线程并行执行视频流人脸检测动作，比如：建立第一线程并利用所述第一线程获取所述视频流中每一图像帧，建立第二线程并利用所述第二线程对每一所述图像帧按所述预设比例进行缩小处理。
所述检测模块103用于对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧。
在一实施方式中，所述接收模块101接收到的视频流的各图像帧中可能包括不存在人脸的图像帧，即所述视频流中的各图像帧所包含的图像信息并不是全部都需要进行人脸检测，需对所述视频流中的每一图像帧进行人脸检测，以从所述视频流中筛选出包含人脸的图像帧。
在一实施方式中，所述检测模块103可以根据预设人脸图像样本库建立并训练得到人脸识别模型，并利用所述人脸识别模型对经过缩小处理的图像帧进行人脸检测，以筛选出人脸图像帧。具体地，先构建人脸图像样本库并建立一用于人脸检测的卷积神经网络，所述人脸图像样本库包含多个人的人脸图像，每个人的人脸图像可以包括多种角度，每种角度的人脸图像可以有多张图片；将人脸图像样本库中的人脸图像输入至卷积神经网络，使用卷积神经网络的默认参数进行卷积神经网络训练；根据训练得到的中间结果，对默认参数的初始权值、训练速率、迭代次数等参数进行不断调整，直到得到最优的卷积神经网络网络参数，该具有最优网络参数的卷积神经网络即可作为所述人脸识别模型。卷积神经网络的最优网络参数是指符合预设参数要求的参数，所述预设参数要求可以根据实际的使用需求进行设定。
在一实施方式中，所述检测模块103可以利用所述第二线程来实现对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧。
所述映射模块104用于绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中。
在一实施方式中，所述人脸特征点可以由眼睛、鼻子、嘴巴、下巴等部分构成，人脸特征点可以通过积分投影方式或者人脸对齐算法从图像帧信息中求出，人脸特征点的数目可以根据所选择的算法和实际需求而定。人脸特征点可以用于进行人脸识别来区分图像中不同的人脸，由于眼睛是人脸当中比较突出的人脸特征，可以先对眼睛进行精确定位，则脸部其他器官，如：眼眉、嘴巴、鼻子等，可以由潜在的分布关系得出比较准确的定位。所述人脸框为人脸图像中可以将人脸特征点全部包含在内的一个矩形区域的边框，可以根据人脸的特征点位置确定出当前图像帧中的人脸框，通过这些特征点的位置，计算求出包含这些特征点的矩形区域，该矩形区域的边框即为当前图像帧中确定出的人脸检测框。人脸检测框的大小可根据实际需求而定，但最好需包含人脸的全部的特征点在内。所述人脸对齐算法可以是ASM算法、AAM算法、STASM算法等。
举例而言，人脸图像特征点的绘制通过对应于不同积分投影方式下产生的波峰或波谷进行。其中，积分投影分为垂直投影和水平投影，设f(x，y)表示图像(x，y)处的灰度值，在图像[y1，y2]和[x1，x2]区域的水平积分投影Mh(y)和垂直积分投影Mv(x)分别表示为：
其中，水平积分投影是将一行所有像素点的灰度值进行累加后再显示，垂直积分投影是将一列所有像素点的灰度值进行累加后再显示。通过定位两个波谷点x1、x2从该待识别人脸图像中把横轴[x1，x2]区域的图像截取出来，即可实现待识别人脸图像左右边界的定位。对左右边界定位后二值化待识别人脸图像，分别进行水平积分投影和垂直积分投影。进一步的，利用对人脸图像的先验知识可知，眉毛和眼睛是人脸图像中较近的黑色区域，其对应着水平积分投影曲线上的前两个极小值点。第一个极小值点对应的是眉毛在纵轴上的位置，记做ybrow，第二个极小值点对应的是眼睛在纵轴上的位置，记做yeye，第三个极小值点对应的是鼻子在纵轴上的位置，记做ynose，第四个极小值点对应的是嘴巴在纵轴上的位置，记做ymonth。同样，人脸图像中心对称轴两侧出现两个极小值点，分别对应左右眼在横轴上的位置，记做xleft-eye、xright-eye；眉毛在横轴上的位置和眼睛相同，嘴巴和鼻子在横轴上的位置为(xleft-eye+xright-eye)/2。
在一实施方式中，由于是对缩小后的图像帧进行人脸特征点及人脸框的绘制，所述映射模块104绘制完人脸特征点及人脸框后，还需要将人脸特征点及人脸框映射到原始大小的图像帧中，进而使得播放的视频中若存在人脸时会同时显示绘制的人脸框及人脸特征点。所述映射模块104可以根据先前图像的缩小比例进行人脸特征点及人脸框映射。
举例而言，当对视频流的第二帧图像进行人脸检测时，所述处理模块102对该第二帧图像进行缩小处理，若检测模块103检测到该第二帧图像包含有人脸图像，则映射模块104对缩小后的第二帧图像绘制人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到原始的第二图像帧中，若检测模块103判断该第二帧图像不包含人脸图像，则不进行后续的人脸特征点及人脸框的绘制。
在一实施方式中，所述映射模块104同样可以利用所述第二线程来实现绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中。
在一实施方式中，由于视频播放原理一般是每秒显示若干张连续图片(例如25张)，在对每一人脸图像进行人脸特征点检测与人脸框绘制时，可能会出现某一图像帧需要被播放但是该图像帧的人脸特征点与人脸框还未绘制或者还未绘制完成，此时可以直接用上一帧的人脸特征点与人脸框映射到该图像帧，避免由于人脸特征点、人脸框检测绘制耗时过长，导致出现视频显示卡顿或无法显示的现象。具体地，所述映射模块104还可以通过以下方式来实现避免视频显示卡顿的现象：判断当前待播放的人脸图像帧的人脸特征点及人脸框是否绘制完成；若当前待播放的人脸图像帧的人脸特征点及人脸框绘制完成，则将所述人脸特征点及所述人脸框映射到未经过缩小处理的原人脸图像帧中；若当前待播放的人脸图像帧的人脸特征点及人脸框未绘制完成，则将上一帧或者更早的人脸图像帧的人脸特征点及人脸框映射到未经过缩小处理的原人脸图像帧中。
在一实施方式中，所述映射模块104可以通过估算绘制一人脸图像的人脸特征点及人脸框的耗时，并将该绘制耗时与每秒钟帧数进行比较，来得到人脸特征点检测需要间隔多少帧数检测一次，例如计算得到绘制耗时为1/9秒，而每秒钟帧数为25帧/s，则可以得到每3帧检测一次。
所述播放模块105用于将添加有所述人脸特征点及所述人脸框的视频流按照预设帧频率进行播放。
在一实施方式中，所述预设频率可以根据实际使用需求进行设定，例如所述预设频率是每秒25帧。所述播放模块105可以利用所述第三线程读取添加有所述人脸特征点及所述人脸框的视频流的每一图像帧，并将每一所述图像帧按照所述预设帧频率进行播放。
上述视频流播放系统，通过将视频流的图像帧按预设比例进行缩小处理，缩写后的图像数据较小，在人脸检测时能减少数据计算量，提高人脸检测速度，检测完毕后再将人脸特征点信息映射到原始图像帧中进行播放，在当前图像帧检测忙碌时，可直接用上一帧的人脸和特征点信息，可进一步避免视频播放时出现人脸和特征点拖拉现象，且充分发挥检测设备的并行计算能力，采用多线程来实现视频流人脸检测功能，进一步缩短人脸检测时间。
图3为本发明计算机装置较佳实施例的示意图。
所述计算机装置1包括存储器20、处理器30以及存储在所述存储器20中并可在所述处理器30上运行的计算机程序40，例如视频流播放程序。所述处理器30执行所述计算机程序40时实现上述视频流播放方法实施例中的步骤，例如图1所示的步骤S11～S15。所述处理器30执行所述计算机程序40时实现上述视频流播放系统实施例中各模块的功能，例如图2中的模块101～105。
示例性的，所述计算机程序40可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器20中，并由所述处理器30执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序40在所述计算机装置1中的执行过程。例如，所述计算机程序40可以被分割成图2中的接收模块101、处理模块102、检测模块103、映射模块104及播放模块105。各模块具体功能参见实施例二。
所述计算机装置1可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图仅仅是计算机装置1的示例，并不构成对计算机装置1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机装置1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器30也可以是任何常规的处理器等，所述处理器30是所述计算机装置1的控制中心，利用各种接口和线路连接整个计算机装置1的各个部分。
所述存储器20可用于存储所述计算机程序40和/或模块/单元，所述处理器30通过运行或执行存储在所述存储器20内的计算机程序和/或模块/单元，以及调用存储在存储器20内的数据，实现所述计算机装置1的各种功能。所述存储器20可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机装置1的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器20可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
在本发明所提供的几个实施例中，应该理解到，所揭露的计算机装置和方法，可以通过其它的方式实现。例如，以上所描述的计算机装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
另外，在本发明各个实施例中的各功能单元可以集成在相同处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在相同单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。计算机装置权利要求中陈述的多个单元或计算机装置也可以由同一个单元或计算机装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (9)
1.一种视频流播放方法，其特征在于，所述方法包括：
接收视频采集设备所采集的视频流；
获取所述视频流中每一图像帧，并对每一所述图像帧按预设比例进行缩小处理；
对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧；
绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中；
将添加有所述人脸特征点及所述人脸框的视频流按照播放帧率进行播放；
其中，所述将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中，包括：
每隔预设帧数进行一次人脸特征点与人脸框的绘制检测；
若检测到当前待播放的人脸图像帧的人脸特征点及人脸框绘制完成，将所述人脸特征点及所述人脸框映射到未经过缩小处理的原人脸图像帧中；
若检测到当前待播放的人脸图像帧的人脸特征点及人脸框未绘制完成，将上一帧的人脸图像帧的人脸特征点及人脸框映射到未经过缩小处理的原人脸图像帧中，所述预设帧数基于进行一次人脸特征点与人脸框的绘制耗时及所述播放帧率确定。
2.如权利要求1所述的视频流播放方法，其特征在于，所述获取所述视频流中每一图像帧，并对每一所述图像帧按预设比例进行缩小处理的步骤包括：
建立第一线程并利用所述第一线程获取所述视频流中每一图像帧；及
建立第二线程并利用所述第二线程对每一所述图像帧按所述预设比例进行缩小处理。
3.如权利要求2所述的视频流播放方法，其特征在于，所述对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧的步骤包括：
利用所述第二线程对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像；
所述绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中的步骤包括：
利用所述第二线程绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中。
4.如权利要求2所述的视频流播放方法，其特征在于，所述将添加有所述人脸特征点及所述人脸框的视频流按照播放帧率进行播放的步骤包括：
建立第三线程并利用所述第三线程读取添加有所述人脸特征点及所述人脸框的视频流的每一图像帧，并将每一所述图像帧按照所述播放帧率进行播放。
5.如权利要求1或2所述的视频流播放方法，其特征在于，所述对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧的步骤包括：
根据预设人脸图像样本库建立并训练得到人脸识别模型；及
利用所述人脸识别模型对经过缩小处理的图像帧进行人脸检测，以筛选出人脸图像帧。
6.如权利要求5所述的视频流播放方法，其特征在于，所述根据预设人脸图像样本库建立并训练得到人脸识别模型的步骤包括：
建立卷积神经网络，并将所述预设人脸图像样本库中的人脸图像输入至所述卷积神经网络，其中所述预设人脸图像样本库包含多个人的人脸图像，每个人的人脸图像包括多种角度，且每种角度包括有多张图片；
利用所述卷积神经网络的默认参数进行训练；及
根据训练结果对所述默认参数的初始权值、训练速率、迭代次数进行调整，直至所述卷积神经网络的网络参数被调整至符合预设参数要求。
7.一种视频流播放系统，其特征在于，所述系统包括：
接收模块，用于接收视频采集设备所采集的视频流；
处理模块，用于获取所述视频流中每一图像帧，并对每一所述图像帧按预设比例进行缩小处理；
检测模块，用于对经过缩小处理的图像帧进行人脸检测并筛选出人脸图像帧；
映射模块，用于绘制每一所述人脸图像帧的人脸特征点及人脸框，并将所述人脸特征点及所述人脸框映射到未经过缩小处理的原图像帧中；
播放模块，用于将添加有所述人脸特征点及所述人脸框的视频流按照播放帧率进行播放；
其中，所述映射模块还用于每隔预设帧数进行一次人脸特征点与人脸框的绘制检测，在检测到当前待播放的人脸图像帧的人脸特征点及人脸框绘制完成的情形下，将所述人脸特征点及所述人脸框映射到未经过缩小处理的原人脸图像帧中，以及在检测到当前待播放的人脸图像帧的人脸特征点及人脸框未绘制完成的情形下，将上一帧的人脸图像帧的人脸特征点及人脸框映射到未经过缩小处理的原人脸图像帧中，所述预设帧数基于进行一次人脸特征点与人脸框的绘制耗时及所述播放帧率确定。
8.一种计算机装置，所述计算机装置包括处理器及存储器，所述存储器上存储有若干计算机程序，其特征在于，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6中任意一项所述的视频流播放方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任意一项所述的视频流播放方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910075210.XA CN109840491B (zh) | 2019-01-25 | 2019-01-25 | 视频流播放方法、系统、计算机装置及可读存储介质 |
| PCT/CN2019/090027 WO2020151156A1 (zh) | 2019-01-25 | 2019-06-04 | 视频流播放方法、系统、计算机装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910075210.XA CN109840491B (zh) | 2019-01-25 | 2019-01-25 | 视频流播放方法、系统、计算机装置及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109840491A CN109840491A (zh) | 2019-06-04 |
| CN109840491B true CN109840491B (zh) | 2024-07-02 |
Family
ID=66884230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910075210.XA Active CN109840491B (zh) | 2019-01-25 | 2019-01-25 | 视频流播放方法、系统、计算机装置及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109840491B (zh) |
| WO (1) | WO2020151156A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443115B (zh) * | 2019-06-19 | 2023-12-22 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、计算机设备及可读存储介质 |
| CN110348353B (zh) * | 2019-06-28 | 2023-07-25 | 照熠信息科技(上海)有限公司 | 一种图像处理方法及装置 |
| CN111783632B (zh) * | 2020-06-29 | 2022-06-10 | 北京字节跳动网络技术有限公司 | 针对视频流的人脸检测方法、装置、电子设备及存储介质 |
| CN112183227B (zh) * | 2020-09-08 | 2023-12-22 | 瑞芯微电子股份有限公司 | 一种智能泛人脸区域的编码方法和设备 |
| CN112132797B (zh) * | 2020-09-15 | 2024-02-20 | 新华智云科技有限公司 | 一种短视频质量筛选方法 |
| CN113286175A (zh) * | 2021-04-27 | 2021-08-20 | 金卯新能源集团有限公司 | 视频流处理方法、装置及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650575A (zh) * | 2016-09-19 | 2017-05-10 | 北京小米移动软件有限公司 | 人脸检测方法及装置 |
| CN108198148A (zh) * | 2017-12-07 | 2018-06-22 | 北京小米移动软件有限公司 | 图像处理的方法及装置 |
| CN109214303A (zh) * | 2018-08-14 | 2019-01-15 | 北京工商大学 | 一种基于云端api的多线程动态人脸签到方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7430335B2 (en) * | 2003-08-13 | 2008-09-30 | Apple Inc | Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering |
| WO2018177134A1 (zh) * | 2017-03-29 | 2018-10-04 | 腾讯科技（深圳）有限公司 | 用户生成内容处理方法、存储介质和终端 |
| CN108875480A (zh) * | 2017-08-15 | 2018-11-23 | 北京旷视科技有限公司 | 一种人脸特征信息的追踪方法、装置及系统 |
| CN107909551A (zh) * | 2017-10-30 | 2018-04-13 | 珠海市魅族科技有限公司 | 图像处理方法、装置、计算机装置及计算机可读存储介质 |
| CN108564008A (zh) * | 2018-03-28 | 2018-09-21 | 厦门瑞为信息技术有限公司 | 一种基于zynq的实时行人与人脸检测方法 |
| CN109246332A (zh) * | 2018-08-31 | 2019-01-18 | 北京达佳互联信息技术有限公司 | 视频流降噪方法和装置、电子设备及存储介质 |
-
2019
- 2019-01-25 CN CN201910075210.XA patent/CN109840491B/zh active Active
- 2019-06-04 WO PCT/CN2019/090027 patent/WO2020151156A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650575A (zh) * | 2016-09-19 | 2017-05-10 | 北京小米移动软件有限公司 | 人脸检测方法及装置 |
| CN108198148A (zh) * | 2017-12-07 | 2018-06-22 | 北京小米移动软件有限公司 | 图像处理的方法及装置 |
| CN109214303A (zh) * | 2018-08-14 | 2019-01-15 | 北京工商大学 | 一种基于云端api的多线程动态人脸签到方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020151156A1 (zh) | 2020-07-30 |
| CN109840491A (zh) | 2019-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109840491B (zh) | 视频流播放方法、系统、计算机装置及可读存储介质 | |
| US20220083763A1 (en) | Face image processing methods and apparatuses, and electronic devices | |
| US20210281771A1 (en) | Video processing method, electronic device and non-transitory computer readable medium | |
| JP7446457B2 (ja) | 画像最適化方法及びその装置、コンピュータ記憶媒体、コンピュータプログラム並びに電子機器 | |
| US9639914B2 (en) | Portrait deformation method and apparatus | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| JP6357589B2 (ja) | 画像表示方法、装置、プログラムおよび記録媒体 | |
| WO2017035966A1 (zh) | 用于人脸图像处理的方法和装置 | |
| JP2022528294A (ja) | 深度を利用した映像背景減算法 | |
| US11132544B2 (en) | Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium | |
| US20210406305A1 (en) | Image deformation control method and device and hardware device | |
| US20220270215A1 (en) | Method for applying bokeh effect to video image and recording medium | |
| US11200414B2 (en) | Process for capturing content from a document | |
| CN112016469A (zh) | 图像处理方法及装置、终端及可读存储介质 | |
| CN105430269B (zh) | 一种应用于移动终端的拍照方法及装置 | |
| CN108416722A (zh) | 一种图像显示方法、存储介质及终端设备 | |
| CN111667504A (zh) | 一种人脸追踪方法、装置及设备 | |
| WO2019071398A1 (zh) | 屏幕缩放调整方法及装置、终端及计算机可读存储介质 | |
| CN113610723A (zh) | 图像处理方法及相关装置 | |
| US20140072234A1 (en) | Method and apparatus for estimating position of head, computer readable storage medium thereof | |
| WO2019223067A1 (zh) | 基于多重处理的虹膜图像增强方法、装置、设备及介质 | |
| CN108540719A (zh) | 拍摄照片的方法、装置、计算机设备及存储介质 | |
| CN118658195A (zh) | 眨眼检测方法、装置、设备、存储介质和程序产品 | |
| WO2020244076A1 (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
| CN112906571A (zh) | 活体识别方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |