CN109391775A - 一种基于人脸识别的智能拍摄云台控制方法与系统 - Google Patents

一种基于人脸识别的智能拍摄云台控制方法与系统 Download PDF

Info

Publication number
CN109391775A
CN109391775A CN201811229952.5A CN201811229952A CN109391775A CN 109391775 A CN109391775 A CN 109391775A CN 201811229952 A CN201811229952 A CN 201811229952A CN 109391775 A CN109391775 A CN 109391775A
Authority
CN
China
Prior art keywords
face
recognition
axle
coordinate system
tripod head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811229952.5A
Other languages
English (en)
Inventor
张钦宇
陈冬强
韩啸
葛云鹏
雷飞
赵鹏
郭红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN201811229952.5A priority Critical patent/CN109391775A/zh
Publication of CN109391775A publication Critical patent/CN109391775A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

本发明提供了一种基于人脸识别的智能拍摄云台控制方法,包括以下步骤:S1、启动;S2、初始化操作;S3、提取视频帧并预处理;S4、人脸检测;S5、判断是否存在人脸,如果不存在,则返回步骤S3,如果存在,则进入下一步骤;S6、等待用户选择目标人脸;S7、确定目标人脸;S8、提取视频帧并预处理;S9、人脸检测。本发明还提供了一种基于人脸识别的智能拍摄云台控制系统。本发明的有益效果是:基于人脸识别来控制两轴云台的控制,可以自动控制两轴云台使摄像头一直对准目标人脸,解决了自拍中出镜、控制不方便,角度不好控制的拍摄问题,操作方便,成本低。

Description

一种基于人脸识别的智能拍摄云台控制方法与系统
技术领域
本发明涉及智能拍摄云台控制方法,尤其涉及一种基于人脸识别的智能拍摄云台控制方法与系统。
背景技术
在现代生活中,自拍成了生活的重要的趣味组成部分,但是自拍往往给使用者带来诸如出镜、控制不方便,角度不好控制等拍摄问题。尤其是在移动摄像或者直播中,当用户发生直播行为时,做出个性动作,往往难以顾及自己拍照的角度。
如此,如何提供一款方便用户操作,低成本的智能自拍设备,可以解决自拍或者摄像时无旁人协助而导致的各种拍摄问题。
发明内容
为了解决现有技术中的问题,本发明提供了一种基于人脸识别的智能拍摄云台控制方法与系统。
本发明提供了一种基于人脸识别的智能拍摄云台控制方法,包括以下步骤:
S1、启动;
S2、初始化操作;
S3、提取视频帧并预处理;
S4、人脸检测;
S5、判断是否存在人脸,如果不存在,则返回步骤S3,如果存在,则进入下一步骤;
S6、等待用户选择目标人脸;
S7、确定目标人脸;
S8、提取视频帧并预处理;
S9、人脸检测;
S10、判断是否存在人脸,如果不存在,则返回步骤S8,如果存在,则进入下一步骤;
S11、人脸识别;
S12、判断是否为目标人脸,如果不是,则返回步骤S8,如果是,则进入下一步骤;
S13、获取人脸位置;
S14、计算人脸位置变化;
S15、计算两轴云台控制量;
S16、向两轴云台发送控制指令,两轴云台执行该控制指令;
S17、用户是否选择停止,如果否,则返回步骤S8,如果是,则进入下一步骤;
S18、结束。
作为本发明的进一步改进,在步骤S12中,在Android摄像头的预览事件处理函数中,先调用AFR_FSDKEngine的人脸识别函数,然后再调用AFR_FSDK_ExtractFRFeature函数来获取人脸特征信息,将它与系统中的目标人脸信息进行对比,当特征信息匹配度大于0.6时,则认为获取的人脸特征信息是目标人脸。
作为本发明的进一步改进,在步骤S9中,保存检测到的人脸的位置信息[l,t,w,h],其中,l为left,即左边坐标值,t为top,即高度坐标值,w为width,即宽度值,h为height,即高度值。
作为本发明的进一步改进,在步骤S13中,利用获取到的人脸的位置信息[l,t,w,h],计算人脸在图像坐标系中的中心坐标[x,y],公式如下:
在在步骤S14中,计算人脸距离图像画面中心的位置变化量
其中,(xo,yo)表示图像画面的中心坐标,
人为设定到中心的最小坐标变化量Δxmin和Δymin,所以存在如下约束:
|Δx|≤Δxmin
|Δy|<Δymin
作为本发明的进一步改进,在步骤S15中,得到人脸距离图像画面中心的位置变化量后,将图像坐标系中的坐标变量映射到两轴云台坐标系,通过给定一个标准的标定参照物,然后使用opencv中的标定函数来计算参数的值。
作为本发明的进一步改进,在步骤S15中,采用了12副不同姿态的方格数目为7X5的棋盘图像来进行参数解算,最后解得的参数矩阵如下所示:[q0,q1,q2,q3]=[0.156402,-0.172480,0.200392,-0.000912],q0、q1为径向畸变系数,q2、q3为切向畸变系数。
在步骤S15中,利用归一化后的四元数描述刚体的定点运动,借助四元数即可实现向量的坐标系转换,图像坐标系b系到两轴云台坐标系n系的转换矩阵如下:
q0、q1为径向畸变系数,q2、q3为切向畸变系数;
表示从图像坐标系b系中的坐标量转换到两轴云台坐标系n系的转换矩阵;
已知上式,将数据进行坐标系转换,公式如下:
rn表示在两轴云台坐标系n系中坐标量;
rb表示在图像坐标系b系中的坐标量;
由转换矩阵的可逆性,可求出图像坐标系到两轴云台坐标系的转换矩阵,从而将人脸识别引擎得到的人脸位置数据进行图像坐标系到两轴云台坐标系的转换。
作为本发明的进一步改进,在步骤S1中,启动移动设备的应用程序;在步骤S2中,打开相机,初始化人脸识别引擎,后续的人脸检测与人脸识别均采用该人脸识别引擎;在步骤S16中,移动设备通过蓝牙向两轴云台的云台主控发送控制指令,两轴云台的云台主控采用位置式PID控制算法来控制云台电机。
作为本发明的进一步改进,在步骤S3和S8中,对摄取的视频帧进行预处理,包括将视频帧的图像像素压缩到小于或者等于640X480的尺寸,然后开启多个线程在后台异步处理。
作为本发明的进一步改进,开启多个线程在后台异步处理步骤S1至步骤S18中的任一步骤或者任一组合步骤。
本发明还提供了一种基于人脸识别的智能拍摄云台控制系统,用于执行如上述中任一项所述的基于人脸识别的智能拍摄云台控制方法。
本发明的有益效果是:通过上述方案,基于人脸识别来控制两轴云台的控制,可以自动控制两轴云台使摄像头一直对准目标人脸,解决了自拍中出镜、控制不方便,角度不好控制的拍摄问题,操作方便,成本低。
附图说明
图1是本发明一种基于人脸识别的智能拍摄云台控制系统的系统框图。
图2是本发明一种基于人脸识别的智能拍摄云台控制系统的两轴云台的驱动框图。
图3是本发明一种基于人脸识别的智能拍摄云台控制系统的两轴云台的PID控制框图。
图4是本发明一种基于人脸识别的智能拍摄云台控制方法的两轴云台的控制流程图。
图5是本发明一种基于人脸识别的智能拍摄云台控制系统的系统振荡曲线图。
图6是本发明一种基于人脸识别的智能拍摄云台控制系统的系统振荡曲线图。
图7是本发明一种基于人脸识别的智能拍摄云台控制系统的系统振荡曲线图。
图8是本发明一种基于人脸识别的智能拍摄云台控制系统的系统振荡曲线图。
图9是本发明一种基于人脸识别的智能拍摄云台控制方法的流程图。
图10是本发明一种基于人脸识别的智能拍摄云台控制方法的图像坐标系b系和两轴云台坐标系n系的坐标图。
具体实施方式
下面结合附图说明及具体实施方式对本发明作进一步说明。
如图9所示,一种基于人脸识别的智能拍摄云台控制方法,包括以下步骤:
S1、启动;
S2、初始化操作;
S3、提取视频帧并预处理;
S4、人脸检测;
S5、判断是否存在人脸,如果不存在,则返回步骤S3,如果存在,则进入下一步骤;
S6、等待用户选择目标人脸;
S7、确定目标人脸;
S8、提取视频帧并预处理;
S9、人脸检测;
S10、判断是否存在人脸,如果不存在,则返回步骤S8,如果存在,则进入下一步骤;
S11、人脸识别;
S12、判断是否为目标人脸,如果不是,则返回步骤S8,如果是,则进入下一步骤;
S13、获取人脸位置;
S14、计算人脸位置变化;
S15、计算两轴云台控制量;
S16、向两轴云台发送控制指令,两轴云台执行该控制指令;
S17、用户是否选择停止,如果否,则返回步骤S8,如果是,则进入下一步骤;
S18、结束。
在步骤S1中,启动移动设备的应用程序;在步骤S2中,打开相机,初始化人脸识别引擎,后续的人脸检测与人脸识别均采用该人脸识别引擎;在步骤S16中,移动设备通过蓝牙向两轴云台的云台主控发送控制指令,两轴云台的云台主控采用位置式PID控制算法来控制云台电机。
考虑到云台无刷电机是有绝对电流值大小来驱动,且其感官可控制量为其轴固定下来时的绝对角度,故而不可采用增量式PID控制算法,位置式PID算法相较于棒棒控制算法,尽管实现起来复杂程度较高,但总体性能上,可以做到响应速度与精度更高。再考虑到PID算法已有资源更为丰富,在参考他人的调参数经验上,采用位置式PID控制算法,将会更快取得较为理想的控制效果。故而,综合考虑,本发明采用了位置式PID控制算法。
如图1所示,移动设备优选为智能手机,用户的智能手机上安装有APP,用于执行智能拍摄云台控制方法,可通过智能手机上的蓝牙模块向云台主控发送控制指令,也可以用别的无线通信技术来代替蓝牙,例如RF,wifi等,两轴云台的云台主控采用位置式PID控制算法经云台驱动来控制云台电机。
本发明提供了一种基于人脸识别的智能拍摄云台控制系统,包括智能手机和两轴云台,将智能手机安装到两轴云台,通过智能手机来控制两轴云台的运动,从而实现对智能手机的摄像角度、方位的控制,智能拍摄云台控制系统的总体框图如图1所示,两轴云台包括云台主控,云台主控芯片选择的是STM32F405,云台主控外接电源模块、开关、LED指示灯以及蓝牙模块,蓝牙模块负责与用户的智能手机进行无线数据传输,获取手机APP发送过来的控制指令。云台主控通过CAN与两轴云台驱动进行通信,通过发送CAN数据报文实现对云台电机的控制。
如图2所示,云台主控通过CAN通信协议与驱动板进行通信,控制信息以一个CAN消息帧的形式传输。其中,由云台主控到驱动板的CAN帧内容为三轴驱动电流大小,但此处实际只用到了两轴电流大小的数据。由驱动板到云台控制板的CAN帧内容包括三轴实时驱动电流大小以及三轴当前绝对角度值,同理,本发明只会用到其中两轴的相关数据。两轴云台的具体控制算法为位置式双闭环PID控制算法。
本发明基于STM32F405开发平台,主要利用位置式双闭环PID控制算法,实现对两轴云台的运动控制。云台主控板通过蓝牙与用户智能手机进行通信,从手机APP获取两轴云台运动指令,再经由电流环、位置环双闭环PID控制算法,精确控制云台运动模式,并尽可能快、尽可能稳地使两轴云台达到目标位置。
云台的三闭环控制如图3所示,位置环和速度环是在云台主控里实现的,本发明使用的是HG900驱动板,该驱动板中已经集成了电流环的控制。
本发明改进的PID算法,常规PID参数的调节经验如下:其中kp,ki,kd分别称为比例常数,积分常数与微分常数,T,TI,TD分别为系统采样时间,积分区间时间,微分区间时间,流程见图3。
1)比例项系数kp大,系统响应快,调节精度高;但kp过大时,易造成系统超调,甚至不稳定。因此在大误差时采用大KP值以提高系统响应速度;当系统接近稳态区域时,要减小KP值以防止超调,稳态时KP值应适中。
2)积分项系数ki,积分的作用主要是消除稳态误差,以提高系统调节精度。ki值大,误差消除能力强,但在起动过程中易出现积分饱和现象,调节超调量增加。因此要求ki在大误差时为0,以消除积分饱和现象;在中误差时,采用较小的积分系数;进入稳态区域时,相对加大积分系数。这样可实现变系数积分,既保证稳态时对积分的要求,又避免了积分饱和现象。
3)微分项系数kd其主要作用是通过它对系统变化的抑制,达到改善系统动态特性的目的,即起阻尼作用。kd值大,阻尼性增强,因此在大误差时应使kd为零,即去掉阻尼作用以加快系统响应;当误差接近稳态区域时,应使kd值为最大以抑制变化趋势,从而起到减少超调的目的;当系统进入稳态区域时,应选择适当的kd使控制稳定。
云台运动控制流程思想如图4所示,流程图中“云台位置更新”调试过程中主要根据系统由初始位置到达指定位置的振荡曲线,来判断PID三个参数的大小取值是否恰当。
如图5、6两幅图保持kd不变,只改变kp参数时的系统振荡曲线对比。以及如图7、8两幅图保持kp不变,改变kd时的系统振荡曲线图对比。
本发明的人脸识别引擎使用的是免费的虹软Free SDK,它封装了包含人脸检测与人脸识别等功能,人脸识别引擎还可使用face++、百度人脸识别等。
在分析处理视频预览帧时,由于图像计算量大,容易导致较大延时,导致云台旋转不流畅的问题。本发明的解决方案是开启多个线程在后台处理,通过图像像素压缩减少计算以及通信压力。
关于人脸检测和人脸识别,基于智能手机的摄像头检测和识别人脸,需要使用虹软Free SDK中人脸检测的AFD库和人脸识别的AFR库,AFD库在人脸跟踪算法上对人脸检测部分进行了优化,是专门为视频处理而优化的库。初始化人脸识别FT引擎后,在Android摄像头的预览事件处理函数中,先调用AFR_FSDKEngine的人脸识别函数,然后再调用AFR_FSDK_ExtractFRFeature函数来获取人脸特征信息,将它与系统中的目标人脸信息进行对比。当特征信息匹配度大于0.6时,就可以认为它就是我们的目标人脸。人脸检测的结果会存放在AFD_FSDKFace中,其定义如下:
在AFD_FSDKFace中保存了检测到的人脸的位置信息和深度信息。利用上述获取到的人脸位置信息[l,t,w,h],即可计算人脸在图像坐标系中的中心坐标[x,y],公式如下:
然后计算人脸距离图像画面中心的位置变化量:
其中,(xo,yo)表示图像画面的中心坐标,
人为设定到中心的最小坐标变化量Δxmin和Δymin,所以存在如下约束:
|Δx|≤Δxmin
|Δy|<Δymin
得到图像坐标中的人脸位置坐标变化量后,计算两轴云台控制量需要将图像坐标系中的坐标变化量映射到云台控制坐标系,关键在于转换矩阵中四个参数[q0,q1,q2,q3]的确定,可以通过给定一个标准的标定参照物,然后使用opencv(基于BSD许可(开源)发行的跨平台计算机视觉库)中的标定函数来计算参数的值,为了得到更精确以及质量更高的结果,采用了12副不同姿态的方格数目为7X5的棋盘图像来进行参数解算。最后解得的参数矩阵如下所示:
[q0,q1,q2,q3]=[0.156402,-0.172480,0.200392,-0.000912]
q0、q1为径向畸变系数,q2、q3为切向畸变系数。
在进行人脸检测和识别时是在对Android中的视频预览帧进行分析处理,由于图像计算量大,容易导致较大延时,导致云台旋转不流畅的问题。本发明的解决方案首先将图像像素压缩到640X480等较小的尺寸,然后开启多个线程在后台异步处理。对图像进行预处理包括图像压缩等在一个线程里,调用虹软人脸识别引擎开启另一个线程进行处理,计算人脸位置变化到得到云台控制量又开启一个线程进行处理,最后的通过蓝牙发送云台控制指令又在另一个线程中进行,尽量不要让每一个线程做较为耗时的操作。实践证明,本发明能够得到较小延时,云台控制流畅的效果。
由上文可以得知,图像坐标系随着手机摄像头移动而改变,两轴云台坐标系则固定保持不变。图像坐标系b系和两轴云台坐标系n系分别如图10所示。
用户做画面中移动时,图像坐标系中得到人脸位置变化,与实际两轴云台需要改变的位置变化是不一致的。因此首先应该把人脸识别引擎得到的所有有效的人脸位置数据通过旋转矩阵转换到两轴云台坐标系下,才能有效的控制云台使用户手机上的摄像头对准目标人脸。本发明利用归一化后的四元数可以描述刚体的定点运动,因此借助四元数即可轻松实现向量的坐标系转换,b坐标系到n坐标系的转换矩阵如下:
引入的参数q0、q1、q2、q3可通过标定过程得到,与云台和摄像头的组装过程中产生的畸变有关,其中,q0、q1为径向畸变系数,q2、q3为切向畸变系数,均与云台组装过程中产生的误差有关;
表示从图像坐标系b系中的坐标量转换到两轴云台坐标系n系的转换矩阵;
已知上式,就可以将数据进行坐标系转换,公式如下:
rn表示在两轴云台坐标系n系中坐标量;
rb表示在图像坐标系b系中的坐标量;
由转换矩阵的可逆性,可求出图像坐标系到两轴云台坐标系的转换矩阵,从而将人脸识别引擎得到的人脸位置数据进行图像位置到两轴云台坐标系的转换。
关于两轴云台的控制,本发明也可以采用如下的几种PID算法替代:
(1)基于生物遗传算法改进的模糊PID算法
基于生物遗传算法改进的模糊PID算法,其优点在于总可以求得局部最优解,实时根据系统环境改变PID参数,从而改进系统的稳定性与响应速度。但其缺点在于,每次搜索最优解需要反复计算每个个体的适应度,计算量太大,可能给系统带来较大的延时。且适应度函数的确定直接关系着最优解的选取,为了达到好的参数选择效果,必须确定一个合适的适应度函数。
(2)基于分段的模糊PID算法
传统PID是用事先调好的一套PID参数施用在系统的整个控制过程中且保持不变。基于分段的模糊PID算法,在两轴云台的参数设计中,是根据当前两轴位置与目标位置的误差大小来分别确定一套适应性的PID参数,并基于该分段思想,将整个控制过程根据控制误差大小划分为多个区域,用多套参数随控制误差变化而变化,从而适应整个调节过程。
基于分段思想的模糊PID算法,其优点在于思路简单,实现过程没有复杂的计算过程,能够很好适应系统对时延的要求。对于测试环境并不过于复杂的情况,可以很好提高系统的适应性与稳定性。缺点在于如果系统测试环境较为复杂,必须将测试环境分为许多参数区间,增大参数的调试任务。
(3)基于权重分配改进的模糊PID算法
所谓基于权重分配改进的模糊PID算法,是在分段模糊PID算法的基础上,根据当前的控制误差与已有的各分段边界的距离,对距离做归一化和计算权重,距离越远,该段参数的值对最终值的形成影响便越弱。在权重的基础上,对各区间参数值作加权平均得到最终用于控制系统的PID参数。
该算法思想取自数字图像处理图像平滑算法思想。其优点在于,可以在很快的响应时间内,得到实时变化的PID参数,从而增强系统的鲁棒性。其缺点在于,最终得到的PID参数适应性好坏很大程度取决于最初的基本分段参数的好坏,如果分段比较粗糙,通过加权平均得来的参数效果便会大打折扣。
相比于现有的技术,本发明提供的一种基于人脸识别的智能拍摄云台控制方法与系统,具有以下优点:
1)智能控制拍摄云台,通过云台控制技术,图像处理技术,无线通信技术等,使云台可以智能捕获跟踪拍摄对象,优化拍摄构图,实现硬件云台与摄像设备的互联,从而解决自拍时无旁人协助时各种拍摄问题。
2)跟踪拍摄的功能解放了用户的双手,解决了在直播时容易出镜的问题。
3)通过用户自己的手机进行拍摄,无需购买摄像头,可即可分享在社交平台上,可以配合使用手机的其他功能,摄像功能强大。
4)使用人脸识别引擎,检测与识别人脸更快速准确。
本发明提供的一种基于人脸识别的智能拍摄云台控制方法与系统,可以应用于直播行业或者自动跟踪拍摄:
1)直播行业解放用户双手
在现代生活中,直播行业具有千亿市场,上亿用户,而在进行直播时,解放直播时的双手,通过智能云台拍摄系统自主跟踪拍摄,优化直播质量,使拍摄更加简单,便利,成了迫切需要,并且在外出旅行拍摄合影,进行视频会议都可以提供为用户提供非常好的体验。智能拍摄云台系统从这些角度出发,将在物联网时代方便大家的生活,提高生活品质。
2)搭配移动机器人实现更加自由的自动跟踪拍摄
若本系统装配上移动机器人,利用用户手机APP获取到的目标人脸数据实现对目标的实时跟踪,可实现更大自由度的自动跟踪拍摄。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于人脸识别的智能拍摄云台控制方法,其特征在于,包括以下步骤:
S1、启动;
S2、初始化操作;
S3、提取视频帧并预处理;
S4、人脸检测;
S5、判断是否存在人脸,如果不存在,则返回步骤S3,如果存在,则进入下一步骤;
S6、等待用户选择目标人脸;
S7、确定目标人脸;
S8、提取视频帧并预处理;
S9、人脸检测;
S10、判断是否存在人脸,如果不存在,则返回步骤S8,如果存在,则进入下一步骤;
S11、人脸识别;
S12、判断是否为目标人脸,如果不是,则返回步骤S8,如果是,则进入下一步骤;
S13、获取人脸位置;
S14、计算人脸位置变化;
S15、计算两轴云台控制量;
S16、向两轴云台发送控制指令,两轴云台执行该控制指令;
S17、用户是否选择停止,如果否,则返回步骤S8,如果是,则进入下一步骤;
S18、结束。
2.根据权利要求1所述的基于人脸识别的智能拍摄云台控制方法,其特征在于:在步骤S12中,在Android摄像头的预览事件处理函数中,先调用AFR_FSDKEngine的人脸识别函数,然后再调用AFR_FSDK_ExtractFRFeature函数来获取人脸特征信息,将它与系统中的目标人脸信息进行对比,当特征信息匹配度大于0.6时,则认为获取的人脸特征信息是目标人脸。
3.根据权利要求1所述的基于人脸识别的智能拍摄云台控制方法,其特征在于:在步骤S9中,保存检测到的人脸的位置信息[l,t,w,h],其中,l为left,即左边坐标值,t为top,即高度坐标值,w为width,即宽度值,h为height,即高度值;
在步骤S13中,利用获取到的人脸的位置信息[l,t,w,h],计算人脸在图像坐标系中的中心坐标[x,y],公式如下:
在在步骤S14中,计算人脸距离图像画面中心的位置变化量
其中,(xo,yo)表示图像画面的中心坐标,
人为设定到中心的最小坐标变化量Δxmin和Δymin,所以存在如下约束:
|Δx|≤Δxmin
|Δy|<Δymin
4.根据权利要求3所述的基于人脸识别的智能拍摄云台控制方法,其特征在于:在步骤S15中,得到人脸距离图像画面中心的位置变化量后,将图像坐标系中的坐标变量映射到两轴云台坐标系,通过给定一个标准的标定参照物,然后使用opencv中的标定函数来计算参数的值。
5.根据权利要求4所述的基于人脸识别的智能拍摄云台控制方法,其特征在于:在步骤S15中,采用了12副不同姿态的方格数目为7X5的棋盘图像来进行参数解算,最后解得的参数矩阵如下所示:
[q0,q1,q2,q3]=[0.156402,-0.172480,0.200392,-0.000912],q0、q1为径向畸变系数,q2、q3为切向畸变系数。
6.根据权利要求4所述的基于人脸识别的智能拍摄云台控制方法,其特征在于:在步骤S15中,利用归一化后的四元数描述刚体的定点运动,借助四元数即可实现向量的坐标系转换,图像坐标系b系到两轴云台坐标系n系的转换矩阵如下:
q0、q1为径向畸变系数,q2、q3为切向畸变系数;
表示从图像坐标系b系中的坐标量转换到两轴云台坐标系n系的转换矩阵;
已知上式,将数据进行坐标系转换,公式如下:
rn表示在两轴云台坐标系n系中坐标量;
rb表示在图像坐标系b系中的坐标量;
由转换矩阵的可逆性,可求出图像坐标系到两轴云台坐标系的转换矩阵,从而将人脸识别引擎得到的人脸位置数据进行图像坐标系到两轴云台坐标系的转换。
7.根据权利要求1所述的基于人脸识别的智能拍摄云台控制方法,其特征在于:在步骤S1中,启动移动设备的应用程序;在步骤S2中,打开相机,初始化人脸识别引擎,后续的人脸检测与人脸识别均采用该人脸识别引擎;在步骤S16中,移动设备通过蓝牙向两轴云台的云台主控发送控制指令,两轴云台的云台主控采用位置式PID控制算法来控制云台电机。
8.根据权利要求1所述的基于人脸识别的智能拍摄云台控制方法,其特征在于:在步骤S3和S8中,对摄取的视频帧进行预处理,包括将视频帧的图像像素压缩到小于或者等于640X480的尺寸,然后开启多个线程在后台异步处理。
9.根据权利要求1所述的基于人脸识别的智能拍摄云台控制方法,其特征在于:开启多个线程在后台异步处理步骤S1至步骤S18中的任一步骤或者任一组合步骤。
10.一种基于人脸识别的智能拍摄云台控制系统,其特征在于:用于执行如权利要求1至9中任一项所述的基于人脸识别的智能拍摄云台控制方法。
CN201811229952.5A 2018-10-22 2018-10-22 一种基于人脸识别的智能拍摄云台控制方法与系统 Pending CN109391775A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811229952.5A CN109391775A (zh) 2018-10-22 2018-10-22 一种基于人脸识别的智能拍摄云台控制方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811229952.5A CN109391775A (zh) 2018-10-22 2018-10-22 一种基于人脸识别的智能拍摄云台控制方法与系统

Publications (1)

Publication Number Publication Date
CN109391775A true CN109391775A (zh) 2019-02-26

Family

ID=65426772

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811229952.5A Pending CN109391775A (zh) 2018-10-22 2018-10-22 一种基于人脸识别的智能拍摄云台控制方法与系统

Country Status (1)

Country Link
CN (1) CN109391775A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110099254A (zh) * 2019-05-21 2019-08-06 浙江师范大学 一种驾驶员人脸跟踪装置及方法
CN110234015A (zh) * 2019-05-15 2019-09-13 广州视源电子科技股份有限公司 直播控制方法、装置、存储介质、终端
CN110244775A (zh) * 2019-04-29 2019-09-17 广州市景沃电子有限公司 基于移动设备夹持云台的自动跟踪方法及装置
CN110267093A (zh) * 2019-05-15 2019-09-20 广州视源电子科技股份有限公司 直播视频推送方法、装置、存储介质、终端及直播镜
CN110636157A (zh) * 2019-08-27 2019-12-31 北京航空航天大学 一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法
CN111241917A (zh) * 2019-12-25 2020-06-05 杭州中威电子股份有限公司 一种自适应非接触生理采集云台摄像机装置及方法
CN111416952A (zh) * 2020-03-05 2020-07-14 深圳市多亲科技有限公司 一种移动视频直播方法、装置和移动终端
CN112019742A (zh) * 2020-08-17 2020-12-01 长江师范学院 一种基于OpenCV的人脸追踪手机云台及其操作方法
CN112040135A (zh) * 2020-09-22 2020-12-04 深圳鼎识科技股份有限公司 人脸摄像头自动抓拍人脸的方法
CN112346462A (zh) * 2020-11-06 2021-02-09 天津大学 一种基于运动学的轮式移动机器人抗饱和控制方法
CN113112668A (zh) * 2021-04-15 2021-07-13 新疆爱华盈通信息技术有限公司 基于人脸识别的云台追踪方法、云台及门禁识别机
WO2021164082A1 (zh) * 2020-02-20 2021-08-26 深圳市昊一源科技有限公司 控制视频数据采集的方法、发射控制装置及无线传输系统
CN115731658A (zh) * 2021-08-31 2023-03-03 国家电网有限公司 一种电力系统设备安防定位装置及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905733A (zh) * 2014-04-02 2014-07-02 哈尔滨工业大学深圳研究生院 一种单目摄像头对人脸实时跟踪的方法及系统
CN104361599A (zh) * 2014-11-25 2015-02-18 深圳市哈工大交通电子技术有限公司 云台摄像机的标定及拍摄方法
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
CN105116926A (zh) * 2015-08-20 2015-12-02 深圳一电科技有限公司 云台控制方法和装置
CN106225778A (zh) * 2016-07-18 2016-12-14 北京邮电大学 多介质传播中随机波动的视觉定位研究
CN106961552A (zh) * 2017-03-27 2017-07-18 联想(北京)有限公司 一种对焦控制方法及电子设备
CN108495085A (zh) * 2018-03-14 2018-09-04 成都新舟锐视科技有限公司 一种基于活动目标检测的球机自动跟踪控制方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905733A (zh) * 2014-04-02 2014-07-02 哈尔滨工业大学深圳研究生院 一种单目摄像头对人脸实时跟踪的方法及系统
CN104361599A (zh) * 2014-11-25 2015-02-18 深圳市哈工大交通电子技术有限公司 云台摄像机的标定及拍摄方法
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
CN105116926A (zh) * 2015-08-20 2015-12-02 深圳一电科技有限公司 云台控制方法和装置
CN106225778A (zh) * 2016-07-18 2016-12-14 北京邮电大学 多介质传播中随机波动的视觉定位研究
CN106961552A (zh) * 2017-03-27 2017-07-18 联想(北京)有限公司 一种对焦控制方法及电子设备
CN108495085A (zh) * 2018-03-14 2018-09-04 成都新舟锐视科技有限公司 一种基于活动目标检测的球机自动跟踪控制方法及系统

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244775A (zh) * 2019-04-29 2019-09-17 广州市景沃电子有限公司 基于移动设备夹持云台的自动跟踪方法及装置
CN110267093B (zh) * 2019-05-15 2022-03-29 广州视源电子科技股份有限公司 直播视频推送方法、装置、存储介质、终端及直播镜
CN110234015A (zh) * 2019-05-15 2019-09-13 广州视源电子科技股份有限公司 直播控制方法、装置、存储介质、终端
CN110267093A (zh) * 2019-05-15 2019-09-20 广州视源电子科技股份有限公司 直播视频推送方法、装置、存储介质、终端及直播镜
CN110099254A (zh) * 2019-05-21 2019-08-06 浙江师范大学 一种驾驶员人脸跟踪装置及方法
CN110099254B (zh) * 2019-05-21 2023-08-25 浙江师范大学 一种驾驶员人脸跟踪装置及方法
CN110636157A (zh) * 2019-08-27 2019-12-31 北京航空航天大学 一种基于悬浮窗内嵌人脸识别技术的手持云台的跟踪方法
CN111241917B (zh) * 2019-12-25 2023-08-22 杭州中威电子股份有限公司 一种自适应非接触生理采集云台摄像机装置及方法
CN111241917A (zh) * 2019-12-25 2020-06-05 杭州中威电子股份有限公司 一种自适应非接触生理采集云台摄像机装置及方法
WO2021164082A1 (zh) * 2020-02-20 2021-08-26 深圳市昊一源科技有限公司 控制视频数据采集的方法、发射控制装置及无线传输系统
CN111416952A (zh) * 2020-03-05 2020-07-14 深圳市多亲科技有限公司 一种移动视频直播方法、装置和移动终端
CN112019742A (zh) * 2020-08-17 2020-12-01 长江师范学院 一种基于OpenCV的人脸追踪手机云台及其操作方法
CN112040135A (zh) * 2020-09-22 2020-12-04 深圳鼎识科技股份有限公司 人脸摄像头自动抓拍人脸的方法
CN112346462A (zh) * 2020-11-06 2021-02-09 天津大学 一种基于运动学的轮式移动机器人抗饱和控制方法
CN112346462B (zh) * 2020-11-06 2024-03-29 天津大学 一种基于运动学的轮式移动机器人抗饱和控制方法
CN113112668A (zh) * 2021-04-15 2021-07-13 新疆爱华盈通信息技术有限公司 基于人脸识别的云台追踪方法、云台及门禁识别机
CN115731658A (zh) * 2021-08-31 2023-03-03 国家电网有限公司 一种电力系统设备安防定位装置及方法

Similar Documents

Publication Publication Date Title
CN109391775A (zh) 一种基于人脸识别的智能拍摄云台控制方法与系统
US8233789B2 (en) Dynamic exposure metering based on face detection
US8325890B2 (en) Auto exposure techniques for variable lighting conditions
CN108614638B (zh) Ar成像方法和装置
WO2019200719A1 (zh) 三维人脸模型生成方法、装置及电子设备
CN106161990B (zh) 一种图像处理方法和装置
CN107025437A (zh) 基于智能构图及微表情分析的智能拍照方法及装置
WO2019200718A1 (zh) 图像处理方法、装置及电子设备
CN108377398B (zh) 基于红外的ar成像方法、系统、及电子设备
US11538138B2 (en) Methods and apparatus for applying motion blur to overcaptured content
WO2019200720A1 (zh) 基于图像处理的环境光补偿方法、装置及电子设备
CN206575538U (zh) 一种动向智能投影显示系统
CN106657801A (zh) 一种视频信息采集方法及装置
CN109495626A (zh) 一种用于便携式移动通讯设备的拍摄辅助装置及系统
WO2024017093A1 (zh) 图像生成方法、模型训练方法、相关装置及电子设备
CN103139457B (zh) 一种图像获得控制方法及电子设备
CN106126066A (zh) 一种增强现实功能的控制方法、装置及移动终端
WO2021139556A1 (zh) 控制机械臂绘制人像画的方法、装置及机器人系统
US20170163852A1 (en) Method and electronic device for dynamically adjusting gamma parameter
WO2021026848A1 (zh) 图像处理方法、设备、拍摄装置、可移动平台及存储介质
CN116453230A (zh) 活体检测方法、装置、终端设备以及存储介质
CN112561787B (zh) 图像处理方法、装置、电子设备及存储介质
DE102022117329A1 (de) Elektronische Geräte und entsprechende Verfahren zur automatischen Durchführung von Login-Vorgängen bei der Präsentation von Inhalten in Umgebungen mit mehreren Personen
CN114915722B (zh) 处理视频的方法和装置
CN115499581B (zh) 一种拍摄方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226

RJ01 Rejection of invention patent application after publication