CN108363946B - 基于无人机的人脸跟踪系统及方法 - Google Patents

基于无人机的人脸跟踪系统及方法 Download PDF

Info

Publication number
CN108363946B
CN108363946B CN201711473685.1A CN201711473685A CN108363946B CN 108363946 B CN108363946 B CN 108363946B CN 201711473685 A CN201711473685 A CN 201711473685A CN 108363946 B CN108363946 B CN 108363946B
Authority
CN
China
Prior art keywords
image
coordinate system
camera
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711473685.1A
Other languages
English (en)
Other versions
CN108363946A (zh
Inventor
周彬
徐朋飞
陈志超
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Topplusvision Technology Co ltd
Original Assignee
Chengdu Topplusvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Topplusvision Technology Co ltd filed Critical Chengdu Topplusvision Technology Co ltd
Priority to CN201711473685.1A priority Critical patent/CN108363946B/zh
Publication of CN108363946A publication Critical patent/CN108363946A/zh
Application granted granted Critical
Publication of CN108363946B publication Critical patent/CN108363946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明涉及计算机视觉技术和无人机技术，其公开了一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。该方法包括以下步骤：a.无人机上的相机进行图像采集；b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；c.建立虚拟相机坐标系；d.根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；f.对稳像后的图像进行实时追踪。本发明适用于人脸图像准确追踪。

Description

基于无人机的人脸跟踪系统及方法
技术领域
本发明涉及计算机视觉技术和无人机技术，具体涉及一种基于无人机的人脸跟踪系统及方法。
背景技术
人脸跟踪是在视频或图像序列中确定人脸的运动轨迹即大小变化的过程。现今，利用无人机进行跟拍娱乐已经成为一种潮流，无人机已经逐渐普及到人们生活中，因此，基于无人机的计算机视觉研究非常有意义。
传统技术中的人脸跟踪方法主要是基于图像的检测跟踪方法，仅仅是在视频帧中找出目标，并不对相机位置进行调整，因而相机拍摄出的目标并不能处在图像中的有利位置，使得跟踪效果和视觉效果并不是很好，因此，这样的方法不适用于大幅度运动的航拍跟踪场景中；
专利公开号为CN 105447459，名称为《一种无人机自动检测目标及跟踪方法》的专利申请方案中的人脸跟踪方法在识别人脸的基础上，根据目标跟踪框位置调整无人机位置，能够较好地进行目标跟踪，并通过使用无人机自带的防抖摄像头进行图像去抖动，使得检测精度相对较高；但是，在无人机大幅度抖动或是目标大幅度运动造成的图像不清晰的情况下，防抖摄像头仍然无法保证所拍摄的图像清晰度，从而降低了跟踪的准确性。
发明内容
本发明所要解决的技术问题是：提出一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。
本发明解决上述技术问题所采用的方案是：
基于无人机的人脸跟踪系统，包括：
图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；
目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；
目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；
目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；
人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；
虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；
IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；
电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；
人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。
作为进一步优化，所述目标框制作模块，用于制作大小不同的多个目标框。
作为进一步优化，该系统还包括：
无人机飞控模块，用于根据IMU数据获取模块获取的无人机的IMU数据调整无人机的飞行姿态，对目标人脸进行实时追踪。
此外，本发明还提供了一种基于无人机的人脸跟踪方法，其包括以下步骤：
a.无人机上的相机进行图像采集；
b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；
c.建立虚拟相机坐标系；
d.根据无人机IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；
e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；
f.对稳像后的图像进行实时追踪。
作为进一步优化，步骤c中，所述建立虚拟相机坐标系的方法为：
以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。
作为进一步优化，步骤d中，所述无人机的IMU数据包含：相机姿态P＝(R,T)，其中，R为相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T为相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机坐标系到虚拟相机坐标系的转换矩阵。
作为进一步优化，步骤e具体包括：
e1.在虚拟相机坐标系中建立一张像素值为空的虚拟图像；
e2.将图像坐标系中的图像投影到虚拟图像中；
e3.计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像；
e4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域；
e5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域；
e6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中。
作为进一步优化，步骤e3中，虚拟图像记为S,虚拟相机坐标系记为C1,所述虚拟图像S在虚拟相机坐标系C1中对应的虚拟坐标系图像SC1的计算方式如下：
Figure BDA0001532380320000031
其中，(x,y)为虚拟图像S内一点P的坐标，即P(x,y)∈S；
Figure BDA0001532380320000032
是虚拟相机的内参矩阵；Fvx,Fvy分别为虚拟相机在X轴和Y轴的主距，(Cvx,Cvy)为虚拟相机坐标系主点坐标；(X,Y,Z)为P在虚拟相机坐标系中的位置，
Figure BDA0001532380320000033
为P在虚拟相机坐标系中的归一化位置，
Figure BDA0001532380320000041
步骤e4中，求取世界坐标系图像区域的方法为：
计算虚拟坐标系图像SC1对应在世界坐标系中的世界坐标系图像区域SW：
SW＝RW-C1SC1
其中，RW-C1为世界坐标系与虚拟相机坐标系C1之间的旋转矩阵，通过对由IMU单元获取的相机姿态P＝(R,T)中的旋转矩阵R进行滤波得到，即RW-C1＝M*R，其中，M为均值滤波器；
步骤e5中，求取相机坐标系图像区域的方法为：
计算世界坐标系图像区域SW在物理相机坐标系中对应的区域SC：
SC＝RSW；
步骤e6中，求取稳像图像区域的方法为:
计算区域SC对应在图像坐标系中的位置SI：
Figure BDA0001532380320000042
其中，点(x*,y*)∈SI是稳像区域内点P(x,y)在物理图像中对应的点，点
Figure BDA0001532380320000043
为点P(x,y)在相机坐标系中对应的点；
Figure BDA0001532380320000044
为物理相机的相机内参矩阵，通过相机标定获得，Fx,Fy分别为相机在X轴和Y轴的主距，(Cx,Cy)为相机主点坐标。
作为进一步优化，步骤e6中，所述根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中，具体包括：
得到稳像图像内的点与图像坐标系上的点的一一对应关系后，将图像上的点的像素值赋予稳像图像内的点，从而得到稳像图像，即如果
Figure BDA0001532380320000051
则I(x,y)＝I(x*,y*)，符号
Figure BDA0001532380320000052
表示满足映射关系。
作为进一步优化，步骤f中，所述对稳像后的图像进行实时追踪，具体包括：
实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸。
作为进一步优化，所述飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，具体包括：
如果相机相对于目标人脸的偏航角不在规定范围内，则通过飞控模块根据该偏航角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的偏航角调整到所述规定范围内；如果相机相对于目标人脸的俯仰角不在规定范围内，则通过飞控模块根据该俯仰角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的俯仰角调整到所述规定范围内。
本发明的有益效果是：
通过对采集的目标人脸图像进行电子稳像处理，提高图像清晰度，然后根据相机IMU数据对无人机的姿态进行调整，从而实现在画面发生抖动的情况下能够实时精确跟踪人脸。
附图说明
图1为本发明实施例中的基于无人机的人脸跟踪系统结构框图；
图2为本发明实施例中的基于无人机的人脸跟踪方法流程图；
图3为实现电子稳像的流程图。
具体实施方式
本发明旨在提出一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。在本发明中，通过电子稳像对采集的图像进行稳像，根据检测到的相机相对于人脸的姿态对无人机飞行姿态进行修正，从而实现对目标人脸实时、精确跟踪。
下面结合附图及实施例对本发明的方案作进一步的描述：
如图1所示，本实施例中的基于无人机的人脸跟踪系统包括：图像采集模块、目标框制作模块、目标框选择模块、目标框归一化模块、人脸检测模块、虚拟相机坐标系建立模块、IMU数据获取模块、电子稳像模块、人脸跟踪模块；
图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；
目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；
目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；
目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；
人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；
虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；
IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；
电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；
人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。
基于上述系统，本发明实施例中提供的基于无人机的人脸跟踪方法包括以下实现步骤：
步骤1.图像采集：
即，无人机上的相机进行图像采集；
步骤2.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；
本步骤中，可以预先制定多个大小不同的目标框，在选择目标框时，选择与需要框选对象大小适宜的目标框，然后对选择的目标框进行归一化处理，将目标框坐标换算成原图中的像素坐标，使得目标框框住人脸。
步骤3.建立虚拟相机坐标系；
本步骤中，通过虚拟相机坐标系建立模块建立虚拟相机坐标系，具体操作时，以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。优选的，所述虚拟坐标系与世界坐标系夹角为其水平夹角保持在45°。
步骤4.根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵：
本步骤中，由无人机飞控模块获取无人机的IMU数据包含相机姿态P＝(R,T)，R表示相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T表示相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机系到虚拟相机坐标系的转换矩阵。
步骤5.根据转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像：
本步骤中，电子稳像的具体流程如图3所示，下面进行具体说明：
步骤5.1在虚拟相机坐标系中建立一张像素值为空的虚拟图像；
步骤5.2将图像坐标系中的图像投影到虚拟图像中；
步骤5.3计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像：
虚拟图像记为S,虚拟相机坐标系记为C1,所述虚拟图像S在虚拟相机坐标系C1中对应的虚拟坐标系图像SC1的计算方式如下：
Figure BDA0001532380320000071
其中，(x,y)为虚拟图像S内一点P的坐标，即P(x,y)∈S；
Figure BDA0001532380320000072
是虚拟相机的内参矩阵；Fvx,Fvy分别为虚拟相机在X轴和Y轴的主距，(Cvx,Cvy)为虚拟相机坐标系主点坐标；(X,Y,Z)为P在虚拟相机坐标系中的位置，
Figure BDA0001532380320000081
为P在虚拟相机坐标系中的归一化位置，
Figure BDA0001532380320000082
步骤5.4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域：
本步骤中，计算拟坐标系图像SC1对应在世界坐标系中的世界坐标系图像区域SW：
SW＝RW-C1SC1
其中，RW-C1为世界坐标系与虚拟相机坐标系C1之间的旋转矩阵，通过对由IMU单元获取的相机姿态P＝(R,T)中的旋转矩阵R进行滤波得到，即RW-C1＝M*R，其中，M为均值滤波器；利用均值滤波器对姿态进行滤波，得到虚拟相机的姿态，使得虚拟相机的姿态有较好的平稳度，从而为电子稳像做贡献。
步骤5.5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域：
本步骤中，计算世界坐标系图像区域SW在物理相机坐标系中对应的区域SC：
SC＝RSW；
步骤5.6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中：
本步骤中，计算区域SC对应在图像坐标系中的位置SI：
Figure BDA0001532380320000083
其中，点(x*,y*)∈SI是稳像区域内点P(x,y)在物理图像中对应的点，点
Figure BDA0001532380320000091
为点P(x,y)在相机坐标系中对应的点；
Figure BDA0001532380320000092
为物理相机的相机内参矩阵，通过相机标定获得，Fx,Fy分别为相机在X轴和Y轴的主距，(Cx,Cy)为相机主点坐标。
所述根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中，具体包括：
得到稳像图像内的点与图像坐标系上的点的一一对应关系后，将图像上的点的像素值赋予稳像图像内的点，从而得到稳像图像，即如果
Figure BDA0001532380320000093
则I(x,y)＝I(x*,y*)，符号
Figure BDA0001532380320000094
表示满足映射关系。
步骤6.对稳像后的图像进行实时追踪：
本步骤中，实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸，
如果相机相对于目标人脸的偏航角不在规定范围内，则通过飞控模块根据该偏航角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的偏航角调整到所述规定范围内；如果相机相对于目标人脸的俯仰角不在规定范围内，则通过飞控模块根据该俯仰角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的俯仰角调整到所述规定范围内。

Claims (8)

1.基于无人机的人脸跟踪系统，其特征在于，包括：
图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；
目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；
目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；
目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；
人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；
虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；
IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；
电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；
人脸跟踪模块，用于对稳像后的目标人脸进行跟踪具体包括：
实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸。
2.基于无人机的人脸跟踪方法，其特征在于，包括以下步骤：
a.无人机上的相机进行图像采集；
b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；
c.建立虚拟相机坐标系；
d.根据无人机IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；
e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；
f.对稳像后的图像进行实时追踪：
实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸。
3.如权利要求2所述的基于无人机的人脸跟踪方法，其特征在于，步骤c中，所述建立虚拟相机坐标系的方法为：
以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。
4.如权利要求2所述的基于无人机的人脸跟踪方法，其特征在于，步骤d中，所述无人机的IMU数据包含：相机姿态P＝(R,T)，其中，R为相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T为相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机坐标系到虚拟相机坐标系的转换矩阵。
5.如权利要求4所述的基于无人机的人脸跟踪方法，其特征在于，步骤e具体包括：
e1.在虚拟相机坐标系中建立一张像素值为空的虚拟图像；
e2.将图像坐标系中的图像投影到虚拟图像中；
e3.计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像；
e4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域；
e5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域；
e6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中。
6.如权利要求5所述的基于无人机的人脸跟踪方法，其特征在于，步骤e3中，虚拟图像记为S,虚拟相机坐标系记为C1,所述虚拟图像S在虚拟相机坐标系C1中对应的虚拟坐标系图像SC1的计算方式如下：
Figure FDA0003299150740000031
其中，(x,y)为虚拟图像S内一点P的坐标，即P(x,y)∈S；
Figure FDA0003299150740000032
是虚拟相机的内参矩阵；Fvx,Fvy分别为虚拟相机在X轴和Y轴的主距，(Cvx,Cvy)为虚拟相机坐标系主点坐标；(X,Y,Z)为P在虚拟相机坐标系中的位置，
Figure FDA0003299150740000033
为P在虚拟相机坐标系中的归一化位置，
Figure FDA0003299150740000034
步骤e4中，求取世界坐标系图像区域的方法为：
计算拟坐标系图像SC1对应在世界坐标系中的世界坐标系图像区域SW：
SW＝RW-C1SC1
其中，RW-C1为世界坐标系与虚拟相机坐标系C1之间的旋转矩阵，通过对由IMU单元获取的相机姿态P＝(R,T)中的旋转矩阵R进行滤波得到，即RW-C1＝M*R，其中，M为均值滤波器；
步骤e5中，求取相机坐标系图像区域的方法为：
计算世界坐标系图像区域SW在物理相机坐标系中对应的区域SC：
SC＝RSW；
步骤e6中，求取稳像图像区域的方法为:
计算区域SC对应在图像坐标系中的位置SI：
Figure FDA0003299150740000041
其中，点(x*,y*)∈SI是稳像区域内点P(x,y)在物理图像中对应的点，点
Figure FDA0003299150740000042
为点P(x,y)在相机坐标系中对应的点；
Figure FDA0003299150740000043
为物理相机的相机内参矩阵，通过相机标定获得，Fx,Fy分别为相机在X轴和Y轴的主距，(Cx,Cy)为相机主点坐标。
7.如权利要求6所述的基于无人机的人脸跟踪方法，其特征在于，步骤e6中，所述根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中，具体包括：
得到稳像图像内的点与图像坐标系上的点的一一对应关系后，将图像上的点的像素值赋予稳像图像内的点，从而得到稳像图像，即如果
Figure FDA0003299150740000044
则I(x,y)＝I(x*,y*)，符号
Figure FDA0003299150740000045
表示满足映射关系。
8.如权利要求2所述的基于无人机的人脸跟踪方法，其特征在于，所述飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，具体包括：
如果相机相对于目标人脸的偏航角不在规定范围内，则通过飞控模块根据该偏航角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的偏航角调整到所述规定范围内；如果相机相对于目标人脸的俯仰角不在规定范围内，则通过飞控模块根据该俯仰角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的俯仰角调整到所述规定范围内。
CN201711473685.1A 2017-12-29 2017-12-29 基于无人机的人脸跟踪系统及方法 Active CN108363946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711473685.1A CN108363946B (zh) 2017-12-29 2017-12-29 基于无人机的人脸跟踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711473685.1A CN108363946B (zh) 2017-12-29 2017-12-29 基于无人机的人脸跟踪系统及方法

Publications (2)

Publication Number Publication Date
CN108363946A CN108363946A (zh) 2018-08-03
CN108363946B true CN108363946B (zh) 2022-05-03

Family

ID=63010274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711473685.1A Active CN108363946B (zh) 2017-12-29 2017-12-29 基于无人机的人脸跟踪系统及方法

Country Status (1)

Country Link
CN (1) CN108363946B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989688B (zh) * 2018-09-14 2019-05-31 成都数字天空科技有限公司 虚拟相机防抖方法、装置、电子设备及可读存储介质
CN110222581B (zh) * 2019-05-13 2022-04-19 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN111953866B (zh) * 2019-05-15 2021-11-26 华硕电脑股份有限公司 电子装置
CN110266940A (zh) * 2019-05-29 2019-09-20 昆明理工大学 一种人脸-摄像机主动位姿协同的人脸正视图像获取方法
CN110910423B (zh) * 2019-11-15 2022-08-23 小狗电器互联网科技（北京）股份有限公司 一种目标跟踪方法及存储介质
CN111103891B (zh) * 2019-12-30 2021-03-16 西安交通大学 一种基于骨骼点检测的无人机快速姿势控制系统与方法
CN113192123A (zh) * 2020-01-14 2021-07-30 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN111368770B (zh) * 2020-03-11 2022-06-07 桂林理工大学 基于骨骼点检测与跟踪的手势识别方法
CN111738193A (zh) * 2020-06-29 2020-10-02 湖南国科微电子股份有限公司 人脸抓拍方法和人脸抓拍系统
CN113311873B (zh) * 2021-05-07 2022-09-06 中国科学院沈阳自动化研究所 一种基于视觉的无人机伺服跟踪方法
CN114897935A (zh) * 2022-05-13 2022-08-12 中国科学技术大学 基于虚拟相机的无人机对空中目标物的追踪方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
CN105243654A (zh) * 2014-07-09 2016-01-13 北京航空航天大学 一种多飞机跟踪方法及系统
CN105447459A (zh) * 2015-11-18 2016-03-30 上海海事大学 一种无人机自动检测目标和跟踪方法
CN106709456A (zh) * 2016-12-27 2017-05-24 成都通甲优博科技有限责任公司 基于计算机视觉的无人机目标跟踪框初始化方法
CN106814753A (zh) * 2017-03-20 2017-06-09 成都通甲优博科技有限责任公司 一种目标位置矫正方法、装置及系统
CN106954024A (zh) * 2017-03-28 2017-07-14 成都通甲优博科技有限责任公司 一种无人机及其电子稳像方法、系统
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN106980841A (zh) * 2017-04-01 2017-07-25 成都通甲优博科技有限责任公司 一种目标检测跟踪方法及装置
CN107128492A (zh) * 2017-05-05 2017-09-05 成都通甲优博科技有限责任公司 一种基于人头检测的无人机跟踪方法、装置及无人机
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7535572B2 (en) * 2005-11-18 2009-05-19 The United States Of America As Represented By The Secretary Of The Navy Compression assembly of spatial heterodyne spectrometer (SHS)

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243654A (zh) * 2014-07-09 2016-01-13 北京航空航天大学 一种多飞机跟踪方法及系统
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
CN105447459A (zh) * 2015-11-18 2016-03-30 上海海事大学 一种无人机自动检测目标和跟踪方法
CN106709456A (zh) * 2016-12-27 2017-05-24 成都通甲优博科技有限责任公司 基于计算机视觉的无人机目标跟踪框初始化方法
CN106814753A (zh) * 2017-03-20 2017-06-09 成都通甲优博科技有限责任公司 一种目标位置矫正方法、装置及系统
CN106954024A (zh) * 2017-03-28 2017-07-14 成都通甲优博科技有限责任公司 一种无人机及其电子稳像方法、系统
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN106980841A (zh) * 2017-04-01 2017-07-25 成都通甲优博科技有限责任公司 一种目标检测跟踪方法及装置
CN107128492A (zh) * 2017-05-05 2017-09-05 成都通甲优博科技有限责任公司 一种基于人头检测的无人机跟踪方法、装置及无人机
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法

Also Published As

Publication number Publication date
CN108363946A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN108363946B (zh) 基于无人机的人脸跟踪系统及方法
US10871258B2 (en) Method and system for controlling gimbal
CN108399642B (zh) 一种融合旋翼无人机imu数据的通用目标跟随方法和系统
CN108139204B (zh) 信息处理装置、位置和/或姿态的估计方法及记录介质
US10171746B2 (en) Drone with a front-view camera with segmentation of the sky image for auto-exposure control
CN105187723B (zh) 一种无人飞行器的摄像处理方法
JP6090786B2 (ja) 背景差分抽出装置及び背景差分抽出方法
US20170236291A1 (en) Drone including a front-view camera with attitude-independent control parameters, in particular auto-exposure control
KR20190026762A (ko) 3d 공간에서의 포즈 추정
CN110799921A (zh) 拍摄方法、装置和无人机
US11272105B2 (en) Image stabilization control method, photographing device and mobile platform
CN105031935A (zh) 提供具有传递稳定的图像序列的视频相机的旋翼无人机
CN105096346B (zh) 一种防抖的运动目标拍摄处理系统
WO2021237616A1 (zh) 图像传输方法、可移动平台及计算机可读存储介质
CN113379839B (zh) 一种基于事件相机系统的地面视角单目视觉里程计方法
WO2019156072A1 (ja) 姿勢推定装置
CN111213159A (zh) 一种图像处理方法、装置及系统
WO2019183789A1 (zh) 无人机的控制方法、装置和无人机
WO2020135447A1 (zh) 一种目标距离估计方法、装置及无人机
CN111712857A (zh) 图像处理方法、装置、云台和存储介质
WO2018024239A1 (zh) 混合式图像稳定系统
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
CN110553628A (zh) 一种基于深度相机的捕捉飞行物体的方法
CN108900775A (zh) 一种水下机器人实时电子稳像方法
CN112689084B (zh) 一种机载光电侦察成像系统及电子稳像方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant