CN108363946A - 基于无人机的人脸跟踪系统及方法 - Google Patents

基于无人机的人脸跟踪系统及方法 Download PDF

Info

Publication number
CN108363946A
CN108363946A CN201711473685.1A CN201711473685A CN108363946A CN 108363946 A CN108363946 A CN 108363946A CN 201711473685 A CN201711473685 A CN 201711473685A CN 108363946 A CN108363946 A CN 108363946A
Authority
CN
China
Prior art keywords
image
camera
coordinate system
unmanned plane
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711473685.1A
Other languages
English (en)
Other versions
CN108363946B (zh
Inventor
周彬
徐朋飞
陈志超
周剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Tongjia Youbo Technology Co Ltd
Original Assignee
Chengdu Tongjia Youbo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Tongjia Youbo Technology Co Ltd filed Critical Chengdu Tongjia Youbo Technology Co Ltd
Priority to CN201711473685.1A priority Critical patent/CN108363946B/zh
Publication of CN108363946A publication Critical patent/CN108363946A/zh
Application granted granted Critical
Publication of CN108363946B publication Critical patent/CN108363946B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机视觉技术和无人机技术，其公开了一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。该方法包括以下步骤：a.无人机上的相机进行图像采集；b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；c.建立虚拟相机坐标系；d.根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；f.对稳像后的图像进行实时追踪。本发明适用于人脸图像准确追踪。

Description

基于无人机的人脸跟踪系统及方法
技术领域
本发明涉及计算机视觉技术和无人机技术，具体涉及一种基于无人机的人脸跟踪系统及方法。
背景技术
人脸跟踪是在视频或图像序列中确定人脸的运动轨迹即大小变化的过程。现今，利用无人机进行跟拍娱乐已经成为一种潮流，无人机已经逐渐普及到人们生活中，因此，基于无人机的计算机视觉研究非常有意义。
传统技术中的人脸跟踪方法主要是基于图像的检测跟踪方法，仅仅是在视频帧中找出目标，并不对相机位置进行调整，因而相机拍摄出的目标并不能处在图像中的有利位置，使得跟踪效果和视觉效果并不是很好，因此，这样的方法不适用于大幅度运动的航拍跟踪场景中；
专利公开号为CN 105447459，名称为《一种无人机自动检测目标及跟踪方法》的专利申请方案中的人脸跟踪方法在识别人脸的基础上，根据目标跟踪框位置调整无人机位置，能够较好地进行目标跟踪，并通过使用无人机自带的防抖摄像头进行图像去抖动，使得检测精度相对较高；但是，在无人机大幅度抖动或是目标大幅度运动造成的图像不清晰的情况下，防抖摄像头仍然无法保证所拍摄的图像清晰度，从而降低了跟踪的准确性。
发明内容
本发明所要解决的技术问题是：提出一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。
本发明解决上述技术问题所采用的方案是：
基于无人机的人脸跟踪系统，包括：
图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；
目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；
目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；
目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；
人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；
虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；
IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；
电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；
人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。
作为进一步优化，所述目标框制作模块，用于制作大小不同的多个目标框。
作为进一步优化，该系统还包括：
无人机飞控模块，用于根据IMU数据获取模块获取的无人机的IMU数据调整无人机的飞行姿态，对目标人脸进行实时追踪。
此外，本发明还提供了一种基于无人机的人脸跟踪方法，其包括以下步骤：
a.无人机上的相机进行图像采集；
b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；
c.建立虚拟相机坐标系；
d.根据无人机IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；
e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；
f.对稳像后的图像进行实时追踪。
作为进一步优化，步骤c中，所述建立虚拟相机坐标系的方法为：
以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。
作为进一步优化，步骤d中，所述无人机的IMU数据包含：相机姿态P＝(R,T)，其中，R为相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T为相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机坐标系到虚拟相机坐标系的转换矩阵。
作为进一步优化，步骤e具体包括：
e1.在虚拟相机坐标系中建立一张像素值为空的虚拟图像；
e2.将图像坐标系中的图像投影到虚拟图像中；
e3.计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像；
e4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域；
e5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域；
e6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中。
作为进一步优化，步骤e3中，虚拟图像记为S,虚拟相机坐标系记为C1,所述虚拟图像S在虚拟相机坐标系C1中对应的虚拟坐标系图像SC1的计算方式如下：
其中，(x,y)为虚拟图像S内一点P的坐标，即P(x,y)∈S；
是虚拟相机的内参矩阵；Fvx,Fvy分别为虚拟相机在X轴和Y轴的主距，(Cvx,Cvy)为虚拟相机坐标系主点坐标；(X,Y,Z)为P在虚拟相机坐标系中的位置，为P在虚拟相机坐标系中的归一化位置，
步骤e4中，求取世界坐标系图像区域的方法为：
计算虚拟坐标系图像SC1对应在世界坐标系中的世界坐标系图像区域SW：
SW＝RW-C1SC1
其中，RW-C1为世界坐标系与虚拟相机坐标系C1之间的旋转矩阵，通过对由IMU单元获取的相机姿态P＝(R,T)中的旋转矩阵R进行滤波得到，即RW-C1＝M*R，其中，M为均值滤波器；
步骤e5中，求取相机坐标系图像区域的方法为：
计算世界坐标系图像区域SW在物理相机坐标系中对应的区域SC：
SC＝RSW；
步骤e6中，求取稳像图像区域的方法为:
计算区域SC对应在图像坐标系中的位置SI：
其中，点(x*,y*)∈SI是稳像区域内点P(x,y)在物理图像中对应的点，点为点P(x,y)在相机坐标系中对应的点；为物理相机的相机内参矩阵，通过相机标定获得，Fx,Fy分别为相机在X轴和Y轴的主距，(Cx,Cy)为相机主点坐标。
作为进一步优化，步骤e6中，所述根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中，具体包括：
得到稳像图像内的点与图像坐标系上的点的一一对应关系后，将图像上的点的像素值赋予稳像图像内的点，从而得到稳像图像，即如果则I(x,y)＝I(x*,y*)，符号表示满足映射关系。
作为进一步优化，步骤f中，所述对稳像后的图像进行实时追踪，具体包括：
实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸。
作为进一步优化，所述飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，具体包括：
如果相机相对于目标人脸的偏航角不在规定范围内，则通过飞控模块根据该偏航角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的偏航角调整到所述规定范围内；如果相机相对于目标人脸的俯仰角不在规定范围内，则通过飞控模块根据该俯仰角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的俯仰角调整到所述规定范围内。
本发明的有益效果是：
通过对采集的目标人脸图像进行电子稳像处理，提高图像清晰度，然后根据相机IMU数据对无人机的姿态进行调整，从而实现在画面发生抖动的情况下能够实时精确跟踪人脸。
附图说明
图1为本发明实施例中的基于无人机的人脸跟踪系统结构框图；
图2为本发明实施例中的基于无人机的人脸跟踪方法流程图；
图3为实现电子稳像的流程图。
具体实施方式
本发明旨在提出一种基于无人机的人脸跟踪系统及方法，在画面发生抖动的情况下实时、精确对人脸进行跟踪。在本发明中，通过电子稳像对采集的图像进行稳像，根据检测到的相机相对于人脸的姿态对无人机飞行姿态进行修正，从而实现对目标人脸实时、精确跟踪。
下面结合附图及实施例对本发明的方案作进一步的描述：
如图1所示，本实施例中的基于无人机的人脸跟踪系统包括：图像采集模块、目标框制作模块、目标框选择模块、目标框归一化模块、人脸检测模块、虚拟相机坐标系建立模块、IMU数据获取模块、电子稳像模块、人脸跟踪模块；
图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；
目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；
目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；
目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；
人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；
虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；
IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；
电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；
人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。
基于上述系统，本发明实施例中提供的基于无人机的人脸跟踪方法包括以下实现步骤：
步骤1.图像采集：
即，无人机上的相机进行图像采集；
步骤2.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；
本步骤中，可以预先制定多个大小不同的目标框，在选择目标框时，选择与需要框选对象大小适宜的目标框，然后对选择的目标框进行归一化处理，将目标框坐标换算成原图中的像素坐标，使得目标框框住人脸。
步骤3.建立虚拟相机坐标系；
本步骤中，通过虚拟相机坐标系建立模块建立虚拟相机坐标系，具体操作时，以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。优选的，所述虚拟坐标系与世界坐标系夹角为其水平夹角保持在45°。
步骤4.根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵：
本步骤中，由无人机飞控模块获取无人机的IMU数据包含相机姿态P＝(R,T)，R表示相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T表示相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机系到虚拟相机坐标系的转换矩阵。
步骤5.根据转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像：
本步骤中，电子稳像的具体流程如图3所示，下面进行具体说明：
步骤5.1在虚拟相机坐标系中建立一张像素值为空的虚拟图像；
步骤5.2将图像坐标系中的图像投影到虚拟图像中；
步骤5.3计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像：
虚拟图像记为S,虚拟相机坐标系记为C1,所述虚拟图像S在虚拟相机坐标系C1中对应的虚拟坐标系图像SC1的计算方式如下：
其中，(x,y)为虚拟图像S内一点P的坐标，即P(x,y)∈S；是虚拟相机的内参矩阵；Fvx,Fvy分别为虚拟相机在X轴和Y轴的主距，(Cvx,Cvy)为虚拟相机坐标系主点坐标；(X,Y,Z)为P在虚拟相机坐标系中的位置，为P在虚拟相机坐标系中的归一化位置，
步骤5.4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域：
本步骤中，计算拟坐标系图像SC1对应在世界坐标系中的世界坐标系图像区域SW：
SW＝RW-C1SC1
其中，RW-C1为世界坐标系与虚拟相机坐标系C1之间的旋转矩阵，通过对由IMU单元获取的相机姿态P＝(R,T)中的旋转矩阵R进行滤波得到，即RW-C1＝M*R，其中，M为均值滤波器；利用均值滤波器对姿态进行滤波，得到虚拟相机的姿态，使得虚拟相机的姿态有较好的平稳度，从而为电子稳像做贡献。
步骤5.5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域：
本步骤中，计算世界坐标系图像区域SW在物理相机坐标系中对应的区域SC：
SC＝RSW；
步骤5.6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中：
本步骤中，计算区域SC对应在图像坐标系中的位置SI：
其中，点(x*,y*)∈SI是稳像区域内点P(x,y)在物理图像中对应的点，点为点P(x,y)在相机坐标系中对应的点；为物理相机的相机内参矩阵，通过相机标定获得，Fx,Fy分别为相机在X轴和Y轴的主距，(Cx,Cy)为相机主点坐标。
所述根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中，具体包括：
得到稳像图像内的点与图像坐标系上的点的一一对应关系后，将图像上的点的像素值赋予稳像图像内的点，从而得到稳像图像，即如果则I(x,y)＝I(x*,y*)，符号表示满足映射关系。
步骤6.对稳像后的图像进行实时追踪：
本步骤中，实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸，
如果相机相对于目标人脸的偏航角不在规定范围内，则通过飞控模块根据该偏航角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的偏航角调整到所述规定范围内；如果相机相对于目标人脸的俯仰角不在规定范围内，则通过飞控模块根据该俯仰角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的俯仰角调整到所述规定范围内。

Claims (10)

1.基于无人机的人脸跟踪系统，其特征在于，包括：
图像采集模块，用于采集图像，并将采集的图像传给人脸检测模块；
目标框制作模块，用于制作目标框，并将制作的目标框传给目标框选择模块；
目标框选择模块，用于根据需求选择预先制作的目标框，并将选择的目标框传给目标框归一化模块；
目标框归一化模块，用于对选择的目标框进行归一化处理，获得归一化目标框，并传给人脸检测模块；
人脸检测模块，用于从采集的图像中检测出人脸，利用归一化目标框框选目标人脸，获得目标人脸图像并传给电子稳像模块；
虚拟相机坐标系建立模块，用于建立虚拟相机坐标系，并将建立的虚拟相机坐标系传给电子稳像模块；
IMU数据获取模块，用于获取无人机的IMU数据并传给电子稳像模块；
电子稳像模块，用于根据无人机的IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵，根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染，获得稳像后的目标人脸图像并传给人脸跟踪模块；
人脸跟踪模块，用于对稳像后的目标人脸进行跟踪。
2.如权利要求1所述基于无人机的人脸跟踪系统，其特征在于，该系统还包括：
无人机飞控模块，用于根据IMU数据获取模块获取的无人机的IMU数据调整无人机的飞行姿态，对目标人脸进行实时追踪。
3.基于无人机的人脸跟踪方法，其特征在于，包括以下步骤：
a.无人机上的相机进行图像采集；
b.确定图像中的目标人脸，从预先制作的目标框中选择合适的目标框进行归一化处理后，框选目标人脸；
c.建立虚拟相机坐标系；
d.根据无人机IMU数据获取物理相机坐标系到虚拟相机坐标系的转换矩阵；
e根据所述转换矩阵对虚拟相机中的目标人脸图像进行渲染,获得稳像图像；
f.对稳像后的图像进行实时追踪。
4.如权利要求3所述的基于无人机的人脸跟踪方法，其特征在于，步骤c中，所述建立虚拟相机坐标系的方法为：
以物理相机坐标原点为原点，作一虚拟相机坐标系，所述虚拟相机坐标系与世界坐标系夹角保持不变。
5.如权利要求3所述的基于无人机的人脸跟踪方法，其特征在于，步骤d中，所述无人机的IMU数据包含：相机姿态P＝(R,T)，其中，R为相机姿态P中的旋转矩阵，表示相机在相机坐标中相对于世界坐标的旋转矩阵，T为相机机姿态P中的平移向量，表示相机在相机坐标中相对于世界坐标的平移向量，其中，矩阵M＝[R,T]即为从物理相机坐标系到虚拟相机坐标系的转换矩阵。
6.如权利要求5所述的基于无人机的人脸跟踪方法，其特征在于，步骤e具体包括：
e1.在虚拟相机坐标系中建立一张像素值为空的虚拟图像；
e2.将图像坐标系中的图像投影到虚拟图像中；
e3.计算虚拟图像在虚拟相机坐标系中的对应位置，即求取虚拟坐标系图像；
e4.计算虚拟坐标系图像在世界坐标系中的对应位置，即求取世界坐标系图像区域；
e5.计算世界坐标系图像区域在相机坐标系图像中的对应位置，即求取相机坐标系图像区域；
e6.计算相机坐标系图像区域在图像坐标系中的对应位置，即求取稳像图像区域；根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中。
7.如权利要求6所述的基于无人机的人脸跟踪方法，其特征在于，步骤e3中，虚拟图像记为S,虚拟相机坐标系记为C1,所述虚拟图像S在虚拟相机坐标系C1中对应的虚拟坐标系图像SC1的计算方式如下：
其中，(x,y)为虚拟图像S内一点P的坐标，即P(x,y)∈S；
是虚拟相机的内参矩阵；Fvx,Fvy分别为虚拟相机在X轴和Y轴的主距，(Cvx,Cvy)为虚拟相机坐标系主点坐标；(X,Y,Z)为P在虚拟相机坐标系中的位置，为P在虚拟相机坐标系中的归一化位置，
步骤e4中，求取世界坐标系图像区域的方法为：
计算拟坐标系图像SC1对应在世界坐标系中的世界坐标系图像区域SW：
SW＝RW-C1SC1
其中，RW-C1为世界坐标系与虚拟相机坐标系C1之间的旋转矩阵，通过对由IMU单元获取的相机姿态P＝(R,T)中的旋转矩阵R进行滤波得到，即RW-C1＝M*R，其中，M为均值滤波器；
步骤e5中，求取相机坐标系图像区域的方法为：
计算世界坐标系图像区域SW在物理相机坐标系中对应的区域SC：
SC＝RSW；
步骤e6中，求取稳像图像区域的方法为:
计算区域SC对应在图像坐标系中的位置SI：
其中，点(x*,y*)∈SI是稳像区域内点P(x,y)在物理图像中对应的点，点为点P(x,y)在相机坐标系中对应的点；为物理相机的相机内参矩阵，通过相机标定获得，Fx,Fy分别为相机在X轴和Y轴的主距，(Cx,Cy)为相机主点坐标。
8.如权利要求7所述的基于无人机的人脸跟踪方法，其特征在于，步骤e6中，所述根据位置的对应关系，将图像坐标系中的图像的像素值拷贝到稳像图像区域中，具体包括：
得到稳像图像内的点与图像坐标系上的点的一一对应关系后，将图像上的点的像素值赋予稳像图像内的点，从而得到稳像图像，即如果则I(x,y)＝I(x*,y*)，符号表示满足映射关系。
9.如权利要求3-8任意一项所述的基于无人机的人脸跟踪方法，其特征在于，步骤f中，所述对稳像后的图像进行实时追踪，具体包括：
实时获取相机相对于目标人脸的IMU姿态数据，并将所述姿态数据中的偏航角和俯仰角返回到无人机的飞控模块中，飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，实现无人机实时追踪所需跟踪的人脸。
10.如权利要求9所述的基于无人机的人脸跟踪方法，其特征在于，所述飞控模块根据该俯仰角和偏航角对无人机的飞行姿态进行调整，具体包括：
如果相机相对于目标人脸的偏航角不在规定范围内，则通过飞控模块根据该偏航角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的偏航角调整到所述规定范围内；如果相机相对于目标人脸的俯仰角不在规定范围内，则通过飞控模块根据该俯仰角控制无人机的飞行姿态，使得无人机带动相机运动，将相机的相对于目标人脸的俯仰角调整到所述规定范围内。
CN201711473685.1A 2017-12-29 2017-12-29 基于无人机的人脸跟踪系统及方法 Active CN108363946B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711473685.1A CN108363946B (zh) 2017-12-29 2017-12-29 基于无人机的人脸跟踪系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711473685.1A CN108363946B (zh) 2017-12-29 2017-12-29 基于无人机的人脸跟踪系统及方法

Publications (2)

Publication Number Publication Date
CN108363946A true CN108363946A (zh) 2018-08-03
CN108363946B CN108363946B (zh) 2022-05-03

Family

ID=63010274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711473685.1A Active CN108363946B (zh) 2017-12-29 2017-12-29 基于无人机的人脸跟踪系统及方法

Country Status (1)

Country Link
CN (1) CN108363946B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989688A (zh) * 2018-09-14 2018-12-11 成都数字天空科技有限公司 虚拟相机防抖方法、装置、电子设备及可读存储介质
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN110266940A (zh) * 2019-05-29 2019-09-20 昆明理工大学 一种人脸-摄像机主动位姿协同的人脸正视图像获取方法
CN110910423A (zh) * 2019-11-15 2020-03-24 小狗电器互联网科技（北京）股份有限公司 一种目标跟踪方法及存储介质
CN111103891A (zh) * 2019-12-30 2020-05-05 西安交通大学 一种基于骨骼点检测的无人机快速姿势控制系统与方法
CN111368770A (zh) * 2020-03-11 2020-07-03 桂林理工大学 基于骨骼点检测与跟踪的手势识别方法
CN111540022A (zh) * 2020-05-14 2020-08-14 深圳市艾为智能有限公司 一种基于虚拟相机的图像一致化方法
CN111738193A (zh) * 2020-06-29 2020-10-02 湖南国科微电子股份有限公司 人脸抓拍方法和人脸抓拍系统
CN111953868A (zh) * 2019-05-15 2020-11-17 华硕电脑股份有限公司 电子装置
CN113192123A (zh) * 2020-01-14 2021-07-30 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113311873A (zh) * 2021-05-07 2021-08-27 中国科学院沈阳自动化研究所 一种基于视觉的无人机伺服跟踪方法
CN114897935A (zh) * 2022-05-13 2022-08-12 中国科学技术大学 基于虚拟相机的无人机对空中目标物的追踪方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070159634A1 (en) * 2005-11-18 2007-07-12 Englert Christoph R Compression assembly of spatial heterodyne spectrometer (shs)
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
CN105243654A (zh) * 2014-07-09 2016-01-13 北京航空航天大学 一种多飞机跟踪方法及系统
CN105447459A (zh) * 2015-11-18 2016-03-30 上海海事大学 一种无人机自动检测目标和跟踪方法
CN106709456A (zh) * 2016-12-27 2017-05-24 成都通甲优博科技有限责任公司 基于计算机视觉的无人机目标跟踪框初始化方法
CN106814753A (zh) * 2017-03-20 2017-06-09 成都通甲优博科技有限责任公司 一种目标位置矫正方法、装置及系统
CN106954024A (zh) * 2017-03-28 2017-07-14 成都通甲优博科技有限责任公司 一种无人机及其电子稳像方法、系统
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN106980841A (zh) * 2017-04-01 2017-07-25 成都通甲优博科技有限责任公司 一种目标检测跟踪方法及装置
CN107128492A (zh) * 2017-05-05 2017-09-05 成都通甲优博科技有限责任公司 一种基于人头检测的无人机跟踪方法、装置及无人机
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070159634A1 (en) * 2005-11-18 2007-07-12 Englert Christoph R Compression assembly of spatial heterodyne spectrometer (shs)
CN105243654A (zh) * 2014-07-09 2016-01-13 北京航空航天大学 一种多飞机跟踪方法及系统
CN104794468A (zh) * 2015-05-20 2015-07-22 成都通甲优博科技有限责任公司 一种基于无人机动平台的人脸检测与跟踪方法
CN105447459A (zh) * 2015-11-18 2016-03-30 上海海事大学 一种无人机自动检测目标和跟踪方法
CN106709456A (zh) * 2016-12-27 2017-05-24 成都通甲优博科技有限责任公司 基于计算机视觉的无人机目标跟踪框初始化方法
CN106814753A (zh) * 2017-03-20 2017-06-09 成都通甲优博科技有限责任公司 一种目标位置矫正方法、装置及系统
CN106954024A (zh) * 2017-03-28 2017-07-14 成都通甲优博科技有限责任公司 一种无人机及其电子稳像方法、系统
CN106960446A (zh) * 2017-04-01 2017-07-18 广东华中科技大学工业技术研究院 一种面向无人艇应用的水面目标检测跟踪一体化方法
CN106980841A (zh) * 2017-04-01 2017-07-25 成都通甲优博科技有限责任公司 一种目标检测跟踪方法及装置
CN107128492A (zh) * 2017-05-05 2017-09-05 成都通甲优博科技有限责任公司 一种基于人头检测的无人机跟踪方法、装置及无人机
CN107491742A (zh) * 2017-07-28 2017-12-19 西安因诺航空科技有限公司 一种长时稳定的无人机目标跟踪方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108989688A (zh) * 2018-09-14 2018-12-11 成都数字天空科技有限公司 虚拟相机防抖方法、装置、电子设备及可读存储介质
CN110222581A (zh) * 2019-05-13 2019-09-10 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN110222581B (zh) * 2019-05-13 2022-04-19 电子科技大学 一种基于双目相机的四旋翼无人机视觉目标跟踪方法
CN111953868A (zh) * 2019-05-15 2020-11-17 华硕电脑股份有限公司 电子装置
CN110266940A (zh) * 2019-05-29 2019-09-20 昆明理工大学 一种人脸-摄像机主动位姿协同的人脸正视图像获取方法
CN110910423B (zh) * 2019-11-15 2022-08-23 小狗电器互联网科技（北京）股份有限公司 一种目标跟踪方法及存储介质
CN110910423A (zh) * 2019-11-15 2020-03-24 小狗电器互联网科技（北京）股份有限公司 一种目标跟踪方法及存储介质
CN111103891A (zh) * 2019-12-30 2020-05-05 西安交通大学 一种基于骨骼点检测的无人机快速姿势控制系统与方法
CN111103891B (zh) * 2019-12-30 2021-03-16 西安交通大学 一种基于骨骼点检测的无人机快速姿势控制系统与方法
CN113192123B (zh) * 2020-01-14 2024-05-24 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN113192123A (zh) * 2020-01-14 2021-07-30 杭州海康威视数字技术股份有限公司 一种图像处理方法、装置及设备
CN111368770B (zh) * 2020-03-11 2022-06-07 桂林理工大学 基于骨骼点检测与跟踪的手势识别方法
CN111368770A (zh) * 2020-03-11 2020-07-03 桂林理工大学 基于骨骼点检测与跟踪的手势识别方法
CN111540022A (zh) * 2020-05-14 2020-08-14 深圳市艾为智能有限公司 一种基于虚拟相机的图像一致化方法
CN111540022B (zh) * 2020-05-14 2024-04-19 深圳市艾为智能有限公司 一种基于虚拟相机的图像一致化方法
CN111738193A (zh) * 2020-06-29 2020-10-02 湖南国科微电子股份有限公司 人脸抓拍方法和人脸抓拍系统
CN113311873A (zh) * 2021-05-07 2021-08-27 中国科学院沈阳自动化研究所 一种基于视觉的无人机伺服跟踪方法
CN114897935A (zh) * 2022-05-13 2022-08-12 中国科学技术大学 基于虚拟相机的无人机对空中目标物的追踪方法及系统

Also Published As

Publication number Publication date
CN108363946B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN108363946A (zh) 基于无人机的人脸跟踪系统及方法
CN108476288B (zh) 拍摄控制方法及装置
JP6768156B2 (ja) 仮想的に拡張された視覚的同時位置特定及びマッピングのシステム及び方法
WO2020233683A1 (zh) 云台控制方法、装置、控制终端及飞行器系统
CN113038016B (zh) 无人机图像采集方法及无人机
CN105120146B (zh) 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法
CN105210368B (zh) 背景差分提取装置以及背景差分提取方法
CN107113376B (zh) 一种图像处理方法、装置及摄像机
CN103873758B (zh) 全景图实时生成的方法、装置及设备
CN110799921A (zh) 拍摄方法、装置和无人机
CN103198488B (zh) Ptz监控摄像机实时姿态快速估算方法
KR101988152B1 (ko) 비디오로부터의 영상 생성
CN106485753B (zh) 用于无人驾驶汽车的摄像机标定的方法和装置
CN104796596B (zh) 一种信息处理方法及电子设备
CN111123962A (zh) 一种用于电力杆塔巡检的旋翼无人机重定位拍照方法
CN108564554A (zh) 一种基于运动轨迹优化的视频稳定方法
CN110249626B (zh) 增强现实图像的实现方法、装置、终端设备和存储介质
CN108475442A (zh) 用于无人机航拍的增强现实方法、处理器及无人机
CN106843493B (zh) 一种图像追踪方法及应用该方法的扩增实境实现方法
CN106444846A (zh) 移动终端的定位和控制方法、装置及无人机
CN108510545A (zh) 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质
CN105898107B (zh) 一种目标物体抓拍方法及系统
CN105915784A (zh) 信息处理方法和装置
CN108731681A (zh) 旋翼无人机领航方法、相关计算机程序、电子设备和无人机
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant