CN112347924A - 一种基于人脸跟踪的虚拟导播改进方法 - Google Patents

一种基于人脸跟踪的虚拟导播改进方法 Download PDF

Info

Publication number
CN112347924A
CN112347924A CN202011229318.9A CN202011229318A CN112347924A CN 112347924 A CN112347924 A CN 112347924A CN 202011229318 A CN202011229318 A CN 202011229318A CN 112347924 A CN112347924 A CN 112347924A
Authority
CN
China
Prior art keywords
face
point
host
value
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011229318.9A
Other languages
English (en)
Inventor
吴奕刚
王伟明
孙伟涛
孙彦龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN202011229318.9A priority Critical patent/CN112347924A/zh
Publication of CN112347924A publication Critical patent/CN112347924A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人脸跟踪的虚拟导播改进方法。它具体包括如下步骤：(1)开始移动和缩放虚拟摄像机操作；(2)通过人脸引擎自动查找到现有主持人位置；(3)根据画面的可显示区域计算出主持人最大和最小可移动和缩放位置；(4)优化移动和缩放算法，通过双线性内插值和双立方卷积法进行处理；(5)结果在画面上显示。本发明的有益效果是：经过双线性内插值和双立方卷积法进行处理，在实际测试中在实训中均匀和连续的最佳输出效果，因此可以做到移动和缩放过程保持主持人非常的均匀和连续的效果。

Description

一种基于人脸跟踪的虚拟导播改进方法
技术领域
本发明涉及新媒体实训应用相关技术领域，尤其是指一种基于人脸跟踪的虚拟导播改进方法。
背景技术
高职院校的师生基本是围绕课程来进行教学与学习的，在新媒体实训，为了保持多学生可以学习摄像机的操作，导播软件通过支持虚拟摄像机的功能来增强调度能力的实训。虚拟摄像机需要支持移动和缩放功能，通过鼠标和键盘在操作过程比较复杂，往往在主持人的跟踪过程中操作输出效果不理想，移动和缩放过程中显示效果经常出现不均匀和不连续现象，影响整体的实训成果。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种显示均匀及连续的基于人脸跟踪的虚拟导播改进方法。
为了实现上述目的，本发明采用以下技术方案：
一种基于人脸跟踪的虚拟导播改进方法，具体包括如下步骤：
(1)开始移动和缩放虚拟摄像机操作；
(2)通过人脸引擎自动查找到现有主持人位置；
(3)根据画面的可显示区域计算出主持人最大和最小可移动和缩放位置；
(4)优化移动和缩放算法，通过双线性内插值和双立方卷积法进行处理；
(5)结果在画面上显示。
由于现有移动和缩放算法一般都是根据时间点和位置做线性取值方法来执行，效果上不是最优。故而通过对移动和缩放算法的优化，经过双线性内插值和双立方卷积法进行处理，在实际测试中在实训中均匀和连续的最佳输出效果。通过本发明的技术方案，可以做到移动和缩放过程保持主持人非常的均匀和连续的效果。
作为优选，在步骤(2)中，具体为：通过人脸识别算法找出当前画面中的所有人脸信息，对找出的所有人脸信息计算出每个人脸的特征值，通过人脸比对算法同预先注册的底库的主持人特征值进行比对，如果比对结果小于定义的阀值即为主持人。
作为优选，在步骤(3)中，具体为：找出的主持人现有的人脸大小定义为最小位置，根据画面的可显示区域中心点为基准，面积的80％为最大显示位置，从而定义出主持人最大和最小可移动和缩放位置。
作为优选，在步骤(4)中，双线性内插值具体为：对于一个目的像素，设置坐标通过反向变换得到的浮点坐标为(i+u,j+v)，其中i、j均为非负整数，u、v为[0,1)区间的浮点数，则这个像素得值f(i+u,j+v)由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：
f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)
其中f(i,j)表示源图像(i,j)处的的像素值。
作为优选，在步骤(4)中，双立方卷积法具体为：增加对原图像对目标图像的影响因素，目标点对应于原图像点周围x距离的点，按照sin x/x比例进行加权平均，这里x代表周围得点跟目标点x轴或者y轴对应于原图的相对位置，sin x/x是归一化了的，公式如下：
f(i+u,j+v)＝[A]*[B]*[C]
[A]＝[S(u+1) S(u+0) S(u-1) S(u-2)]
Figure BDA0002764641260000031
Figure BDA0002764641260000032
Figure BDA0002764641260000033
S(x)是对Sin(x*Pi)/x的逼近，Pi指的是圆周率π。
本发明的有益效果是：经过双线性内插值和双立方卷积法进行处理，在实际测试中在实训中均匀和连续的最佳输出效果，因此可以做到移动和缩放过程保持主持人非常的均匀和连续的效果。
附图说明
图1是本发明的方法示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种基于人脸跟踪的虚拟导播改进方法，具体包括如下步骤：
(1)开始移动和缩放虚拟摄像机操作；
(2)通过人脸引擎自动查找到现有主持人位置；具体为：通过人脸识别算法找出当前画面中的所有人脸信息，对找出的所有人脸信息计算出每个人脸的特征值，通过人脸比对算法同预先注册的底库的主持人特征值进行比对，如果比对结果小于定义的阀值即为主持人
(3)根据画面的可显示区域(一般是整个画面的内80％区域)计算出主持人最大和最小可移动和缩放位置，防止显示不完整；具体为：找出的主持人现有的人脸大小定义为最小位置，根据画面的可显示区域中心点为基准，面积的80％为最大显示位置，从而定义出主持人最大和最小可移动和缩放位置。
(4)优化移动和缩放算法，通过双线性内插值和双立方卷积法进行处理；
(41)双线性内插值具体为：对于一个目的像素，设置坐标通过反向变换得到的浮点坐标为(i+u,j+v)，其中i、j均为非负整数，u、v为[0,1)区间的浮点数，则这个像素得值f(i+u,j+v)由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：
f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)
其中f(i,j)表示源图像(i,j)处的的像素值。
(42)双立方卷积法具体为：增加对原图像对目标图像的影响因素，目标点对应于原图像点周围x距离的点，按照sin x/x比例进行加权平均，这里x代表周围得点跟目标点x轴或者y轴对应于原图的相对位置，sin x/x是归一化了的，公式如下：
f(i+u,j+v)＝[A]*[B]*[C]
[A]＝[S(u+1) S(u+0) S(u-1) S(u-2)]
Figure BDA0002764641260000051
Figure BDA0002764641260000052
Figure BDA0002764641260000053
S(x)是对Sin(x*Pi)/x的逼近，Pi指的是圆周率π。
(5)结果在画面上显示。
由于现有移动和缩放算法一般都是根据时间点和位置做线性取值方法来执行，效果上不是最优。故而通过对移动和缩放算法的优化，经过双线性内插值和双立方卷积法进行处理，使得移动和缩放过程保证主持人最佳输出，在实际测试中在实训中均匀和连续的最佳输出效果。通过本发明的技术方案，可以做到移动和缩放过程保持主持人非常的均匀和连续的效果。

Claims (5)

1.一种基于人脸跟踪的虚拟导播改进方法，其特征是，具体包括如下步骤：
(1)开始移动和缩放虚拟摄像机操作；
(2)通过人脸引擎自动查找到现有主持人位置；
(3)根据画面的可显示区域计算出主持人最大和最小可移动和缩放位置；
(4)优化移动和缩放算法，通过双线性内插值和双立方卷积法进行处理；
(5)结果在画面上显示。
2.根据权利要求1所述的一种基于人脸跟踪的虚拟导播改进方法，其特征是，在步骤(2)中，具体为：通过人脸识别算法找出当前画面中的所有人脸信息，对找出的所有人脸信息计算出每个人脸的特征值，通过人脸比对算法同预先注册的底库的主持人特征值进行比对，如果比对结果小于定义的阀值即为主持人。
3.根据权利要求1所述的一种基于人脸跟踪的虚拟导播改进方法，其特征是，在步骤(3)中，具体为：找出的主持人现有的人脸大小定义为最小位置，根据画面的可显示区域中心点为基准，面积的80％为最大显示位置，从而定义出主持人最大和最小可移动和缩放位置。
4.根据权利要求1所述的一种基于人脸跟踪的虚拟导播改进方法，其特征是，在步骤(4)中，双线性内插值具体为：对于一个目的像素，设置坐标通过反向变换得到的浮点坐标为(i+u,j+v)，其中i、j均为非负整数，u、v为[0,1)区间的浮点数，则这个像素得值f(i+u,j+v)由原图像中坐标为(i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所对应的周围四个像素的值决定，即：
f(i+u,j+v)＝(1-u)(1-v)f(i,j)+(1-u)vf(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)
其中f(i,j)表示源图像(i,j)处的的像素值。
5.根据权利要求1或2或3或4所述的一种基于人脸跟踪的虚拟导播改进方法，其特征是，在步骤(4)中，双立方卷积法具体为：增加对原图像对目标图像的影响因素，目标点对应于原图像点周围x距离的点，按照sin x/x比例进行加权平均，这里x代表周围得点跟目标点x轴或者y轴对应于原图的相对位置，sin x/x是归一化了的，公式如下：
f(i+u,j+v)＝[A]*[B]*[C]
[A]＝[S(u+1) S(u+0) S(u-1) S(u-2)]
Figure FDA0002764641250000021
Figure FDA0002764641250000022
Figure FDA0002764641250000023
S(x)是对Sin(x*Pi)/x的逼近，Pi指的是圆周率π。
CN202011229318.9A 2020-11-06 2020-11-06 一种基于人脸跟踪的虚拟导播改进方法 Pending CN112347924A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011229318.9A CN112347924A (zh) 2020-11-06 2020-11-06 一种基于人脸跟踪的虚拟导播改进方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011229318.9A CN112347924A (zh) 2020-11-06 2020-11-06 一种基于人脸跟踪的虚拟导播改进方法

Publications (1)

Publication Number Publication Date
CN112347924A true CN112347924A (zh) 2021-02-09

Family

ID=74428381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011229318.9A Pending CN112347924A (zh) 2020-11-06 2020-11-06 一种基于人脸跟踪的虚拟导播改进方法

Country Status (1)

Country Link
CN (1) CN112347924A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001001685A1 (en) * 1999-06-29 2001-01-04 Koninklijke Philips Electronics N.V. Real-time tracking of an object of interest using a hybrid optical and virtual zooming mechanism
CN1702691A (zh) * 2005-07-11 2005-11-30 北京中星微电子有限公司 基于语音的彩色人脸合成方法、系统及其着色方法、装置
CN1908962A (zh) * 2006-08-21 2007-02-07 北京中星微电子有限公司 实时鲁棒的人脸追踪显示方法及系统
CN102833486A (zh) * 2012-07-05 2012-12-19 深圳泰山在线科技有限公司 一种实时调节视频图像中人脸显示比例的方法及装置
CN103442221A (zh) * 2013-08-30 2013-12-11 程治永 一种基于图像缩放及裁减的虚拟ptz系统及方法
CN106803966A (zh) * 2016-12-31 2017-06-06 北京星辰美豆文化传播有限公司 一种多人网络直播方法、装置及其电子设备
US20180173393A1 (en) * 2015-06-15 2018-06-21 Thomson Licensing Apparatus and method for video zooming by selecting and tracking an image area
CN110415168A (zh) * 2018-04-27 2019-11-05 武汉斗鱼网络科技有限公司 人脸局部缩放处理方法、存储介质、电子设备及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001001685A1 (en) * 1999-06-29 2001-01-04 Koninklijke Philips Electronics N.V. Real-time tracking of an object of interest using a hybrid optical and virtual zooming mechanism
CN1702691A (zh) * 2005-07-11 2005-11-30 北京中星微电子有限公司 基于语音的彩色人脸合成方法、系统及其着色方法、装置
CN1908962A (zh) * 2006-08-21 2007-02-07 北京中星微电子有限公司 实时鲁棒的人脸追踪显示方法及系统
CN102833486A (zh) * 2012-07-05 2012-12-19 深圳泰山在线科技有限公司 一种实时调节视频图像中人脸显示比例的方法及装置
CN103442221A (zh) * 2013-08-30 2013-12-11 程治永 一种基于图像缩放及裁减的虚拟ptz系统及方法
US20180173393A1 (en) * 2015-06-15 2018-06-21 Thomson Licensing Apparatus and method for video zooming by selecting and tracking an image area
CN106803966A (zh) * 2016-12-31 2017-06-06 北京星辰美豆文化传播有限公司 一种多人网络直播方法、装置及其电子设备
CN110415168A (zh) * 2018-04-27 2019-11-05 武汉斗鱼网络科技有限公司 人脸局部缩放处理方法、存储介质、电子设备及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
吴炜 等: "《基于学习的图像增强技术》", 28 February 2013, 西安电子科技大学出版社 *
朱晨阳等: "基于YOLO3的人脸自动跟踪摄像机器人系统研究", 《电视技术》 *
陈凯等: "基于YOLOv3与ResNet50的摄影机器人人脸识别跟踪系统", 《计算机与现代化》 *
陈彬杰等: "机房教学自动监控系统开发与应用", 《中国教育技术装备》 *
陈高琳: "图像缩放算法中常见插值方法比较", 《福建电脑》 *

Similar Documents

Publication Publication Date Title
US20240078646A1 (en) Image processing method, image processing apparatus, and non-transitory storage medium
CN109409366B (zh) 基于角点检测的畸变图像校正方法及装置
CN109803172B (zh) 一种直播视频的处理方法、装置及电子设备
CN104575120A (zh) 一种用于辅助教学的展示系统
CN113223025B (zh) 图像处理方法及装置、神经网络的训练方法及装置
US11908107B2 (en) Method and apparatus for presenting image for virtual reality device, device and non-transitory computer-readable storage medium
CN108874187A (zh) 一种投影仪笔记系统
CN105719248A (zh) 一种实时的人脸变形方法及其系统
CN109409290A (zh) 一种温度表检定读数自动识别系统及方法
CN101188020A (zh) 投影仪投影图象与计算机帧缓存图象之间象素几何位置对应关系精确获取方法
CN112541922A (zh) 基于数字图像的试卷布局分割方法、电子设备及存储介质
CN116228686A (zh) 一种基于轻量级网络的划痕缺陷检测方法、装置以及设备
CN115082935A (zh) 用于对文档图像进行矫正的方法、设备及存储介质
CN107527369B (zh) 图像校正方法、装置、设备和计算机可读存储介质
CN109727299A (zh) 一种控制机械臂联合作画的方法、电子设备及存储介质
CN112347924A (zh) 一种基于人脸跟踪的虚拟导播改进方法
CN111553927B (zh) 棋盘格角点检测方法、检测系统、计算机装置及存储介质
CN112927163A (zh) 图像数据增强方法、装置、电子设备及存储介质
WO2024001502A1 (zh) 屏幕显示方法、屏幕显示装置、电子设备、程序及介质
US20230353702A1 (en) Processing device, system and method for board writing display
CN115953836A (zh) 线下课堂学生课堂行为智能识别和认知状态关联方法
CN114373027A (zh) 基于灰度共生矩阵的瓷砖图像数据集生成方法
CN114202601A (zh) 板书信息处理方法、装置、电子设备及存储介质
CN114972702A (zh) 一种工业图像目标检测图像训练集的采样方法和存储介质
CN111028290A (zh) 一种用于绘本阅读机器人的图形处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210209