CN107992832A - 一种人脸跟踪系统与方法 - Google Patents
一种人脸跟踪系统与方法 Download PDFInfo
- Publication number
- CN107992832A CN107992832A CN201711295036.7A CN201711295036A CN107992832A CN 107992832 A CN107992832 A CN 107992832A CN 201711295036 A CN201711295036 A CN 201711295036A CN 107992832 A CN107992832 A CN 107992832A
- Authority
- CN
- China
- Prior art keywords
- face
- module
- image
- motor control
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 101100294412 Aspergillus sp. (strain MF297-2) notB gene Proteins 0.000 claims description 2
- 101150101698 outF gene Proteins 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000007781 pre-processing Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种人脸跟踪系统与方法。人脸跟踪系统包括智能设备、电机控制模块、旋转模块和通讯模块，其中，所述智能设备可固定于所述旋转模块之上。人脸跟踪方法包括以下步骤：当前视频图像读取、图像预处理、人脸检测获取模板人脸、模板人脸特征值计算、下一帧图像候选人脸特征值计算、候选人脸特征值与模板人脸特征值匹配、人脸位置计算，以及所述电机控制模块控制所述旋转模块调整智能设备位置使人脸处于屏幕中央。本发明通过人脸跟踪方法自动控制所述旋转模块，可以使人们在视频聊天、视频会议、视频直播、远程监控、远程自拍时，在自由行动过程中人脸始终处于所述智能设备的屏幕画面中。
Description
技术领域
本发明涉及一种人脸跟踪系统与方法，可在实时聊天、直播、录播、自拍、监控的过程中自动跟踪人脸，使得使用者在移动中人脸始终在屏幕中央。
背景技术
随着电子与移动通信技术的发展，手机、平板等带有摄像头的智能设备迅速发展，基于这些带有摄像头的智能设备进行远程视频社交、视频会议、视频直播、远程监控、拍摄照片、录制视频的功能得到越来越广泛的应用。但是，用户在使用这些设备进行拍摄及视频互动时，希望能够解放双手与身体，在移动过程中依然能够自动进行有效自拍及视频互动。本发明可在视频聊天、视频会议、视频直播、远程监控、远程自拍时自动跟踪人脸，使得使用者在自由行动过程中人脸始终处于人脸设备的屏幕中央。
发明内容
本发明采用的技术方案为：人脸跟踪方法在智能设备、电机控制模块、旋转模块、通讯模块构成的人脸跟踪系统内分配操作，其中，智能设备可固定于旋转模块之上。人脸跟踪方法包括以下步骤：当前视频图像读取、图像预处理、人脸检测获取模板人脸、模板人脸特征值计算、下一帧图像候选人脸特征值计算、候选人脸特征值与模板人脸特征值匹配、人脸位置计算，以及电机控制模块控制旋转模块调整智能设备位置。首先由智能设备读取一帧图像，对图像亮度预处理之后进行人脸检测，将其中最大的人脸设为人脸模板并计算其特征值，用于后续人脸跟踪的基准；然后，在下一帧同一位置附近选取与人脸模板一样大小的图像作为候选人脸，计算出人脸特征，并与人脸模板的人脸特征进行匹配，若计算得出人脸位置发生偏移，则由电机控制模块控制旋转模块调整智能设备位置使人脸处于屏幕中央。该方法经过多帧跟踪后，重新进行人脸检测，更新人脸模板。本发明的技术方案总流程图如图1所示。
本发明中的人脸跟踪方法实现步骤如下：
（1）读取当前帧视频图像I k ；
（2）计算当前帧视频图像I k 的平均亮度B M (I k ) ，并令j=0，其中j为帧计数变量；
（3）如果B bl ≥B M (I k )≥B br ，则将I k 作为后续检测的图像I’并转至步骤（5）；否则，转至步骤（4）；其中B bl 是亮度过暗的阈值，B br 是亮度过亮的阈值；
（4）对图像I k 进行亮度调整得到新的图像I’；
（5）在图像I’中检测人脸，选择最大的人脸F max ；
（6）将F max 作为后续跟踪使用的人脸模板F t ，并记录F t 的位置P(F t )及大小S(F t )，求F t 的人脸特征值A(F t )；
（7）判断跟踪得到的人脸是否处于屏幕中央宽度为W的区域，若在此区域中则转至步骤（8）；若人脸不在屏幕中央宽度为W的区域，则计算前后两个位置的位移距离，根据位移距离计算人脸到正中央需要的偏转量，将偏转量通过通讯模块发送给电机控制系统，转至步骤（8），同时电机控制系统控制旋转模块旋转相应偏移量，带动智能设备旋转使人脸处于屏幕中央；
（8）读取下一帧视频图像I k+1 ，并令j=j+1；
（9）如果j≥N，则转至步骤（2）；否则，转至步骤（10）；其中，N为更新模板的间隔帧数；
（10）在图像I k+1 中P(F t )位置，选取大小为S(F t )的图像作为候选人脸F c ，计算F c 的人脸特征值A(F c )；
（11）比对A(F c )与A(F t )，若F c 是F t ，则转至步骤（7）；若F c 不是F t ，则转至步骤（8）。
所述智能设备具有视频采集与视频显示功能。
所述人脸跟踪方法中，N是为了修正跟踪精度设置的人脸检测周期。
本发明具有以下优点：
（1）加入图像亮度预处理操作，对过亮、过暗图片进行预处理，并设置固定的帧更新参数用以及时更新人脸识别模板，增加了人脸识别准确率；
（2）系统内多模块协作，对识别到的人脸图像实时处理，并控制相关模块对所识别到的人脸进行跟踪，从而使得人脸图像始终处于智能设备的正中央。
附图说明
图1是一种人脸跟踪系统与方法的总流程图。
图2是一种人脸跟踪系统与方法的系统框架图。
具体实施方式
下面结合附图，通过具体实施例来进一步阐述本发明。具体实施例仅用于说明本发明而不用于限制本发明要求保护的范围。
本发明涉及一种人脸跟踪系统与方法，人脸跟踪方法需要在如图2所示系统内完成。参照图2，人脸跟踪系统包括智能设备、电机控制模块、旋转模块、通讯模块，其中，智能设备可固定于旋转模块之上。本实施例中，假定修正跟踪精度设置的人脸检测周期N=20，图像亮度过暗的阈值B bl 灰度值为130，亮度过亮的阈值B br 灰度值为190，屏幕中央宽度W为屏幕宽度的1/3。需要说明的是，上述参数仅为说明本实施例所设参考参数而非限制，本领域的技术人员应当理解。
参照图1，在步骤1中，图2所示的智能终端获取当前摄像头捕获到的人脸图像，将其用作识别图像I k 。
步骤2中，对图像I k 进行处理，计算图像的平均亮度B M (I k )，并设置帧计数变量j=0。
步骤3中，对比B M (I k )和B bl 、B br ，如果B bl ≥B M (I k )≥B br ，则将I k 作为后续检测的图像I’并转至步骤5；否则，转至步骤4。
步骤4中，对图像I k 进行亮度调整得到新的图像I’。
步骤5中，在图像I’中检测最大的人脸F max 。
步骤6中，将F max 作为后续跟踪使用的人脸模板F t ，并记录F t 的位置P(F t )，大小记为S(F t )；同时求得F t 的人脸特征值A(F t )。
步骤7中，判断跟踪得到的人脸是否处于屏幕中央宽度为W的区域，若在此区域中则转至步骤8；若不在，则计算前后两个位置的位移距离，根据位移距离计算人脸到正中央需要的偏转量，将偏转量通过通讯模块发送给电机控制系统，后转至步骤8，同时电机控制系统控制旋转模块旋转相应偏移量，带动智能设备旋转使人脸处于屏幕中央。
步骤8中，读取智能设备的摄像头抓取的下一帧图像I k+1 ，并使j=j+1。
步骤9中，比较j和N的大小，如果j≥N，则转至步骤2；否则，转至步骤10。
步骤10中，在图像I k+1 的P(F t )位置获取S(F t )大小的区域图像作为候选人脸F c ，计算F c 的人脸特征值A(F c )。
步骤11中，对比A(F c )与A(F t )，若两者相等，则F c 是F t ，返回步骤7，否则返回步骤8。
以上实施例仅用于说明本发明的设计思想和特点，但本发明的保护范围不限于上述实施例，所以本领域技术人员应理解，在不脱离由权利要求及其等同物定义的本发明的原理、设计思路和范围的情况下，在形式、细节及数据上进行的各种等同变化或修饰，均在本发明的保护范围之内。
Claims (3)
1.一种人脸跟踪系统与方法，其特征在于：人脸跟踪系统包括智能设备、电机控制模块、旋转模块、通讯模块，其中，智能设备可固定于旋转模块之上；人脸跟踪方法在智能设备、电机控制模块、旋转模块、通讯模块间分配操作，包括以下步骤：
（1）读取当前帧视频图像I k ；
（2）计算当前帧视频图像I k 的平均亮度B M (I k ) ，并令j=0，其中j为帧计数变量；
（3）如果B bl ≥B M (I k )≥B br ，则将I k 作为后续检测的图像I’并转至步骤（5）；否则，转至步骤（4）；其中B bl 是亮度过暗的阈值，B br 是亮度过亮的阈值；
（4）对图像I k 进行亮度调整得到新的图像I’；
（5）在图像I’中检测人脸，选择最大的人脸F max ；
（6）将F max 作为后续跟踪使用的人脸模板F t ，并记录F t 的位置P(F t )及大小S(F t )，求F t 的人脸特征值A(F t )；
（7）判断跟踪得到的人脸是否处于屏幕中央宽度为W的区域，若在此区域中则转至步骤（8）；若人脸不在屏幕中央宽度为W的区域，则计算前后两个位置的位移距离，根据位移距离计算人脸到正中央需要的偏转量，将偏转量通过通讯模块发送给电机控制系统，转至步骤（8），同时电机控制系统控制旋转模块旋转相应偏移量，带动智能设备旋转使人脸处于屏幕中央；
（8）读取下一帧视频图像I k+1 ，并令j=j+1；
（9）如果j≥N，则转至步骤（2）；否则，转至步骤（10）；其中，N为更新模板的间隔帧数；
（10）在图像I k+1 中P(F t )位置，选取大小为S(F t )的图像作为候选人脸F c ，计算F c 的人脸特征值A(F c )；
（11）比对A(F c )与A(F t )，若F c 是F t ，则转至步骤（7）；若F c 不是F t ，则转至步骤（8）。
2.根据权利要求1所述方法，其特征在于：所述智能设备具有视频采集与视频显示功能。
3.根据权利要求1所述方法，其特征在于：所述人脸跟踪方法中，N是为了修正跟踪精度设置的人脸检测周期。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711295036.7A CN107992832A (zh) | 2017-12-08 | 2017-12-08 | 一种人脸跟踪系统与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711295036.7A CN107992832A (zh) | 2017-12-08 | 2017-12-08 | 一种人脸跟踪系统与方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107992832A true CN107992832A (zh) | 2018-05-04 |
Family
ID=62036861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711295036.7A Pending CN107992832A (zh) | 2017-12-08 | 2017-12-08 | 一种人脸跟踪系统与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107992832A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165641A (zh) * | 2018-10-31 | 2019-01-08 | 国网安徽省电力有限公司信息通信分公司 | 基于人脸识别的视频会议秩序分析方法 |
| CN109831695A (zh) * | 2018-12-15 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 直播控制方法、装置、电子设备及存储介质 |
| CN110868609A (zh) * | 2019-12-02 | 2020-03-06 | 杭州当虹科技股份有限公司 | 一种视频直播监控及规范的方法 |
| CN112188140A (zh) * | 2020-09-29 | 2021-01-05 | 深圳康佳电子科技有限公司 | 一种人脸跟踪视频聊天方法、系统及存储介质 |
-
2017
- 2017-12-08 CN CN201711295036.7A patent/CN107992832A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165641A (zh) * | 2018-10-31 | 2019-01-08 | 国网安徽省电力有限公司信息通信分公司 | 基于人脸识别的视频会议秩序分析方法 |
| CN109831695A (zh) * | 2018-12-15 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 直播控制方法、装置、电子设备及存储介质 |
| CN109831695B (zh) * | 2018-12-15 | 2022-09-20 | 深圳壹账通智能科技有限公司 | 直播控制方法、装置、电子设备及存储介质 |
| CN110868609A (zh) * | 2019-12-02 | 2020-03-06 | 杭州当虹科技股份有限公司 | 一种视频直播监控及规范的方法 |
| CN112188140A (zh) * | 2020-09-29 | 2021-01-05 | 深圳康佳电子科技有限公司 | 一种人脸跟踪视频聊天方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109167931B (zh) | 图像处理方法、装置、存储介质及移动终端 | |
| US10609273B2 (en) | Image pickup device and method of tracking subject thereof | |
| CN104065878B (zh) | 拍摄控制方法、装置及终端 | |
| CN107992832A (zh) | 一种人脸跟踪系统与方法 | |
| US20230360254A1 (en) | Pose estimation method and related apparatus | |
| WO2022062896A1 (zh) | 直播互动方法及装置 | |
| CN116582741B (zh) | 一种拍摄方法及设备 | |
| CN108200337B (zh) | 拍照处理的方法、装置、终端及存储介质 | |
| CN104683691B (zh) | 拍摄方法、装置及设备 | |
| EP3796638B1 (en) | Lens control method and device and terminal | |
| CN109784164B (zh) | 前景识别方法、装置、电子设备及存储介质 | |
| CN112207821B (zh) | 视觉机器人的目标搜寻方法及机器人 | |
| CN109981964B (zh) | 基于机器人的拍摄方法、拍摄装置及机器人 | |
| CN109509195B (zh) | 前景处理方法、装置、电子设备及存储介质 | |
| CN108154466A (zh) | 图像处理方法及装置 | |
| CN112634160A (zh) | 拍照方法及装置、终端、存储介质 | |
| CN109784327B (zh) | 边界框确定方法、装置、电子设备及存储介质 | |
| CN116055844B (zh) | 一种跟踪对焦方法、电子设备和计算机可读存储介质 | |
| CN112188091B (zh) | 人脸信息识别方法、装置、电子设备及存储介质 | |
| CN112887610A (zh) | 拍摄方法、装置、电子设备及存储介质 | |
| US20130308829A1 (en) | Still image extraction apparatus | |
| CN108259767B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN108495038B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111726531B (zh) | 图像拍摄方法、处理方法、装置、电子设备及存储介质 | |
| CN114143471A (zh) | 图像处理方法、系统、移动终端及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180504 |
|
| WD01 | Invention patent application deemed withdrawn after publication |