CN112989865B - 一种基于人头姿态判断的人群注意力焦点判断方法 - Google Patents

一种基于人头姿态判断的人群注意力焦点判断方法 Download PDF

Info

Publication number
CN112989865B
CN112989865B CN201911210162.7A CN201911210162A CN112989865B CN 112989865 B CN112989865 B CN 112989865B CN 201911210162 A CN201911210162 A CN 201911210162A CN 112989865 B CN112989865 B CN 112989865B
Authority
CN
China
Prior art keywords
coordinate system
human
human head
attention
crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911210162.7A
Other languages
English (en)
Other versions
CN112989865A (zh
Inventor
谭强
孙善宝
徐驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Scientific Research Institute Co Ltd
Original Assignee
Shandong Inspur Scientific Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Scientific Research Institute Co Ltd filed Critical Shandong Inspur Scientific Research Institute Co Ltd
Priority to CN201911210162.7A priority Critical patent/CN112989865B/zh
Publication of CN112989865A publication Critical patent/CN112989865A/zh
Application granted granted Critical
Publication of CN112989865B publication Critical patent/CN112989865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于人头姿态判断的人群注意力焦点判断方法，该基于人头姿态判断人群注意力焦点的方法，通过计算对应的人头偏转角度，将3D坐标系内的人头偏转角度通过计算映射到2D平面，根据俯仰角、偏航角、翻滚角计算人头朝向导线在平面上的投影，即水平面上的注意力指导线，该人群注意力焦点判断方法是通过计算多个人头偏转角度，计算对应的2D平面‑注意力指导线，通过对多人注意力指导线进行延长相交，判断多人的注意力焦点范围，可以对画面中多个人群注意力焦点进行计算并计算不同注意力焦点的关注人数。

Description

一种基于人头姿态判断的人群注意力焦点判断方法
技术领域
本发明涉及计算机视觉系统技术领域，具体涉及一种基于人头姿态判断的人群注意力焦点判断方法。
背景技术
目前采用 Dlib 库能够获取人脸特征点，通过提取左眼角、右眼角、左嘴角、右嘴角、鼻尖、下巴中央这五点，可以通过OpenCV solvePnPRansac函数计算出俯仰角、偏航角、翻滚角，实现人头部姿态估计，判断单个人头姿态情况。但是无法根据人头姿态判断注意力集中方向。
发明内容
本发明为了克服以上技术的不足，提供了一种通过将图像中的人脸分割成单独人脸图像，一人脸鼻尖特征点为图片中的相对位置并延长人头姿态指示线得到交点判断为人群注意力焦点的基于人头姿态判断的人群注意力焦点判断方法。
本发明克服其技术问题所采用的技术方案是：
一种基于人头姿态判断的人群注意力焦点判断方法，包括：
a)将具有人群的图片输入计算机，计算机采用Dlib库识别图片中的人脸，并对图片中的多个人脸进行分割，分割形成单独的人脸图像，标记人脸相对图片的位置；
b)计算机计算每个人脸的偏转角度与人头姿态指示线；
c)根据人脸在图片上的相对位置进行人脸的位置还原；
d)延长每一个人头姿态指示线，找到各个人头姿态指示线的相交点，相交点为人群注意力焦点。
优选的，步骤b)中利用OpenCV solvePnPRansac函数计算每个人脸的偏转角度与人头姿态指示线。
优选的，步骤b)中标记人脸鼻尖特征点于图片中的相对位置，对每一个人脸提取左眼角、右眼角、左嘴角、右嘴角、鼻尖及下巴中央六个特征点，通过OpenCVsolvePnPRansac函数计算出基于世界坐标系的俯仰角、偏航角、翻滚角，给出在3D状态中的人以鼻尖为起点的人头正面指示线，即定位为人头姿态指示线，将3D状态下的人头姿态指示线投影与2D画面。
优选的，将世界坐标系变换为相机坐标系，之后将相机坐标系变换为图像屋里坐标系，最后将图像屋里坐标系变换为像素坐标系，将3D世界坐标系中的人头姿态指示线以直线的方式投影到2D图像上。
优选的，当步骤d)中具有多个焦点时，根据每个焦点中指示线密度或指示线条数，对不同焦点进行热力值排名。
本发明的有益效果是：该基于人头姿态判断人群注意力焦点的方法，通过计算对应的人头偏转角度，将3D坐标系内的人头偏转角度通过计算映射到2D平面，根据俯仰角、偏航角、翻滚角计算人头朝向导线在平面上的投影，即水平面上的注意力指导线，该人群注意力焦点判断方法是通过计算多个人头偏转角度，计算对应的2D平面-注意力指导线，通过对多人注意力指导线进行延长相交，判断多人的注意力焦点范围，可以对画面中多个人群注意力焦点进行计算并计算不同注意力焦点的关注人数。
具体实施方式
下面对本发明做进一步说明。
一种基于人头姿态判断的人群注意力焦点判断方法，包括：
a)将具有人群的图片输入计算机，计算机采用Dlib库识别图片中的人脸，并对图片中的多个人脸进行分割，分割形成单独的人脸图像，标记人脸相对图片的位置；
b)计算机计算每个人脸的偏转角度与人头姿态指示线；
c)根据人脸在图片上的相对位置进行人脸的位置还原；
d)延长每一个人头姿态指示线，找到各个人头姿态指示线的相交点，相交点为人群注意力焦点。
该基于人头姿态判断人群注意力焦点的方法，通过计算对应的人头偏转角度，将3D坐标系内的人头偏转角度通过计算映射到2D平面，根据俯仰角、偏航角、翻滚角计算人头朝向导线在平面上的投影，即水平面上的注意力指导线，该人群注意力焦点判断方法是通过计算多个人头偏转角度，计算对应的2D平面-注意力指导线，通过对多人注意力指导线进行延长相交，判断多人的注意力焦点范围，可以对画面中多个人群注意力焦点进行计算并计算不同注意力焦点的关注人数。
进一步的，步骤b)中利用OpenCV solvePnPRansac函数计算每个人脸的偏转角度与人头姿态指示线。具体的，步骤b)中标记人脸鼻尖特征点于图片中的相对位置，对每一个人脸提取左眼角、右眼角、左嘴角、右嘴角、鼻尖及下巴中央六个特征点，通过OpenCVsolvePnPRansac函数计算出基于世界坐标系的俯仰角、偏航角、翻滚角，给出在3D状态中的人以鼻尖为起点的人头正面指示线，即定位为人头姿态指示线，将3D状态下的人头姿态指示线投影与2D画面。
优选的，将3D状态下的人头姿态指示线投影与2D画面的过程为：将世界坐标系变换为相机坐标系，物体之间的坐标系变换都可以表示坐标系的旋转变换加上平移变换，则世界坐标系到相机坐标系的转换关系也是如此。绕着不同的轴旋转不同的角度得到不同的旋转矩阵。之后将相机坐标系变换为图像屋里坐标系，从相机坐标系到图像坐标系，属于透视投影关系，从3D转换到2D，最后将图像屋里坐标系变换为像素坐标系，像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点或者叫principal point。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列。所以这二者之间的转换如下：其中dx和dy表示每一列和每一行分别代表多少mm，即1pixel=dx mm，最终实现将3D世界坐标系中的人头姿态指示线以直线的方式投影到2D图像上。这样每一个人脸都对应一条人头朝向指示线，将分割多个人脸图像按照标记的坐标位置，还原到整个图片，并将多条人头朝向指示线延长，得到一个多个指示线构成的图片。
进一步的，当步骤d)中具有多个焦点时，根据每个焦点中指示线密度或指示线条数，对不同焦点进行热力值排名。实现对可能出现的多个焦点进行排名。
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (2)

1.一种基于人头姿态判断的人群注意力焦点判断方法，其特征在于，包括：
a)将具有人群的图片输入计算机，计算机采用Dlib库识别图片中的人脸，并对图片中的多个人脸进行分割，分割形成单独的人脸图像，标记人脸相对图片的位置；
b)计算机计算每个人脸的偏转角度与人头姿态指示线；
c)根据人脸在图片上的相对位置进行人脸的位置还原；
d)延长每一个人头姿态指示线，找到各个人头姿态指示线的相交点，相交点为人群注意力焦点；
步骤b)中利用OpenCV solvePnPRansac函数计算每个人脸的偏转角度与人头姿态指示线；
步骤b)中标记人脸鼻尖特征点于图片中的相对位置，对每一个人脸提取左眼角、右眼角、左嘴角、右嘴角、鼻尖及下巴中央六个特征点，通过OpenCV solvePnPRansac函数计算出基于世界坐标系的俯仰角、偏航角、翻滚角，给出在3D状态中的人以鼻尖为起点的人头正面指示线，即定位为人头姿态指示线，将3D状态下的人头姿态指示线投影与2D画面；
将世界坐标系变换为相机坐标系，之后将相机坐标系变换为图像屋里坐标系，最后将图像屋里坐标系变换为像素坐标系，将3D世界坐标系中的人头姿态指示线以直线的方式投影到2D图像上。
2.根据权利要求1所述的基于人头姿态判断的人群注意力焦点判断方法，其特征在于：当步骤d)中具有多个焦点时，根据每个焦点中指示线密度或指示线条数，对不同焦点进行热力值排名。
CN201911210162.7A 2019-12-02 2019-12-02 一种基于人头姿态判断的人群注意力焦点判断方法 Active CN112989865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911210162.7A CN112989865B (zh) 2019-12-02 2019-12-02 一种基于人头姿态判断的人群注意力焦点判断方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911210162.7A CN112989865B (zh) 2019-12-02 2019-12-02 一种基于人头姿态判断的人群注意力焦点判断方法

Publications (2)

Publication Number Publication Date
CN112989865A CN112989865A (zh) 2021-06-18
CN112989865B true CN112989865B (zh) 2023-05-30

Family

ID=76331194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911210162.7A Active CN112989865B (zh) 2019-12-02 2019-12-02 一种基于人头姿态判断的人群注意力焦点判断方法

Country Status (1)

Country Link
CN (1) CN112989865B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547307A (zh) * 2008-03-25 2009-09-30 奥林巴斯映像株式会社 图像处理装置和图像处理程序
CN101835034A (zh) * 2010-05-27 2010-09-15 王巍 一种人群特征统计系统
CN106123819A (zh) * 2016-06-29 2016-11-16 华中科技大学 一种注意力焦点测量方法
CN106415445A (zh) * 2014-06-06 2017-02-15 英特尔公司 用于观看者关注区域估计的技术
CN107607904A (zh) * 2017-09-06 2018-01-19 北京电子工程总体研究所 一种基于测角信息的多目标同一性识别方法
CN108171152A (zh) * 2017-12-26 2018-06-15 深圳大学 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN108762502A (zh) * 2018-05-24 2018-11-06 山东师范大学 一种基于眼动追踪的虚拟现实人群仿真方法及系统
CN109886246A (zh) * 2019-03-04 2019-06-14 上海像我信息科技有限公司 一种人物注意力判断方法、装置、系统、设备和存储介质
CN109949193A (zh) * 2019-04-02 2019-06-28 中国计量大学上虞高等研究院有限公司 可变光环境下学习注意力检测与预判装置和方法
CN110287790A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种面向静态多人场景的学习状态混合分析方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547307A (zh) * 2008-03-25 2009-09-30 奥林巴斯映像株式会社 图像处理装置和图像处理程序
CN101835034A (zh) * 2010-05-27 2010-09-15 王巍 一种人群特征统计系统
CN106415445A (zh) * 2014-06-06 2017-02-15 英特尔公司 用于观看者关注区域估计的技术
CN106123819A (zh) * 2016-06-29 2016-11-16 华中科技大学 一种注意力焦点测量方法
CN107607904A (zh) * 2017-09-06 2018-01-19 北京电子工程总体研究所 一种基于测角信息的多目标同一性识别方法
CN108171152A (zh) * 2017-12-26 2018-06-15 深圳大学 深度学习人眼视线估计方法、设备、系统及可读存储介质
CN108762502A (zh) * 2018-05-24 2018-11-06 山东师范大学 一种基于眼动追踪的虚拟现实人群仿真方法及系统
CN109886246A (zh) * 2019-03-04 2019-06-14 上海像我信息科技有限公司 一种人物注意力判断方法、装置、系统、设备和存储介质
CN109949193A (zh) * 2019-04-02 2019-06-28 中国计量大学上虞高等研究院有限公司 可变光环境下学习注意力检测与预判装置和方法
CN110287790A (zh) * 2019-05-23 2019-09-27 华中师范大学 一种面向静态多人场景的学习状态混合分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于反向双目识别的驾驶员分心检测;王冠等;《科学技术与工程》;20180618(第17期);第82-88页 *

Also Published As

Publication number Publication date
CN112989865A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
CN106650682B (zh) 一种人脸追踪的方法及装置
WO2022012192A1 (zh) 三维人脸模型的构建方法、装置、设备及存储介质
US11068056B2 (en) Wearable eye tracking system with slippage detection and correction
US8571258B2 (en) Method of tracking the position of the head in real time in a video image stream
WO2016115872A1 (zh) 双目ar头戴显示设备及其信息显示方法
KR20160121798A (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN104899563A (zh) 一种二维人脸关键特征点定位方法及系统
WO2019062056A1 (zh) 一种智能投影方法、系统及智能终端
CN112232310B (zh) 一种用于表情捕捉的人脸识别系统和方法
CN110363052B (zh) 确定图像中的人脸姿态的方法、装置及计算机设备
Rocca et al. Head pose estimation by perspective-n-point solution based on 2d markerless face tracking
CN109376595B (zh) 基于人眼注意力的单目rgb摄像头活体检测方法及系统
CN112989865B (zh) 一种基于人头姿态判断的人群注意力焦点判断方法
CN111898552B (zh) 一种判别人员关注目标物的方法、装置及计算机设备
CN108664118B (zh) 眼球追踪方法和装置、隐形眼镜、虚拟现实系统
CN111915739A (zh) 一种实时三维全景信息互动影息系统
JP6210447B2 (ja) 視線計測装置、注視点の表示方法、注視領域の表示方法および注視点のガウス分布の表示方法
CN116453198A (zh) 一种基于头部姿态差异的视线校准方法和装置
CN116597488A (zh) 一种基于Kinect数据库的人脸识别方法
CN112698724B (zh) 一种基于摄像头眼动追踪的穿透式屏幕系统的实现方法
CN114494427A (zh) 一种对吊臂下站人的违规行为检测方法、系统及终端
CN112465249A (zh) 一种基于感兴趣度的人力资源分配系统
CN112364777A (zh) 一种基于人脸识别的人脸间距估计方法
JP6864333B2 (ja) 顔向き検出システム及び顔向き検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230420

Address after: 250000 building S02, No. 1036, Gaoxin Inspur Road, Jinan, Shandong

Applicant after: Shandong Inspur Scientific Research Institute Co.,Ltd.

Address before: North 6th floor, S05 building, Langchao Science Park, 1036 Langchao Road, hi tech Zone, Jinan City, Shandong Province

Applicant before: SHANDONG INSPUR ARTIFICIAL INTELLIGENCE RESEARCH INSTITUTE Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant