CN112560615A - 观看屏幕判断方法、系统及电子设备 - Google Patents

观看屏幕判断方法、系统及电子设备 Download PDF

Info

Publication number
CN112560615A
CN112560615A CN202011416845.0A CN202011416845A CN112560615A CN 112560615 A CN112560615 A CN 112560615A CN 202011416845 A CN202011416845 A CN 202011416845A CN 112560615 A CN112560615 A CN 112560615A
Authority
CN
China
Prior art keywords
face
screen
data
obtaining
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011416845.0A
Other languages
English (en)
Inventor
刘星
唐大闰
赵晨旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Minglue Artificial Intelligence Group Co Ltd
Original Assignee
Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Minglue Artificial Intelligence Group Co Ltd filed Critical Shanghai Minglue Artificial Intelligence Group Co Ltd
Priority to CN202011416845.0A priority Critical patent/CN112560615A/zh
Publication of CN112560615A publication Critical patent/CN112560615A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Abstract

本发明公开了一种观看屏幕判断方法、系统及电子设备，观看屏幕判断方法包括：采集步骤：通过摄像头采集图像数据；人脸数据获得步骤：根据图像数据通过人脸检测算法获得图像数据中的人脸数据；关键点信息获取步骤：根据人脸数据通过人脸关键点检测算法获得人脸数据的关键点信息；面部朝向获取步骤：根据关键点信息及标准人脸模板通过PnP算法获得人脸数据的欧拉角，根据欧拉角获取人脸数据的面部朝向；判断步骤：根据面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。本发明在仅有普通RGB摄像头的空间不大的场景中，实现了有效地判断用户是否正在观看屏幕，从而能够有效提高视频广告投放的精准度。

Description

观看屏幕判断方法、系统及电子设备
技术领域
本发明涉及广告环境监测领域，具体地说，尤其涉及一种基于面部朝向的观看屏幕判断方法、系统及电子设备。
背景技术
在广告监测情境中，屏幕上正在播放一段广告视频，屏幕前会有一些行人，我们希望获知屏幕前的行人观看屏幕的时长。以常见的垂直升降式电梯为例，电梯关上门后，电梯门上方会投影出一段广告视频。由于电梯内行人站立位置和姿态的不同，我们很难直接判断出每个行人是否正在观看视频。
申请号CN201911025279.8的专利中，首相通过RGB摄像头获取可见光图像，判断人脸是否在指定区域；然后利用结构光摄像头，获取人脸的深度图；最后通过深度图判断出瞳孔在人眼中的位置，从而解锁手机。该发明专利利用了结构光摄像头同样判断出屏幕前用户是否正在注视屏幕。常规的注视识别技术都是基于眼球追踪技术，都需要依赖主动投射光线的设备如红外图像传感器、结构光传感器等。
申请号CN201911361950.6的专利中，把人脸朝向仅仅当做一个二分类问题，并没有考虑电梯的尺寸大小，以及摄像头、屏幕和行人之间的相对位置关系，其收集的数据肯定是带有偏差的，得到的模型也只能适用于特定场景。
现有的诸如利用结构光摄像头进行注视检测的方案，需要主动投射结构光的硬件设备，以及结构光图像传感器；此外用户通常需要和摄像头距离较近，难以追踪多人等。
因此急需开发一种克服上述缺陷的基于面部朝向的观看屏幕判断方法、系统及电子设备。
发明内容
针对上述问题，本发明提供一种观看屏幕判断方法，其中，包括：
采集步骤：通过摄像头采集图像数据；
人脸数据获得步骤：根据所述图像数据通过人脸检测算法获得所述图像数据中的人脸数据；
关键点信息获取步骤：根据所述人脸数据通过人脸关键点检测算法获得所述人脸数据的关键点信息；
面部朝向获取步骤：根据所述关键点信息及标准人脸模板通过PnP算法获得所述人脸数据的欧拉角，根据所述欧拉角获取所述人脸数据的面部朝向；
判断步骤：根据所述面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。
上述的观看屏幕判断方法，其中，所述采集步骤包括：通过摄像头拍摄视频广告播放时的每帧图片。
上述的观看屏幕判断方法，其中，所述人脸数据获得步骤中包括：
根据多个所述图片通过所述人脸检测算法检测出每一所述图片中的所述人脸数据。
上述的观看屏幕判断方法，其中，所述关键点信息获取步骤中包括：
根据每一所述人脸数据通过所述人脸关键点检测算法获得多个关键点坐标信息。
上述的观看屏幕判断方法，其中，所述面部朝向获取骤中包括：
构建步骤：构建所述标准人脸模板；
计算步骤：根据所述标准人脸模板及所述关键点坐标信息通过PnP算法获得仿射变换；
欧拉角获取模块，根据所述仿射变换的旋转矩阵获得每一所述人脸数据的所述欧拉角，通过所述欧拉角获取所述面部朝向。
上述的观看屏幕判断方法，其中，所述判断步骤包括：
水平距离确定步骤：在摄像头坐标系下计算人脸到屏幕的水平距离；
交点位置确定步骤：根据所述水平距离与所述面部朝向确定所述面部朝向与所述屏幕所在平面的交点位置；
判断结果输出步骤：根据所述交点位置对用户是否在观看屏幕进行判断。
本发明还提供一种观看屏幕判断系统，其中，包括：
采集单元，通过摄像头采集图像数据；
人脸数据获得单元，根据所述图像数据通过人脸检测算法获得所述图像数据中的人脸数据；
关键点信息获取单元，根据所述人脸数据通过人脸关键点检测算法获得所述人脸数据的关键点信息；
面部朝向获取单元，根据所述关键点信息及标准人脸模板通过PnP算法获得所述人脸数据的欧拉角，根据所述欧拉角获取所述人脸数据的面部朝向；
判断单元，根据所述面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。
上述的观看屏幕判断系统，其中，所述面部朝向获取单元包括：
构建模块，构建所述标准人脸模板；
计算模块，根据所述标准人脸模板及关键点坐标信息通过PnP算法获得仿射变换；
欧拉角获取步骤，根据所述仿射变换的旋转矩阵获得每一所述人脸数据的所述欧拉角，通过所述欧拉角获取所述面部朝向。
上述的观看屏幕判断系统，其中，所述判断单元包括：
水平距离确定模块，在摄像头坐标系下计算人脸到屏幕的水平距离；
交点位置确定模块，根据所述水平距离与所述面部朝向确定所述面部朝向与所述屏幕所在平面的交点位置；
判断结果输出模块，根据所述交点位置对用户是否在观看屏幕进行判断。
本发明还提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上述中任一项所述的观看屏幕判断方法。
综上所述，本发明相对于现有技术其功效在于：本发明在仅有单个普通RGB摄像头的情境下，已获知摄像头和屏幕的位置关系，利用人脸检测算法和人脸欧拉角信息，判断出当前用户面部是否朝向屏幕，从而更加精准地判断视频广告的投放效果。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的观看屏幕判断方法的流程图；
图2为图1中步骤S4的分步骤流程图；
图3为图1中步骤S5的分步骤流程图；
图4为电梯场景示意图；
图5为关键点信息示意图；
图6为摄像头坐标系下面部朝向示意图；
图7为本发明的观看屏幕判断系统的结构示意图；
图8为本发明的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。另外，在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
关于本文中所使用的“第一”、“第二”、“S1”、“S2”、…等，并非特别指称次序或顺位的意思，也非用以限定本发明，其仅为了区别以相同技术用语描述的元件或操作。
关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附图的方向。因此，使用的方向用语是用来说明并非用来限制本创作。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。
关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。
关于本文中的“多个”包括“两个”及“两个以上”；关于本文中的“多组”包括“两组”及“两组以上”。
关于本文中所使用的用语“大致”、“约”等，用以修饰任何可以微变化的数量或误差，但这些微变化或误差并不会改变其本质。一般而言，此类用语所修饰的微变化或误差的范围在部分实施例中可为20％，在部分实施例中可为10％，在部分实施例中可为5％或是其他数值。本领域技术人员应当了解，前述提及的数值可依实际需求而调整，并不以此为限。
某些用以描述本申请的用词将于下或在此说明书的别处讨论，以提供本领域技术人员在有关本申请的描述上额外的引导。
请参照图1-图3，图1为本发明的观看屏幕判断方法的流程图；图2为图1中步骤S4的分步骤流程图；图3为图1中步骤S5的分步骤流程图；。如图1-图3所示，本发明的观看屏幕判断方法包括：
采集步骤S1：通过摄像头采集图像数据，其中，在本步骤中，通过摄像头拍摄视频广告播放时的每帧图片。
人脸数据获得步骤S2：根据所述图像数据通过人脸检测算法获得所述图像数据中的人脸数据，其中，在本步骤中，根据多个所述图片通过所述人脸检测算法检测出每一所述图片中的所述人脸数据。
关键点信息获取步骤S3：根据所述人脸数据通过人脸关键点检测算法获得所述人脸数据的关键点信息，其中，在本步骤中，根据每一所述人脸数据通过所述人脸关键点检测算法获得多个关键点坐标信息。
面部朝向获取步骤S4：根据所述关键点信息及标准人脸模板通过PnP算法获得所述人脸数据的欧拉角，根据所述欧拉角获取所述人脸数据的面部朝向。
其中，在本步骤中，所述面部朝向获取步骤S4中包括：
构建步骤S41：构建所述标准人脸模板；
计算步骤S42：根据所述标准人脸模板及所述关键点坐标信息通过PnP算法获得仿射变换；
欧拉角获取步骤S43，根据所述仿射变换的旋转矩阵获得每一所述人脸数据的所述欧拉角，通过所述欧拉角获取所述面部朝向。
判断步骤S5：根据所述面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。
其中，在本步骤中，所述判断步骤S5包括：
水平距离确定步骤S51：在摄像头坐标系下计算人脸到屏幕的水平距离；
交点位置确定步骤S52：根据所述水平距离与所述面部朝向确定所述面部朝向与所述屏幕所在平面的交点位置；
判断结果输出步骤S53：根据所述交点位置对用户是否在观看屏幕进行判断。
请参照图4-图6，图4为电梯场景示意图；图5为关键点信息示意图；图6为摄像头坐标系下面部朝向示意图。如图4-图6所示，以下结合图4-图6以一具体实施例对本发明的观看屏幕判断进行具体说明如下。
需要说明的是，在本实施例中，以电梯间场景进行说明，但本发明并不以此为限。
1.摄像头不间断拍摄电梯间内场景，当屏幕上开始播放视频广告时，对拍摄到的每帧图片，使用人脸检测算法检测出图中的人脸face1,face2,…facen共计n张人脸数据。
其中，人脸检测算法可以为FaceBox算法或mtcnn算法，但本发明并不以此为限。
2.对每张人脸数据，利用人脸关键点检测算法检测出人脸的98个关键点，98个关键点的示意图如图5所示；
3.利用一张标准的3D人脸模板，和上述98个2D关键点的关键点坐标信息，通过PnP算法计算出两者之间的仿射变换，通过仿射变换的旋转矩阵直接可以得到人脸的欧拉角：yaw(航偏角)，pitch(俯仰角)，翻滚角(roll)。欧拉角即为人脸面部朝向在xoy、xoz、yoz三个方向上的分量。
4.如图6所示，在摄像头坐标系下，通过电梯间尺寸粗略估计人脸到屏幕的水平距离h，然后将面部朝向射线延伸到，直至与屏幕所在的xoy平面相交。
5.如果该交点在屏幕范围内，则认为人脸的面部朝向是屏幕，此人正在观看广告视屏；如果该交点在屏幕范围外，则认为人脸面部没有朝向屏幕。
6.根据判断出观看屏幕的人脸数据后计算电梯间内所有人观看视频广告的时间。
由此，本发明在仅利用现有的普通RGB摄像头条件下，能够统计用户观看视频广告的时长，从而能够有效提高视频广告投放的精准度。
请参照图7，图7为本发明的观看屏幕判断系统的结构示意图，如图7所示，本发明的观看屏幕判断系统包括：
采集单元11，通过摄像头采集图像数据；
人脸数据获得单元12，根据所述图像数据通过人脸检测算法获得所述图像数据中的人脸数据；
关键点信息获取单元13，根据所述人脸数据通过人脸关键点检测算法获得所述人脸数据的关键点信息；
面部朝向获取单元14，根据所述关键点信息及标准人脸模板通过PnP算法获得所述人脸数据的欧拉角，根据所述欧拉角获取所述人脸数据的面部朝向；
判断单元15，根据所述面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。
其中，所述面部朝向获取单元14包括：
构建模块141，构建所述标准人脸模板；
计算模块142，根据所述标准人脸模板及关键点坐标信息通过PnP算法获得仿射变换；
欧拉角获取模块143，根据所述仿射变换的旋转矩阵获得每一所述人脸数据的所述欧拉角，通过所述欧拉角获取所述面部朝向。
更进一步地，所述判断单元15包括：
水平距离确定模块151，在摄像头坐标系下计算人脸到屏幕的水平距离；
交点位置确定模块152，根据所述水平距离与所述面部朝向确定所述面部朝向与所述屏幕所在平面的交点位置；
判断结果输出模块153，根据所述交点位置对用户是否在观看屏幕进行判断。
请参照图8，图8为本发明的电子设备的结构示意图。如图8所示，本实施例揭示了一种电子设备的一种具体实施方式。电子设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种观看屏幕判断方法。
在其中一些实施例中，电子设备还可包括通信接口83和总线80。其中，如图8所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将电子设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(ControlBus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(FrontSide Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
另外，结合上述实施例中处理方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种观看屏幕判断方法。
综上所述，本发明在仅有普通RGB摄像头的空间不大的场景中，实现了有效地判断用户是否正在观看屏幕，根据判断结果能够统计用户观看视频广告的时长，从而能够有效提高视频广告投放的精准度。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种观看屏幕判断方法，其特征在于，包括：
采集步骤：通过摄像头采集图像数据；
人脸数据获得步骤：根据所述图像数据通过人脸检测算法获得所述图像数据中的人脸数据；
关键点信息获取步骤：根据所述人脸数据通过人脸关键点检测算法获得所述人脸数据的关键点信息；
面部朝向获取步骤：根据所述关键点信息及标准人脸模板通过PnP算法获得所述人脸数据的欧拉角，根据所述欧拉角获取所述人脸数据的面部朝向；
判断步骤：根据所述面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。
2.如权利要求1所述的判断方法，其特征在于，所述采集步骤包括：通过摄像头拍摄视频广告播放时的每帧图片。
3.如权利要求2所述的判断方法，其特征在于，所述人脸数据获得步骤中包括：
根据多个所述图片通过所述人脸检测算法检测出每一所述图片中的所述人脸数据。
4.如权利要求1所述的判断方法，其特征在于，所述关键点信息获取步骤中包括：
根据每一所述人脸数据通过所述人脸关键点检测算法获得多个关键点坐标信息。
5.如权利要求4所述的判断方法，其特征在于，所述面部朝向获取步骤中包括：
构建步骤：构建所述标准人脸模板；
计算步骤：根据所述标准人脸模板及所述关键点坐标信息通过PnP算法获得仿射变换；
欧拉角获取步骤，根据所述仿射变换的旋转矩阵获得每一所述人脸数据的所述欧拉角，通过所述欧拉角获取所述面部朝向。
6.如权利要求1所述的提取方法，其特征在于，所述判断步骤包括：
水平距离确定步骤：在摄像头坐标系下计算人脸到屏幕的水平距离；
交点位置确定步骤：根据所述水平距离与所述面部朝向确定所述面部朝向与所述屏幕所在平面的交点位置；
判断结果输出步骤：根据所述交点位置对用户是否在观看屏幕进行判断。
7.一种观看屏幕判断系统，其特征在于，包括：
采集单元，通过摄像头采集图像数据；
人脸数据获得单元，根据所述图像数据通过人脸检测算法获得所述图像数据中的人脸数据；
关键点信息获取单元，根据所述人脸数据通过人脸关键点检测算法获得所述人脸数据的关键点信息；
面部朝向获取单元，根据所述关键点信息及标准人脸模板通过PnP算法获得所述人脸数据的欧拉角，根据所述欧拉角获取所述人脸数据的面部朝向；
判断单元，根据所述面部朝向和人脸到屏幕的水平距离对用户是否在观看屏幕进行判断。
8.如权利要求1所述的判断系统，其特征在于，所述面部朝向获取单元包括：
构建模块，构建所述标准人脸模板；
计算模块，根据所述标准人脸模板及关键点坐标信息通过PnP算法获得仿射变换；
欧拉角获取模块，根据所述仿射变换的旋转矩阵获得每一所述人脸数据的所述欧拉角，通过所述欧拉角获取所述面部朝向。
9.如权利要求8所述的提取系统，其特征在于，所述判断单元包括：
水平距离确定模块，在摄像头坐标系下计算人脸到屏幕的水平距离；
交点位置确定模块，根据所述水平距离与所述面部朝向确定所述面部朝向与所述屏幕所在平面的交点位置；
判断结果输出模块，根据所述交点位置对用户是否在观看屏幕进行判断。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的观看屏幕判断方法。
CN202011416845.0A 2020-12-07 2020-12-07 观看屏幕判断方法、系统及电子设备 Pending CN112560615A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011416845.0A CN112560615A (zh) 2020-12-07 2020-12-07 观看屏幕判断方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011416845.0A CN112560615A (zh) 2020-12-07 2020-12-07 观看屏幕判断方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN112560615A true CN112560615A (zh) 2021-03-26

Family

ID=75059052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011416845.0A Pending CN112560615A (zh) 2020-12-07 2020-12-07 观看屏幕判断方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN112560615A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115086A (zh) * 2021-04-16 2021-07-13 安乐 基于视频视线识别对电梯媒体收视信息进行采集的方法
CN117408757A (zh) * 2023-12-14 2024-01-16 江西时刻互动科技股份有限公司 一种用于广告投放效果监测的智能评估系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902630A (zh) * 2019-03-01 2019-06-18 上海像我信息科技有限公司 一种注意力判断方法、装置、系统、设备和存储介质
CN110633664A (zh) * 2019-09-05 2019-12-31 北京大蛋科技有限公司 基于人脸识别技术追踪用户的注意力方法和装置
CN110674664A (zh) * 2018-06-15 2020-01-10 阿里巴巴集团控股有限公司 视觉注意力的识别方法及系统、存储介质、处理器
CN111353461A (zh) * 2020-03-11 2020-06-30 京东数字科技控股有限公司 广告屏的关注度检测方法、装置、系统及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674664A (zh) * 2018-06-15 2020-01-10 阿里巴巴集团控股有限公司 视觉注意力的识别方法及系统、存储介质、处理器
CN109902630A (zh) * 2019-03-01 2019-06-18 上海像我信息科技有限公司 一种注意力判断方法、装置、系统、设备和存储介质
CN110633664A (zh) * 2019-09-05 2019-12-31 北京大蛋科技有限公司 基于人脸识别技术追踪用户的注意力方法和装置
CN111353461A (zh) * 2020-03-11 2020-06-30 京东数字科技控股有限公司 广告屏的关注度检测方法、装置、系统及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113115086A (zh) * 2021-04-16 2021-07-13 安乐 基于视频视线识别对电梯媒体收视信息进行采集的方法
CN113115086B (zh) * 2021-04-16 2023-09-19 浙江闪链科技有限公司 基于视频视线识别对电梯媒体收视信息进行采集的方法
CN117408757A (zh) * 2023-12-14 2024-01-16 江西时刻互动科技股份有限公司 一种用于广告投放效果监测的智能评估系统
CN117408757B (zh) * 2023-12-14 2024-04-09 江西时刻互动科技股份有限公司 一种用于广告投放效果监测的智能评估系统

Similar Documents

Publication Publication Date Title
US20200160040A1 (en) Three-dimensional living-body face detection method, face authentication recognition method, and apparatuses
CN109188457B (zh) 物体检测框的生成方法、装置、设备、存储介质及车辆
CN113554698B (zh) 车辆位姿信息生成方法、装置及电子设备、存储介质
US9619708B2 (en) Method of detecting a main subject in an image
CN106952303B (zh) 车距检测方法、装置和系统
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
US8432357B2 (en) Tracking object selection apparatus, method, program and circuit
CN109815843B (zh) 图像处理方法及相关产品
US20130286161A1 (en) Three-dimensional face recognition for mobile devices
US11017552B2 (en) Measurement method and apparatus
CN112560615A (zh) 观看屏幕判断方法、系统及电子设备
CN112348686B (zh) 理赔图片的采集方法、装置及通讯设备
CN110686676A (zh) 机器人重定位方法、装置及机器人
JP2021033510A (ja) 運転支援装置
CN112001883A (zh) 一种车辆目标图像的优选方法、装置和计算机设备
CN113673288B (zh) 空闲车位检测方法、装置、计算机设备及存储介质
JP6991045B2 (ja) 画像処理装置、画像処理装置の制御方法
CN111382606A (zh) 摔倒检测方法、摔倒检测装置和电子设备
US20100014760A1 (en) Information Extracting Method, Registration Device, Verification Device, and Program
TWI658431B (zh) 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
RU2583756C2 (ru) Способ определения местоположения на основе сигнатур изображений городской застройки в видимом и инфракрасном диапазонах
CN113147746A (zh) 坡道车位的探测方法及装置
CN106101539A (zh) 一种自拍杆角度调节方法及自拍杆
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式
KR102176179B1 (ko) 영상에서의 객체 추적을 위한 트랙렛의 특징 벡터 할당을 수행하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination