CN113361459A - 基于注视点识别的广告展示方法、装置、设备及存储介质 - Google Patents

基于注视点识别的广告展示方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113361459A
CN113361459A CN202110726228.9A CN202110726228A CN113361459A CN 113361459 A CN113361459 A CN 113361459A CN 202110726228 A CN202110726228 A CN 202110726228A CN 113361459 A CN113361459 A CN 113361459A
Authority
CN
China
Prior art keywords
advertisement
fixation point
human eye
pupil
eye image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110726228.9A
Other languages
English (en)
Inventor
施园圆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202110726228.9A priority Critical patent/CN113361459A/zh
Publication of CN113361459A publication Critical patent/CN113361459A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本申请实施例属于人工智能领域，涉及一种基于注视点识别的广告展示方法、装置、计算机设备及存储介质，其中方法包括：获取广告展示屏前的观察者的人眼图像；将所述人眼图像进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；将所述人眼图像进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；将所述二维偏移向量输入到预先训练的二维偏移向量‑注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；根据所述注视点展示广告。根据观察者的注视点有针对性的展示广告，使广告投放契合观察者的兴趣点，提升了广告投放的效果。

Description

基于注视点识别的广告展示方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及基于注视点识别的广告展示方法、装置、设备及存储介质。
背景技术
现在多媒体广告是广告投放的主要形式，在机场、车站、地铁、商场、电梯等都设置有大量的多媒体广告屏，但是这种设置于公共场所的广告屏往往都是单向的广告展示，对广告观察者的注视行为没有响应和互动，广告形式单一，大部分人可能都没有注意到这些广告，使广告投放的效率低、广告推广效果不佳。
发明内容
本申请实施例的目的在于提出一种基于注视点识别的广告展示方法、装置、计算机设备及存储介质，以解决多媒体广告单向播放，形式单一，投放效率低，推广效果不佳的问题。
为了解决上述技术问题，本申请实施例提供一种基于注视点识别的广告展示方法，采用了如下所述的技术方案：
获取广告展示屏前的观察者的人眼图像；
将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；
将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；
根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；
将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；
根据所述注视点展示广告。
进一步的，在所述将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标的步骤之前，还包括：
获取第一训练样本，所述第一训练样本为包含N个标注了瞳孔真实框的人眼图像；
将所述第一训练样本输入到预训练的第一目标检测模型中，获得所述第一目标检测模型响应所述第一训练样本输出的瞳孔预测框；
通过第一损失函数比对所述瞳孔预测框和所述瞳孔真实框是否一致；
调整所述第一目标检测模型各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的第一目标检测模型。
进一步的，在所述将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点的步骤之前，还包括：
获取第二训练样本，所述第二训练样本包含N个二维偏移向量样本，其中每个二维偏移向量样本标注有参考注视点坐标；
将所述第二训练样本输入到预训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述二维偏移向量-注视点映射模型输出的N个预测注视点坐标；
通过第二损失函数比较每个所述预测注视点坐标与对应的参考注视点坐标是否一致；
调整所述二维偏移向量-注视点映射模型各节点的参数，至所述第二损失函数达到最小值时结束，得到训练好的二维偏移向量-注视点映射模型。
进一步的，在所述将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点的步骤之后，还包括：
获取所述观察者人眼到所述广告展示屏的距离；
将所述距离输入到预先训练的注视点矫正模型进行注视点矫正，得到所述注视点矫正模型输出的注视点矫正量；
根据所述注视点矫正量对所述注视点进行矫正，获得矫正后的注视点。
进一步的，在所述根据所述注视点展示广告的步骤之前，还包括：
获取所述观察者的人脸图像；
将所述人脸图像输入到预先训练的广告对象分类模型中进行广告对象类别识别，获得所述观察者所属的广告对象类别；
根据所述注视点和所述广告对象类别展示广告。
进一步的，还包括：
将所述人眼图像进行灰度化处理，得到所述人眼图像的灰度图。
为了解决上述技术问题，本申请实施例还提供一种基于注视点识别的广告展示装置，采用了如下所述的技术方案：
获取模块，用于获取广告展示屏前的观察者的人眼图像；
第一检测模块，用于将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；
第二检测模块，用于将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；
计算模块，用于根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；
映射模块，用于将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；
展示模块，用于根据所述注视点展示广告。
进一步的，所述基于注视点识别的广告展示装置，还包括：
第一获取子模块，用于获取第一训练样本，所述第一训练样本为包含N个标注了瞳孔真实框的人眼图像；
第一预测子模块，用于将所述第一训练样本输入到预训练的第一目标检测模型中，获得所述第一目标检测模型响应所述第一训练样本输出的瞳孔预测框；
第一比对子模块，用于通过第一损失函数比对所述瞳孔预测框和所述瞳孔真实框是否一致；
第一调整子模块，用于调整所述第一目标检测模型各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的第一目标检测模型。
进一步的，所述基于注视点识别的广告展示装置，还包括：
第二获取子模块，用于获取第二训练样本，所述第二训练样本包含N个二维偏移向量样本，其中每个二维偏移向量样本标注有参考注视点坐标；
第二预测子模块，用于将所述第二训练样本输入到预训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述二维偏移向量-注视点映射模型输出的N个预测注视点坐标；
第二比对子模块，用于通过第二损失函数比较每个所述预测注视点坐标与对应的参考注视点坐标是否一致；
第二调整子模块，用于调整所述二维偏移向量-注视点映射模型各节点的参数，至所述第二损失函数达到最小值时结束，得到训练好的二维偏移向量-注视点映射模型。
进一步的，所述基于注视点识别的广告展示装置，还包括：
第三获取子模块，用于获取所述观察者人眼到所述广告展示屏的距离；
第三预测子模块，用于将所述距离输入到预先训练的注视点矫正模型进行注视点矫正，得到所述注视点矫正模型输出的注视点矫正量；
第一矫正子模块，用于根据所述注视点矫正量对所述注视点进行矫正，获得矫正后的注视点。
进一步的，所述基于注视点识别的广告展示装置，还包括：
第四获取子模块，用于获取所述观察者的人脸图像；
第一识别子模块，用于将所述人脸图像输入到预先训练的广告对象分类模型中进行广告对象类别识别，获得所述观察者所属的广告对象类别；
第一展示子模块，用于根据所述注视点和所述广告对象类别展示广告。
进一步的，所述基于注视点识别的广告展示装置，还包括：
第一处理子模块，用于将所述人眼图像进行灰度化处理，得到所述人眼图像的灰度图。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，存储器中存储有计算机可读指令，处理器执行计算机可读指令时实现如上述基于注视点识别的广告展示方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，计算机可读存储介质上存储有计算机可读指令，计算机可读指令被处理器执行时实现如上述基于注视点识别的广告展示方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请通过获取广告展示屏前的观察者的人眼图像；将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；根据所述注视点展示广告。根据观察者的注视点有针对性的展示广告，使广告投放契合观察者的兴趣点，提升了广告投放的效果。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2根据本申请的基于注视点识别的广告展示方法的一个实施例的流程图；
图3是根据本申请的基于注视点识别的广告展示装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于注视点识别的广告展示方法一般由服 务器/终端设备执行，相应地，基于注视点识别的广告展示装置一般设置于服务器/终端设 备中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于注视点识别的广告展示方法的一个实施例的流程图。所述的基于注视点识别的广告展示方法，包括以下步骤：
步骤S201，获取广告展示屏前的观察者的人眼图像。
在本实施例中，基于注视点识别的广告展示方法运行于其上的电子设备(例如图1所示的服务器/终端设备)，可以通过有线连接方式或者无线连接方式获取广告展示屏前的观察者的人眼图像。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
人眼图像可以通过在广告展示屏前设置摄像头，通过摄像头拍摄广告展示屏前的观察者的人眼图像，人眼图像通过有线连接方式或者无线连接方式传送给运行基于注视点识别的广告展示方法的电子设备。
步骤S202，将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标。
在本实施例中，将人眼图像输入到预先训练的第一目标检测模型进行瞳孔检测。第一目标检测模型的目的是从人眼图像中识别出瞳孔并确定瞳孔的坐标。第一目标检查模型可以基于Region Proposal的R-CNN算法，该算法产生目标候选框，然后再对候选框做分类。R-CNN借鉴了滑动窗口思想，采用对区域进行识别的方案，具体是：
输入一张图片，通过指定算法从图片中提取多个类别独立的候选区域，例如采用Selective Search算法。将图像分成很多小尺寸区域，然后根据小尺寸区域的特征合并小尺寸得到大尺寸区域，以实现候选区域的选取。
对于每个候选区域利用卷积神经网络来获取一个特征向量。
对于每个区域相应的特征向量，利用支持向量机SVM进行分类，得到分类为瞳孔的目标候选框。
取瞳孔的目标候选框的中心点的坐标作为人眼图像中瞳孔的坐标。
本申请中，第一目标检查模型还可以基于SSD(Single Shot MultiBox Detector)模型，SSD模型的结构为卷积层，目标检测层和NMS(Non-Maximum Suppression)筛选层。
SSD采用了VGG16的基础网络。先用一个CNN网络来提取特征，然后再进行后续的目标定位和目标分类识别。
目标检测层由5个卷积层和一个平均池化层组成，每一个卷积层输出不同大小感受野的feature map。在这些不同尺度的feature map上，进行目标位置和类别的训练和预测，在每个卷积层上都会进行目标检测和分类，最后由NMS进行筛选，输出最终的结果。
第一目标检测模型输出的为包含瞳孔的预测框，取预测框的中心作为瞳孔的坐标。
步骤S203，将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标。
在本实施例中，将人眼图像输入到预先训练的第二目标检测模型进行普尔钦斑检测。第二目标检测模型的目的是从人眼图像中识别出普尔钦斑并确定普尔钦斑的坐标。普尔钦斑指光源发出光线在观察者眼睛角膜上形成的高亮度反射点，称为普尔钦斑。当眼睛转动注视不同方向时，由于眼球近似球体，普尔钦斑固定不动，而瞳孔相对普尔钦斑发生偏移，将此偏移量进行空间坐标变换，可以计算出观察者视线的方向。
这里第二目标检测模型与第一目标检测模型类似，可以采用基于RegionProposal的R-CNN算法的模型或SSD模型。区别在于在第二目标检测模型训练的时候，训练样本为N个标注了普尔钦斑真实框的人眼图像。
步骤S204，根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量。
本实施例中，根据瞳孔的坐标和普尔钦斑的坐标，计算瞳孔和普尔钦斑的二维偏移向量。例如瞳孔坐标为(g1，h1)，普尔钦斑坐标为(g2，h2)，则二者之间的二维偏移向量为(x1，y1)，x1＝g2-g1，y1＝h2-h1。
步骤S205，将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点。
本实施例中，将二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到观察者视线在广告展示屏上的注视点。预先训练的二维偏移向量-注视点映射模型可以基于多项式拟合模型，例如，设X的拟合多项式为：X＝a+a1*x1+a2*y1+a3*x1*y1+a4*x1^2+a5*y1^2；
Y的拟合多项式为：
Y＝b+b1*y1+b2*x1+b3*x1*y1+b4*y1^2+b5*x1^2；
通过多项式拟合模型得到观察者视线在广告展示屏上的注视点(X,Y)。
其中，a、a1...a5,a、b1...b5通过预先训练求解。
步骤S206，根据所述注视点展示广告。
本实施例中，根据注视点坐标查询预设的注视点-广告展示内容对应表，展示与注视点对应的广告内容。也可以截取广告展示屏上以注视点为中心的图像，将图像输入到预先训练的深度学习神经网络进行图像分类，根据分类标签查询预设的分类标签-广告展示内容对应表，展示与分类标签对应的广告内容。通过深度学习神经网络学习以注视点为中心的图像的图像特征，根据特征进行图像分类，然后通过分类标签展示对应的广告内容，可以学习观察者真正感兴趣的内容，有针对性的投放广告，提升广告投放的效率。
本申请通过获取广告展示屏前的观察者的人眼图像；将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；根据所述注视点展示广告。根据观察者的注视点有针对性的展示广告，使广告投放契合观察者的兴趣点，提升了广告投放的效果。
在本实施例的一些可选的实现方式中，在步骤S202之前，上述电子设备还可以执行以下步骤：
获取第一训练样本，所述第一训练样本为包含N个标注了瞳孔真实框的人眼图像；
将所述第一训练样本输入到预训练的第一目标检测模型中，获得所述第一目标检测模型响应所述第一训练样本输出的瞳孔预测框；
通过第一损失函数比对所述瞳孔预测框和所述瞳孔真实框是否一致；
调整所述第一目标检测模型各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的第一目标检测模型。
在本实施例中，对第一目标检测模型进行训练，首选获取第一训练样本，第一训练样本为预先标注了瞳孔真实框的人眼图像，对人眼图像的标注可以采用手动标注的方式，即标注瞳孔真实框的四个角的坐标，也可以通过开源数据标注工具进行标注。将标注好的人眼图像输入到预训练的第一目标检测模型中，第一目标检测模型输出瞳孔的预测框，利用交叉熵损失函数计算瞳孔预测框和瞳孔真实框之间的一致性，交叉熵损失函数为：
Figure BDA0003138764920000111
其中，y(i)表示当前样本Xi通过第一目标检测模型归类为正样本还是负样本，取值1表示正样本，取值0表示负样本，
Figure BDA0003138764920000112
表示输入Xi的条件下，第一目标检测模型输出的将Xi归类为正样本的概率。
在一些可选的实现方式中，在上述步骤S205之前，上述电子设备可以执行以下步骤：
获取第二训练样本，所述第二训练样本包含N个二维偏移向量样本，其中每个二维偏移向量样本标注有参考注视点坐标；
将所述第二训练样本输入到预训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述二维偏移向量-注视点映射模型输出的N个预测注视点坐标；
通过第二损失函数比较每个所述预测注视点坐标与对应的参考注视点坐标是否一致；
调整所述二维偏移向量-注视点映射模型各节点的参数，至所述第二损失函数达到最小值时结束，得到训练好的二维偏移向量-注视点映射模型。
在本实施方式中，对二维偏移向量-注视点映射模型进行训练，首先获取第二训练样本，第二训练样本包含N个二维偏移向量样本，其中每个二维偏移向量样本标注有参考注视点坐标，将第二训练样本输入到二维偏移向量-注视点映射模型，这里所述维偏移向量-注视点映射模型包含两个子模型，即f1和f2，f1和f2基于二次多项式拟合模型，其中f1用于将二维偏移量(xi，yi)映射为注视点的X’,f2用于将二维偏移量(xi，yi)映射为注视点的Y’，通过第二损失函数计算预测注视点坐标与参考注视点坐标是否一致，即偏移向量-注视点映射模型的训练目标为第二损失函数达到最小值，当第二损失函数达到最小值时，认为该模型输出的预测注视点坐标与参考注视点坐标一致，否则，调整二维偏移向量-注视点映射模型各节点的参数，至第二损失函数达到最小值时结束，得到训练好的二维偏移向量-注视点映射模型。第二损失函数为：
Figure BDA0003138764920000121
其中，xi,yi为二维偏移向量样本，Xi，Yi为参考标注点坐标，f1和f2为构成二维偏移向量-注视点映射模型的子模型。
在一些可选的实现方式中，在上述步骤S205之后，上述电子设备可以执行以下步骤：
获取所述观察者人眼到所述广告展示屏的距离；
将所述距离输入到预先训练的注视点矫正模型进行注视点矫正，得到所述注视点矫正模型输出的注视点矫正量；
根据所述注视点矫正量对所述注视点进行矫正，获得矫正后的注视点。
在本实施方式中，观察者人眼到广告展示屏的距离z会影响注视点，将人眼到广告展示屏的距离输入到预先训练的注视点矫正模型进行注视点矫正，注视点矫正模型也可以基于多项式拟合模型，矫正量包含水平矫正量r和垂直矫正量s，例如设水平矫正量r的拟合多项式为r＝c+c1z+c2z^2，垂直矫正量s的拟合多项式为s＝d+d1z+d2z^2，通过拟合多项式模型得到水平矫正量r和垂直矫正量s，根据水平矫正量r和垂直矫正量s对注视点进行矫正，即经过S5得到注视点为(X,Y)，矫正后的注视点为(X+s，Y+r)。
在一些可选的实现方式中，在上述步骤S206之前，上述电子设备可以执行以下步骤：
获取所述观察者的人脸图像；
将所述人脸图像输入到预先训练的广告对象分类模型中进行广告对象类别识别，获得所述观察者所属的广告对象类别；
根据所述注视点和所述广告对象类别展示广告。
在本实施方式中，先获取观察者的人脸图像，将人脸图像输入到预先训练的广告对象分类模型中，获得观察者所属的广告对象类别。根据注视点和广告对象类别查询预设的注视点-广告对象类别-广告展示内容对应表，展示与注视点和广告对象类别对应的广告内容。对于不同特征的人观察广告展示屏相同的位置时，感兴趣的方向可能不一致，通过获取观察者的人脸图像，对观察者进行广告对象类别的确定，然后根据广告对象类别和注视点展示广告，使广告投放区分不同的人群，提升了广告投放的效率。
在一些可选的实现方式中，在上述步骤S201之后，上述电子设备可以执行以下步骤：
将所述人眼图像进行灰度化处理，得到所述人眼图像的灰度图。
在本实施方式中，将人眼图像进行灰度化处理，得到人眼图像的灰度图。图像灰度化，灰度化，在RGB模型中，如果R＝G＝B时，则彩色表示一种灰度颜色，其中R＝G＝B的值叫灰度值。灰度图像与黑白图像不同，在计算机图像领域中黑白图像只有黑色与白色两种颜色；灰度图像在黑色与白色之间还有许多级的颜色深度。灰度图像每个像素只需一个字节存放灰度值，对图像进行灰度化，减小了图像所占存储空间的大小，且保留了像素之间的梯度特征，可以提升后续图像处理的计算速度。可以采用加权平均法对人眼图像进行灰度化，即每个像素点的灰度Gray＝0.114B+0.587G+0.299R。
然后，将灰度图输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；将灰度图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于注视点识别的广告展示装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的基于注视点识别的广告展示装置300包括：获取模块301、第一检测模块302、第二检测模块303、计算模块304、映射模块305以及展示模块306。其中：
获取模块301，用于获取广告展示屏前的观察者的人眼图像；
第一检测模块302，用于将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；
第二检测模块303，用于将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；
计算模块304，用于根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；
映射模块305，用于将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；
展示模块306，用于根据所述注视点展示广告。
在本实施例中，通过获取广告展示屏前的观察者的人眼图像；将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；根据所述注视点展示广告。根据观察者的注视点有针对性的展示广告，使广告投放契合观察者的兴趣点，提升了广告投放的效果。
在本实施例的一些可选的实现方式中，基于注视点识别的广告展示装置300，还包括：
第一获取子模块，用于获取第一训练样本，所述第一训练样本为包含N个标注了瞳孔真实框的人眼图像；
第一预测子模块，用于将所述第一训练样本输入到预训练的第一目标检测模型中，获得所述第一目标检测模型响应所述第一训练样本输出的瞳孔预测框；
第一比对子模块，用于通过第一损失函数比对所述瞳孔预测框和所述瞳孔真实框是否一致；
第一调整子模块，用于调整所述第一目标检测模型各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的第一目标检测模型。
在本实施例的一些可选的实现方式中，基于注视点识别的广告展示装置300，还包括：
第二获取子模块，用于获取第二训练样本，所述第二训练样本包含N个二维偏移向量样本，其中每个二维偏移向量样本标注有参考注视点坐标；
第二预测子模块，用于将所述第二训练样本输入到预训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述二维偏移向量-注视点映射模型输出的N个预测注视点坐标；
第二比对子模块，用于通过第二损失函数比较每个所述预测注视点坐标与对应的参考注视点坐标是否一致；
第二调整子模块，用于调整所述二维偏移向量-注视点映射模型各节点的参数，至所述第二损失函数达到最小值时结束，得到训练好的二维偏移向量-注视点映射模型。
在本实施例的一些可选的实现方式中，基于注视点识别的广告展示装置300，还包括：
第三获取子模块，用于获取所述观察者人眼到所述广告展示屏的距离；
第三预测子模块，用于将所述距离输入到预先训练的注视点矫正模型进行注视点矫正，得到所述注视点矫正模型输出的注视点矫正量；
第一矫正子模块，用于根据所述注视点矫正量对所述注视点进行矫正，获得矫正后的注视点。
在本实施例的一些可选的实现方式中，基于注视点识别的广告展示装置300，还包括：
第四获取子模块，用于获取所述观察者的人脸图像；
第一识别子模块，用于将所述人脸图像输入到预先训练的广告对象分类模型中进行广告对象类别识别，获得所述观察者所属的广告对象类别；
第一展示子模块，用于根据所述注视点和所述广告对象类别展示广告。
在本实施例的一些可选的实现方式中，基于注视点识别的广告展示装置300，还包括：
第一处理子模块，用于将所述人眼图像进行灰度化处理，得到所述人眼图像的灰度图。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于注视点识别的广告展示方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述基于注视点识别的广告展示方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请通过获取广告展示屏前的观察者的人眼图像；将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；根据所述注视点展示广告。根据观察者的注视点有针对性的展示广告，使广告投放契合观察者的兴趣点，提升了广告投放的效果。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于注视点识别的广告展示方法的步骤。
本申请通过获取广告展示屏前的观察者的人眼图像；将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；根据所述注视点展示广告。根据观察者的注视点有针对性的展示广告，使广告投放契合观察者的兴趣点，提升了广告投放的效果。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (10)

1.一种基于注视点识别的广告展示方法，其特征在于，包括下述步骤：
获取广告展示屏前的观察者的人眼图像；
将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；
将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；
根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；
将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；
根据所述注视点展示广告。
2.根据权利要求1所述的基于注视点识别的广告展示方法，其特征在于，在所述将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标的步骤之前，还包括：
获取第一训练样本，所述第一训练样本为包含N个标注了瞳孔真实框的人眼图像；
将所述第一训练样本输入到预训练的第一目标检测模型中，获得所述第一目标检测模型响应所述第一训练样本输出的瞳孔预测框；
通过第一损失函数比对所述瞳孔预测框和所述瞳孔真实框是否一致；
调整所述第一目标检测模型各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的第一目标检测模型。
3.根据权利要求1所述的基于注视点识别的广告展示方法，其特征在于，在所述将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点的步骤之前，还包括：
获取第二训练样本，所述第二训练样本包含N个二维偏移向量样本，其中每个二维偏移向量样本标注有参考注视点坐标；
将所述第二训练样本输入到预训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述二维偏移向量-注视点映射模型输出的N个预测注视点坐标；
通过第二损失函数比较每个所述预测注视点坐标与对应的参考注视点坐标是否一致；
调整所述二维偏移向量-注视点映射模型各节点的参数，至所述第二损失函数达到最小值时结束，得到训练好的二维偏移向量-注视点映射模型。
4.根据权利要求1所述的基于注视点识别的广告展示方法，其特征在于，在所述将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点的步骤之后，还包括：
获取所述观察者人眼到所述广告展示屏的距离；
将所述距离输入到预先训练的注视点矫正模型进行注视点矫正，得到所述注视点矫正模型输出的注视点矫正量；
根据所述注视点矫正量对所述注视点进行矫正，获得矫正后的注视点。
5.根据权利要求1所述的基于注视点识别的广告展示方法，其特征在于，在所述根据所述注视点展示广告的步骤之前，还包括：
获取所述观察者的人脸图像；
将所述人脸图像输入到预先训练的广告对象分类模型中进行广告对象类别识别，获得所述观察者所属的广告对象类别；
根据所述注视点和所述广告对象类别展示广告。
6.根据权利要求1所述的基于注视点识别的广告展示方法，其特征在于，在所述获取广告展示屏前的观察者的人眼图像的步骤之后，还包括：
将所述人眼图像进行灰度化处理，得到所述人眼图像的灰度图。
7.一种基于注视点识别的广告展示装置，其特征在于，包括：
获取模块，用于获取广告展示屏前的观察者的人眼图像；
第一检测模块，用于将所述人眼图像输入到预先训练的第一目标检测模型中进行瞳孔检测，获得所述人眼图像中瞳孔的坐标；
第二检测模块，用于将所述人眼图像输入到预先训练的第二目标检测模型中进行普尔钦斑检测，获得所述人眼图像中普尔钦斑的坐标；
计算模块，用于根据所述瞳孔的坐标和所述普尔钦斑的坐标，计算瞳孔和所述普尔钦斑的二维偏移向量；
映射模块，用于将所述二维偏移向量输入到预先训练的二维偏移向量-注视点映射模型进行注视点映射，得到所述观察者在所述广告展示屏上的注视点；
展示模块，用于根据所述注视点展示广告。
8.根据权利要求7所述的基于注视点识别的广告展示装置，其特征在于，还包括：
第一获取子模块，用于获取第一训练样本，所述第一训练样本为包含N个标注了瞳孔真实框的人眼图像；
第一预测子模块，用于将所述第一训练样本输入到预训练的第一目标检测模型中，获得所述第一目标检测模型响应所述第一训练样本输出的瞳孔预测框；
第一比对子模块，用于通过第一损失函数比对所述瞳孔预测框和所述瞳孔真实框是否一致；
第一调整子模块，用于调整所述第一目标检测模型各节点的参数，至所述第一损失函数达到最小值时结束，得到训练好的第一目标检测模型。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至6中任一项所述的基于注视点识别的广告展示方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至6中任一项所述的基于注视点识别的广告展示方法的步骤。
CN202110726228.9A 2021-06-29 2021-06-29 基于注视点识别的广告展示方法、装置、设备及存储介质 Pending CN113361459A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110726228.9A CN113361459A (zh) 2021-06-29 2021-06-29 基于注视点识别的广告展示方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110726228.9A CN113361459A (zh) 2021-06-29 2021-06-29 基于注视点识别的广告展示方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113361459A true CN113361459A (zh) 2021-09-07

Family

ID=77537011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110726228.9A Pending CN113361459A (zh) 2021-06-29 2021-06-29 基于注视点识别的广告展示方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113361459A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850627A (zh) * 2021-09-28 2021-12-28 北京声智科技有限公司 电梯广告展示方法、装置和电子设备
CN116524581A (zh) * 2023-07-05 2023-08-01 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN107506751A (zh) * 2017-09-13 2017-12-22 重庆爱威视科技有限公司 基于眼动控制的广告投放方法
CN110345815A (zh) * 2019-07-16 2019-10-18 吉林大学 一种基于视线追踪的履带车枪械瞄准方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366381A (zh) * 2013-08-06 2013-10-23 山东大学 基于空间位置的视线跟踪校正方法
CN107506705A (zh) * 2017-08-11 2017-12-22 西安工业大学 一种瞳孔‑普尔钦斑视线跟踪与注视提取方法
CN107506751A (zh) * 2017-09-13 2017-12-22 重庆爱威视科技有限公司 基于眼动控制的广告投放方法
CN110345815A (zh) * 2019-07-16 2019-10-18 吉林大学 一种基于视线追踪的履带车枪械瞄准方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850627A (zh) * 2021-09-28 2021-12-28 北京声智科技有限公司 电梯广告展示方法、装置和电子设备
CN116524581A (zh) * 2023-07-05 2023-08-01 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质
CN116524581B (zh) * 2023-07-05 2023-09-12 南昌虚拟现实研究院股份有限公司 一种人眼图像光斑分类方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
US11170210B2 (en) Gesture identification, control, and neural network training methods and apparatuses, and electronic devices
US10776970B2 (en) Method and apparatus for processing video image and computer readable medium
CN108038880B (zh) 用于处理图像的方法和装置
US20190087686A1 (en) Method and apparatus for detecting human face
CN111368788B (zh) 图像识别模型的训练方法、装置及电子设备
US10691928B2 (en) Method and apparatus for facial recognition
CN108510472B (zh) 用于处理图像的方法和装置
US11436863B2 (en) Method and apparatus for outputting data
CN113361459A (zh) 基于注视点识别的广告展示方法、装置、设备及存储介质
CN114821734A (zh) 一种驱动虚拟人物表情的方法和装置
CN112749695A (zh) 文本识别的方法和装置
EP4276754A1 (en) Image processing method and apparatus, device, storage medium, and computer program product
CN112686243A (zh) 智能识别图片文字的方法、装置、计算机设备及存储介质
CN108597034B (zh) 用于生成信息的方法和装置
CN113705362A (zh) 图像检测模型的训练方法、装置、电子设备及存储介质
CN112651399B (zh) 检测倾斜图像中同行文字的方法及其相关设备
CN112396060A (zh) 基于身份证分割模型的身份证识别方法及其相关设备
CN110059576A (zh) 图片的筛选方法、装置和电子设备
CN114663418A (zh) 图像处理的方法及装置、存储介质及电子设备
CN111967436B (zh) 图像处理方法及装置
CN114663980A (zh) 行为识别方法、深度学习模型的训练方法及装置
CN114399497A (zh) 文本图像质量检测方法、装置、计算机设备及存储介质
CN113378836A (zh) 图像识别方法、装置、设备、介质及程序产品
CN112434698A (zh) 字符识别方法、装置、电子设备及存储介质
CN111582143A (zh) 基于图像识别的学生课堂签到方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination