CN110476180A - 用于提供基于文本阅读的奖励型广告服务的方法及用于实行该方法的用户终端 - Google Patents
用于提供基于文本阅读的奖励型广告服务的方法及用于实行该方法的用户终端 Download PDFInfo
- Publication number
- CN110476180A CN110476180A CN201880023431.6A CN201880023431A CN110476180A CN 110476180 A CN110476180 A CN 110476180A CN 201880023431 A CN201880023431 A CN 201880023431A CN 110476180 A CN110476180 A CN 110476180A
- Authority
- CN
- China
- Prior art keywords
- user
- reward
- content
- unit
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000001815 facial effect Effects 0.000 claims abstract description 49
- 241000287181 Sturnus vulgaris Species 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 56
- 238000013136 deep learning model Methods 0.000 description 26
- 210000001747 pupil Anatomy 0.000 description 19
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 206010034703 Perseveration Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 208000014617 hemorrhoid Diseases 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0262—Targeted advertisements during computer stand-by mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0267—Wireless devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0273—Determination of fees for advertising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Hardware Design (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供用于提供基于文本阅读的奖励型广告服务的方法及用于实行该方法的用户终端。根据本发明一实施例的用户终端包括：内容提供单元，其根据使用着的输入在锁屏屏幕显示文本形态的广告内容；视线跟踪单元，其通过拍摄装置获取所述使用者的人脸图像及指示所述使用者的人脸朝向的方向的矢量，并从所述人脸图像及所述矢量跟踪所述用户的视线来判断是否用户阅读了所述文本形态的广告内容；以及奖励提供单元，其在所述用户判断为阅读了所述文本形态的广告内容时提供设定的奖励。
Description
技术领域
本发明涉及视线跟踪技术。
背景技术
视线跟踪(Eye Tracking)作为通过感知用户的眼球活动跟踪视线的位置的技术，可使用影像分析方式、接触透镜方式、附着传感器方式等方法。影响分析方式通过实时分析照相机图像并检测瞳孔的活动，并以角膜上反射的固定位置为基准计算视线的方向。接触透镜方式利用内置镜子的接触透镜的反射光，或者内痔线圈的接触透镜的磁场等，其便利性下降，但准确度高。附着传感器方式通过在眼睛周围附着传感器，利用基于眼睛活动带来的电场的变化，感知眼球的活动，当闭上眼睛时(睡眠等)也能检测出眼球活动。
最近，采用视线跟踪技术的设备及应用领域正在逐渐扩大，由此在如智能手机等中断上提供广告服务的过程中应用所述视线跟踪技术的尝试逐渐增加。但是，为了有效地提供广告服务，需要提高视线跟踪的准确度，有必要有效地组合基于广告收视的绑定(bidding)方式、奖励(reward)方式等。
现有技术文献
专利文献
韩国授权专利公报第10-1479471号(2015.01.13)
发明内容
发明要解决的问题
本发明的实施例提供利用视线跟踪技术来极大地提高广告内容的广告效果的手段。
用于解决问题的技术方案
根据本发明的示例性实施例，提供有一种用户终端，其包括：内容提供单元，其根据用户的输入在锁屏屏幕显示文本形态的广告内容；视线跟踪单元，其通过拍摄装置获取所述用户的人脸图像及指示所述用户的人脸朝向的方向的矢量，并从所述人脸图像及所述矢量跟踪所述用户的视线来判断用户是否阅读了所述文本形态的广告内容；以及奖励提供单元，其在所述用户判断为阅读了所述文本形态的广告内容时提供设定的奖励(reward)。
当判断所述用户阅读了所述文本形态的广告内容时，所述奖励提供单元可以解除所述锁屏屏幕。
所述内容提供单元可以通过显示所述文本形态的广告内容驱动所述拍摄装置。
当判断所述用户阅读了所述文本形态的广告内容时，所述奖励提供单元可以显示用于确定所述奖励的按键，且在所述用户在设定的时间注视所述按键时可以提供所述奖励。
当判断所述用户阅读了所述文本形态的广告内容时，所述奖励提供单元可以显示用于确定所述奖励的按键，且在所述用户触摸所述按键时可以提供所述奖励。
根据本发明的另一个示例性实施例，提供一种用于提供基于文本阅读的奖励型广告服务的方法，其包括：由内容提供单元随着用户的输入在锁屏屏幕显示文本形态的广告内容的步骤；由视线跟踪单元通过拍摄装置获取所述用户的人脸图像及指示所述用户的人脸朝向的方向的矢量的步骤；由所述视线跟踪单元从所述人脸图像及所述矢量跟踪所述用户的视线来判断是否所述用户阅读了所述文本形态的广告内容的步骤；以及在所述用户判断为阅读了所述文本形态的广告内容时，由奖励提供单元提供设定的奖励(reward)的步骤。
所述用于提供基于文本阅读的奖励型广告服务的方法还可以包括，在所述用户判断为阅读了所述文本形态的广告内容时，由所述奖励提供单元解除所述锁屏屏幕的步骤。
所述用于提供基于文本阅读的奖励型广告服务的方法还可以包括，由所述内容提供单元随着显示所述文本形态的广告内容驱动所述拍摄装置的步骤。
所述用于提供基于文本阅读的奖励型广告服务的方法还可以包括：在所述用户判断为阅读了所述文本形态的广告内容时，由所述奖励提供单元显示用于确定所述奖励的步骤；以及在所述用户在设定的时间注视所述按键时，由所述奖励单元提供所述奖励的步骤。
所述用于提供基于文本阅读的奖励型广告服务的方法还可以包括：在所述用户判断为阅读了所述文本形态的广告内容时，由所述奖励提供单元显示用于确定所述奖励的步骤；以及在所述用户触摸所述按键时由所述奖励提供单元提供所述奖励的步骤。
发明效果
根据本发明的实施例，通过在锁屏屏幕显示文本形态的广告内容并利用视线跟踪技术以当用户判断为阅读了所述文本形态的广告内容时解除锁屏屏幕并提供设定的奖励，可以诱导用户注视广告内容，由此极大地提高广告效果。并且，在这样的情况下，由于更明确地把握是否用户阅读了广告内容，可以容易核定根据广告内容的收费。
附图说明
图1是图示本发明一实施例涉及的广告系统的详细构成的方框图。
图2是图示本发明一实施例涉及的中断的详细构成的方框图。
图3是用于说明本发明一实施例涉及的视线跟踪单元中跟踪用户的视线的过程的图。
图4是本发明一实施例涉及的人脸矢量的示例。
图5是图示本发明一实施例涉及的通过深度学习模型跟踪用户的视线的过程的示例。
图6是用于说明本发明一实施例涉及的在学习数据收集单元中收集用于向深度学习模型输入的学习数据的过程的示例。
图7是用于说明本发明一实施例涉及的在学习数据收集单元中收集用于向深度学习模型输入的学习数据的过程的另一示例。
图8是用于说明在图7中当注视者触碰设定的点时改变所述点的视觉要素的过程的示例。
图9是图示本发明一实施例涉及的在学习数据收集单元中收集用于向深度学习模型输入的学习输入的过程的另一示例。
图10是用于说明本发明一实施例涉及的基于视线的绑定方式的示例。
图11是用于说明本发明一实施例涉及的视线跟踪方法的流程图。
图12为显示根据本发明的另一实施例的用户终端的详细构成的方框图。
图13为用于说明由根据本发明的一实施例的内容提供单元在锁屏屏幕显示文本形态的广告内容的过程的示例。
图14为用于说明由根据本发明的一实施例的奖励提供单元显示用于确定奖励的按键的过程的示例。
图15为用于说明根据本发明一实施例的基于文本阅读的奖励型广告服务提供方法的流程图。
图16为用于举例说明包括在示例性实施例中适用的计算装置的计算环境的方框图。
具体实施方式
以下，参照附图对本发明的具体实施形态进行说明。以下详细说明是为了有助于全面地理解本说明书中记载的方法、装置和/或系统而提供的。但是这仅限于举例说明并非用于限定本发明。
在说明本发明的实施例的过程中，如果认为对本发明有关的公知技术的具体说明会不必要地混淆本发明的主旨，则省略其详细说明。此外，后述的术语是考虑到本发明的功能并定义的属于，其根据用户、运营者的意图或者惯例等可以不同。因此其定义应基于本说明书通篇中的内容而决定。详细说明中使用的术语只是用于记述本发明的实施例，而并非用于限定本发明。如无明确不同的使用，单数表述包括复数形态的含义。本说明书中，如“包括”或“具有”等表述应理解为，是用于指出某一特征、数值、步骤、动作、组成要素、其一部分或者其组合，而非用于指出事先排除记述以外的一个或其以上的其他特征、数值、步骤、动作、组成要素、其一部分或者其组合的存在或者其附加功能。
图1是图示本发明一实施例涉及的广告系统100的详细构成的方框图。如图1所示，本发明一实施例涉及的广告系统1000包括用户终端102、服务器104、广告主终端106及内容开发员终端108。
用户终端102作为由用户所拥有且用于接收提供的各种广告服务的设备，例如可以是如智能手机、平板电脑、笔记本电脑等的移动设备。只是，用户终端102的种类不限于此，具有用于显示广告内容的屏幕及用户用于拍摄的拍摄装置的各种通信设备可属于本发明的实施例涉及的用户终端102。
用户终端102可具有屏幕，通过所述屏幕可显示广告内容。此外，用户终端102可具有如照相机、摄像机等的拍摄装置，基于通过所述拍摄装置拍摄的用户的人脸图像可跟踪所述用户的事先。由此，用户终端102基于检测出的用户的视线和所述屏幕内广告内容的位置，可判断所述用户是否注视广告内容。此时，用户终端102接收服务器104提供的设定的移动应用程序，通过所述应用程序可与用户终端102内所述屏幕、拍摄装置等联动并执行提供上述广告内容、视线跟踪功能等。
此外，用户终端102利用设定的基于规则(rule-based)运算法则及深度学习(deeplearning)模型可跟踪用户的视线。在此，基于规则的运算法则作为一种利用预设的影像处理技术、图像处理技术、数学公式等获取用于视线跟踪的各种数据并使用的运算法则，例如可以是人脸认识运算法则(例如，主成分分析(PCA：Principal Component Analysis)、线性判别分析(LDA：Linear Discriminant Analysis)等)、检测人脸特点的运算法则(例如，SVM(Support Vector Machine，支撑矢量机)、SURF(Speeded Up Robust Features，加速强健特征)、基于图像的头-跟踪(head-tracking)运算法则、提取瞳孔及计算瞳孔位置坐标的运算法则等。此外，深度学习模型可以例如是卷积神经网络(CNN：Convolutional NeuralNetwork)。
服务器104在用户终端102与广告主终端106之间中转用于提供广告服务的各种数据。如图1所示，服务器104通过网络(无图示)可分别连接于用户终端102、广告主终端106及内容开发员终端108。服务器104根据用户终端102的请求向用户终端102提供用于提供广告服务的移动应用程序。用户终端102通过所述移动应用程序与服务器104接触，将服务器104的提供的各种广告服务向用户提供。此外，服务器104通过与广告主终端106联动，从内容开发员终端108接收广告内容，并将其向用户终端102提供。然后，服务器104可从用户终端102收集用于测量广告内容的广告效果的各种数据(例如，根据不同广告内容的显示时间/次数，根据不同广告内容的注视的时间/次数等)，并将其提供给广告主终端106。
广告主终端106作为广告主所拥有的终端，可通过网络与服务器104连接。广告主在内容开发员终端108提供的多个广告内容中选择的至少一个，广告主终端106可以将与所选择的广告内容有关的信息向服务器104提供。此外，广告主终端106可接收服务器104提供的与广告内容的广告效果有关的各种数据。
内容开发员终端108作为开发广告内容的开发员所拥有的终端，通过网络可与服务器104连接。内容开发员终端108可将内容开发员制作/编辑的广告内容通过服务器104向广告住终端106提供。服务器104从广告主终端106接收广告主选择的与广告内容有关的信息，并且可将对应于所述信息的广告内容向用户终端102提供。
图2是图示本发明一实施例涉及的用户终端102的详细构成的方框图。如图2所示，本发明一实施例涉及的终端102包括内容提供单元202、拍摄装置204、视线跟踪单元206及学习数据收集单元208。
内容提供单元202用于在用户终端102的屏幕上显示广告内容。作为一例，内容提供单元202可在锁屏屏幕上显示广告内容。所述锁屏屏幕可以是指用户终端102在转换为锁屏状态的情况下，当用户按压在用户中端102内特定按钮(例如，主屏幕按钮)时被显示的屏幕。内容提供单元202可在所述锁屏屏幕上显示文本、图像或者食品形态的广告内容。作为另一例，内容提供单元202当接收用户输入的用于执行设定的应用程序、菜单等的命令时，可根据所述执行命令在屏幕上显示广告内容。只是，显示广告内容的屏幕的例子不限于此，所述广告内容可在预设的各种形态的屏幕上显示。
拍摄装置204作为用于拍摄注视用户终端102屏幕的用户的装置，例如可以是照相机、拍像机等。拍摄装置204例如可位于用户终端102的前面。用户终端102通过拍摄装置204获取用户的人脸图像，通过所述人脸图像可跟踪用户的视线。
视线跟踪单元206用于跟踪用户的视线。视线跟踪单元206利用基于设定的规则的运算法则及深度学习模型可跟踪用户的视线。本实施例中，深度学习作为利用人类的神经网络(Neural Network)理论的人工神经网络(ANN，Artificial Neural Network)的一种，是指由层型结构(Layer structure)构成，在输入层(Input layer)与输出层(Outputlayer)之间具有一个以上的隐藏层(Hidden layer)的深层神经网络(DNN：Deep NeuralNetwork)的机械学习(Machine Learning)模型或者运算法则的集合。此时，视线跟踪单元206可与拍摄装置204联动并跟踪用户的视线。
作为一例，当拍摄装置204感知到用户的人脸时，视线跟踪单元206利用所述的基于规则的运算法则及深度学习模型可跟踪用户的视线。作为另一例，当拍摄装置204未感知到用户的人脸时，视线跟踪单元206以水面模式工作，并停止各种用于跟踪所述视线的动作。
如果，在拍摄装置204感知到用户的人脸时，视线跟踪单元206获取通过拍摄装置204拍摄的用户的人脸图像，基于设定的规则从所述人脸图像中可获取指示用户的人脸面向的方向的矢量及用户的瞳孔图像。然后，视线跟踪单元206通过向深度学习模型210输入所述人脸图像、所述矢量及所述瞳孔图像可跟踪所述用户的视线。在此，假设所述深度学习模型210预先学习由学习数据收集单元208收集的充分量的学习数据。此外，视线跟踪单元206基于所述规则从所述人脸图像中获取所述用户的瞳孔位置坐标、人脸位置坐标、瞳孔的方向矢量等，并且可将其输入所述深度学习模型210。如上所述，视线跟踪单元206通过将用户的人脸及瞳孔的图像及基于规则获取的用于视线跟踪的各种定量的数据输入深度学习模型210，从而可提高视线跟踪的准确度。
此外，视线跟踪单元206基于检测出的用户的视线和屏幕内所述广告内容的位置，可判断所述用户是否注视所述广告内容。如后所述，内容提供单元202通过考虑所述屏幕内所述广告内容的位置及所述用户注视所述广告内容的时间，可改变所述屏幕内所述广告内容的位置。
图3是用于说明本发明一实施例涉及的视线跟踪单元206中跟踪用户的视线的过程的图，图4是本发明一实施例涉及的人脸矢量的示例。此外，图5是图示本发明一实施例涉及的通过深度学习模型210跟踪用户的视线的过程的示例。
参照图3，视线跟踪单元206在通过拍摄装置204获取的用户的人脸图像上采用基于规则的运算法则，可获取指示所述用户的人脸朝向的方向的矢量、瞳孔图像及瞳孔位置坐标等。通常，由于当用户注视特定的点时，将人脸面向该点，因此所述人脸面向的方向与用户的视线方向一致的几率很高。由此，本发明的实施例中，视线跟踪单元206通过将用户的人脸图像、瞳孔图像以及体现用户的人脸面向的方向的矢量作为深度学习模型210的输入数据而使用，从而可提高视线跟踪的准确度。视线跟踪单元206例如通过预定的特点提取运算法则提取人脸图像的特征矢量，由所述特征矢量可获取指示所述用户的人脸朝向的方向的矢量即人脸矢量(face-vector)。通过这种方法获取的人脸矢量的示例如图4所示。此外，视线跟踪单元206通过图像处理技术从所述人脸图像中剪除眼睛区域，并可获取所述眼睛区域，并可获取所述眼睛区域的图像(即，瞳孔图像)和虹膜或者瞳孔的位置坐标。此外，视线跟踪单元206在整个屏幕上检测出用户的人脸区域，并可获取所述人脸区域的位置坐标。视线跟踪单元206可将如此获取的矢量、瞳孔图像/位置坐标、人脸图像/位置坐标等输入深度学习模型210。这些输入数据可以在深度学习模型210中使用为用于跟踪用户视线的要素。
参照图5，深度学习模型210可具有由分层结构构成的多个层，所述层中可输入所述输入数据。深度学习模型210基于预先学习的学习数据和新输入的输入数据可跟踪用户的视线。
另外，为了使视线跟踪单元206利用深度学习模型210更准确地跟踪用户的视线，需要提高深度学习模型210的学习用数据，即用于视线跟踪的学习数据的可靠性。
为此，再次参照图2，学习数据收集单元208基于注视动作可收集深度学习模型210学习用的多量的学习数据。具体地，学习数据收集单元208接收来自注视用户终端102的屏幕内设定的点的注视者输入的设定的动作时，可收集学习数据，所述的学习数据包括在接收所述动作的输入的时间点上通过拍摄装置204拍摄的所述注视者的人脸图像及所述设定的点的位置信息。学习数据收集单元208可以从所述注视者的人脸图像提取指示所述注视者的人脸朝向的方向的矢量、注视者的瞳孔图像/位置坐标/矢量、人脸位置坐标等并与所述设定点的位置信息一起使深度学习模型210学习。在此，所述设定点的位置信息可以使用为表示注视者现在注视相应点的信息(即注视者的视线信息)。学习数据收集单元208按照每个设定的周期收集所述学习数据并使深度学习模型210学习所述学习数据，且可以通过反复上述的过程来继续更新深度学习模型210。所述动作例如可以是注视者触碰屏幕、注视者发出声音等，所述学习数据收集单元的实施例如下。
<实施例>
注视者为了接触锁屏屏幕而出碰并输入图案时，在注视者触碰输入的最初时间点上拍摄装置204驱动并拍摄注视者的人脸→将拍摄的注视者的人脸图像(或者所述人脸图像/位置坐标、指示所述注视者的人脸朝向的方向的矢量、注视者的瞳孔图像/位置坐标等)及最初触碰所述图案的点的位置信息作为学习数据进行收集。
当注视者触碰(或者点击)屏幕内设定的应用程序坐标或者菜单按键时，在注视者触碰输入的时间点上拍摄装置204驱动并拍摄注视者的人脸→将拍摄的注视者的人脸图像(或者所述人脸图像/位置坐标、体现所述注视者的人脸面向的方向的矢量、注视者的瞳孔图像/位置坐标等)及最初触碰所述图案的点的位置信息作为学习数据进行收集。
在屏幕上显示一个点并引导注视者触碰该点的情况下，当注视者触碰所述点时，在注视者触碰输入的时间点上拍摄装置204驱动并拍摄注视者的人脸→将拍摄的注视者的人脸图像(或者所述人脸图像/位置坐标、指示所述注视者的人脸面向的方向的矢量、注视者的瞳孔图像/位置坐标等)及最初触碰所述图案的点的位置信息作为学习数据进行收集。
如上所述收集的学习数据可输入深度学习模型210并供其学习。具体地，视线跟踪单元206使深度学习模型210学习所述学习数据，通过利用学习所述学习数据的深度学习模型210可跟踪所述用户的视线。以下参照图6至图9进一步具体说明学习数据收集单元208收集学习数据的方法。
图6是用于说明本发明一实施例涉及的在学习数据收集单元208中收集用于向深度学习模型210输入的学习数据的过程的示例。
参照图6，学习数据收集单元208可在锁屏屏幕上显示用于输入图案的9个点。由此，注视者为了接触锁屏屏幕可触碰输入预定义的Z字型图案。此时，注视者能够以起始点S→结束点E方向触碰并输入S字形图案。学习数据收集单元208可收集学习数据，所述学习数据包括在注视者触碰输入的最初时间点即注视者触碰起始点S的时间点上通过拍摄装置204拍摄的注视者的人脸图像及所述起始点S的位置信息。
图7是用于说明本发明一实施例涉及的在学习数据收集单元208中收集用于向深度学习模型210输入的学习数据的过程的另一示例，图8是用于说明在图7中当注视者触碰设定的点时改变所述点的视觉要素的过程的示例。
参照图7，学习数据收集单元208可在屏幕上显示按键A(后退按键)、按键B(前进按键)、按键C(开始按键)及按键D(结束按键)等。如果，当注视者触碰按键A时，学习数据收集单元208可收集学习数据，所述学习数据包括在注视者触碰输入的最初时间点即注视者触碰按键A的时间点上通过拍摄装置204拍摄的注视者的人脸图像及所述按键A的位置信息。
此外，学习数据收集单元208可在所述注视者触碰所述点之后改变所述点的视觉要素(visual elements)以使所述注视者的实现在所述触碰之后仍停留在所述触碰的点。在此，视觉要素作为当用眼睛识别屏幕上输出的对象时所需要的要素，例如可包括屏幕上输出的对象，包括所述对象的区域或者所述对象的外框线的尺寸、形状、颜色、亮度、质感等。
参照图8，所述注视者触碰按键A时，学习数据收集单元208可将按键A的颜色显示为更深的颜色，由此可引导所述注视者的视线在所述触碰之后仍停留在按键A上。
另外，学习数据收集单元208可通过在所述注视者触碰设定的点的时间点上驱动拍摄装置204并收集所述学习数据。即，拍摄装置204平时保持关闭状态，在所述注视者触碰设定的点的时间点上可由学习数据收集单元208驱动拍摄装置204并拍摄用户，由此可防止因拍摄装置204的持续工作而导致用户终端102电池消耗增加。此外，学习数据收集单元208可将所述注视者触碰所述点的时间点上拍摄的所述注视者的人脸图像及所述点的位置信息(即，在触碰所述点的时间上收集的学习数据)向服务器104传送，由此服务器104可对其进行收集和分析。服务器104从用户终端102收集所述学习数据并储存在数据库(未图示)中，并且可执行用户终端102执行的分析过程(例如提供人脸矢量、瞳孔图像/位置坐标、人脸图像/信息坐标)等。
此外，学习数据收集单元208在拍摄装置204工作的状态下，当注视者触碰设定的点时，在发生所述触碰的时间点及在基于发生所述触碰的时间点相距设定的时间之前和之后的时间点(例如，基于发生触碰的时间点1秒之前的时间点，基于发生触碰的时间点1秒之后的时间点)上可分别收集所述学习数据。通常，由于注视者欲触碰特定点时，在触碰之前和触碰之后会注视该点，因此不仅在实际发生触碰的时间点而且在触碰之前和之后的时间点上收集的数据信息同样也被判断为具有很高的可靠性。即，根据本发明的实施例，通过在拍摄装置204处于工作状态下当注视者触碰设定的点时在发生所述触碰的时间点及在基于发生所述触碰的时间点之前和之后相距设定的时间间隔的时间点上分别收集学习数据，从而能够容易地收集具有高可靠性的多量的学习数据。
图9是图示本发明一实施例涉及的在学习数据收集单元208中收集用于向深度学习模型210输入的学习数据的过程的另一示例。
参照图9，学习数据收集单元208在特定点显示设定的短句，当所述注视者发出声音以相应所述短句时，学习数据收集单元208可收集学习数据，所述学习数据包括在开始所述发声的时间点上通过拍摄装置204拍摄的注视者的人脸图像及所述点的位置信息。作为一例，学习数据收集单元208在屏幕的上端和中央部分上分别显示短句“请说出以下单词”及“苹果”，由此，所述注视者为了读出“苹果”而发出声音时，学习数据收集单元208可收集学习数据，所述学习数据包括在开始所述发声的时间点上通过拍摄装置204拍摄的注视者的人脸图像及显示所述“苹果”短句的点的位置信息。
如上所述，根据本发明的实施例，当接收由注视屏幕内设定的点的注视者收入的如触碰、声音等动作时，将在接收所述动作输入的时间点上拍摄的注视者的人脸图像及所述点的位置信息作为用于视线跟踪的深度学习模型210的学习数据而使用，从而能够更加提高视线跟踪的准确度及可靠性。
图10是用于说明本发明一实施例涉及的基于视线的绑定方式的示例。视线跟踪单元206通过比较检测出的用户的视线与屏幕内所述广告内容的位置，判断所述用户是否注视所述广告内容，由此，可判断在某一位置上用户是否较多地注视广告内容。视线跟踪单元206根据不同区域计算用户注视广告内容的时间及次数，并且可将其向服务器104提供。由此，服务器104通过与广告主终端106联动，根据放置广告内容的区域的不同，可对该广告内容进行不同的招标(bidding)。
参照图10，服务器104分别对用户注视较多的区域的广告内容出价为1美元，对用户注视较少的区域的广告内容出价为0.6美元，并向广告主终端106收费。
此外，内容提供单元202通过考虑所述屏幕内所述广告内容的位置及所述用户注视所述广告内容的时间，可改变所述屏幕内所述广告内容的位置。例如，内容提供单元202在显示广告内容的多个区域中找出注视设定的次数或者时间以上的注视区域，并且可将目前显示的广告内容的位置变更至注视超过所述设定的次数或者时间以上的注视区域。由此，可引导用户更加多地注视所述广告内容。
图11是用于说明本发明一实施例涉及的视线跟踪方法的流程图。图示的流程图中，所述方法虽分多个步骤记载，但是可以改变至少一部分的步骤的顺序并执行，或者结合其他部分并一同执行，或者省略，或者分为详细步执行，或者增加一个或更多未图示的步骤并执行。
在S102步骤中，内容提供单元202在屏幕上显示广告内容。
在S104步骤中，视线跟踪单元206通过拍摄装置204获取用户的人脸图像。
在S106步骤中，视线跟踪单元206利用基于设定的规则的运算法则以深度学习模型跟踪用户的视线。前面已对视线跟踪单元206利用基于规则的运算法则以深度学习模型并跟踪用户的视线的方法进行了详细说明，因此在此省略其详细说明。
在S108步骤中，视线跟踪单元206基于检测出的用户的视线于所述屏幕内广告内容的位置，并判断所述用户是否注视所述广告内容。
在S110步骤中，当判断所述用户注视所述广告内容时，视线跟踪单元206掌握屏幕内广告内容的位置、注视者注视所述广告内容的时间/次数等。
图12是表示根据本发明另一实施例的用户终端102的详细构成的方框图。与参照图2说明的本发明的一实施例的组成要素对应的组成要素执行相同或类似于如上所述的功能，因此，更具体的相关说明将省略。
参照图12，用户终端102包括内容提供单元202、拍摄装置204、视线跟踪单元206、学习数据收集单元208以及奖励提供单元212。其中，对内容提供单元202、拍摄装置204、视线跟踪单元206，以及学习数据收集单元208在上文已经详细说明，因此，在图12中仅说明在下文中说明的实施例的相关部分。
内容提供单元202随着用户的输入在锁屏屏幕显示文本形态的广告内容。例如，当用户按压处在锁屏模式的用户终端102的特定按键或触摸用户终端102的屏幕时，内容提供单元202可以在锁屏屏幕显示文本形态的广告内容。此时，内容提供单元202通过显示所述文本形态的广告内容来驱动所述驱动装置204。换言之，拍摄装置204在平时维持关闭状态，在内容提供单元202在屏幕显示文本形态的广告内容时可以由内容提供单元202动作来摄影用户，由此可以防止因拍摄装置204持续动作而过渡消耗用户终端102的电池。
视线跟踪单元206通过拍摄装置204获得用户的人脸图像，从所述人脸图像跟踪所述用户的视线来判断是否所述用户阅读了所述广告形态的广告内容。如上所述，视线跟踪单元206可以利用基于规则的运算法则与深度学习模型210来跟踪用户的视线，且可以从检测出的视线判断是否所述用户阅读了所述文本形态的广告内容。
当判断所述用户阅读了所述文本形态的广告内容时，奖励提供单元212提供设定的奖励(reward)。在此，奖励例如可以是网络分数、现金积累、发给设定的优惠卷、产品发送，但所述奖励的示例不限于此。
并且，当判断用户阅读了所述文本形态的广告内容时，奖励提供单元212可以显示用于确定所述奖励的按键，当所述用户在设定的时间注视所述按键时，奖励提供单元212可以提供所述奖励。当判断用户阅读了所述文本形态的广告内容时，奖励提供单元212可以显示用于确定所述奖励的按键，当所述用户触摸所述按键时，奖励提供单元212可以提供所述奖励。
当判断用户阅读了所述文本形态的广告内容时，奖励提供单元212可以解除所述锁屏屏幕以使用户正常地使用用户终端102。此时，当用户在设定的时间注视或触摸用于确定奖励的案件时，奖励提供单元212可以解除所述锁屏屏幕。
图13为用于说明由根据本发明一实施例的内容提供单元202在锁屏屏幕显示文本形态的广告内容的过程的示例。
参照图13，内容提供单元202可以在锁屏屏幕显示包括文本的广告内容。在图13的示例中，内容提供单元202可以将包括“XX运动鞋”、“折价：90,000”、“*在10天打9价”等文本的广告内容显示在锁屏屏幕上。
用户沿着在图13显示的箭头方向依序阅读文本，视线跟踪单元206可以实时分析由拍摄装置204摄影的用户的人脸图像来判断是否所述用户将所有文本全部阅读了。
当判断所述用户阅读了所述文本形态的广告内容时，奖励提供单元212可以解除所述锁屏屏幕。
并且，当判断所述用户阅读了所述文本形态的广告内容时，奖励提供单元212可以显示用于确定所述奖励的按键。
图14为用于说明由根据本发明的一实施例的奖励提供单元212显示用于确定奖励的按键的过程的示例。如上所述，当判断所述用户阅读了所述文本形态的广告内容时，奖励提供单元212可以显示用于确定所述奖励的按键R。
作为一例，当所述用户在设定的时间注视所述按键R时，奖励提供单元212可以提供所述奖励。作为另一个例子，当所述用户触摸所述按键R时，奖励提供单元212可以提供所述奖励。如上所述，当判断所述用户阅读了所述文本形态的广告内容时，奖励提供单元212可以显示用于确定奖励的按键R并诱导用户注视或触摸所述按键以额外地确保用于跟踪视线的学习数据。在用户注视或触摸所述按键R时，拍摄装置204可以摄影用户的人脸图像，学习数据收集单元208可以收集学习数据，所述学习数据包括在此时间点摄影的用户的人脸图像及所述按键的位置信息。
图15为用于说明根据本发明的一实施例的基于文本阅读的奖励型广告服务提供方法的流程图。图示的流程图中，所述方法虽分多个步骤记载，但是可以改变至少一部分的步骤的顺序并执行，或者结合其他部分并一同执行，或者省略，或者分为详细步执行，或者增加一个或更多未图示的步骤并执行。
在S202步骤，内容提供单元202随着用户的输入在锁屏屏幕上显示文本形态的广告内容。
在S204步骤，视线跟踪单元206通过拍摄装置204获取用户的人脸图像。
在S206步骤，视线跟踪单元利用设定的基于规则的运算法则及深度学习模型来跟踪用户的视线。
在S208步骤，视线跟踪单元206判断是否所述用户阅读了所述文本形态的广告内容。
在S210步骤，当判断所述用户阅读了所述文本形态的广告内容时，奖励提供单元212提供设定的奖励。
如上所述，根据本发明的实施例，通过在锁屏屏幕显示文本形态的广告内容并利用视线跟踪技术以当判断用户阅读了所述文本形态的广告内容时解除锁屏屏幕并提供设定的奖励，可以诱导用户注视广告内容，由此极大地提高广告效果。并且，在这样的情况下，由于更明确地把握是否用户阅读了广告内容，可以容易核定根据广告内容的收费。
图16是用于举例说明包括在列举的实施例中适用的计算装置的计算环境10的方框图。图示的实施例中，各组建可具有以下记述以外的不同的功能和能力，除了以下记述以外，还可包括其他的组件。
图示的计算环境10包括计算装置12。一实施例中，计算装置12可以是在广告系统100或者用户终端102中包括的一个以上的组件。
计算装置12包括至少一个处理器14、电脑可读存储媒体16和通信总线18。处理器14使计算装置12根据前面所述的例示的实施例而工作。例如，处理器14可执行电脑可读存储媒体16中储存的一个以上程序。所述一个以上程序可包括一个以上电脑可执行命令，所述电脑可执行命令基于处理器14执行时能够以使计算装置12执行例示的实施例涉及的动作的形式构成。
电脑可读存储媒体16的结构能够储存电脑可执行命令及程序代码、程序数据和/或其他合适形态的信息。电脑可读存储媒体16中储存的程序20包括基于处理器14可执行的命令的集合。一实施例中，电脑可读存储媒体16可以是存储器(如随机存取存储器的易失性存储器、非易失性存储器，或者其适当的组合)、一个以上磁盘储存设备、光盘储存设备、闪存设备、此外可基于计算装置12存取且能够储存所需的信息的其他形式的储存媒体，或者适当的组合。
通信总线18相互连接包括处理器14、电脑可读存储媒体16在内的计算装置12的其他各种组件。
计算装置12还可包括用于向一个以上输出入装置24提供接口的一个以上输出入接口22及一个以上网络通信接口26。输出入接口22可包括上述的滚动屏幕102、输入接口104、输入屏幕105等。输出入接口22及网络通信接口26与通信总线18连接。输出入装置24通过输出入接口22可与计算装置12的其他组件连接。例示的输出入装置24可包括如定点装置(鼠标或者触控板等)、键盘、手触式输入装置(触摸板或者触摸屏等)、声音或者声响输入装置、各种类型的传感器装置和/或如拍摄装置的输入装置，和/或如显示装置、打印机、扬声器和/或网卡的输出装置。例示的输出入装置24作为构成计算装置12的一组件，可包含在计算装置12的内部，也可以作为与计算装置12分开的独立装置，与计算装置12连接。
以上通过代表性的实施例对本发明进行了详细的说明，但是对于本发明所属的技术领域具有通常知识的技术人员而言能够理解，在不超出本发明范畴的范围内可对前面所述的实施例进行各种变形。因此，本发明的权力范围不应受限于说明的实施例，而是应基于后述的权利要求书及与该权利要求书等同的内容而决定。
Claims (10)
1.一种用户终端，其中，包括：
内容提供单元，其根据用户的输入在锁屏屏幕显示文本形态的广告内容；
视线跟踪单元，其通过拍摄装置获取所述用户的人脸图像及指示所述用户的人脸朝向的方向的矢量，并从所述人脸图像及所述矢量跟踪所述用户的视线来判断用户是否阅读了所述文本形态的广告内容；以及
奖励提供单元，其在所述用户判断为阅读了所述文本形态的广告内容时提供设定的奖励。
2.如权利要求1所述的用户终端，其中，
在所述用户判断为阅读了所述文本形态的广告内容时，所述奖励提供单元解除所述锁屏屏幕。
3.如权利要求1所述的用户终端，其中，
所述内容提供单元随着显示所述文本形态的广告内容驱动所述拍摄装置。
4.如权利要求1所述的用户终端，其中，
所述奖励提供单元在所述用户判断为阅读了所述文本形态的广告内容时显示用于确定所述奖励的按键，且在所述用户在设定时间凝视所述按键时提供所述奖励。
5.如权利要求1所述的用户终端，其中，
所述奖励提供单元在所述用户判断为阅读了所述文本形态的广告内容时显示用于确定所述奖励的按键，并在所述用户触摸所述按键时提供所述奖励。
6.一种用于提供基于文本阅读的奖励型广告服务的方法，其包括：
由内容提供单元随着用户的输入在锁屏屏幕显示文本形态的广告内容的步骤；
由视线跟踪单元通过拍摄装置获取所述用户的人脸图像及指示所述用户的人脸朝向的方向的矢量的步骤；
由所述视线跟踪单元从所述人脸图像及所述矢量跟踪所述用户的视线来判断所述用户是否阅读了所述文本形态的广告内容的步骤；以及
在所述用户判断为阅读了所述文本形态的广告内容时，由奖励提供单元提供设定的奖励的步骤。
7.如权利要求6所述的用于提供基于文本阅读的奖励型广告服务的方法，其中，
还包括在判断为所述用户阅读了所述文本形态的广告内容时，由所述奖励提供单元解除所述锁屏屏幕的步骤。
8.如权利要求6所述的用于提供基于文本阅读的奖励型广告服务的方法，其中，
还包括由所述内容提供单元随着显示所述文本形态的广告内容驱动所述拍摄装置。
9.如权利要求6所述的用于提供基于文本阅读的奖励型广告服务的方法，其中，
还包括：在判断为所述用户阅读了所述文本形态的广告内容时，由奖励提供单元显示用于确定所述奖励的步骤；以及
在所述用户在设定的时间注视所述按键时，由所述奖励单元提供所述奖励的步骤。
10.如权利要求6所述的用于提供基于文本阅读的奖励型广告服务的方法，其中，
还包括：
在判断为所述用户阅读了所述文本形态的广告内容时，由奖励提供单元显示用于确定所述奖励的步骤；以及
由所述奖励提供单元，在所述用户触摸所述按键时提供所述奖励的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2017-0167362 | 2017-12-07 | ||
| KR1020170167362A KR20190067433A (ko) | 2017-12-07 | 2017-12-07 | 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말 |
| PCT/KR2018/011062 WO2019112154A1 (ko) | 2017-12-07 | 2018-09-19 | 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110476180A true CN110476180A (zh) | 2019-11-19 |
Family
ID=66750514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880023431.6A Pending CN110476180A (zh) | 2017-12-07 | 2018-09-19 | 用于提供基于文本阅读的奖励型广告服务的方法及用于实行该方法的用户终端 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11625754B2 (zh) |
| KR (1) | KR20190067433A (zh) |
| CN (1) | CN110476180A (zh) |
| WO (1) | WO2019112154A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139828A (zh) * | 2020-01-17 | 2021-07-20 | 艾斯克哈伯株式会社 | 广告服务提供系统及方法 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102209379B1 (ko) * | 2019-08-20 | 2021-01-29 | 넷마블 주식회사 | 복수의 디스플레이를 이용하여 광고를 제공하는 방법 및 그에 따른 보상 지급 방법 |
| CN110764855B (zh) * | 2019-09-27 | 2024-03-12 | 上海掌门科技有限公司 | 一种信息处理的方法及电子设备、存储介质 |
| WO2021214760A1 (en) * | 2020-04-23 | 2021-10-28 | Yehoshua Yizhaq | Compensating communication systems and methods for using thereof |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1416550A (zh) * | 2000-03-06 | 2003-05-07 | Gmk娱乐有限公司 | 利用网络提供广告和专业技能奖励的系统和方法 |
| US20050108092A1 (en) * | 2000-08-29 | 2005-05-19 | International Business Machines Corporation | A Method of Rewarding the Viewing of Advertisements Based on Eye-Gaze Patterns |
| CN104837049A (zh) * | 2014-02-06 | 2015-08-12 | 三星电子株式会社 | 用户终端设备、显示设备及其控制方法 |
| CN105453118A (zh) * | 2013-04-30 | 2016-03-30 | 博斯比股份有限公司 | 采用应用内广告模块的广告系统和方法 |
| WO2017065083A1 (ja) * | 2015-10-13 | 2017-04-20 | 慎治 長坂 | 情報提供システム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010061218A (ja) | 2008-09-01 | 2010-03-18 | Fujifilm Corp | ウェブ広告効果測定装置、ウェブ広告効果測定方法及びプログラム |
| US9886567B2 (en) * | 2011-06-24 | 2018-02-06 | Facebook, Inc. | Display dynamic contents on locked screens |
| KR101479471B1 (ko) | 2012-09-24 | 2015-01-13 | 네이버 주식회사 | 사용자의 시선에 기초하여 광고를 제공하는 방법 및 시스템 |
| US20140207559A1 (en) * | 2013-01-24 | 2014-07-24 | Millennial Media, Inc. | System and method for utilizing captured eye data from mobile devices |
| US20140298257A1 (en) * | 2013-04-01 | 2014-10-02 | Cosmic Eagle, Llc | User interfaces and associated processes for information resources |
| US9781360B2 (en) * | 2013-09-24 | 2017-10-03 | Sony Interactive Entertainment Inc. | Gaze tracking variations using selective illumination |
| KR20150035631A (ko) | 2013-09-27 | 2015-04-07 | 에스케이플래닛 주식회사 | 얼굴인식을 이용한 광고 반응 분석 시스템 및 방법 |
| KR20150053843A (ko) | 2013-11-08 | 2015-05-19 | 주식회사 엘지유플러스 | 광고 보상 어플리케이션을 포함하는 무선 통신 단말기 및 광고 보상을 제공하는 광고 서버 및 광고 보상 제공 방법 |
| WO2015141939A1 (ko) * | 2014-03-21 | 2015-09-24 | 에스케이플래닛 주식회사 | 화면 잠금 모드를 이용한 부가 서비스 제공 방법, 이를 위한 시스템 및 장치 |
| JP2017526078A (ja) * | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 |
| KR101737936B1 (ko) | 2015-09-15 | 2017-05-19 | 김진곤 | 스마트 글래스와 모바일 장치를 이용한 쿠폰 제공 방법 |
| WO2017177188A1 (en) * | 2016-04-08 | 2017-10-12 | Vizzario, Inc. | Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance |
| WO2017189758A1 (en) * | 2016-04-26 | 2017-11-02 | Ascend Hit Llc | System and methods for medical image analysis and reporting |
-
2017
- 2017-12-07 KR KR1020170167362A patent/KR20190067433A/ko not_active Application Discontinuation
-
2018
- 2018-09-19 CN CN201880023431.6A patent/CN110476180A/zh active Pending
- 2018-09-19 WO PCT/KR2018/011062 patent/WO2019112154A1/ko active Application Filing
- 2018-09-19 US US16/770,687 patent/US11625754B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1416550A (zh) * | 2000-03-06 | 2003-05-07 | Gmk娱乐有限公司 | 利用网络提供广告和专业技能奖励的系统和方法 |
| US20050108092A1 (en) * | 2000-08-29 | 2005-05-19 | International Business Machines Corporation | A Method of Rewarding the Viewing of Advertisements Based on Eye-Gaze Patterns |
| CN105453118A (zh) * | 2013-04-30 | 2016-03-30 | 博斯比股份有限公司 | 采用应用内广告模块的广告系统和方法 |
| CN104837049A (zh) * | 2014-02-06 | 2015-08-12 | 三星电子株式会社 | 用户终端设备、显示设备及其控制方法 |
| WO2017065083A1 (ja) * | 2015-10-13 | 2017-04-20 | 慎治 長坂 | 情報提供システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113139828A (zh) * | 2020-01-17 | 2021-07-20 | 艾斯克哈伯株式会社 | 广告服务提供系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11625754B2 (en) | 2023-04-11 |
| KR20190067433A (ko) | 2019-06-17 |
| WO2019112154A1 (ko) | 2019-06-13 |
| US20210166271A1 (en) | 2021-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110476141A (zh) | 视线跟踪方法及用于执行该方法的用户终端 | |
| CN106164959B (zh) | 行为事件测量系统和相关方法 | |
| JP6447108B2 (ja) | 利用可能性算出装置、利用可能性算出方法及び利用可能性算出プログラム | |
| CN106464758B (zh) | 利用用户信号来发起通信 | |
| CN110476180A (zh) | 用于提供基于文本阅读的奖励型广告服务的方法及用于实行该方法的用户终端 | |
| CN103760968B (zh) | 数字标牌显示内容选择方法和装置 | |
| Magdin et al. | Real time facial expression recognition using webcam and SDK affectiva | |
| CN107818180A (zh) | 视频关联方法、视频显示方法、装置及存储介质 | |
| CN111240482B (zh) | 一种特效展示方法及装置 | |
| CN103782251A (zh) | 利用用户的眼球运动可操作的计算机设备和操作该计算机设备的方法 | |
| CN111311554A (zh) | 图文内容的内容质量确定方法、装置、设备及存储介质 | |
| CN105573613B (zh) | 一种程序图标排序方法和装置 | |
| WO2018127782A1 (en) | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command | |
| CN103154953A (zh) | 测量具有上网功能的应用程序的情感数据 | |
| CN103201710A (zh) | 图像处理系统、图像处理方法以及存储图像处理程序的存储介质 | |
| CN107194213A (zh) | 一种身份识别方法及装置 | |
| CN113076903A (zh) | 一种目标行为检测方法、系统、计算机设备及机器可读介质 | |
| CN103946887A (zh) | 注视位置估计系统、注视位置估计系统的控制方法、注视位置估计装置、注视位置估计装置的控制方法、程序以及信息存储介质 | |
| So | Measuring aesthetic preferences of neural style transfer: More precision with the two-alternative-forced-choice task | |
| CN109542297A (zh) | 提供操作引导信息的方法、装置及电子设备 | |
| Scherr et al. | Detecting user emotions with the true-depth camera to support mobile app quality assurance | |
| US11250242B2 (en) | Eye tracking method and user terminal performing same | |
| KR102568875B1 (ko) | 멘토 추천 서비스 및 강의 추천 서비스를 제공하는 서버 및 그 동작 방법 | |
| CN108694619A (zh) | 电影票房预测方法和系统 | |
| Narzt et al. | Estimating Collective Attention toward a Public Display |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20231215 |