CN108595011A - 信息展示方法、装置、存储介质及电子设备 - Google Patents

信息展示方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN108595011A
CN108595011A CN201810412577.1A CN201810412577A CN108595011A CN 108595011 A CN108595011 A CN 108595011A CN 201810412577 A CN201810412577 A CN 201810412577A CN 108595011 A CN108595011 A CN 108595011A
Authority
CN
China
Prior art keywords
face
image
blinkpunkt
eye image
display card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810412577.1A
Other languages
English (en)
Inventor
安耀祖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Financial Technology Holding Co Ltd
Original Assignee
Beijing Jingdong Financial Technology Holding Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Financial Technology Holding Co Ltd filed Critical Beijing Jingdong Financial Technology Holding Co Ltd
Priority to CN201810412577.1A priority Critical patent/CN108595011A/zh
Publication of CN108595011A publication Critical patent/CN108595011A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种信息展示方法、装置、存储介质及电子设备，该方法包括：获取摄像头捕获的注视信息展示牌的面部图像；基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；基于所述注视点进行信息展示，一方面降低了对用户与信息展示牌的距离的限制，实现了远距离情况下的更多信息的展示，另外一方面，基于用户在信息展示牌上注视点能够主动进行人机交互，增加了人机交互的便捷性，增加用户使用率，提升用户体验。

Description

信息展示方法、装置、存储介质及电子设备
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种信息展示方法、装置、存储介质及电子设备。
背景技术
眼睛是人体接收信息的重要器官，80％的信息都是眼睛处理接收的，因此，对于人眼的研究在很多方面都具有很大的实际意义。
视线追踪技术的发展由来已久，应用的场景广泛，比如广告效果监测方面可以通过人眼注视点的移动来判断人的偏好；人机交互方面视线可以取代键盘、鼠标和触屏；手机APP可以通过前置摄像头监测到人眼离开时暂停视频播放。尤其是近年来各大巨头争抢视线追踪公司，布局VR/AR，让我们看到了眼球追踪技术应用的更多可能性，通过定位人眼的注视点对画面进行局部渲染，虚拟现实更加成像更加自然。
目前，在信息展示牌展示信息时，通常有两种方式：(1)预先设置商品，展示商品列表，在用户点击时展示商品信息。(2)预先设置商品，展示商品列表，自动随机的展示放大的商品信息。
在实现本发明的过程中，发明人发现：方式(1)中，对用户与信息展示牌的距离有严格的限制，而信息展示牌能够显示的信息有限，需要用户保持一定距离，才能看清全部商品，如果用户想要了解特定的商品，需要通过外部交互的鼠标选择商品，或者需要主动靠近广告机，点击触摸屏，致使用户与信息展示牌的交互缺乏便利性。方式(2)中，自动随机的展示商品信息，可能并非用户主观需求，降低用户观看体验。
因此需要一种新的信息展示方法、装置、存储介质及电子设备。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种信息展示方法、装置、存储介质及电子设备，能够降低了对用户与信息展示牌的距离的限制，实现远距离情况下的更多信息的展示，而且，增加了人机交互的便捷性，增加用户使用率，提升用户体验。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明的第一方面，提供一种信息展示方法，其中，所述方法包括：
获取摄像头捕获的注视信息展示牌的面部图像；
基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；
基于所述注视点进行信息展示。
根据一些实施例，获取摄像头捕获的注视信息展示牌的面部图像，包括：
获取摄像头基于人脸检测算法捕获的注视所述信息展示牌的面部图像。
根据一些实施例，基于深度学习模型获取所述面部图像在所述信息展示牌的注视点，包括：
基于关键点检测算法，检测出所述面部图像的左眼图像、右眼图像、脸部图像；
基于所述深度学习模型、所述左眼图像、所述右眼图像以及所述脸部图像获取所述面部图像在所述信息展示牌的注视点。
根据一些实施例，基于所述深度学习模型、所述左眼图像、所述右眼图像以及所述脸部图像获取所述面部图像在所述信息展示牌的注视点，包括：
基于所述摄像头传入的所述面部图像所在的整个图像，获取所述脸部图像在所述整个图像中的位置的人脸格图像；
对所述左眼图像、所述右眼图像、所述脸部图像以及所述人脸格图像进行深度学习模型计算，获取到所述面部图像在所述信息展示牌的注视点。
根据一些实施例，对所述左眼图像、所述右眼图像、所述脸部图像以及所述人脸格图像进行深度学习模型计算，获取到所述面部图像在所述信息展示牌的注视点，包括：
将所述左眼图像、所述右眼图像以及所述脸部图像的尺寸归一化处理；
调整人脸格图像的尺寸以使所述人脸格图像中的脸部图像达到预设尺寸；
分别对所述归一化处理后的所述左眼图像、所述右眼图像以及所述脸部图像进行卷积处理以及全连接层处理；
对所述调整后的人脸格图像进行全连接层处理；
对所述卷积处理以及所述全连接层处理后的所述左眼图像、所述右眼图像以及所述脸部图像以及所述全连接层处理后的所述人脸格图像进行全连接层处理，获取到所述面部图像在所述信息展示牌的注视点。
根据一些实施例，基于所述注视点进行信息展示，包括：
获取到所述信息展示牌中的所述注视点对应的信息；
在所述信息展示牌中对所述信息进行详细的展示。
根据一些实施例，所述方法还包括：
记录所述面部图像对应的用户与所述注视点对应的信息之间的对应关系；
基于所述对应关系，对所述信息展示牌所在的场所内的物品摆放位置进行调整。
根据本发明的第二方面，提供一种信息展示装置，其中，所述装置包括：
第一获取模块，用于获取摄像头捕获的注视信息展示牌的面部图像；
第二获取模块，用于基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；
展示模块，用于基于所述注视点进行信息展示。
根据一些实施例，所述第一获取模块，配置为：获取摄像头基于人脸检测算法捕获的注视所述信息展示牌的面部图像。
根据一些实施例，所述第二获取模块，包括：
检测单元，用于基于关键点检测算法，检测出所述面部图像的左眼图像、右眼图像、脸部图像；
获取单元，用于基于所述深度学习模型、所述左眼图像、所述右眼图像以及所述脸部图像获取所述面部图像在所述信息展示牌的注视点。
根据一些实施例，所述获取单元，包括：
第一获取子单元，用于基于所述摄像头传入的所述面部图像所在的整个图像，获取所述脸部图像在所述整个图像中的位置的人脸格图像；
第二获取子单元，用于对所述左眼图像、所述右眼图像、所述脸部图像以及所述人脸格图像进行深度学习模型计算，获取到所述面部图像在所述信息展示牌的注视点。
根据一些实施例，所述第二获取子单元配置为：将所述左眼图像、所述右眼图像以及所述脸部图像的尺寸归一化处理；调整人脸格图像的尺寸以使所述人脸格图像中的脸部图像达到预设尺寸；分别对所述归一化处理后的所述左眼图像、所述右眼图像以及所述脸部图像进行卷积处理以及全连接层处理；对所述调整后的人脸格图像进行全连接层处理；对所述卷积处理以及所述全连接层处理后的所述左眼图像、所述右眼图像以及所述脸部图像以及所述全连接层处理后的所述人脸格图像进行全连接层处理，获取到所述面部图像在所述信息展示牌的注视点。
根据一些实施例，所述展示模块，配置为：获取到所述信息展示牌中的所述注视点对应的信息；在所述信息展示牌中对所述信息进行详细的展示。
根据一些实施例，所述装置还包括：
记录模块，用于记录所述面部图像对应的用户与所述注视点对应的信息之间的对应关系；
调整模块，用于基于所述对应关系，对所述信息展示牌所在的场所内的物品摆放位置进行调整。
根据本发明的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如第一方面所述的方法步骤。
根据本发明的第四方面，提供一种电子设备，其中，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面所述的方法步骤。
本发明实施例中，通过获取摄像头捕获的注视信息展示牌的面部图像；基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；基于所述注视点进行信息展示的技术手段，一方面降低了对用户与信息展示牌的距离的限制，实现了远距离情况下的更多信息的展示，另外一方面，基于用户在信息展示牌上注视点能够主动进行人机交互，增加了人机交互的便捷性，增加用户使用率，提升用户体验。
附图说明
通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。
图1是根据一示例性实施例示出的一种信息展示方法的流程图；
图2是根据本发明实施例提供的一种面部图像与脸部图像的示意图；
图3是本发明实施例示出的一种人脸格图像的示意图；
图4是本发明实施例示出的一种获取面部图像在信息展示牌的注视点的方法的流程图；
图5是本发明实施例示出的一种基于深度学习获取到注视点的过程示意图；
图6是根据一示例性实施例示出的一种信息展示装置的结构示意图；
图7是根据一示例性实施例示出的一种第二获取模块620的结构示意图；
图8是根据一示例性实施例示出的另一种信息展示装置的结构示意图；
图9是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1是根据一示例性实施例示出的一种信息展示方法的流程图。
如图1所示，在S110中，获取摄像头捕获的注视信息展示牌的面部图像。
需要说明的是，该摄像头可以设置于信息展示牌的信息展示的一面，对该信息展示牌前的视频进行采集。其中，该信息展示牌可以是大型的信息展示牌，如商场的大显示屏，也可以是小型的信息展示牌，如立式的通常放置在路口或商家门口的信息展示牌。信息展示牌能够展示的信息有限，因此，可以在该信息展示牌上展示简要的信息，如目录信息等。
根据本发明实施例，摄像头在采集到视频后，可以基于人脸检测算法循环对该视频的每个视频帧进行检测，当检测到面部图像后，将该面部图像输入至服务器。
需要说明的是，摄像头在检测到面部图像后，还需要将包含该面部图像的视频帧也输入至服务器，以便服务器后续计算人脸格图像。
在S120中，基于深度学习模型获取所述面部图像在所述信息展示牌的注视点。
根据本发明实施例，可以基于关键点检测算法，检测出所述面部的左眼图像、右眼图像、脸部图像，并基于所述深度学习模型、所述左眼图像、所述右眼图像以及所述脸部图像获取所述面部图像在所述信息展示牌的注视点。
根据本发明实施例，基于关键点检测算法，可以从面部图像中标记出人脸landmark关键点，获取该面部图像中的左眼图像、右眼图像以及脸部图像。
需要指出的是，脸部图像与面部图像不同。图2是根据本发明实施例提供的一种面部图像与脸部图像的示意图，如图2所示，脸部图像相较于面部图像，仅保留了脸部，去掉了面部图像中的如发型以及其他的空白处。
根据本发明实施例，在获取到脸部图像后，可以基于摄像头传入的该面部图像所在的整个图像，获取所述脸部图像在所述整个图像中的位置的人脸格图像。图3是本发明实施例示出的一种人脸格图像的示意图。如图3所示，在该整个图像中按照比例和位置标记出脸部图像，获得人脸格图像。
根据本发明实施例，在获取到人脸格图像后，对所述左眼图像、所述右眼图像、所述脸部图像以及所述人脸格图像进行深度学习模型计算，获取到所述面部图像在所述信息展示牌的注视点。
在S130中，基于所述注视点进行信息展示。
根据本发明实施例，在获取到面部图像在信息展示牌的注视点后，可以获取到所述信息展示牌中的所述注视点对应的信息，并在所述信息展示牌中对所述信息进行详细的展示。
例如，信息展示牌初始展示的经常是简要信息，如目录信息，当获取到面部图像在该信息展示牌的注视点对应的是某一条目录时，则在该信息展示牌的全部或者部分区域展示该目标信息对应的详细信息。
本发明实施例中，通过获取摄像头捕获的注视信息展示牌的面部图像；基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；基于所述注视点进行信息展示的技术手段，一方面降低了对用户与信息展示牌的距离的限制，实现了远距离情况下的更多信息的展示，另外一方面，基于用户在信息展示牌上注视点能够主动进行人机交互，增加了人机交互的便捷性，增加用户使用率，提升用户体验。
根据本发明实施例，在获取到注视点对应的信息之后，还可以记录该面部图像对应的用户与该注视点对应的信息之间的对应关系，并基于所述对应关系，对所述信息展示牌所在的场所内的物品摆放位置进行调整。
例如，信息展示牌展示在某商店内，用于对该商店内的优惠商品进行信息展示。当获取到用户A的面部图像在信息展示牌中的注视点对应的信息为M时，获取到用户B的面部图像在信息展示牌中的注视点对应的信息为M时，获取到用户C的面部图像在信息展示牌中的注视点对应的信息为N时，记录到用户与注视点对应的信息之间的对应关系如下：
用户 信息
A M
B M
C N
表1
基于表1可知，对信息M关注的用户较多，因此，可以将该商店内信息M对应的优惠商品摆放在最显眼的位置，如门口处。
根据本发明实施例，可以进一步的记录该面部图像对应的用户性别与该注视点对应的信息之间的对应关系，从而基于该对应关系，对所述信息展示牌所在的场所内的物品摆放位置进行调整。
根据本发明实施例，通过记录面部图像对应的用户与注视点对应的信息之间的对应关系，可以得出最受用户关注的物品或者不同性别的用户关注的物品，从而对场景中的物品摆放位置进行调整，达到减少店铺空间的占用，同时陈列用户最为关注的商品，提升用户粘性的效果。
下面结合具体的实施例，对本发明实施例中提出的获取面部图像在信息展示牌的注视点的方法进行详细的说明。
图4是本发明实施例示出的一种获取面部图像在信息展示牌的注视点的方法的流程图。图5是本发明实施例示出的一种基于深度学习获取到注视点的过程示意图。如图4所示，该方法可以包括但不限于以下流程：
S410、将左眼图像、右眼图像以及脸部图像的尺寸归一化处理。
例如，基于关键点检测从面部图像只截取左眼图像，右眼图像和脸部图像，并对这些图像归一化到大小均为224×224的尺寸。
需要指出的是，深度学习模型需要输入归一化的尺寸，因此需要将左眼图像，右眼图像和脸部图像归一化处理。
S420、调整人脸格图像的尺寸以使所述人脸格图像中的脸部图像达到预设尺寸。
例如，可以调整人脸格图像，使脸部图像在人脸格中的大小为25×25。
S430、分别对所述归一化处理后的所述左眼图像、所述右眼图像以及所述脸部图像进行卷积处理以及全连接层处理。
如图5所示，可以对归一化处理后的所述左眼图像以及右眼图像进行4层卷积后，在进行一次全连接层处理。
对归一化处理后的脸部图像进行5层卷积计算，然后再进行两次的全连接层处理。
S440、对所述调整后的人脸格图像进行全连接层处理。
如图5所示，可以对人脸格进行两次全连接层处理。
S450、对所述卷积处理以及所述全连接层处理后的所述左眼图像、所述右眼图像以及所述脸部图像以及所述全连接层处理后的所述人脸格图像进行全连接层处理，获取到所述面部图像在所述信息展示牌的注视点。
如图5所示，将S430以及S440得到的数据共同进行两次全连接层的计算，能够获取到面部图像在信息展示牌的注视点。
本发明实施例中，通过深度学习模型，实现了获取面部图像在信息展示牌的注视点，有利于基于注视点进行信息推荐。
应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。
下述为本发明装置实施例，可以用于执行本发明方法实施例。在下文对装置的描述中，与前述方法相同的部分，将不再赘述。
图6是根据一示例性实施例示出的一种信息展示装置的结构示意图。如图6所示，所述装置600包括：
第一获取模块610，用于获取摄像头捕获的注视信息展示牌的面部图像；
第二获取模块620，用于基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；
展示模块630，用于基于所述注视点进行信息展示。
根据本发明实施例，所述第一获取模块610，配置为：获取摄像头基于人脸检测算法捕获的注视所述信息展示牌的面部图像。
根据本发明实施例，所述展示模块，配置为：获取到所述信息展示牌中的所述注视点对应的信息；在所述信息展示牌中对所述信息进行详细的展示。
图7是根据一示例性实施例示出的一种第二获取模块620的结构示意图，如图7所示，所述第二获取模块620，包括：
检测单元621，用于基于关键点检测算法，检测出所述面部图像的左眼图像、右眼图像、脸部图像；
获取单元622，用于基于所述深度学习模型、所述左眼图像、所述右眼图像以及所述脸部图像获取所述面部图像在所述信息展示牌的注视点。
如图7所示，所述获取单元622，包括：
第一获取子单元6221，用于基于所述摄像头传入的所述面部图像所在的整个图像，获取所述脸部图像在所述整个图像中的位置的人脸格图像；
第二获取子单元6222，用于对所述左眼图像、所述右眼图像、所述脸部图像以及所述人脸格图像进行深度学习模型计算，获取到所述面部图像在所述信息展示牌的注视点。
根据本发明实施例，所述第二获取子单元6222配置为：将所述左眼图像、所述右眼图像以及所述脸部图像的尺寸归一化处理；调整人脸格图像的尺寸以使所述人脸格图像中的脸部图像达到预设尺寸；分别对所述归一化处理后的所述左眼图像、所述右眼图像以及所述脸部图像进行卷积处理以及全连接层处理；对所述调整后的人脸格图像进行全连接层处理；对所述卷积处理以及所述全连接层处理后的所述左眼图像、所述右眼图像以及所述脸部图像以及所述全连接层处理后的所述人脸格图像进行全连接层处理，获取到所述面部图像在所述信息展示牌的注视点。
图8是根据一示例性实施例示出的另一种信息展示装置的结构示意图，如图8所示，所述装置600还包括：
记录模块640，用于记录所述面部图像对应的用户与所述注视点对应的信息之间的对应关系；
调整模块650，用于基于所述对应关系，对所述信息展示牌所在的场所内的物品摆放位置进行调整。
本发明实施例中，通过获取摄像头捕获的注视信息展示牌的面部图像；基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；基于所述注视点进行信息展示的技术手段，一方面降低了对用户与信息展示牌的距离的限制，实现了远距离情况下的更多信息的展示，另外一方面，基于用户在信息展示牌上注视点能够主动进行人机交互，增加了人机交互的便捷性，增加用户使用率，提升用户体验。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备可以执行：获取摄像头捕获的注视信息展示牌的面部图像；基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；基于所述注视点进行信息展示。
图9是根据一示例性实施例示出的一种电子设备的结构示意图。需要说明的是，图9示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图9所示，计算机系统900包括中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM 903中，还存储有系统900操作所需的各种程序和数据。CPU901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的终端中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取模块、第一获取模块、展示模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
以上具体示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (16)

1.一种信息展示方法，其特征在于，所述方法包括：
获取摄像头捕获的注视信息展示牌的面部图像；
基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；
基于所述注视点进行信息展示。
2.如权利要求1所述的方法，其特征在于，获取摄像头捕获的注视信息展示牌的面部图像，包括：
获取摄像头基于人脸检测算法捕获的注视所述信息展示牌的面部图像。
3.如权利要求1所述的方法，其特征在于，基于深度学习模型获取所述面部图像在所述信息展示牌的注视点，包括：
基于关键点检测算法，检测出所述面部图像的左眼图像、右眼图像、脸部图像；
基于所述深度学习模型、所述左眼图像、所述右眼图像以及所述脸部图像获取所述面部图像在所述信息展示牌的注视点。
4.如权利要求3所述的方法，其特征在于，基于所述深度学习模型、所述左眼图像、所述右眼图像以及所述脸部图像获取所述面部图像在所述信息展示牌的注视点，包括：
基于所述摄像头传入的所述面部图像所在的整个图像，获取所述脸部图像在所述整个图像中的位置的人脸格图像；
对所述左眼图像、所述右眼图像、所述脸部图像以及所述人脸格图像进行深度学习模型计算，获取到所述面部图像在所述信息展示牌的注视点。
5.如权利要求4所述的方法，其特征在于，对所述左眼图像、所述右眼图像、所述脸部图像以及所述人脸格图像进行深度学习模型计算，获取到所述面部图像在所述信息展示牌的注视点，包括：
将所述左眼图像、所述右眼图像以及所述脸部图像的尺寸归一化处理；
调整人脸格图像的尺寸以使所述人脸格图像中的脸部图像达到预设尺寸；
分别对所述归一化处理后的所述左眼图像、所述右眼图像以及所述脸部图像进行卷积处理以及全连接层处理；
对所述调整后的人脸格图像进行全连接层处理；
对所述卷积处理以及所述全连接层处理后的所述左眼图像、所述右眼图像以及所述脸部图像以及所述全连接层处理后的所述人脸格图像进行全连接层处理，获取到所述面部图像在所述信息展示牌的注视点。
6.如权利要求1所述的方法，其特征在于，基于所述注视点进行信息展示，包括：
获取到所述信息展示牌中的所述注视点对应的信息；
在所述信息展示牌中对所述信息进行详细的展示。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
记录所述面部图像对应的用户与所述注视点对应的信息之间的对应关系；
基于所述对应关系，对所述信息展示牌所在的场所内的物品摆放位置进行调整。
8.一种信息展示装置，其特征在于，所述装置包括：
第一获取模块，用于获取摄像头捕获的注视信息展示牌的面部图像；
第二获取模块，用于基于深度学习模型获取所述面部图像在所述信息展示牌的注视点；
展示模块，用于基于所述注视点进行信息展示。
9.如权利要求8所述的装置，其特征在于，所述第一获取模块，配置为：获取摄像头基于人脸检测算法捕获的注视所述信息展示牌的面部图像。
10.如权利要求8所述的装置，其特征在于，所述第二获取模块，包括：
检测单元，用于基于关键点检测算法，检测出所述面部图像的左眼图像、右眼图像、脸部图像；
获取单元，用于基于所述深度学习模型、所述左眼图像、所述右眼图像以及所述脸部图像获取所述面部图像在所述信息展示牌的注视点。
11.如权利要求10所述的装置，其特征在于，所述获取单元，包括：
第一获取子单元，用于基于所述摄像头传入的所述面部图像所在的整个图像，获取所述脸部图像在所述整个图像中的位置的人脸格图像；
第二获取子单元，用于对所述左眼图像、所述右眼图像、所述脸部图像以及所述人脸格图像进行深度学习模型计算，获取到所述面部图像在所述信息展示牌的注视点。
12.如权利要求11所述的装置，其特征在于，所述第二获取子单元配置为：将所述左眼图像、所述右眼图像以及所述脸部图像的尺寸归一化处理；调整人脸格图像的尺寸以使所述人脸格图像中的脸部图像达到预设尺寸；分别对所述归一化处理后的所述左眼图像、所述右眼图像以及所述脸部图像进行卷积处理以及全连接层处理；对所述调整后的人脸格图像进行全连接层处理；对所述卷积处理以及所述全连接层处理后的所述左眼图像、所述右眼图像以及所述脸部图像以及所述全连接层处理后的所述人脸格图像进行全连接层处理，获取到所述面部图像在所述信息展示牌的注视点。
13.如权利要求8所述的装置，其特征在于，所述展示模块，配置为：获取到所述信息展示牌中的所述注视点对应的信息；在所述信息展示牌中对所述信息进行详细的展示。
14.如权利要求13所述的装置，其特征在于，所述装置还包括：
记录模块，用于记录所述面部图像对应的用户与所述注视点对应的信息之间的对应关系；
调整模块，用于基于所述对应关系，对所述信息展示牌所在的场所内的物品摆放位置进行调整。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
16.一种电子设备，其特征在于，包括：一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法步骤。
CN201810412577.1A 2018-05-03 2018-05-03 信息展示方法、装置、存储介质及电子设备 Pending CN108595011A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810412577.1A CN108595011A (zh) 2018-05-03 2018-05-03 信息展示方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810412577.1A CN108595011A (zh) 2018-05-03 2018-05-03 信息展示方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN108595011A true CN108595011A (zh) 2018-09-28

Family

ID=63620436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810412577.1A Pending CN108595011A (zh) 2018-05-03 2018-05-03 信息展示方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN108595011A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857461A (zh) * 2020-06-29 2020-10-30 维沃移动通信有限公司 图像显示方法、装置、电子设备及可读存储介质
CN112541454A (zh) * 2020-12-21 2021-03-23 的卢技术有限公司 一种用于视线估计的卷积神经网络设计方法
CN112673423A (zh) * 2020-04-29 2021-04-16 华为技术有限公司 一种车内语音交互方法及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282646A1 (en) * 2013-03-15 2014-09-18 Sony Network Entertainment International Llc Device for acquisition of viewer interest when viewing content
CN106843468A (zh) * 2016-12-27 2017-06-13 努比亚技术有限公司 一种终端以及vr场景中的人机交互方法
CN106909220A (zh) * 2017-02-21 2017-06-30 山东师范大学 一种适用于触控的视线交互方法
CN107506751A (zh) * 2017-09-13 2017-12-22 重庆爱威视科技有限公司 基于眼动控制的广告投放方法
CN107704076A (zh) * 2017-09-01 2018-02-16 广景视睿科技（深圳）有限公司 一种动向投影物体展示系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282646A1 (en) * 2013-03-15 2014-09-18 Sony Network Entertainment International Llc Device for acquisition of viewer interest when viewing content
CN106843468A (zh) * 2016-12-27 2017-06-13 努比亚技术有限公司 一种终端以及vr场景中的人机交互方法
CN106909220A (zh) * 2017-02-21 2017-06-30 山东师范大学 一种适用于触控的视线交互方法
CN107704076A (zh) * 2017-09-01 2018-02-16 广景视睿科技（深圳）有限公司 一种动向投影物体展示系统及其方法
CN107506751A (zh) * 2017-09-13 2017-12-22 重庆爱威视科技有限公司 基于眼动控制的广告投放方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112673423A (zh) * 2020-04-29 2021-04-16 华为技术有限公司 一种车内语音交互方法及设备
CN111857461A (zh) * 2020-06-29 2020-10-30 维沃移动通信有限公司 图像显示方法、装置、电子设备及可读存储介质
CN112541454A (zh) * 2020-12-21 2021-03-23 的卢技术有限公司 一种用于视线估计的卷积神经网络设计方法

Similar Documents

Publication Publication Date Title
CN106792242A (zh) 用于推送信息的方法和装置
CN108491816A (zh) 在视频中进行目标跟踪的方法和装置
JP2022553174A (ja) ビデオ検索方法、装置、端末、及び記憶媒体
CN108024079A (zh) 录屏方法、装置、终端及存储介质
CN108198044A (zh) 商品信息的展示方法、装置、介质及电子设备
CN108492364A (zh) 用于生成图像生成模型的方法和装置
CN110188719A (zh) 目标跟踪方法和装置
CN108345387A (zh) 用于输出信息的方法和装置
CN109308469A (zh) 用于生成信息的方法和装置
CN109087377B (zh) 用于处理图像的方法和装置
CN108595011A (zh) 信息展示方法、装置、存储介质及电子设备
CN109982036A (zh) 一种全景视频数据处理的方法、终端以及存储介质
CN109344762A (zh) 图像处理方法和装置
CN109697801A (zh) 自助结算设备、方法、装置、介质及电子设备
CN110177295A (zh) 字幕越界的处理方法、装置和电子设备
CN109255767A (zh) 图像处理方法和装置
CN109711508A (zh) 图像处理方法和装置
CN110072047A (zh) 图像形变的控制方法、装置和硬件装置
CN108235004A (zh) 视频播放性能测试方法、装置和系统
CN109889893A (zh) 视频处理方法、装置及设备
CN108415653A (zh) 用于终端设备的锁屏方法和装置
CN112578971A (zh) 页面内容展示方法、装置、计算机设备及存储介质
CN108924381A (zh) 图像处理方法、图像处理装置及计算机可读介质
CN108595448A (zh) 信息推送方法和装置
CN109462779A (zh) 视频预览信息的播放控制方法、应用客户端及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant after: Jingdong Digital Technology Holding Co., Ltd.

Address before: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant before: Beijing Jingdong Financial Technology Holding Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928