CN110231871A - 页面阅读方法、装置、存储介质及电子设备 - Google Patents

页面阅读方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110231871A
CN110231871A CN201910518106.3A CN201910518106A CN110231871A CN 110231871 A CN110231871 A CN 110231871A CN 201910518106 A CN201910518106 A CN 201910518106A CN 110231871 A CN110231871 A CN 110231871A
Authority
CN
China
Prior art keywords
user
node
page
display screen
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910518106.3A
Other languages
English (en)
Inventor
张楠
陈勇
陈贝
陈冬莹
陶然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910518106.3A priority Critical patent/CN110231871A/zh
Publication of CN110231871A publication Critical patent/CN110231871A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种页面阅读方法、装置、存储介质及电子设备，该页面阅读方法包括：获取用户的脸部信息，该脸部信息包括人脸的脸部图像、以及该脸部图像中每个像素点的深度值；根据该脸部图像和深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度；根据该三维模型、间隔距离和旋转角度确定该用户的脸部动作；根据该脸部动作确定阅读动作指令；根据该阅读动作指令对该显示屏上的显示页面进行相应阅读操作，从而在漫画或者电子书的阅读过程中，用户能通过控制自身的脸部动作即可实现页面的翻页等阅读操作，无需借助用户双手。

Description

页面阅读方法、装置、存储介质及电子设备
技术领域
本申请涉及通信技术领域，尤其涉及一种页面阅读方法、装置、存储介质及电子设备。
背景技术
随着移动通讯的不断发展和人们生活水平的不断提高，各种电子设备如手机的使用越来越普及，电子设备已经成为人们生活中不可缺少的通信工具。
目前，越来越多用户喜欢通过电子设备来阅读电子书或者漫画，但是受限于终端屏幕的大小，用户在浏览漫画或者电子书时，需要多次翻页才能获取全部显示内容，而现有的翻页操作主要通过用户手动完成，或者设置成自动翻页模式，也即设定翻页间隔时长，到达该间隔时长自动进行一次翻页，这两种翻页方式都比较死板，灵活性低，影响用户的阅读体验。
发明内容
本申请实施例提供一种页面阅读方法、装置、存储介质及电子设备，能无需借助用户双手即可实现页面的翻页等阅读操作，方法灵活。
本申请实施例提供了一种页面阅读方法，包括：
获取用户的脸部信息，所述脸部信息包括人脸的脸部图像、以及所述脸部图像中每个像素点的深度值；
根据所述脸部图像和深度值确定所述人脸的三维模型、以及所述三维模型的中心节点相对于显示屏的间隔距离和旋转角度；
根据所述三维模型、间隔距离和旋转角度确定所述用户的脸部动作；
根据所述脸部动作确定阅读动作指令；
根据所述阅读动作指令对所述显示屏上的显示页面进行相应阅读操作。
本申请实施例还提供了一种页面阅读装置，包括：
获取模块，用于获取用户的脸部信息，所述脸部信息包括人脸的脸部图像、以及所述脸部图像中每个像素点的深度值；
第一确定模块，用于根据所述脸部图像和深度值确定所述人脸的三维模型、以及所述三维模型的中心节点相对于显示屏的间隔距离和旋转角度；
第二确定模块，用于根据所述三维模型、间隔距离和旋转角度确定所述用户的脸部动作；
第三确定模块，用于根据所述脸部动作确定阅读动作指令；
阅读模块，用于根据所述阅读动作指令对所述显示屏上的显示页面进行相应阅读操作。
本申请实施例还提供了一种计算机可读存储介质，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项页面阅读方法。
本申请实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行上述任一项所述的页面阅读方法中的步骤。
本申请提供的页面阅读方法、装置、存储介质及电子设备，通过获取用户的脸部信息，该脸部信息包括人脸的脸部图像、以及该脸部图像中每个像素点的深度值，并根据该脸部图像和深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度，之后根据该三维模型、间隔距离和旋转角度确定该用户的脸部动作，并根据该脸部动作确定阅读动作指令，之后根据该阅读动作指令对该显示屏上的显示页面进行相应阅读操作，从而在漫画或者电子书的阅读过程中，用户能通过控制自身的脸部动作即可实现页面的翻页等阅读操作，无需借助用户双手，方法灵活，提升了用户阅读体验感。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1为本申请实施例提供的页面阅读系统的场景示意图。
图2为本申请实施例提供的页面阅读方法的流程示意图。
图3为本申请实施例提供的步骤S103的流程示意图。
图4为本申请实施例提供的用户注视屏幕的场景示意图。
图5为本申请实施例提供的步骤S103的另一流程示意图。
图6为本申请实施例提供的自动阅读模式下页面的阅读过程示意图。
图7为本申请实施例提供的页面阅读装置的结构示意图。
图8为本申请实施例提供的第二确定模块30的结构示意图。
图9为本申请实施例提供的第二确定模块30的另一结构示意图。
图10为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种页面阅读方法、装置、存储介质及电子设备。
请参阅图1，图1为页面阅读系统的场景示意图，该页面阅读系统可以包括本申请实施例提供的任一种页面阅读装置，该页面阅读装置主要用于为文字、图片、漫画等内容提供阅读功能，其可以通过硬件来实现，比如该页面阅读装置可以集成在电子设备中该电子设备可以是服务器或客户端，该客户端可以包括kindle阅读器、智能手机、iPad等用户设备。
该电子设备可以获取用户的脸部信息，该脸部信息包括人脸的脸部图像、以及该脸部图像中每个像素点的深度值；根据该脸部图像和深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度；根据该三维模型、间隔距离和旋转角度确定该用户的脸部动作；根据该脸部动作确定阅读动作指令；根据该阅读动作指令对该显示屏上的显示页面进行相应阅读操作。
其中，可以通过电子设备内置的3D摄像头来获取脸部信息。该三维模型可以包括节点和纹理等相关信息。该中心节点通常位于鼻子节点后方几厘米处，该旋转角度主要指人脸从正对显示屏到其他朝向之间的夹角和方位。该脸部动作可以包括静态类型的动作和动态类型的动作，该静态类型的动作可以包括注视，该动态类型的动作可以包括眉毛、嘴巴、眼睛等的动作，比如挑眉，眨眼、张嘴、抿嘴等。该阅读动作指令可以是从预先设定的多个动作指令中选取出的，不同的脸部动作对应不同的阅读动作指令。
譬如，在图1中，当用户选择自动阅读模式阅读电子书时，会触发电子设备内置的3D摄像头进行工作，以实时采集用户人脸的脸部图像和深度值，之后，根据采集信息确定用户人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度，之后，根据三维模型、间隔距离和旋转角度确定脸部动作，当脸部动作为静态类型的动作，比如注视时，可以进一步根据注视区域对当前显示页面执行上滑、下滑或放大等阅读操作，当脸部动作为动态类型的动作，比如左眨眼或右眨眼时，可以对当前显示章节进行章节前翻或后翻等阅读操作。
如图2所示，图2是本申请实施例提供的页面阅读方法的流程示意图，该页面阅读方法应用于电子设备中，具体流程可以如下：
S101.获取用户的脸部信息，该脸部信息包括人脸的脸部图像、以及该脸部图像中每个像素点的深度值。
本实施例中，可以通过电子设备内置的3D摄像头来获取脸部信息。具体的，当用户在阅读漫画或者电子书时，若开启了自动阅读模式，则3D摄像头会实时获取用户的脸部信息。
S102.根据该脸部图像和深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度。
本实施例中，该三维模型主要包括节点和纹理等相关信息，各节点的空间坐标默认为以中心节点为原点形成的相对坐标。可以提前设置一个脸部模型函数，其可以是基于大量脸部样本图像和深度值训练得到的。当向该脸部模型函数输入当前用户的脸部图像和深度值时，可以得到当前用户的脸部模型(也即该三维模型)。该中心节点通常位于鼻子节点后方几厘米处，该旋转角度主要指人脸从正对显示屏到其他朝向之间的夹角和方位。
S103.根据该三维模型、间隔距离和旋转角度确定该用户的脸部动作。
本实施例中，该脸部动作可以包括静态类型的动作和动态类型的动作，该静态类型的动作可以包括注视，该动态类型的动作可以包括眉毛、嘴巴、眼睛等的动态动作，比如左右挑眉，左右眨眼、张嘴、抿嘴等，通常，对于静态类型的动作，在分析时可以结合单帧脸部图像确定出，而对于动态类型的动作，在分析时需结合多帧脸部图像确定出。
例如，该脸部动作包括静态类型的动作，该静态类型的动作包括注视动作，此时，请参见图3，上述步骤S103具体可以包括：
S1031A.根据该间隔距离和旋转角度确定在同一空间坐标系下，该三维模型中各节点的节点坐标集合、以及该显示屏的屏幕坐标集合。
本实施例中，可以以同一坐标原点对三维模型和显示屏进行绘制，使其处于同一空间坐标系下，比如可以以显示屏所在平面为xy平面，以垂直显示屏屏幕中心的平面为z平面，更新三维模型的节点坐标和显示屏的屏幕坐标。
S1032A.根据该节点坐标集合和屏幕坐标集合判断用户视线是否停留在该显示屏上。
例如，上述步骤S1032A具体可以包括：
根据该节点坐标集合确定该三维模型中左眼球节点对应的第一节点坐标和第一视线方向、以及右眼球节点对应的的第二节点坐标和第二视线方向；
根据该第一视线方向、第一节点坐标和屏幕坐标集合确定用户左眼在该显示屏所在平面上的第一注视点；
根据该第二视线方向、第二节点坐标和屏幕坐标集合确定用户右眼在该显示屏所在平面上的第二注视点；
根据该第一注视点和第二注视点判断用户视线是否停留在该显示屏上。
本实施例中，可以根据眼球节点和眼睑节点之间的相对位置确定视线方向，该第一注视点即为左眼视线与显示屏所在平面的交点，该第二注视点即为右眼视线与显示屏所在平面的交点。
进一步地，上述步骤“根据该第一注视点和第二注视点判断用户视线是否停留在该显示屏上”具体可以包括：
判断该第一注视点和第二注视点是否位于该显示屏上，且该第一注视点和第二注视点之间的坐标差值是否在预设范围内；
若该第一注视点和第二注视点位于该显示屏上，且该第一注视点和第二注视点之间的坐标差值在预设范围内，则确定用户视线停留在该显示屏上；
若该第一注视点和第二注视点不位于该显示屏上，和/或该第一注视点和第二注视点之间的坐标差值不在预设范围内，则确定用户视线并未停留在该显示屏上。
本实施例中，该预设范围可以人为设定，通常，用户双眼视线需聚焦于一处才能看清文字或者图像，该预设范围主要用于界定用户视线是否聚焦于一处，请参见图4，当第一注视点和第二注视点相隔距离较远(也即超出预设范围)，比如A1和B1，或者不在显示屏上时，比如A2和B2，可以认为用户视线并未停留在显示屏上，此时，用户极大可能并未在阅读，当第一注视点和第二注视点相隔较近甚至重叠(也即在预设范围内时)，且在显示屏上时，比如A3和B3，可以认为用户视线停留在显示屏上，此时，用户极大可能在阅读。
S1033A.若是，则将注视动作作为该用户的脸部动作。
本实施例中，若用户此时在阅读，可以认为脸部动作为注视动作，而若用户此时不在阅读，也即当确定出用户视线并未停留在显示屏上时，可以进一步检测其持续时长，当持续时长到达一定值，比如60秒及以上时间时，为节省电量，电子设备可以进行锁屏操作。
例如，该脸部动作包括动态类型的动作，此时，请参见图5，上述步骤S103具体可以包括：
S1031B.根据该间隔距离和旋转角度确定该三维模型中各节点的节点坐标集合。
本实施例中，可以以显示屏所在平面为xy平面，以垂直显示屏屏幕中心的平面为z平面，基于间隔距离和旋转角度更新三维模型的节点坐标，使三维模型的各坐标参数符合显示屏与实际人脸间的相对位置关系。
S1032B.监测该节点坐标集合中节点坐标是否发生变化。
本实施例中，一旦用户脸部做出了某个规定动作，比如左右挑眉，左右眨眼、张嘴、抿嘴等，三维模型中对应节点的节点坐标必定会发生变化。
S1033B.若该节点坐标集合中节点坐标发生变化，则根据变化的节点坐标确定该用户的脸部动作。
本实施例中，该脸部动作可以是眉毛、嘴巴、眼睛等单个脸部部位的动态动作，比如挑眉，眨眼等，也可以是多个脸部部位相结合表达的情绪动作，比如挑眉加张嘴表示惊讶动作，嘴角下拉加皱眉表示难过动作等。
例如，该动态类型的动作包括左眨眼和右眨眼，此时，上述步骤S1033B具体可以包括：
根据变化的节点坐标确定对应节点的运动轨迹；
根据该运动轨迹判断用户左眼或者右眼是否发生闭合；
若判断出用户左眼或者右眼发生闭合，则当发生闭合的为左眼时，将左眨眼作为该用户的脸部动作；当发生闭合的为右眼时，将右眨眼作为该用户的脸部动作。
本实施例中，当发生变化的节点为眼睑节点，且眼睑节点的运动轨迹符合闭合动作的轨迹特点时，可以认为用户做了眨眼动作，此时，若是左眼睑节点的运动轨迹符合要求，则脸部动作为左眨眼，若是，右眼睑节点的运动轨迹符合要求，则脸部动作为右眨眼。
S104.根据该脸部动作确定阅读动作指令。
本实施例中，该阅读动作指令可以是从预先设定的多个动作指令中选取出的，不同的脸部动作对应不同的阅读动作指令。
例如，当该脸部动作为注视动作时，上述步骤S104具体可以包括：
获取该视线在该显示屏上的注视位置；
确定该注视位置所属的屏幕区域，并将确定的该屏幕区域作为目标区域；
监测该视线在该目标区域内的持续停留时长；
根据该目标区域和持续停留时长确定阅读动作指令。
本实施例中，该屏幕区域是预先设定好的，主要通过对显示屏进行划分得到。该注视位置可以根据第一注视点和第二注视点得到，当两者重合时，重合点所在位置即为该注视位置，当两者不重合时，可以任意选取第一注视点或者第二注视点所在的位置作为注视位置，或者选取两者连线间的中点所在的位置作为注视位置。
在阅读过程中，为较好的区分用户的正常阅读动作和有意操作意图，可以结合用户的注视时长来确定是否要执行类似于上下滑动、翻页等阅读动作，其中，上述步骤“根据该目标区域和持续停留时长确定阅读动作指令”进一步可以包括：
当该持续停留时长到达第一预设时长，且该目标区域为屏幕上方区域时，获取指示页面上滑的动作指令，并将该指示页面上滑的动作指令作为阅读动作指令；
当该持续停留时长到达该第一预设时长，且该目标区域为屏幕下方区域时，获取指示页面下滑的动作指令，并将该指示页面下滑的动作指令作为阅读动作指令；
当该持续停留时长达到第二预设时长，且该目标区域为屏幕中间区域时，获取指示页面放大的动作指令，并将该指示页面放大的动作指令作为阅读动作指令。
本实施例中，该第一预设时长和第二预设时长需大于用户正常阅读单个字或图形所花费的时长，其数值可以相同或者不同，其中，该第一预设时长和第二预设时长可以是人为设定的定值，比如该第一预设时长可以是2秒及以上时间，该第二预设时长可以是3秒及以上时间，或者其也可以是根据用户以往阅读速度来确定的，通常，阅读速度越快，其第一预设时长和第二预设时长越短，阅读速度越慢，其第一预设时长和第二预设时长越长。
例如，当该脸部动包括左眨眼或右眨眼时，上述步骤S104具体可以包括：
当该脸部动作为左眨眼时，获取指示章节前翻的动作指令，并将该指示章节前翻的动作指令作为阅读动作指令；
当该脸部动作为右眨眼时，获取指示章节后翻的动作指令，并将该指示章节后翻的动作指令作为阅读动作指令。
本实施例中，章节前翻或后翻具体对应哪个眼睑可以不做限定，章节前翻的动作指令可以对应左眨眼，也可以对应右眨眼。需要说明的是，除了通过左右眨眼来设定章节前翻和后翻的动作指令，还可以通过其他部位的动作来设定，比如通过左右挑眉、张嘴和闭嘴、脸颊左转和右转等单个脸部部位的动态动作来设定，或者通过多个脸部部位相结合表达的情绪动作来设定，比如象征开心动作的嘴角上扬+张嘴可以对应章节前翻，象征难过动作的嘴角下拉+闭嘴可以对应章节后翻，等等，当然，除了章节前翻和后翻的动作指令，还可以有其他阅读动作指令，具体可以根据实际情况而定，此处不做限定。
S105.根据该阅读动作指令对该显示屏上的显示页面进行相应阅读操作。
本实施例中，当阅读动作指令为页面上滑或下滑或放大时，相应阅读操作主要涉及对当前显示章节的内容进行操作，比如显示当前显示内容所在章节的上一页面内容(也即页面上滑)或者下一页面内容(也即页面下滑)，或者以一定放大比例对当前显示内容的某个部分内容(比如字体或图形)进行放大。当阅读动作指令为章节前翻或后翻时，相应阅读操作主要涉及对当前显示章节的相邻章节内容进行操作，比如显示当前显示内容所在章节的上一章节内容(也即章节前翻)或者下一章节内容(也即章节后翻)。
需要指出的是，当阅读动作指令为页面放大时，可以进一步提示用户需要对哪个部分内容进行放大，此时，用户可以手动选定，也可以通过脸部动作来选定，比如通过注视想要放大的区域来确定，或者可以提前将脸部动作与屏幕各个区域进行关联，通过当前脸部动作和该关联关系来确定。在执行页面放大操作时，该放大内容可以显示在显示屏的任意位置，比如屏幕中间或当前需放大区域等，考虑到正常用户阅读习惯为从左至右，从上往下，为避免遮挡用户未阅读的区域，可以将放大内容放置在当前需放大区域的左边或者上方。
以下将以该页面阅读方法应用于电子设备为例，对页面阅读方法的流程进行简单介绍。
当用户进入漫画阅读页开始阅读电子漫画时，若开启了自动阅读模式，则会触发电子设备内置的3D摄像头采集用户人脸的脸部图像以及该脸部图像中每个像素点的深度值，此时，电子设备会先根据脸部图像和对应深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度，并根据间隔距离和旋转角度将三维模型和显示屏投射在同一空间坐标系下，得到三维模型中各节点的节点坐标集合、以及显示屏的屏幕坐标集合。之后实时跟踪该三维模型中各节点的坐标变化情况，以判断用户脸部是否做出了规定的脸部动作。
请参见图6，比如，可以根据眼球节点和眼睑节点之间的相对位置确定对应时刻眼球的视线方向，并根据左右眼球的视线方向和眼球位置确定用户实现是否聚焦于显示屏，从而判断用户脸部是否做出了注视动作。一旦做出了注视动作，则可以根据注视位置和注视时长来确定对应阅读动作指令，并执行相应阅读操作，当用户注视屏幕上方或者下方区域超过2秒时，将页面上滑或下滑作为阅读动作指令，并从本地数据库中或者通过网络从其他设备中获取当前显示内容所在章节的上一页面内容或者下一页面内容进行显示，当用户注视屏幕中间区域超过3秒时，将页面放大作为阅读动作指令，并且提示用户选择放大区域后，将放大区域的显示内容以一定比例放大后叠加显示在当前显示页面上，当用户未注视屏幕超过3秒时，将锁屏指令作为阅读动作指令，并且对屏幕进行锁屏操作。
比如，可以监测该节点坐标集合中节点坐标是否发生变化，若发生变化，则根据根据变化的节点坐标确定对应节点的运动轨迹，并根据运动轨迹判断用户脸部是否做出了规定的脸部动作，其中，在该图7中，当用户进行左眨眼或右眨眼时，可以将章节前翻或者后翻作为阅读动作指令，并从本地数据库中或者通过网络从其他设备中获取当前显示内容所在章节的上一章节内容或者下一章节内容进行显示。
由上述可知，本申请提供的页面阅读方法，通过获取用户的脸部信息，该脸部信息包括人脸的脸部图像、以及该脸部图像中每个像素点的深度值，并根据该脸部图像和深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度，之后根据该三维模型、间隔距离和旋转角度确定该用户的脸部动作，并根据该脸部动作确定阅读动作指令，之后根据该阅读动作指令对该显示屏上的显示页面进行相应阅读操作，从而在漫画或者电子书的阅读过程中，用户能通过控制自身的脸部动作即可实现页面的翻页等阅读操作，无需借助用户双手，方法灵活，提升了用户阅读体验感。
根据上述实施例所描述的方法，本实施例将从页面阅读装置的角度进一步进行描述，该页面阅读装置具体可以作为独立的实体来实现，也可以集成在电子设备中来实现。
请参阅图7，图7具体描述了本申请实施例提供的页面阅读装置，应用于电子设备，该页面阅读装置可以包括：获取模块10、第一确定模块20、第二确定模块30、第三确定模块40和阅读模块50，其中：
(1)获取模块10
获取模块10，用于获取用户的脸部信息，该脸部信息包括人脸的脸部图像、以及该脸部图像中每个像素点的深度值。
本实施例中，可以通过电子设备内置的3D摄像头来获取脸部信息。具体的，当用户在阅读漫画或者电子书时，若开启了自动阅读模式，则3D摄像头会实时获取用户的脸部信息。
(2)第一确定模块20
第一确定模块20，用于根据该脸部图像和深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度。
本实施例中，该三维模型主要包括节点和纹理等相关信息，其节点的空间坐标默认为以中心节点为原点形成的相对坐标。可以提前设置一个脸部模型函数，其可以是基于大量脸部样本图像和深度值训练得到的。当向该脸部模型函数输入当前用户的脸部图像和深度值时，可以得到当前用户的脸部模型(也即该三维模型)。该中心节点通常位于鼻子节点后方几厘米处，该旋转角度主要指人脸从正对显示屏到其他朝向之间的夹角和方位。
(3)第二确定模块30
第二确定模块30，用于根据该三维模型、间隔距离和旋转角度确定该用户的脸部动作。
本实施例中，该脸部动作可以包括静态类型的动作和动态类型的动作，该静态类型的动作可以包括注视，该动态类型的动作可以包括眉毛、嘴巴、眼睛等的动态动作，比如左右挑眉，左右眨眼、张嘴、抿嘴等，通常，对于静态类型的动作，在分析时可以结合单帧脸部图像确定出，而对于动态类型的动作，在分析时需结合多帧脸部图像确定出。
例如，该脸部动作包括静态类型的动作，该静态类型的动作包括注视动作，此时，请参见图8，该第二确定模块30具体可以包括：
第一确定单元31，用于根据该间隔距离和旋转角度确定在同一空间坐标系下，该三维模型中各节点的节点坐标集合、以及该显示屏的屏幕坐标集合。
本实施例中，可以以同一坐标原点对三维模型和显示屏进行绘制，使其处于同一空间坐标系下，比如可以以显示屏所在平面为xy平面，以垂直显示屏屏幕中心的平面为z平面，更新三维模型的节点坐标和显示屏的屏幕坐标。
判断单元32，用于根据该节点坐标集合和屏幕坐标集合判断用户视线是否停留在该显示屏上；若是，则将注视动作作为该用户的脸部动作。
本实施例中，若用户此时在阅读，可以认为脸部动作为注视动作，而若用户此时不在阅读，也即当确定出用户视线并未停留在显示屏上时，可以进一步检测其持续时长，当持续时长到达一定值，比如60秒及以上时间时，为节省电量，电子设备可以进行锁屏操作。
例如，上述判断单元32具体可以用于：
根据该节点坐标集合确定该三维模型中左眼球节点对应的第一节点坐标和第一视线方向、以及右眼球节点对应的的第二节点坐标和第二视线方向；
根据该第一视线方向、第一节点坐标和屏幕坐标集合确定用户左眼在该显示屏所在平面上的第一注视点；
根据该第二视线方向、第二节点坐标和屏幕坐标集合确定用户右眼在该显示屏所在平面上的第二注视点；
根据该第一注视点和第二注视点判断用户视线是否停留在该显示屏上。
本实施例中，可以根据眼球节点和眼睑节点之间的相对位置确定视线方向，该第一注视点即为左眼视线与显示屏所在平面的交点，该第二注视点即为右眼视线与显示屏所在平面的交点。
进一步地，上述判断单元32可以用于：
判断该第一注视点和第二注视点是否位于该显示屏上，且该第一注视点和第二注视点之间的坐标差值是否在预设范围内；
若该第一注视点和第二注视点位于该显示屏上，且该第一注视点和第二注视点之间的坐标差值在预设范围内，则确定用户视线停留在该显示屏上；
若该第一注视点和第二注视点不位于该显示屏上，和/或该第一注视点和第二注视点之间的坐标差值不在预设范围内，则确定用户视线并未停留在该显示屏上。
本实施例中，该预设范围可以人为设定，通常，用户双眼视线需聚焦于一处才能看清文字或者图像，该预设范围主要用于界定用户视线是否聚焦于一处，请参见图4，当第一注视点和第二注视点相隔距离较远(也即超出预设范围)，或者不在显示屏上时，可以认为用户视线并未停留在显示屏上，此时，用户极大可能并未在阅读，当第一注视点和第二注视点相隔较近甚至重叠(也即在预设范围内时)，且在显示屏上时，可以认为用户视线停留在显示屏上，此时，用户极大可能在阅读。
例如，该脸部动作包括动态类型的动作，此时，请参见图9，该第二确定模块30具体可以包括：
第二确定单元33，用于根据该间隔距离和旋转角度确定该三维模型中各节点的节点坐标集合。
本实施例中，可以以显示屏所在平面为xy平面，以垂直显示屏屏幕中心的平面为z平面，基于间隔距离和旋转角度更新三维模型的节点坐标，使三维模型的各坐标参数符合显示屏与实际人脸间的相对位置关系。
监测单元34，用于监测该节点坐标集合中节点坐标是否发生变化；若该节点坐标集合中节点坐标发生变化，则根据变化的节点坐标确定该用户的脸部动作。
本实施例中，一旦用户脸部做出了某个规定动作，比如左右挑眉，左右眨眼、张嘴、抿嘴等，三维模型中对应节点的节点坐标必定会发生变化。该脸部动作可以是眉毛、嘴巴、眼睛等单个脸部部位的动态动作，比如挑眉，眨眼等，也可以是多个脸部部位相结合表达的情绪动作，比如挑眉加张嘴表示惊讶动作，嘴角下拉加皱眉表示难过动作等。
例如，该动态类型的动作包括左眨眼和右眨眼，此时，上述监测单元34进一步可以用于：
根据变化的节点坐标确定对应节点的运动轨迹；
根据该运动轨迹判断用户左眼或者右眼是否发生闭合；
若判断出用户左眼或者右眼发生闭合，则当发生闭合的为左眼时，将左眨眼作为该用户的脸部动作；当发生闭合的为右眼时，将右眨眼作为该用户的脸部动作。
本实施例中，当发生变化的节点为眼睑节点，且眼睑节点的运动轨迹符合闭合动作的轨迹特点时，可以认为用户做了眨眼动作，此时，若是左眼睑节点的运动轨迹符合要求，则脸部动作为左眨眼，若是，右眼睑节点的运动轨迹符合要求，则脸部动作为右眨眼。
(4)第三确定模块40
第三确定模块40，用于根据该脸部动作确定阅读动作指令。
本实施例中，该阅读动作指令可以是从预先设定的多个动作指令中选取出的，不同的脸部动作对应不同的阅读动作指令。
例如，当该脸部动作为注视动作时，该第三确定模块40具体可以用于：
获取该视线在该显示屏上的注视位置；
确定该注视位置所属的屏幕区域，并将确定的该屏幕区域作为目标区域；
监测该视线在该目标区域内的持续停留时长；
根据该目标区域和持续停留时长确定阅读动作指令。
本实施例中，该屏幕区域是预先设定好的，主要通过对显示屏进行划分得到。该注视位置可以根据第一注视点和第二注视点得到，当两者重合时，重合点所在位置即为该注视位置，当两者不重合时，可以任意选取第一注视点或者第二注视点所在的位置作为注视位置，或者选取两者连线间的中点所在的位置作为注视位置。
在阅读过程中，为较好的区分用户的正常阅读动作和有意操作意图，可以结合用户的注视时长来确定是否要执行类似于上下滑动、翻页等阅读动作，其中，该第三确定模块40进一步可以用于：
当该持续停留时长到达第一预设时长，且该目标区域为屏幕上方区域时，获取指示页面上滑的动作指令，并将该指示页面上滑的动作指令作为阅读动作指令；
当该持续停留时长到达该第一预设时长，且该目标区域为屏幕下方区域时，获取指示页面下滑的动作指令，并将该指示页面下滑的动作指令作为阅读动作指令；
当该持续停留时长达到第二预设时长，且该目标区域为屏幕中间区域时，获取指示页面放大的动作指令，并将该指示页面放大的动作指令作为阅读动作指令。
本实施例中，该第一预设时长和第二预设时长需大于用户正常阅读单个字或图形所花费的时长，其数值可以相同或者不同，其中，该第一预设时长和第二预设时长可以是人为设定的定值，比如该第一预设时长可以是2秒及以上时间，该第二预设时长可以是3秒及以上时间，或者其也可以是根据用户以往阅读速度来确定的，通常，阅读速度越快，其第一预设时长和第二预设时长越短，阅读速度越慢，其第一预设时长和第二预设时长越长。
例如，当该脸部动包括左眨眼或右眨眼时，该第三确定模块40具体可以用于：
当该脸部动作为左眨眼时，获取指示章节前翻的动作指令，并将该指示章节前翻的动作指令作为阅读动作指令；
当该脸部动作为右眨眼时，获取指示章节后翻的动作指令，并将该指示章节后翻的动作指令作为阅读动作指令。
本实施例中，章节前翻或后翻具体对应哪个眼睑可以不做限定，章节前翻的动作指令可以对应左眨眼，也可以对应右眨眼。需要说明的是，除了通过左右眨眼来设定章节前翻和后翻的动作指令，还可以通过其他部位的动作来设定，比如通过左右挑眉、张嘴和闭嘴、脸颊左转和右转等单个脸部部位的动态动作来设定，或者通过多个脸部部位相结合表达的情绪动作来设定，比如象征开心动作的嘴角上扬+张嘴可以对应章节前翻，象征难过动作的嘴角下拉+闭嘴可以对应章节后翻，等等，当然，除了章节前翻和后翻的动作指令，还可以有其他阅读动作指令，具体可以根据实际情况而定，此处不做限定。
(5)阅读模块50
阅读模块50，用于根据该阅读动作指令对该显示屏上的显示页面进行相应阅读操作。
本实施例中，当阅读动作指令为页面上滑或下滑或放大时，相应阅读操作主要涉及对当前显示章节的内容进行操作，比如显示当前显示内容所在章节的上一页面内容(也即页面上滑)或者下一页面内容(也即页面下滑)，或者以一定放大比例对当前显示内容的某个部分内容(比如字体或图形)进行放大。当阅读动作指令为章节前翻或后翻时，相应阅读操作主要涉及对当前显示章节的相邻章节内容进行操作，比如显示当前显示内容所在章节的上一章节内容(也即章节前翻)或者下一章节内容(也即章节后翻)。
需要指出的是，当阅读动作指令为页面放大时，可以进一步提示用户需要对哪个部分内容进行放大，此时，用户可以手动选定，也可以通过脸部动作来选定，比如通过注视想要放大的区域来确定，或者可以提前将脸部动作与屏幕各个区域进行关联，通过当前脸部动作和该关联关系来确定。在执行页面放大操作时，该放大内容可以显示在显示屏的任意位置，比如屏幕中间或当前需放大区域等，考虑到正常用户阅读习惯为从左至右，从上往下，为避免遮挡用户未阅读的区域，可以将放大内容放置在当前需放大区域的左边或者上方。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上述可知，本实施例提供的页面阅读装置，通过获取模块10获取用户的脸部信息，该脸部信息包括人脸的脸部图像、以及该脸部图像中每个像素点的深度值，第一确定模块20根据该脸部图像和深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度，之后第二确定模块30根据该三维模型、间隔距离和旋转角度确定该用户的脸部动作，第三确定模块40根据该脸部动作确定阅读动作指令，之后阅读模块50根据该阅读动作指令对该显示屏上的显示页面进行相应阅读操作，从而在漫画或者电子书的阅读过程中，用户能通过控制自身的脸部动作即可实现页面的翻页等阅读操作，无需借助用户双手，方法灵活，提升了用户阅读体验感。
相应的，本发明实施例还提供一种页面阅读系统，包括本发明实施例所提供的任一种页面阅读装置，该页面阅读装置可以集成在电子设备中。
其中，电子设备可以获取用户的脸部信息，该脸部信息包括人脸的脸部图像、以及该脸部图像中每个像素点的深度值；根据该脸部图像和深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度；根据该三维模型、间隔距离和旋转角度确定该用户的脸部动作；根据该脸部动作确定阅读动作指令；根据该阅读动作指令对该显示屏上的显示页面进行相应阅读操作。
以上各个设备的具体实施可参见前面的实施例，在此不再赘述。
由于该图像处理系统可以包括本发明实施例所提供的任一种页面阅读装置，因此，可以实现本发明实施例所提供的任一种页面阅读装置所能实现的有益效果，详见前面的实施例，在此不再赘述。
相应的，本发明实施例还提供一种电子设备，如图10所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、射频(Radio Frequency，RF)电路403、电源404、输入单元405、以及显示单元406等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
RF电路403可用于收发信息过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器401处理；另外，将涉及上行的数据发送给基站。通常，RF电路403包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路403还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobilecommunication)、通用分组无线服务(GPRS，General Packet Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband CodeDivision Multiple Access)、长期演进(LTE，Long Term Evolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
电子设备还包括给各个部件供电的电源404(比如电池)，优选的，电源404可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源404还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元405，该输入单元405可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元405可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器401，并能接收处理器401发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元405还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
该电子设备还可包括显示单元406，该显示单元406可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元406可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器401以确定触摸事件的类型，随后处理器401根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图10中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取用户的脸部信息，该脸部信息包括人脸的脸部图像、以及该脸部图像中每个像素点的深度值；
根据该脸部图像和深度值确定该人脸的三维模型、以及该三维模型的中心节点相对于显示屏的间隔距离和旋转角度；
根据该三维模型、间隔距离和旋转角度确定该用户的脸部动作；
根据该脸部动作确定阅读动作指令；
根据该阅读动作指令对该显示屏上的显示页面进行相应阅读操作。
该电子设备可以实现本发明实施例所提供的任一种页面阅读装置所能实现的有效效果，详见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。
以上对本发明实施例所提供的一种页面阅读方法、装置、存储介质和电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种页面阅读方法，其特征在于，包括：
获取用户的脸部信息，所述脸部信息包括人脸的脸部图像、以及所述脸部图像中每个像素点的深度值；
根据所述脸部图像和深度值确定所述人脸的三维模型、以及所述三维模型的中心节点相对于显示屏的间隔距离和旋转角度；
根据所述三维模型、间隔距离和旋转角度确定所述用户的脸部动作；
根据所述脸部动作确定阅读动作指令；
根据所述阅读动作指令对所述显示屏上的显示页面进行相应阅读操作。
2.根据权利要求1所述的页面阅读方法，其特征在于，所述脸部动作包括静态类型的动作，所述静态类型的动作包括注视动作，所述根据所述三维模型、间隔距离和旋转角度确定所述用户的脸部动作，包括：
根据所述间隔距离和旋转角度确定在同一空间坐标系下，所述三维模型中各节点的节点坐标集合、以及所述显示屏的屏幕坐标集合；
根据所述节点坐标集合和屏幕坐标集合判断用户视线是否停留在所述显示屏上；
若是，则将注视动作作为所述用户的脸部动作。
3.根据权利要求2所述的页面阅读方法，其特征在于，所述根据所述脸部动作确定阅读动作指令，包括：
获取所述视线在所述显示屏上的注视位置；
确定所述注视位置所属的屏幕区域，并将确定的所述屏幕区域作为目标区域；
监测所述视线在所述目标区域内的持续停留时长；
根据所述目标区域和持续停留时长确定阅读动作指令。
4.根据权利要求3所述的页面阅读方法，其特征在于，所述根据所述目标区域和持续停留时长确定目标阅读动作指令，包括：
当所述持续停留时长到达第一预设时长，且所述目标区域为屏幕上方区域时，获取指示页面上滑的动作指令，并将所述指示页面上滑的动作指令作为阅读动作指令；
当所述持续停留时长到达所述第一预设时长，且所述目标区域为屏幕下方区域时，获取指示页面下滑的动作指令，并将所述指示页面下滑的动作指令作为阅读动作指令；
当所述持续停留时长达到第二预设时长，且所述目标区域为屏幕中间区域时，获取指示页面放大的动作指令，并将所述指示页面放大的动作指令作为阅读动作指令。
5.根据权利要求2所述的页面阅读方法，其特征在于，所述根据所述节点坐标集合和屏幕坐标集合判断用户视线是否停留在所述显示屏上，包括：
根据所述节点坐标集合确定所述三维模型中左眼球节点对应的第一节点坐标和第一视线方向、以及右眼球节点对应的的第二节点坐标和第二视线方向；
根据所述第一视线方向、第一节点坐标和屏幕坐标集合确定用户左眼在所述显示屏所在平面上的第一注视点；
根据所述第二视线方向、第二节点坐标和屏幕坐标集合确定用户右眼在所述显示屏所在平面上的第二注视点；
根据所述第一注视点和第二注视点判断用户视线是否停留在所述显示屏上。
6.根据权利要求5所述的页面阅读方法，其特征在于，所述根据所述第一注视点和第二注视点判断用户视线是否停留在所述显示屏上，包括：
判断所述第一注视点和第二注视点是否位于所述显示屏上，且所述第一注视点和第二注视点之间的坐标差值是否在预设范围内；
若所述第一注视点和第二注视点位于所述显示屏上，且所述第一注视点和第二注视点之间的坐标差值在预设范围内，则确定用户视线停留在所述显示屏上；
若所述第一注视点和第二注视点不位于所述显示屏上，和/或所述第一注视点和第二注视点之间的坐标差值不在预设范围内，则确定用户视线并未停留在所述显示屏上。
7.根据权利要求1所述的页面阅读方法，其特征在于，所述脸部动作包括动态类型的动作，所述根据所述三维模型、间隔距离和旋转角度确定所述用户的脸部动作，包括：
根据所述间隔距离和旋转角度确定所述三维模型中各节点的节点坐标集合；
监测所述节点坐标集合中节点坐标是否发生变化；
若所述节点坐标集合中节点坐标发生变化，则根据变化的节点坐标确定所述用户的脸部动作。
8.根据权利要求7所述的页面阅读方法，其特征在于，所述动态类型的动作包括左眨眼和右眨眼，所述根据变化的节点坐标确定所述用户的脸部动作，包括：
根据变化的节点坐标确定对应节点的运动轨迹；
根据所述运动轨迹判断用户左眼或者右眼是否发生闭合；
若判断出用户左眼或者右眼发生闭合，则当发生闭合的为左眼时，将左眨眼作为所述用户的脸部动作；当发生闭合的为右眼时，将右眨眼作为所述用户的脸部动作。
9.根据权利要求7所述的页面阅读方法，其特征在于，所述根据所述脸部动作确定阅读动作指令，包括：
当所述脸部动作为左眨眼时，获取指示章节前翻的动作指令，并将所述指示章节前翻的动作指令作为阅读动作指令；
当所述脸部动作为右眨眼时，获取指示章节后翻的动作指令，并将所述指示章节后翻的动作指令作为阅读动作指令。
10.一种页面阅读装置，其特征在于，包括：
获取模块，用于获取用户的脸部信息，所述脸部信息包括人脸的脸部图像、以及所述脸部图像中每个像素点的深度值；
第一确定模块，用于根据所述脸部图像和深度值确定所述人脸的三维模型、以及所述三维模型的中心节点相对于显示屏的间隔距离和旋转角度；
第二确定模块，用于根据所述三维模型、间隔距离和旋转角度确定所述用户的脸部动作；
第三确定模块，用于根据所述脸部动作确定阅读动作指令；
阅读模块，用于根据所述阅读动作指令对所述显示屏上的显示页面进行相应阅读操作。
11.根据权利要求10所述的页面阅读装置，其特征在于，所述脸部动作包括静态类型的动作，所述静态类型的动作包括注视动作，所述第二确定模块具体包括：
第一确定单元，用于根据所述间隔距离和旋转角度确定在同一空间坐标系下，所述三维模型中各节点的节点坐标集合、以及所述显示屏的屏幕坐标集合；
判断单元，用于根据所述节点坐标集合和屏幕坐标集合判断用户视线是否停留在所述显示屏上；若是，则将注视动作作为所述用户的脸部动作。
12.根据权利要求11所述的页面阅读装置，其特征在于，所述第三确定模块具体用于：
获取所述视线在所述显示屏上的注视位置；
确定所述注视位置所属的屏幕区域，并将确定的所述屏幕区域作为目标区域；
监测所述视线在所述目标区域内的持续停留时长；
根据所述目标区域和持续停留时长确定阅读动作指令。
13.根据权利要求10所述的页面阅读装置，其特征在于，所述脸部动作包括动态类型的动作，所述第二确定模块具体包括：
第二确定单元，用于根据所述间隔距离和旋转角度确定所述三维模型中各节点的节点坐标集合；
监测单元，用于监测所述节点坐标集合中节点坐标是否发生变化；若所述节点坐标集合中节点坐标发生变化，则根据变化的节点坐标确定所述用户的脸部动作。
14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行权利要求1至9任一项所述的页面阅读方法。
15.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于执行权利要求1至9任一项所述的页面阅读方法中的步骤。
CN201910518106.3A 2019-06-14 2019-06-14 页面阅读方法、装置、存储介质及电子设备 Pending CN110231871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910518106.3A CN110231871A (zh) 2019-06-14 2019-06-14 页面阅读方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910518106.3A CN110231871A (zh) 2019-06-14 2019-06-14 页面阅读方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN110231871A true CN110231871A (zh) 2019-09-13

Family

ID=67859312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910518106.3A Pending CN110231871A (zh) 2019-06-14 2019-06-14 页面阅读方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110231871A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技（宁波）有限公司 界面切换方法、装置、存储介质和终端
CN111190527A (zh) * 2019-12-18 2020-05-22 华为技术有限公司 屏幕显示方法和终端设备
CN111782050A (zh) * 2020-07-03 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法和装置、存储介质和电子设备
CN111967327A (zh) * 2020-07-16 2020-11-20 深圳市沃特沃德股份有限公司 阅读状态识别方法、装置、计算机设备和可读存储介质
CN112416126A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 页面滚动控制方法和装置、存储介质及电子设备
CN114879884A (zh) * 2022-04-28 2022-08-09 南京奥拓电子科技有限公司 一种文本智能显示方法及系统
CN115933874A (zh) * 2022-11-23 2023-04-07 深圳市江元智造科技有限公司 一种基于人脸控制的智能滑动控制方法、系统和存储介质
CN116527990A (zh) * 2023-07-05 2023-08-01 深圳市康意数码科技有限公司 一种电视机播放智能控制方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202801569U (zh) * 2012-09-18 2013-03-20 厦门爱登特科技有限公司 一种人体生物特征信息采集仪
CN103197755A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种翻页方法、装置及终端
CN103472915A (zh) * 2013-08-30 2013-12-25 深圳Tcl新技术有限公司 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
CN104035548A (zh) * 2013-03-06 2014-09-10 中国移动通信集团公司 一种翻页的方法及装置
CN104954574A (zh) * 2015-06-23 2015-09-30 上海卓易科技股份有限公司 一种自动操作移动终端的方法及移动终端
CN106648042A (zh) * 2015-11-04 2017-05-10 重庆邮电大学 一种识别控制方法以及装置
CN107797664A (zh) * 2017-10-27 2018-03-13 广东欧珀移动通信有限公司 内容显示方法、装置及电子装置
CN108829242A (zh) * 2018-05-22 2018-11-16 深圳奥比中光科技有限公司 智能终端及其非触控式操作方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103197755A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种翻页方法、装置及终端
CN202801569U (zh) * 2012-09-18 2013-03-20 厦门爱登特科技有限公司 一种人体生物特征信息采集仪
CN104035548A (zh) * 2013-03-06 2014-09-10 中国移动通信集团公司 一种翻页的方法及装置
CN103472915A (zh) * 2013-08-30 2013-12-25 深圳Tcl新技术有限公司 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
CN104954574A (zh) * 2015-06-23 2015-09-30 上海卓易科技股份有限公司 一种自动操作移动终端的方法及移动终端
CN106648042A (zh) * 2015-11-04 2017-05-10 重庆邮电大学 一种识别控制方法以及装置
CN107797664A (zh) * 2017-10-27 2018-03-13 广东欧珀移动通信有限公司 内容显示方法、装置及电子装置
CN108829242A (zh) * 2018-05-22 2018-11-16 深圳奥比中光科技有限公司 智能终端及其非触控式操作方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673724A (zh) * 2019-09-16 2020-01-10 Tcl移动通信科技（宁波）有限公司 界面切换方法、装置、存储介质和终端
CN111190527A (zh) * 2019-12-18 2020-05-22 华为技术有限公司 屏幕显示方法和终端设备
CN111782050A (zh) * 2020-07-03 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法和装置、存储介质和电子设备
CN111967327A (zh) * 2020-07-16 2020-11-20 深圳市沃特沃德股份有限公司 阅读状态识别方法、装置、计算机设备和可读存储介质
CN112416126A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 页面滚动控制方法和装置、存储介质及电子设备
CN114879884A (zh) * 2022-04-28 2022-08-09 南京奥拓电子科技有限公司 一种文本智能显示方法及系统
CN115933874A (zh) * 2022-11-23 2023-04-07 深圳市江元智造科技有限公司 一种基于人脸控制的智能滑动控制方法、系统和存储介质
CN115933874B (zh) * 2022-11-23 2023-08-29 深圳市江元智造科技有限公司 一种基于人脸控制的智能滑动控制方法、系统和存储介质
CN116527990A (zh) * 2023-07-05 2023-08-01 深圳市康意数码科技有限公司 一种电视机播放智能控制方法及系统
CN116527990B (zh) * 2023-07-05 2023-09-26 深圳市康意数码科技有限公司 一种电视机播放智能控制方法及系统

Similar Documents

Publication Publication Date Title
CN110231871A (zh) 页面阅读方法、装置、存储介质及电子设备
CN105487649B (zh) 一种提示方法及移动终端
CN110383570A (zh) 用于确定电池的异常状态的方法和装置
CN104571787B (zh) 一种消息显示方法和通信终端
CN104679381B (zh) 切换聊天窗口的方法及装置
CN108984067A (zh) 一种显示控制方法及终端
CN107784114A (zh) 表情图像的推荐方法、装置、终端及存储介质
EP2879061A2 (en) Method and device for enlarging displayed font
CN106204423B (zh) 一种基于增强现实的图片调整方法、装置及终端
CN104915091B (zh) 一种显示状态栏提示信息的方法和装置
CN109242765A (zh) 一种人脸图像处理方法、装置和存储介质
CN106127829B (zh) 一种增强现实的处理方法、装置及终端
CN106406530B (zh) 一种屏幕显示方法及其移动终端
CN106959761A (zh) 一种终端拍照方法、装置及终端
CN111917918B (zh) 基于增强现实的事件提醒管理方法、装置以及存储介质
CN109710139A (zh) 一种页面处理方法、装置、终端以及存储介质
CN109800045A (zh) 一种显示方法及终端
CN104991699B (zh) 一种视频显示控制的方法和装置
CN112214112A (zh) 参数调节方法及装置
CN109947327A (zh) 一种界面查看方法、可穿戴设备及计算机可读存储介质
CN108958587A (zh) 分屏处理方法、装置、存储介质和电子设备
CN104820546B (zh) 功能信息展示方法和装置
CN109683802A (zh) 一种图标移动方法及终端
CN109460181A (zh) 锁屏壁纸显示方法、装置、移动终端及存储介质
CN109164965A (zh) 移动终端及其缩小屏幕界面的方法、装置和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190913

RJ01 Rejection of invention patent application after publication