CN109584285B - 一种显示内容的控制方法、装置及计算机可读介质 - Google Patents
一种显示内容的控制方法、装置及计算机可读介质 Download PDFInfo
- Publication number
- CN109584285B CN109584285B CN201710908991.7A CN201710908991A CN109584285B CN 109584285 B CN109584285 B CN 109584285B CN 201710908991 A CN201710908991 A CN 201710908991A CN 109584285 B CN109584285 B CN 109584285B
- Authority
- CN
- China
- Prior art keywords
- face
- terminal screen
- relative
- user
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000000007 visual effect Effects 0.000 claims abstract description 51
- 230000008859 change Effects 0.000 claims description 19
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000007405 data analysis Methods 0.000 claims description 10
- 210000001508 eye Anatomy 0.000 description 26
- 210000003205 muscle Anatomy 0.000 description 22
- 210000005252 bulbus oculi Anatomy 0.000 description 17
- 210000004709 eyebrow Anatomy 0.000 description 10
- 210000001331 nose Anatomy 0.000 description 10
- 210000004279 orbit Anatomy 0.000 description 10
- 210000001061 forehead Anatomy 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 210000003128 head Anatomy 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000001125 extrusion Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明提供了一种显示内容的控制方法、装置及计算机可读介质，其中显示内容的控制方法包括：分别采集传感器数据和人脸图像；根据传感器数据，计算人脸与终端屏幕的相对位置，其中，人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度；在人脸图像中提取人脸特征数据，根据人脸特征数据，结合人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号；根据视角调整信号和景深调整信号，控制终端屏幕的显示内容。本发明能根据人脸图像，结合人脸与终端屏幕的相对位置，得到视角调整信号和景深调整信号，并以此控制终端屏幕的显示内容，提高了用户体验。
Description
技术领域
本发明涉及通讯技术领域，特别涉及一种显示内容的控制方法、装置及计算机可读介质。
背景技术
显示内容的控制方法是指对终端显示装置中的显示内容进行控制的方法。目前，显示内容的控制的方法主要分为主动式和被动式。其中，被动式是由终端提供人机交互接口，由用户进行接触式的操作来控制显示；主动式是利用终端中的各种传感器，主动检测用户行为，并根据设定的预置来判断和实现对显示的控制。主动式的显示控制方法由于可以获得更好的用户体验是现在研究的主流方向，被普遍应用于手机、VR终端等产品领域。
其中，在主动式控制方法中，主要的技术差异是对用户行为的检测和分析的方法上，具有代表性的有两类，一类是根据用户头部和身体的运动来控制终端显示，如CN201610527481.0《虚拟现实系统和虚拟现实眼镜的控制方法》；一类是根据对眼球运动方向来控制终端显示，如201510159113.0《带眼球跟踪虚拟现实成像系统和方法》。
CN201610527481.0《虚拟现实系统和虚拟现实眼镜的控制方法》由虚拟现实眼镜和终端两部分构成。其中，虚拟现实眼镜是终端的载体，在使用时，虚拟现实眼镜穿戴在用户的头部，终端被放置并固定在虚拟现实眼镜内部；终端内包含速度传感器和陀螺仪等传感设备，当用户头部运动时，这些传感器会产生终端运动的相关参数，这些参数会传递给处理器计算分析，并最终对终端显示的内容进行控制。因此，相对于手机这样成熟的终端，该虚拟现实系统实际需要实现的就是虚拟现实眼镜，而虚拟现实眼镜只是作为用户头部和终端间的固件。
使用CN201610527481.0实现的终端，虽然可以实现控制显示的效果，但它存在以下缺点：
1.该专利产品需要用户穿戴头盔类设备，这种额外的穿戴设备会影响用户的使用舒适度。
2.该专利产品是依据对用户头部和身体方向的检测结果来控制显示的，这就要求用户在相对空旷的场景中使用，对用户的使用有环境限制。
3.该专利产品只能控制水平和垂直方向的转动效果，仅能控制显示视角的变化。
201510159113.0《带眼球跟踪虚拟现实成像系统和方法》由头盔、眼球扫描仪、眼皮跟踪装置、接收模块、处理模块和显示装置构成。其中，头盔是整个虚拟现实系统的载体，其他的模块和组件都是被安装在头盔上的；眼球扫描模块是用于检测用户眼球的虹膜及视网膜信息；眼皮跟踪装置用于检测用户眼皮动作形态信息；接收模块用于接收眼球扫描仪和眼皮跟踪装置的检测数据；处理模块用于比对和分析眼球运动信息，判断眼球的运动状态；显示装置根据眼球的运动状态进行信息显示。
使用201510159113.0实现的终端，虽然可以实现控制显示的效果，但它存在以下缺点：
1.该专利产品需要用户穿戴头盔类设备，这种额外的穿戴设备会影响用户的使用舒适度。
2.该专利产品只能对水平方向进行检测，无法实现对视角全范围及景深的控制。
上述两类方法，或者需要穿戴设备，影响用户的舒适度；或者只能对水平方向进行检测，无法实现对视角全范围及景深的控制，用户的体验较差。
发明内容
为了无需穿戴设备就能实现对视角全范围及景深的控制，本发明提供了一种显示内容的控制方法、装置及计算机可读介质。
本发明提供的显示内容的控制方法，包括：
分别采集传感器数据和人脸图像；
根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度；
在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号；
根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容。
可选的，在本发明所述的显示内容的控制方法中，在根据所述传感器数据，计算人脸与终端屏幕的相对位置之后，还包括：
判断所述传感器数据/传感器数据的变化是否超过预设的门限；
当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。
具体的，在本发明所述的显示内容的控制方法中，计算人脸与终端屏幕的相对位置，包括：
根据采集到的终端屏幕与人脸的距离，得到人脸与终端屏幕的相对距离；
根据采集到的终端的姿态信息，得到终端屏幕的法向方向和切向方向；
根据采集到的人脸图像的多个特征点，得到特征面；
计算所述特征面在所述法向方向和切向方向上的偏转角度，得到人脸与终端屏幕的相对角度。
具体的，在本发明所述的显示内容的控制方法中，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，得到视角调整信号，包括：
根据所述人脸特征数据，计算用户视线相对人脸的角度；
根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；
利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；
根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号。
具体的，在本发明所述的显示内容的控制方法中，根据所述人脸特征数据，结合所述人脸与终端屏幕与的相对位置，得到景深调整信号，包括：
分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。
本发明还提供了一种显示内容的控制装置，包括采集模块、相对位置分析模块、数据分析模块、及显示模块：
采集模块，用于分别采集传感器数据和人脸图像；
相对位置分析模块，用于根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度；
数据分析模块，用于在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号；
显示模块，用于根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容。
进一步的，在本发明所述的显示内容的控制装置中，所述相对位置分析模块，还用于：
判断所述传感器数据/传感器数据的变化是否超过预设的门限；
当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。
具体的，在本发明所述的显示内容的控制装置中，所述相对位置分析模块具体用于：
根据采集到的终端屏幕与人脸的距离，得到人脸与终端屏幕的相对距离；
根据采集到的终端的姿态信息，得到终端屏幕的法向方向和切向方向；
根据采集到的人脸图像的多个特征点，得到特征面；
计算所述特征面在所述法向方向和切向方向上的偏转角度，得到人脸与终端屏幕的相对角度。
具体的，在本发明所述的显示内容的控制装置中，所述数据分析模块具体用于：
根据所述人脸特征数据，计算用户视线相对人脸的角度；
根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；
利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；
根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号。
进一步的，在本发明所述的显示内容的控制装置中，所述数据分析模块具体用于：
分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有显示内容的控制程序，所述显示内容的控制程序被处理器执行时实现如上所述的显示内容的控制方法的步骤。
本发明的有益效果如下：
本发明实施例提供的显示内容的控制方法、装置及计算机可读介质，均能根据人脸图像，结合人脸与终端屏幕的相对位置，得到视角调整信号和景深调整信号，并以此控制终端屏幕的显示内容，同时，本发明实施例提供的显示内容的控制装置，无须进行穿戴，提高了用户体验。
附图说明
图1是本发明方法实施例显示内容控制方法的流程图；
图2是VR终端显示内容控制方法的流程示意图；
图3是本发明装置实施例显示内容控制装置的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了为了无需穿戴设备就能实现对视角全范围及景深的控制，增加用户体验，本发明提供了一种显示内容的控制方法、装置及计算机可读介质，以下结合附图对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。
显示内容的控制方法主要实现的是根据用户的行为、动态的调整显示的视角和景深，实现显示视角和景深向用户预期的目标调整。其中，核心内容是对用户意愿的分析方法。通常，用户头部、身体和眼球的运动，都是对用户意愿的直接反应，此外，用户的表情的变化也是其意愿的反应，因此，通过对用户身体、器官的运动，或者对用户表情的分析，理论上是可以作为显示控制的数据源。
根据本发明的方法实施例，提供了一种显示内容的控制方法，图1是本发明方法实施例显示内容控制方法的流程图，如图1所示，本发明方法实施例的显示内容的控制方法，包括以下步骤：
S101：分别采集传感器数据和人脸图像。
具体的，所述传感器数据包括由加速度计、陀螺仪、距离传感器采集的数据。
S102：根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度。
可选的，在本发明方法实施例中，在根据所述传感器数据，计算人脸与终端屏幕的相对位置之后，还包括：
判断所述传感器数据/传感器数据的变化是否超过预设的门限；
当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。
具体的，计算人脸与终端屏幕的相对位置，包括以下步骤：
根据采集到的终端屏幕与人脸的距离，得到人脸与终端屏幕的相对距离；
根据采集到的终端的姿态信息，得到终端屏幕的法向方向和切向方向；
根据采集到的人脸图像的多个特征点，得到特征面；
计算所述特征面在所述法向方向和切向方向上的偏转角度，得到人脸与终端屏幕的相对角度。
更加具体的，所述人脸的多个特征点可以为人脸的双眼眼角和鼻尖。人类的脸部结构中，双眼眼角和鼻尖可以近似构成一个等腰三角形，因此，当人脸与终端屏幕法线垂直时，也应该是一个三角形，随着用户脸部的运动，这个三角形结构也会随之改变，根据三角形的三边长度的变化，可以计算出在立体空间中，三角形在法向方向和切向方法的偏转角度，以此，可以得到用户直视前方时人脸与终端屏幕的相对角度。
S103：在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号
具体的，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，得到视角调整信号，包括以下步骤：
根据所述人脸特征数据，计算用户视线相对人脸的角度；
根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；
利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；
根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号。
具体的，根据所述人脸特征数据，结合所述人脸与终端屏幕与的相对位置，得到景深调整信号，包括以下步骤：
分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。
作为一个实例，所述人脸特征数据包括以下中的一种或几种：双眼眼球相对眼角的距离、眼眶与眼球构成的图形的形态、眉毛的形态、额头肌肉纹理特征、眼眶肌肉纹理特征、鼻子肌肉纹理特征、眉毛与发际线的距离。
基于上述人脸特征数据的一个实例，根据所述人脸特征数据，计算用户视线相对人脸的角度，包括以下步骤：根据双眼眼球相对眼角的距离、及眼眶与眼球构成的图形的形态，计算用户视线相对人脸的角度。
更加具体的，根据双眼眼球相对眼角的距离、及眼眶与眼球构成的图形的形态，计算用户视线相对人脸的角度，包括以下步骤：
根据双眼眼球相对眼角的距离，计算用户视线相对人脸的横向角度；
根据眼眶与眼球构成的图形的形态，计算用户视线相对人脸的垂直角度；
根据所述用户视线相对人脸的横向角度、及所述用户视线相对人脸的垂直角度，得到用户视线相对人脸的角度。
因为在人类眼部结构中，眼球是对称相对居中的，当眼球左右偏转时，双眼眼球相对各自眼角的距离会发生此消彼长的变化，以此可以计算出用户视线相对脸部横向角度。当眼球上下偏转时，眼球和眼眶的形态会发生改变，根据显示眼眶的形态和眼球的显示比例计算用户视线相对脸部的垂直角度。
对景深的控制方法，本发明主要是通过对用户眼部表情分析来实现的。人类的眼部表情主要是有皱眉肌、眼轮匝肌、鼻肌和额肌构成，反映在表情中就是眉毛、眼眶、鼻子和额头的肌肉变化，肌肉的力度趋势。例如，当用户眉毛和额头肌肉向内挤压，眼眶和鼻子肌肉收缩时，保持超过预置时间，则可判定用户有意愿拉近景深。当眉毛和额头肌肉向外挤压，眼眶和鼻子肌肉扩张时，保持超过预置时间，则可判定用户有意愿推远景深。
基于上述人脸特征数据的一个实例，分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号中，人脸特征数据的变化趋势包括以下中的一项或几项：眉毛的形态和额头肌肉纹理的挤压或趋势(或者眉毛肌肉纹理和额头肌肉纹理的挤压或趋势)、眉毛与发际线的距离变化、眼眶肌肉纹理特征和鼻子肌肉纹理特征的收缩或扩张趋势。
S104：根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容。
本发明实施例提供的显示内容的控制方法，能根据人脸图像，结合人脸与终端屏幕的相对位置，得到视角调整信号和景深调整信号，并以此控制终端屏幕的显示内容，提供了用户体验。
为了更加详细的说明本发明方法实施例的显示内容的控制方法，给出实例1。在本实例中，景深指虚拟视频显示的远近程度；视角指虚拟视频显示的方向；姿态指在空间中的不同平面的角度。
图2是VR终端显示内容控制方法的流程示意图，如图2所示，本发明VR终端显示内容的控制方法包括下列步骤：
步骤S201：在启动VR视屏播放后，对各传感器进行检查，并采集相关数据，计算终端屏幕与用户脸部的相对位置，并初始化视屏播放的视角和景深。
判断C201：系统检查加速度计、距离传感器和陀螺仪的数据是否超过预置门限，如果超过则触发S202，否则触发S203。
步骤S202：根据传感器数据计算终端屏幕与用户脸部的相对位置，作为景深和视角控制的计算参数。
步骤S203：根据摄像装置采集的图像，提取用户脸部特征数据，包括眼角与鼻尖构成的特征三角形，眼眶与眼球构成的图形，眉毛的形态，眼眶的形态，额头肌肉纹理特征，眉毛与发际线的距离，鼻子肌肉纹理特征等。
步骤S204：根据用户脸部特征参数，计算眉毛和额头肌肉问题的挤压趋势、眉毛与发际线的距离变化、眼眶和鼻子肌肉纹理收缩和扩张趋势，依据预设参数计算景深控制的方向和速度。
步骤S205：根据用户脸部特征参数，计算用户脸部平面与终端屏幕的夹角，再根据双眼相对眼眶的位置，以及眼球和眼眶的形态计算眼睛视线相对用户脸部平面的角度。在结合两个空间角度数据计算用户视线相对显示平面的相对角度，结合终端屏幕与用户脸部的相对位置，计算用户视点在终端显示平面上的位置，依据预设参数，分析视角变化的方向和速度。
步骤S206：将景深和视角的调整参数转换成响应的控制信号，控制显示装置调整显示内容。
判断C202：判断是否检测到退出信号，如果未检测到退出信号则执行C201，否则退出。
目前，显示内容的控制方法主要依靠穿戴方式实现，主要的目的是为了固定终端与用户的位置，并使终端能够跟随用户的运动，以便终端传感器感知用户的运动类型。在本发明中，采用了相对姿态的方法，终端利用加速度计、陀螺仪、摄像装置和距离传感器等传感器装置，测量和分析用户与终端屏幕间的相对位置和姿态，分析用户的相对运动类型，以此来控制终端显示。
与本发明的方法实施例相对应，提供了一种显示内容的控制装置，图3是本发明装置实施例显示内容控制装置的结构示意图，如图3所示，本发明装置实施例的显示内容的控制装置，包括：采集模块30、相对位置分析模块32、数据分析模块34、及显示模块36：
所述采集模块30，用于分别采集传感器数据和人脸图像。
具体的，所述采集模块包括加速度计、陀螺仪、距离传感器及摄像装置。利用距离传感器采集终端与人脸的距离；通过陀螺仪采集终端的姿态信息；通过摄像装置采集人脸图像；通过加速度计采集终端的运动信息。
所述相对位置分析模块32，用于根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度。
进一步的，在本发明所述的显示内容的控制装置中，所述相对位置分析模块32，还用于：
判断所述传感器数据/传感器数据的变化是否超过预设的门限；
当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。
所述数据分析模块34，用于在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号。
具体的，所述数据分析模块34包括人脸分析模块、视角分析控制模块、及景深分析控制模块。
所述人脸分析模块，用于在所述人脸图像中提取人脸特征数据。
所述视角分析控制模块，用于：
根据所述人脸特征数据，计算用户视线相对人脸的角度；
根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；
利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；
根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号。
景深分析控制模块，用于：
分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。
所述显示模块36，用于根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容。
本发明实施例提供的显示内容的控制装置，无须进行穿戴，仅根据人脸图像，结合人脸与终端屏幕的相对位置，就能得到视角调整信号和景深调整信号，并以此控制终端屏幕的显示内容，提高了用户体验。
与本发明方法实施例相对应，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有显示内容的控制程序，所述显示内容的控制程序被处理器执行时实现如上所述的显示内容的控制方法的步骤。
本发明实施例提供的计算机可读存储介质，根据人脸图像，结合人脸与终端屏幕的相对位置，就能得到视角调整信号和景深调整信号，并以此控制终端屏幕的显示内容，提高了用户体验。
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (9)
1.一种显示内容的控制方法，应用于终端，其特征在于，包括：
分别采集传感器数据和人脸图像；
根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度；
在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号；
根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容；
其中，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，得到视角调整信号，包括：根据所述人脸特征数据，计算用户视线相对人脸的角度；根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号。
2.如权利要求1所述的显示内容的控制方法，其特征在于，在根据所述传感器数据，计算人脸与终端屏幕的相对位置之后，还包括：
判断所述传感器数据/传感器数据的变化是否超过预设的门限；
当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。
3.如权利要求1或2所述的显示内容的控制方法，其特征在于，计算人脸与终端屏幕的相对位置，包括：
根据采集到的终端屏幕与人脸的距离，得到人脸与终端屏幕的相对距离；
根据采集到的终端的姿态信息，得到终端屏幕的法向方向和切向方向；
根据采集到的人脸图像的多个特征点，得到特征面；
计算所述特征面在所述法向方向和切向方向上的偏转角度，得到人脸与终端屏幕的相对角度。
4.如权利要求1所述的显示内容的控制方法，其特征在于，根据所述人脸特征数据，结合所述人脸与终端屏幕与的相对位置，得到景深调整信号，包括：
分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。
5.一种显示内容的控制装置，其特征在于，包括：
采集模块，用于分别采集传感器数据和人脸图像；
相对位置分析模块，用于根据所述传感器数据，计算人脸与终端屏幕的相对位置，其中，所述人脸与终端屏幕的相对位置包括人脸与终端屏幕的相对距离和相对角度；
数据分析模块，用于在所述人脸图像中提取人脸特征数据，根据所述人脸特征数据，结合所述人脸与终端屏幕的相对位置，分别得到视角调整信号和景深调整信号；所述数据分析模块具体用于：根据所述人脸特征数据，计算用户视线相对人脸的角度；根据所述人脸与终端屏幕的相对角度、及所述用户视线相对人脸的角度得到用户视线相对终端屏幕的角度；利用所述用户视线相对终端屏幕的角度、及所述人脸与终端屏幕与的相对位置，得到用户视线在终端屏幕上的位置；根据所述用户视线在终端屏幕上的位置，判断用户对视角的调整需求，得到视角调整信号；
显示模块，用于根据所述视角调整信号和景深调整信号，控制终端屏幕的显示内容。
6.如权利要求5所述的显示内容的控制装置，其特征在于，所述相对位置分析模块，还用于：
判断所述传感器数据/传感器数据的变化是否超过预设的门限；
当超过预设的门限时，重新计算人脸与终端屏幕的相对位置。
7.如权利要求5或6所述的显示内容的控制装置，其特征在于，所述相对位置分析模块具体用于：
根据采集到的终端屏幕与人脸的距离，得到人脸与终端屏幕的相对距离；
根据采集到的终端的姿态信息，得到终端屏幕的法向方向和切向方向；
根据采集到的人脸图像的多个特征点，得到特征面；
计算所述特征面在所述法向方向和切向方向上的偏转角度，得到人脸与终端屏幕的相对角度。
8.如权利要求5所述的显示内容的控制装置，其特征在于，所述数据分析模块具体用于：
分析人脸特征数据的变化趋势，结合所述人脸与终端屏幕与的相对位置，判断用户对景深的调整需求，得到景深调整信号。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有显示内容的控制程序，所述显示内容的控制程序被处理器执行时实现如权利要求1-4中任一项所述的显示内容的控制方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710908991.7A CN109584285B (zh) | 2017-09-29 | 2017-09-29 | 一种显示内容的控制方法、装置及计算机可读介质 |
| PCT/CN2018/108320 WO2019062852A1 (zh) | 2017-09-29 | 2018-09-28 | 显示内容的控制方法、装置及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710908991.7A CN109584285B (zh) | 2017-09-29 | 2017-09-29 | 一种显示内容的控制方法、装置及计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109584285A CN109584285A (zh) | 2019-04-05 |
| CN109584285B true CN109584285B (zh) | 2024-03-29 |
Family
ID=65900842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710908991.7A Active CN109584285B (zh) | 2017-09-29 | 2017-09-29 | 一种显示内容的控制方法、装置及计算机可读介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109584285B (zh) |
| WO (1) | WO2019062852A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111931742A (zh) * | 2020-09-30 | 2020-11-13 | 苏宁金融科技(南京)有限公司 | 一种app登录验证方法、装置及计算机可读存储介质 |
| CN113377216A (zh) * | 2021-06-24 | 2021-09-10 | 深圳市梵盛达技术有限公司 | 一种温度计数据传输方法、装置、温度计及存储介质 |
| CN115933874B (zh) * | 2022-11-23 | 2023-08-29 | 深圳市江元智造科技有限公司 | 一种基于人脸控制的智能滑动控制方法、系统和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102917232A (zh) * | 2012-10-23 | 2013-02-06 | 深圳创维－Rgb电子有限公司 | 基于人脸识别的3d显示自适应调节方法和装置 |
| CN103248822A (zh) * | 2013-03-29 | 2013-08-14 | 东莞宇龙通信科技有限公司 | 摄像终端的对焦方法及摄像终端 |
| CN103412647A (zh) * | 2013-08-13 | 2013-11-27 | 广东欧珀移动通信有限公司 | 一种人脸识别的页面显示控制方法及移动终端 |
| CN104581113A (zh) * | 2014-12-03 | 2015-04-29 | 深圳市亿思达科技集团有限公司 | 基于观看角度的自适应全息显示方法及全息显示装置 |
| EP3029935A1 (en) * | 2014-12-03 | 2016-06-08 | Shenzhen Estar Technology Group Co., Ltd | Holographic displaying method and device based on human eyes tracking |
| CN107132920A (zh) * | 2017-05-03 | 2017-09-05 | 三星电子（中国）研发中心 | 一种屏幕内容视图角度调整方法和装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101989126B (zh) * | 2009-08-07 | 2015-02-25 | 深圳富泰宏精密工业有限公司 | 手持式电子装置及其屏幕画面自动旋转方法 |
| AU2011364912B2 (en) * | 2011-04-06 | 2014-03-20 | Hisense Electric Co., Ltd | Method,device,system,television and stereo glasses for adjusting stereo image |
| CN102752438B (zh) * | 2011-04-20 | 2014-08-13 | 中兴通讯股份有限公司 | 自动调节终端界面显示的方法及装置 |
| WO2013168173A1 (en) * | 2012-05-11 | 2013-11-14 | Umoove Services Ltd. | Gaze-based automatic scrolling |
| CN106843821A (zh) * | 2015-12-07 | 2017-06-13 | 百度在线网络技术（北京）有限公司 | 自动调整屏幕的方法和装置 |
-
2017
- 2017-09-29 CN CN201710908991.7A patent/CN109584285B/zh active Active
-
2018
- 2018-09-28 WO PCT/CN2018/108320 patent/WO2019062852A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102917232A (zh) * | 2012-10-23 | 2013-02-06 | 深圳创维－Rgb电子有限公司 | 基于人脸识别的3d显示自适应调节方法和装置 |
| CN103248822A (zh) * | 2013-03-29 | 2013-08-14 | 东莞宇龙通信科技有限公司 | 摄像终端的对焦方法及摄像终端 |
| CN103412647A (zh) * | 2013-08-13 | 2013-11-27 | 广东欧珀移动通信有限公司 | 一种人脸识别的页面显示控制方法及移动终端 |
| CN104581113A (zh) * | 2014-12-03 | 2015-04-29 | 深圳市亿思达科技集团有限公司 | 基于观看角度的自适应全息显示方法及全息显示装置 |
| EP3029935A1 (en) * | 2014-12-03 | 2016-06-08 | Shenzhen Estar Technology Group Co., Ltd | Holographic displaying method and device based on human eyes tracking |
| CN107132920A (zh) * | 2017-05-03 | 2017-09-05 | 三星电子（中国）研发中心 | 一种屏幕内容视图角度调整方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 曹彦珏 ; 安博文 ; 李启明 ; .基于后处理的实时景深模拟与应用.计算机应用.2015,(05),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109584285A (zh) | 2019-04-05 |
| WO2019062852A1 (zh) | 2019-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11836289B2 (en) | Use of eye tracking to adjust region-of-interest (ROI) for compressing images for transmission | |
| EP3807710B1 (en) | Augmented reality display with frame modulation functionality | |
| CN106873778B (zh) | 一种应用的运行控制方法、装置和虚拟现实设备 | |
| US10169846B2 (en) | Selective peripheral vision filtering in a foveated rendering system | |
| US10817051B2 (en) | Electronic contact lenses and an image system comprising the same | |
| KR101633057B1 (ko) | 헤드 마운트 디스플레이 시스템을 위한 얼굴 모션 캡쳐 방법 | |
| CN109584285B (zh) | 一种显示内容的控制方法、装置及计算机可读介质 | |
| CN110050251B (zh) | 向用户显示引导指示符 | |
| US11609428B2 (en) | Information processing apparatus and information processing method | |
| EP3120294A1 (en) | System and method for motion capture | |
| KR20160046495A (ko) | 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법 | |
| KR101892735B1 (ko) | 직관적인 상호작용 장치 및 방법 | |
| WO2019067903A1 (en) | HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION | |
| CN110913751A (zh) | 具有滑动检测和校正功能的可穿戴眼睛跟踪系统 | |
| KR20120060978A (ko) | 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법 | |
| CN114391117A (zh) | 眼睛跟踪延迟增强 | |
| US20220291744A1 (en) | Display processing device, display processing method, and recording medium | |
| US20200341284A1 (en) | Information processing apparatus, information processing method, and recording medium | |
| CN107422844A (zh) | 一种信息处理方法及电子设备 | |
| CN110858095A (zh) | 可由头部操控的电子装置与其操作方法 | |
| CN114661152A (zh) | 一种降低视觉疲劳的ar显示控制系统及方法 | |
| CN112738498B (zh) | 一种虚拟游览系统及方法 | |
| US20220124256A1 (en) | Conditional display of object characteristics | |
| EP3910403B1 (en) | Gaze tracking apparatus and systems | |
| US20240160287A1 (en) | Optical sightline tracking for a wearable system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20191122 Address after: 518057 Nanshan District science and Technology Industrial Park, Guangdong high tech Industrial Park, ZTE building Applicant after: ZTE Corp. Address before: 201203 No. 889 blue wave road, Zhangjiang hi tech park, Shanghai, Pudong New Area Applicant before: Shanghai Zhongxing Software Co.,Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |