CN115543135A - 显示屏幕的控制方法、装置及设备 - Google Patents
显示屏幕的控制方法、装置及设备 Download PDFInfo
- Publication number
- CN115543135A CN115543135A CN202110732489.1A CN202110732489A CN115543135A CN 115543135 A CN115543135 A CN 115543135A CN 202110732489 A CN202110732489 A CN 202110732489A CN 115543135 A CN115543135 A CN 115543135A
- Authority
- CN
- China
- Prior art keywords
- determining
- control
- display screen
- area
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 210000001508 eye Anatomy 0.000 claims description 55
- 238000004590 computer program Methods 0.000 claims description 23
- 230000014509 gene expression Effects 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 claims description 2
- 238000005452 bending Methods 0.000 abstract description 4
- 230000009191 jumping Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000007477 logistic regression Methods 0.000 description 3
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供一种显示屏幕的控制方法、装置及设备，通过获取摄像装置采集得到的显示屏幕前方的第一图像，其中第一图像中包括用户的人脸图像，根据人脸图像确定用户的人脸朝向，进而根据人脸朝向在显示屏幕中确定第一区域；然后根据人脸图像确定用户的眼睛注视信息，进而根据眼睛注视信息在第一区域中确定第二区域；最后确定第二区域中包括的控制控件，并根据控制控件对显示屏幕进行控制操作，如此通过显示屏幕前方的用户的人脸朝向以及眼睛注视信息即可控制操作显示屏幕，无需弯腰或者起跳等大幅度动作，操作灵活方便。
Description
技术领域
本申请涉及电子设备技术领域，尤其涉及一种显示屏幕的控制方法、装置及设备。
背景技术
智能试衣镜上设置有摄像装置，可以通过摄像装置获取试衣镜前的图像，并显示在试衣镜上。试衣镜上显示有多个功能键，例如，拍照、效果对比、删除等，用户可以对功能键进行操作。
在相关技术中，为了更好的展示图像，试衣镜的屏幕较大，其功能按键通常设置在其边缘固定的位置，身高较高的成年人需要弯腰选择屏幕下方的功能键，操作幅度较大；而身高较矮的儿童在不借助工具的情况下无法选择屏幕上方的功能键，导致对试衣镜控制的灵活性差。
有鉴于此，本申请提供一种显示屏幕的控制方法、装置及设备。
发明内容
本申请实施例提供一种显示屏幕的控制方法、装置及设备，用于解决现有技术中试衣镜的操作性差的技术问题。
第一方面，本申请实施例提供一种显示屏幕的控制方法，该方法包括：获取摄像装置采集得到的所述显示屏幕前方的第一图像，所述第一图像中包括用户的人脸图像；
根据所述人脸图像确定所述用户的人脸朝向，并根据所述人脸朝向在所述显示屏幕中确定第一区域；
根据所述人脸图像确定所述用户的眼睛注视信息，并根据所述眼睛注视信息在所述第一区域中确定第二区域；
确定所述第二区域中包括的控制控件，并根据所述控制控件对所述显示屏幕进行控制操作。
在一种可能的实施方式中，根据所述控制控件对所述显示屏幕进行控制操作，包括：
确定所述第二区域中包括的控制控件的数量；
若所述数量为1，则根据所述控制控件对所述显示屏幕进行控制操作；
若所述数量大于1，则在所述第二区域的控制控件中确定目标控制控件，并根据所述目标控制控件对所述显示屏幕进行控制操作
在一种可能的实施方式中，在所述第二区域的控制控件中确定目标控制控件，包括：
获取所述摄像装置采集得到的所述用户的多张嘴部图像；
根据所述多张嘴部图像确定文本信息；
根据所述文本信息，在所述第二区域的控制控件中确定所述目标控制控件。
在一种可能的实施方式中，根据所述多张嘴部图像确定文本信息，包括：
分别在每张嘴部图像中提取多个关键点；
根据所述多张嘴部图像中的多个关键点，确定所述用户的嘴部的运动信息；
根据所述用户的嘴部的运动信息，确定所述文本信息。
在一种可能的实施方式中，根据所述人脸图像确定所述用户的人脸朝向，包括：
在所述人脸图像中提取多个关键点；
根据所述多个关键点确定所述人脸图像的横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息，所述横轴位置为所述人脸图像中双眼所在的横向轴线的位置，所述纵轴位置为所述人脸图像中下巴中心和鼻子中心所在的纵向轴线的位置；
根据所述横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息，确定所述用户的人脸朝向。
在一种可能的实施方式中，根据所述眼睛注视信息在所述第一区域中确定第二区域之后，还包括：
确定所述第二区域对应的标注框；
在所述显示屏幕的所述第二区域的位置显示所述标注框。
第二方面，本申请实施例提供一种显示屏幕的控制装置，所述显示屏幕的控制装置包括获取模块、第一区域确定模块、第二区域确定模块以及控制模块，其中：
所述获取模块用于，获取摄像装置采集得到的所述显示屏幕前方的第一图像，所述第一图像中包括用户的人脸图像；
所述第一区域确定模块用于，根据所述人脸图像确定所述用户的人脸朝向，并根据所述人脸朝向在所述显示屏幕中确定第一区域；
所述第二区域确定模块用于，根据所述人脸图像确定所述用户的眼睛注视信息，并根据所述眼睛注视信息在所述第一区域中确定第二区域；
所述控制模块用于，确定所述第二区域中包括的控制控件，并根据所述控制控件对所述显示屏幕进行控制操作。
在一种可能的实施方式中，所述控制模块具体用于：
确定所述第二区域中包括的控制控件的数量；
若所述数量为1，则根据所述控制控件对所述显示屏幕进行控制操作；
若所述数量大于1，则在所述第二区域的控制控件中确定目标控制控件，并根据所述目标控制控件对所述显示屏幕进行控制操作。
在一种可能的实施方式中，所述控制模块具体用于：
获取所述摄像装置采集得到的所述用户的多张嘴部图像；
根据所述多张嘴部图像确定文本信息；
根据所述文本信息，在所述第二区域的控制控件中确定所述目标控制控件。
在一种可能的实施方式中，所述控制模块具体用于：
分别在每张嘴部图像中提取多个关键点；
根据所述多张嘴部图像中的多个关键点，确定所述用户的嘴部的运动信息；
根据所述用户的嘴部的运动信息，确定所述文本信息。
在一种可能的实施方式中，所述第一区域确定模块具体用于：
在所述人脸图像中提取多个关键点；
根据所述多个关键点确定所述人脸图像的横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息，所述横轴位置为所述人脸图像中双眼所在的横向轴线的位置，所述纵轴位置为所述人脸图像中下巴中心和鼻子中心所在的纵向轴线的位置；
根据所述横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息，确定所述用户的人脸朝向。
在一种可能的实施方式中，所述第二区域确定模块还用于，确定所述第二区域对应的标注框；
在所述显示屏幕的所述第二区域的位置显示所述标注框。
第三方面，本申请实施例提供一种显示屏幕的控制设备，包括：处理器、存储器；
所述存储器存储计算机程序；
所述处理器执行所述存储器存储的计算机程序，使得所述处理器执行如第一方面任一项所述的显示屏幕的控制方法。
第四方面，本申请实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的显示屏幕的控制方法的步骤。
第五方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行时实现如第一方面所述的显示屏幕的控制方法。
第六方面，本申请实施例还提供一种显示屏幕，其包括第三方面所述的显示屏幕的控制设备以及显示面板。
本申请实施例提供一种显示屏幕的控制方法、装置及设备，通过获取摄像装置采集得到的显示屏幕前方的第一图像，其中第一图像中包括用户的人脸图像，根据人脸图像确定用户的人脸朝向，进而根据人脸朝向在显示屏幕中确定第一区域；然后根据人脸图像确定用户的眼睛注视信息，进而根据眼睛注视信息在第一区域中确定第二区域；最后确定第二区域中包括的控制控件，并根据控制控件对显示屏幕进行控制操作，如此通过显示屏幕前方的用户的人脸朝向以及眼睛注视信息即可控制操作显示屏幕，无需弯腰或者起跳等大幅度动作，操作灵活方便。
附图说明
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的一种显示屏幕的控制方法的流程示意图；
图3为本申请实施例提供的另一种显示屏幕的控制方法的流程示意图；
图4为本申请实施例提供的一种人脸图像中关键点的示意图；
图5为本申请实施例提供的一种显示屏幕的控制装置的结构示意图；
图6为本申请实施例提供的显示屏幕的控制设备的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面，的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
图1为本申请实施例提供的一种应用场景示意图。结合图1，智能试衣镜上设置有摄像装置，可以通过摄像装置获取试衣镜前的图像，并显示在试衣镜上。试衣镜上显示有多个控制控件，例如，图1中的控制控件A、控制控件B、控制控件C以及控制控件D，控制控件A和控制控件B为服装选择键，控制控件C和控制控件D可以是拍照、效果对比、删除等，用户可以对控制控件进行操作。在相关技术中，为了更好的展示图像，试衣镜的屏幕大，其控制控件通常设置在边缘位置，身高较高的成年人需要弯腰选择下方的控制控件，例如控制控件C和控制控件D，操作幅度较大；而身高较矮的儿童在不借助工具的情况下无法选择屏幕上方的控制控件，例如，控制控件A和控制控件B，导致对试衣镜控制的灵活性差。
有鉴于此，本申请实施例提供一种显示屏幕的控制方法、装置及设备，通过摄像装置采集显示屏幕前方的用户图像，根据用户的人脸朝向确定一个较大范围的第一区域，再根据眼睛注视信息在第一区域内确定一个较小范围的第二区域，确定第二区域内的控制控制，进而根据控制控件对显示屏幕进行控制操作，无需弯腰或者借助工具，对显示屏幕的控制操作简单方便，提高对显示屏幕控制的灵活性。
下面，通过具体实施例对本申请所示的技术方案进行详细说明。需要说明的是，如下实施例可以单独存在，也可以相互结合，对于相同或相似的内容，在不同的实施例中不再重复说明。
图2为本申请实施例提供的一种显示屏幕的控制方法的流程示意图。请参见图2，该方法可以包括：
S201、获取摄像装置采集得到的所述显示屏幕前方的第一图像。
本申请实施例中，显示屏幕可以是试衣镜的屏幕，还可以是衣物护理机、冰箱等前侧的操作屏幕。该显示屏幕的尺寸较大，例如42寸、46寸、55寸等。摄像装置通常设置在显示屏幕前方的上侧，方便拍摄图片。摄像装置与显示屏幕的控制装置通信连接，能够将其拍摄图像发送给显示屏幕的控制装置。
本申请实施例的执行主体可以为包括显示屏幕的电子设备，也可以为设置在显示屏幕中的控制装置。可选的，显示屏幕的控制装置可以通过软件实现，也可以通过软件和硬件的结合实现。
以试衣镜为例，显示屏幕可以为矩形，其沿高度方向的尺寸较大，方便显示用户的整体图像。
其中，所述第一图像中包括用户的人脸图像。其中，用户并不是特指某个用户，而是位于显示屏幕前方的用户。以试衣镜为例，试衣镜属于某服饰店老板，而试衣的客户A和客户B等均属于本申请实施例中的“用户”。
第一图像可以仅为用户头部图像，拍摄范围较小；或者，第一图像也可以为用户整体图像，包括头部、躯体以及四肢的图像，方便整体分析人脸朝向。
S202、根据所述人脸图像确定所述用户的人脸朝向，并根据所述人脸朝向在所述显示屏幕中确定第一区域。
根据人脸图像确定用户的人脸朝向的方式，可以有多种，例如，利用图像识别技术识别人脸图像中人脸左右偏向、上下偏向等确定人脸朝向。再例如，根据人脸图像确定一些关键点的位置，利用逻辑回归算法、深度学习算法等，确定人脸朝向。
上述关键点的设置可以如图4所示，其中，图4为本申请实施例提供的一种人脸图像中关键点的示意图。
请结合图4，在人脸的眉毛、双眼、脸部轮廓、鼻子以及嘴部设置了共67个关键点，利用逻辑回归算法、深度学习算法等，确定人脸朝向。
在一些实现方式中，可以通过如下方式根据所述人脸图像确定所述用户的人脸朝向。
步骤1：在所述人脸图像中提取多个关键点。如图4中所示出的关键点。当然，关键点的位置及数量不以图4为限制。其中，在人脸图像中提取关键点，实际上是提取关键区域(该区域比较小，例如图4中黑点区域)内的特征，例如，可以通过人脸图像的灰度特性和几何特征进行提取。
步骤2：根据所述多个关键点确定所述人脸图像的横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息。
其中，所述横轴位置为所述人脸图像中双眼所在的横向轴线的位置，例如图4中(0，15)两个关键点所在的直线位置，当然这并不是限制性的。所述纵轴位置为所述人脸图像中下巴中心和鼻子中心所在的纵向轴线的位置，例如图4中(8，30)两个关键点所在的直线位置，当然这并不是限制性的。例如，纵轴位置还可以为人脸图像中下巴中心、鼻子中心以及眉心所在的纵向轴线的位置，如图4中(8，30，27)所在的直线位置。通常的，图4中(0，15)两个关键点以及(8，30，27)三个关键点所在的位置，受表情、说话等影响较小，本申请实施例通过根据多个关键点确定人脸图像中横轴位置和纵轴位置，有利于提高人脸朝向确定的准确性。
本申请实施例还根据多个关键点确定双眼位置，如图4中示出的(36，37，38，39，40，41)六个关键点所确定的左眼位置，(42，43，44，45，46，47)六个关键点所确定的右眼位置。根据(48，50，51，52，54，55，57，59)八个关键点确定嘴部位置和表情信息，当然关键点的数量不限于此。如此横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息共27个关键点，加上深度信息构成27乘3的矩阵，或者81维列向量作为算法的输入，通过逻辑回归算法、深度学习算法等确定人脸朝向。
其中确定表情信息的关键点还可以包括脸颊、眉毛位置的关键点等。此外，本申请实施例还可以根据多个关键点确定所述人脸图像中鼻子所在的位置，例如图4中(29，30，31，32，33，34，35)，提高关键点的数量，进而有利于提高确定人脸朝向的准确性。
步骤3：根据所述横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息，确定所述用户的人脸朝向。该步骤可以理解为，根据人脸图像划分不同的特征区域(例如横轴位置、纵轴位置、双眼位置、嘴部位置等)，根据变化明显的特征区域确定用户的人脸朝向，提高准确度。
可选的，在某些实现方式中，第一图像为用户整体图像，根据人脸图像、身体图像综合确定用户的人脸朝向。具体的，在身体图像中提取多个关键点，并确定身体图像的手臂位置、躯体位置以及腿部位置；根据手臂位置、躯体位置、腿部位置以及人脸图像确定用户的人脸朝向，进一步提高控制的准确性。
S203、根据所述人脸图像确定所述用户的眼睛注视信息，并根据所述眼睛注视信息在所述第一区域中确定第二区域。
其中，眼睛注视信息可以包括眼睛注视时长、注视方向等。示例性的，可以根据人脸图像中的眼部的关键点确定用户的眼睛注视信息，例如，眼球的位置、眼球的运动状态信息等。可以通过在预设时间段持续采集人脸图像，在人脸图像中提取眼部的图像，通过对眼部图像进行识别确定用户的注视信息。
根据眼睛注视信息确定眼睛的注视方向，从而在第一区域中确定第二区域，第二区域在第一区域内部。该步骤可以理解的为，根据眼睛注视信息，缩小注视区域，提高控制控件确认的准确性。
在某些实现方式中，在步骤S203后还可以包括如下步骤，以区分显示第二区域。
步骤1：确定所述第二区域对应的标注框。该步骤可以理解为，确定所述第二区域对应的标注框，以确定第二区域对应的范围，以明确第二区域对应的范围，方便确定第二区域中包括的控制控件。标注框可以如图4中示出的虚线框，起到标识的作用。
步骤2：在所述显示屏幕的所述第二区域的位置显示所述标注框。在确定标准框后，在显示屏幕的第二区域的位置显示标注框，方便用户判断第二区域内的控制控件，从而提高操作的灵活性和便利性。
S204、确定所述第二区域中包括的控制控件，并根据所述控制控件对所述显示屏幕进行控制操作。
其中，控制控件可以是按键、按钮，控制控件还可以是显示在屏幕上的操作图标。通过操作控制控件还可以对显示屏幕进行操作。示例性的，控制控件可以包括展示控件、删除控件、拍照控件等，通过操作展示控件可以展示不同的衣服，通过操作删除控件可以删除当前选中的衣服，通过操作拍照控件可以拍摄当前显示屏幕上展示的图像，以便于保存、分享等。
示例性的，对控制控件所在的区域进行划分，并进行存储，通过判断控制控件所在的区域是否在第二区域内，确定第二区域中包括的控制控件的数量、类型、在第二区域内的位置等。对于处于边缘的控制控件，可以根据控制控制所在区域在第二区域内的面积比例确定其是否在第二区域内。
此外，在本申请实施例中，用户保持步骤S202中人脸朝向预设时间后再确认用户的眼睛注视信息，以提高控制的准确性，避免误操作。
下面结合图1，对显示屏幕的控制操作进行说明。
显示屏幕可以包括中间的显示区域以及边缘的操作区域，其中，显示区域用于显示图像，第一图像或者人脸图像等；操作区域设置有控制控件。通过摄像装置采集显示屏幕前方的用户的人脸图像，根据人脸图像确定用户的人脸朝向，并根据人脸朝向在显示屏幕中确定右侧的第一区域，第一区域内包括有ABCD四个控制控件。根据人脸图像确定用户的眼睛注视信息，并根据眼睛注视信息在第一区域中确定第二区域，第二区域中包括CD两个控制控件，根据控制控件的数量以及功能等对显示屏幕进行控制操作。
本申请实施例提供的显示屏幕的控制方法，通过获取摄像装置采集得到的显示屏幕前方的第一图像，其中第一图像中包括用户的人脸图像，根据人脸图像确定用户的人脸朝向，进而根据人脸朝向在显示屏幕中确定第一区域；然后根据人脸图像确定用户的眼睛注视信息，进而根据眼睛注视信息在第一区域中确定第二区域；最后确定第二区域中包括的控制控件，并根据控制控件对显示屏幕进行控制操作，如此通过显示屏幕前方的用户的人脸朝向以及眼睛注视信息即可控制操作显示屏幕，无需弯腰或者起跳等大幅度动作，操作灵活方便。
在图2所示的实施例的基础上，下面，结合图3，对上述显示屏幕的控制方法进行详细的说明。
图3为本申请实施例提供的另一种显示屏幕的控制方法的流程示意图。请参照图3，该方法包括：
S301、获取摄像装置采集得到的所述显示屏幕前方的第一图像。
需要说明的是，步骤S301的执行过程可以参照S201的执行过程，此处不再进行赘述。
S302、根据所述人脸图像确定所述用户的人脸朝向，并根据所述人脸朝向在所述显示屏幕中确定第一区域。
需要说明的是，步骤S302的执行过程可以参照S202的执行过程，此处不再进行赘述。
S303、根据所述人脸图像确定所述用户的眼睛注视信息，并根据所述眼睛注视信息在所述第一区域中确定第二区域。
需要说明的是，步骤S303的执行过程可以参照S203的执行过程，此处不再进行赘述。
S304、确定所述第二区域中包括的控制控件的数量。
第二区域中包括的控制控件的数量可以是0，也可以是正整数，例如，1、2、3等。在第二区域中包括的控制控件的数量为0时，重新执行上述步骤，或者，结束流程；在第二区域中包括的控制控件的数量为1时，执行下述的步骤S305；在第二区域中包括的控制控件的数量大于1时，在第二区域的控制控件中确定目标控制控件，并根据目标控制控件对显示屏幕进行控制操作，具体执行下述的步骤S306到步骤S311。
S305、若所述数量为1，则根据所述控制控件对所述显示屏幕进行控制操作。
该步骤可以理解为在第二区域中仅包括一个控制控件时，根据控制控件对显示屏幕进行控制操作，具体可以参照上述实施例中步骤S204。
S306、若所述数量大于1，获取所述摄像装置采集得到的所述用户的多张嘴部图像。
该步骤可以理解为，在第二区域中包括至少两个控制控件时，需要先确定目标控制控件，再对根据目标控制控件对显示屏幕进行控制操作。
为了确定目标控制控件，在某些实现方式中，首先获取摄像装置采集得到的用户的多张嘴部图像，例如，摄像装置在预设时间段内持续采集多张嘴部图像，该预设时间段可以从确定第二区域包括的控制控件的数量大于1开始的一段时间内。或者，摄像装置实时采集嘴部图像。摄像装置可以仅拍摄嘴部图像，或者，摄像装置拍摄全身图像，再识别确认嘴部图像。
用户在发出不同文字声音时，其嘴部区域是变化的，基于此判断用户发出的声音嘴部特征，以确定指令，有利于提高显示屏幕控制准确性。相对于，语音直接控制显示屏幕操作容易出现语音误识别、噪声误唤醒、在多人同时试衣易出现语音拾取串扰等问题，本申请实施例基于嘴部图像确认目标控制控件，更加准确可靠。
当然，显示屏幕还可以设置有语音识别模块，通过语音控制显示屏幕。
S307、分别在每张嘴部图像中提取多个关键点。
其中，在嘴部图像中提取多个关键点的执行过程具体可以参照步骤S202中步骤1的执行过程，在此不再赘述。
在每张嘴部图像中提取的关键点可以如图4中(48-67)共20个关键点，但这并不是限制性的。
S308、根据所述多张嘴部图像中的多个关键点，确定所述用户的嘴部的运动信息。
该步骤可以理解为，根据多张嘴部图像中多个关键点位置的变化，确定用户的嘴部的运动信息。例如，通过判断多张嘴部图像中(60-67)八个关键点的位置变化确定嘴部的运动信息。其中，嘴部的运动信息可以包括嘴部的张合次数、嘴部的张合大小等。
S309、根据所述用户的嘴部的运动信息，确定所述文本信息；
其中，文本信息可以是控制控件的名称，例如拍照、删除等；或者，在确定第二显示区域时，第二显示区域内的控制控件按照预设方式编号，例如“1、2、3”，例如“A、B、C、D”等，以这些编号代替控制控件的名称，方便用户输出。
显示屏幕中可以预先存储嘴部的运动信息与文本信息的映射关系，根据当前嘴部的运动信息与映射关系，从而确定文本信息，进而确定用户发出的指令。
S310、根据所述文本信息，在所述第二区域的控制控件中确定所述目标控制控件。
显示屏幕的存储器中可以存储有不同控制控件的文本信息，根据当前确定的文本信息与存储的不同控制控件的文本信息进行比较，从而确定当前文本信息所对应的目标控制控件。
如图4所示，第二区域内包括有控制控件C和控制控件D，根据嘴部的运动信息确定文本信息，是“C”还是“D”，从而确定目标控制控件时控制控件C还是控制控件D。
S311、根据所述目标控制控件对所述显示屏幕进行控制操作。
该步骤可以理解为在确定目标控制控件后，根据目标控制控件对显示屏幕进行控制操作，其具体执行过程可以参照步骤S305的执行过程。
本申请实施例提供的显示屏幕的控制方法，通过在多张嘴部图像中提取多个关键点，根据多个关键点确定嘴部的运动信息，进而可以根据嘴部的运动信息，确定文本信息；根据文本信息确定第二区域中多个控制控件中的目标控制控件，实现对显示屏幕的控制操作，无需弯腰后者起跳等大幅度动作，操作灵活方便。相对于语音控制对显示屏幕的操作，本申请实施例的控制方法通过嘴部的运动信息确定目标控制控件，不受噪音干扰，更加准确可靠。
图5为本申请实施例提供的一种显示屏幕的控制装置的结构示意图。该显示屏幕的控制装置10可以设置在显示屏幕中。请参见图5，该显示屏幕的控制装置10可以包括获取模块11、第一区域确定模块12、第二区域确定模块13以及控制模块14，其中：
所述获取模块11用于，获取摄像装置采集得到的所述显示屏幕前方的第一图像，所述第一图像中包括用户的人脸图像；
所述第一区域确定模块12用于，根据所述人脸图像确定所述用户的人脸朝向，并根据所述人脸朝向在所述显示屏幕中确定第一区域；
所述第二区域确定模块13用于，根据所述人脸图像确定所述用户的眼睛注视信息，并根据所述眼睛注视信息在所述第一区域中确定第二区域；
所述控制模块14用于，确定所述第二区域中包括的控制控件，并根据所述控制控件对所述显示屏幕进行控制操作。
在一种可能的实施方式中，所述控制模块14具体用于：
确定所述第二区域中包括的控制控件的数量；
若所述数量为1，则根据所述控制控件对所述显示屏幕进行控制操作；
若所述数量大于1，则在所述第二区域的控制控件中确定目标控制控件，并根据所述目标控制控件对所述显示屏幕进行控制操作。
在一种可能的实施方式中，所述控制模块14具体用于：
获取所述摄像装置采集得到的所述用户的多张嘴部图像；
根据所述多张嘴部图像确定文本信息；
根据所述文本信息，在所述第二区域的控制控件中确定所述目标控制控件。
在一种可能的实施方式中，所述控制模块14具体用于：
分别在每张嘴部图像中提取多个关键点；
根据所述多张嘴部图像中的多个关键点，确定所述用户的嘴部的运动信息；
根据所述用户的嘴部的运动信息，确定所述文本信息。
在一种可能的实施方式中，所述第一区域确定模块12具体用于：
在所述人脸图像中提取多个关键点；
根据所述多个关键点确定所述人脸图像的横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息，所述横轴位置为所述人脸图像中双眼所在的横向轴线的位置，所述纵轴位置为所述人脸图像中下巴中心和鼻子中心所在的纵向轴线的位置；
根据所述横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息，确定所述用户的人脸朝向。
在一种可能的实施方式中，所述第二区域确定模块13还用于，确定所述第二区域对应的标注框；
在所述显示屏幕的所述第二区域的位置显示所述标注框。
本申请实施例提供的一种显示屏幕的控制装置可以执行上述方法实施例所示的技术方案，其原理以及有益效果类似，此处不再进行赘述。
图6为本申请实施例提供的显示屏幕的控制设备的硬件结构示意图。请参见图6，该显示屏幕的控制设备20可以包括：处理器21和存储器22，其中，处理器21和存储器22可以通信；示例性的，处理器21和存储器22通过通信总线23通信，所述存储器22用于存储计算机程序，所述处理器21用于调用存储器中的计算机程序执行上述任意方法实施例所示的显示屏幕的控制方法。
可选的，显示屏幕的控制设备20还可以包括通信接口，通信接口可以包括发送器和/或接收器。
可选的，上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本申请实施例提供一种显示屏幕，所述显示屏幕包括如图6所示的显示屏幕的控制设备和显示面板。
本申请实施例提供一种可读存储介质，所述可读存储介质上存储有计算机程序；所述计算机程序用于实现如上述任意实施例所述的显示屏幕的控制方法。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括计算机程序，当所述计算机程序被执行时，使得计算机执行上述显示屏幕的控制方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种显示屏幕的控制方法，其特征在于，包括：
获取摄像装置采集得到的所述显示屏幕前方的第一图像，所述第一图像中包括用户的人脸图像；
根据所述人脸图像确定所述用户的人脸朝向，并根据所述人脸朝向在所述显示屏幕中确定第一区域；
根据所述人脸图像确定所述用户的眼睛注视信息，并根据所述眼睛注视信息在所述第一区域中确定第二区域；
确定所述第二区域中包括的控制控件，并根据所述控制控件对所述显示屏幕进行控制操作。
2.根据权利要求1所述的方法，其特征在于，根据所述控制控件对所述显示屏幕进行控制操作，包括：
确定所述第二区域中包括的控制控件的数量；
若所述数量为1，则根据所述控制控件对所述显示屏幕进行控制操作；
若所述数量大于1，则在所述第二区域的控制控件中确定目标控制控件，并根据所述目标控制控件对所述显示屏幕进行控制操作。
3.根据权利要求2所述的方法，其特征在于，在所述第二区域的控制控件中确定目标控制控件，包括：
获取所述摄像装置采集得到的所述用户的多张嘴部图像；
根据所述多张嘴部图像确定文本信息；
根据所述文本信息，在所述第二区域的控制控件中确定所述目标控制控件。
4.根据权利要求3所述的方法，其特征在于，根据所述多张嘴部图像确定文本信息，包括：
分别在每张嘴部图像中提取多个关键点；
根据所述多张嘴部图像中的多个关键点，确定所述用户的嘴部的运动信息；
根据所述用户的嘴部的运动信息，确定所述文本信息。
5.根据权利要求1-4任一项所述的方法，其特征在于，根据所述人脸图像确定所述用户的人脸朝向，包括：
在所述人脸图像中提取多个关键点；
根据所述多个关键点确定所述人脸图像的横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息，所述横轴位置为所述人脸图像中双眼所在的横向轴线的位置，所述纵轴位置为所述人脸图像中下巴中心和鼻子中心所在的纵向轴线的位置；
根据所述横轴位置、纵轴位置、双眼位置、嘴部位置和表情信息，确定所述用户的人脸朝向。
6.根据权利要求1-4任一项所述的方法，其特征在于，根据所述眼睛注视信息在所述第一区域中确定第二区域之后，还包括：
确定所述第二区域对应的标注框；
在所述显示屏幕的所述第二区域的位置显示所述标注框。
7.一种显示屏幕的控制装置，其特征在于，所述装置包括获取模块、第一区域确定模块、第二区域确定模块以及控制模块，其中：
所述获取模块用于，获取摄像装置采集得到的所述显示屏幕前方的第一图像，所述第一图像中包括用户的人脸图像；
所述第一区域确定模块用于，根据所述人脸图像确定所述用户的人脸朝向，并根据所述人脸朝向在所述显示屏幕中确定第一区域；
所述第二区域确定模块用于，根据所述人脸图像确定所述用户的眼睛注视信息，并根据所述眼睛注视信息在所述第一区域中确定第二区域；
所述控制模块用于，确定所述第二区域中包括的控制控件，并根据所述控制控件对所述显示屏幕进行控制操作。
8.一种显示屏幕的控制设备，其特征在于，包括：处理器和存储器；
所述存储器用于，存储计算机程序；
所述处理器用于，执行所述存储器中存储的计算机程序，实现如权利要求1至6中任一项所述的显示屏幕的控制方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序；
所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的显示屏幕的控制方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至6任一项所述的显示屏幕的控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110732489.1A CN115543135A (zh) | 2021-06-29 | 2021-06-29 | 显示屏幕的控制方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110732489.1A CN115543135A (zh) | 2021-06-29 | 2021-06-29 | 显示屏幕的控制方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115543135A true CN115543135A (zh) | 2022-12-30 |
Family
ID=84717104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110732489.1A Pending CN115543135A (zh) | 2021-06-29 | 2021-06-29 | 显示屏幕的控制方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115543135A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116909439A (zh) * | 2023-09-13 | 2023-10-20 | 荣耀终端有限公司 | 电子设备及其交互方法 |
-
2021
- 2021-06-29 CN CN202110732489.1A patent/CN115543135A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116909439A (zh) * | 2023-09-13 | 2023-10-20 | 荣耀终端有限公司 | 电子设备及其交互方法 |
| CN116909439B (zh) * | 2023-09-13 | 2024-03-22 | 荣耀终端有限公司 | 电子设备及其交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI751161B (zh) | 終端設備、智慧型手機、基於臉部識別的認證方法和系統 | |
| CN105487673B (zh) | 一种人机交互系统、方法及装置 | |
| US20180300037A1 (en) | Information processing device, information processing method, and program | |
| CN108712603B (zh) | 一种图像处理方法及移动终端 | |
| CN109348135A (zh) | 拍照方法、装置、存储介质及终端设备 | |
| WO2013180151A1 (ja) | 注目位置検出装置、注目位置検出方法、及び注目位置検出プログラム | |
| CN111580652B (zh) | 视频播放的控制方法、装置、增强现实设备及存储介质 | |
| JP2005202653A (ja) | 動作認識装置及び方法、動物体認識装置及び方法、機器制御装置及び方法、並びにプログラム | |
| CN104914989B (zh) | 姿势辨识装置以及姿势辨识装置的控制方法 | |
| CN105518579A (zh) | 信息处理设备和信息处理方法 | |
| CN113507621A (zh) | 直播方法、装置、系统、计算机设备以及存储介质 | |
| CN106547338A (zh) | 指令生成方法及装置 | |
| CN111930231B (zh) | 交互控制方法、终端设备及存储介质 | |
| CN109200576A (zh) | 机器人投影的体感游戏方法、装置、设备和存储介质 | |
| CN111643900A (zh) | 一种展示画面控制方法、装置、电子设备和存储介质 | |
| CN113487709A (zh) | 一种特效展示方法、装置、计算机设备以及存储介质 | |
| CN112632349A (zh) | 展区指示方法、装置、电子设备及存储介质 | |
| JP5964603B2 (ja) | データ入力装置、及び表示装置 | |
| US11328187B2 (en) | Information processing apparatus and information processing method | |
| CN115543135A (zh) | 显示屏幕的控制方法、装置及设备 | |
| CN107357424B (zh) | 一种手势操作的识别方法、设备及计算机可读存储介质 | |
| CN105468249B (zh) | 智能互动系统及其控制方法 | |
| CN113342157B (zh) | 眼球追踪处理方法及相关装置 | |
| JP6230666B2 (ja) | データ入力装置、データ入力方法、及びデータ入力プログラム | |
| JP2017188787A (ja) | 撮像装置、画像合成方法、および画像合成プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |