CN105335059B - 手持设备上用户操作模式的识别方法和手持设备 - Google Patents

手持设备上用户操作模式的识别方法和手持设备 Download PDF

Info

Publication number
CN105335059B
CN105335059B CN201410374762.8A CN201410374762A CN105335059B CN 105335059 B CN105335059 B CN 105335059B CN 201410374762 A CN201410374762 A CN 201410374762A CN 105335059 B CN105335059 B CN 105335059B
Authority
CN
China
Prior art keywords
face
user
image
ratio
operation mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410374762.8A
Other languages
English (en)
Other versions
CN105335059A (zh
Inventor
梁捷
王传举
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba China Co Ltd
Original Assignee
Guangzhou I9Game Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou I9Game Information Technology Co Ltd filed Critical Guangzhou I9Game Information Technology Co Ltd
Priority to CN201410374762.8A priority Critical patent/CN105335059B/zh
Publication of CN105335059A publication Critical patent/CN105335059A/zh
Application granted granted Critical
Publication of CN105335059B publication Critical patent/CN105335059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种手持设备上用户操作模式的识别方法，该方法包括：利用手持设备的前置摄像装置获取用户的面部图像，其中面部图像是包含用户的面部的图像；从用户的面部图像中获取用户的面部图像的第一特征；将用户的面部图像的第一特征与用户的面部图像的基准特征进行比较，其中用户的面部图像的基准特征是从用户的面部居中的面部图像中获取的；根据比较结果，识别用户的操作模式，操作模式包括左手操作模式和右手操作模式。本发明还公开一种手持设备。通过上述方式，本发明能够在不需要额外硬件的情况下快速且准确地识别用户的操作模式，有效降低成本。

Description

手持设备上用户操作模式的识别方法和手持设备
技术领域
本发明涉及人机交互技术领域，特别是涉及一种手持设备上用户操作模式的识别方法以及应用该方法的手持设备。
背景技术
随着科技的发展，大屏幕触摸屏的手持设备已成为主流，其在展现更多内容以及视觉体验方面表现了出色的优势。当然，对大屏幕手持设备的触控操作也面临着极大的挑战，当用户欲单手操作如此较大的持设备屏幕时，显示屏的很多区域单手难以触碰到，故用户单手操作当前大屏幕手机会有一些不便。在单手握手持设备时，有些用户喜欢用左手握手持设备，有些用户喜欢用右手握手持设备，即每一用户握手持设备的操作模式不同。因此，如果想提高用户操作大屏幕手持设备的便利性就需要先了解用户握手持设备的的操作模式。
对此，为了能够区分用户握手持设备的操作模式，目前的判断方案均是通过在手持设备的侧面或背面增加传感器用于检测用户握手持设备的操作模式。但是，该方案涉及到有硬件加装问题，这容易增加硬件成本，从而加大设计成本。
发明内容
本发明主要解决的技术问题是提供一种手持设备上用户操作模式的识别方法和手持设备，能够在不需要额外硬件的情况下快速且准确地识别用户的操作模式，有效降低成本。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种手持设备上用户操作模式的识别方法，该方法包括：利用手持设备的前置摄像装置获取用户的面部图像，其中面部图像是包含用户的面部的图像；从用户的面部图像中获取用户的面部图像的第一特征；将用户的面部图像的第一特征与用户的面部图像的基准特征进行比较，其中用户的面部图像的基准特征是从用户的面部居中的面部图像中获取的；根据比较结果，识别用户的操作模式，操作模式包括：左手操作模式和右手操作模式。
其中，用户的面部图像的第一特征是用户的面部图像中两眼之间的连线与水平线的夹角，用户的面部图像的基准特征是用户的面部居中的面部图像中两眼之间的连线与水平线的夹角；将获取的用户的面部图像的第一特征与已保存的用户的面部图像的基准特征进行比较，包括：将用户的面部图像中两眼之间的连线与水平线的夹角与用户的面部居中的面部图像中两眼之间的连线与水平线的夹角进行比较；根据比较结果，识别用户的操作模式，包括：若用户的面部图像中两眼之间的连线与水平线的夹角小于用户的面部居中的面部图像中两眼之间的连线与水平线的夹角，则识别出用户的操作模式是左手操作模式，若用户的面部图像中两眼之间的连线与水平线的夹角大于用户的面部居中的面部图像中两眼之间的连线与水平线的夹角，则识别出用户的操作模式是右手操作模式。
其中，用户的面部图像的第一特征是用户的面部图像中面部的边距比例，用户的面部图像的基准特征是用户的面部居中的面部图像中面部的边距比例；将获取的用户的面部图像的第一特征与已保存的用户的面部图像的基准特征进行比较，包括：将获取的用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例进行比较；根据比较结果，识别用户的操作模式，包括：若用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例之间的差异大于预设的左手操作模式的阈值，则识别出用户的操作模式是左手操作模式，若用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例之间的差异大于预设的右手操作模式的阈值，则识别出用户的操作模式是右手操作模式。
其中，用户的面部图像的第一特征包括用户的面部图像中面部的左边距比例、用 户的面部图像中面部的右边距比例以及用户的面部图像中两眼之间的连线与水平线的夹 角，用户的面部图像的基准特征包括用户的面部居中的面部图像中面部的左边距比例、用 户的面部居中的面部图像中面部的右边距比例以及用户的面部居中的面部图像中两眼之 间的连线与水平线的夹角；将获取的用户的面部图像的第一特征与已保存的用户的面部图 像的基准特征进行比较，包括：通过比较值公式计算比较值R，其中，比较值公式为a、b、c分别为用户的面部图像中面部的 左边距比例、用户的面部图像中面部的右边距比例、用户的面部图像中两眼之间的连线与 水平线的夹角，A、B、C分别为用户的面部居中的面部图像中面部的左边距比例、用户的面部 居中的面部图像中面部的右边距比例以及用户的面部居中的面部图像中两眼之间的连线 与水平线的夹角，TA1、TB1、TC1分别为左手操作模式下面部的左边距比例阈值、面部的右边距 比例阈值、两眼之间的连线与水平线的夹角阈值，TA2、TB2、TC2分别为右手操作模式下面部的 左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值，WA、WB、WC 分别为面部的左边距比例的特征权重值、面部的右边距比例的特征权重值、两眼之间的连 线与水平线的夹角的特征权重值；根据比较结果，识别用户的操作模式，包括：若比较值R小 于0，则识别出用户的操作模式是左手操作模式，若比较值R大于0，则识别出用户的操作模 式是右手操作模式。
其中，根据比较结果，识别用户的操作模式之后，还包括：根据用户的操作模式，调整手持设备操作界面的显示模式。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种手持设备，其包括：面部图像获取模块，用于利用手持设备的前置摄像装置获取用户的面部图像，其中面部图像是包含用户的面部的图像；图像特征获取模块，用于从用户的面部图像中获取用户的面部图像的第一特征；图像特征比较模块，用于将用户的面部图像的第一特征与用户的面部图像的基准特征进行比较，其中用户的面部图像的基准特征是从用户的面部居中的面部图像中获取的；操作模式识别模块，用于根据比较结果，识别用户的操作模式，操作模式包括：左手操作模式和右手操作模式。
其中，用户的面部图像的第一特征是用户的面部图像中两眼之间的连线与水平线的夹角，用户的面部图像的基准特征是用户的面部居中的面部图像中两眼之间的连线与水平线的夹角；图像特征比较模块用于将用户的面部图像中两眼之间的连线与水平线的夹角与用户的面部居中的面部图像中两眼之间的连线与水平线的夹角进行比较；操作模式识别模块用于在用户的面部图像中两眼之间的连线与水平线的夹角小于用户的面部居中的面部图像中两眼之间的连线与水平线的夹角时识别出用户的操作模式是左手操作模式，操作模式识别模块用于在用户的面部图像中两眼之间的连线与水平线的夹角大于用户的面部居中的面部图像中两眼之间的连线与水平线的夹角时识别出用户的操作模式是右手操作模式。
其中，用户的面部图像的第一特征是用户的面部图像中面部的边距比例，用户的面部图像的基准特征是用户的面部居中的面部图像中面部的边距比例；图像特征比较模块用于将获取的用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例进行比较；操作模式识别模块用于在用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例之间的差异大于预设的左手操作模式的阈值时识别出用户的操作模式是左手操作模式，操作模式识别模块用于在用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例之间的差异大于预设的右手操作模式的阈值时识别出用户的操作模式是右手操作模式。
其中，用户的面部图像的第一特征包括用户的面部图像中面部的左边距比例、用 户的面部图像中面部的右边距比例以及用户的面部图像中两眼之间的连线与水平线的夹 角，用户的面部图像的基准特征包括用户的面部居中的面部图像中面部的左边距比例、用 户的面部居中的面部图像中面部的右边距比例以及用户的面部居中的面部图像中两眼之 间的连线与水平线的夹角；图像特征比较模块用于通过比较值公式计算比较值R，其中，比 较值公式为a、b、c分别为用户的面部图 像中面部的左边距比例、用户的面部图像中面部的右边距比例、用户的面部图像中两眼之 间的连线与水平线的夹角，A、B、C分别为用户的面部居中的面部图像中面部的左边距比例、 用户的面部居中的面部图像中面部的右边距比例以及用户的面部居中的面部图像中两眼 之间的连线与水平线的夹角，TA1、TB1、TC1分别为左手操作模式下面部的左边距比例阈值、面 部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值，TA2、TB2、TC2分别为右手操作模 式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈 值，WA、WB、WC分别为面部的左边距比例的特征权重值、面部的右边距比例的特征权重值、两 眼之间的连线与水平线的夹角的特征权重值；操作模式识别模块用于在比较值R小于0时识 别出用户的操作模式是左手操作模式，操作模式识别模块用于在比较值R大于0时识别出用 户的操作模式是右手操作模式。
其中，手持设备还包括调整模块，用于根据用户的操作模式调整手持设备操作界面的显示模式。
本发明的有益效果是：区别于现有技术的情况，本发明利用手持设备的前置摄像装置获取用户的面部图像；从用户的面部图像中获取用户的面部图像的第一特征；将用户的面部图像的第一特征与用户的面部图像的基准特征进行比较；根据比较结果识别用户的操作模式是左手操作模式还是右手操作模式。本发明能够在不需要额外硬件的情况下快速且准确地识别用户的操作模式是左手操作模式还是右手操作模式，有效降低成本。
附图说明
图1是本发明手持设备上用户操作模式的识别方法的第一实施例的流程示意图；
图2是用户的面部居中的面部图像的示意图；
图3是前置摄像装置获取用户的面部图像的示意图；
图4是右手操作模式下的手持设备操作界面的显示模式示意图；
图5是左手操作模式下的手持设备操作界面的显示模式示意图；
图6是本发明手持设备上用户操作模式的识别方法的第二实施例的流程示意图；
图7是本发明手持设备上用户操作模式的识别方法的第三实施例的流程示意图；
图8是本发明手持设备上用户操作模式的识别方法的第四实施例的流程示意图；
图9是本发明手持设备上用户操作模式的识别方法的第五实施例的流程示意图；
图10是本发明手持设备的结构示意图。
具体实施方式
下面结合附图和实施方式对本发明进行详细说明。
如图1所示，图1是本发明手持设备上用户操作模式的识别方法的第一实施例的流程示意图。该方法包括以下步骤：
步骤S101：利用手持设备的前置摄像装置获取用户的面部图像。其中，面部图像是包含用户的面部的图像，即面部图像包含面部五官全部特征的图像，如两眼之间的连线与水平线的夹角、面部距离面部图像的左边距离、面部距离面部图像的右边距离、鼻子所处面部图像的位置，嘴巴所处面部图像的位置以及耳朵所处面部图像的位置等等。
在步骤S101之前，还包括以下步骤：
A：利用手持设备的前置摄像装置获取用户的面部居中的面部图像；
B：从用户的面部居中的面部图像中获取用户的面部图像的基准特征。
其中，通过对用户的面部居中的面部图像进行二值化、规一化、降噪、提取特征以及特征值标准化等步骤处理来获取用户的面部图像的基准特征。用户的面部图像的基准特征可以是用户的面部居中的面部图像中两眼之间的连线与水平线的夹角、面部的左边距比例、面部的右边距比例、鼻子所处面部图像的位置，嘴巴所处面部图像的位置以及耳朵所处面部图像的位置。当然，在其他实施例中，用户的面部图像的基准特征也可以是从大量样本图像中获取的。
步骤S102：从用户的面部图像中获取用户的面部图像的第一特征。其中，通过对用户的面部图像进行二值化、规一化、降噪、提取特征以及特征值标准化等步骤处理来获取用户的面部图像的第一特征。第一特征可以是面部图像中两眼之间的连线与水平线的夹角、面部的左边距比例、面部的右边距比例、鼻子所处面部图像的位置，嘴巴所处面部图像的位置以及耳朵所处面部图像的位置。
步骤S103：将用户的面部图像的第一特征与用户的面部图像的基准特征进行比较。
步骤S104：根据比较结果，识别用户的操作模式。其中，操作模式包括左手操作模式和右手操作模式。
本实施例利用手持设备本身所获取的面部图像的第一特征与用户的面部图像的基准特征进行比较，能够在不需要额外硬件的情况下快速且准备识别出用户的操作模式是左手操作模式还是右手操作模式，从而能够有效降低成本。
如图2-图6所示，图2是用户的面部居中的面部图像的示意图，图3是前置摄像装置获取用户的面部图像的示意图，图4是右手操作模式下的手持设备操作界面的显示模式示意图，图5是左手操作模式下的手持设备操作界面的显示模式示意图，图6是本发明手持设备上用户操作模式的识别方法的第二实施例的流程示意图。该方法包括以下步骤：
步骤S201：利用手持设备的前置摄像装置获取用户的面部图像。
步骤S202：从用户的面部图像中获取用户的面部图像的第一特征,其中第一特征是用户的面部图像中两眼之间的连线与水平线的夹角β。
步骤S203：将用户的面部图像中两眼之间的连线与水平线的夹角β与用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α进行比较。其中，用户的面部居中的面部图像中两眼之间的连线优选与水平线平行，即用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α为0度。
步骤S204：若用户的面部图像中两眼之间的连线与水平线的夹角β小于用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α，则识别出用户的操作模式是左手操作模式，若用户的面部图像中两眼之间的连线与水平线的夹角β大于用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α，则识别出用户的操作模式是右手操作模式。
步骤S205：根据用户的操作模式，调整手持设备操作界面的显示模式。
在步骤S205中，如识别出用户的操作模式是右手操作模式，则将手持设备的屏幕中的虚拟控制按键a设置在位置A上，将手持设备的屏幕中的虚拟控制按键b设置在位置B上，如图3所示。如识别出用户的操作模式是左手操作模式，则将手持设备的屏幕中的虚拟控制按键a设置在位置B上，将手持设备的屏幕中的虚拟控制按键b设置在位置A上，如图4所示。当然，本发明并不限制上述的虚拟控制按键，还可以是其他控制按键或者显示界面，如在右手操作模式下手持设备的屏幕显示第一界面，在左手操作模式下手持设备的屏幕显示第二界面。
如图2、图3、图4、图5、图7所示，图7是本发明手持设备上用户操作模式的识别方法的第三实施例的流程示意图。该方法包括以下步骤：
步骤S301：利用手持设备的前置摄像装置获取用户的面部图像。
步骤S302：从用户的面部图像中获取用户的面部图像的第一特征。其中第一特征是用户的面部图像中面部的边距比例。
在步骤S302中，用户的面部图像中面部的边距比例可以为用户的面部图像中面部的左边距比例L1/L3、用户的面部图像中面部的右边距比例L2/L3，或左边距比例与右边距比例的比例L1/L2。
步骤S303：将获取的用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例进行比较。
在步骤S303中，用户的面部居中的面部图像中面部的边距比例可以为用户的面部居中的面部图像中面部的左边距比例L4/L6、用户的面部居中的面部图像中面部的右边距比例L5/L6，或用户的面部居中的面部图像中面部的左边距比例与用户的面部居中的面部图像中面部的右边距比例的比例L4/L5。
步骤S304：若用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例之间的差异大于预设的左手操作模式的阈值，则识别出用户的操作模式是左手操作模式，若用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例之间的差异大于预设的右手操作模式的阈值，则识别出用户的操作模式是右手操作模式。
其中，左手操作模式的阈值为(TA1-TA2)，右手操作模式的阈值为(TB1-TB2)，TA1为左手操作模式下面部的左边距比例阈值，TA2为右手操作模式下面部的左边距比例阈值，TB1为左手操作模式下面部的右边距比例阈值，TB2为右手操作模式下面部的右边距比例阈值。
在步骤S304中，如用户的面部图像中面部的边距比例为用户的面部图像中面部的左边距比例L1/L3，用户的面部居中的面部图像中面部的边距比例为用户的面部居中的面部图像中面部的左边距比例L4/L6，若用户的面部图像中面部的左边距比例L1/L3与已保存的用户的面部居中的面部图像中面部的左边距比例L4/L6之间的差异大于预设的左手操作模式的阈值(TA1-TA2)，则识别出用户的操作模式是左手操作模式，若用户的面部图像中面部的左边距比例L1/L3与已保存的用户的面部居中的面部图像中面部的左边距比例L4/L6之间的差异大于预设的右手操作模式的阈值(TB1-TB2)，则识别出用户的操作模式是右手操作模式。
在步骤S304中，如用户的面部图像中面部的边距比例为用户的面部图像中面部的右边距比例L2/L3，用户的面部居中的面部图像中面部的边距比例为用户的面部居中的面部图像中面部的右边距比例L5/L6，若用户的面部图像中面部的右边距比例L2/L3与已保存的用户的面部居中的面部图像中面部的右边距比例L5/L6之间的差异大于预设的左手操作模式的阈值(TA1-TA2)，则识别出用户的操作模式是左手操作模式，若用户的面部图像中面部的右边距比例L2/L3与已保存的用户的面部居中的面部图像中面部的右边距比例L5/L6之间的差异大于预设的右手操作模式的阈值(TB1-TB2)，则识别出用户的操作模式是右手操作模式。
在步骤S304中，如用户的面部图像中面部的边距比例为用户的面部图像中面部的左边距比例与右边距比例的比例L1/L2，用户的面部居中的面部图像中面部的边距比例为用户的面部居中的面部图像中面部的左边距比例与右边距比例的比例L4/L5，若用户的面部图像中面部的左边距比例与右边距比例的比例L1/L2与已保存的用户的面部居中的面部图像中面部的左边距比例与右边距比例的比例L4/L5之间的差异大于预设的左手操作模式的阈值(TA1-TA2)，则识别出用户的操作模式是左手操作模式，若用户的面部图像中面部的左边距比例与右边距比例的比例L1/L2与已保存的用户的面部居中的面部图像中面部的左边距比例与右边距比例的比例L4/L5之间的差异大于预设的右手操作模式的阈值(TB1-TB2)，则识别出用户的操作模式是右手操作模式。
当然，在其他实施例中，用户的面部图像中面部的边距比例以及用户的面部居中的面部图像中面部的边距比例还可以是其他五官位置的比例，如嘴巴或鼻子等。
步骤S305：根据用户的操作模式，调整手持设备操作界面的显示模式。其中，步骤S305与上述步骤S205的内容相同，在此就不一一赘述。
如图2、图3、图4、图5、图8所示，图8是本发明手持设备上用户操作模式的识别方法的第四实施例的流程示意图。该方法包括以下步骤：
步骤S401：利用手持设备的前置摄像装置获取用户的面部图像。
步骤S402：从用户的面部图像中获取用户的面部图像的第一特征。其中第一特征包括用户的面部图像中面部的左边距比例L1/L3、用户的面部图像中面部的右边距比例L2/L3以及用户的面部图像中两眼之间的连线与水平线的夹角β。
步骤S403：通过比较值公式计算比较值R。
在本实施例中，比较值公式为 a、b、c分别为用户的面部图像中面部的左边距比例L1/L3、用户的面部图像中面部的右边距 比例L2/L3、用户的面部图像中两眼之间的连线与水平线的夹角β，A、B、C分别为用户的面部 居中的面部图像中面部的左边距比例L4/L6、用户的面部居中的面部图像中面部的右边距 比例L5/L6以及用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α，TA1、TB1、 TC1分别为左手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连 线与水平线的夹角阈值，TA2、TB2、TC2分别为右手操作模式下面部的左边距比例阈值、面部的 右边距比例阈值、两眼之间的连线与水平线的夹角阈值，WA、WB、WC分别为面部的左边距比例 的特征权重值、面部的右边距比例的特征权重值、两眼之间的连线与水平线的夹角的特征 权重值。其中，TA1、TB1、TC1、TA2、TB2、TC2、WA、WB、WC分别从大量数据实验中获得的。
当然，在其他实施例中，比较值公式还可以为其中a为用户的面部图像中面部的左边距比例L1/L3、用户的面部图像中面部的右边距比例L2/L3或用户的面部图像中两眼之间的连线与水平线的夹角β中任两种，A为用户的面部居中的面部图像中面部的左边距比例L4/L6、用户的面部居中的面部图像中面部的右边距比例L5/L6以及用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α中任两种，TA1为左手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值中任两种，TA2为右手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值中任两种，WA为面部的左边距比例的特征权重值、面部的右边距比例的特征权重值、两眼之间的连线与水平线的夹角的特征权重值中任两种。即应用两个五官特征计算比较值R。如使用五官特征中的左边距和右边距，则a为用户的面部图像中面部的左边距比例L1/L3，b为用户的面部图像中面部的右边距比例L2/L3，A也为用户的面部居中的面部图像中面部的左边距比例L4/L6，B也为用户的面部居中的面部图像中面部的右边距比例L5/L6，其他依次与上述相同。
当然，在其他实施例中，比较值公式还可以为即应用一个五官特征计算比较值R。或者更多，如应用四个五官特征计算比较值R或应用五个五官特征计算比较值R等。
步骤S404：若比较值R小于0，则识别出用户的操作模式是左手操作模式，若比较值R大于0，则识别出用户的操作模式是右手操作模式。其中，当比较值R为0时，则无法识别用户的操作模式。
步骤S405：根据用户的操作模式，调整手持设备操作界面的显示模式。其中，步骤S405与上述步骤S205的内容相同，在此就不一一赘述。
进一步地参考图9，图9是本发明手持设备上用户操作模式的识别方法的第五实施例的流程示意图。该方法包括以下步骤：
步骤S501：利用手持设备的前置摄像装置获取用户的面部图像。
步骤S502：从用户的面部图像中获取用户的面部图像的第一特征。
步骤S503：将用户的面部图像的第一特征与用户的面部图像的基准特征进行比较。
步骤S504：根据比较结果是否识别出用户的操作模式。
如果根据比较结果可以识别出用户的操作模式，则执行步骤S506：得出用户的操作模式是左手操作模式或右手操作模式。同时执行步骤S507：根据用户的操作模式，调整手持设备操作界面的显示模式。
如果根据比较结果不能识别出用户的操作模式，即无法识别用户的操作模式是左手操作模式或右手操作模式，则执行步骤S505：利用用户触摸手持设备的屏幕时获取的倾斜角度是否识别出用户的操作模式。即在步骤S505中，在用户点击屏幕的瞬时间，通过陀螺仪或者重力仪获取倾斜角度，并通过此倾斜角度来判断是否能够识别出用户的操作模式。如果可以通过此倾斜角度识别出用户的操作模式，则执行步骤S506；如果无法通过倾斜角度识别出用户的操作模式，则执行步骤S501。
如图10所示，图10是本发明手持设备的结构示意图，该手持设备与上述手持设备上用户操作模式的识别方法对应。手持设备包括面部图像获取模块11、图像特征获取模块12、基准特征获取模块13、图像特征比较模块14、角度获取模块15、操作模式识别模块16和调整模块17。
面部图像获取模块11用于利用手持设备的前置摄像装置(未图示)获取用户的面部图像。其中，面部图像获取模块11还用于利用手持设备的前置摄像装置获取用户的面部居中的面部图像。面部图像是包含用户的面部的图像，即面部图像包含面部全部特征的图像，如两眼之间的连线与水平线的夹角、面部距离面部图像的左边距离、面部距离面部图像的右边距离、鼻子所处面部图像的位置，嘴巴所处面部图像的位置以及耳朵所处面部图像的位置等等。
图像特征获取模块12与面部图像获取模块11连接，用于从用户的面部图像中获取用户的面部图像的第一特征。其中第一特征可以是面部图像中两眼之间的连线与水平线的夹角、面部的左边距比例、面部的右边距比例、鼻子所处面部图像的位置，嘴巴所处面部图像的位置以及耳朵所处面部图像的位置。
基准特征获取模块13与面部图像获取模块11连接，用于从用户的面部居中的面部图像中获取用户的面部图像的基准特征。其中用户的面部图像的基准特征可以是用户的面部居中的面部图像中两眼之间的连线与水平线的夹角、面部的左边距比例、面部的右边距比例、鼻子所处面部图像的位置，嘴巴所处面部图像的位置以及耳朵所处面部图像的位置。
图像特征比较模块14与图像特征获取模块12和基准特征获取模块13连接，用于将用户的面部图像的第一特征与用户的面部图像的基准特征进行比较。其中用户的面部图像的基准特征是从用户的面部居中的面部图像中获取的。
角度获取模块15用于在检测到用户触摸手持设备的屏幕时获取手持设备的倾斜角度。
操作模式识别模块16与图像特征比较模块14和角度获取模块15连接，用于根据比较结果，识别用户的操作模式，操作模式包括：左手操作模式和右手操作模式。操作模式识别模块16根据图像特征比较模块14所得出的比较结果无法识别用户的操作模式时，操作模式识别模块16还用于通过角度获取模块15获取的倾斜角度识别用户的操作模式。
调整模块17与操作模式识别模块16连接，用于根据用户的操作模式调整手持设备操作界面的显示模式。如识别出用户的操作模式是右手操作模式，则调整模块17将手持设备的屏幕中的虚拟控制按键a设置在位置A上，调整模块17将手持设备的屏幕中的虚拟控制按键b设置在位置B上，如图3所示。如识别出用户的操作模式是左手操作模式，则调整模块17将手持设备的屏幕中的虚拟控制按键a设置在位置B上，调整模块17将手持设备的屏幕中的虚拟控制按键b设置在位置A上，如图4所示。当然，本发明并不限制上述的虚拟控制按键，还可以是其他控制按键或者显示界面，如在右手操作模式下手持设备的屏幕显示第一界面，在左手操作模式下手持设备的屏幕显示第二界面。
在本实施例中，当用户的面部图像的第一特征为用户的面部图像中两眼之间的连线与水平线的夹角β，用户的面部图像的基准特征为用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α。图像特征比较模块14用于将用户的面部图像中两眼之间的连线与水平线的夹角β与用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α进行比较。操作模式识别模块16用于在用户的面部图像中两眼之间的连线与水平线的夹角β小于用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α时识别出用户的操作模式是左手操作模式，操作模式识别模块16用于在用户的面部图像中两眼之间的连线与水平线的夹角β大于用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α时识别出用户的操作模式是右手操作模式。
在本实施例中，当用户的面部图像的第一特征为用户的面部图像中面部的边距比例，用户的面部图像的基准特征为用户的面部居中的面部图像中面部的边距比例。其中用户的面部图像中面部的边距比例可以为用户的面部图像中面部的左边距比例L1/L3、用户的面部图像中面部的右边距比例L2/L3，或左边距比例与右边距比例的比例L1/L2；用户的面部居中的面部图像中面部的边距比例可以为用户的面部居中的面部图像中面部的左边距比例L4/L6、用户的面部居中的面部图像中面部的右边距比例L5/L6，或用户的面部居中的面部图像中面部的左边距比例与用户的面部居中的面部图像中面部的右边距比例的比例L4/L5。图像特征比较模块14用于将获取的用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例进行比较。操作模式识别模块16用于在用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例之间的差异大于预设的左手操作模式的阈值时识别出用户的操作模式是左手操作模式，操作模式识别模块16用于在用户的面部图像中面部的边距比例与已保存的用户的面部居中的面部图像中面部的边距比例之间的差异大于预设的右手操作模式的阈值时识别出用户的操作模式是右手操作模式。
在本实施例中，当用户的面部图像的第一特征包括用户的面部图像中面部的左边 距比例、用户的面部图像中面部的右边距比例以及用户的面部图像中两眼之间的连线与水 平线的夹角，用户的面部图像的基准特征包括用户的面部居中的面部图像中面部的左边距 比例、用户的面部居中的面部图像中面部的右边距比例以及用户的面部居中的面部图像中 两眼之间的连线与水平线的夹角。图像特征比较模块14用于通过比较值公式计算比较值R， 其中，比较值公式为a、b、c分别为用户 的面部图像中面部的左边距比例、用户的面部图像中面部的右边距比例、用户的面部图像 中两眼之间的连线与水平线的夹角，A、B、C分别为用户的面部居中的面部图像中面部的左 边距比例、用户的面部居中的面部图像中面部的右边距比例以及用户的面部居中的面部图 像中两眼之间的连线与水平线的夹角，TA1、TB1、TC1分别为左手操作模式下面部的左边距比 例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值，TA2、TB2、TC2分别为 右手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平 线的夹角阈值，WA、WB、WC分别为面部的左边距比例的特征权重值、面部的右边距比例的特征 权重值、两眼之间的连线与水平线的夹角的特征权重值。操作模式识别模块16用于在比较 值R小于0时识别出用户的操作模式是左手操作模式，操作模式识别模块用于在比较值R大 于0时识别出用户的操作模式是右手操作模式。
当然，在其他实施例中，比较值公式还可以为其中a为用户的面部图像中面部的左边距比例L1/L3、用户的面部图像中面部的右边距比例L2/L3或用户的面部图像中两眼之间的连线与水平线的夹角β中任两种，A为用户的面部居中的面部图像中面部的左边距比例L4/L6、用户的面部居中的面部图像中面部的右边距比例L5/L6以及用户的面部居中的面部图像中两眼之间的连线与水平线的夹角α中任两种，TA1为左手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值中任两种，TA2为右手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值中任两种，WA为面部的左边距比例的特征权重值、面部的右边距比例的特征权重值、两眼之间的连线与水平线的夹角的特征权重值中任两种。即应用两个五官特征计算比较值R。如使用五官特征中的左边距和右边距，则a为用户的面部图像中面部的左边距比例L1/L3，b为用户的面部图像中面部的右边距比例L2/L3，A也为用户的面部居中的面部图像中面部的左边距比例L4/L6，B也为用户的面部居中的面部图像中面部的右边距比例L5/L6，其他依次与上述相同。另外，比较值公式还可以为即应用一个五官特征计算比较值R。或者更多，如应用四个五官特征计算比较值R或应用五个五官特征计算比较值R。
需要说明的是，本发明的手持设备可以为手机、平板电脑或其他电子产品。
综上所述，本发明利用手持设备的前置摄像装置获取用户的面部图像；从用户的面部图像中获取用户的面部图像的第一特征；将用户的面部图像的第一特征与用户的面部图像的基准特征进行比较；根据比较结果识别用户的操作模式是左手操作模式还是右手操作模式，最后根据用户的操作模式调整手持设备操作界面的显示模式。本发明能够快速且准确地识别用户的操作模式是左手操作模式还是右手操作模式，并根据操作模式进一步调整手持设备操作界面的显示模式，其方案简单易行，仅通过手持设备的软件实现，不需要加装硬件，便于推广，能够有效提升用户的体验同时也降低设计成本。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种手持设备上用户操作模式的识别方法，其特征在于，所述方法包括：
利用所述手持设备的前置摄像装置获取用户的面部图像，其中所述面部图像是包含所述用户的面部的图像；
从所述用户的面部图像中获取所述用户的面部图像的第一特征；
将所述用户的面部图像的第一特征与所述用户的面部图像的基准特征进行比较，其中所述用户的面部图像的基准特征是从所述用户的面部居中的面部图像中获取的；
根据比较结果，识别所述用户的操作模式，所述操作模式包括：左手操作模式和右手操作模式；
其中，所述用户的面部图像是包含用户面部五官全部特征的图像。
2.根据权利要求1所述的方法，其特征在于，所述用户的面部图像的第一特征是所述用户的面部图像中两眼之间的连线与水平线的夹角，所述用户的面部图像的基准特征是所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角；
所述将所述获取的所述用户的面部图像的第一特征与已保存的所述用户的面部图像的基准特征进行比较，包括：
将所述用户的面部图像中两眼之间的连线与水平线的夹角与所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角进行比较；
所述根据比较结果，识别所述用户的操作模式，包括：
若所述用户的面部图像中两眼之间的连线与水平线的夹角小于所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角，则识别出所述用户的操作模式是左手操作模式，若所述用户的面部图像中两眼之间的连线与水平线的夹角大于所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角，则识别出所述用户的操作模式是右手操作模式。
3.根据权利要求1所述的方法，其特征在于，所述用户的面部图像的第一特征是所述用户的面部图像中面部的边距比例，所述用户的面部图像的基准特征是所述用户的面部居中的面部图像中面部的边距比例；
所述将所述获取的所述用户的面部图像的第一特征与已保存的所述用户的面部图像的基准特征进行比较，包括：
将所述获取的所述用户的面部图像中面部的边距比例与已保存的所述用户的面部居中的面部图像中面部的边距比例进行比较；
所述根据比较结果，识别所述用户的操作模式，包括：
若所述用户的面部图像中面部的边距比例与已保存的所述用户的面部居中的面部图像中面部的边距比例之间的差值大于预设的左手操作模式的阈值，则识别出所述用户的操作模式是左手操作模式，若所述用户的面部图像中面部的边距比例与已保存的所述用户的面部居中的面部图像中面部的边距比例之间的差值大于预设的右手操作模式的阈值，则识别出所述用户的操作模式是右手操作模式。
4.根据权利要求1所述的方法，其特征在于，所述用户的面部图像的第一特征包括所述用户的面部图像中面部的左边距比例、所述用户的面部图像中面部的右边距比例以及所述用户的面部图像中两眼之间的连线与水平线的夹角，所述用户的面部图像的基准特征包括所述用户的面部居中的面部图像中面部的左边距比例、所述用户的面部居中的面部图像中面部的右边距比例以及所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角；
所述将所述获取的所述用户的面部图像的第一特征与已保存的所述用户的面部图像的基准特征进行比较，包括：
通过比较值公式计算所述比较值R，其中，所述比较值公式为
所述a、b、c分别为所述用户的面部图像中面部的左边距比例、所述用户的面部图像中面部的右边距比例、所述用户的面部图像中两眼之间的连线与水平线的夹角，所述A、B、C分别为所述用户的面部居中的面部图像中面部的左边距比例、所述用户的面部居中的面部图像中面部的右边距比例以及所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角，所述TA1、TB1、TC1分别为左手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值，所述TA2、TB2、TC2分别为右手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值，所述WA、WB、WC分别为所述面部的左边距比例的特征权重值、所述面部的右边距比例的特征权重值、所述两眼之间的连线与水平线的夹角的特征权重值；
所述根据比较结果，识别所述用户的操作模式，包括：
若所述比较值R小于0，则识别出所述用户的操作模式是左手操作模式，若所述比较值R大于0，则识别出所述用户的操作模式是右手操作模式。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据比较结果，识别所述用户的操作模式之后，还包括：
根据所述用户的操作模式，调整所述手持设备操作界面的显示模式。
6.一种手持设备，其特征在于，所述手持设备包括：
面部图像获取模块，用于利用所述手持设备的前置摄像装置获取用户的面部图像，其中所述面部图像是包含所述用户的面部的图像；
图像特征获取模块，用于从所述用户的面部图像中获取所述用户的面部图像的第一特征；
图像特征比较模块，用于将所述用户的面部图像的第一特征与所述用户的面部图像的基准特征进行比较，其中所述用户的面部图像的基准特征是从所述用户的面部居中的面部图像中获取的；
操作模式识别模块，用于根据比较结果，识别所述用户的操作模式，所述操作模式包括：左手操作模式和右手操作模式；
其中，所述用户的面部图像是包含用户面部五官全部特征的图像。
7.根据权利要求6所述的手持设备，其特征在于，所述用户的面部图像的第一特征是所述用户的面部图像中两眼之间的连线与水平线的夹角，所述用户的面部图像的基准特征是所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角；
所述图像特征比较模块用于将所述用户的面部图像中两眼之间的连线与水平线的夹角与所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角进行比较；
所述操作模式识别模块用于在所述用户的面部图像中两眼之间的连线与水平线的夹角小于所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角时识别出所述用户的操作模式是左手操作模式，所述操作模式识别模块用于在所述用户的面部图像中两眼之间的连线与水平线的夹角大于所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角时识别出所述用户的操作模式是右手操作模式。
8.根据权利要求6所述的手持设备，其特征在于，所述用户的面部图像的第一特征是所述用户的面部图像中面部的边距比例，所述用户的面部图像的基准特征是所述用户的面部居中的面部图像中面部的边距比例；
所述图像特征比较模块用于将所述获取的所述用户的面部图像中面部的边距比例与已保存的所述用户的面部居中的面部图像中面部的边距比例进行比较；
所述操作模式识别模块用于在所述用户的面部图像中面部的边距比例与已保存的所述用户的面部居中的面部图像中面部的边距比例之间的差值大于预设的左手操作模式的阈值时识别出所述用户的操作模式是左手操作模式，所述操作模式识别模块用于在所述用户的面部图像中面部的边距比例与已保存的所述用户的面部居中的面部图像中面部的边距比例之间的差值大于预设的右手操作模式的阈值时识别出所述用户的操作模式是右手操作模式。
9.根据权利要求6所述的手持设备，其特征在于，所述用户的面部图像的第一特征包括所述用户的面部图像中面部的左边距比例、所述用户的面部图像中面部的右边距比例以及所述用户的面部图像中两眼之间的连线与水平线的夹角，所述用户的面部图像的基准特征包括所述用户的面部居中的面部图像中面部的左边距比例、所述用户的面部居中的面部图像中面部的右边距比例以及所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角；
所述图像特征比较模块用于通过比较值公式计算所述比较值R，其中，所述比较值公式为所述a、b、c分别为所述用户的面部图像中面部的左边距比例、所述用户的面部图像中面部的右边距比例、所述用户的面部图像中两眼之间的连线与水平线的夹角，所述A、B、C分别为所述用户的面部居中的面部图像中面部的左边距比例、所述用户的面部居中的面部图像中面部的右边距比例以及所述用户的面部居中的面部图像中两眼之间的连线与水平线的夹角，所述TA1、TB1、TC1分别为左手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值，所述TA2、TB2、TC2分别为右手操作模式下面部的左边距比例阈值、面部的右边距比例阈值、两眼之间的连线与水平线的夹角阈值，所述WA、WB、WC分别为所述面部的左边距比例的特征权重值、所述面部的右边距比例的特征权重值、所述两眼之间的连线与水平线的夹角的特征权重值；
所述操作模式识别模块用于在所述比较值R小于0时识别出所述用户的操作模式是左手操作模式，所述操作模式识别模块用于在所述比较值R大于0时识别出所述用户的操作模式是右手操作模式。
10.根据权利要求6至9任一项所述的手持设备，其特征在于，所述手持设备还包括调整模块，用于根据所述用户的操作模式调整所述手持设备操作界面的显示模式。
CN201410374762.8A 2014-07-31 2014-07-31 手持设备上用户操作模式的识别方法和手持设备 Active CN105335059B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410374762.8A CN105335059B (zh) 2014-07-31 2014-07-31 手持设备上用户操作模式的识别方法和手持设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410374762.8A CN105335059B (zh) 2014-07-31 2014-07-31 手持设备上用户操作模式的识别方法和手持设备

Publications (2)

Publication Number Publication Date
CN105335059A CN105335059A (zh) 2016-02-17
CN105335059B true CN105335059B (zh) 2019-03-29

Family

ID=55285646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410374762.8A Active CN105335059B (zh) 2014-07-31 2014-07-31 手持设备上用户操作模式的识别方法和手持设备

Country Status (1)

Country Link
CN (1) CN105335059B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502551A (zh) * 2016-10-31 2017-03-15 珠海市魅族科技有限公司 一种手持模式判定方法及装置
CN106648423A (zh) * 2016-11-24 2017-05-10 深圳奥比中光科技有限公司 移动终端及其交互控制方法
CN107728789B (zh) * 2017-10-31 2020-10-16 努比亚技术有限公司 一种单手操作模式的开启方法、终端及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8665238B1 (en) * 2012-09-21 2014-03-04 Google Inc. Determining a dominant hand of a user of a computing device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592143A (zh) * 2012-01-09 2012-07-18 清华大学 一种驾驶员行车中手持电话违规行为检测方法

Also Published As

Publication number Publication date
CN105335059A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
US8181874B1 (en) Methods and apparatus for facilitating capture of magnetic credit card data on a hand held device
US8245923B1 (en) Methods and apparatus for capturing magnetic credit card data on a hand held device
US20180129262A1 (en) Detecting user focus on hinged multi-screen device
US9489127B2 (en) Method for processing input and electronic device thereof
US20130154947A1 (en) Determining a preferred screen orientation based on known hand positions
CN108008896B (zh) 显示控制方法及相关产品
US20170235484A1 (en) Mobile device systems and methods
WO2017161827A1 (zh) 一种调节相机焦距的方法和终端
WO2017161825A1 (zh) 一种滚动截屏的使用方法和终端
US9367171B2 (en) Touchscreen response method and terminal
CN104423855A (zh) 一种信息处理方法及电子设备
CN112262362B (zh) 程序、识别设备和识别方法
WO2017019390A1 (en) Universal keyboard
US11099660B2 (en) User interface for digital ink modification
CN105335059B (zh) 手持设备上用户操作模式的识别方法和手持设备
US20130321297A1 (en) Unlocking method for an electronic device with a touch screen
CN107454259A (zh) 一种控件调节方法、装置及计算机装置、可读存储介质
US20140176458A1 (en) Electronic device, control method and storage medium
CN104978030B (zh) 基于左右手自动调节手机显示界面的软件及方法
CN106648344A (zh) 一种屏幕内容调整方法及其设备
WO2014097653A1 (ja) 電子機器、制御方法およびプログラム
US20160314559A1 (en) Electronic apparatus and method
WO2023138292A1 (zh) 工作模式切换方法、装置、电子设备和存储介质
CN107194218A (zh) 调整身份认证方式的方法及装置
CN104965634A (zh) 一种屏幕解锁的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160920

Address after: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping square B radio tower 13 layer self unit 02

Applicant after: GUANGZHOU I9GAME INFORMATION TECHNOLOGY CO., LTD.

Address before: 100080 Beijing City, Haidian District Road, No. 28 into the house on the 12 floor

Applicant before: Excelle View Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200527

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba (China) Co.,Ltd.

Address before: 510627 Guangdong city of Guangzhou province Whampoa Tianhe District Road No. 163 Xiping Yun Lu Yun Ping square B radio tower 13 layer self unit 02

Patentee before: GUANGZHOU UCWEB COMPUTER TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right