CN107704919A - 移动终端的控制方法、装置及存储介质和移动终端 - Google Patents

移动终端的控制方法、装置及存储介质和移动终端 Download PDF

Info

Publication number
CN107704919A
CN107704919A CN201710918822.1A CN201710918822A CN107704919A CN 107704919 A CN107704919 A CN 107704919A CN 201710918822 A CN201710918822 A CN 201710918822A CN 107704919 A CN107704919 A CN 107704919A
Authority
CN
China
Prior art keywords
mobile terminal
face organ
feedback
output result
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710918822.1A
Other languages
English (en)
Other versions
CN107704919B (zh
Inventor
梁昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710918822.1A priority Critical patent/CN107704919B/zh
Publication of CN107704919A publication Critical patent/CN107704919A/zh
Application granted granted Critical
Publication of CN107704919B publication Critical patent/CN107704919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种移动终端的控制方法、装置及存储介质和移动终端,所述方法包括:获取用户的面部器官动作信息;获取基于机器学习的预设反馈模型,所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息;将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果;根据所述输出结果,执行与所述输出结果对应的反馈操作。本申请实施例提供的技术方案,基于机器学习的预设反馈模型,能够根据用户的面部器官动作信息自动执行相应的控制操作,提升了移动终端控制的智能化和个性化。

Description

移动终端的控制方法、装置及存储介质和移动终端
技术领域
本申请实施例涉及播放控制技术领域,尤其涉及一种移动终端的控制方法、装置及存储介质和移动终端。
背景技术
随着移动终端技术的发展,手机等移动终端中的功能越来越多,为人们的生活和工作提供了便利,但一般用户都是通过手指在移动终端的触摸屏或者实体按键进行操作来实现对移动终端各个功能的控制,其已不能满足人们日益增长的个性化、便捷化的移动终端的控制需求。
发明内容
本申请实施例提供一种移动终端的控制方法、装置及存储介质和移动终端,可以优化移动终端的控制方案。
在第一方面,本申请实施例提供了一种移动终端的控制方法,包括:
获取用户的面部器官动作信息;
获取基于机器学习的预设反馈模型,所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息;
将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果;
根据所述输出结果,执行与所述输出结果对应的反馈操作。
在第二方面,本申请实施例提供了一种移动终端的控制装置,包括:
面部器官动作信息获取模块,用于获取用户的面部器官动作信息;
预设反馈模型获取模块,用于获取基于机器学习的预设反馈模型,所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息;
反馈结果输出模块,用于将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果;
反馈操作执行模块,用于根据所述输出结果,执行与所述输出结果对应的反馈操作。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面所提供的移动终端的控制方法。
在第四方面,本申请实施例提供了一种移动终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现如第一方面所提供的移动终端的控制方法。
本申请实施例提供的移动终端的控制方案,通过将用户的面部器官动作信息输入至基于机器学习的预设反馈模型中,根据输出结果执行对移动终端的控制操作,其中,预设反馈模型是基于机器学习的模型,能够根据用户的面部器官动作信息自动执行相应的控制操作,提升了移动终端控制的智能化和个性化。
附图说明
图1是本申请实施例提供的一种移动终端的控制方法的流程图;
图2是本申请实施例提供的另一种移动终端的控制方法的流程图;
图3是本申请实施例提供的另一种移动终端的控制方法的流程图;
图4是本申请实施例提供的一种移动终端的控制装置的结构示意图;
图5是本申请实施例提供的一种移动终端的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1给出了本申请实施例提供的一种移动终端的控制方法的流程图,本实施例的方法可以由移动终端的控制装置来执行,该装置可通过硬件和/或软件的方式实现,所述装置可作为移动终端一部分设置在所述移动终端的内部。本实施例中所述的移动终端包括手机、平板电脑、计算机或者服务器等设备。
如图1所示,本实施例提供的移动终端的控制方法包括以下步骤:
步骤101、获取用户的面部器官动作信息。
本申请实施例中所述的面部器官包括眼睛、鼻子、耳朵、嘴、眉毛、脸颊等。其中,所述面部器官动作信息可以为组成该面部器官动作的各帧图像信息。所述面部器官动作信息可以为眼睛上下左右转动、鼻子收缩、耳朵抖动、嘴巴闭合张开以及左右上下移动、眉毛上下移动或者脸颊鼓胀收缩等。
步骤102、获取基于机器学习的预设反馈模型。所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息,即向预设反馈模型输入一个面部器官动作信息即可输出一个相应的反馈信息。
可选的,所述用户属性包括用户标识、年龄、性别、兴趣爱好和健康状况中的至少一项。
示例性的,具有不同用户属性的用户所生成的相同面部器官动作所对应的反馈信息可以不同。例如,在运行的应用程序相同,其他条件也相同的情况下,小明的眼睛上下转动对应的反馈信息为当前显示页面的上下滑动,小红的眼睛上下转动对应的反馈信息为当前音量大小的调节。又例如,小明喜欢玩游戏,小红喜欢看书,小明在通过面部器官动作在音乐播放应用程序下寻找推荐歌曲时,移动终端对应的反馈信息为动感类型的音乐,小红在通过面部器官动作在音乐播放应用程序下寻找推荐歌曲时,移动终端的反馈信息为安静舒缓类型的音乐。
可选的,所述移动终端状态包括移动终端当前运行的应用程序、当前位置和当前时间中的至少一项。
示例性的,在移动终端处于不同状态下相同的面部器官动作可能对应不同的反馈信息。例如,若移动终端的当前时间为晚上11点,则嘴唇的哈欠动作对应的反馈信息可以为提示用户天色已晚早点休息,若移动终端的当前时间为上午11点,则嘴唇的哈欠动作对应的反馈信息可以为提示用户来杯咖啡进行提神。
示例性的,还可基于用户属性和移动终端状态来确定面部器官动作相应的反馈信息。例如,小明在移动终端处于微信支付状态下做出耳朵抖动的动作,移动终端产生相应的反馈信息为确认支付。
在某些实施方式中,所述获取基于机器学习的预设反馈模型可以包括:从预设服务器或者移动终端本地获取基于机器学习的预设反馈模型。当获取到用户的面部器官动作信息时,可从移动终端本地存储空间中获取预设反馈模型,也可从预设服务器中获取预设反馈模型。可选的,对于不同的用户属性和/或移动终端状态下的不同反馈模式,可对应不同的预设反馈模型,可先确定用户属性和/或移动终端状态,然后获取与用户属性和/或移动终端状态对应的预设分类模型。例如,对于移动终端的不同用户可设置不同的预设反馈模型,在确定了当前用户的用户标识后,获取当前用户对应的预设分类模型。
其中,所述预设反馈模型是由多个训练样本训练生成的,所述训练样本可以是预先从其他移动终端或者服务中获取的,也可以是从当前本移动终端采集的历史面部器官动作与反馈信息的对应关系所生成的训练样本。示例性的,若某个用户的耳朵会动,而一般用户的耳朵并不会动,那么该用户可以在移动终端的预设反馈模型的训练模式下,在用户点击支付按键之前,做出耳朵抖动的动作,可将耳朵抖动与支付的反馈信息作为训练样本,用户可多次进行该操作生成多个训练样本。
可选的,本申请实施例中的基于机器学习的预设反馈模型包括基于神经网络的模型,例如,预设反馈模型中可包括一个或多个卷积神经网络层,还可包括一个或多个激活函数层,也可包括一个或多个循环神经网络层。用于训练的初始模型可基于神经网络理论建立,还可基于经验对网络层数或相关参数进行预先设置。
本申请实施例中,对所述多个已知反馈信息的面部器官动作样本的来源和数量不做具体限定。可以理解的是,对于基于机器学习的模型来说,一般样本的数量越多,模型的输出结果越准确。所述预设反馈模型采集的面部器官动作样本来源可以为该移动终端的某一个用户或者该移动终端的所有用户或者该移动终端的所有用户与其他相同类型移动终端的用户,本申请实施例对此并不进行限制。
步骤103、将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果。
预设反馈模型的输出结果与预设反馈模型本身实现的功能相关。在将面部器官动过信息输入预设反馈模型中后,输出结果可以是与面部器官动作信息对应的打开或者关闭应用程序,相关信息的推送,支付或者音量调节等反馈信息。
示例性的,将耳朵抖动动作信息输入预设反馈模型中,可获取到输出结果为支付反馈信息。
步骤104、根据所述输出结果,执行与所述输出结果对应的反馈操作。
若所述输出结果为关闭或者开启应用的反馈信息,则自动执行开启或者关闭当前应用程序的操作;若所述输出结果为信息推送的反馈信息,则自动进行相关信息的推送;若所述输出结果为支付的反馈信息,则自动执行支付操作;若所述输出结果为音量调节的反馈信息,则自动执行移动终端当前音量的调节操作。
示例性的,所述输出结果为支付反馈信息,则移动终端自动执行支付操作自动完成支付,实现了用户耳朵抖动而自动支付的功能。
本实施例提供的移动终端的控制方法,通过将用户的面部器官动作信息输入至基于机器学习的预设反馈模型中,根据输出结果执行对移动终端的控制操作,其中,预设反馈模型是基于机器学习的模型,能够根据用户的面部器官动作信息自动执行相应的控制操作,提升了移动终端控制的智能化和个性化,也提升了对移动终端控制的趣味性。
图2给出了本申请实施例提供的另一种移动终端的控制方法的流程图。如图2所示,本实施例提供的移动终端的控制方法包括以下步骤:
步骤201、获取用户的面部器官动作以及根据所述面部器官动作触发的反馈信息,将所述面部器官动作和所述反馈信息作为训练样本。
该步骤为预设反馈模型的训练样本的获取操作。所述用户面部器官动作和所述面部器官动作触发的反馈信息可以是从其他移动终端或者服务器中获取的预先存储的信息,也可以是从移动终端本地获取的用户的历史面部器官动作和所述历史面部器官动作触发的反馈信息,或者实时获取的面部器官动作和实时获取的面部器官动作触发的反馈信息。
示例性的,用户做出耳朵抖动的动作,移动终端触发支付的反馈信息。
可选的,所述获取用户的面部器官动作以及根据所述面部器官动作触发的反馈信息可以包括:获取组成所述面部器官动作的各帧图像,根据所述各帧图像中每两帧相邻图像的灰度值差值确定面部器官动作的特征信息;获取所述面部器官动作生成的过程中或者生成之后触发的反馈信息。
面部器官动作信息可由移动终端获取到的该动作的多帧图像组成,可根据该多帧图像中每两帧相邻图像的灰度值的差值Z来确定该面部器官动作信息的特征信息。示例性的,所述面部器官动作信息由5帧图像a1-a5组成,a1和a2的灰度值差值为z1,a2和a3的灰度值差值为z2,a3和a4的灰度值差值为z3,a4和a5的灰度值差值为z4,可以将标准差z=sqrt((z1+z2+z3+z4)/5)作为该面部器官动作信息的特征信息。特征信息可以标识面部器官动作信息,以区分相同类型的面部器官动作信息,例如区分耳朵抖动的幅度和频率等。
步骤202、多次执行获取训练样本的操作,对获取到的多个训练样本进行训练,生成预设反馈模型。
该步骤即多次执行步骤201中获取用户的眼部动作以及根据所述眼部动作触发的反馈信息,将所述眼部器官动作和所述反馈信息作为训练样本的操作,对获取到的多个训练样本进行训练,生成预设反馈模型。
步骤203、获取用户的面部器官动作信息。
步骤204、获取基于机器学习的预设反馈模型。所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息。
步骤205、将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果。
可选的,该步骤可以包括:将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型基于所述面部器官动作信息的特征信息确定的反馈信息。
具有不同特征信息的面部器官动作信息对应的反馈信息不同,为进一步提升预设反馈模型输出结果的准确度,可基于面部器官动作信息的特征信息确定对应的反馈信息。
步骤206、根据所述输出结果,执行与所述输出结果对应的反馈操作。
本实施例提供的方法,通过获取用户的面部器官动作以及根据所述面部器官动作触发的反馈信息,将所述面部器官动作和所述反馈信息作为训练样本,多次执行获取训练样本的操作,对获取到的多个训练样本进行训练,可以生成准确且贴合用户需求的预设反馈模型,以根据预设反馈模型智能化、个性化的进行移动终端的控制操作。
图3给出了本申请实施例提供的另一种移动终端的控制方法的流程图。如图3所示,本实施例提供的方法包括以下步骤:
步骤301、获取用户的面部器官动作信息。
步骤302、获取基于机器学习的预设反馈模型。所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息。
步骤303、将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果。
步骤304、根据所述输出结果,执行与所述输出结果对应的反馈操作。
步骤305、接收用户输入的输出结果修正信息。
示例性的,若面部器官动作X对应的输出结果为打开应用程序A,则步骤304相应执行打开应用程序A的操作。若用户做出面部器官动作X的意图并不是打开应用程序A而是打开应用程序B,那么用户会关闭应用程序A并开启应用程序B,那么在移动终端接收到用户关闭应用程序A和打开应用程序B的操作指令时,则修正面部器官动作X对应的输出结果为打开应用程序B,当然,可能仅仅一次不符合面部器官动作的反馈信息不会直接进行修正操作,而是根据一定的修正或者更新规则对预设反馈模型进行修正或者更新,例如,在不相符次数达到设定次数时调整预设反馈模型中该面部器官动作对应的输出结果。
步骤306、将所述面部器官动作信息和所述输出结果修正信息反馈至所述预设反馈模型,用于对所述预设反馈模型进行训练及更新。
如上所述,对预设反馈模型中的面部器官动作信息的输出结果根据修正信息进行训练和更新。在对所述预设反馈模型进行训练及更新之后,将获取到的面部器官动作信息输入至更新后的预设反馈模型中,并进行后续操作。
可选的,若预设反馈模型在移动终端本地,那么可将所述面部器官动作信息和所述输出结果修正信息反馈至移动终端,移动终端对预设反馈模型进行训练及更新;若预设反馈模型在预设服务器中,那么可将所述面部器官动作信息和所述输出结果修正信息反馈至预设服务器,移动终端指示服务器对预设反馈模型进行训练及更新。
本实施例提供的方法,通过将输出结果修正信息和相应的面部器官动作信息反馈至预设反馈模型中,对预设反馈模型进行训练和更新,可以对预设反馈模型利用新的训练样本进行再次训练,使得预设反馈模型更加贴合用户对移动终端的控制习惯,使移动终端的控制更加准确和智能化。
图4为本申请实施例提供的一种移动终端的控制装置的结构示意图,该装置可由软件和/或硬件实现,集成在移动终端中。如图4所示,该装置包括面部器官动作信息获取模块41、预设反馈模型获取模块42、反馈结果输出模块43和反馈操作执行模块44。
所述面部器官动作信息获取模块41,用于获取用户的面部器官动作信息;
所述预设反馈模型获取模块42,用于获取基于机器学习的预设反馈模型,所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息;
所述反馈结果输出模块43,用于将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果;
所述反馈操作执行模块44,用于根据所述输出结果,执行与所述输出结果对应的反馈操作。
本实施例提供的装置,通过将用户的面部器官动作信息输入至基于机器学习的预设反馈模型中,根据输出结果执行对移动终端的控制操作,其中,预设反馈模型是基于机器学习的模型,能够根据用户的面部器官动作信息自动执行相应的控制操作,提升了移动终端控制的智能化和个性化。
可选的,所述用户属性包括用户标识、年龄、性别、兴趣爱好和健康状况中的至少一项。
可选的,所述移动终端状态包括移动终端当前运行的应用程序、当前位置和当前时间中的至少一项。
可选的,所述预设反馈模型获取模块具体用于:从预设服务器或者移动终端本地获取基于机器学习的预设反馈模型。
可选的,所述装置还包括:
修正信息接收模块,用于在执行与所述输出结果对应的反馈操作之后,接收用户输入的输出结果修正信息;
预设反馈模型更新模块,用于将所述面部器官动作信息和所述输出结果修正信息反馈至所述预设反馈模型,用于对所述预设反馈模型进行训练及更新。
可选的,所述装置还包括:
训练样本获取模块,用于获取用户的面部器官动作以及根据所述面部器官动作触发的反馈信息,将所述面部器官动作和所述反馈信息作为训练样本;
预设反馈模型生成模块,用于多次执行获取训练样本的操作,对获取到的多个训练样本进行训练,生成预设反馈模型。
可选的,所述训练样本获取模块获取用户的面部器官动作以及根据所述面部器官动作触发的反馈信息可以包括:
获取组成所述面部器官动作的各帧图像,根据所述各帧图像中每两帧相邻图像的灰度值差值确定面部器官动作的特征信息;
获取所述面部器官动作生成的过程中或者生成之后触发的反馈信息;
所述反馈结果输出模块具体用于:
将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型基于所述面部器官动作信息的特征信息确定的反馈信息。
可选的,所述反馈操作执行模块具体用于:
若所述输出结果为关闭或者开启应用的反馈信息,则自动执行开启或者关闭当前应用程序的操作;
若所述输出结果为信息推送的反馈信息,则自动进行相关信息的推送;
若所述输出结果为支付的反馈信息,则自动执行支付操作;
若所述输出结果为音量调节的反馈信息,则自动执行移动终端当前音量的调节操作。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种移动终端的控制方法,该方法包括:获取用户的面部器官动作信息;获取基于机器学习的预设反馈模型,所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息;将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果;根据所述输出结果,执行与所述输出结果对应的反馈操作。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的移动终端的控制操作,还可以执行本申请任意实施例所提供的移动终端的控制方法中的相关操作。
本申请实施例提供了一种移动终端,该移动终端可以包括本申请任意实施例提供的移动终端的控制装置。图5为本申请实施例提供的一种移动终端的结构示意图,如图5所示,该移动终端可以包括:存储器501、中央处理器(Central Processing Unit,CPU)502(又称处理器,以下简称CPU)、所述存储器501,用于存储可执行程序代码;所述处理器502通过读取所述存储器501中存储的可执行程序代码来运行与所述可执行程序代码对应的程序,以用于执行:获取用户的面部器官动作信息;获取基于机器学习的预设反馈模型,所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息;将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果;根据所述输出结果,执行与所述输出结果对应的反馈操作。
所述移动终端还包括:外设接口503、RF(Radio Frequency,射频)电路505、音频电路506、扬声器511、电源管理芯片508、输入/输出(I/O)子系统509、触摸屏512、其他输入/控制设备510以及外部端口504,这些部件通过一个或多个通信总线或信号线507来通信。
应该理解的是,图示移动终端500仅仅是移动终端的一个范例,并且移动终端500可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的移动终端进行详细的描述,该移动终端以手机为例。
存储器501,所述存储器501可以被CPU502、外设接口503等访问,所述存储器501可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口503,所述外设接口503可以将设备的输入和输出外设连接到CPU502和存储器501。
I/O子系统509,所述I/O子系统509可以将设备上的输入输出外设,例如触摸屏512和其他输入/控制设备510,连接到外设接口503。I/O子系统509可以包括显示控制器5091和用于控制其他输入/控制设备510的一个或多个输入控制器5092。其中,一个或多个输入控制器5092从其他输入/控制设备510接收电信号或者向其他输入/控制设备510发送电信号,其他输入/控制设备510可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是,输入控制器5092可以与以下任一个连接:键盘、红外端口、USB接口以及诸如鼠标的指示设备。
触摸屏512,所述触摸屏512是用户终端与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。
I/O子系统509中的显示控制器5091从触摸屏512接收电信号或者向触摸屏512发送电信号。触摸屏512检测触摸屏上的接触,显示控制器5091将检测到的接触转换为与显示在触摸屏512上的用户界面对象的交互,即实现人机交互,显示在触摸屏512上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路505,主要用于建立手机与无线网络(即网络侧)的通信,实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地,RF电路505接收并发送RF信号,RF信号也称为电磁信号,RF电路505将电信号转换为电磁信号或将电磁信号转换为电信号,并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路505可以包括用于执行这些功能的已知电路,其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder,编译码器)芯片组、用户标识模块(Subscriber Identity Module,SIM)等等。
音频电路506,主要用于从外设接口503接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器511。
扬声器511,用于将手机通过RF电路505从无线网络接收的语音信号,还原为声音并向用户播放该声音。
电源管理芯片508,用于为CPU502、I/O子系统及外设接口503所连接的硬件进行供电及电源管理。
上述实施例中提供的移动终端的控制装置、存储介质及终端可执行本申请任意实施例所提供的移动终端的控制方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的移动终端的控制方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。

Claims (11)

1.一种移动终端的控制方法,其特征在于,包括:
获取用户的面部器官动作信息;
获取基于机器学习的预设反馈模型,所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息;
将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果;
根据所述输出结果,执行与所述输出结果对应的反馈操作。
2.根据权利要求1所述的方法,其特征在于,所述用户属性包括用户标识、年龄、性别、兴趣爱好和健康状况中的至少一项。
3.根据权利要求1所述的方法,其特征在于,所述移动终端状态包括移动终端当前运行的应用程序、当前位置和当前时间中的至少一项。
4.根据权利要求1所述的方法,其特征在于,所述获取基于机器学习的预设反馈模型包括:从预设服务器或者移动终端本地获取基于机器学习的预设反馈模型。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述执行与所述输出结果对应的反馈操作之后还包括:
接收用户输入的输出结果修正信息;
将所述面部器官动作信息和所述输出结果修正信息反馈至所述预设反馈模型,用于对所述预设反馈模型进行训练及更新。
6.根据权利要求1-4任一项所述的方法,其特征在于,还包括:
获取用户的面部器官动作以及根据所述面部器官动作触发的反馈信息,将所述面部器官动作和所述反馈信息作为训练样本;
多次执行获取训练样本的操作,对获取到的多个训练样本进行训练,生成预设反馈模型。
7.根据权利要求6所述的方法,其特征在于,所述获取用户的面部器官动作以及根据所述面部器官动作触发的反馈信息包括:
获取组成所述面部器官动作的各帧图像,根据所述各帧图像中每两帧相邻图像的灰度值差值确定面部器官动作的特征信息;
获取所述面部器官动作生成的过程中或者生成之后触发的反馈信息;
所述将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果包括:
将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型基于所述面部器官动作信息的特征信息确定的反馈信息。
8.根据权利要求1-4任一项所述的方法,其特征在于,所述根据所述输出结果,执行与所述输出结果对应的反馈操作包括:
若所述输出结果为关闭应用的反馈信息,则自动执行关闭当前应用程序的操作;
若所述输出结果为开启应用的反馈信息,则自动执行开启当前应用程序的操作;
若所述输出结果为信息推送的反馈信息,则自动进行相关信息的推送;
若所述输出结果为支付的反馈信息,则自动执行支付操作;
若所述输出结果为音量调节的反馈信息,则自动执行移动终端当前音量的调节操作。
9.一种移动终端的控制装置,其特征在于,包括:
面部器官动作信息获取模块,用于获取用户的面部器官动作信息;
预设反馈模型获取模块,用于获取基于机器学习的预设反馈模型,所述预设反馈模型由多个已知反馈信息的面部器官动作样本训练得到,用于对面部器官动作基于用户属性和/或移动终端状态确定相应的反馈信息;
反馈结果输出模块,用于将所述面部器官动作信息输入至所述预设反馈模型中,并获取所述预设反馈模型的输出结果;
反馈操作执行模块,用于根据所述输出结果,执行与所述输出结果对应的反馈操作。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的移动终端的控制方法。
11.一种移动终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-8中任一所述的移动终端的控制方法。
CN201710918822.1A 2017-09-30 2017-09-30 移动终端的控制方法、装置及存储介质和移动终端 Active CN107704919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710918822.1A CN107704919B (zh) 2017-09-30 2017-09-30 移动终端的控制方法、装置及存储介质和移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710918822.1A CN107704919B (zh) 2017-09-30 2017-09-30 移动终端的控制方法、装置及存储介质和移动终端

Publications (2)

Publication Number Publication Date
CN107704919A true CN107704919A (zh) 2018-02-16
CN107704919B CN107704919B (zh) 2021-12-07

Family

ID=61183976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710918822.1A Active CN107704919B (zh) 2017-09-30 2017-09-30 移动终端的控制方法、装置及存储介质和移动终端

Country Status (1)

Country Link
CN (1) CN107704919B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108815845A (zh) * 2018-05-15 2018-11-16 百度在线网络技术(北京)有限公司 人机交互的信息处理方法及装置、计算机设备及可读介质
CN109350965A (zh) * 2018-10-09 2019-02-19 苏州好玩友网络科技有限公司 一种应用于移动终端的游戏控制方法、装置及终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631522A (zh) * 2013-12-13 2014-03-12 广东欧珀移动通信有限公司 一种在移动终端上自定义快捷操作方式的方法和装置
CN104008320A (zh) * 2014-05-19 2014-08-27 惠州Tcl移动通信有限公司 基于人脸识别的使用权限和用户模式控制方法及系统
CN105144168A (zh) * 2013-08-29 2015-12-09 欧姆龙株式会社 模拟装置以及模拟程序
CN105205379A (zh) * 2015-10-28 2015-12-30 广东欧珀移动通信有限公司 一种终端应用的控制方法、装置和终端
CN105338192A (zh) * 2015-11-25 2016-02-17 努比亚技术有限公司 移动终端及其操作处理方法
CN106060240A (zh) * 2016-05-16 2016-10-26 福州大学 基于头部生物电的智能手机接拨控制方法
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN106814853A (zh) * 2016-12-15 2017-06-09 上海眼控科技股份有限公司 一种基于机器学习的眼控跟踪方法
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144168A (zh) * 2013-08-29 2015-12-09 欧姆龙株式会社 模拟装置以及模拟程序
CN103631522A (zh) * 2013-12-13 2014-03-12 广东欧珀移动通信有限公司 一种在移动终端上自定义快捷操作方式的方法和装置
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN104008320A (zh) * 2014-05-19 2014-08-27 惠州Tcl移动通信有限公司 基于人脸识别的使用权限和用户模式控制方法及系统
CN105205379A (zh) * 2015-10-28 2015-12-30 广东欧珀移动通信有限公司 一种终端应用的控制方法、装置和终端
CN105338192A (zh) * 2015-11-25 2016-02-17 努比亚技术有限公司 移动终端及其操作处理方法
CN106060240A (zh) * 2016-05-16 2016-10-26 福州大学 基于头部生物电的智能手机接拨控制方法
CN106814853A (zh) * 2016-12-15 2017-06-09 上海眼控科技股份有限公司 一种基于机器学习的眼控跟踪方法
CN107007257A (zh) * 2017-03-17 2017-08-04 深圳大学 面部不自然度的自动评级方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108815845A (zh) * 2018-05-15 2018-11-16 百度在线网络技术(北京)有限公司 人机交互的信息处理方法及装置、计算机设备及可读介质
CN108815845B (zh) * 2018-05-15 2019-11-26 百度在线网络技术(北京)有限公司 人机交互的信息处理方法及装置、计算机设备及可读介质
CN109350965A (zh) * 2018-10-09 2019-02-19 苏州好玩友网络科技有限公司 一种应用于移动终端的游戏控制方法、装置及终端

Also Published As

Publication number Publication date
CN107704919B (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN107608523A (zh) 移动终端的控制方法、装置及存储介质和移动终端
CN108076224B (zh) 应用程序控制方法、装置及存储介质和移动终端
CN107909629A (zh) 贴纸的推荐方法、装置、存储介质及终端设备
CN107911491B (zh) 信息推荐方法、装置及存储介质、服务器和移动终端
CN107995428B (zh) 图像处理方法、装置及存储介质和移动终端
CN107995370B (zh) 通话控制方法、装置及存储介质和移动终端
CN107635095A (zh) 拍摄照片的方法、装置、存储介质及拍摄设备
CN107862334A (zh) 眼镜的推荐方法、装置、存储介质及终端设备
CN105389304B (zh) 事件提取方法及装置
CN108156317B (zh) 通话语音控制方法、装置及存储介质和移动终端
CN107944259A (zh) 应用启动的管控方法、装置及存储介质和移动终端
CN105117207B (zh) 相册创建方法及装置
CN105512545B (zh) 访问权限管理方法和装置
CN108153463A (zh) 应用界面显示控制方法、装置及存储介质和移动终端
CN109472912A (zh) 智能升降桌的调整方法、装置及存储介质和智能升降桌
CN107678823A (zh) 移动终端应用的控制方法、装置及存储介质和移动终端
CN107968890A (zh) 主题设置方法、装置、终端设备及存储介质
CN106980840A (zh) 脸型匹配方法、装置及存储介质
CN111061953A (zh) 智能终端交互方法、装置、终端设备及存储介质
JP2020507159A (ja) ピクチャプッシュの方法、移動端末および記憶媒体
CN106845398A (zh) 人脸关键点定位方法及装置
CN108280166A (zh) 表情的制作方法、装置、终端及计算机可读存储介质
CN111817929B (zh) 设备交互方法、装置、家居设备和存储介质
CN108960283A (zh) 分类任务增量处理方法及装置、电子设备和存储介质
CN107213642A (zh) 虚拟人物外观改变方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

GR01 Patent grant
GR01 Patent grant