CN111079496A - 一种点读状态的显示方法及电子设备 - Google Patents

一种点读状态的显示方法及电子设备 Download PDF

Info

Publication number
CN111079496A
CN111079496A CN201910494264.XA CN201910494264A CN111079496A CN 111079496 A CN111079496 A CN 111079496A CN 201910494264 A CN201910494264 A CN 201910494264A CN 111079496 A CN111079496 A CN 111079496A
Authority
CN
China
Prior art keywords
preset
user
target role
electronic equipment
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910494264.XA
Other languages
English (en)
Other versions
CN111079496B (zh
Inventor
彭婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Technology Co Ltd
Priority to CN201910494264.XA priority Critical patent/CN111079496B/zh
Publication of CN111079496A publication Critical patent/CN111079496A/zh
Application granted granted Critical
Publication of CN111079496B publication Critical patent/CN111079496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种点读状态的显示方法及电子设备,该方法包括:在检测到电子设备处于点读模式时,判断目标角色的形态是否发生变化;当目标角色的形态发生变化时,获取用户当前的脸部表情信息,以及根据脸部表情信息确定用户情绪状态;当用户情绪状态与预设情绪状态匹配时,控制目标角色执行与预设情绪状态相适配的预设动作;在目标角色完成预设动作后,输出用于提示目标角色已进入点读场景的提示信息;能够通过用户与目标角色的交互,提示用户电子设备已进入点读状态,提高电子设备智能化,改善用户体验。

Description

一种点读状态的显示方法及电子设备
技术领域
本发明涉及电子设备技术领域,具体涉及一种点读状态的显示方法及电子设备。
背景技术
目前,市面上的一些电子设备(如家教机)设置有“点一点问一问”功能,在显示界面上设置有“点一点问一问”按钮,通过点击“点一点问一问”按钮进入相应功能模式,并配合使用角色IP以提高用户学习乐趣,角色IP可以在用户点读时用于报读点读内容。“点一点问一问”功能包括有点读功能、疑问解答、搜题等,其中,如果用户选择了点读功能,用户无法区分自己在选择了点读功能的时候,电子设备是否进入了点读识别状态,用户自己是否可以进行了点读操作,导致用户使用体验感较差。
发明内容
本发明实施例公开了一种点读状态的显示方法及电子设备,用于提高电子设备智能化,改善用户体验。
本发明实施例第一方面公开了一种点读状态的显示方法,可包括:
在检测到电子设备处于点读模式时,判断目标角色的形态是否发生变化;
当所述目标角色的形态发生变化时,获取用户当前的脸部表情信息,以及根据所述脸部表情信息确定用户情绪状态;
当所述用户情绪状态与预设情绪状态匹配时,控制所述目标角色执行与所述预设情绪状态相适配的预设动作;
在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息。
作为一种可选的实施方式,在本发明实施例第一方面中,当所述用户情绪状态与预设情绪状态匹配时,以及控制所述目标角色执行与所述预设情绪状态相适配的预设动作之前,所述方法还包括:
当所述用户情绪状态与预设情绪状态匹配时,利用所述电子设备的前置摄像头拍摄用户的手部图像;
分析所述手部图像,获得用户的手部动作,并将所述手部动作作为与所述预设情绪状态相适配的预设动作,执行所述控制所述目标角色执行与所述预设情绪状态相适配的预设动作的步骤。
作为一种可选的实施方式,在本发明实施例第一方面中,所述在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息,包括:
在所述目标角色完成所述预设动作后,获取与所述预设情绪状态相匹配的音效,控制所述目标角色用所述音效语音输出提示信息,所述提示信息用于提示所述目标角色已进入点读场景,同时在所述电子设备的显示屏幕上文本输出所述提示信息。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
检测所述电子设备上的点问按钮是否发生触压操作,当发生所述触压操作时,开启点读模式,确定所述电子设备处于点读模式;
或者,检测是否接收到语音开启指令,当接收到所述语音开启指令时,开启所述点读模式,确定所述电子设备处于点读模式。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
当所述用户情绪状态与预设情绪状态不匹配时,控制所述目标角色语音输出提醒信息,以提醒用户展示正确的脸部表情。
本发明实施例第二方面公开了一种电子设备,可包括:
形态检测单元,用于在检测到电子设备处于点读模式时,判断目标角色的形态是否发生变化;
情绪检测单元,用于当所述形态检测单元确定所述目标角色的形态发生变化时,获取用户当前的脸部表情信息,以及根据所述脸部表情信息确定用户情绪状态;
控制单元,用于当所述用户情绪状态与预设情绪状态匹配时,控制所述目标角色执行与所述预设情绪状态相适配的预设动作;
输出单元,用于在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
动作处理单元,用于当所述用户情绪状态与预设情绪状态匹配时,以及所述控制单元控制所述目标角色执行与所述预设情绪状态相适配的预设动作之前,利用所述电子设备的前置摄像头拍摄用户的手部图像;以及,分析所述手部图像,获得用户的手部动作,并将所述手部动作作为与所述预设情绪状态相适配的预设动作,触发所述控制单元控制所述目标角色执行与所述预设情绪状态相适配的预设动作。
作为一种可选的实施方式,在本发明实施例第二方面中,所述输出单元用于在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息的方式具体为:
所述输出单元,用于在所述目标角色完成所述预设动作后,获取与所述预设情绪状态相匹配的音效,控制所述目标角色用所述音效语音输出提示信息,所述提示信息用于提示所述目标角色已进入点读场景,同时在所述电子设备的显示屏幕上文本输出所述提示信息。
作为一种可选的实施方式,在本发明实施例第二方面中,所述电子设备还包括:
开启单元,用于检测所述电子设备上的点问按钮是否发生触压操作,当发生所述触压操作时,开启点读模式,确定所述电子设备处于点读模式;
或者,所述开启单元,用于检测是否接收到语音开启指令,当接收到所述语音开启指令时,开启所述点读模式,确定所述电子设备处于点读模式。
作为一种可选的实施方式,在本发明实施例第二方面中,所述输出单元,还用于当所述情绪检测单元检测所述用户情绪状态与预设情绪状态不匹配时,控制所述目标角色语音输出提醒信息,以提醒用户展示正确的脸部表情。
本发明实施例第三方面公开了一种电子设备,可包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的一种点读状态的显示方法。
本发明实施例第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的一种点读状态的显示方法。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
本发明实施例第六方面公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
与现有技术相比,本发明实施例具有以下有益效果:
在本发明实施例中,在电子设备处于点读模式时,通过判断目标角色的形态是否发生变化,在目标角色的形态发生了变化(说明目标角色进入了点读的识别状态),进一步获取用户当前的脸部表情信息,以及根据该脸部表情信息确定用户情绪状态,当用户情绪状态与预设情绪状态相匹配时,控制目标角色执行与预设情绪状态相适配的预设动作,并在目标角色完成该预设动作后,输出提示信息,以提示电子设备已进入点读场景,可见,实施本发明实施例,能够通过用户与目标角色的交互,提示用户电子设备已进入了点读状态,可以进行点读操作,提高电子设备智能化,改善用户体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例公开的点读状态的显示方法的流程示意图;
图2为本发明另一实施例公开的点读状态的显示方法的流程示意图;
图3为本发明一实施例公开的电子设备的结构示意图;
图4为本发明另一实施例公开的电子设备的结构示意图;
图5为本发明又一实施例公开的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种点读状态的显示方法,用于通过用户与目标角色的交互,提示用户电子设备已进入了点读状态,可以进行点读操作,提高电子设备智能化,改善用户体验。对应地,本发明实施例还公开了一种电子设备。
本发明实施例提供的点读状态的显示方法可适用于家教机、平板电脑等各类电子设备上,本发明实施例不做限定。其中,各类电子设备的操作系统可包括但不限于Android操作系统、IOS操作系统、Symbian(塞班)操作系统、Black Berry(黑莓)操作系统、WindowsPhone8操作系统等等,本发明实施例不做限定。下面将从电子设备角度出发,结合具体实施例对本发明技术方案进行详细说明。
实施例一
请参阅图1,图1为本发明一实施例公开的点读状态的显示方法的流程示意图;如图1所示,该点读状态的显示方法可包括:
101、电子设备在处于点读模式时,判断目标角色的形态是否发生变化;其中,当目标角色的形态发生变化时,转向步骤102;当目标角色的形态未发生变化时,转向步骤101或者结束本流程。
电子设备的点读模式可包括两种类型:其一为对电子设备的显示屏幕上的电子学习页面的电子点读,另一为对纸质学习页面的纸上点读。本发明实施例涉及的点读模式可以是上述任意一种类型,对此本发明实施例不做限定。
在电子设备中设置目标角色,即机器人,目标角色可以是获得授权使用的影视、热门游戏中的角色,如小黄人等。
其中,目标角色的形态包括目标角色的神态(脸部表情)、肢体动作、姿态变化、位置变化等。对应地,在一些可选的实施方式中,电子设备判断目标角色的形态是否发生变化可以包括:电子设备检测目标角色的当前形态,并获取检测时间最接近当前时间时检测到的历史形态,对比当前形态与历史形态是否发生变化,如果发生变化,则确定目标角色的形态发生变化,反之,则确定目标角色的形态未发生变化,实施该实施方式,能够准确识别出目标角色形态是否发生变化。
在一些可选的实施方式中,电子设备在处于点读模式时,通过电子设备的前置摄像头拍摄用户图像,分析该用户图像,获得用户的当前状态信息,该当前状态信息包括用户姿态位置、脸部表情及肢体动作等,控制目标角色从当前形态转换成与用户的当前状态信息相匹配的形态。在该实施方式中,在电子设备进入点读模式之后,用户可以做出相应的状态,目标角色通过模仿用户状态,以便告诉用户已经进入到相应的点读识别状态,增加用户与目标角色的互动,提高检测准确率。
其中,电子设备设置有前置摄像头,且电子设备以预设方式(垂直放置在水平面上或者放置于底座支架上等)放置时摄像头对应有特定拍摄区域,特定拍摄区域用于放置纸质书本,其中,特定拍摄区域并不是固定的,是指摄像头的视角相交的区域,会随着电子设备的放置而发生变化,被放置在该特定拍摄区域内的纸质书本可以被电子设备清晰拍摄及识别。为了更加清晰地拍摄到特定拍摄区域,可以在将电子设备放置于底座支架,使得电子设备与水平面成75°角,从而能够获得更好的拍摄角度。进一步地,在本发明实施例中,为了能够拍摄到用户图像,电子设备控制摄像头转动追踪以检测用户,也即能够在用于拍摄特定拍摄区域的角度下适应性地转动以拍摄用户图像。
进一步地,控制电子设备中的前置摄像头拍摄第一图像,以及控制电子设备中的后置摄像头拍摄第二图像,以及,将第一图像和第二图像拼接形成全景图像,将全景图像作为用户图像。可以看出,在该实施方式中,电子设备设置有前置摄像头和后置摄像头,为了能够全面地拍摄到用户图像,以准确分析出用户所处的场景,可以同时启动前置摄像头和后置摄像头进行拍摄,前置摄像头拍摄其朝向对应的周围环境,得到第一图像,后置摄像头拍摄其朝向对应的周围环境,得到第二图像,然后将第一图像和第二图片拼接得到大视角的全景图像。
102、电子设备获取用户当前的脸部表情信息,以及根据该脸部表情信息确定用户情绪状态。
在一些可选的实施方式中,电子设备利用前置摄像头拍摄用户的脸部图像,对脸部图像进行图像分析处理,获得用户当前的脸部表情信息。
103、电子设备当用户情绪状态与预设情绪状态匹配时,控制目标角色执行与预设情绪状态相适配的预设动作。
例如,预设情绪状态可以为用户情绪低落,预设动作可以为跳舞。可以理解,在电子设备预先设置情绪状态,即预设情绪状态,每一种预设情绪状态与预设动作匹配存储。
104、电子设备在目标角色完成预设动作后,输出用于提示目标角色已进入点读场景的提示信息。
实施上述实施例,在电子设备处于点读模式时,通过判断目标角色的形态是否发生变化,在目标角色的形态发生了变化(说明目标角色进入了点读的识别状态),进一步获取用户当前的脸部表情信息,以及根据该脸部表情信息确定用户情绪状态,当用户情绪状态与预设情绪状态相匹配时,控制目标角色执行与预设情绪状态相适配的预设动作,并在目标角色完成该预设动作后,输出提示信息,以提示电子设备已进入点读场景,可见,实施本发明实施例,能够通过用户与目标角色的交互,提示用户电子设备已进入了点读状态,可以进行点读操作,提高电子设备智能化,改善用户体验。
实施例二
请参阅图2,图2为本发明另一实施例公开的点读状态的显示方法的流程示意图;如图2所示,该点读状态的显示方法可包括:
201、电子设备在处于点读模式时,判断目标角色的形态是否发生变化;其中,当目标角色的形态发生变化时,转向步骤202;当目标角色的形态未发生变化时,转向步骤201。
在一些可选的实施方式中,电子设备检测是否处于点读模式可以通过以下方式实现:
检测电子设备上的点问按钮是否发生触压操作,当发生触压操作时,开启点读模式,确定电子设备处于点读模式;
或者,检测是否接收到语音开启指令,当接收到语音开启指令时,开启点读模式,确定电子设备处于点读模式。其中,可以通过按钮进入点读模式,较为直观,还可以通过语音控制电子设备,实现电子设备的智能化,提高用户使用体验感,还能释放用户双手。
202、电子设备获取用户当前的脸部表情信息,以及根据该脸部表情信息确定用户情绪状态。
203、当用户情绪状态与预设情绪状态匹配时,电子设备利用前置摄像头拍摄用户的手部图像。
在一些可选的实施方式中,当用户情绪状态与预设情绪状态不匹配时,控制目标角色语音输出提醒信息,以提醒用户展示正确的脸部表情。
204、电子设备分析上述手部图像,获得用户的手部动作,并将手部动作作为与预设情绪状态相适配的预设动作。
205、电子设备控制目标角色执行与预设情绪状态相适配的预设动作。
206、电子设备在目标角色完成预设动作后,输出用于提示目标角色已进入点读场景的提示信息。
在一些可选的实施方式中,在目标角色完成预设动作后,输出用于提示目标角色已进入点读场景的提示信息,包括:
在目标角色完成预设动作后,获取与预设情绪状态相匹配的音效,控制目标角色用音效语音输出提示信息,该提示信息用于提示目标角色已进入点读场景,同时在电子设备的显示屏幕上文本输出提示信息。在该实施方式中,能够获取与预设情绪状态相匹配的音效,并用该音效进行提示信息输出,以配合到用户情绪,增加对用户的吸引力,提起用户的学习兴趣,提高学习效率。
在另一些可选的实施方式中,电子设备在目标角色完成预设动作,输出用于提示目标角色已进入点读场景的提示信息之后,电子设备通过前置摄像头检测纸质学习页面上是否发生点击操作,若发生点击操作,拍摄纸质学习页面获得纸质学习页面图像,在数据库中查找与该纸质学习页面图像相匹配的电子学习页面图像,获取该电子学习页面图像对应的学习内容作为纸质学习页面的点读内容,控制目标角色报读该点读内容。
进一步地,电子设备通过前置摄像头检测纸质学习页面上是否发生点击操作可以包括:电子设备通过前置摄像头拍摄纸质学习页面,获得纸质学习页面图像,并获取最接近当前时间点的历史学习页面(历史学习页面为最接近当前时间点的上一次拍摄得到的学习页面),通过比对纸质学习页面图像和历史学习页面发现纸质学习页面发生形变,则认为在纸质学习页面上发生了点击操作,反之,则认为在纸质学习页面上未发生点击操作,有利于提高点击的检测准确率。
在上述实施例中,能够在目标角色发生了形态变化之后,进一步获取用户的手部动作,控制目标角色完成用户的手部动作,从而提醒用户已进入点读状态,实现了用户与目标角色的多层交互,提高电子设备智能化,改善用户体验。
实施例三
请参阅图3,图3为本发明一实施例公开的电子设备的结构示意图;如图3所示,该电子设备可包括:
形态检测单元310,用于在检测到电子设备处于点读模式时,判断目标角色的形态是否发生变化;
情绪检测单元320,用于当所述形态检测单元310确定所述目标角色的形态发生变化时,获取用户当前的脸部表情信息,以及根据所述脸部表情信息确定用户情绪状态;
控制单元330,用于当所述用户情绪状态与预设情绪状态匹配时,控制所述目标角色执行与所述预设情绪状态相适配的预设动作;
输出单元340,用于在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息。
实施上述电子设备,在电子设备处于点读模式时,通过判断目标角色的形态是否发生变化,在目标角色的形态发生了变化(说明目标角色进入了点读的识别状态),进一步获取用户当前的脸部表情信息,以及根据该脸部表情信息确定用户情绪状态,当用户情绪状态与预设情绪状态相匹配时,控制目标角色执行与预设情绪状态相适配的预设动作,并在目标角色完成该预设动作后,输出提示信息,以提示电子设备已进入点读场景,可见,实施本发明实施例,能够通过用户与目标角色的交互,提示用户电子设备已进入了点读状态,可以进行点读操作,提高电子设备智能化,改善用户体验。
在一些可选的实施方式中,上述形态检测单元310用于判断目标角色的形态是否发生变化可以包括:形态检测单元310用于检测目标角色的当前形态,并获取检测时间最接近当前时间时检测到的历史形态,对比当前形态与历史形态是否发生变化,如果发生变化,则确定目标角色的形态发生变化,反之,则确定目标角色的形态未发生变化,实施该实施方式,能够准确识别出目标角色形态是否发生变化。
在一些可选的实施方式中,上述形态检测单元310还用于在电子设备处于点读模式时,通过电子设备的前置摄像头拍摄用户图像,分析该用户图像,获得用户的当前状态信息,该当前状态信息包括用户姿态位置、脸部表情及肢体动作等,控制目标角色从当前形态转换成与用户的当前状态信息相匹配的形态。在该实施方式中,在电子设备进入点读模式之后,用户可以做出相应的状态,目标角色通过模仿用户状态,以便告诉用户已经进入到相应的点读识别状态,增加用户与目标角色的互动,提高检测准确率。
其中,电子设备设置有前置摄像头,且电子设备以预设方式(垂直放置在水平面上或者放置于底座支架上等)放置时摄像头对应有特定拍摄区域,特定拍摄区域用于放置纸质书本,其中,特定拍摄区域并不是固定的,是指摄像头的视角相交的区域,会随着电子设备的放置而发生变化,被放置在该特定拍摄区域内的纸质书本可以被电子设备清晰拍摄及识别。为了更加清晰地拍摄到特定拍摄区域,可以在将电子设备放置于底座支架,使得电子设备与水平面成75°角,从而能够获得更好的拍摄角度。进一步地,在本发明实施例中,为了能够拍摄到用户图像,情绪检测单元320控制摄像头转动追踪以检测用户,也即能够在用于拍摄特定拍摄区域的角度下适应性地转动以拍摄用户图像。
进一步地,情绪检测单元320可以用于控制电子设备中的前置摄像头拍摄第一图像,以及控制电子设备中的后置摄像头拍摄第二图像,以及,将第一图像和第二图像拼接形成全景图像,将全景图像作为用户图像。可以看出,在该实施方式中,电子设备设置有前置摄像头和后置摄像头,为了能够全面地拍摄到用户图像,以准确分析出用户所处的场景,可以同时启动前置摄像头和后置摄像头进行拍摄,前置摄像头拍摄其朝向对应的周围环境,得到第一图像,后置摄像头拍摄其朝向对应的周围环境,得到第二图像,然后将第一图像和第二图片拼接得到大视角的全景图像。
在一些可选的实施方式中,上述输出单元340用于在目标角色完成预设动作后,输出用于提示目标角色已进入点读场景的提示信息的方式具体为:
上述输出单元340,用于在目标角色完成预设动作后,获取与预设情绪状态相匹配的音效,控制目标角色用上述音效语音输出提示信息,该提示信息用于提示目标角色已进入点读场景,同时在电子设备的显示屏幕上文本输出上述提示信息。
在一些可选的实施方式中,上述输出单元340,还用于当情绪检测单元320检测用户情绪状态与预设情绪状态不匹配时,控制目标角色语音输出提醒信息,以提醒用户展示正确的脸部表情。
实施例四
请参阅图4,图4为本发明另一实施例公开的电子设备的结构示意图;图4所示的电子设备是在图3所示的电子设备的基础上进行优化得到的,图4所示的电子设备进一步包括:
动作处理单元410,用于当用户情绪状态与预设情绪状态匹配时,以及控制单元330控制目标角色执行与预设情绪状态相适配的预设动作之前,利用电子设备的前置摄像头拍摄用户的手部图像;以及,分析手部图像,获得用户的手部动作,并将手部动作作为与预设情绪状态相适配的预设动作,触发控制单元330控制目标角色执行与预设情绪状态相适配的预设动作。
进一步请参阅图4,在图4中,电子设备还进一步包括:
开启单元420,用于检测电子设备上的点问按钮是否发生触压操作,当发生触压操作时,开启点读模式,确定电子设备处于点读模式;
或者,上述开启单元420,用于检测是否接收到语音开启指令,当接收到语音开启指令时,开启点读模式,确定电子设备处于点读模式。其中,可以通过按钮进入点读模式,较为直观,还可以通过语音控制电子设备,实现电子设备的智能化,提高用户使用体验感,还能释放用户双手。
在一些可选的实施方式中,电子设备还包括点读单元,用于在输出单元340在目标角色完成预设动作,输出用于提示目标角色已进入点读场景的提示信息之后,通过前置摄像头检测纸质学习页面上是否发生点击操作,若发生点击操作,拍摄纸质学习页面获得纸质学习页面图像,在数据库中查找与该纸质学习页面图像相匹配的电子学习页面图像,获取该电子学习页面图像对应的学习内容作为纸质学习页面的点读内容,控制目标角色报读该点读内容。
进一步地,点读单元通过前置摄像头检测纸质学习页面上是否发生点击操作可以包括:点读单元通过前置摄像头拍摄纸质学习页面,获得纸质学习页面图像,并获取最接近当前时间点的历史学习页面(历史学习页面为最接近当前时间点的上一次拍摄得到的学习页面),通过比对纸质学习页面图像和历史学习页面发现纸质学习页面发生形变,则认为在纸质学习页面上发生了点击操作,反之,则认为在纸质学习页面上未发生点击操作,有利于提高点击的检测准确率。
实施例五
请参阅图5,图5为本发明又一实施例公开的电子设备的结构示意图;图5所示的电子设备可包括:至少一个处理器510,例如CPU,通信总线530用于实现这些组件之间的通信连接。存储器520可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。存储器520可选的还可以是至少一个位于远离前述处理器510的存储装置。其中,处理器510可以结合图3至图4所描述的电子设备,存储器510中存储一组程序代码,且处理器510调用存储器520中存储的程序代码,用于执行以下操作:
在检测到电子设备处于点读模式时,判断目标角色的形态是否发生变化;当所述目标角色的形态发生变化时,获取用户当前的脸部表情信息,以及根据所述脸部表情信息确定用户情绪状态;当所述用户情绪状态与预设情绪状态匹配时,控制所述目标角色执行与所述预设情绪状态相适配的预设动作;在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息。
作为一种可选的实施方式,上述处理器510还可以用于执行以下步骤:
当所述用户情绪状态与预设情绪状态匹配时,利用所述电子设备的前置摄像头拍摄用户的手部图像;分析所述手部图像,获得用户的手部动作,并将所述手部动作作为与所述预设情绪状态相适配的预设动作,控制所述目标角色执行与所述预设情绪状态相适配的预设动作。
作为一种可选的实施方式,上述处理器510还可以用于执行以下步骤:
在所述目标角色完成所述预设动作后,获取与所述预设情绪状态相匹配的音效,控制所述目标角色用所述音效语音输出提示信息,所述提示信息用于提示所述目标角色已进入点读场景,同时在所述电子设备的显示屏幕上文本输出所述提示信息。
作为一种可选的实施方式,上述处理器510还可以用于执行以下步骤:
检测所述电子设备上的点问按钮是否发生触压操作,当发生所述触压操作时,开启点读模式,确定所述电子设备处于点读模式;或者,检测是否接收到语音开启指令,当接收到所述语音开启指令时,开启所述点读模式,确定所述电子设备处于点读模式。
作为一种可选的实施方式,上述处理器510还可以用于执行以下步骤:
当所述用户情绪状态与预设情绪状态不匹配时,控制所述目标角色语音输出提醒信息,以提醒用户展示正确的脸部表情。
本发明实施例还公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行图1至图2公开的一种点读状态的显示方法。
本发明实施例还公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行图1至图2公开的任意一种方法的部分或全部步骤。
本发明实施例还公开一种应用发布平台,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行图1至图2公开的任意一种方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种点读状态的显示方法及电子设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种点读状态的显示方法,其特征在于,包括:
在检测到电子设备处于点读模式时,判断目标角色的形态是否发生变化;
当所述目标角色的形态发生变化时,获取用户当前的脸部表情信息,以及根据所述脸部表情信息确定用户情绪状态;
当所述用户情绪状态与预设情绪状态匹配时,控制所述目标角色执行与所述预设情绪状态相适配的预设动作;
在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息。
2.根据权利要求1所述的方法,其特征在于,当所述用户情绪状态与预设情绪状态匹配时,以及控制所述目标角色执行与所述预设情绪状态相适配的预设动作之前,所述方法还包括:
当所述用户情绪状态与预设情绪状态匹配时,利用所述电子设备的前置摄像头拍摄用户的手部图像;
分析所述手部图像,获得用户的手部动作,并将所述手部动作作为与所述预设情绪状态相适配的预设动作,执行所述控制所述目标角色执行与所述预设情绪状态相适配的预设动作的步骤。
3.根据权利要求1或2所述的方法,其特征在于,所述在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息,包括:
在所述目标角色完成所述预设动作后,获取与所述预设情绪状态相匹配的音效,控制所述目标角色用所述音效语音输出提示信息,所述提示信息用于提示所述目标角色已进入点读场景,同时在所述电子设备的显示屏幕上文本输出所述提示信息。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述电子设备上的点问按钮是否发生触压操作,当发生所述触压操作时,开启点读模式,确定所述电子设备处于点读模式;
或者,检测是否接收到语音开启指令,当接收到所述语音开启指令时,开启所述点读模式,确定所述电子设备处于点读模式。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
当所述用户情绪状态与预设情绪状态不匹配时,控制所述目标角色语音输出提醒信息,以提醒用户展示正确的脸部表情。
6.一种电子设备,其特征在于,包括:
形态检测单元,用于在检测到电子设备处于点读模式时,判断目标角色的形态是否发生变化;
情绪检测单元,用于当所述形态检测单元确定所述目标角色的形态发生变化时,获取用户当前的脸部表情信息,以及根据所述脸部表情信息确定用户情绪状态;
控制单元,用于当所述用户情绪状态与预设情绪状态匹配时,控制所述目标角色执行与所述预设情绪状态相适配的预设动作;
输出单元,用于在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息。
7.根据权利要求6所述的电子设备,其特征在于,所述电子设备还包括:
动作处理单元,用于当所述用户情绪状态与预设情绪状态匹配时,以及所述控制单元控制所述目标角色执行与所述预设情绪状态相适配的预设动作之前,利用所述电子设备的前置摄像头拍摄用户的手部图像;以及,分析所述手部图像,获得用户的手部动作,并将所述手部动作作为与所述预设情绪状态相适配的预设动作,触发所述控制单元控制所述目标角色执行与所述预设情绪状态相适配的预设动作。
8.根据权利要求6或7所述的电子设备,其特征在于,所述输出单元用于在所述目标角色完成所述预设动作后,输出用于提示所述目标角色已进入点读场景的提示信息的方式具体为:
所述输出单元,用于在所述目标角色完成所述预设动作后,获取与所述预设情绪状态相匹配的音效,控制所述目标角色用所述音效语音输出提示信息,所述提示信息用于提示所述目标角色已进入点读场景,同时在所述电子设备的显示屏幕上文本输出所述提示信息。
9.根据权利要求6所述的电子设备,其特征在于,所述电子设备还包括:
开启单元,用于检测所述电子设备上的点问按钮是否发生触压操作,当发生所述触压操作时,开启点读模式,确定所述电子设备处于点读模式;
或者,所述开启单元,用于检测是否接收到语音开启指令,当接收到所述语音开启指令时,开启所述点读模式,确定所述电子设备处于点读模式。
10.根据权利要求6至9任一项所述的电子设备,其特征在于:
所述输出单元,还用于当所述情绪检测单元检测所述用户情绪状态与预设情绪状态不匹配时,控制所述目标角色语音输出提醒信息,以提醒用户展示正确的脸部表情。
CN201910494264.XA 2019-06-09 2019-06-09 一种点读状态的显示方法及电子设备 Active CN111079496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910494264.XA CN111079496B (zh) 2019-06-09 2019-06-09 一种点读状态的显示方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910494264.XA CN111079496B (zh) 2019-06-09 2019-06-09 一种点读状态的显示方法及电子设备

Publications (2)

Publication Number Publication Date
CN111079496A true CN111079496A (zh) 2020-04-28
CN111079496B CN111079496B (zh) 2023-05-26

Family

ID=70310060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910494264.XA Active CN111079496B (zh) 2019-06-09 2019-06-09 一种点读状态的显示方法及电子设备

Country Status (1)

Country Link
CN (1) CN111079496B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590486A (zh) * 2014-10-21 2016-05-18 黄小曼 一种基于机器视觉的座台式点读机及相关系统装置与方法
CN107103801A (zh) * 2017-04-26 2017-08-29 北京大生在线科技有限公司 远程三维场景互动教学系统及控制方法
JP2017173548A (ja) * 2016-03-23 2017-09-28 カシオ計算機株式会社 学習支援装置、学習支援システム、学習支援方法、ロボット及びプログラム
CN107272462A (zh) * 2017-07-26 2017-10-20 上海与德通讯技术有限公司 一种基于多任务的纯动作处理方法和装置
CN107748615A (zh) * 2017-11-07 2018-03-02 广东欧珀移动通信有限公司 屏幕的控制方法、装置、存储介质及电子设备
CN108052938A (zh) * 2017-12-28 2018-05-18 广州酷狗计算机科技有限公司 一种点读装置
CN108519816A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 信息处理方法、装置、存储介质及电子设备
CN108525305A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108877357A (zh) * 2018-06-21 2018-11-23 广东小天才科技有限公司 一种基于家教机的交互方法及家教机
CN109215413A (zh) * 2018-09-21 2019-01-15 福州职业技术学院 一种基于移动增强现实的模具设计教学方法、系统及移动终端
US20190094980A1 (en) * 2017-09-18 2019-03-28 Samsung Electronics Co., Ltd Method for dynamic interaction and electronic device thereof

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590486A (zh) * 2014-10-21 2016-05-18 黄小曼 一种基于机器视觉的座台式点读机及相关系统装置与方法
JP2017173548A (ja) * 2016-03-23 2017-09-28 カシオ計算機株式会社 学習支援装置、学習支援システム、学習支援方法、ロボット及びプログラム
CN107103801A (zh) * 2017-04-26 2017-08-29 北京大生在线科技有限公司 远程三维场景互动教学系统及控制方法
CN107272462A (zh) * 2017-07-26 2017-10-20 上海与德通讯技术有限公司 一种基于多任务的纯动作处理方法和装置
US20190094980A1 (en) * 2017-09-18 2019-03-28 Samsung Electronics Co., Ltd Method for dynamic interaction and electronic device thereof
CN107748615A (zh) * 2017-11-07 2018-03-02 广东欧珀移动通信有限公司 屏幕的控制方法、装置、存储介质及电子设备
CN108052938A (zh) * 2017-12-28 2018-05-18 广州酷狗计算机科技有限公司 一种点读装置
CN108519816A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 信息处理方法、装置、存储介质及电子设备
CN108525305A (zh) * 2018-03-26 2018-09-14 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108877357A (zh) * 2018-06-21 2018-11-23 广东小天才科技有限公司 一种基于家教机的交互方法及家教机
CN109215413A (zh) * 2018-09-21 2019-01-15 福州职业技术学院 一种基于移动增强现实的模具设计教学方法、系统及移动终端

Also Published As

Publication number Publication date
CN111079496B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN109635772B (zh) 一种听写内容的批改方法及电子设备
CN109597943B (zh) 一种基于场景的学习内容推荐方法及学习设备
CN111077996B (zh) 一种基于点读的信息推荐方法及学习设备
CN109637286A (zh) 一种基于图像识别的口语训练方法及家教设备
CN109240786B (zh) 一种主题更换方法及电子设备
CN111182167B (zh) 一种文件扫描方法、电子设备
CN111026949A (zh) 一种基于电子设备的搜题方法及系统
CN112632349B (zh) 展区指示方法、装置、电子设备及存储介质
CN108090424B (zh) 一种在线教学调研方法及设备
CN107977146B (zh) 一种基于蒙版的题目搜索方法及电子设备
CN111079499B (zh) 一种学习环境中的书写内容识别方法及系统
CN111026901A (zh) 一种学习内容的搜索方法及学习设备
CN111077997B (zh) 一种点读模式下的点读控制方法及电子设备
CN111077993B (zh) 一种学习场景的切换方法、电子设备及存储介质
CN111077989B (zh) 一种基于电子设备的屏幕控制方法及电子设备
CN111079496A (zh) 一种点读状态的显示方法及电子设备
CN111027353A (zh) 一种搜索内容的提取方法及电子设备
CN111090383B (zh) 一种指令识别方法及电子设备
CN111027354A (zh) 一种学习内容获取方法及学习设备
CN110174924B (zh) 一种基于可穿戴设备的交友方法及可穿戴设备
CN111079498B (zh) 一种基于口型识别的学习功能切换方法及电子设备
CN111176433B (zh) 一种基于智能音箱的搜索结果显示方法及智能音箱
CN111079503B (zh) 一种文字识别方法及电子设备
CN111077990B (zh) 一种待点读内容的确定方法及学习设备
CN107577929B (zh) 一种基于生物特征的不同系统进入控制方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant