CN111079493A - 一种基于电子设备的人机互动方法及电子设备 - Google Patents

一种基于电子设备的人机互动方法及电子设备 Download PDF

Info

Publication number
CN111079493A
CN111079493A CN201910494068.2A CN201910494068A CN111079493A CN 111079493 A CN111079493 A CN 111079493A CN 201910494068 A CN201910494068 A CN 201910494068A CN 111079493 A CN111079493 A CN 111079493A
Authority
CN
China
Prior art keywords
user
finger
electronic equipment
learning
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910494068.2A
Other languages
English (en)
Other versions
CN111079493B (zh
Inventor
彭婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Technology Co Ltd
Priority to CN201910494068.2A priority Critical patent/CN111079493B/zh
Publication of CN111079493A publication Critical patent/CN111079493A/zh
Application granted granted Critical
Publication of CN111079493B publication Critical patent/CN111079493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/062—Combinations of audio and printed presentations, e.g. magnetically striped cards, talking books, magnetic tapes with printed texts thereon

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例涉及人机互动技术领域，公开了一种基于电子设备的人机互动方法及电子设备，该方法包括：所述电子设备拍摄用户所指的某一学习页面对应的拍摄图片；所述电子设备将所述拍摄图片与云端在线化的有点读数据的书本图片进行匹配，若匹配成功，控制所述电子设备自动进入点读模式。实施本发明实施例，能够便捷的开启电子设备的点读模式，有利于提升用户体验感。

Description

一种基于电子设备的人机互动方法及电子设备
技术领域
本发明涉及人机互动技术领域，尤其涉及一种基于电子设备的人机互动方法及电子设备。
背景技术
近年来，电子设备(如点读机)被广泛应用于学习辅导。举例来说，电子设备(如点读机)能够提供点读模式(也被称为点读功能)以辅助用户学习发音。目前，用户若想使用电子设备的点读模式，用户需要手动点击电子设备的点读模式对应的虚拟按钮来开启电子设备的点读模式，操作较为繁琐，从而会降低用户体验感。
发明内容
本发明实施例公开了一种基于电子设备的人机互动方法及电子设备，能够便捷的开启电子设备的点读模式，有利于提升用户体验感。
本发明实施例第一方面公开一种基于电子设备的人机互动方法，包括：
所述电子设备拍摄用户所指的某一学习页面对应的拍摄图片；
所述电子设备将所述拍摄图片与云端在线化的有点读数据的书本图片进行匹配，若匹配成功，控制所述电子设备自动进入点读模式。
作为一种可选的实施方式，在本发明实施例第一方面中，所述电子设备拍摄用户所指的某一学习页面对应的拍摄图片，包括：
所述电子设备拍摄用户使用至少一个手指触及的某一学习页面对应的拍摄图片；
所述控制所述电子设备自动进入点读模式之后，所述方法还包括：
所述电子设备在点读模式下，从所述拍摄图片中识别出触及所述某一学习页面的所述至少一个手指中是否存在佩戴了标记有指定图形的手指套的目标手指；
以及，若存在佩戴了标记有指定图形的手指套的目标手指，所述电子设备从所述学习页面中识别出所述目标手指触及的内容，作为用户所指内容。
作为又一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：
所述电子设备识别出所述目标手指所在的手掌类型；其中，所述手指类型为左手掌或右手掌；
所述电子设备查询预先存储的所述手掌类型关联的第一属性信息，若所述第一属性信息用于表示对内容进行报读，则识别出所述目标手指在所述手掌类型中的位置信息；
所述电子设备从预设声纹库中查询与所述目标手指在所述手掌类型中的位置信息对应的目标预设声纹；
所述电子设备采用所述目标预设声纹报读所述用户所指内容。
作为又一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：
所述电子设备识别出所述指定图形是否关联有教师终端的第二属性信息；其中，所述第二属性信息至少包括所述教师终端的身份信息；
若关联有，所述电子设备获取所述用户的人脸图像信息，并且根据所述教师终端的身份信息，将所述用户的人脸图像信息和所述有点读数据的书本图片绑定并发送给所述教师终端。
作为又一种可选的实施方式，在本发明实施例第一方面中，所述第二属性信息还包括指示字段，所述指示字段用于表示是否需要上报佩戴了标记有指定图形的手指套的用户的学习状况，所述方法还包括：
所述电子设备在识别出所述指定图形关联有所述教师终端的第二属性信息之后，若识别出所述指示字段用于表示需要上报佩戴了标记有指定图形的手指套的用户的学习状况，则执行所述的获取所述用户的人脸图像信息，并且根据所述教师终端的身份信息，将所述用户的人脸图像信息和所述有点读数据的书本图片绑定并发送给所述教师终端的步骤。
本发明实施例第二方面公开一种电子设备，包括：
拍摄单元，用于拍摄用户所指的某一学习页面对应的拍摄图片；
匹配单元，用于将所述拍摄图片与云端在线化的有点读数据的书本图片进行匹配；
控制单元，用于在所述匹配单元将所述拍摄图片与云端在线化的有点读数据的书本图片进行匹配成功时，控制所述电子设备自动进入点读模式。
作为一种可选的实施方式，在本发明实施例第二方面中：
所述拍摄单元，具体用于拍摄用户使用至少一个手指触及的某一学习页面对应的拍摄图片；
所述电子设备还包括：
第一识别单元，用于在所述控制单元控制所述电子设备自动进入点读模式之后，在点读模式下，从所述拍摄图片中识别出触及所述某一学习页面的所述至少一个手指中是否存在佩戴了标记有指定图形的手指套的目标手指；
第二识别单元，用于在所述第一识别单元识别出存在佩戴了标记有指定图形的手指套的目标手指时，从所述学习页面中识别出所述目标手指触及的内容，作为用户所指内容。
作为又一种可选的实施方式，在本发明实施例第一方面中，所述电子设备还包括：
第三识别单元，用于识别出所述目标手指所在的手掌类型；其中，所述手指类型为左手掌或右手掌；
所述第三识别单元，还用于查询预先存储的所述手掌类型关联的第一属性信息，若所述第一属性信息用于表示对内容进行报读，则识别出所述目标手指在所述手掌类型中的位置信息；
查询单元，用于从预设声纹库中查询与所述目标手指在所述手掌类型中的位置信息对应的目标预设声纹；
报读单元，用于采用所述目标预设声纹报读所述用户所指内容。
作为又一种可选的实施方式，在本发明实施例第一方面中，所述电子设备还包括：
第四识别单元，用于识别出所述指定图形是否关联有教师终端的第二属性信息；其中，所述第二属性信息至少包括所述教师终端的身份信息；
传输单元，用于在所述第四识别单元识别出所述指定图形关联有所述第二属性信息时，获取所述用户的人脸图像信息，并且根据所述教师终端的身份信息，将所述用户的人脸图像信息和所述有点读数据的书本图片绑定并发送给所述教师终端。
作为又一种可选的实施方式，在本发明实施例第一方面中，所述第二属性信息还包括指示字段，所述指示字段用于表示是否需要上报佩戴了标记有指定图形的手指套的用户的学习状况，所述传输单元，具体用于在所述第四识别单元识别出所述指定图形关联有所述教师终端的第二属性信息时，若识别出所述指示字段用于表示需要上报佩戴了标记有指定图形的手指套的用户的学习状况，则获取所述用户的人脸图像信息，并且根据所述教师终端的身份信息，将所述用户的人脸图像信息和所述有点读数据的书本图片绑定并发送给所述教师终端。
本发明实施例第三方面公开了另一种电子设备，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的任意一种人机互动方法中的全部或部分步骤。
本发明实施例第四方面公开了一种计算机可读存储介质，其特征在于，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行本发明实施例第一方面公开的任意一种人机互动方法中的全部或部分步骤。
本发明实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明实施例第一方面的任意一种人机互动方法的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，电子设备可以拍摄用户所指的某一学习页面对应的拍摄图片，并且在拍摄图片与云端在线化的有点读数据的书本图片匹配成功时，控制电子设备自动进入点读模式。可见，实施本发明实施例，可以省去用户手动点击电子设备的点读模式对应的虚拟按钮来开启电子设备的点读模式，对于用户而言，只需要指一下学习页面即可便捷的开启电子设备的点读模式，从而有利于提升用户体验感。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于电子设备的人机互动方法的流程示意图；
图2是本发明实施例公开的另一种基于电子设备的人机互动方法的流程示意图；
图3是本发明实施例公开的又一种基于电子设备的人机互动方法的流程示意图；
图4是本发明实施例公开的一种电子设备的结构示意图；
图5是本发明实施例公开的另一种电子设备的结构示意图；
图6是本发明实施例公开的又一种电子设备的结构示意图；
图7是本发明实施例公开的又一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开了一种基于电子设备的人机互动方法及电子设备，能够便捷的开启电子设备的点读模式，有利于提升用户体验感。以下进行结合附图进行详细描述。
请参阅图1，图1是本发明实施例公开的一种基于电子设备的人机互动方法的流程示意图。如图1所示，该人机互动方法可以包括以下步骤。
101、电子设备拍摄用户所指的某一学习页面对应的拍摄图片。
其中，电子设备可以包括具备拍摄和点读功能的各类设备或系统(如点读机、家教机等)，本发明实施例不作具体限定。
在一个实施例中，电子设备可以通过自身的拍摄模组或外接的拍摄模组拍摄用户(如学生)所指的某一学习页面(如纸质学习页面)对应的拍摄图片。
举例来说，用户(如学生用户)可以将其任意一个手指或其若干个手指触及(如按压)某一学习页面(如纸质学习页面)，以触发电子设备拍摄用户所指的某一学习页面对应的拍摄图片。
在一个实施例中，当用户(如学生用户)将其任意一个手指或其若干个手指触及(如按压)某一学习页面(如纸质学习页面)时，电子设备可以通过传感器阵列(如大面积全织物压力传感器阵列)检测到该学习页面被触及的压力值(即平均压力值)，并且电子设备在判断出该压力值大于指定阈值时，可以启动电子设备自身的拍摄模组或外接的拍摄模组对正在被触及的该学习页面进行拍摄，以获得该学习页面对应的拍摄图片。
102、电子设备将拍摄图片与云端在线化的有点读数据的书本图片进行匹配，若匹配成功，执行步骤103；若匹配不成功，结束本流程。
其中，拍摄图片与云端在线化的有点读数据的书本图片匹配成功可以是：该学习页面的学习内容与云端在线化的有点读数据的书本图片的学习内容相同。
当电子设备将拍摄图片与云端在线化的有点读数据的书本图片进行匹配成功时，电子设备可以认为用户使用的是有点读数据的学习页面(如纸质学习页面)，在这样场景下用户有点读需求的可能性较大，进而可以执行步骤103；反之，若匹配不成功，可以认为用户使用的没有点读数据的学习页面(如纸质学习页面)，在这样场景下用户有点读需求的可能性较小，电子设备可以结束本流程。
103、电子设备控制电子设备自动进入点读模式。
在一个实施例中，电子设备控制电子设备自动进入点读模式之后，可以通过语音方式和/或文字方式提示用户已自动进入点读模式。
可见，实施图1所描述的人机互动方法，可以省去用户手动点击电子设备的点读模式对应的虚拟按钮来开启电子设备的点读模式，对于用户而言，只需要指一下学习页面即可便捷的开启电子设备的点读模式，从而有利于提升用户体验感。
请参阅图2，图2是本发明实施例公开的另一种基于电子设备的人机互动方法的流程示意图。如图2所示，该人机互动方法可以包括以下步骤。
201、电子设备拍摄用户使用至少一个手指触及的某一学习页面对应的拍摄图片。
202、电子设备将拍摄图片与云端在线化的有点读数据的书本图片进行匹配，若匹配成功，执行步骤203～步骤204；若匹配不成功，结束本流程。
203、电子设备控制电子设备自动进入点读模式。
204、电子设备在点读模式下，从拍摄图片中识别出触及该学习页面的该至少一个手指中是否存在佩戴了标记有指定图形的手指套的目标手指，若存在，执行步骤205～步骤209；若不存在，结束本流程。
其中，拍摄图片可以包括触及该学习页面的该至少一个手指，该至少一个手指中的某一目标手指上佩戴标记有指定图形(如指定LOGO)的手指套；以及，拍摄图片还包括该学习页面(如纸质学习页面)上的未被该至少一个手指遮挡的学习内容；在此基础上，电子设备在点读模式下，可以从拍摄图片中识别出该至少一个手指中是否存在佩戴了标记有指定图形的手指套的目标手指，若存在，执行步骤205～步骤209；若不存在，结束本流程。
205、电子设备从该学习页面中识别出目标手指触及的内容，作为用户所指内容。
在一个实施例中，电子设备可以根据拍摄图片包括的该学习页面(如纸质学习页面)上的未被该若干个手指遮挡的学习内容，获取该学习页面(如纸质学习页面)对应的电子页面，并将电子页面的内容与该学习页面(如纸质学习页面)上的未被该至少一个手指遮挡的学习内容进行对比，以确定出该学习页面(如纸质学习页面)上的被该至少一个手指遮挡的学习内容；以及，根据目标手指在该学习页面上的位置，从该学习页面(如纸质学习页面)上的被该至少一个手指遮挡的学习内容中确定出目标手指遮挡(即目标手指触及)的内容作为用户所指内容。
206、电子设备识别出目标手指所在的手掌类型；其中，该手指类型为左手掌或右手掌。
207、电子设备查询预先存储的该手掌类型关联的第一属性信息，若第一属性信息用于表示对内容进行报读，则识别出目标手指在该手掌类型中的位置信息。
举例来说，当目标手指是食指时，目标手指在该手掌类型(如左手掌)中的位置信息可以是食指在该手掌类型(如左手掌)的位置；又例如，当目标手指是中指时，目标手指在该手掌类型(如左手掌)中的位置信息可以是中指在该手掌类型(如左手掌)的位置；再例如，当目标手指是小指时，目标手指在该手掌类型(如左手掌)中的位置信息可以是小指在该手掌类型(如左手掌)的位置。
在一个实施例中，不同的手掌类型关联的第一属性信息可以不同，例如，右手掌关联的第一属性信息可以用于表示对内容进行报读，而左手掌关联的第一属性信息可以用于表示查询内容对应的搜索结果。
208、电子设备从预设声纹库中查询与目标手指在该手掌类型中的位置信息对应的目标预设声纹。
在一个实施例中，当目标手指在该手掌类型中的位置信息发生变化时，目标手指在该手掌类型中的位置信息对应的目标预设声纹也可以相应发生变化，从而有利于提升用户将标记有指定图形的手指套与电子设备配合使用的兴趣和粘度。
209、电子设备采用目标预设声纹报读该用户所指内容。
正如前面所说的，不同的手掌类型关联的第一属性信息可以不同，若第一属性信息用于表示查询内容对应的搜索结果，那么电子设备也可以识别出目标手指在该手掌类型中的位置信息，并从预设声纹库中查询与目标手指在该手掌类型中的位置信息对应的目标预设声纹，以及查询该用户所指内容对应的搜索结果，以及控制显示屏输出该用户所指内容对应的搜索结果，以及采用目标预设声纹报读该用户所指内容对应的搜索结果。
举例来说，该用户所指内容对应的搜索结果可以包括该用户所指内容对应的试题或释义，本发明实施例不作限定。
可见，实施图2所描述的人机互动方法，可以省去用户手动点击电子设备的点读模式对应的虚拟按钮来开启电子设备的点读模式，对于用户而言，只需要指一下学习页面即可便捷的开启电子设备的点读模式，从而有利于提升用户体验感。
此外，实施图2所描述的人机互动方法，即使年纪较小的学生用户在点读过程中多个手指伸开或手掌趴放在学习页面上，也不影响电子设备对学生用户所指内容的识别率和准确性，从而有利于提高对用户所指内容的识别率和准确性；此外，用户可以把标记有指定图形的手指套佩戴在习惯的任何一个手指上，这样不管是用户手指全散开还是弯曲等其他自然舒适习惯下，都能准确地识别出用户所指内容，使用要求较低，用户可以在遵循自己习惯和自然舒适的状态下顺利的完成学习，从而可以提升用户是操作体验感。
请参阅图3，图3是本发明实施例公开的另一种基于电子设备的人机互动方法的流程示意图。如图3所示，该人机互动方法可以包括以下步骤。
其中，步骤301～步骤309与前面实施例中的步骤201～步骤209相同，本发明实施例此处不作赘述。
310、电子设备识别出该指定图形是否关联有教师终端的第二属性信息；其中，第二属性信息至少包括该教师终端的身份信息；若未关联有，结束本流程；若关联有，执行步骤311。
311、电子设备获取该用户的人脸图像信息，并且根据该教师终端的身份信息，将该用户的人脸图像信息和上述有点读数据的书本图片绑定并发送给该教师终端。
在一个实施例中，电子设备可以通过自身的拍摄模组或外接的拍摄模组获取该用户的人脸图像信息。
举例来说，该学习页面可以是该教师终端所属的教师为该用户(如学生)指派的需要该用户进行点读学习的纸质学习页面，并且该学习页面的学习内容与上述有点读数据的书本图片的学习内容又相同，相应地实施上述步骤310～步骤311可以方便教师了解该用户是否对已指派的需要该用户进行点读学习的纸质学习页面进行点读学习，从而可以达到了解该用户的学习动态的效果。
在另一个实施例中，上述的第二属性信息还包括指示字段，该指示字段用于表示是否需要上报佩戴了标记有指定图形的手指套的用户的学习状况。相应地，电子设备在识别出该指定图形关联有教师终端的第二属性信息之后，若识别出该指示字段用于表示需要上报佩戴了标记有指定图形的手指套的用户的学习状况，电子设备才执行步骤311，从而可以防止对教师造成信息干扰。
在一种实施例中，电子设备可以是设置在某一学习环境(如学校图书馆、学校阅览室)内的供学生用户使用的电子设备(数量可以是多个)。当多个用户(如多个学生)需要进入该学习环境以对教师指派的需要进行点读学习的纸质学习页面进行点读学习时，可以由教师为该多个用户中每一个用户分别分配一个标记有指定图形的手指套；更进一步的，对于该多个用户中的学习积极性差的用户，其被分配的手指套上标记的指定图形与其他的学习积极性好的用户被分配的手指套上标记的指定图形不同，并且教师可以仅在该学习环境内的电子设备上预先将学习积极性差的用户被分配的手指套上标记的指定图形与教师终端的第二属性信息进行关联，从而可以方便教师了解那些学习积极性差的用户是否在该学习环境中对已指派的需要进行点读学习的纸质学习页面进行点读学习，从而可以达到重点了解那些学习积极性差的用户学习动态的效果。
可见，实施图3所描述的人机互动方法，可以省去用户手动点击电子设备的点读模式对应的虚拟按钮来开启电子设备的点读模式，对于用户而言，只需要指一下学习页面即可便捷的开启电子设备的点读模式，从而有利于提升用户体验感。
此外，实施图3所描述的人机互动方法，即使年纪较小的学生用户在点读过程中多个手指伸开或手掌趴放在学习页面上，也不影响电子设备对学生用户所指内容的识别率和准确性，从而有利于提高对用户所指内容的识别率和准确性；此外，用户可以把标记有指定图形的手指套佩戴在习惯的任何一个手指上，这样不管是用户手指全散开还是弯曲等其他自然舒适习惯下，都能准确地识别出用户所指内容，使用要求较低，用户可以在遵循自己习惯和自然舒适的状态下顺利的完成学习，从而可以提升用户是操作体验感。
此外，实施图3所描述的人机互动方法，可以方便教师了解那些学习积极性差的用户是否在该学习环境中对已指派的需要进行点读学习的纸质学习页面进行点读学习，从而可以达到重点了解那些学习积极性差的用户学习动态的效果。
请参阅图4，图4是本发明实施例公开的一种电子设备的结构示意图。如图4所示，该电子设备可以包括：
拍摄单元401，用于拍摄用户所指的某一学习页面对应的拍摄图片；
匹配单元402，用于将拍摄图片与云端在线化的有点读数据的书本图片进行匹配；
控制单元403，用于在匹配单元402将拍摄图片与云端在线化的有点读数据的书本图片进行匹配成功时，控制电子设备自动进入点读模式。
在一个实施例中，拍摄单元401可以通过电子设备自身的拍摄模组或外接的拍摄模组拍摄用户(如学生)所指的某一学习页面(如纸质学习页面)对应的拍摄图片。
举例来说，用户(如学生用户)可以将其任意一个手指或其若干个手指触及(如按压)某一学习页面(如纸质学习页面)，以触发拍摄单元401拍摄用户所指的某一学习页面对应的拍摄图片。在一个实施例中，当用户(如学生用户)将其任意一个手指或其若干个手指触及(如按压)某一学习页面(如纸质学习页面)时，拍摄单元401可以通过传感器阵列(如大面积全织物压力传感器阵列)检测到该学习页面(如纸质学习页面)被触及的压力值(即平均压力值)，并且拍摄单元401在判断出该压力值大于指定阈值时，可以启动电子设备自身的拍摄模组或外接的拍摄模组对正在被触及的该学习页面(如纸质学习页面)进行拍摄，以获得该学习页面对应的拍摄图片。
可见，实施图4所描述的电子设备，可以省去用户手动点击电子设备的点读模式对应的虚拟按钮来开启电子设备的点读模式，对于用户而言，只需要指一下学习页面即可便捷的开启电子设备的点读模式，从而有利于提升用户体验感。
请一并参阅图5，图5是本发明实施例公开的另一种电子设备的结构示意图。其中，图5所示的电子设备是由图4所示的电子设备进行优化得到的。在图5所示的电子设备中，拍摄单元401具体用于拍摄用户使用至少一个手指触及的某一学习页面对应的拍摄图片；
相应的，电子设备还包括：
第一识别单元404，用于在控制单元403控制电子设备自动进入点读模式之后，在点读模式下，从拍摄图片中识别出触及该某一学习页面的该至少一个手指中是否存在佩戴了标记有指定图形的手指套的目标手指；
第二识别单元405，用于在第一识别单元404识别出存在佩戴了标记有指定图形的手指套的目标手指时，从该学习页面中识别出目标手指触及的内容，作为用户所指内容。
作为一种可选的实施方式，图5所示的电子设备还包括：
第三识别单元406，用于识别出目标手指所在的手掌类型；其中，手指类型为左手掌或右手掌；以及，还用于查询预先存储的该手掌类型关联的第一属性信息，若第一属性信息用于表示对内容进行报读，则识别出目标手指在手掌类型中的位置信息；
查询单元407，用于从预设声纹库中查询与目标手指在所述手掌类型中的位置信息对应的目标预设声纹；
报读单元408，用于采用目标预设声纹报读该用户所指内容。
可见，实施图5所描述的电子设备，即使年纪较小的学生用户在点读过程中多个手指伸开或手掌趴放在学习页面上，也不影响电子设备对学生用户所指内容的识别率和准确性，从而有利于提高对用户所指内容的识别率和准确性；此外，用户可以把标记有指定图形的手指套佩戴在习惯的任何一个手指上，这样不管是用户手指全散开还是弯曲等其他自然舒适习惯下，都能准确地识别出用户所指内容，使用要求较低，用户可以在遵循自己习惯和自然舒适的状态下顺利的完成学习，从而可以提升用户是操作体验感。
请一并参阅图6，图6是本发明实施例公开的又一种电子设备的结构示意图。其中，图6所示的电子设备是由图5所示的电子设备进行优化得到的。在图6所示的电子设备中，还包括：
第四识别单元409，用于识别出该指定图形是否关联有教师终端的第二属性信息；其中，第二属性信息至少包括教师终端的身份信息；
传输单元410，用于在第四识别单元409识别出该指定图形关联有第二属性信息时，获取该用户的人脸图像信息，并且根据该教师终端的身份信息，将该用户的人脸图像信息和上述有点读数据的书本图片绑定并发送给该教师终端。
举例来说，该学习页面可以是该教师终端所属的教师为该用户(如学生)指派的需要该用户进行点读学习的纸质学习页面，并且该学习页面的学习内容与上述有点读数据的书本图片的学习内容又相同，相应地实施上述的第四识别单元409和传输单元410，可以方便教师了解该用户是否对已指派的需要该用户进行点读学习的纸质学习页面进行点读学习，从而可以达到了解该用户的学习动态的效果。
在另一个实施例中，上述的第二属性信息还包括指示字段，该指示字段用于表示是否需要上报佩戴了标记有指定图形的手指套的用户的学习状况。传输单元410具体用于在第四识别单元409识别出该指定图形关联有教师终端的第二属性信息时，若识别出该指示字段用于表示需要上报佩戴了标记有指定图形的手指套的用户的学习状况，则获取该用户的人脸图像信息，并且根据该教师终端的身份信息，将该用户的人脸图像信息和上述有点读数据的书本图片绑定并发送给该教师终端，从而可以防止对教师造成信息干扰。
在一种实施例中，电子设备可以是设置在某一学习环境(如图书馆、阅览室)内的供学生用户使用的电子设备(数量可以是多个)。当多个用户(如多个学生)需要进入该学习环境以对教师指派的需要进行点读学习的纸质学习页面进行点读学习时，可以由教师为该多个用户中每一个用户分别分配一个标记有指定图形的手指套；更进一步的，对于该多个用户中的学习积极性差的用户，其被分配的手指套上标记的指定图形与其他的学习积极性好的用户被分配的手指套上标记的指定图形不同，并且教师可以仅在该学习环境内的电子设备上预先将学习积极性差的用户被分配的手指套上标记的指定图形与教师终端的第二属性信息进行关联，从而可以方便教师了解那些学习积极性差的用户是否在该学习环境中对已指派的需要进行点读学习的纸质学习页面进行点读学习，从而可以达到重点了解那些学习积极性差的用户学习动态的效果。
可见，实施图6所描述的电子设备，还可以方便教师了解那些学习积极性差的用户是否在该学习环境中对已指派的需要进行点读学习的纸质学习页面进行点读学习，从而可以达到重点了解那些学习积极性差的用户学习动态的效果。
请参阅图7，图7是本发明实施例公开的又一种电子设备的结构示意图。如图7所示，该电子设备可以包括：
存储有可执行程序代码的存储器701；
与存储器701耦合的处理器702；
其中，处理器702调用存储器701中存储的可执行程序代码，执行图1～图3任意一种方法中的全部或部分步骤。
此外，本发明实施例进一步公开了一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，该计算机程序使得计算机执行图1～图3任意一种人机互动方法中的全部或部分步骤。
此外，本发明实施例进一步公开一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机图1～图3任意一种方法中的全部或部分步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于电子设备的人机互动方法及电子设备进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种基于电子设备的人机互动方法，其特征在于，包括：
所述电子设备拍摄用户所指的某一学习页面对应的拍摄图片；
所述电子设备将所述拍摄图片与云端在线化的有点读数据的书本图片进行匹配，若匹配成功，控制所述电子设备自动进入点读模式。
2.根据权利要求1所述的人机互动方法，其特征在于，所述电子设备拍摄用户所指的某一学习页面对应的拍摄图片，包括：
所述电子设备拍摄用户使用至少一个手指触及的某一学习页面对应的拍摄图片；
所述控制所述电子设备自动进入点读模式之后，所述方法还包括：
所述电子设备在点读模式下，从所述拍摄图片中识别出触及所述某一学习页面的所述至少一个手指中是否存在佩戴了标记有指定图形的手指套的目标手指；
以及，若存在佩戴了标记有指定图形的手指套的目标手指，所述电子设备从所述学习页面中识别出所述目标手指触及的内容，作为用户所指内容。
3.根据权利要求2所述的人机互动方法，其特征在于，所述方法还包括：
所述电子设备识别出所述目标手指所在的手掌类型；其中，所述手指类型为左手掌或右手掌；
所述电子设备查询预先存储的所述手掌类型关联的第一属性信息，若所述第一属性信息用于表示对内容进行报读，则识别出所述目标手指在所述手掌类型中的位置信息；
所述电子设备从预设声纹库中查询与所述目标手指在所述手掌类型中的位置信息对应的目标预设声纹；
所述电子设备采用所述目标预设声纹报读所述用户所指内容。
4.根据权利要求2或3所述的人机互动方法，其特征在于，所述方法还包括：
所述电子设备识别出所述指定图形是否关联有教师终端的第二属性信息；其中，所述第二属性信息至少包括所述教师终端的身份信息；
若关联有，所述电子设备获取所述用户的人脸图像信息，并且根据所述教师终端的身份信息，将所述用户的人脸图像信息和所述有点读数据的书本图片绑定并发送给所述教师终端。
5.根据权利要求4所述的人机互动方法，其特征在于，所述第二属性信息还包括指示字段，所述指示字段用于表示是否需要上报佩戴了标记有指定图形的手指套的用户的学习状况，所述方法还包括：
所述电子设备在识别出所述指定图形关联有所述教师终端的第二属性信息之后，若识别出所述指示字段用于表示需要上报佩戴了标记有指定图形的手指套的用户的学习状况，则执行所述的获取所述用户的人脸图像信息，并且根据所述教师终端的身份信息，将所述用户的人脸图像信息和所述有点读数据的书本图片绑定并发送给所述教师终端的步骤。
6.一种电子设备，其特征在于，包括：
拍摄单元，用于拍摄用户所指的某一学习页面对应的拍摄图片；
匹配单元，用于将所述拍摄图片与云端在线化的有点读数据的书本图片进行匹配；
控制单元，用于在所述匹配单元将所述拍摄图片与云端在线化的有点读数据的书本图片进行匹配成功时，控制所述电子设备自动进入点读模式。
7.根据权利要求6所述的电子设备，其特征在于：
所述拍摄单元，具体用于拍摄用户使用至少一个手指触及的某一学习页面对应的拍摄图片；
所述电子设备还包括：
第一识别单元，用于在所述控制单元控制所述电子设备自动进入点读模式之后，在点读模式下，从所述拍摄图片中识别出触及所述某一学习页面的所述至少一个手指中是否存在佩戴了标记有指定图形的手指套的目标手指；
第二识别单元，用于在所述第一识别单元识别出存在佩戴了标记有指定图形的手指套的目标手指时，从所述学习页面中识别出所述目标手指触及的内容，作为用户所指内容。
8.根据权利要求7所述的电子设备，其特征在于，所述电子设备还包括：
第三识别单元，用于识别出所述目标手指所在的手掌类型；其中，所述手指类型为左手掌或右手掌；
所述第三识别单元，还用于查询预先存储的所述手掌类型关联的第一属性信息，若所述第一属性信息用于表示对内容进行报读，则识别出所述目标手指在所述手掌类型中的位置信息；
查询单元，用于从预设声纹库中查询与所述目标手指在所述手掌类型中的位置信息对应的目标预设声纹；
报读单元，用于采用所述目标预设声纹报读所述用户所指内容。
9.根据权利要求7或8所述的电子设备，其特征在于，所述电子设备还包括：
第四识别单元，用于识别出所述指定图形是否关联有教师终端的第二属性信息；其中，所述第二属性信息至少包括所述教师终端的身份信息；
传输单元，用于在所述第四识别单元识别出所述指定图形关联有所述第二属性信息时，获取所述用户的人脸图像信息，并且根据所述教师终端的身份信息，将所述用户的人脸图像信息和所述有点读数据的书本图片绑定并发送给所述教师终端。
10.根据权利要求9所述的电子设备，其特征在于，所述第二属性信息还包括指示字段，所述指示字段用于表示是否需要上报佩戴了标记有指定图形的手指套的用户的学习状况，所述传输单元，具体用于在所述第四识别单元识别出所述指定图形关联有所述教师终端的第二属性信息时，若识别出所述指示字段用于表示需要上报佩戴了标记有指定图形的手指套的用户的学习状况，则获取所述用户的人脸图像信息，并且根据所述教师终端的身份信息，将所述用户的人脸图像信息和所述有点读数据的书本图片绑定并发送给所述教师终端。
11.一种电子设备，其特征在于，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行权利要求1～5任一种所述人机互动方法中的全部或部分步骤。
CN201910494068.2A 2019-06-09 2019-06-09 一种基于电子设备的人机互动方法及电子设备 Active CN111079493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910494068.2A CN111079493B (zh) 2019-06-09 2019-06-09 一种基于电子设备的人机互动方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910494068.2A CN111079493B (zh) 2019-06-09 2019-06-09 一种基于电子设备的人机互动方法及电子设备

Publications (2)

Publication Number Publication Date
CN111079493A true CN111079493A (zh) 2020-04-28
CN111079493B CN111079493B (zh) 2024-03-22

Family

ID=70310043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910494068.2A Active CN111079493B (zh) 2019-06-09 2019-06-09 一种基于电子设备的人机互动方法及电子设备

Country Status (1)

Country Link
CN (1) CN111079493B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568268A (zh) * 2012-01-16 2012-07-11 南京鑫岳教育软件有限公司 基于点读技术的互动系统及其实现方法
CN103246452A (zh) * 2012-02-01 2013-08-14 联想(北京)有限公司 一种切换手写输入中字符类型的方法及一种电子设备
CN103730034A (zh) * 2012-10-16 2014-04-16 步步高教育电子有限公司 一种点读机通信的方法及系统
US20140160035A1 (en) * 2012-12-10 2014-06-12 Dietmar Michael Sauer Finger-specific input on touchscreen devices
CN104253904A (zh) * 2014-09-04 2014-12-31 广东小天才科技有限公司 一种实现点读学习的方法及智能手机
CN106210836A (zh) * 2016-07-28 2016-12-07 广东小天才科技有限公司 一种视频播放过程中的互动学习方法及装置、终端设备
CN106713896A (zh) * 2016-11-30 2017-05-24 世优（北京）科技有限公司 静态图像的多媒体呈现方法、装置和系统
CN106898176A (zh) * 2017-04-18 2017-06-27 麦片科技（深圳）有限公司 基于点读笔的学情分析方法、学情分析服务器及点读系统
CN107728920A (zh) * 2017-09-28 2018-02-23 维沃移动通信有限公司 一种复制方法及移动终端
CN108037882A (zh) * 2017-11-29 2018-05-15 佛山市因诺威特科技有限公司 一种点读方法及系统
CN108241467A (zh) * 2018-01-30 2018-07-03 努比亚技术有限公司 应用程序组合操作方法、移动终端及计算机可读存储介质
CN108958623A (zh) * 2018-06-22 2018-12-07 维沃移动通信有限公司 一种应用程序启动方法及终端设备
CN109063583A (zh) * 2018-07-10 2018-12-21 广东小天才科技有限公司 一种基于点读操作的学习方法及电子设备
CN109634552A (zh) * 2018-12-17 2019-04-16 广东小天才科技有限公司 一种应用于听写的报读控制方法及终端设备
CN109656465A (zh) * 2019-02-26 2019-04-19 广东小天才科技有限公司 一种应用于家教设备的内容获取方法及家教设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568268A (zh) * 2012-01-16 2012-07-11 南京鑫岳教育软件有限公司 基于点读技术的互动系统及其实现方法
CN103246452A (zh) * 2012-02-01 2013-08-14 联想(北京)有限公司 一种切换手写输入中字符类型的方法及一种电子设备
CN103730034A (zh) * 2012-10-16 2014-04-16 步步高教育电子有限公司 一种点读机通信的方法及系统
US20140160035A1 (en) * 2012-12-10 2014-06-12 Dietmar Michael Sauer Finger-specific input on touchscreen devices
CN104253904A (zh) * 2014-09-04 2014-12-31 广东小天才科技有限公司 一种实现点读学习的方法及智能手机
CN106210836A (zh) * 2016-07-28 2016-12-07 广东小天才科技有限公司 一种视频播放过程中的互动学习方法及装置、终端设备
CN106713896A (zh) * 2016-11-30 2017-05-24 世优（北京）科技有限公司 静态图像的多媒体呈现方法、装置和系统
CN106898176A (zh) * 2017-04-18 2017-06-27 麦片科技（深圳）有限公司 基于点读笔的学情分析方法、学情分析服务器及点读系统
CN107728920A (zh) * 2017-09-28 2018-02-23 维沃移动通信有限公司 一种复制方法及移动终端
CN108037882A (zh) * 2017-11-29 2018-05-15 佛山市因诺威特科技有限公司 一种点读方法及系统
CN108241467A (zh) * 2018-01-30 2018-07-03 努比亚技术有限公司 应用程序组合操作方法、移动终端及计算机可读存储介质
CN108958623A (zh) * 2018-06-22 2018-12-07 维沃移动通信有限公司 一种应用程序启动方法及终端设备
CN109063583A (zh) * 2018-07-10 2018-12-21 广东小天才科技有限公司 一种基于点读操作的学习方法及电子设备
CN109634552A (zh) * 2018-12-17 2019-04-16 广东小天才科技有限公司 一种应用于听写的报读控制方法及终端设备
CN109656465A (zh) * 2019-02-26 2019-04-19 广东小天才科技有限公司 一种应用于家教设备的内容获取方法及家教设备

Also Published As

Publication number Publication date
CN111079493B (zh) 2024-03-22

Similar Documents

Publication Publication Date Title
US20170193992A1 (en) Voice control method and apparatus
US20160202766A1 (en) Gesture recognition method, gesture recognition system, terminal device and wearable device
CN108108117B (zh) 一种截屏方法、装置及终端
CN111701226A (zh) 图形用户界面中控件的控制方法、装置、设备及存储介质
CN107194213A (zh) 一种身份识别方法及装置
CN111079494B (zh) 一种学习内容推送方法及电子设备
CN109255989A (zh) 一种智能点读方法及点读设备
CN108829239A (zh) 终端的控制方法、装置及终端
CN111160097B (zh) 一种内容识别方法及装置
CN111077997B (zh) 一种点读模式下的点读控制方法及电子设备
CN111079726B (zh) 一种图像处理方法及电子设备
CN111077993B (zh) 一种学习场景的切换方法、电子设备及存储介质
CN111078983B (zh) 一种待识别页面的确定方法及学习设备
CN111079493B (zh) 一种基于电子设备的人机互动方法及电子设备
CN115981542A (zh) 一种触摸屏的智能交互触摸控制方法、系统、设备及介质
CN115097928A (zh) 手势控制方法及装置、电子设备、存储介质
CN111090383B (zh) 一种指令识别方法及电子设备
CN111078096B (zh) 一种人机交互方法及电子设备
CN111090382B (zh) 一种文字内容的输入方法及终端设备
CN111077990B (zh) 一种待点读内容的确定方法及学习设备
CN111077995B (zh) 一种点读模式的控制方法及电子设备
CN111077989B (zh) 一种基于电子设备的屏幕控制方法及电子设备
CN109710131B (zh) 一种信息控制方法及装置
CN112732079A (zh) 一种基于体感的虚拟人机交互方法、设备及存储介质
CN113467618B (zh) 采集滑动手势的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant