CN110134227A - 一种基于可穿戴设备的听写方法及可穿戴设备 - Google Patents

一种基于可穿戴设备的听写方法及可穿戴设备 Download PDF

Info

Publication number
CN110134227A
CN110134227A CN201811151798.4A CN201811151798A CN110134227A CN 110134227 A CN110134227 A CN 110134227A CN 201811151798 A CN201811151798 A CN 201811151798A CN 110134227 A CN110134227 A CN 110134227A
Authority
CN
China
Prior art keywords
smart host
wearable device
location
point
motion track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811151798.4A
Other languages
English (en)
Other versions
CN110134227B (zh
Inventor
施锐彬
郑发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Genius Technology Co Ltd
Original Assignee
Guangdong Genius Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Genius Technology Co Ltd filed Critical Guangdong Genius Technology Co Ltd
Priority to CN201811151798.4A priority Critical patent/CN110134227B/zh
Publication of CN110134227A publication Critical patent/CN110134227A/zh
Application granted granted Critical
Publication of CN110134227B publication Critical patent/CN110134227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/06Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems

Abstract

一种基于可穿戴设备的听写方法及可穿戴设备,所述可穿戴设备包括相对的顶侧和底侧各自设有一个拍摄模组的智能主机,该智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向,所述方法包括:智能主机在播放听写内容时,检测可穿戴设备的佩戴肢体的移动轨迹,并控制任意一个拍摄模组捕获可穿戴设备的佩戴者的人脸预览图像;识别移动轨迹中的停顿点对应的人脸预览图像的即时表情特征;判断停顿点对应的人脸预览图像的即时表情特征是否为疑惑的表情特征,如果是,将停顿点对应的智能主机播放的听写内容划分为佩戴者不熟练的听写内容,使得可穿戴设备不只是机械地播放听写内容,还可以评估佩戴者对听写内容的熟练程度。

Description

一种基于可穿戴设备的听写方法及可穿戴设备
技术领域
本发明涉及可穿戴设备技术领域,具体涉及一种基于可穿戴设备的听写方法及可穿戴设备。
背景技术
听写训练是孩子在学习语言时常用的一种练习方法。听写训练除了可以考察孩子是否掌握单词的正确拼写之外,还可以通过孩子在听写时的反应速度考察孩子对单词掌握的熟练程度。
目前,部分学习型的智能手表具有自动听写功能,能代替老师或家长为孩子进行听写训练。但是,在实践中发现,这些智能手表的自动听写功能只能机械地读出单词,难以如家长或老师一样观察孩子在听写训练过程中的表现,从而难以根据孩子的表现评估孩子对听写内容的熟练程度。
发明内容
本发明实施例公开了一种基于可穿戴设备的听写方法及可穿戴设备,能够评估用户对听写内容的熟练程度。
本发明实施例第一方面公开一种基于可穿戴设备的听写方法,所述可穿戴设备包括相对的顶侧和底侧各自设有一个拍摄模组的智能主机,所述智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向,所述方法包括:
所述智能主机在播放听写内容时,检测所述可穿戴设备的佩戴肢体的移动轨迹,并控制任意一个所述拍摄模组捕获所述可穿戴设备的佩戴者的人脸预览图像;
所述智能主机识别所述移动轨迹中的停顿点对应的所述人脸预览图像的即时表情特征;
所述智能主机判断所述停顿点对应的所述人脸预览图像的即时表情特征是否为疑惑的表情特征,如果是,将所述停顿点对应的所述智能主机播放的听写内容划分为所述佩戴者不熟练的听写内容。
作为一种可选的实施方式,在本发明实施例第一方面中,所述检测佩戴所述可穿戴设备的佩戴肢体的移动轨迹,包括:
所述智能主机检测佩戴所述可穿戴设备的佩戴肢体移动的位置点,连接所述位置点以获得所述移动轨迹;其中,所述移动轨迹中相邻的两个所述位置点的时间间隔相同。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
所述智能主机检测所述佩戴肢体是否为握笔的肢体;
以及,所述智能主机识别所述移动轨迹中的停顿点对应的所述人脸预览图像的即时表情特征,包括:
如果所述佩戴肢体为握笔的肢体,所述智能主机判断所述移动轨迹中相邻的两个位置点的位置变化是否超过第一指定阈值,如果否,将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点;
所述智能主机识别所述停顿点对应的所述人脸预览图像,并从所述对应的人脸预览图像中识别出即时表情特征。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
所述智能主机在控制任意一个所述拍摄模组捕获所述可穿戴设备的佩戴者的人脸预览图像时,控制另一个所述拍摄模组拍摄环境图像;
以及,在所述智能主机判断出所述相邻的两个位置点的位置变化未超过所述第一指定阈值之后,以及在所述智能主机将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点之前,所述方法还包括:
所述智能主机获取至少两帧与位置变化未超过所述第一指定阈值的所述位置点对应的环境图像;
所述智能主机将所述对应的环境图像进行差分处理,以获得所述对应的环境图像中的变化区域;
所述智能主机判断所述变化区域在所述对应的环境图像中的占比是否低于第二指定阈值,如果是,执行所述将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点。
作为一种可选的实施方式,在本发明实施例第一方面中,所述方法还包括:
所述智能主机将被划分为所述佩戴者不熟练的听写内容添加至所述智能主机维护的单词本;
所述智能主机在所述听写内容播放完毕之后,输出显示所述单词本中的内容。
本发明实施例第二方面公开一种可穿戴设备,所述可穿戴设备包括相对的顶侧和底侧各自设有一个拍摄模组的智能主机,所述智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向;所述智能主机包括:
第一检测单元,用于在所述智能主机播放听写内容时,检测所述可穿戴设备的佩戴肢体的移动轨迹;
控制单元,用于在所述智能主机播放听写内容时,控制任意一个所述拍摄模组捕获所述可穿戴设备的佩戴者的人脸预览图像;
识别单元,用于识别所述移动轨迹中的停顿点对应的所述人脸预览图像的即时表情特征;
第一判断单元,用于判断所述停顿点对应的所述人脸预览图像的即时表情特征是否为疑惑的表情特征;
划分单元,用于在所述第一判断单元判断出所述人脸预览图像中的即时表情特征为疑惑的表情特征时,将所述停顿点对应的所述智能主机播放的听写内容划分为所述佩戴者不熟练的听写内容。
作为一种可选的实施方式,在本发明实施例第二方面中,所述第一检测单元,包括:
第一确定子单元,用于检测佩戴所述可穿戴设备的佩戴肢体移动的位置点;
连接子单元,用于连接所述位置点以获得所述移动轨迹;
其中,所述移动轨迹中相邻的两个所述位置点的时间间隔相同。
作为一种可选的实施方式,在本发明实施例第二方面中,所述智能主机还包括:
第二检测单元,用于检测所述佩戴肢体是否为握笔的肢体;
以及,所述识别单元,包括:
判断子单元,用于在所述第二检测单元检测到所述佩戴肢体为握笔的肢体时,判断所述移动轨迹中相邻的两个位置点的位置变化是否超过第一指定阈值;
第二确定子单元,用于在所述判断子单元判断出所述相邻的两个位置点的位置变化未超过所述第一指定阈值时,将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点;
识别子单元,用于识别所述停顿点对应的所述人脸预览图像,并从所述对应的人脸预览图像中识别出即时表情特征。
作为一种可选的实施方式,在本发明实施例第二方面中:
所述控制单元,还用于在控制任意一个所述拍摄模组捕获所述可穿戴设备的佩戴者的人脸预览图像时,控制另一个所述拍摄模组拍摄环境图像;
以及,所述智能主机还包括:
获取单元,用于在所述判断子单元判断出所述相邻的两个位置点的位置变化未超过所述第一指定阈值之后,以及在所述第二确定子单元将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点之前,获取至少两帧与位置变化未超过所述第一指定阈值的所述位置点对应的环境图像;
图像处理单元,用于将所述对应的环境图像进行图像差分处理,以获得所述对应的环境图像中的变化区域;
第二判断单元,用于判断所述变化区域在所述对应的环境图像中的占比是否低于第二指定阈值;
所述第二确定子单元,具体用于在所述判断子单元判断出所述相邻的两个位置点的位置变化未超过所述第一指定阈值以及所述第二判断单元判断出所述变化区域在所述对应的环境图像中的占比低于所述第二指定阈值时,将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点。
作为一种可选的实施方式,在本发明实施例第二方面中,所述智能主机还包括:
添加单元,用于将被划分为所述佩戴者不熟练的听写内容添加至所述智能主机维护的单词本;
显示单元,用于在所述听写内容播放完毕之后,输出显示所述单词本中的内容。
本发明实施例第三方面公开一种可穿戴设备,该可穿戴设备包括相对的顶侧和底侧各自设有一个拍摄模组的智能主机,并且该智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向;该智能主机包括:
拍摄组件,具体可以包括设置在智能主机顶侧的拍摄模组和设置在智能主机底侧的拍摄模组;
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
显示面板,具体可以包括设置在智能主机顶侧的显示屏幕和设置在智能主机底侧的显示屏幕;
其中,所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的任一项方法;具体地,可以控制拍摄组件中的任意一个拍摄模组捕获人脸预览图像,以及控制另一个拍摄模组拍摄环境图像;并且将被划分为用户不熟练的听写内容输出至显示面板包括的任意一个显示屏幕。
本发明第四方面公开一种计算机可读存储介质,其存储计算机程序,其中,所述计算机程序使得计算机执行本发明实施例第一方面公开的任一项方法。
本发明实施例第五方面公开一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行本发明实施例第一方面公开的任一项方法。
与现有技术相比,本发明实施例具有以下有益效果:
所述可穿戴设备的智能主机在相对的顶侧和底侧各自设有一个拍摄模组,智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向。因此,智能主机的佩戴者可以转动智能主机,以使任意一个拍摄模组的取景范围可以包括佩戴者的脸部。听写时,智能主机播放听写内容,并检测佩戴肢体的移动轨迹;同时,控制拍摄模组捕获人脸预览图像。通过分析肢体的移动轨迹,可以识别出可能的停顿点,从而识别出停顿点对应的人脸预览图像的即时表情特征。进一步地,判断即时表情特征是否为疑惑的表情特征,如果是,可以认为佩戴者对停顿点听写内容不够熟悉。实施本发明实施例,可以结合佩戴肢体的移动轨迹和佩戴者的人脸表情判断佩戴者在撰写听写内容时是否存在停顿,从而评估佩戴者对听写内容的熟练程度。在本发明实施例中,可穿戴设备不只是机械地播放听写内容,还可以进一步检测佩戴者对听写内容的反应。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种可穿戴设备的结构示意图;
图2是本发明实施例公开的另一种可穿戴设备的结构示意图;
图3是本发明实施例公开的另一种可穿戴设备的结构示意图;
图4是本发明实施例公开的一种基于可穿戴设备的听写方法的流程示意图;
图5是本发明实施例公开的另一种基于可穿戴设备的听写方法的流程示意图;
图6是本发明实施例公开的一种可穿戴设备的结构示意图;
图7是本发明实施例公开的另一种可穿戴设备的结构示意图;
图8是本发明实施例公开的又一种可穿戴设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本发明中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
此外,术语“第一”、“第二”等主要是用于区分不同的装置、元件或组成部分(具体的种类和构造可能相同也可能不同),并非用于表明或暗示所指示装置、元件或组成部分的相对重要性和数量。除非另有说明,“多个”的含义为两个或两个以上。
此外,本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面将结合实施例和附图对本发明实施例的技术方案作进一步的说明。
为了更好理解本发明实施例公开的一种基于可穿戴设备的听写方法,下面先介绍本发明实施例公开的一种可穿戴设备。请参阅图1-图3,本发明实施例公开的一种可穿戴设备可以包括:底部支架10、智能主机20以及侧带30,底部支架10连接于侧带30的两侧带端部之间。智能主机20的主机顶侧20a正对智能主机20的主机底侧20b,并且智能主机20的主机顶侧20a设有拍摄模组22,智能主机20的主机底侧20b设有拍摄模组23。智能主机20的一端通过第一转轴21与底部支架10的第一端转动连接,智能主机20可以相对底部支架10转动不同的角度,从而使得拍摄模组22、拍摄模组23可以获得不同的拍摄角度。其中,侧带30的一个侧带端部通过第一转轴21轴接于底部支架10的第一端,而侧带30的另一个侧带端部连接底部支架10的第二端。
在本发明实施例公开的可穿戴设备中,通过上述所描述的结构,可穿戴设备包括的智能主机20以可转动方式设在所述可穿戴设备包括的侧带30的两侧带端部之间。其中,通过第一转轴21可以实现智能主机20相对底部支架10的转动,从而使得设于智能主机20的拍摄模组22、拍摄模组23也能随着智能主机20的转动而获得不同的拍摄角度,这不仅解决了现有的可穿戴设备(通常仅有一个顶侧拍摄模组)需要社交用户扭转手臂才能实现的调整拍摄角度的问题,同时还可满足社交用户的不同角度的拍摄需求。
本发明实施例中,在实现智能主机20相对底部支架10转动时,由于侧带30的一个侧带端部通过第一转轴21轴接于底部支架10的第一端,因此,侧带30的一个侧带端部、底部支架10的第一端以及智能主机20的一端三者之间为共用第一转轴21的共轴转动设计,从而能够减少可穿戴设备的部件设计,简化可穿戴设备的部件组装流程,进而使得可穿戴设备的结构更加紧凑。
本发明实施例中,智能主机20的主机顶侧20a上可以设置有顶侧显示屏(图中未标注);可选地,智能主机20的主机底侧20b上也可以设置有底侧显示屏(图中未标注)。在通常情况下,智能主机20可以叠在底部支架10上,即智能主机20的主机底侧20b与底部支架10的上表面贴合;而当智能主机20以第一转轴21发生转动时,智能主机20的主机顶侧20a以及主机底侧20b均与底部支架10的上表面形成一定角度。
在本发明实施例中,该智能主机20作为拍摄角度可调的可穿戴设备的主机使用,其不仅包括设于内部的主板、用于实现触控、显示功能的触控屏/或显示屏、对主板、触控屏/显示屏进行供电的电池、实现智能主机20的拍摄功能的拍摄模组22和拍摄模组23、实现智能主机20的通信功能的通信器件(例如无线通信器件、蓝牙通信器件、红外通信器件等)、实现智能主机20的检测功能的传感器(例如重力传感器、加速度传感器、距离传感器、气压传感器、紫外线检测器、玩水检测识别模块)、实现对用户的心率进行检测的心率检测器、实现智能主机20的定时功能的定时器、对用户的身份进行识别的元件,例如指纹模组、面部识别模组,以及实现音频输入和/或输出的麦克风、扬声器等。应该得知的是,上述各器件、功能模组均设于智能主机20内部,且与主板电连接,通过主板实现对这些器件、功能模组的控制,进而控制其实现对应的功能。
因此,本发明实施例中,智能主机20是有别于传统的手表的仅能实现时间显示、定时等功能的表盘的。
进一步地,由于智能主机20与底部支架10通过第一转轴21可以实现可转动连接,因此,可以通过调整智能主机20与底部支架10的转动角度来调整拍摄模组22和拍摄模组23的拍摄角度,其中,智能主机20与底部支架10的转动角度可在0~90°之间。例如,当智能主机20叠在底部支架10上时,智能主机20与底部支架10之间的角度为0°,而当智能主机20发生转动后,该智能主机20与底部支架10之间的角度可优选可以为90°。当智能主机20与底部支架10之间的角度为0°时,智能主机20上的拍摄模组22和拍摄模组23相对底部支架10的夹角也为0°夹角;当智能主机20相对底部支架10转动形成90°夹角时,智能主机20的拍摄模组22和拍摄模组23相对底部支架10的夹角为90°夹角,从而可以实现拍摄模组22和拍摄模组23的拍摄角度的调整。特别的,当智能主机20的主机顶侧20a上设置有顶侧显示屏以及主机底侧20b上也设置有底侧显示屏时,若智能主机20的拍摄模组22和拍摄模组23相对底部支架10的夹角为90°夹角,那么主机顶侧20a上设置的顶侧显示屏以及主机底侧20b上设置的底侧显示屏相对底部支架10的夹角也为90°夹角,从而可以方便位于智能主机20一侧的用户观看顶侧显示屏,以及方便位于智能主机20另一侧的用户观看底侧显示屏。本发明实施例中,智能主机20与底部支架10的转动角度可以在0~90°之间调整,优选地,该转动角度可为0°、30°、45°、60°、75°或90°。
在本发明实施例中,由于智能主机20通过第一转轴21与底部支架10转动连接,因此,智能主机20可以包括相对设置的转动端20c和自由端20d,该转动端20c为智能主机20通过第一转轴21与底部支架10的第一端连接的一端,而该自由端20d则为可随着转动端20c相对底部支架10实现转动并相对底部支架10可形成角度的一端。具体地,为了避免影响拍摄模组22和拍摄模组23的拍摄视角,拍摄模组22可以优选设于该自由端20d的端部顶侧(属于主机顶侧20a的一部分),而拍摄模组23可以优选设于该自由端20d的端部底侧(属于主机底侧20b的一部分)。
在本发明实施例中,该底部支架10可为板状结构。当底部支架10为板状结构时,底部支架10的材质可优选为隔热材质,例如塑胶。当用户佩戴可穿戴设备时,能够避免智能主机20发热量大而可能对用户的手腕皮肤造成烫伤的情况。因此,该底部支架10不仅可实现承载智能主机20转动的功能,同时还可实现对智能主机20与用户的手腕皮肤进行隔热的效果。
进一步地,当底部支架10为板状结构时,底部支架10上可以设置有一个或多个通孔10a,以使得智能主机20通过通孔10a可以实现包括对用户的心率进行检测在内的各项生理特征检测。其中,通孔10的形状可以是圆形、方形或者椭圆形等,本发明实施例不作限定。
可以理解的是,在其他实施例中,该底部支架10也可以是闭合环状结构,本发明实施例不作限定。
在用户需调整智能主机20相对底部支架10的角度时,可通过手动调整智能主机20相对底部支架10的转动角度,当智能主机20转动至用户的目标角度时,此时,用户停止调整智能主机20,智能主机20可保持在当前角度不变,此时,拍摄模组22和/或拍摄模组23可处于可拍摄状态,用户可根据实际拍摄需求选择拍摄模组22和/或拍摄模组23执行对应的拍摄操作。
当用户想将智能主机20叠在底部支架10上时,则可再次通过手动调整智能主机20,使得智能主机20可再次被调整而相对底部支架10转动,直至智能主机20叠于底部支架10上,此时用户停止调整智能主机20。
本发明实施例公开的一种可穿戴设备使得拍摄模组22和拍摄模组23可随着智能主机的转动而获得不同的拍摄角度,满足用户的不同拍摄角度需求。
实施例一
请参阅图4,图4是本发明实施例公开的一种基于可穿戴设备的听写方法的流程示意图。其中,图4所描述的基于可穿戴设备的听写方法可以应用于前面实施例描述的可穿戴设备。如前面实施例描述的,可穿戴设备包括相对的顶侧和底侧各自设有一个拍摄模组的智能主机,该智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向。如图4所示,该基于可穿戴设备的听写方法可以包括以下步骤:
401、智能主机在播放听写内容时,检测佩戴可穿戴设备的佩戴肢体的移动轨迹,并控制任意一个拍摄模组捕获可穿戴设备的佩戴者的人脸预览图像。
本发明实施例中,听写内容可以包括中文单词、英文单词等听写资料,本发明实施例不做限定。智能主机具体可以通过可穿戴设备的六轴惯性测量单元、加速度计等运动传感器测量可穿戴设备位置移动的移动速度,进一步地可以根据移动速度确定出可穿戴设备位置移动的位置点,连接上述的位置点,可以获得可穿戴设备的移动轨迹。
402、智能主机识别移动轨迹中的停顿点对应的人脸预览图像的即时表情特征。
本发明实施例中,拍摄模组可以按照一定的频率捕获人脸预览图像,每幅人脸预览图像对应一个捕获时间点,具体地可以为图像曝光完成的时间点。移动轨迹中的停顿点可以为位置变化过小的位置点,移动轨迹具体可以为多个位置点接续而成,每个位置点也可以对应一个位置时间点,用于表示可穿戴设备在该位置时间点位于该位置点所指示的位置。综上,如果某一停顿点的位置时间点与某一人脸预览图像的捕获时间点相同,那么可以认为该人脸预览图像与该停顿点对应。进一步地,拍摄模组捕获人脸预览图像的频率可能高于移动轨迹中位置点的变化频率,比如说,拍摄模组每秒可以捕获10帧人脸预览图像,即每隔100毫秒捕获一张人脸预览图像,而移动轨迹中位置点的变化频率可以为每隔200毫秒记录一次可穿戴设备的位置点,那么移动轨迹中的一个停顿点可以对应多张人脸预览图像,具体地,针对某一停顿点,可以根据其位置时间点指定一时间范围,将捕获时间点位于该时间范围内的人脸预览图像确定为与该停顿点对应的人脸预览图像。
403、智能主机判断停顿点对应的人脸预览图像的即时表情特征是否为疑惑的表情特征,如果是,执行步骤404,如果否,结束本流程。
本发明实施例中,表情具体为人脸面部肌肉的一个或多个动作或状态的结果,疑惑的表情特征可以外化为皱眉、收紧眼睑、提升下眼皮、收紧嘴角、眼球转动等面部肌肉的动作或状态,因此,可以通过判断即时表情特征是否具备上述的一个或多个面部肌肉动作或状态的组合,从而判断即时表情特征是否为疑惑的表情特征。具体地,可以构建端到端的卷积神经网络,其输入为人脸预览图像,输出为是(即时表情特征是疑惑的表情特征)或否(即时表情特征不是疑惑的表情特征);该卷积神经网络预先使用大量人脸图像进行训练,训练集中人脸图像的表情被标注为疑惑的表情,其中,训练集中人脸图像的人脸可以包括正脸和侧脸,本发明实施例不做限定。
404、智能主机将停顿点对应的智能主机播放的听写内容划分为上述的佩戴者不熟练的听写内容。
本发明实施例中,可以设置一个时间段,该时间段包含停顿点对应的时间点,播放时间点位于该时间段内的听写内容都可以被认为是停顿点对应的智能主机播放的听写内容,
此外,根据前述内容可知,可穿戴设备的佩戴者在利用智能主机播放听写内容之前,可以调整智能主机20相对底部支架10的角度为90°,相应的智能主机20的拍摄模组22和拍摄模组23相对底部支架10的夹角也为90°夹角;在此基础上,智能主机可以控制拍摄模组22或者拍摄模组23捕获人脸预览图像,具体可以通过可穿戴设备的佩戴方向确定选择哪个拍摄模组捕获人脸预览图像;如果佩戴可穿戴设备之后,第一转轴21位于远离佩戴者身体的一侧,那么可以控制拍摄模组23捕获人脸预览图像;如果第一转轴22位于靠近佩戴者身体的一侧,那么可以控制拍摄模组22捕获人脸预览图像。实施本发明实施例,可以在可穿戴设备播放听写内容的同时,通过分析可穿戴设备的佩戴肢体的移动轨迹,以及移动轨迹中停顿点对应的即时表情特征,判断出佩戴者是否对停顿点对应的听写内容产生疑惑,从而评估佩戴者对听写内容的熟练程度。此外,实施本发明实施例,佩戴者可以在无需扭转佩戴肢体(如手臂)的情况下调整拍摄角度,避免扭转佩戴可穿戴设备的佩戴肢体调整拍摄角度时带来的疲惫感,改善用户体验。
实施例二
请参阅图5,图5是本发明实施例公开的一种基于可穿戴设备的听写方法的流程示意图。其中,图5所描述的基于可穿戴设备的听写方法可以应用于前述实施例所描述的可穿戴设备,该可穿戴设备的具体结构以下内容不再赘述。如图5所示,该基于可穿戴设备的听写方法可以包括以下步骤:
501、智能主机在播放听写内容时,检测佩戴可穿戴设备的佩戴肢体的移动轨迹,控制任意一个拍摄模组捕获可穿戴设备的佩戴者的人脸预览图像以及控制另一个拍摄模组拍摄环境图像。
本发明实施例中,拍摄模组22与拍摄模组23分别设置于智能主机的顶侧和底侧,并且主机顶侧正对主机底侧;当一个拍摄模组捕获到人脸预览图像时,另一个拍摄模组可以拍摄到可穿戴设备当前所处的拍摄环境图像。
此外,本发明实施例中,作为一种可选的实施方式,智能主机检测佩戴可穿戴设备的佩戴肢体的移动估计的方式具体可以为:
智能主机可以通过运动传感器检测实时的移动速度,然后按照一定的时间长度对移动速度进行积分,从而可以检测出佩戴可穿戴设备的佩戴肢体移动的位置点,并且相邻两个位置点的时间间隔相同;按照时间顺序连接上述的位置点,可以得到可穿戴设备的移动轨迹。
502、智能主机检测上述的佩戴肢体是否为握笔的肢体,如果是,执行步骤503,如果否,结束本流程。
本发明实施例中,智能主机可以在播放听写内容之前,输出提示信息以提示用户(佩戴者)选择佩戴肢体的类型:握笔的肢体或者非握笔的肢体。
可选的,本发明实施例中用于撰写的笔可以为具有无线信号收发功能的智能笔,该智能笔能够与可穿戴设备建立通信连接。智能主机可以接收智能笔发射的无线信号,并检测该无线信号的接收信号强度,当接收信号强度大于等于预设的强度阈值时,智能主机可以将佩戴肢体确定为握笔的肢体;当接收信号强度小于预设的强度阈值时,智能主机可以将佩戴肢体确定为非握笔的肢体;其中,上述的强度阈值可以根据可穿戴设备佩戴在用户(佩戴者)握笔惯用手的手腕时,接收智能笔发射的无线信号的接收信号强度确定。上述的实施方式中,无线信号可以包括蓝牙信号、Wi-Fi信号、超声波等,本发明实施例不做限定。无线信号的信号强度会随着传播距离的增大而衰减,因此,可以通过接收到无线信号时的接收信号强度确定无线信号发射器(即智能笔)与无线信号接收器(即可穿戴设备)之间的距离;当可穿戴设备佩戴在握笔的肢体上时,可穿戴设备与智能笔的距离较小,当可穿戴设备佩戴在非握笔的肢体上时,可穿戴设备与智能笔的距离较大。在上述的实施方式中,以可穿戴设备佩戴在握笔的手的手腕上时,可穿戴设备的接收信号强度为强度阈值,当接收信号强度大于等于该强度阈值,可穿戴设备与智能笔的距离较近,当接收信号强度小于该强度阈值,可穿戴设备与智能笔的距离较远。相较于非握笔肢体的停顿,握笔肢体的停顿可以更好地表征用户(佩戴者)撰写过程中的停顿,从而可以更高地评估用户(佩戴者)对听写内容的熟练程度。
503、智能主机判断可穿戴设备的移动轨迹中相邻的两个位置点的位置变化是否超过第一指定阈值,如果是,执行步骤504,如果否,执行步骤505。
504、智能主机检测移动轨迹中的下一位置点并继续执行步骤503。
本发明实施例中,下一位置点为在时间上处于上述相邻的两个位置点之后的位置点。并且,作为一种可选的实施方式,智能主机从上述相邻的两个位置点中选取去在时间上在后的位置点与下一位置点组合成新的相邻的两个位置点,然后继续执行步骤503。举例来说,智能主机执行步骤503时,判断移动轨迹中相邻的两个位置点A和位置点B之间的位置变化是否超过第一指定阈值,位置点A在前,位置点B在后;位置点C为在时间上处于位置点A及位置点B之后的位置点,智能主机在执行步骤504时,将位置点B和位置点C组合成新的相邻的两个位置点,继续执行步骤503,以判断位置点B和位置点C之间的位置变化是否超过第一指定阈值。
505、智能主机获取至少两帧与上述的位置点对应的环境图像。
本发明实施例中,作为一种可选的实施方式,上述相邻的两个位置点中,每个位置点可以对应一帧环境图像;作为另一种可选的实施方式,与上述的位置点对应的环境图像也可以为两个位置点相隔的时间段中(该时间段可以包括两个位置点对应的位置时间点)拍摄模组拍摄到的环境图像,本发明实施例不做限定。
506、智能主机将上述对应的环境图形进行差分处理,以获得上述对应的环境图像中的变化区域。
507、智能主机判断变化区域在上述对应的环境图像中的占比是否低于第二指定阈值,如果是,执行步骤508,如果否,返回执行步骤504。
本发明实施例中,差分处理将处于相邻时间点的环境图像进行相减,从而能够得到环境图像中的场景随时间的变换。如果可穿戴设备的位置变化较大,那么相邻时间点的两帧环境图像中的场景变换可能较大;反之,如果可穿戴设备的位置变化较小,那么上述的场景变换可能较小,因此当经过差分处理得到的变化区域在环境图像中的占比低于第二指定阈值时,可以认为可穿戴设备的位置变化较小,环境图像对应的位置点可以被确定为停顿点。
508、智能主机将位置变化未超过第一指定阈值的位置点确定为移动轨迹中的停顿点。
本发明实施例中,作为一种可选的实施方式,智能主机在执行步骤503判断出相邻的两个位置点之间的位置变化未超过第一指定阈值之后,可以直接将上述的位置点确定为移动轨迹中的停顿点,并执行下述的步骤510。也就是说,在本发明实施例中,可以通过位置点的位置变化识别移动轨迹中的停顿点,进一步地,为了提高停顿点识别的准确率,在判断出位置点的位置变化未超过第一指定阈值之后,还可以进一步通过对应的环境图像中的场景变化识别移动轨迹中的停顿点。
509、智能主机识别停顿点对应的人脸预览图像,从对应的人脸预览图像中识别出即时表情特征,并判断该即时表情特征是否为疑惑的表情特征,如果是,执行步骤510,如果否,执行步骤503。
510、智能主机将停顿点对应的听写内容划分为上述的佩戴者不熟练的听写内容。
本发明实施例中,作为一种可选的实施方式,智能主机还可以将被划分为佩戴者不熟练的听写内容添加至智能主机维护的单词本,并且在听写内容播放完毕之后,输出显示单词本中的内容,以供用户(佩戴者)复习不熟练的内容,做到及时反馈及时复习,以提高用户通过可穿戴设备进行听写训练时的学习效率。具体地,智能主机的顶侧和底侧可以分别设置有显示屏幕,在听写内容播放完毕之后,可以将单词本中本次听写的内容输出至靠近佩戴者身体一侧的显示屏幕。
此外,本发明实施例中,如果佩戴肢体为握笔的肢体,在听写时佩戴肢体处于书写姿势,一般为与桌面平行;如果拍摄模组的拍摄角度只能通过扭转佩戴肢体来进行调整,将难以在保持书写姿势的同时使得拍摄模组捕获到人脸预览图像。反之,在本发明实施例中,由于智能主机可转动,因此可以在保持佩戴肢体处于书写姿势的同时使得拍摄模组捕获到人脸预览图像。
可见,在图5所描述的方法中,可以通过检测佩戴肢体移动轨迹中的停顿点以及停顿点对应的人脸即时表情特征判断可穿戴设备的佩戴者对听写内容的熟悉程度。进一步地,还可以通过判断佩戴肢体是否为握笔的肢体,可以更好地通过肢体的停顿评估佩戴者对听写内容的熟练程度。此外,还可以通过检测与可能的停顿点(位置变化较小的位置点)对应的环境图像,提高识别停顿点的准确度。更进一步地,对于被划分为用户不熟悉的听写内容,将其加入智能主机维护的单词本,并且在听写内容播放完毕之后输出显示,可以及时向佩戴者反馈听写结果,以使佩戴者可以及时进行复习,可以提高学习效率。
实施例三
请参阅图6,图6是本发明实施例公开的另一种可穿戴设备的结构示意图。如图6所示,该可穿戴设备包括智能主机,该智能主机相对的顶侧和底侧各自设有一个拍摄模组,并且该智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向;如图6所示,该智能主机可以包括:
第一检测单元601,用于在智能主机播放听写内容时,检测可穿戴设备的佩戴肢体的移动轨迹;
本发明实施例中,第一检测单元601可以通过可穿戴设备的六轴惯性测量单元、加速度计等运动传感器测量可穿戴设备位置移动的移动速度,进一步地可以根据移动速度确定出可穿戴设备位置移动的位置点,连接上述的位置点,可以获得可穿戴设备的移动轨迹;
控制单元602,用于在智能主机播放听写内容时,控制任意一个拍摄模组捕获可穿戴设备的佩戴者的人脸预览图像;
识别单元603,用于识别第一检测单元601检测出的移动轨迹中的停顿点对应的人脸预览图像的即时表情特征;从上述对控制单元602的描述可知,识别单元603从控制单元602捕获到的人脸预览图像中识别出即时表情特征;
本发明实施例中,拍摄模组可以按照一定的频率捕获人脸预览图像,每幅预览图像对应一个捕获时间点,具体地可以为图像曝光完成的时间点。此外,移动轨迹中的每个停顿点也可以对应一个位置时间点,因此,针对某一停顿点,识别单元603可以将捕获时间点与该停顿点的位置时间点相同的人脸预览图像识别为与该停顿点对应的人脸预览图像,进而从人脸预览图像中识别出即时表情特征。进一步地,还可以针对某一停顿点指定一时间范围,识别单元603将捕获时间点位于该时间范围内的人脸预览图像识别为与该停顿点对应的人脸预览图像,进而从人脸预览图像中识别出即时表情特征;
第一判断单元604,用于判断识别单元603识别出的停顿点对应的人脸预览图像的即时表情特征是否为疑惑的表情特征;
本发明实施例中,疑惑的表情特征可以外化为皱眉、收紧眼睑、提升下眼皮、收紧嘴角、眼球转动等一个或多个面部肌肉的动作或状态;具体地,第一判断单元604可以将人脸预览图像作为一卷积神经网络的输入,将该卷积神经网络的输出作为即时表情特征是否为疑惑的表情特征的判断结果;其中,该卷积神经网络预先使用大量人脸图像进行训练,训练集中人脸图像的表情被标注为疑惑的表情,此外,训练集中人脸图像的人脸可以包括正脸和侧脸;
划分单元605,用于在第一判断单元604判断出人脸预览图像中的即时表情特征为疑惑的表情特征时,将停顿点对应的智能主机播放的听写内容划分为佩戴者不熟练的听写内容。
本发明实施例中,可穿戴设备的佩戴者在利用智能主机播放听写内容之前,可以转动智能主机以使拍摄模组的取景范围包括佩戴者的人脸。具体的转动方式可以如前述实施例所示,以下内容不再赘述。在本发明实施例中,可以通过智能主机播放听写内容,并且通过分析可穿戴设备移动轨迹中可能的停顿点以及停顿点对应的人脸预览图像中的表情特征,可以评估佩戴者对听写内容的熟悉程度。此外,佩戴者无需扭转佩戴肢体即可调整拍摄角度,从而可以减轻佩戴肢体的疲惫感,改善用户体验。
实施例四
请参阅图7,图7是本发明实施例公开的另一种可穿戴设备的结构示意图。其中,图7所示的可穿戴设备是由图6所示的可穿戴设备进行优化得到的。与图6所示的可穿戴设备包括的智能主机相比,在图7所示的可穿戴设备包括的智能主机中:
上述的第一检测单元601,具体可以包括:
第一确定子单元6011,用于检测佩戴可穿戴设备的佩戴肢体移动的位置点;
本发明实施例中,第一确定子单元6011可以通过运动传感器检测实时的移动速度,然后按照一定的时间长度对移动速度进行积分,从而可以检测出佩戴肢体移动的位置点;
连接子单元6012,用于连接第一确定子单元6011确定的各个位置点,以获得佩戴肢体的移动轨迹;
其中,移动轨迹中相邻的两个位置点的时间间隔相同;
可选的,在图7所示的智能主机中,还可以包括:
第二检测单元606,用于检测上述的佩戴肢体是否为握笔的肢体;
本发明实施例中,用于撰写的笔可以为具有无线信号收发功能的智能笔,第二检测单元606可以检测接收到智能笔发射的无线信号时的接收信号强度,当接收信号强度大于等于预设的强度阈值时,第二检测单元606可以将佩戴肢体确定为握笔的肢体;当接收信号强度小于预设的强度阈值时,第二检测单元606可以将佩戴肢体确定为非握笔的肢体;其中,上述的强度阈值可以根据可穿戴设备佩戴在佩戴者的握笔惯用手的手腕时,接收智能笔发射的无线信号的接收信号强度确定;
进一步的,上述的识别单元603,具体可以包括:
判断子单元6031,用于在第二检测单元606检测到佩戴肢体为握笔的肢体时,判断移动轨迹中相邻的两个位置点的位置变化是否超过第一指定阈值;
第二确定子单元6032,用于在判断子单元6031判断出相邻的两个位置点的位置变化未超过第一指定阈值时,将位置变化未超过第一指定阈值的位置点确定为移动轨迹中的停顿点;
识别子单元6033,用于识别确定子单元6032确定出的停顿点对应的人脸预览图像,并从对应的人脸预览图像中识别出即时表情特征。
作为另一种可选的实施方式,在图7所示的智能主机中:
上述的控制单元602,还用于在控制任意一个拍摄模组捕获可穿戴设备的佩戴者的人脸预览图像时,控制另一个拍摄模组拍摄环境图像;
更进一步的,图7所示的智能主机还可以包括:
获取单元607,用于在判断子单元6031判断出相邻的两个位置点的位置变化未超过第一指定阈值之后,以及在第二确定子单元6032将位置变化未超过第一指定阈值的位置点确定为移动轨迹中的停顿点之前,获取至少两帧与位置变化未超过第一指定阈值的位置点对应的环境图像;
图像处理单元608,用于获取单元607获取到的对应的环境图像进行图像差分处理,以获得上述对应的环境图像中的变化区域;
第二判断单元609,用于判断图像处理单元608获得的变化区域在上述对应的环境图像中的占比是否低于第二指定阈值;
上述的第二确定子单元6032,具体用于在判断子单元6031判断出相邻的两个位置点的位置变化未超过第一指定阈值以及第二判断单元609判断出变化区域在上述对应的环境图像中的占比低于第二指定阈值时,将位置变化未超过第一指定阈值的位置点确定为移动轨迹中的停顿点。
此外,作为又一种可选的实施方式,图7所示的智能主机还可以包括:
添加单元610,用于将被划分单元605划分为佩戴者不熟练的听写内容添加至智能主机维护的单词本;
显示单元611,用于在听写内容播放完毕之后,输出显示单词本中的内容;具体地,显示单元611输出显示的内容中可以包含添加单元610添加至单词本中的内容;此外,如7所示的智能主机可以在主机的顶侧和底侧分别设置有显示屏幕,显示单元611具体可以将单词本中的内容输出至靠近佩戴者身体一侧的显示屏幕中显示。
可见,在本发明实施例中,可穿戴设备可以通过检测佩戴肢体移动轨迹中的停顿点以及停顿点对应的人脸即时表情特征判断可穿戴设备的佩戴者对听写内容的熟悉程度。进一步地,智能主机可以判断佩戴肢体是否为握笔的肢体,从而可以更好地通过肢体的停顿评估佩戴者对听写内容的熟练程度。此外,通过检测环境图像中的变化场景,可以提高对停顿点的识别准确度。更进一步地,智能主机还可以在听写内容播放完毕之后,输出显示被划分为不熟练的内容,从而可以提高利用包含上述智能主机的可穿戴设备进行听写训练时的学习效率。
实施例五
请参阅图8,图8是本发明实施例公开的又一种可穿戴设备的结构示意图。如图8所示,可穿戴设备包括智能主机,该智能主机包括相对的顶侧和底侧各自设有一个拍摄模组,并且该智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向;如图8所示,该智能主机包括:
拍摄组件801,具体可以包括设置在智能主机顶侧的拍摄模组8011和设置在智能主机底侧的拍摄模组8012;
存储有可执行程序代码的存储器802;
与存储器701耦合的处理器803;
可选的,图8所示的智能主机还可以包括显示面板804,具体可以包括设置在智能主机顶侧的显示屏幕8041和设置在智能主机底侧的显示屏幕8042;
其中,处理器803调用存储器802中存储的可执行程序代码,执行图4或图5所示的任一种基于可穿戴设备的听写方法;具体地,可以控制拍摄组件801中的任意一个拍摄模组捕获人脸预览图像,以及控制另一个拍摄模组拍摄环境图像;并且将被划分为用户不熟练的听写内容输出至显示面板804包括的任意一个显示屏幕。
需要说明的是,图8所示的智能主机还可以包括电源、扬声器、RF电路、Wi-Fi模块、蓝牙模块、传感器(例如重力传感器、加速度传感器、距离传感器、气压传感器、紫外线检测器、玩水检测识别模块)等未显示的组件,本实施例不作赘述。
本发明实施例公开一种计算机可读存储介质,其存储计算机程序,其中,该计算机程序使得计算机执行图4或图5所示的任一种基于可穿戴设备的听写方法。
本发明实施例公开一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行图4或图5所示的任一种基于可穿戴设备的听写方法。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种基于可穿戴设备的听写方法及可穿戴设备进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于可穿戴设备的听写方法,其特征在于,所述可穿戴设备包括相对的顶侧和底侧各自设有一个拍摄模组的智能主机,所述智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向,所述方法包括:
所述智能主机在播放听写内容时,检测所述可穿戴设备的佩戴肢体的移动轨迹,并控制任意一个所述拍摄模组捕获所述可穿戴设备的佩戴者的人脸预览图像;
所述智能主机识别所述移动轨迹中的停顿点对应的所述人脸预览图像的即时表情特征;
所述智能主机判断所述停顿点对应的所述人脸预览图像的即时表情特征是否为疑惑的表情特征,如果是,将所述停顿点对应的所述智能主机播放的听写内容划分为所述佩戴者不熟练的听写内容。
2.根据权利要求1所述的基于可穿戴设备的听写方法,其特征在于,所述检测佩戴所述可穿戴设备的佩戴肢体的移动轨迹,包括:
所述智能主机检测佩戴所述可穿戴设备的佩戴肢体移动的位置点,连接所述位置点以获得所述移动轨迹;其中,所述移动轨迹中相邻的两个所述位置点的时间间隔相同。
3.根据权利要求2所述的基于可穿戴设备的听写方法,其特征在于,所述方法还包括:
所述智能主机检测所述佩戴肢体是否为握笔的肢体;
以及,所述智能主机识别所述移动轨迹中的停顿点对应的所述人脸预览图像的即时表情特征,包括:
如果所述佩戴肢体为握笔的肢体,所述智能主机判断所述移动轨迹中相邻的两个位置点的位置变化是否超过第一指定阈值,如果否,将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点;
所述智能主机识别所述停顿点对应的所述人脸预览图像,并从所述对应的人脸预览图像中识别出即时表情特征。
4.根据权利要求3所述的基于可穿戴设备的听写方法,其特征在于,所述方法还包括:
所述智能主机在控制任意一个所述拍摄模组捕获所述可穿戴设备的佩戴者的人脸预览图像时,控制另一个所述拍摄模组拍摄环境图像;
以及,在所述智能主机判断出所述相邻的两个位置点的位置变化未超过所述第一指定阈值之后,以及在所述智能主机将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点之前,所述方法还包括:
所述智能主机获取至少两帧与位置变化未超过所述第一指定阈值的所述位置点对应的环境图像;
所述智能主机将所述对应的环境图像进行差分处理,以获得所述对应的环境图像中的变化区域;
所述智能主机判断所述变化区域在所述对应的环境图像中的占比是否低于第二指定阈值,如果是,执行所述将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点。
5.根据权利要求1~4任一项所述的基于可穿戴设备的听写方法,其特征在于,所述方法还包括:
所述智能主机将被划分为所述佩戴者不熟练的听写内容添加至所述智能主机维护的单词本;
所述智能主机在所述听写内容播放完毕之后,输出显示所述单词本中的内容。
6.一种可穿戴设备,其特征在于,所述可穿戴设备包括相对的顶侧和底侧各自设有一个拍摄模组的智能主机,所述智能主机能够发生转动以实现同时调整两个拍摄模组的拍摄方向;所述智能主机包括:
第一检测单元,用于在所述智能主机播放听写内容时,检测所述可穿戴设备的佩戴肢体的移动轨迹;
控制单元,用于在所述智能主机播放听写内容时,控制任意一个所述拍摄模组捕获所述可穿戴设备的佩戴者的人脸预览图像;
识别单元,用于识别所述移动轨迹中的停顿点对应的所述人脸预览图像的即时表情特征;
第一判断单元,用于判断所述停顿点对应的所述人脸预览图像的即时表情特征是否为疑惑的表情特征;
划分单元,用于在所述第一判断单元判断出所述人脸预览图像中的即时表情特征为疑惑的表情特征时,将所述停顿点对应的所述智能主机播放的听写内容划分为所述佩戴者不熟练的听写内容。
7.根据权利要求6所述的可穿戴设备,其特征在于,所述第一检测单元,包括:
第一确定子单元,用于检测佩戴所述可穿戴设备的佩戴肢体移动的位置点;
连接子单元,用于连接所述位置点以获得所述移动轨迹;
其中,所述移动轨迹中相邻的两个所述位置点的时间间隔相同。
8.根据权利要求7所述的可穿戴设备,其特征在于,所述智能主机还包括:
第二检测单元,用于检测所述佩戴肢体是否为握笔的肢体;
以及,所述识别单元,包括:
判断子单元,用于在所述第二检测单元检测到所述佩戴肢体为握笔的肢体时,判断所述移动轨迹中相邻的两个位置点的位置变化是否超过第一指定阈值;
第二确定子单元,用于在所述判断子单元判断出所述相邻的两个位置点的位置变化未超过所述第一指定阈值时,将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点;
识别子单元,用于识别所述停顿点对应的所述人脸预览图像,并从所述对应的人脸预览图像中识别出即时表情特征。
9.根据权利要求8所述的可穿戴设备,其特征在于:
所述控制单元,还用于在控制任意一个所述拍摄模组捕获所述可穿戴设备的佩戴者的人脸预览图像时,控制另一个所述拍摄模组拍摄环境图像;
以及,所述智能主机还包括:
获取单元,用于在所述判断子单元判断出所述相邻的两个位置点的位置变化未超过所述第一指定阈值之后,以及在所述第二确定子单元将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点之前,获取至少两帧与位置变化未超过所述第一指定阈值的所述位置点对应的环境图像;
图像处理单元,用于将所述对应的环境图像进行图像差分处理,以获得所述对应的环境图像中的变化区域;
第二判断单元,用于判断所述变化区域在所述对应的环境图像中的占比是否低于第二指定阈值;
所述第二确定子单元,具体用于在所述判断子单元判断出所述相邻的两个位置点的位置变化未超过所述第一指定阈值以及所述第二判断单元判断出所述变化区域在所述对应的环境图像中的占比低于所述第二指定阈值时,将位置变化未超过所述第一指定阈值的所述位置点确定为所述移动轨迹中的停顿点。
10.根据权利要求6~9任一项所述的可穿戴设备,其特征在于,所述智能主机还包括:
添加单元,用于将被划分为所述佩戴者不熟练的听写内容添加至所述智能主机维护的单词本;
显示单元,用于在所述听写内容播放完毕之后,输出显示所述单词本中的内容。
CN201811151798.4A 2018-09-29 2018-09-29 一种基于可穿戴设备的听写方法及可穿戴设备 Active CN110134227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811151798.4A CN110134227B (zh) 2018-09-29 2018-09-29 一种基于可穿戴设备的听写方法及可穿戴设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811151798.4A CN110134227B (zh) 2018-09-29 2018-09-29 一种基于可穿戴设备的听写方法及可穿戴设备

Publications (2)

Publication Number Publication Date
CN110134227A true CN110134227A (zh) 2019-08-16
CN110134227B CN110134227B (zh) 2022-03-01

Family

ID=67568449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811151798.4A Active CN110134227B (zh) 2018-09-29 2018-09-29 一种基于可穿戴设备的听写方法及可穿戴设备

Country Status (1)

Country Link
CN (1) CN110134227B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113531755A (zh) * 2021-06-24 2021-10-22 惠州华京电子科技有限公司 臭氧消毒控制方法以及净化器

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN102945624A (zh) * 2012-11-14 2013-02-27 南京航空航天大学 基于云计算模型和表情信息反馈的智能化视频教学系统
CN103903491A (zh) * 2014-02-14 2014-07-02 广东小天才科技有限公司 一种实现书写检查的方法及装置
CN105979366A (zh) * 2016-04-25 2016-09-28 乐视控股(北京)有限公司 智能电视及其内容推荐的方法、装置
CN107832698A (zh) * 2017-11-02 2018-03-23 北方工业大学 基于阵列镜头的学习兴趣测试方法及装置
CN107832699A (zh) * 2017-11-02 2018-03-23 北方工业大学 基于阵列镜头的兴趣点关注度测试方法及装置
CN108304793A (zh) * 2018-01-26 2018-07-20 北京易真学思教育科技有限公司 在线学习分析系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101187990A (zh) * 2007-12-14 2008-05-28 华南理工大学 一种会话机器人系统
CN102945624A (zh) * 2012-11-14 2013-02-27 南京航空航天大学 基于云计算模型和表情信息反馈的智能化视频教学系统
CN103903491A (zh) * 2014-02-14 2014-07-02 广东小天才科技有限公司 一种实现书写检查的方法及装置
CN105979366A (zh) * 2016-04-25 2016-09-28 乐视控股(北京)有限公司 智能电视及其内容推荐的方法、装置
CN107832698A (zh) * 2017-11-02 2018-03-23 北方工业大学 基于阵列镜头的学习兴趣测试方法及装置
CN107832699A (zh) * 2017-11-02 2018-03-23 北方工业大学 基于阵列镜头的兴趣点关注度测试方法及装置
CN108304793A (zh) * 2018-01-26 2018-07-20 北京易真学思教育科技有限公司 在线学习分析系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113531755A (zh) * 2021-06-24 2021-10-22 惠州华京电子科技有限公司 臭氧消毒控制方法以及净化器

Also Published As

Publication number Publication date
CN110134227B (zh) 2022-03-01

Similar Documents

Publication Publication Date Title
CN108289180B (zh) 根据肢体动作处理视频的方法、介质和终端装置
CN103150940B (zh) 一种键盘乐器示教系统和示教方法
Kim et al. The gesture watch: A wireless contact-free gesture based wrist interface
CN104169995B (zh) 信息处理设备、信息处理系统
EP3852613A1 (en) Neuromuscular control of an augmented reality system
CN103729062B (zh) 一种多功能乐器同步互动系统和方法
CN107945625A (zh) 一种英语发音测试与评价系统
CN108711430A (zh) 语音识别方法、智能设备及存储介质
CN104766503A (zh) 心肺复苏术教学系统及方法
Yu et al. Thumbup: Identification and authentication by smartwatch using simple hand gestures
CN108287903A (zh) 一种与投影相结合的搜题方法及智能笔
WO2022161037A1 (zh) 一种用户确定方法、电子设备和计算机可读存储介质
CN109190607A (zh) 一种动作图像处理方法、装置和终端
CN109119080A (zh) 声音识别方法、装置、穿戴式设备及存储介质
CN111782029A (zh) 一种电子课程学习督促方法及系统
CN110134227A (zh) 一种基于可穿戴设备的听写方法及可穿戴设备
CN110135228A (zh) 一种听写熟练度评估方法及可穿戴设备
AU2020102642A4 (en) Machine Learning-based Smart Workout Mirror and Method Thereof
CN112308880B (zh) 一种目标用户锁定方法及电子设备
CN109831817A (zh) 终端控制方法、装置、终端及存储介质
TWI730500B (zh) 運動輔助裝置及運動輔助方法
CN109257490A (zh) 音频处理方法、装置、穿戴式设备及存储介质
CN110177241A (zh) 一种可穿戴设备的姿态调整方法及可穿戴设备
CN110174988B (zh) 一种基于可穿戴设备的学习方法及可穿戴设备
CN115116141A (zh) 一种体能训练监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant