CN106504773B - 一种可穿戴装置及语音与活动监测系统 - Google Patents

Abstract

本发明提供一种可穿戴装置，包括壳体、设置于壳体内的处理器以及与处理器连接的语音数据采集装置、活动数据采集装置、存储模块与通信接口，语音与活动数据存入存储模块并通过通信接口传送到用于分析语音与活动数据的分析处理设备。本发明还提供一种语音与活动监测系统、语音分析方法及活动分析方法。本发明提供的可穿戴装置、语音与活动监测系统、语音分析方法及活动分析方法，能够定量地获得语言交互指标和肢体活动指标并将其按照时间关系综合起来，就可以对人的生活状态进行定量测量，使得医生甚至每个人自己从监测的数据中获得相关信息，及时发现生活中存在的造成不健康的问题，使每个人拥有健康的生活。

Description

一种可穿戴装置及语音与活动监测系统

技术领域

本发明涉及可穿戴设备，具体涉及一种可穿戴装置及语音与活动监测系统。

背景技术

一般人的活动状态可以分为白天的“社会活动状态”与夜间的“睡眠状态”，生活就是这两种状态的交替与持续，这两种状态的状况反应了人的健康状况，对于儿童也反应了发育状况。

社会活动状态主要包括人与人之间的“交互活动”与“肢体活动”。

人与人之间的“交互活动”中，相当大的程度体现在人与人之间的语言交流(如讨论、争吵、信息交换、询问、回答等)。这些语言交流的定量描述指标是，对话的轮换数、语速、语言的字词数、交互比例等，这些指标称为语言交互指标。

越来越多的家庭关注孩子的健康成长，关于语言和认知发育的研究也颇多，相关研究发现：

监护人频繁、积极的与幼儿语音交流可以深度地影响幼儿的智力发育促进身心成长，呈现超越式、追赶式的生活特点；智商和语言能力的变化与父母对孩子讲话的数量有密切的关系，年龄在9到10岁的儿童，他们在学业方面的优势得益于他们从出生到3岁之间时父母对他们讲话的数量；语言等方面比较突出的孩子的父母对他们孩子讲话的数量要比不突出的孩子的父母多。

更深入的研究表明，好的语言发育可以促进儿童大脑皮质生理性的改变，是今后获得较高生活质量的基础。

对于有智力障碍的老年人，如果存在人与人交互活动、语音交流的障碍，呈现退行性的生活特点。

“肢体活动”表明人的运动状态(如行走、跑步、跳跃、骑车等多种运动状态，这些运动状态可以用加速度描述)。

“睡眠状态”也是人体的肢体处于较静止的活动状态。这个活动状态也同样可以用加速度来描述，这样就可以用物理量地加速度数值的变化来定量地描述人体的肢体活动情况。肢体活动从物理概念上看，就是其力学状态的改变，即加速度的变化。肢体活动越剧烈则加速度的数值越大，反之亦然。

婴幼儿的特点就是睡的多活动少，但3-4岁儿童中睡眠时间少于9小时的儿童发生肥胖的危险是睡眠大于11小时的4.76倍。普通老年人的特点是睡的少、活动少。随着社会经济结构的转变以及生活节奏的加快，人们睡眠不足与睡眠障 碍情况日益凸显。一项针对全球11-18岁青少年睡眠模式的分析结果显示，亚洲国家人群的就寝时间显著晚于北美和欧洲的同龄人，从而造成了其睡眠时间的减少，尤其是平时睡眠时间的减少。睡眠不足对人的身心健康和白天的学习记忆能力有很大的危害。

因此为了准确地评估人的健康状况或发育状况，需要对人的活动状态进行监测，医生从监测的数据中获得相关信息，以便提出相应的治疗措施。

然而，对于妇幼保健院的早产儿和患有疾病的儿童，住院或在家的老人或病人，由于资源短缺，无法监护每位儿童、老人或病人每时每刻的状态，因而医生也难以对他们的健康状况或发育状况做出准确的评估，给出相应的治疗措施。

发明内容

鉴于现有技术中存在的问题，本发明的目的是提供一种可穿戴装置，能够定量地获得语言交互指标和肢体活动指标并将其按照时间关系综合起来，就可以对人的生活状态进行较全面地定量测量，使得医生从监测的数据中获得相关信息，以便提出相应的治疗措施。

本发明提供一种可穿戴装置，包括壳体、设置于壳体内的处理器以及与处理器连接的语音数据采集装置、活动数据采集装置、存储模块与通信接口，语音数据采集装置用于采集可穿戴装置的穿戴人与其他人交互的语音，活动数据采集装置用于采集穿戴人的活动数据，语音与活动数据存入存储模块并通过通信接口传送到用于分析语音与活动数据的分析处理设备。

进一步地，活动数据采集装置包括加速度传感器，“肢体活动”，从物理概念上看，就是其力学状态的改变，即加速度的变化，肢体活动剧烈则加速度数值变化相应变大。

进一步地，可穿戴装置还包括环境数据采集模块，环境数据包括温度数据、湿度数据以及光数据中一种或多种。

进一步地，通信接口为有线通信接口/无线通信接口。

进一步地，可穿戴装置还包括电量检测模块。

本发明还提供一种语音与活动监测系统，包括分析处理设备与一个或多个上述可穿戴装置，分析处理设备分析可穿戴装置采集的语音与活动数据，并给出相关建议。

进一步地，针对一个穿戴人的可穿戴装置为一个或两个。

进一步地，分析处理设备包括语音分析模块与活动分析模块。

进一步地，分析处理设备为计算机、智能手机或平板电脑中的一个或多个。

本发明还提供一种语音分析方法，包括以下步骤：

(1)提取语音信号的特征；

(2)利用语音中的停顿来分割语音片段，并对首次分割之后时长大于预设值的语音片段进行再分割；

(3)根据语音信号的特征，通过聚类将同一个说话人的语言片段聚集在一起；

(4)统计语言分析的数据结果。

进一步地，步骤(3)通过聚类将同一个说话人的语言片段聚集在一起包括以下步骤：

(31)运用高斯混合模型以及步骤(1)中得到的语音信号的特征，对分割之后的每一个语音片段进行识别，确定语音片段的说话人；

(32)将连续的同一个说话人的语言片段进行合并；

(33)按说话人将语言片段分组。

进一步地，步骤(4)统计语言分析的数据结果包括以下步骤：

(41)基于语音信号的短时能量，统计每一个分组中语言片段包括的字(词)数的和；

(42)统计对话轮换数。

本发明还提供一种活动分析方法，包括以下步骤：

(1)读取活动数据，得到活动波形；

(2)根据活动波形获得不同活动频度的活动状态对应的时段；

(3)统计出每天不同活动频度的活动时长。

与现有技术相比，本发明提供的可穿戴装置、语音与活动监测系统、语音分析方法及活动分析方法，具有以下有益效果：能够定量地获得语言交互指标和肢体活动指标并将其按照时间关系综合起来，就可以对人的生活状态进行定量测量，使得医生甚至每个人自己从监测的数据中获得相关信息，及时发现生活中存在的造成不健康的问题，使每个人拥有健康的生活。

附图说明

图1是本发明的一个实施例的可穿戴装置的结构示意图；

图2是图1所示的可穿戴装置采集语音与活动数据的流程图；

图3是本发明的另一个实施例的可穿戴装置的结构示意图；

图4是语音数据分割的结果。

具体实施方式

本发明的一个实施例的语音与活动监测系统，包括分析处理设备与一个或多个上述可穿戴装置，分析处理设备分析可穿戴装置采集的语音与活动数据，并给出相应的治疗措施。

分析处理设备为计算机、智能手机或平板电脑中的一个或多个。

分析处理设备包括语音分析模块与活动分析模块。

针对一个穿戴人的可穿戴装置为一个或两个，如果为两个，一个充电时，另一个可以正常工作。

可以将可穿戴装置放入穿戴人的口袋中，也可以像手表一样佩戴在穿戴人的手腕上。

语言发育迟缓是指由各种原因引起的儿童口头表达能力或语言理解能力明显落后于同龄儿童的正常发育水平。智力低下、听力障碍、构音器官疾病、中枢神经系统疾病、语言环境不良等因素均是儿童语言发育迟缓的常见原因。

医生对于这类患儿，可能在诊疗的短时间内难以对患儿的状况进行准确判断，例如有可能因为患儿内向或情绪不佳，不愿意与医生交流，因此可以通过穿戴本实施例中提供的可穿戴装置，例如连续监测48小时，然后将数据传送到语音与活动监测系统的分析处理设备进行语音分析与活动分析，从而判断患儿的健康状况，进行有针对性的治疗。

再例如对于老年人，也可以穿戴本实施例中提供的可穿戴装置，连续监测，可以更准确的评估老年人的语言能力、活动能力，从而对老年人及其家人提出更有效地保健措施。

而对于正在恢复语言能力的病人，穿戴本实施例中提供的可穿戴装置，进行同等条件下的连续监测，通过数据统计，能够准确评估语言能力恢复的状况。

如图1所示，本发明的一个实施例的可穿戴装置，包括壳体(未示出)、设置于壳体内的处理器以及与处理器连接的语音数据采集装置、活动数据采集装置、存储模块与通信接口，语音数据采集装置用于采集可穿戴装置的穿戴人与其他人交互的语音，活动数据采集装置用于采集穿戴人的活动数据，语音与活动数据存入存储模块并通过通信接口传送到用于分析语音与活动数据的分析处理设备。

语音数据采集装置包括麦克风与声音采集模块，活动数据采集装置包括六轴加速度传感器。

本实施例中，通信接口为USB接口，计算机、智能手机或平板电脑与可穿戴装置通过USB数据线或OTG数据线传送采集的数据。

壳体上设置有按钮，用于开启或关闭可穿戴装置。

使用本实施例中的可穿戴装置，如图2所示，采集语音与活动数据的工作过程如下(可穿戴装置处于关闭状态)：

(1)可穿戴装置的按钮被按下；

(2)可穿戴装置上电并初始化；

(3)在存储模块中创建并打开文件；

(4)如果可穿戴装置的按钮被再次按下，将采集的语音与活动数据保存到文件中并关闭文件，执行步骤(9)；否则执行步骤(5)；

(5)读取当前时间并保存到存储模块中；

(6)语音数据采集装置采集语音数据，活动数据采集装置采集活动数据，并将语音数据与活动数据保存到存储模块中；

(7)如果当前时间与上次保存到文件的时间的差值大于设定时间，将保存在存储模块中语音数据与活动数据保存到文件中，并将文件关闭；

(8)创建并打开文件，执行步骤(4)；

(9)关闭可穿戴装置的电源。

在另一个实施例中，可穿戴装置还包括电量检测模块，步骤(6)之后还包括以下步骤：

(61)如果电量检测模块检测到可穿戴装置的电源的电量低于设定值，执行步骤(62)，否则执行步骤(7)；

(62)将采集的语音与活动数据保存到所述文件中并关闭所述文件，执行步骤(9)。

在另一个实施例中，可穿戴装置还包括环境数据采集模块，如图3所示，环境数据包括温度数据、湿度数据以及光数据中一种或多种。

例如温度过高或过低，可能会影响人的状态，造成情绪不佳，不愿意表达，不愿意进行剧烈的运动。

因此结合环境数据，能够考虑到环境因素对穿戴人的影响，能够更准确的评估穿戴人的健康状况。

环境数据采集模块包括光采集模块，还可以包括温度采集模块、湿度采集模块。

通信接口采用蓝牙接口，也可以同时配备USB接口与蓝牙接口，或者其他接口。

语音与活动监测系统的分析处理设备包括语音分析模块与活动分析模块，语音分析模块用于分析可穿戴装置采集的语音数据，活动分析模块用于分析可穿戴装置采集的活动数据，并给出相关建议。

语音数据源是在自然场景(普通日常家庭环境)中的自然语音数据，更贴近生活。自然语言的特点是环境复杂，噪声源较多，发音不精准，语句连续性差，单字(语气词)较多，与朗读式语音相比，自然语音不受约束变化较多，会含有不同的情感风格(如激动、悲伤等)，并且说话人发生变化的时间是未知的，其难度在于对话主题的转换是不可遇见的，并且对话中的自然反应(如“嗯”、“哦”、“这个”等习惯性的口头语)会影响语言模型的连贯性，给语音信号分析带来诸多不便，难于处理。而标准数据集的特点是音调清晰，发音标准，停顿有序，易于辨认和识别，噪声少，方便进行分析处理。

鉴于以上对比分析可知对自然语言的分析处理相对纯净或标准的数据集难度比较大，所以一些传统的分析方法不适合直接运用在自然语言方面的处理，需要 根据自然语言的特点，并结合语音信号处理方面的理论加以改进。

目前传统的说话人分割聚类的方法是先将语音利用说话人跳变点检测方法分割成很多小的语音段，再采用自底向上聚类，把相同说话的语音片段人归并到一起。由于没有语音中说话人信息的先验知识，在分割和聚类的过程中话者信息利用不够充分，所以影响到系统最终的切分准确度。

针对目前传统的切分方法的上述不足，在传统的说话人切分的基础上，引入重分割和重聚类机制的基于多层次说话人分割聚类算法，参照说话人识别领域中为说话人统计建模的方法，充分利用传统方法中初步分割与聚类后的说话人信息，对音频文件重新进行更精确的分割和聚类，有效地提高了系统的性能。

分析自然语音信号的特点并在实际中人工试听自然场景中的语音片段的过程中发现：不论一段语音中说话人的内容表达清楚与否，不同的说话人之间在交替对话时，一个人的话尾(说话语段将要结束)转向另一个人的话起(说话语段将要开始)总是有停顿。利用这样一个“停顿”来分割每一段要处理的自然语音片段，得到多段某一人讲话的小语音片段。

通过对分割后的片段仔细分析之后作了数学统计，发现分割准确的语音片段的时间长度通常在10s以内。所以为了使分割更加精准，方便后期的分析，我们对首次分割之后时长大于10s的片段进行重分割，提高精度。

第一次分割之后所有小于10s的片段和重分割之后的片段便是我们分割的语音信号片段。接下来紧接着要做的任务是聚类。所谓聚类就是把同一个说话人的片段聚集在一起。聚类的过程主要通过说话人识别的方法来实现：运用高斯混合模型的说话人识别方法首先对分割之后的语音片段进行识别，确定每一段语音信号的说话者是谁，然后把同一个人的语段进行合并。

最后对分割后的语音信号计算字(词)数和对话轮换数。

字(词)数的统计算法是：本文中采用的字词数统计算法，是基于语音信号的短时能量这一特征，设置适当的阈值来对语言信号进行标记分割并同时进行统计。对话轮换数的计算由成人发起对话接着儿童进行应答即为一次对话轮换数，或者儿童发起对话之后接着成人进行应答作为一次对话数。

本实施例中，语音分析方法包括以下步骤：

(1)提取语音信号的特征；

(2)利用语音中的停顿来分割语音片段，并对首次分割之后时长大于10秒的语音片段进行再分割；

(3)根据语音信号的特征，通过聚类将同一个说话人的语言片段聚集在一起；

(4)统计语言分析的数据结果。

步骤(3)通过聚类将同一个说话人的语言片段聚集在一起包括以下步骤：

(31)运用高斯混合模型以及步骤(1)中得到的语音信号的特征，对分割之 后的每一个语音片段进行识别，确定语音片段的说话人；

(32)将连续的同一个说话人的语言片段进行合并；

(33)按说话人将语言片段分组。

步骤(4)统计语言分析的数据结果包括以下步骤：

(41)基于语音信号的短时能量，统计每一个分组中语言片段包括的字(词)数的和；

(42)统计对话轮换数。

实验中选择合适的参数和训练数据语音段，例如选取语音数据语音分析，如图4所示，根据软件界面显示的数据计算出每个人总的说话时长，然后计算出说话人的平均语速。

图4是语音数据在开发的软件系统上运行的结果，界面中显示了分割聚类的结果、字词数、说话人之间的交互率等信息。

根据界面上的结果，通过分析和计算作了两个说话人A、B之间的交互率与说话人说话的时长及平均语速。

说话人之间的交互率：

交互类型	交互率	数值
			A→B	A/(A+B)*100％	51.28％
B→A	B/(A+B)*100％	48.72％

图4中的交互次数，A->B是20次，B->是19次。

说话人说话的时长及平均语速：

类型	时长(s)	字数(个)	平均语速(字/秒)
				A	113.40	216	1.90
B	71.05	156	2.19

其中A、B代表语音数据段中的不同说话人，A→B表示说话人A向说话人B发起的一次对话，A/(A+B)*100％表示说话人A向说话人B发起的对话次数总数与说话人A向说话人B和说话人B向说话人A发起对话次数的总数的比值。

由于图4中的总时间包括说话中间停顿的时间，通常比实际交流时间长。

从上表中可以看出说话人之间的交互率符合实际的情况，一个人发起讲话结束后，另一个会作出相应的应答行为。

通过分析，可以得到类似下表的测试结果，并根据测试结果给出相应的建议。

本实施例中，活动分析方法包括以下步骤：

(1)读取活动数据，得到活动波形；

(2)根据所述活动波形获得不同活动频度的活动状态对应的时段；

(3)统计出每天不同活动频度的活动时长。

活动频度包括高活动频度、中活动频度以及低活动频度，例如睡眠的活动频度为低活动频度，儿童在公园中奔跑的活动频度为高活动频度。

利用本实施例中的可穿戴装置，可以连续监测人的睡眠状况、运动状况，通过对记录的数据的分析，使得医生甚至每个人自己都可以准确评估睡眠状况、运动状况以及健康状况，能够及时发现生活中存在的造成不健康的问题，使每个人拥有健康的生活。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种语音与活动监测系统，其特征在于，包括可穿戴装置以及分析处理设备；所述可穿戴装置包括壳体、设置于所述壳体内的处理器以及与所述处理器连接的语音数据采集装置、活动数据采集装置、存储模块与通信接口，所述语音数据采集装置用于采集所述可穿戴装置的穿戴人与其他人交互的语音，所述活动数据采集装置用于采集所述穿戴人的活动数据，所述语音与所述活动数据存入所述存储模块并通过所述通信接口传送到所述分析处理设备；所述分析处理设备适于分析所述可穿戴装置采集的语音与活动数据，以获得语言交互指标和肢体活动指标并将其按照时间关系综合起来，并给出相关建议；所述分析处理设备包括语音分析模块和活动分析模块；所述语音分析模块适于对所采集的语音信号进行语音信号分析，所述语音信号分析包括：步骤（1）提取语音信号的特征；步骤（2）利用语音中的停顿来分割语音片段，并对首次分割之后时长大于预设值的语音片段进行再分割；步骤（3）根据所述语音信号的特征，通过聚类将同一个说话人的语言片段聚集在一起；步骤（4）统计语言分析的数据结果；所述语言交互指标包括字词数、说话人之间的交互率、说话人各自发起的对话次数、说话人说话的时长及平均语速；所述活动分析模块适于读取活动数据，得到活动波形，根据所述活动波形获得不同活动频度的活动状态对应的时段，统计出每天不同活动频度的活动时长。

2.如权利要求1所述的语音与活动监测系统，其特征在于，所述活动数据采集装置包括加速度传感器。

3.如权利要求1所述的语音与活动监测系统，其特征在于，所述可穿戴装置还包括环境数据采集模块，所述环境数据包括温度数据、湿度数据以及光数据中一种或多种。

4.如权利要求1所述的语音与活动监测系统，其特征在于，所述通信接口为有线通信接口/无线通信接口。

5.如权利要求1所述的语音与活动监测系统，其特征在于，所述可穿戴装置还包括电量检测模块。

6.如权利要求1所述的语音与活动监测系统，其特征在于，针对一个穿戴人的可穿戴装置为一个或两个。

7.如权利要求1所述的语音与活动监测系统，其特征在于，所述分析处理设备为计算机、智能手机或平板电脑中的一个或多个。

8.如权利要求1所述的语音与活动监测系统，其特征在于，步骤（3）通过聚类将同一个说话人的语言片段聚集在一起包括以下步骤：

（31）运用高斯混合模型以及步骤（1）中得到的语音信号的特征，对分割之后的每一个语音片段进行识别，确定语音片段的说话人；

（32）将连续的同一个说话人的语言片段进行合并；

（33）按说话人将语言片段分组。

9.如权利要求1所述的语音与活动监测系统，其特征在于，步骤（4）统计语言分析的数据结果包括以下步骤：

（41）基于语音信号的短时能量，统计每一个分组中语言片段包括的字词数的和；

（42）统计对话轮换数。

10.如权利要求1所述的语音与活动监测系统，其特征在于，活动频度包括高活动频度、中活动频度以及低活动频度。