CN107635147A - 基于多模态人机交互的健康信息管理电视 - Google Patents

Abstract

本发明提供了一种基于多模态人机交互的健康信息管理电视，包括：信息录入模块：录入用户的健康信息；输入交互模块：采集图像信息、声音信息、环境信息、文字输入信息等；健康监控模块：监控状态下，根据采集到的图像信息、声音信息判断用户的健康状态，并根据健康状态异常的类别执行对应的操作，以及根据采集到的环境信息给出对应的提示；输出交互模块：交互状态下，根据采集到的图像信息、声音信息、环境信息等，通过图像、文字及语音的方式与用户交互，并发送至云端的健康管理中心。本发明能够理解用户的行为意图，可以通过人与电视多模态交互的方法实现电视与人的健康信息管理，实现对用户行为的监督、判断和识别。

Description

基于多模态人机交互的健康信息管理电视

技术领域

本发明涉及自动化及人机交互技术领域，具体地，涉及基于多模态人机交互的健康信息管理电视。

背景技术

21世纪以来，国内智能电视行业正处于一个飞速发展的阶段，智能电视在家居服务、健康管理等领域起到了至关重要的作用。由于人机交互技术的日渐成熟，智能电视的交互功能也在不断提升。传统的电视往往不会与健康管理建立联系，即使与健康管理相关也仅仅是简单的收取健康类节目，并不能实现对用户的健康管理。具有健康管理功能的交互电视将更加得到使用者的喜爱和关注。

常规的交互式设备往往侧重于手机端的开发。由于老年人使用电视的频率远大于使用手机的频率，在这个背景下，基于电视的交互式健康检测设备可以有效的提高对老年人的检测频率及时间长度。

经过对现有技术文献的检索发现,发明专利(授权公告号：CN105635778A)是一种智能电视的语音交互方法及系统，这项发明与电视的语音交互相关，但所述电视不具有基于视觉的人机交互功能。发明专利(授权公告号：CN106303595A)是一种智能电视信息交互方法；这项发明与人与电视交互的方式相关，但没有健康管理功能。发明专利(授权公告号：CN106529143A)是一种云智能健康自检设备进行用户自主健康管理的方法，这项发明与健康自检相关，但所述设备不具有基于声觉和视觉的人机交互功能。发明专利(授权公告号：CN206021267U)是一种医疗信息交互设备，这项发明介绍了医疗信息交互及定位，但所述装置的交互方式通过手环实现，不具有基于声觉和视觉的交互功能，且没有应用到电视。发明专利(授权公告号：CN105185377A)是一种基于语音的文件生成方法及装置，这项发明介绍了将用户的语音信息转换为文字信息方法，但所述方法不具有基于视觉的人机交互功能及健康管理功能。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于多模态人机交互的健康信息管理电视。

根据本发明提供的一种基于多模态人机交互的健康信息管理电视，包括：

信息录入模块：录入用户的健康信息；

输入交互模块：采集图像信息、声音信息、环境信息以及文字输入信息；

健康监控模块：监控状态下，根据采集到的图像信息、声音信息判断用户的健康状态是否异常，并根据异常的类别执行对应的操作，以及根据采集到的环境信息给出对应的提示；

输出交互模块：交互状态下，根据采集到的图像信息、声音信息以及文字输入信息进行综合分析，通过图像、语音及文字等方式与用户交互，并将健康数据发送至云端的健康管理中心。

优选的，所述信息录入模块通过语音输入、文字输入或者图表识别的方式录入健康信息。

优选的，所述输入交互模块通过摄像头及3D图像传感器采集图像信息，所述图像信息包括用户的身体姿态、面部疲劳状态、手势动作，通过麦克风采集声音信息，所述声音信息包括用户的语音信息、生理声纹信息，通过包括温度传感器、湿度传感器以及气压传器采集环境信息。

优选的，所述健康状态包括：无环境因素下健康状态以及环境因素下健康状态。

优选的，所述健康监控模块通过采集到的声音信息判断用户是否出现打喷嚏、咳嗽、呻吟在内的身体异常。

优选的，所述健康监控模块通过采集到的图像信息判断用户是否出现包括久坐不起、摔倒、神态疲劳的身体异常。

优选的，交互状态下，所述输出交互模块调用知识库内健康知识进行交互，并通过反馈机制，不断学习以提升人机交互的识别准确率。

与现有技术相比，本发明具有如下的有益效果：

本发明的意义在于真正的实现对用户的行为意图的理解，同时，本发明的电视具有健康管理功能，可以通过人与电视多模态交互的方法实现电视与人的健康信息管理，实现对用户行为的监督、判断和识别，进而实现类似功能。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的总体框图；

图2为本发明的工作流程图；

图3为输入交互模块与健康监控模块的工作流程图；

图4为久坐提示的流程图；

图5为摔倒提示的流程图；

图6为环境信息提醒的流程图；

图7为个性化日程提醒流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1和图2所示，本发明基于多模态人机交互的健康信息管理电视包括：

信息录入模块：通过语音输入、文字输入或者图表识别的方式录入健康信息；

输入交互模块：采集图像信息、声音信息、环境信息以及文字输入信息，图像信息输入交互模块通过摄像头及3D图像传感器采集，包括人体姿态信息，面部表情信息等，如表情，坐姿，卧态，行为等；声音信息通过麦克风采集，包括语言信息，生理声纹信息，如声音，呻吟，咳嗽，打喷嚏等；环境信息通过对应的传感器采集，包括温度参数，湿度参数，气候信息等。

健康监控模块：待机状态下，根据采集到的图像信息、声音信息判断用户的健康状态是否异常，并根据异常的类别执行对应的操作，以及根据采集到的环境信息给出对应的提示。健康状态包括：无环境因素下健康状态以及环境因素下健康状态。

输出交互模块：交互状态下，根据采集到的图像信息、声音信息以及文字输入信息进行模板匹配，通过图像或者语音的方式与用户交互，以及通过文字的方式发送至云端的健康管理中心。

本发明的具体实施如下：

初次使用用户需创建结构式用户信息，包括个人基本信息、疾病信息、外部环境信息等。其中个人基本信息包含年龄，性别，血型，身高，体重，职业。可以通过用户主动的语音输入实现用户表单信息的记录，也可以通过文字输入、健康信息表图像识别等方式实现信息的录入。

信息录入结束后，电视机进入待机状态。待机状态下，电视启动输入交互模块，健康监控模块。电视通过摄像头、麦克风、温度传感器、湿度传感器、气压传感器等多种设备，采集用户的健康信息、环境信息(包括外部大环境以及内部小环境)、及用户的健康状态等。输入交互模块和健康监控模块的工作流程如图3所示。

对于接收到的图像信息，首先将图像信息区分为人体姿态、面部表情、手势动作、文字信息；对于人体姿态，采用3D图像传感器识别，并识别出是否存在长时间坐立、摔倒等状态；如存在，则进行健康提示，并将健康数据输送至健康管理中心；对于面部信息则通过基于视觉的疲劳检测方式实现健康监测，并进行健康提示；对于手势动作则进行手势识别进行意图理解；对于文字图像信息则通过OCR光学字符识别，并进行意图理解。

对于接收到的声音信息，分离出周围无用的背景声音，如外部环境噪音等；针对接收到的声音信息中的语音部分，通过语音文本转换(STT)转换为文字信息，并进行语音信息的特征提取，分析不同用户的声纹、语气、语调，实现用户识别。其中，对于识别到的文字信息，通过意图理解对其进行对话回复，语音交互输出给用户；并解析出用户的语音指令、语音指示、操作要求等，进行交互操作；同时判断用户是否在呼救，如发现用户呼救，则启动危险预警。通过背景声音分离，判断出用户是否摔倒、咳嗽、呻吟、打鼾等；若出现不正常的响动或状态，则通过健康提示的方式通知用户及健康管理人员，并将健康数据送至健康管理中心。

电视启动后，时刻保持监控状态。在此模式下，电视机会通过图像传感器、语音传感器等方式读取用户的状态信息。

常规状态定义为健康模式，根据用户异常状态定义多种健康预警状态。包括：

1)久坐提示

2)摔倒提示

3)呻吟，打喷嚏，咳嗽提示

健康监控模块通过3D深度传感器将人体标记为多个关键点，并对关键点进行标号，以电视为原点建立三维空间直角坐标系，实时记录每个时刻下关键点的位置。

如图4所示，久坐提示：

左腿胯关节与右腿胯关节为坐立主要关节，为久坐判断的主要依据。使用者首先在信息录入模块中录入坐立身高及站立身高；同时电视会记录常态下使用者坐立时胯关节点的高度。当用户的胯关节高度低于预定的坐立高度超过设定时长，则根据用户的表情和声音判断用户是否处于疾病状态，如不处于疾病状态则所述健康监控模块判断为身体异常(久坐)，并通知用户站起来活动；如处于疾病状态则通知健康监护人员，并通过文字信息等方式发送至健康管理中心，供医疗单位、主治医师、监护人员等获取。

如图5所示，摔倒提示：

当用户的头部、腰部关键点全部低于预定的摔倒高度时，所述健康监控模块判断为危险性异常(摔倒)，则通知健康监护人员，并通过文字信息等方式发送至健康管理中心，供医疗单位、主治医师、监护人员等获取。

打喷嚏、打哈欠、咳嗽等异常状态：

在信息录入模块中预先录入用户发生打喷嚏、咳嗽、打哈欠等症状时的声纹信息，通过采集到的声纹信息匹配判定使用者是否出现打喷嚏打哈欠等状态。

待机状态下电视还将启动环境信息采集模式，进行外界环境信息的采集。环境信息包括温度传感器、湿度传感器、气压传感器等多种设备反馈的环境信息，电视机通过传感器采集周围温度、气温、气压、空气质量等多种环境信息，为用户提供健康建议。

电视将采集到的无环境因素下用户健康状态state_routine以及包含环境因素下用户健康状态state_environmental，一方面存入个人健康信息状态，同时上传至数据库进行大数据分析，同时也将采集到的数据传输至健康监控模块以用于健康监控。

如图6所示，健康监控模块还附加提醒模式，提醒场景包括：体外温度(环境温度)、空气质量、气压、湿度、风速、节气、计步数据、现有的健康方案实施到期，等等，提醒内容包括：及时穿衣、出门戴口罩、带雨伞、工作节奏调整、注意饮食、运动、睡眠时间，等等。

如图7所示，电视通过人机交互读取到用户的健康状态及信息，除了可以通过内置的处理器进行判断，还可以调用云端知识库的大数据进行对比分析。在交互状态下，当接收到用户提出的问题后，首先调用内置知识库，以提高运行处理速度。当提出问题内置知识库无法解决时再调用云端数据库。当云端数据库仍无法解决时则调用百度等搜索引擎进行回复，并将所提出问题存入数据库，下次再提出类似问题可以有效解答，并通过反馈机制，学习以提升人机交互的识别准确率。

用户可以通过按键开启交互模式。交互模式下电视会读取到用户的各方面信息，或是语音输入，或是手势输入，也可以是按键信息、文字信息等。交互状态下既可以是功能的交互，也可以是知识的交互，例如电视中内置知识库及云端知识库。交互状态时，当摄像头视野内同时出现多个用户时，可以根据用户的语音信息、动作信息等综合信息进行主要用户的判定；监控状态时，可以同时对视野内多个目标进行健康监控。

电视可根据用户需求进行个性化功能设计，并定制日程管理。交互过程同时设有声纹特征提取以及人脸识别功能，可以记录下用户的身份信息并为其提供专门的服务。

本发明可以帮助人们完成日常生活、学习中的多项重要功能，并且在助老助残等领域有格外重要的应用前景，及重要的学术价值、商业价值。此外，还可以通过对电视的输入指令实现语音控制自动发送邮件、自动打电话等功能还可以实现快捷的通讯交流方式。电视机的内部知识库增加了医学知识专业知识库，导入常用的健康管理数据库，当发生紧急状况时可以采取有效的应急措施等。同时电视支持健康数据云端同步，在其他地区电视可以同步账户内的健康数据。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于多模态人机交互的健康信息管理电视，其特征在于，包括：

信息录入模块：录入用户的健康信息；

输入交互模块：采集图像信息、声音信息、环境信息以及文字输入信息；

健康监控模块：监控状态下，根据采集到的图像信息、声音信息判断用户的健康状态是否异常，并根据异常的类别执行对应的操作，以及根据采集到的环境信息给出对应的提示；

输出交互模块：交互状态下，根据采集到的图像信息、声音信息以及文字输入信息进行综合分析，通过图像、语音及文字等方式与用户交互，并将健康数据发送至云端的健康管理中心。

2.根据权利要求1所述的基于多模态人机交互的健康信息管理电视，其特征在于，所述信息录入模块通过语音输入、文字输入或者图表识别的方式录入健康信息。

3.根据权利要求1所述的基于多模态人机交互的健康信息管理电视，其特征在于，所述输入交互模块通过摄像头及3D图像传感器采集图像信息，所述图像信息包括用户的身体姿态、面部疲劳状态、手势动作，通过麦克风采集声音信息，所述声音信息包括用户的语音信息、生理声纹信息，通过包括温度传感器、湿度传感器以及气压传器采集环境信息。

4.根据权利要求1所述的基于多模态人机交互的健康信息管理电视，其特征在于，所述健康状态包括：无环境因素下健康状态以及环境因素下健康状态。

5.根据权利要求1所述的基于多模态人机交互的健康信息管理电视，其特征在于，所述健康监控模块通过采集到的声音信息判断用户是否出现打喷嚏、咳嗽、呻吟在内的身体异常。

6.根据权利要求1所述的基于多模态人机交互的健康信息管理电视，其特征在于，所述健康监控模块通过采集到的图像信息判断用户是否出现包括久坐不起、摔倒、神态疲劳的身体异常。

7.根据权利要求1所述的基于多模态人机交互的健康信息管理电视，其特征在于，交互状态下，所述输出交互模块调用知识库内健康知识进行交互，并通过反馈机制，不断学习以提升人机交互的识别准确率。