CN108814565A - 一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台 - Google Patents

一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台 Download PDF

Info

Publication number
CN108814565A
CN108814565A CN201810724230.0A CN201810724230A CN108814565A CN 108814565 A CN108814565 A CN 108814565A CN 201810724230 A CN201810724230 A CN 201810724230A CN 108814565 A CN108814565 A CN 108814565A
Authority
CN
China
Prior art keywords
user
pulse
face
algorithm
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810724230.0A
Other languages
English (en)
Inventor
魏大鹏
郭云飞
陈乔松
刘文俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810724230.0A priority Critical patent/CN108814565A/zh
Publication of CN108814565A publication Critical patent/CN108814565A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B67/00—Chests; Dressing-tables; Medicine cabinets or the like; Cabinets characterised by the arrangement of drawers
    • A47B67/005—Mirror cabinets; Dressing-tables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6891—Furniture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Abstract

本发明涉及一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，属于人机交互领域。该梳妆台包括多维传感器信号采集单元、信息融合单元、信号控制与处理单元。信息融合单元通过wide&deep算法进行时域信息融合：使用LSTM算法对脉搏信号进行特征提取作为wide部分，再使用Fast‑RCNN算法对用户面部信息进行特征提取作为deep部分，最后利用协同滤波对脉搏特征和面部特征进行综合特征提取；信号控制与处理单元根据中医的望诊和脉诊作为先验知识对提取的用户面部特征和脉搏特征进行健康综合评估，再根据用户的健康综合评估给出建议。本发明使用方便且多维信号对用户健康状态判断准确性更高。

Description

一种基于多传感器信息融合和深度学习的智能中医健康检测 梳妆台
技术领域
本发明属于人机交互领域，涉及一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台。
背景技术
使用化妆品是现代女性生活中不可分割的一部分，化妆品在美化女性面容的同时也使一些健康问题被掩盖。现代社会快节奏的生活方式，长期的使用电子产品，睡眠时间的减少以及无规律的饮食——极易导致现代女性在健康方面出现问题，这些问题在初期有可能不属于病态的，而是属于亚健康状态。
根据《亚健康中医临床指南》：亚健康是指人体处于健康和疾病之间的状态。处于亚健康状态者，不能达到健康标准，表现为一定时间内的活力下降，记忆力减退，注意力不集中，思维缓慢，环境适应能力减退等症状。而女性长期处于亚健康状态，会导致内分泌紊乱，睡眠质量下降，情绪易于波动，脱发，体重发生变化等情况。
中医理论是中华民族的文化瑰宝，同时有别于西医针对病理问题的思维方式——中医讲求通过天人合一的整体理念来调节人体的阴阳五行平衡状态。而在中医的望闻问切中，望诊和切诊是当代中医重要的判断患者病情的方式。运用视觉观察患者的形体、面色、舌苔和舌体，根据形色变化确定病位、病性，成为望诊。脉诊又称切诊，是通过按触人体不同部位的脉搏以体察脉象变化方法。
现代女性大量的使用化妆品会将女性面部肌肤的许多问题掩盖掉，比如：眼部的分泌物，肌肤的色泽，眼睑的水肿等特征。而中医中的望诊正是通过这些特征来判断患者病情的。所以，当代女性的生活方式为中医给女性诊断带来一定阻力。
发明内容
有鉴于此，本发明的目的在于提供一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，实现现代女性爱美需求与现代中医理疗的平衡点：1，针对用户：利用每天卸妆后和化妆前的时段，通过静态面部信息采集模块和脉搏信息采集模块对自身的健康状态进行监控——不仅能够方便女性的日常生活，而且还有助于采集到用户的真实生理特征；2，通过采集到用户的真实面部细节生理特征——可以使用具有中医望诊专家知识库的计算机视觉系统对用户的健康状态进行精准评估；3，通过采集到用户的脉搏特征——可以使用具有中医脉诊专家知识库的递归神经网络系统对用户的健康状态进行精准评估；4，针对长期处于亚健康状态的用户——利用每天化妆时间养成对面部数据和脉搏数据采集的习惯，可以建立用户个体专用数据库，以此训练深度学习模型进行改进；5，将面部信息经过望诊提取的特征与脉搏信息通过脉诊提取的特征通过wide&deep算法进行特征信息融合实现在特征级别的多源异构数据的融合学习，以此从多维信息来准确定位用户的亚健康病位和病性。
为达到上述目的，本发明提供如下技术方案：
一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，包括多维传感器信号采集单元、信息融合单元、信号控制与处理单元；
多维传感器信号采集单元包括智能手环脉搏传感器单元和用户面部信息采集单元，智能手环脉搏传感器单元用于动态采集用户脉搏信息，用户面部信息采集单元用于采集用户面部图像和舌苔图像；智能手环脉搏传感器单元包括红外传感器和数模信号转换模块；用户面部信息采集单元包括数字摄像头和视频信息存储设备；
信息融合单元通过wide&deep算法进行时域信息融合：使用LSTM算法对脉搏信号进行特征提取作为wide部分，再使用Fast-RCNN算法对用户面部信息进行特征提取作为deep部分，最后利用协同滤波对脉搏特征和面部特征进行综合特征提取；
信号控制与处理单元包括健康检测专家系统和健康提示APP，将采集的用户脉搏信息和用户面部信息通过高速总线传输到GPU处理器，将特征提取和健康状态评定在GPU处理器中进行，健康检测专家系统根据中医的望诊和脉诊作为先验知识对提取的用户面部特征和脉搏特征进行健康综合评估，再通过高速总线回传到用户手机的APP上，健康提示APP根据用户的健康综合评估给出作息、饮食和运动建议并推送给用户。
进一步，所述梳妆台还包括语音识别助手系统，用于在用户化妆的过程中通过语言问答对用户健康状态主观感受进行信息采集。
进一步，所述梳妆台通过前期在大量女性非用户本人脉搏数据的训练集上对基于RNN的LSTM算法进行参数和网络结构优化，再将用户信息输入到改进型基于RNN的LSTM算法，通过用户初期数据的自适应学习，掌握用户的在中医上的脉象特征；通过前期在大量女性非用户本人面部图像和舌苔图像的训练上对Fast-RCNN算法进行参数和网络结构优化，再将用户信息输入到改进型Fast-RCNN算法，通过用户初期数据的自适应学习，掌握用户的在中医上的望诊的面象和舌象特征；
对提取的用户脉象特征，面象特征和舌象特征使用wide&deep算法进行综合特征提取，即将基于改进型Fast-RCNN算法提取的脉象特征进行线性编码并作为wide&deep算法的wide model，再将基于改进型基于RNN的LSTM算法提取的面象和舌象特征作为wide&deep算法的deep model。
进一步，所述用户面部信息的采集与提取具体包括以下步骤：
S11：对用户的面部、五官设置若干关键点进行标注；
S12：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，进行一次面部细节数据采集；
S13：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；
S14：利用已经建立的用户素颜面部特征数据集作为训练集对Fast-RCNN算法进行参数和网络架构优化；
S15：使用训练过的Fast-RCNN算法对用户本人采集的面部细节数据进行自动补光的定向特征提取；
S16：使用用户本人的面部细节定向特征存入健康检测专家系统中，即根据专家系统对望诊中对眼睛、耳朵、舌体和舌苔的先验知识给出对用户的望诊诊断评估。
进一步，所述用户脉搏信息的采集与提取具体包括以下步骤：
S21：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，利用智能手环进行一次配合面部细节数据采集的脉搏数据采集；
S22：晚上入睡前，通过APP点击进行一次全睡眠状态下脉搏数据采集；
S23：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；
S24：利用已经建立的用户清醒状态和睡眠状态下的特征数据集作为训练集对基于RNN的LSTM算法进行参数和网络架构优化；
S25：使用训练过的LSTM算法对用户本人采集的脉搏数据进行特征提取；
S26：使用用户本人的脉搏数据特征存入健康检测专家系统中，即根据专家系统对脉诊中脉搏的频率、振幅、力度和周期性变化规律的先验知识给出对用户的脉诊诊断评估。
进一步，所述信息融合单元进行时域信息融合具体包括以下步骤：
S31：使用one-hote编码将用户本人的脉搏数据特征进行逻辑回归；
S32：通过Model-Based协同过滤，即用一组隐含因子来联系用户本人的脉诊特征和用户本人的望诊特征，以此综合判断用户的健康状况；
S33：根据语音识别助手系统采集到的用户的健康信息形成用户本人专用数据库先验知识；
S34：根据综合健康状况，用户本人专用数据库先验知识和健康监测系统的专家库，在手机APP上给出用户在饮食，作息，心理和运动等方面的建议。
本发明的有益效果在于：
1、能够兼顾当代女性在化妆方面的生活习惯与中医诊断的数据采集准确性；
2、能够比传统方案更好适应用户本人在面诊和脉诊的个体差异性；
3、可以通过长期的健康数据采集，及早发现用户的亚健康问题，并给出预警；
4、通过系统自带专家库，给出用户定制亚健康状态中医调理方案。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明的算法整体原理图；
图2为本发明的流程图；
图3为本发明的系统硬件图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
如图1-图3所示，一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，包括多维传感器信号采集单元、信息融合单元、信号控制与处理单元；
多维传感器信号采集单元包括智能手环脉搏传感器单元和用户面部信息采集单元，智能手环脉搏传感器单元用于动态采集用户脉搏信息，用户面部信息采集单元用于采集用户面部图像和舌苔图像；智能手环脉搏传感器单元包括红外传感器和数模信号转换模块；用户面部信息采集单元包括数字摄像头和视频信息存储设备；
信息融合单元通过wide&deep算法进行时域信息融合：使用LSTM算法对脉搏信号进行特征提取作为wide部分，再使用Fast-RCNN算法对用户面部信息进行特征提取作为deep部分，最后利用协同滤波对脉搏特征和面部特征进行综合特征提取；
信号控制与处理单元包括健康检测专家系统和健康提示APP，将采集的用户脉搏信息和用户面部信息通过高速总线传输到GPU处理器，将特征提取和健康状态评定在GPU处理器中进行，健康检测专家系统根据中医的望诊和脉诊作为先验知识对提取的用户面部特征和脉搏特征进行健康综合评估，再通过高速总线回传到用户手机的APP上，健康提示APP根据用户的健康综合评估给出作息、饮食和运动建议并推送给用户。
梳妆台还包括语音识别助手系统，用于在用户化妆的过程中通过语言问答对用户健康状态主观感受进行信息采集。
梳妆台通过前期在大量女性非用户本人脉搏数据的训练集上对基于RNN的LSTM算法进行参数和网络结构优化，再将用户信息输入到改进型基于RNN的LSTM算法，通过用户初期数据的自适应学习，掌握用户的在中医上的脉象特征；通过前期在大量女性非用户本人面部图像和舌苔图像的训练上对Fast-RCNN算法进行参数和网络结构优化，再将用户信息输入到改进型Fast-RCNN算法，通过用户初期数据的自适应学习，掌握用户的在中医上的望诊的面象和舌象特征；
对提取的用户脉象特征，面象特征和舌象特征使用wide&deep算法进行综合特征提取，即将基于改进型Fast-RCNN算法提取的脉象特征进行线性编码并作为wide&deep算法的wide model，再将基于改进型基于RNN的LSTM算法提取的面象和舌象特征作为wide&deep算法的deep model。
用户面部信息的采集与提取具体包括以下步骤：
S11：对用户的面部、五官设置若干关键点进行标注；
S12：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，进行一次面部细节数据采集；
S13：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；
S14：利用已经建立的用户素颜面部特征数据集作为训练集对Fast-RCNN算法进行参数和网络架构优化；
S15：使用训练过的Fast-RCNN算法对用户本人采集的面部细节数据进行自动补光的定向特征提取；
S16：使用用户本人的面部细节定向特征存入健康检测专家系统中，即根据专家系统对望诊中对眼睛、耳朵、舌体和舌苔的先验知识给出对用户的望诊诊断评估。
用户脉搏信息的采集与提取具体包括以下步骤：
S21：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，利用智能手环进行一次配合面部细节数据采集的脉搏数据采集；
S22：晚上入睡前，通过APP点击进行一次全睡眠状态下脉搏数据采集；
S23：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；
S24：利用已经建立的用户清醒状态和睡眠状态下的特征数据集作为训练集对基于RNN的LSTM算法进行参数和网络架构优化；
S25：使用训练过的LSTM算法对用户本人采集的脉搏数据进行特征提取；
S26：使用用户本人的脉搏数据特征存入健康检测专家系统中，即根据专家系统对脉诊中脉搏的频率、振幅、力度和周期性变化规律的先验知识给出对用户的脉诊诊断评估。
信息融合单元进行时域信息融合具体包括以下步骤：
S31：使用one-hote编码将用户本人的脉搏数据特征进行逻辑回归；
S32：通过Model-Based协同过滤，即用一组隐含因子来联系用户本人的脉诊特征和用户本人的望诊特征，以此综合判断用户的健康状况；
S33：根据语音识别助手系统采集到的用户的健康信息形成用户本人专用数据库先验知识；
S34：根据综合健康状况，用户本人专用数据库先验知识和健康监测系统的专家库，在手机APP上给出用户在饮食，作息，心理和运动等方面的建议。
实施例一：
首先，训练识别准确率高并且稳定的算法模型，其实施步骤如下：
1、对前期收集的非用户面部细节数据(包含眼部，鼻子，口部，舌苔和面部肌肤细节)进行标注分类——标注出处于健康状态的画面特征；
2、使用第一步建立的数据集作为训练集测试搭建的Fast-RCNN算法框架——并根据测试准确率，系统稳定性和硬件资源消耗率对算法参数和框架进行调节；
3、根据前期收集的非用户脉搏数据——标注出处于健康状态的脉搏信号特征；
4、使用第三步建立的数据集作为训练集测试搭建的基于RNN的LSTM算法框架——并根据测试准确率，系统稳定性和硬件资源消耗率对算法参数和框架进行调节；
5、通过智能梳妆台采集用户的面部细节数据，并建立用户的专用数据库；
6、通过智能梳妆台附带的智能手环采集用户的脉搏数据，并建立用户的专用数据库；
7、使用第二步改进的Fast-RCNN算法框架对用户的面部眼部，鼻子，口部，舌苔和面部肌肤细节数据流进行特征提取做为wide&deep算法的deep部分，使用第四步改进的RNN的LSTM算法框架对驾驶员的脉搏数据进行特征提取做为wide&deep算法的wide部分——进行测试并根据测试准确率，系统稳定性和硬件资源消耗率对算法参数进行调节；
实施例二：
其次，具备能够比传统方案更好适应用户本人在面诊和脉诊的个体差异性，其实施步骤如下：
1、通过wide&deep算法对用户建立的专用数据库进行单独的特征提取和特征级融合提取；
2、将系统自带的健康检查中医专家库对用户当天面部细节特征按照中医的望诊先验知识进行匹配，并形成用户健康状态评估；
3、将系统自带的健康检查中医专家库对用户当天脉搏特征按照中医的脉诊先验知识进行匹配，并形成用户健康状态评估；
4、利用智能语音助手通过与用户的对话，收集用户对当天健康状态的主观自我评价，通过中医的问诊先验知识实现对用户体质和心理健康状态的评估；
5、将系统自带的健康检查中医专家库对用户当天面部细节特征，脉搏特征和主观自我评价按照中医的整体诊断理念的先验知识进行匹配，并形成用户综合健康状态评估。
实施例三：
再次，可以通过长期的健康数据采集，及早发现用户的亚健康问题，并给出预警。其实施步骤如下：
1、利用现代女性每天晚上卸妆和使用面膜补水的时间间隙完成在子时前的望诊和脉诊环节，对当代女性没有带来生活上的不可操作性——可以促进用户养成良好的健康检测习惯；
2、利用现代女性每天早上进行面部肌肤护理和化妆之前的时段完成可以对用户在睡眠过程中产生的分泌物(眼部分泌物，舌苔积垢)进行原始的图像采集——这些细节对于望诊的望五官有着重要的原始信息提取作用；
3、根据30天的用户专用数据库建立，比对系统自带的中医监测系统专家库——建立用户体质参数模型：以此作为加权因子反向传播到wide&deep算法，LSTM算法和Fast-RCNN算法；
4、当用户出现标准健康模型之外的生理指标突变时，会通过智能语音助手向用户确认自我健康状态评估情况，并对标准健康模型添加用户的专用加权因子——将其标注为样本差异化特征；
5、当出现突发病情恶化和长期疾病质变时，智能健康中医检测系统会提示用户到医院进行专业检测，并进一步确定病情。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (6)

1.一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，其特征在于：包括多维传感器信号采集单元、信息融合单元、信号控制与处理单元；
多维传感器信号采集单元包括智能手环脉搏传感器单元和用户面部信息采集单元，智能手环脉搏传感器单元用于动态采集用户脉搏信息，用户面部信息采集单元用于采集用户面部图像和舌苔图像；智能手环脉搏传感器单元包括红外传感器和数模信号转换模块；用户面部信息采集单元包括数字摄像头和视频信息存储设备；
信息融合单元通过wide&deep算法进行时域信息融合：使用LSTM算法对脉搏信号进行特征提取作为wide部分，再使用Fast-RCNN算法对用户面部信息进行特征提取作为deep部分，最后利用协同滤波对脉搏特征和面部特征进行综合特征提取；
信号控制与处理单元包括健康检测专家系统和健康提示APP，将采集的用户脉搏信息和用户面部信息通过高速总线传输到GPU处理器，将特征提取和健康状态评定在GPU处理器中进行，健康检测专家系统根据中医的望诊和脉诊作为先验知识对提取的用户面部特征和脉搏特征进行健康综合评估，再通过高速总线回传到用户手机的APP上，健康提示APP根据用户的健康综合评估给出作息、饮食和运动建议并推送给用户。
2.根据权利要求1所述的一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，其特征在于：所述梳妆台还包括语音识别助手系统，用于在用户化妆的过程中通过语言问答对用户健康状态主观感受进行信息采集。
3.根据权利要求1所述的一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，其特征在于：所述梳妆台通过前期在大量女性非用户本人脉搏数据的训练集上对基于RNN的LSTM算法进行参数和网络结构优化，再将用户信息输入到改进型基于RNN的LSTM算法，通过用户初期数据的自适应学习，掌握用户的在中医上的脉象特征；通过前期在大量女性非用户本人面部图像和舌苔图像的训练上对Fast-RCNN算法进行参数和网络结构优化，再将用户信息输入到改进型Fast-RCNN算法，通过用户初期数据的自适应学习，掌握用户的在中医上的望诊的面象和舌象特征；
对提取的用户脉象特征，面象特征和舌象特征使用wide&deep算法进行综合特征提取，即将基于改进型Fast-RCNN算法提取的脉象特征进行线性编码并作为wide&deep算法的wide model，再将基于改进型基于RNN的LSTM算法提取的面象和舌象特征作为wide&deep算法的deep model。
4.根据权利要求1所述的一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，其特征在于：所述用户面部信息的采集与提取具体包括以下步骤：
S11：对用户的面部、五官设置若干关键点进行标注；
S12：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，进行一次面部细节数据采集；
S13：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；
S14：利用已经建立的用户素颜面部特征数据集作为训练集对Fast-RCNN算法进行参数和网络架构优化；
S15：使用训练过的Fast-RCNN算法对用户本人采集的面部细节数据进行自动补光的定向特征提取；
S16：使用用户本人的面部细节定向特征存入健康检测专家系统中，即根据专家系统对望诊中对眼睛、耳朵、舌体和舌苔的先验知识给出对用户的望诊诊断评估。
5.根据权利要求1所述的一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，其特征在于：所述用户脉搏信息的采集与提取具体包括以下步骤：
S21：晚上临睡前，当用户在卸妆之后且在使用面膜之前的时段，利用智能手环进行一次配合面部细节数据采集的脉搏数据采集；
S22：晚上入睡前，通过APP点击进行一次全睡眠状态下脉搏数据采集；
S23：早上起床后，当用户在进行面部清洁和化妆之前的时段，进行一次面部细节数据采集；
S24：利用已经建立的用户清醒状态和睡眠状态下的特征数据集作为训练集对基于RNN的LSTM算法进行参数和网络架构优化；
S25：使用训练过的LSTM算法对用户本人采集的脉搏数据进行特征提取；
S26：使用用户本人的脉搏数据特征存入健康检测专家系统中，即根据专家系统对脉诊中脉搏的频率、振幅、力度和周期性变化规律的先验知识给出对用户的脉诊诊断评估。
6.根据权利要求1所述的一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台，其特征在于：所述信息融合单元进行时域信息融合具体包括以下步骤：
S31：使用one-hote编码将用户本人的脉搏数据特征进行逻辑回归；
S32：通过Model-Based协同过滤，即用一组隐含因子来联系用户本人的脉诊特征和用户本人的望诊特征，以此综合判断用户的健康状况；
S33：根据语音识别助手系统采集到的用户的健康信息形成用户本人专用数据库先验知识；
S34：根据综合健康状况，用户本人专用数据库先验知识和健康监测系统的专家库，在手机APP上给出用户在饮食，作息，心理和运动等方面的建议。
CN201810724230.0A 2018-07-04 2018-07-04 一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台 Pending CN108814565A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810724230.0A CN108814565A (zh) 2018-07-04 2018-07-04 一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810724230.0A CN108814565A (zh) 2018-07-04 2018-07-04 一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台

Publications (1)

Publication Number Publication Date
CN108814565A true CN108814565A (zh) 2018-11-16

Family

ID=64135412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810724230.0A Pending CN108814565A (zh) 2018-07-04 2018-07-04 一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台

Country Status (1)

Country Link
CN (1) CN108814565A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210319A (zh) * 2019-05-07 2019-09-06 平安科技（深圳）有限公司 计算机设备、舌体照片体质识别装置及存储介质
CN111006808A (zh) * 2019-11-07 2020-04-14 重庆邮电大学 基于柔性阵列式触觉传感器的三维力解耦方法
CN111192244A (zh) * 2019-12-25 2020-05-22 新绎健康科技有限公司 一种基于关键点确定舌部特征的方法及系统
CN111466882A (zh) * 2020-04-23 2020-07-31 上海祉云医疗科技有限公司 一种智能中医手诊分析系统及方法
CN111881413A (zh) * 2020-07-28 2020-11-03 中国人民解放军海军航空大学 基于矩阵分解的多源时间序列缺失数据恢复方法
CN112617758A (zh) * 2020-12-31 2021-04-09 厦门越人健康技术研发有限公司 一种基于人工智能的中医健康状态辨识方法
CN112907105A (zh) * 2021-03-10 2021-06-04 广东电网有限责任公司 基于业务场景的预警方法及装置
CN113257388A (zh) * 2021-04-01 2021-08-13 北京雪扬科技有限公司 一种基于可穿戴设备的健康饮食管理及调养方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150036889A1 (en) * 2013-08-02 2015-02-05 CRIXlabs, Inc. Method and System for Predicting Spatial and Temporal Distributions of Therapeutic Substance Carriers
CN105054898A (zh) * 2015-07-24 2015-11-18 新绎健康科技有限公司 一种镜子
CN107133461A (zh) * 2017-04-26 2017-09-05 中国人民解放军总医院 一种基于自编码器的医学图像处理装置与方法
CN107242857A (zh) * 2017-06-12 2017-10-13 南开大学 基于深度学习的智能中医综合诊疗系统
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN107510438A (zh) * 2017-08-30 2017-12-26 如皋市双亚环保科技有限公司 一种面部信息诊疗梳妆镜系统
CN107945173A (zh) * 2017-12-11 2018-04-20 深圳市宜远智能科技有限公司 一种基于深度学习的皮肤疾病检测方法以及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150036889A1 (en) * 2013-08-02 2015-02-05 CRIXlabs, Inc. Method and System for Predicting Spatial and Temporal Distributions of Therapeutic Substance Carriers
CN105054898A (zh) * 2015-07-24 2015-11-18 新绎健康科技有限公司 一种镜子
CN107133461A (zh) * 2017-04-26 2017-09-05 中国人民解放军总医院 一种基于自编码器的医学图像处理装置与方法
CN107242857A (zh) * 2017-06-12 2017-10-13 南开大学 基于深度学习的智能中医综合诊疗系统
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN107510438A (zh) * 2017-08-30 2017-12-26 如皋市双亚环保科技有限公司 一种面部信息诊疗梳妆镜系统
CN107945173A (zh) * 2017-12-11 2018-04-20 深圳市宜远智能科技有限公司 一种基于深度学习的皮肤疾病检测方法以及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FRANK P.-W. LO等: "Continuous systolic and diastolic blood pressure estimation utilizing long short-term memory network", 《2017 39TH ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC)》 *
HENG-TZE CHENG等: "Wide &Deep Learning for Recommender Systems", 《IN PROC.1ST WORKSHOP DEEP LEARN. RECOMMENDER SYST., BOSTON, MA,USA》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210319A (zh) * 2019-05-07 2019-09-06 平安科技（深圳）有限公司 计算机设备、舌体照片体质识别装置及存储介质
CN111006808A (zh) * 2019-11-07 2020-04-14 重庆邮电大学 基于柔性阵列式触觉传感器的三维力解耦方法
CN111192244A (zh) * 2019-12-25 2020-05-22 新绎健康科技有限公司 一种基于关键点确定舌部特征的方法及系统
CN111192244B (zh) * 2019-12-25 2023-09-29 新绎健康科技有限公司 一种基于关键点确定舌部特征的方法及系统
CN111466882A (zh) * 2020-04-23 2020-07-31 上海祉云医疗科技有限公司 一种智能中医手诊分析系统及方法
CN111881413A (zh) * 2020-07-28 2020-11-03 中国人民解放军海军航空大学 基于矩阵分解的多源时间序列缺失数据恢复方法
CN112617758A (zh) * 2020-12-31 2021-04-09 厦门越人健康技术研发有限公司 一种基于人工智能的中医健康状态辨识方法
CN112907105A (zh) * 2021-03-10 2021-06-04 广东电网有限责任公司 基于业务场景的预警方法及装置
CN113257388A (zh) * 2021-04-01 2021-08-13 北京雪扬科技有限公司 一种基于可穿戴设备的健康饮食管理及调养方法和系统
CN113257388B (zh) * 2021-04-01 2023-12-19 北京雪扬科技有限公司 一种基于可穿戴设备的健康饮食管理及调养方法和系统

Similar Documents

Publication Publication Date Title
CN108814565A (zh) 一种基于多传感器信息融合和深度学习的智能中医健康检测梳妆台
Panicker et al. A survey of machine learning techniques in physiology based mental stress detection systems
CN109157231A (zh) 基于情绪刺激任务的便携式多通道抑郁倾向评估系统
Liang et al. Development of an EOG-based automatic sleep-monitoring eye mask
US9155487B2 (en) Method and apparatus for biometric analysis using EEG and EMG signals
US8280503B2 (en) EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
WO2020010668A1 (zh) 基于睡眠大数据的人体健康评估方法及评估系统
CN109065162A (zh) 一种综合性智能化诊断系统
Rattanyu et al. Emotion monitoring from physiological signals for service robots in the living space
CN108714020B (zh) 自适应心理调节仪、实时眼动延时求取方法及存储介质
CN115376695A (zh) 基于扩展现实的神经心理评估及干预的方法、系统和装置
CN116491944A (zh) 一种基于智能手环的心理状态监测评估系统
CN108652587A (zh) 一种认知功能障碍预防监测装置
CN115024725A (zh) 融合心理状态多参数检测的肿瘤治疗辅助决策系统
Gan et al. Human-computer interaction based interface design of intelligent health detection using PCANet and multi-sensor information fusion
CN113593693A (zh) 远程健康管理平台
Mzurikwao et al. Efficient channel selection approach for motor imaginary classification based on convolutional neural network
CN113674823A (zh) 一种互联网智能化体检管理系统及其应用
Seepold et al. Telemedicine system model to help children with autism spectrum disorders
KR102478102B1 (ko) 불면증 치료방법
Alabdani et al. A framework for depression dataset to build automatic diagnoses in clinically depressed Saudi patients
Hu et al. TDD: Auxiliary framework for recognizing people with depression based on physiological and emotional characteristics of EEG signals
Sisodia et al. Video analytics-based multi-symptoms system for determining progression of Parkinson disease
Banellis Neural-heart interactions in the healthy and injured brain
Guo Multi-mode Stroke Rehabilitation System Using Signal-Controlled Human Machine Interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116