CN112255921B - 一种ar眼镜智能控制系统及方法 - Google Patents

一种ar眼镜智能控制系统及方法 Download PDF

Info

Publication number
CN112255921B
CN112255921B CN202011513294.XA CN202011513294A CN112255921B CN 112255921 B CN112255921 B CN 112255921B CN 202011513294 A CN202011513294 A CN 202011513294A CN 112255921 B CN112255921 B CN 112255921B
Authority
CN
China
Prior art keywords
data
wearing
condition
environment
physical condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011513294.XA
Other languages
English (en)
Other versions
CN112255921A (zh
Inventor
印眈峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Medical Innovation And Development Foundation
Original Assignee
Ningbo Qiyi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Qiyi Technology Co ltd filed Critical Ningbo Qiyi Technology Co ltd
Priority to CN202011513294.XA priority Critical patent/CN112255921B/zh
Publication of CN112255921A publication Critical patent/CN112255921A/zh
Application granted granted Critical
Publication of CN112255921B publication Critical patent/CN112255921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本申请实施例提供了一种AR眼镜智能控制系统及方法。所述系统包括:信息采集装置,用于采集用户的自身特征数据;信息处理装置,用于对所述自身特征数据进行数据处理,获取佩戴身体状况数据,判断所述佩戴身体状况数据得到对应的佩戴指导数据,所述数据处理至少包括:利用第一预设深度神经网络模型对所述自身特征数据进行分类识别,得到所述佩戴身体状况数据,所述第一预设深度神经网络模型是利用自身特征样本数据、所述自身特征样本数据的佩戴身体状况标签数据训练得到的;AR眼镜显示模组,用于显示所述佩戴身体状况数据及其对应佩戴指导数据。本申请方案提高了用户实时获取佩戴状态信息的便利性和效率,提高了用户的佩戴体验。

Description

一种AR眼镜智能控制系统及方法
技术领域
本说明书涉及人工智能和AR眼镜应用技术领域,特别涉及一种AR眼镜智能控制系统及方法。
背景技术
增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。
随着时代的发展,AR眼镜应用上的探索已分布在教育培训、远程指导、能源勘探、智慧医疗、文化旅游、安防执法等多个行业领域,同时用户对AR眼镜的功能需求越来越高,期待更加人性化、多元化的功能体验。目前对AR眼镜技术的开发大多集中于增强现实图像构建本身,而对于AR眼镜佩戴用户的使用舒适度、佩戴身体状态方面则甚少钻研,尤其不能满足需要频繁或经常佩戴使用AR眼镜的人群。现存的可以满足用户这种需求的方案是,用户需穿脱AR眼镜佩戴设备,借助其他一些身体状态检测仪器获知当下的佩戴身体状态,不仅存在适用人群的不便性,还具有体验不佳的技术缺陷,显然无法满足很大一部分穿脱不便人群以及期望获得更好用户体验的AR眼镜佩戴用户。
发明内容
本申请实施例提供了一种AR眼镜智能控制系统及方法,提高了用户实时获取佩戴状态信息的便利性和效率,提高了用户的佩戴体验。
本申请实施例的一方面提供一种AR眼镜智能控制系统,其特征在于,包括:信息采集装置,用于采集用户的自身特征数据;信息处理装置,用于对所述自身特征数据进行数据处理,获取佩戴身体状况数据,判断所述佩戴身体状况数据得到对应的佩戴指导数据,所述数据处理至少包括:利用第一预设深度神经网络模型对所述自身特征数据进行分类识别,得到所述佩戴身体状况数据,所述第一预设深度神经网络模型是利用自身特征样本数据、所述自身特征样本数据的佩戴身体状况标签数据训练得到的;AR眼镜显示模组,用于显示所述佩戴身体状况数据及其对应佩戴指导数据,所述佩戴身体状况数据至少包括佩戴身体状况不佳数据,所述佩戴身体状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息。
在一些实施例中,所述信息采集装置还用于采集外界环境数据,所述信息处理装置还用于对所述外界环境数据进行所述数据处理,获取佩戴环境状况数据,判断所述佩戴环境状况数据得到对应的佩戴指导数据,所述数据处理至少包括:利用第二预设深度神经网络模型对所述外界环境数据进行分类识别,得到所述佩戴环境状况数据,所述第二预设深度神经网络模型是利用所述自身特征样本数据、外界环境样本数据、所述自身特征样本数据的佩戴身体状况标签数据、所述外界环境样本数据的佩戴环境状况标签数据训练得到的,所述AR眼镜显示模组还用于显示所述佩戴环境状况数据及其对应佩戴指导数据,所述佩戴环境状况数据至少包括佩戴环境状况不佳数据,所述佩戴环境状况数据对应的佩戴指导数据至少包括所述停止佩戴提示信息或所述佩戴调整提示信息。
在一些实施例中,所述自身特征数据至少包括生物状态数据,所述生物状态数据包括以下组中的至少一个:心跳数据、血压数据、体温数据、血浓度数据、血糖数据、呼吸数据、体表特征数据,所述体表特征数据至少包括面部状态数据;所述外界环境数据包括环境温度数据、环境湿度数据、环境含氧量数据、环境碳浓度数据中的至少一个。
在一些实施例中,所述AR眼镜显示模组连接有穿戴装置,所述穿戴装置包括穿戴本体及与人体头部相适配的支撑支架,所述信息采集装置包括至少一个传感器,至少一个所述传感器设置于所述支撑支架传感区域内。
在一些实施例中,至少一个所述传感器置于所述支撑支架传感区域内太阳穴对应设定区域。
在一些实施例中,所述信息处理装置利用第三预设深度神经网络模型对所述自身特征数据和所述外界环境数据进行分类识别,获取包括所述佩戴身体状况数据及其对应佩戴指导数据、所述佩戴环境状况数据及其对应佩戴指导数据的识别结果。
在一些实施例中,所述第三预设深度神经网络模型通过以下过程训练得到:获取所述自身特征样本数据、所述自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、所述外界环境样本数据、所述外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据;将所述自身特征样本数据、所述外界环境样本数据输入待训练模型,输出识别结果数据;根据所述识别结果数据、所述自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、所述外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据回调模型参数,并不断训练直至得到所述第三预设深度神经网络模型。
在一些实施例中,还包括警告装置和数据同步上传装置中的至少一个,所述警告装置用于根据所述佩戴身体状况数据及其对应佩戴指导数据、所述佩戴环境状况数据及其对应佩戴指导数据播报相应警示语音数据,所述数据同步上传装置用于将所述自身特征数据、所述外界环境数据、所述佩戴身体状况数据及其对应佩戴指导数据、所述佩戴环境状况数据及其对应佩戴指导数据中的至少一种同步上传至诊疗系统后端。
本申请实施例的另一方面提供了一种AR眼镜智能控制方法,包括:采集用户的自身特征数据;对所述自身特征数据进行数据处理,获取佩戴身体状况数据,判断所述佩戴身体状况数据得到对应的佩戴指导数据,所述数据处理至少包括:利用第一预设深度神经网络模型对所述自身特征数据进行分类识别,得到所述佩戴身体状况数据,所述第一预设深度神经网络模型是利用自身特征样本数据、所述自身特征样本数据的佩戴身体状况标签数据训练得到的;显示所述佩戴身体状况数据及其对应佩戴指导数据,所述佩戴身体状况数据至少包括佩戴身体状况不佳数据,所述佩戴身体状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息。
在一些实施例中,所述方法还包括:采集外界环境数据,对所述外界环境数据进行所述数据处理,获取佩戴环境状况数据,判断所述佩戴环境状况数据得到对应的佩戴指导数据,所述数据处理至少包括:利用第二预设深度神经网络模型对所述外界环境数据进行分类识别,得到所述佩戴环境状况数据,所述第二预设深度神经网络模型是利用所述自身特征样本数据、外界环境样本数据、所述自身特征样本数据的佩戴身体状况标签数据、所述外界环境样本数据的佩戴环境状况标签数据训练得到的,AR眼镜显示模组用于显示所述佩戴环境状况数据及其对应佩戴指导数据,所述佩戴环境状况数据至少包括佩戴环境状况不佳数据,所述佩戴环境状况数据对应的佩戴指导数据至少包括所述停止佩戴提示信息或所述佩戴调整提示信息。
本申请实施例提供的AR眼镜智能控制系统及方法,实现了用户在AR眼镜佩戴时根据佩戴状况监测、分析处理后的数据实时显示告知用户,使得用户可以据此进行相应调整或知悉佩戴状况,避免AR眼镜佩戴造成的身体不适等情况,提高了用户实时获取佩戴状态信息的便利性和效率,较大程度提高了用户的佩戴体验。
附图说明
本说明书将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本说明书一些实施例所示的AR眼镜智能控制系统100的应用场景示意图;
图2是根据本说明书一些实施例所示的AR眼镜智能控制系统100的示例性组成结构图;
图3是根据本说明书一些实施例所示的AR眼镜智能控制方法200的示例性流程图;
图4是根据本说明书另一些实施例所示的AR眼镜智能控制方法200的示例性流程图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本说明书的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
图1是根据本说明书一些实施例所示的AR眼镜智能控制系统100的应用场景示意图。在该应用场景下,用户在AR眼镜佩戴使用时,可以通过AR眼镜智能控制系统100方便获知反映当前佩戴状况的相关数据,而无需穿脱AR眼镜然后借助其他检测仪器或费时费力的其他检测流程来获知,满足了用户及时获知佩戴状况的高阶需求,极强便利性,从而极大提高了用户体验。
AR眼镜智能控制系统100主要包括信息采集装置110、信息处理装置120和AR眼镜显示模组130。
在一些实施例中,AR眼镜显示模组130连接有穿戴装置(或称作穿戴设备)150,穿戴装置150包括穿戴本体150-1及与人体头部相适配的支撑支架(或称作支撑骨架)150-2。
信息采集装置110,用于采集反映用户当前佩戴状况的特征数据,例如反映较为直接的自身特征数据。在一些实施例中,除了自身特征数据外,还可以包括与佩戴状况相关的外界环境数据和/或其他特征数据。通过增加外界环境数据监测分析,结合自身特征数据使得生成的佩戴状况告知、佩戴指导更精准,进一步提高用户佩戴体验。
在一些实施例中,自身特征数据包括生物状态数据,生物状态数据包括:心跳数据、血压数据、体温数据、血浓度数据、血糖数据、呼吸数据、体表特征数据,其中,体表特征数据包括面部状态(例如面部颜色等)数据。在一些实施例中,生物状态数据还可以包括除上述表征生物状态的其他可能数据。在一些实施例中,生物状态数据可以包括上述生物状态数据中的一种或几种。在一些实施例中,自身特征数据除包含生物状态数据外,还可以包括用户身体行为(例如眼球运动等)数据或其他任何可能维度的自身特征数据。
在一些实施例中,外界环境数据可以包括环境温度数据、环境湿度数据、环境含氧量数据、环境碳浓度数据。在一些实施例中,外界环境数据也可以包括环境温度数据、环境湿度数据、环境含氧量数据、环境碳浓度数据之外的其他任何可能表征环境状况的数据,如环境污染颗粒度等。在一些实施例中,外界环境的范围可以限定在AR眼镜的穿戴装置150的容置空间一定体积范围,该体积范围可以根据具体穿戴装置150结构的不同及实际需要进行相应设定。在一些实施例中,外界环境的范围也可以设定为包括AR眼镜的穿戴装置150在内的更广范围区域,该范围区域可以根据实际需要进行相应设置。
通过用户身体状态多维度数据监测及关键环境数据监测,涵盖反映AR眼镜佩戴状况的主要指标,提高智能指导佩戴效率。
在一些实施例中,信息采集装置110的数量为至少一个,优选地数量为多个。在一些实施例中,信息采集装置110可以采用一个或多个传感器,例如,利用一种或多种生物传感器获取自身特征数据,利用一种或多种环境传感器获取外界环境数据,例如可以采用血压传感器获取用户血压数据、通过温度传感器获取用户体温数据或外界环境温度数据,采用血氧浓度侦测仪获取用户血浓度数据,等等。通过采用传感器感测采集信息数据,实现高效精准的实时监测。
在一些实施例中,信息采集装置110也可以采用上述传感器之外的其他任何可能检测仪器或设备,例如,可以采用电子诊断装置、血糖仪、心率监测器、摄像装置、眼睛跟踪装置等等。
在一些实施例中,信息采集装置110设置于穿戴装置150的支撑支架150-2传感区域140内。在一些实施例中,可以在支撑支架150-2的两个侧面均设置传感区域140。在一些实施例中,传感区域140可以根据设备实验统计或其他可能技术手段设定能够覆盖与大多数用户太阳穴穴位对应的太阳穴对应设定区域,以便更精准的获取自身特征数据且佩戴舒适。在一些实施例中,传感区域140也可以根据设备实验统计或其他可能技术手段设定能够覆盖与大多数用户耳垂位置对应的耳垂对应设定区域,以便更精准的获取自身特征数据且佩戴舒适。
在一些实施例中,信息采集装置110也可设置于非穿戴装置150上的其他适当位置,以便更好地获取自身特征数据或外界环境数据,例如信息采集装置110可以设置于用户手指、手腕或身体其他部位以针对地获取生物状态数据,信息采集装置110可以设置于穿戴本体150-1内以便更好地获取穿戴装置150容置空间内的外界环境数据,等等。
信息处理装置120用于对获取的自身特征数据进行数据处理,数据处理至少包括:利用第一预设深度神经网络模型分别对自身特征数据进行分类识别,从而获取佩戴身体状况数据,然后判断佩戴身体状况数据得到其对应的佩戴指导数据。
在一些实施例中,信息处理装置120还用于对获取的自身特征数据进行数据处理,数据处理至少包括:利用第二预设深度神经网络模型对自身特征数据和外界环境数据进行分类识别,从而获取佩戴身体状况数据和佩戴环境状况数据,然后判断佩戴身体状况数据得到其对应的佩戴指导数据,判断佩戴环境状况数据得到其对应的佩戴指导数据。
在一些实施例中,将包含多个生物状态数据(例如,心跳数据、血压数据、体温数据)的自身特征数据输入第一预设深度神经网络模型进行分类计算,输出佩戴身体状况(例如,佩戴身体状况良好或佩戴身体状况不佳)数据的分类识别结果。第一预设深度神经网络模型计算原理可以设置为:根据预设佩戴身体状况等级(例如,当自身特征数据的所有生物状态数据符合预设合格阈值时,佩戴身体状况等级可以对应确定为良好,等等)对输入的自身特征数据进行学习,识别出相应佩戴身体状况等级的结果。
在一些实施例中,数据处理中采用的第一预设深度神经网络模型、第二预设深度神经网络模型,根据数据处理的实际需要,可以是以下技术手段的一种或几种组合:决策树算法、朴素贝叶斯算法、支持向量机算法、随机森林算法、人工神经网络算法、回归分析算法、关联规则算法、期望最大化算法、深度学习。
佩戴身体状况数据是指根据对用户的自身特征数据分析处理后得到的、能反映用户当前佩戴身体状况信息的数据。在一些实施例中,佩戴身体状况数据可以是佩戴身体状况不佳数据,即至少能够识别出大范围内的佩戴身体状况不佳数据。在一些实施例中,佩戴身体状况数据可以是佩戴身体状况欠佳数据、佩戴身体状况较差数据、佩戴身体状况良好数据,这里可以对佩戴身体状况不佳数据进一步进行等级细分,可分为佩戴身体状况欠佳数据、佩戴身体状况较差数据,同时还能识别出佩戴身体状况良好数据。在一些实施例中,可以根据自身特征数据(尤其是生物状态数据)各项指标的合格范围确定佩戴身体状况欠佳数据、佩戴身体状况良好数据、佩戴身体状况较差数据的相应阈值范围,例如当获取的血压数据在90/60 mmHg至120/80 mmHg范围之间,经过数据处理可以得到佩戴身体状况良好数据的结果;而当获取的血压数据低于90/60 mmHg范围或高于120/80 mmHg时,经过数据处理可以得到佩戴身体状况欠佳数据或佩戴身体状况较差数据的结果。需要说明的是,这里的,90/60 mmHg至120/80 mmHg范围、低于90/60 mmHg范围、高于120/80 mmHg仅仅是示例性的,自身特征数据中各项指标的合格范围可以根据具体实施应用场景需要进行相应设定,本申请实施例不对其特别限定。
佩戴身体状况数据对应的佩戴指导数据是指,根据具体的佩戴身体状况数据发出的指导性佩戴意见的佩戴指导信息数据。在一些实施例中,可以预先创建佩戴身体状况数据与其对应佩戴指导信息数据的映射关系表,例如,映射关系表包含:佩戴身体状况较差数据与停止佩戴提示信息的对应关系、佩戴身体状况欠佳数据与佩戴调整提示信息的对应关系,等等。在一些实施例中,佩戴身体状况数据对应的佩戴指导数据可以是停止佩戴提示信息或佩戴调整提示信息(例如,当监测到用户眼球转动速率较慢或眨眼次数超过预设阈值时,可以触发“用户可以通过闭眼休息进行调整”的佩戴调整提示信息),以便根据实时监测到用户佩戴身体状况不佳时,及时提示用户做出有效调整,满足用户更高层次的佩戴需求,提高用户佩戴体验。
佩戴环境状况数据是指根据对用户佩戴时所处外界环境的外界环境数据分析处理后得到的、能反映用户当前佩戴环境状况信息的数据。在一些实施例中,佩戴环境状况数据可以是佩戴环境状况不佳数据。在一些实施例中,佩戴环境状况数据可以是佩戴环境状况欠佳数据、佩戴环境状况良好数据、佩戴环境状况较差数据。在一些实施例中,可以根据外界环境数据各项指标的合格范围确定佩戴环境状况欠佳数据、佩戴环境状况良好数据、佩戴环境状况较差数据的相应阈值范围,例如,当外界环境数据中的环境含氧量数据过低或环境温度过高时,经过数据处理可以得到佩戴环境状况欠佳数据或佩戴环境状况较差的结果。佩戴环境状况数据对应的佩戴指导数据是指,根据具体的佩戴环境状况数据发出的指导性佩戴意见的佩戴指导信息数据。在一些实施例中,佩戴环境状况数据对应的佩戴指导数据可以是停止佩戴提示信息或佩戴调整提示信息(例如,当监测到环境温度或环境含氧量低于预设最低限阈值时,可以触发“用户请停止佩戴进行调整”的停止佩戴提示信息),以便根据实时监测到佩戴环境状况不佳时,及时提示用户做出有效调整,满足用户更高层次的佩戴需求,提高用户佩戴体验。
在一些实施例中,信息处理装置120利用第三预设深度神经网络模型对自身特征数据和外界环境数据进行分类识别,直接获取包括佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据的识别结果。通过利用特定的神经网络模型进行大数据学习处理,获得结果数据效率更高、更能达到预期数据处理效果。
上述第一预设深度神经网络模型、第二预设深度神经网络模型、第三预设深度神经网络模型具体可以采用CNN神经网络、BPTT神经网络、RTRL神经网络、LSTM神经网络、RBM神经网络、HTM神经网络或其他任何可能的神经网络模型基础上适应性设计得到。
在一些实施例中,第一预设深度神经网络模型通过以下过程训练得到:
获取自身特征样本数据及其佩戴身体状况标签数据;
将自身特征样本数据输入待训练模型,输出识别结果数据;
根据识别结果数据、佩戴身体状况标签数据回调模型参数,并不断训练直至得到第一预设深度神经网络模型,使得第一预设深度神经网络模型达到预期的识别精度。
经过上述第一预设深度神经网络模型识别计算得到佩戴身体状况数据之后,根据佩戴身体状况与其对应佩戴指导数据的预设映射关系,确定对应的佩戴指导数据。在一些实施例中,第二预设深度神经网络模型通过以下过程训练得到:
获取自身特征样本数据及其佩戴身体状况标签数据、外界环境样本数据及其佩戴环境状况标签数据;
将自身特征样本数据、外界环境样本数据输入待训练模型,输出识别结果数据;
根据识别结果数据、佩戴身体状况标签数据、佩戴环境状况标签数据回调模型参数,并不断训练直至得到第二预设深度神经网络模型,使得第二预设深度神经网络模型达到预期的识别精度。
经过上述第二预设深度神经网络模型识别计算得到佩戴身体状况数据、佩戴环境状况数据之后,根据佩戴身体状况与其对应佩戴指导数据、佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,确定各自对应的佩戴指导数据。
在一些实施例中,还可以通过第二预设深度神经网络模型识别计算得到佩戴身体状况数据、佩戴环境状况数据之后,生成佩戴身体状况与其对应佩戴指导数据、佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,根据佩戴身体状况与其对应佩戴指导数据、佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,确定各自对应的佩戴指导数据。
在一些实施例,第三预设深度神经网络模型通过以下过程训练得到:
获取自身特征样本数据、自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、外界环境样本数据、外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据;
将自身特征样本数据、外界环境样本数据输入待训练模型,输出识别结果数据;
根据识别结果数据、自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据回调模型参数,并不断训练直至得到第三预设深度神经网络模型,使得第三预设深度神经网络模型达到预期的识别精度。通过设置自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据,减少根据佩戴身体状况数据、佩戴环境状况数据的判断步骤,提高计算效率。
在一些实施例中,上述第一预设深度神经网络模型、第二预设深度神经网络模型、第三预设深度神经网络模型的待训练模型可以根据需要选用CNN神经网络、BPTT神经网络、RTRL神经网络、LSTM神经网络、RBM神经网络、HTM神经网络或其他任何可能的神经网络模型基础上适应性设计得到。
在一些实施例中,上述自身特征样本数据、外界环境样本数据可以从历史记录业务数据或现有样本数据库获取。
在一些实施例中,信息处理装置120可以设置在穿戴本体150-1上。在一些实施例中,信息处理装置120可以设置在穿戴装置150或AR眼镜显示模组130以外的位置。在一些实施例中,信息处理装置120可以采用中央处理器、服务器、终端设备或其他任何可能的处理设备来实现。仅作为示例,上述中央处理器、云端服务器或其他处理设备包括中央处理单元(CPU)、专用集成电路(ASIC)、专用应用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等,或其任意组合。
在一些实施例中,上述中央处理器、服务器、终端设备或其他处理设备可以在云平台上实施。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中,上述中央处理器、服务器或其他处理设备可以与各种终端设备互联,终端设备可以完成信息处理工作或部分信息处理工作,起到分摊成本的作用。
在一些实施例中,信息处理装置120还包括存储设备(图中为未示出)。存储设备可以储存数据和/或指令。例如,可以存储自身特征数据、外界环境数据、佩戴身体状况数据及其对应的佩戴指导数据、佩戴环境状况数据及其对应的佩戴指导数据、自身特征样本数据、外界环境样本数据。在一些实施例中,存储设备可以存储上述中央处理器、服务器、终端设备或其他处理设备可以执行的数据和/或指令,中央处理器、服务器、终端设备或其他处理设备可以通过执行或使用所述数据和/或指令以实现本申请描述的示例性流程。在一些实施例中,存储设备可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(RAM)。示例性RAM可包括动态随机存取存储器(DRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性只读存储器可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(PEROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。在一些实施例中,存储设备可在云平台上实现。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
AR眼镜显示模组130,也即AR眼镜的显像光机组或光学显示模组,作为AR眼镜的核心元件,用于将特定内容显示给用户。AR眼镜显示模组130用于显示佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据,其中,佩戴身体状况数据至少包括佩戴身体状况不佳数据,佩戴环境状况数据至少包括佩戴环境状况不佳数据,佩戴身体状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息,佩戴环境状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息。AR眼镜显示模组130可以采用现有技术中任何可能的结构形式或光学技术原理实现其功能,本申请实施例不对其特别限定。
在一些实施例中,AR眼镜显示模组130可以仅显示佩戴身体状况数据对应的佩戴指导数据或佩戴环境状况对应的佩戴指导数据。
在一些实施例中,AR眼镜智能控制系统100还可以包括警告装置(图中未示出)和数据同步上传装置(图中未示出)。
警告装置用于根据佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据播报相应警示语音数据,以便进一步提高告知用户当前佩戴状态的便利性及形式多样性。
数据同步上传装置用于将自身特征数据述外界环境数据、所述佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据中的至少一种同步上传至诊疗系统后端,以便于采集数据作为诊疗依据,进一步拓展了根据AR眼镜佩戴状况进行佩戴指导的多元功能应用和用户服务范围,无论语音提示用户还是同步上传诊疗后台供诊疗进行数据参考,都进一步提高了用户体验。
本申请实施例提供的AR眼镜智能控制系统,实现了用户在AR眼镜佩戴时根据佩戴状况监测、分析处理后的数据实时显示告知用户,使得用户可以据此进行相应调整或知悉佩戴状况,避免AR眼镜佩戴造成的身体不适等情况,提高了用户实时获取佩戴状态信息的便利性和效率,较大程度提高了用户的佩戴体验。
图2是根据本说明书一些实施例所示的AR眼镜智能控制系统100的示例性组成结构图。
AR眼镜智能控制系统100主要包括信息采集装置110、信息处理装置120和AR眼镜显示模组130。
在一些实施例中,AR眼镜显示模组130连接有穿戴装置(或称作穿戴设备),穿戴装置可以包括穿戴本体及与人体头部相适配的支撑支架(或称作支撑骨架)。
信息采集装置110,用于采集反映用户当前佩戴状况的特征数据,例如反映较为直接的自身特征数据。在一些实施例中,除了自身特征数据外,还可以包括与佩戴状况相关的外界环境数据和/或其他特征数据。通过增加外界环境数据监测分析,结合自身特征数据使得生成的佩戴状况告知、佩戴指导更精准,进一步提高用户佩戴体验。
在一些实施例中,自身特征数据包括生物状态数据,生物状态数据包括:心跳数据、血压数据、体温数据、血浓度数据、血糖数据、呼吸数据、体表特征数据,其中,体表特征数据包括面部状态(例如面部颜色等)数据。在一些实施例中,生物状态数据还可以包括除上述表征生物状态的其他可能数据。在一些实施例中,生物状态数据可以包括上述生物状态数据中的一种或几种。在一些实施例中,自身特征数据除包含生物状态数据外,还可以包括用户身体行为(例如眼球运动等)数据或其他任何可能维度的自身特征数据。
在一些实施例中,外界环境数据可以包括环境温度数据、环境湿度数据、环境含氧量数据、环境碳浓度数据。在一些实施例中,外界环境数据也可以包括环境温度数据、环境湿度数据、环境含氧量数据、环境碳浓度数据之外的其他任何可能表征环境状况的数据,如环境污染颗粒度等。在一些实施例中,外界环境的范围可以限定在AR眼镜的穿戴装置的容置空间一定体积范围,该体积范围可以根据具体穿戴装置结构的不同及实际需要进行相应设定。在一些实施例中,外界环境的范围也可以设定为包括AR眼镜的穿戴装置在内的更广范围区域,该范围区域可以根据实际需要进行相应设置。
通过用户身体状态多维度数据监测及关键环境数据监测,涵盖反映AR眼镜佩戴状况的主要指标,提高智能指导佩戴效率。
在一些实施例中,信息采集装置110的数量为至少一个,优选地数量为多个。在一些实施例中,信息采集装置110可以采用一个或多个传感器,例如,利用一种或多种生物传感器获取自身特征数据,利用一种或多种环境传感器获取外界环境数据,例如可以采用血压传感器获取用户血压数据、通过湿度传感器获取外界环境湿度数据,采用血氧浓度侦测仪获取用户血浓度数据,等等。通过采用传感器感测采集信息数据,实现高效精准的实时监测。
在一些实施例中,信息采集装置110也可以采用上述传感器之外的其他任何可能检测仪器或设备,例如,可以采用电子诊断装置、血糖仪、温度计、心率监测器、摄像装置、眼睛跟踪装置等等。
在一些实施例中,信息采集装置110设置于穿戴装置的支撑支架传感区域内。在一些实施例中,可以在支撑支架的两个侧面均设置传感区域。在一些实施例中,传感区域可以根据设备实验统计或其他可能技术手段设定能够覆盖与大多数用户太阳穴穴位对应的太阳穴对应设定区域,以便更精准的获取自身特征数据且佩戴舒适。在一些实施例中,传感区域也可以根据设备实验统计或其他可能技术手段设定能够覆盖与大多数用户耳垂位置对应的耳垂对应设定区域,以便更精准的获取自身特征数据且佩戴舒适。
在一些实施例中,信息采集装置110也可设置于非穿戴装置上的其他适当位置,以便更好地获取自身特征数据或外界环境数据,例如信息采集装置110可以设置于用户手指、手腕或身体其他部位以针对地获取生物状态数据,信息采集装置110可以设置于穿戴本体内以便更好地获取穿戴装置容置空间内的外界环境数据,等等。
信息处理装置120用于对获取的自身特征数据进行数据处理,数据处理至少包括:利用第一预设深度神经网络模型分别对自身特征数据进行分类识别,从而获取佩戴身体状况数据,然后判断佩戴身体状况数据得到其对应的佩戴指导数据。
在一些实施例中,信息处理装置120还用于对获取的自身特征数据进行数据处理,数据处理至少包括:利用第二预设深度神经网络模型对自身特征数据和外界环境数据进行分类识别,从而获取佩戴身体状况数据和佩戴环境状况数据,然后判断佩戴身体状况数据得到其对应的佩戴指导数据,判断佩戴环境状况数据得到其对应的佩戴指导数据。
在一些实施例中,将包含多个生物状态数据(例如,心跳数据、血压数据、体温数据)的自身特征数据输入第一预设深度神经网络模型进行分类计算,输出佩戴身体状况(例如,佩戴身体状况良好或佩戴身体状况不佳)数据的分类识别结果。第一预设深度神经网络模型计算原理可以设置为:根据预设佩戴身体状况等级(例如,当自身特征数据的所有生物状态数据符合预设合格阈值时,佩戴身体状况等级可以对应确定为良好,等等)对输入的自身特征数据进行学习,识别出相应佩戴身体状况等级的结果。
在一些实施例中,数据处理中采用的第一预设深度神经网络模型、第二预设深度神经网络模型,根据数据处理的实际需要,可以是以下技术手段的一种或几种组合:决策树算法、朴素贝叶斯算法、支持向量机算法、随机森林算法、人工神经网络算法、回归分析算法、关联规则算法、期望最大化算法、深度学习。
佩戴身体状况数据是指根据对用户的自身特征数据分析处理后得到的、能反映用户当前佩戴身体状况信息的数据。在一些实施例中,佩戴身体状况数据可以是佩戴身体状况不佳数据,即至少能够识别出大范围内的佩戴身体状况不佳数据。在一些实施例中,佩戴身体状况数据可以是佩戴身体状况欠佳数据、佩戴身体状况较差数据、佩戴身体状况良好数据,这里可以对佩戴身体状况不佳数据进一步进行等级细分,可分为佩戴身体状况欠佳数据、佩戴身体状况较差数据,同时还能识别出佩戴身体状况良好数据。在一些实施例中,可以根据自身特征数据(尤其是生物状态数据)各项指标的合格范围确定佩戴身体状况欠佳数据、佩戴身体状况良好数据、佩戴身体状况较差数据的相应阈值范围,例如当获取的心跳数据(心脏的跳动频次)在60-100次/分钟的范围之间,经过数据处理可以得到佩戴身体状况良好数据的结果;而当获取的心跳数据低于60次/分钟范围或高于100次/分钟时,经过数据处理可以得到佩戴身体状况欠佳数据或佩戴身体状况较差数据的结果。需要说明的是,这里的,60-100次/分钟范围、低于60次/分钟范围、高于100次/分钟仅仅是示例性的,自身特征数据中各项指标的合格范围可以根据具体实施应用场景需要进行相应设定,本申请实施例不对其特别限定。
佩戴身体状况数据对应的佩戴指导数据是指,根据具体的佩戴身体状况数据发出的指导性佩戴意见的佩戴指导信息数据。在一些实施例中,可以预先创建佩戴身体状况数据与其对应佩戴指导信息数据的映射关系表,例如,映射关系表包含:佩戴身体状况较差数据与停止佩戴提示信息的对应关系、佩戴身体状况欠佳数据与佩戴调整提示信息的对应关系,等等。在一些实施例中,佩戴身体状况数据对应的佩戴指导数据可以是停止佩戴提示信息或佩戴调整提示信息(例如,当监测到用户眼球转动速率较慢或眨眼次数超过预设阈值时,可以触发“用户可以通过闭眼休息进行调整”的佩戴调整提示信息),以便根据实时监测到用户佩戴身体状况不佳时,及时提示用户做出有效调整,满足用户更高层次的佩戴需求,提高用户佩戴体验。
佩戴环境状况数据是指根据对用户佩戴时所处外界环境的外界环境数据分析处理后得到的、能反映用户当前佩戴环境状况信息的数据。在一些实施例中,佩戴环境状况数据可以是佩戴环境状况不佳数据。在一些实施例中,佩戴环境状况数据可以是佩戴环境状况欠佳数据、佩戴环境状况良好数据、佩戴环境状况较差数据。在一些实施例中,可以根据外界环境数据各项指标的合格范围确定佩戴环境状况欠佳数据、佩戴环境状况良好数据、佩戴环境状况较差数据的相应阈值范围,例如,当外界环境数据中的环境含氧量数据过低或环境温度过高时,经过数据处理可以得到佩戴环境状况欠佳数据或佩戴环境状况较差的结果。佩戴环境状况数据对应的佩戴指导数据是指,根据具体的佩戴环境状况数据发出的指导性佩戴意见的佩戴指导信息数据。在一些实施例中,佩戴环境状况数据对应的佩戴指导数据可以是停止佩戴提示信息或佩戴调整提示信息(例如,当监测到环境温度或环境含氧量低于预设最低限阈值时,可以触发“用户请停止佩戴进行调整”的停止佩戴提示信息),以便根据实时监测到佩戴环境状况不佳时,及时提示用户做出有效调整,满足用户更高层次的佩戴需求,提高用户佩戴体验。
在一些实施例中,信息处理装置120利用第三预设深度神经网络模型对自身特征数据和外界环境数据进行分类识别,直接获取包括佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据的识别结果。通过利用特定的神经网络模型进行大数据学习处理,获得结果数据效率更高、更能达到预期数据处理效果。
上述第一预设深度神经网络模型、第二预设深度神经网络模型、第三预设深度神经网络模型具体可以采用CNN神经网络、BPTT神经网络、RTRL神经网络、LSTM神经网络、RBM神经网络、HTM神经网络或其他任何可能的神经网络模型基础上办适应性设计得到。
在一些实施例中,第一预设深度神经网络模型通过以下过程训练得到:
获取自身特征样本数据及其佩戴身体状况标签数据;
将自身特征样本数据输入待训练模型,输出识别结果数据;
根据识别结果数据、佩戴身体状况标签数据回调模型参数,并不断训练直至得到第一预设深度神经网络模型,使得第一预设深度神经网络模型达到预期的识别精度。
经过上述第一预设深度神经网络模型识别计算得到佩戴身体状况数据之后,根据佩戴身体状况与其对应佩戴指导数据的预设映射关系,确定对应的佩戴指导数据。
在一些实施例中,第二预设深度神经网络模型通过以下过程训练得到:
获取自身特征样本数据及其佩戴身体状况标签数据、外界环境样本数据及其佩戴环境状况标签数据;
将自身特征样本数据、外界环境样本数据输入待训练模型,输出识别结果数据;
根据识别结果数据、佩戴身体状况标签数据、佩戴环境状况标签数据回调模型参数,并不断训练直至得到第二预设深度神经网络模型,使得第二预设深度神经网络模型达到预期的识别精度。
经过上述第二预设深度神经网络模型识别计算得到佩戴身体状况数据、佩戴环境状况数据之后,根据佩戴身体状况与其对应佩戴指导数据、佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,确定各自对应的佩戴指导数据。
在一些实施例中,还可以通过第二预设深度神经网络模型识别计算得到佩戴身体状况数据、佩戴环境状况数据之后,生成佩戴身体状况与其对应佩戴指导数据、佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,根据佩戴身体状况与其对应佩戴指导数据、佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,确定各自对应的佩戴指导数据。
在一些实施例中,第三预设深度神经网络模型通过以下过程训练得到:
获取自身特征样本数据、自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、外界环境样本数据、外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据;
将自身特征样本数据、外界环境样本数据输入待训练模型,输出识别结果数据;
根据识别结果数据、自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据回调模型参数,并不断训练直至得到第三预设深度神经网络模型,使得第三预设深度神经网络模型达到预期的识别精度。根据AR眼镜佩戴场景特定样本数据及标签数据进行模型训练获取计算模型,数据处理的适应性和准确性更高。
在一些实施例中,上述第一预设深度神经网络模型、第二预设深度神经网络模型、第三预设深度神经网络模型的待训练模型可以根据需要选用CNN神经网络、BPTT神经网络、RTRL神经网络、LSTM神经网络、RBM神经网络、HTM神经网络或其他任何可能的神经网络模型基础上适应性设计得到。
在一些实施例中,上述自身特征样本数据、外界环境样本数据可以从历史记录业务数据或现有样本数据库获取。
在一些实施例中,信息处理装置120可以设置在穿戴本体上。在一些实施例中,信息处理装置120可以设置在穿戴装置或AR眼镜显示模组130以外的位置。在一些实施例中,信息处理装置120可以采用中央处理器、服务器、终端设备或其他任何可能的处理设备来实现。仅作为示例,上述中央处理器、云端服务器或其他处理设备包括中央处理单元(CPU)、专用集成电路(ASIC)、专用应用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑设备(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等,或其任意组合。
在一些实施例中,上述中央处理器、服务器、终端设备或其他处理设备可以在云平台上实施。仅作为示例,所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中,上述中央处理器、服务器或其他处理设备可以与各种终端设备互联,终端设备可以完成信息处理工作或部分信息处理工作,起到分摊成本的作用。
在一些实施例中,信息处理装置120还包括存储设备。存储设备可以储存数据和/或指令。例如,可以存储自身特征数据、外界环境数据、佩戴身体状况数据及其对应的佩戴指导数据、佩戴环境状况数据及其对应的佩戴指导数据、自身特征样本数据、外界环境样本数据。在一些实施例中,存储设备可以存储上述中央处理器、服务器、终端设备或其他处理设备可以执行的数据和/或指令,中央处理器、服务器、终端设备或其他处理设备可以通过执行或使用所述数据和/或指令以实现本申请描述的示例性流程。在一些实施例中,存储设备可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、压缩盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(RAM)。示例性RAM可包括动态随机存取存储器(DRAM)、双倍数据速率同步动态随机存取存储器(DDRSDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性只读存储器可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(PEROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。在一些实施例中,存储设备可在云平台上实现。仅作为示例,云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
AR眼镜显示模组130,也即AR眼镜的显像光机组或光学显示模组,作为AR眼镜的核心元件,用于将特定内容显示给用户。AR眼镜显示模组130用于显示佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据,其中,佩戴身体状况数据至少包括佩戴身体状况不佳数据,佩戴环境状况数据至少包括佩戴环境状况不佳数据,佩戴身体状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息,佩戴环境状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息。AR眼镜显示模组130可以采用现有技术中任何可能的结构形式或光学技术原理实现其功能,本申请实施例不对其特别限定。
在一些实施例中,AR眼镜显示模组130可以仅显示佩戴身体状况数据对应的佩戴指导数据或佩戴环境状况对应的佩戴指导数据。
在一些实施例中,AR眼镜智能控制系统100还可以包括警告装置和数据同步上传装置。
警告装置用于根据佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据播报相应警示语音数据,以便进一步提高告知用户当前佩戴状态的便利性及形式多样性。
数据同步上传装置用于将自身特征数据述外界环境数据、所述佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据中的至少一种同步上传至诊疗系统后端,以便于采集数据作为诊疗依据,进一步拓展了根据AR眼镜佩戴状况进行佩戴指导的多元功能应用和用户服务范围,无论语音提示用户还是同步上传诊疗后台供诊疗进行数据参考,都进一步提高了用户体验。
本申请实施例提供的AR眼镜智能控制系统,实现了用户在AR眼镜佩戴时根据佩戴状况监测、分析处理后的数据实时显示告知用户,使得用户可以据此进行相应调整或知悉佩戴状况,避免AR眼镜佩戴造成的身体不适等情况,较大程度提高了用户的佩戴体验。
图3是根据本说明书一些实施例所示的AR眼镜智能控制方法200的示例性流程图。
步骤210,采集用户的自身特征数据;
步骤220,对自身特征数据进行数据处理,获取佩戴身体状况数据,判断佩戴身体状况数据得到对应的佩戴指导数据,数据处理至少包括:利用第一预设深度神经网络模型对自身特征数据进行分类识别,得到佩戴身体状况数据,第一预设深度神经网络模型是利用自身特征样本数据、自身特征样本数据的佩戴身体状况标签数据训练得到的;
步骤230,显示佩戴身体状况数据及其对应佩戴指导数据,佩戴身体状况数据至少包括佩戴身体状况不佳数据,佩戴身体状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息。
本申请实施例提供的AR眼镜智能控制方法,实现了用户在AR眼镜佩戴时根据佩戴状况监测、分析处理后的数据实时显示告知用户,使得用户可以据此进行相应调整或知悉佩戴状况,避免AR眼镜佩戴造成的身体不适等情况,较大程度提高了用户的佩戴体验。
图4是根据本说明书另一些实施例所示的AR眼镜智能控制方法200的示例性流程图。
步骤210',采集用户的自身特征数据和外界环境数据;
步骤220',对自身特征数据和外界环境数据进行数据处理,获取佩戴身体状况数据、佩戴环境状况数据,判断佩戴身体状况数据得到对应的佩戴指导数据,判断佩戴环境状况数据得到对应的佩戴指导数据,数据处理至少包括:利用第二预设深度神经网络模型对自身特征数据和外界环境数据进行分类识别,得到佩戴身体状况数据和佩戴环境状况数据,第二预设深度神经网络模型是利用自身特征样本数据、外界环境样本数据、自身特征样本数据的佩戴身体状况标签数据、外界环境样本数据的佩戴环境状况标签数据训练得到的;
步骤230',显示佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据,佩戴身体状况数据至少包括佩戴身体状况不佳数据,佩戴环境状况数据至少包括佩戴环境状况不佳数据,佩戴身体状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息,佩戴环境状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息。
通过增加外界环境数据监测分析,结合自身特征数据使得生成的佩戴状况告知、佩戴指导更精准,进一步提高用户佩戴体验。
在一些实施例中,上述AR眼镜智能控制方法200还可以包括以下步骤:
根据佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据播报相应警示语音数据;和/或,
将自身特征数据、外界环境数据、佩戴身体状况数据及其对应佩戴指导数据、佩戴环境状况数据及其对应佩戴指导数据中的至少一种同步上传至诊疗系统后端,以便于采集数据作为诊疗依据,进一步拓展了根据AR眼镜佩戴状况进行佩戴指导的多元功能应用和用户服务范围,无论语音提示用户还是同步上传诊疗后台供诊疗进行数据参考,都进一步提高了用户体验。
应当注意的是,上述AR眼镜智能控制方法200有关流程的描述仅仅是为了示例和说明,而不限定本说明书的适用范围。对于本领域技术人员来说,在本说明书的指导下可以对流程进行各种修正和改变。然而,这些修正和改变仍在本说明书的范围之内。
所属领域的技术人员可以清楚地了解到,本申请实施例提供的AR眼镜智能控制方法与AR眼镜智能控制系统属于同一发明构思,为描述的方便和简洁,上述描述的方法的具体工作过程,可以参考系统实施例中的对应细节描述,本申请中不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,所述功能模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本说明书的限定。虽然此处并没有明确说明,本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议,所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
同时,本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外,除非权利要求中明确说明,本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用,并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例,但应当理解的是,该类细节仅起到说明的目的,附加的权利要求并不仅限于披露的实施例,相反,权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如,虽然以上所描述的系统组件可以通过硬件设备实现,但是也可以只通过软件的解决方案得以实现,如在现有的服务器或移动设备上安装所描述的系统。
同理,应当注意的是,为了简化本说明书披露的表述,从而帮助对一个或多个发明实施例的理解,前文对本申请实施例的描述中,有时会将多种特征归并至一个实施例、附图或对其的描述中。但是,这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上,实施例的特征要少于上述披露的单个实施例的全部特征。
一些实施例中使用了描述成分、属性数量的数字,应当理解的是,此类用于实施例描述的数字,在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明,“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地,在一些实施例中,说明书和权利要求中使用的数值参数均为近似值,该近似值根据个别实施例所需特点可以发生改变。在一些实施例中,数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值,在具体实施例中,此类数值的设定在可行范围内尽可能精确。
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料,如文章、书籍、说明书、出版物、文档等,特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外,对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是,如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方,以本说明书的描述、定义和/或术语的使用为准。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
最后,应当理解的是,本说明书中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本说明书的范围。因此,作为示例而非限制,本申请实施例的替代配置可视为与本说明书的教导一致。相应地,本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (8)

1.一种AR眼镜智能控制系统,其特征在于,包括:
信息采集装置,用于采集用户的自身特征数据和外界环境数据;
信息处理装置,用于对所述自身特征数据和所述外界环境数据进行数据处理,获取佩戴身体状况数据和佩戴环境状况数据,判断所述佩戴身体状况数据得到对应的佩戴指导数据,判断所述佩戴环境状况数据得到对应的佩戴指导数据,所述数据处理至少包括:利用第一预设深度神经网络模型对所述自身特征数据进行分类识别,得到所述佩戴身体状况数据,所述第一预设深度神经网络模型是利用自身特征样本数据、所述自身特征样本数据的佩戴身体状况标签数据训练得到的;利用第二预设深度神经网络模型对所述外界环境数据进行分类识别,得到所述佩戴环境状况数据,所述第二预设深度神经网络模型是利用所述自身特征样本数据、外界环境样本数据、所述自身特征样本数据的佩戴身体状况标签数据、所述外界环境样本数据的佩戴环境状况标签数据训练得到的;所述自身特征样本数据、所述外界环境样本数据是从历史记录业务数据或现有样本数据库获取的;
所述信息处理装置还用于:利用第三预设深度神经网络模型对所述自身特征数据和所述外界环境数据进行分类识别,获取包括所述佩戴身体状况数据及其对应佩戴指导数据、所述佩戴环境状况数据及其对应佩戴指导数据的识别结果;所述第三预设深度神经网络模型通过以下过程训练得到:获取所述自身特征样本数据、所述自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、所述外界环境样本数据、所述外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据;将所述自身特征样本数据、所述外界环境样本数据输入待训练模型,输出识别结果数据;根据所述识别结果数据、所述自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、所述外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据回调模型参数,并不断训练直至得到所述第三预设深度神经网络模型;
所述信息处理装置还用于:生成所述佩戴身体状况及其对应佩戴指导数据、所述佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,根据所述佩戴身体状况与其对应佩戴指导数据、所述佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,确定各自对应的佩戴指导数据;
AR眼镜显示模组,用于显示所述佩戴身体状况数据及其对应佩戴指导数据,所述佩戴身体状况数据至少包括佩戴身体状况不佳数据,所述佩戴身体状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息;所述AR眼镜显示模组还用于显示所述佩戴环境状况数据及其对应佩戴指导数据;
数据同步上传装置,所述数据同步上传装置用于将所述自身特征数据、所述外界环境数据、所述佩戴身体状况数据及其对应佩戴指导数据、所述佩戴环境状况数据及其对应佩戴指导数据中的至少一种同步上传至诊疗系统后端。
2.根据权利要求1所述的AR眼镜智能控制系统,其特征在于,所述佩戴环境状况数据至少包括佩戴环境状况不佳数据,所述佩戴环境状况数据对应的佩戴指导数据至少包括所述停止佩戴提示信息或所述佩戴调整提示信息。
3.根据权利要求2所述的AR眼镜智能控制系统,其特征在于,所述自身特征数据至少包括生物状态数据,所述生物状态数据包括以下组中的至少一个:心跳数据、血压数据、体温数据、血浓度数据、血糖数据、呼吸数据、体表特征数据,所述体表特征数据至少包括面部状态数据;所述外界环境数据包括环境温度数据、环境湿度数据、环境含氧量数据、环境碳浓度数据中的至少一个。
4.根据权利要求2或3所述的AR眼镜智能控制系统,其特征在于,所述AR眼镜显示模组连接有穿戴装置,所述穿戴装置包括穿戴本体及与人体头部相适配的支撑支架,所述信息采集装置包括至少一个传感器,至少一个所述传感器设置于所述支撑支架传感区域内。
5.根据权利要求4所述的AR眼镜智能控制系统,其特征在于,至少一个所述传感器置于所述支撑支架传感区域内太阳穴对应设定区域。
6.根据权利要求2或3所述的AR眼镜智能控制系统,其特征在于,还包括警告装置,所述警告装置用于根据所述佩戴身体状况数据及其对应佩戴指导数据、所述佩戴环境状况数据及其对应佩戴指导数据播报相应警示语音数据。
7.一种AR眼镜智能控制方法,其特征在于,包括:
采集用户的自身特征数据和外界环境数据;
对所述自身特征数据和所述外界环境数据进行数据处理,获取佩戴身体状况数据和佩戴环境状况数据,判断所述佩戴身体状况数据得到对应的佩戴指导数据,判断所述佩戴环境状况数据得到对应的佩戴指导数据,所述数据处理至少包括:利用第一预设深度神经网络模型对所述自身特征数据进行分类识别,得到所述佩戴身体状况数据,所述第一预设深度神经网络模型是利用自身特征样本数据、所述自身特征样本数据的佩戴身体状况标签数据训练得到的;利用第二预设深度神经网络模型对所述外界环境数据进行分类识别,得到所述佩戴环境状况数据,所述第二预设深度神经网络模型是利用所述自身特征样本数据、外界环境样本数据、所述自身特征样本数据的佩戴身体状况标签数据、所述外界环境样本数据的佩戴环境状况标签数据训练得到的;所述自身特征样本数据、所述外界环境样本数据是从历史记录业务数据或现有样本数据库获取的;
利用第三预设深度神经网络模型对所述自身特征数据和所述外界环境数据进行分类识别,获取包括所述佩戴身体状况数据及其对应佩戴指导数据、所述佩戴环境状况数据及其对应佩戴指导数据的识别结果;所述第三预设深度神经网络模型通过以下过程训练得到:获取所述自身特征样本数据、所述自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、所述外界环境样本数据、所述外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据;将所述自身特征样本数据、所述外界环境样本数据输入待训练模型,输出识别结果数据;根据所述识别结果数据、所述自身特征样本数据的佩戴身体状况数据及其对应佩戴指导数据标签样本数据、所述外界环境样本数据的佩戴环境状况数据及其对应佩戴指导数据标签样本数据回调模型参数,并不断训练直至得到所述第三预设深度神经网络模型;
生成所述佩戴身体状况及其对应佩戴指导数据、所述佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,根据所述佩戴身体状况与其对应佩戴指导数据、所述佩戴环境状况及其对应佩戴指导数据的各自预设映射关系,确定各自对应的佩戴指导数据;显示所述佩戴身体状况数据及其对应佩戴指导数据,所述佩戴身体状况数据至少包括佩戴身体状况不佳数据,所述佩戴身体状况数据对应的佩戴指导数据至少包括停止佩戴提示信息或佩戴调整提示信息;AR眼镜显示模组还用于显示所述佩戴环境状况数据及其对应佩戴指导数据;
将所述自身特征数据、所述外界环境数据、所述佩戴身体状况数据及其对应佩戴指导数据、所述佩戴环境状况数据及其对应佩戴指导数据中的至少一种同步上传至诊疗系统后端。
8.根据权利要求7所述的方法,其特征在于,还包括:
采集外界环境数据,对所述外界环境数据进行所述数据处理,获取佩戴环境状况数据,判断所述佩戴环境状况数据得到对应的佩戴指导数据,所述数据处理至少包括:利用第二预设深度神经网络模型对所述外界环境数据进行分类识别,得到所述佩戴环境状况数据,所述第二预设深度神经网络模型是利用所述自身特征样本数据、外界环境样本数据、所述自身特征样本数据的佩戴身体状况标签数据、所述外界环境样本数据的佩戴环境状况标签数据训练得到的,AR眼镜显示模组用于显示所述佩戴环境状况数据及其对应佩戴指导数据,所述佩戴环境状况数据至少包括佩戴环境状况不佳数据,所述佩戴环境状况数据对应的佩戴指导数据至少包括所述停止佩戴提示信息或所述佩戴调整提示信息。
CN202011513294.XA 2020-12-21 2020-12-21 一种ar眼镜智能控制系统及方法 Active CN112255921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011513294.XA CN112255921B (zh) 2020-12-21 2020-12-21 一种ar眼镜智能控制系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011513294.XA CN112255921B (zh) 2020-12-21 2020-12-21 一种ar眼镜智能控制系统及方法

Publications (2)

Publication Number Publication Date
CN112255921A CN112255921A (zh) 2021-01-22
CN112255921B true CN112255921B (zh) 2021-09-07

Family

ID=74225728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011513294.XA Active CN112255921B (zh) 2020-12-21 2020-12-21 一种ar眼镜智能控制系统及方法

Country Status (1)

Country Link
CN (1) CN112255921B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114209291A (zh) * 2021-12-15 2022-03-22 瑞欧威尔(上海)智能科技有限公司 一种集成ar眼镜身体状况检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103356164A (zh) * 2013-07-12 2013-10-23 北京阳明智道光电科技有限公司 一种视觉健康舒适度的测量系统及测量方法
CN109326355A (zh) * 2018-08-16 2019-02-12 浙江树人学院 一种消防员呼吸声音监测耳机及其身体状态评估方法
CN110419018A (zh) * 2016-12-29 2019-11-05 奇跃公司 基于外部条件的可穿戴显示装置的自动控制

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165038A1 (en) * 2017-03-06 2018-09-13 Miso Robotics, Inc. Augmented reality-enhanced food preparation system and related methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103356164A (zh) * 2013-07-12 2013-10-23 北京阳明智道光电科技有限公司 一种视觉健康舒适度的测量系统及测量方法
CN110419018A (zh) * 2016-12-29 2019-11-05 奇跃公司 基于外部条件的可穿戴显示装置的自动控制
CN109326355A (zh) * 2018-08-16 2019-02-12 浙江树人学院 一种消防员呼吸声音监测耳机及其身体状态评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
解读智能可穿戴的技术困境与重生之门;王莹;《电子产品世界》;20170930(第9期);第14-30页 *

Also Published As

Publication number Publication date
CN112255921A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
Long et al. A scoping review on monitoring mental health using smart wearable devices
CN111887867A (zh) 基于表情识别与心理学测试生成性格的分析方法及系统
CN112255921B (zh) 一种ar眼镜智能控制系统及方法
Galvan-Tejada et al. Depression episodes detection in unipolar and bipolar patients: a methodology with feature extraction and feature selection with genetic algorithms using activity motion signal as information source
Venkata Phanikrishna et al. Deep review of machine learning techniques on detection of drowsiness using EEG signal
CN110473631B (zh) 基于真实世界研究的智能睡眠监测方法和系统
Masoner et al. Complexity of postural sway affects affordance perception of reachability in virtual reality
Arnrich A survey on measuring happiness with smart phones
Yildirim et al. A new model for classification of human movements on videos using convolutional neural networks: MA-Net
CN114203300A (zh) 一种健康状态评估方法及系统、服务端、存储介质
CN109620269A (zh) 疲劳检测方法、装置、设备及可读存储介质
CN116803337B (zh) 基于睡眠监测的音乐辅助睡眠方法、装置、设备
CN114191665A (zh) 机械通气过程中人机异步现象的分类方法和分类装置
CN108182974B (zh) 病症评估方法、终端设备及计算机可读介质
Vranceanu et al. A computer vision approach for the eye accesing cue model used in neuro-linguistic programming
Radhika et al. Stress detection using CNN fusion
Aluru et al. Parkinson’s Disease Detection Using Machine Learning Techniques
CN112289444A (zh) 一种患者潜在重要信息的确定方法和装置
EP3757950B1 (en) Method and system for selecting parameters of a design or security element of banknotes based on neuroanalysis
Qin et al. Recognition of map activities using eye tracking and EEG data
TW201525924A (zh) 可攜式精神狀態評估、診斷與支持系統及其方法
CN117711626A (zh) 一种基于多维度因素的抑郁情绪评测方法
CN115956878A (zh) 基于舌部图像的数据处理方法、装置、设备和存储介质
Mitra et al. Automatic Detection of Situational Context Using AI from Minimal Sensor Modality
CN118000752A (zh) 一种脑电检测的ar场景模拟学生学习状态分析及改善系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231213

Address after: No. 582 Xiangyang South Road, Xuhui District, Shanghai, 200030

Patentee after: Shanghai Medical Innovation and Development Foundation

Address before: No. 655, Wenshui Road, Shounan street, Yinzhou District, Ningbo City, Zhejiang Province

Patentee before: Ningbo Qiyi Technology Co.,Ltd.