CN113314213B - 基于智能手表和vr眼镜结合的智能诊疗及训练控制系统 - Google Patents
基于智能手表和vr眼镜结合的智能诊疗及训练控制系统 Download PDFInfo
- Publication number
- CN113314213B CN113314213B CN202110357264.2A CN202110357264A CN113314213B CN 113314213 B CN113314213 B CN 113314213B CN 202110357264 A CN202110357264 A CN 202110357264A CN 113314213 B CN113314213 B CN 113314213B
- Authority
- CN
- China
- Prior art keywords
- data
- glasses
- body information
- patient body
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 94
- 238000012549 training Methods 0.000 title claims abstract description 80
- 238000011282 treatment Methods 0.000 title claims abstract description 64
- 238000003745 diagnosis Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 64
- 230000001225 therapeutic effect Effects 0.000 claims abstract description 15
- 230000008859 change Effects 0.000 claims description 87
- 238000011084 recovery Methods 0.000 claims description 48
- 230000003340 mental effect Effects 0.000 claims description 38
- 230000036541 health Effects 0.000 claims description 24
- 230000036772 blood pressure Effects 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 20
- 210000001747 pupil Anatomy 0.000 claims description 18
- 230000001815 facial effect Effects 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 15
- 210000005252 bulbus oculi Anatomy 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 210000001508 eye Anatomy 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 230000004962 physiological condition Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 208000020016 psychiatric disease Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 239000003205 fragrance Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 208000024335 physical disease Diseases 0.000 description 1
- 238000000554 physical therapy Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本发明提供了一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统;该系统包括数据采集模块,用于采集佩戴者的基础身体数据;第一数据处理模块,与数据采集模块连接,第一数据处理模块用于根据数据采集模块采集的基础身体数据确定佩戴者的身体状况;第二数据处理模块,与第一数据处理模块连接,第二数据处理模块包括服务器处理单元和人工处理单元,第二数据处理模块用于根据佩戴者的身体状况确定治疗措施和恢复训练内容;数据显示模块,与第二数据处理模块连接,数据显示模块用于显示治疗措施、恢复训练内容和部分基础身体数据。
Description
技术领域
本发明涉及一种智能诊疗及训练控制系统,特别涉及一种基于智 能手表和VR眼镜结合的智能诊疗及训练控制系统。
背景技术
抑郁症将于2021年已跃升为人类第二位杀手,多国专家认为精 神病会成为全球最多人患上的疾病,可人类往往缺乏对精神病的防护 意识,也有患者因羞耻感不敢就医;对于某些慢性疾病,人类自身往 往难以发现,等到身体发出疼痛信号时就医已晚,因生活节奏的加快,每年体检的人数逐渐下降,人们往往无法抽出大量时间去医院进行常 规体检,从而导致人们常年面对精神疾病和身体疾病的威胁;
传统的身体治疗和精神治疗往往需要面对面,人们往往也无法接 受另外购买一台机器用于自身身体检查,那么,早已进入各个家庭的 智能手表及VR眼镜成为用于自身身体检查的优选机器,故此,市场 需要一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统, 用以解决人们的日常常规体检及给出相应的治疗措施,并使得诊断者 与患者能够实现线上病情交互。
发明内容
本发明提供一种基于智能手表和VR眼镜结合的智能诊疗及训练 控制系统,用以解决人们的日常常规体检及给出相应的治疗措施,并 使得诊断者与患者能够实现线上病情交互。
一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统, 包括:
数据采集模块,用于采集同时佩戴智能手表和VR眼镜的佩戴者 的基础身体数据;
第一数据处理模块,与数据采集模块连接,第一数据处理模块用 于根据数据采集模块采集的基础身体数据确定佩戴者的身体状况;
第二数据处理模块,与第一数据处理模块连接,第二数据处理模 块用于根据佩戴者的身体状况确定治疗措施和恢复训练内容;
数据显示模块,与第二数据处理模块连接,数据显示模块用于显 示治疗措施、恢复训练内容和部分基础身体数据;
其中,佩戴者的身体状况包括生理状况和心理状况;
第二数据处理模块包括服务器处理单元和人工处理单元。
作为本发明的一种实施例,数据采集模块包括:
智能手表数据采集单元,用于采集智能手表检测的第一基础身体 数据;
VR眼镜数据采集单元,用于采集VR眼镜检测的第二基础身体数 据;
数据整合单元,用于根据第一基础身体数据和第二基础身体数据 确定佩戴者的基础身体数据;
其中,第一身体数据包括第一心跳数据、第一血压数据、第一温 度数据;
第二身体数据包括第二心跳数据、第二血压数据、第二温度数据、 瞳孔变化数据和精神状况数据;
基础身体数据包括第三心跳数据、第三血压数据、第三温度数据、 瞳孔变化数据和精神状况数据。
作为本发明的一种实施例,VR眼镜佩戴者的精神状况数据通过 如下步骤获取:
步骤1:从预设的精神状况试题库中随机挑选预设精神状况试题, 采集VR眼镜佩戴者对预设精神状况试题的答题数据;
步骤2:根据答题数据,从预设的数据库中挑选相应的3D场景、 虚拟人物及人物剧情并播放;
步骤3:采集VR眼镜佩戴者在观看基于VR眼镜构建相应的3D 场景、虚拟人物及人物剧情时的面部变化数据及眼球运动数据;
步骤4:根据答题数据、面部变化数据、眼球运动数据,基于预 设精神状况模型,确定VR眼镜佩戴者的精神状况数据。
作为本发明的一种实施例,面部变化数据通过如下步骤获取:
步骤11:获取佩戴者在观看基于VR眼镜构建相应的3D场景、 虚拟人物及人物剧情时的每一帧面部图像;
步骤21:将每一帧面部图像标定初始面部变化点(xn,yn),基于 相邻相连原则将初始面部变化点(xn,yn)连接生成每一帧面部图像相 对应的初始面部变化图,其中,n为正整数;
步骤31:基于面部变化时两内眼角距离及两内眼角相连直线斜 率的不变的原则,将初始面部变化图中的初始面部变化点(xn,yn)进 行仿射映射的旋转平移变换,得到旋转平移变换后的最终面部变化点 (x'n,y'n),基于相邻相连原则将旋转平移变换后的最终面部变化点 (x'n,y'n)连接生成每一帧面部图像相对应的最终面部变化图,其中, 将初始面部变化点(xn,yn)经过仿射映射得到最终面部变化点(x'n,y'n) 的计算公式如下:
其中,(x'n,y'n)为旋转平移变换后的最终面部变化点的坐标, (xi,yi)为初始面部变化点(xn,yn)中左内眼角的坐标,(xj,yj)为初始 面部变化点(xn,yn)中右内眼角的坐标,i∈n,j∈n;
步骤41:将每一帧面部图像相对应的最终面部变化图与预设的 面部变化模型中的样本模型进行对比,确定面部变化数据。
作为本发明的一种实施例,第一数据处理模块,基于预设的生理 身体状况模型,根据第三心跳数据、第三血压数据、第三温度数据、 瞳孔变化数据确定佩戴者的生理身体状况;
第一数据处理模块,基于预设的心理身体状况模型,根据瞳孔变 化数据、精神状况数据确定佩戴者的心理身体状况。
作为本发明的一种实施例,治疗措施包括:生理治疗措施、心理 治疗措施;
恢复训练内容包括:生理恢复训练内容、心理恢复训练内容;
服务器处理单元,基于预设的生理身体状况恢复模型,根据佩戴 者的生理身体状况确定生理治疗措施和生理恢复训练内容;
服务器处理单元,基于预设的心理身体状况恢复模型,根据佩戴 者的心理身体状况确定心理治疗措施和心理恢复训练内容;
人工处理单元在智能手表和VR眼镜的佩戴者需要人工帮助或服 务器处理单元无法确定治疗措施和恢复训练内容时,为佩戴者提供人 工服务,人工处理单元对接的专家根据佩戴者的身体状况及与佩戴者 的交流内容确定治疗措施和恢复训练内容。
作为本发明的一种实施例,数据显示模块包括:
手机APP显示单元,用于显示治疗措施、恢复训练内容;
VR眼镜显示单元,用于显示治疗措施、恢复训练内容;
手机APP显示单元还用于显示部分基础身体数据,其中,部分基 础身体数据包括:第三心跳数据、第三血压数据和第三温度数据。
作为本发明的一种实施例,一种基于智能手表和VR眼镜结合的 智能诊疗及训练控制系统还包括:
虚拟训练模块,与第二数据处理模块连接;
虚拟训练模块用于根据恢复训练内容搭建相应的虚拟训练场景。
作为本发明的一种实施例,一种基于智能手表和VR眼镜结合的 智能诊疗及训练控制系统还包括:
身体档案模块,与数据采集模块连接;
数据采集模块,还用于采集每次采集基础身体数据时所对应的采 集时间;
身体档案模块执行包括如下操作:
根据基础身体数据和采集时间构建患者身体信息模型和与患者 身体信息模型一一对应的患者身体信息模型构建时间;
基于患者身体信息模型的相应模型参数和患者身体信息模型构 建时间计算患者身体信息模型的健康值;
根据患者身体信息模型、患者身体信息模型构建时间与患者身体 信息模型的健康值建立患者身体信息档案库。
作为本发明的一种实施例,身体档案模块基于患者身体信息模型 的相应模型参数和患者身体信息模型构建时间计算患者身体信息模 型的健康值,包括:
基于患者身体信息模型的相应模型参数计算当前患者身体信息 模型的第一病痛值,计算公式如下:
其中,Su为第一病痛值,xv为所有相应模型参数和与其一一对应 的预设相应模型参数的差值在预设范围内的第一相应模型参数集合, |xv|为xv集合中的元素个数,xvj为xv集合中的元素,xp为所有相应模 型参数和与其一一对应的预设相应模型参数的差值不在预设范围内 的第二相应模型参数集合,|xp|为xp集合中的元素个数,xpi为xp集合 中的元素,xui为与xpi一一对应的预设相应模型参数,xyi为与xpi一一 对应的预设相应模型参数xui减去预设范围中的最大值所对应形成的 最小预设相应模型参数,α、β为预设的权重值,|xui-xpi|为xui与xpi差值的绝对值;
基于第一病痛值与患者身体信息模型构建时间计算患者身体信 息模型的第二病痛值,计算公式如下:
其中,St为第二病痛值,tv为患者身体信息模型构建时间的第一 时间个数集合,|tv|为集合tv中的元素个数,tvn为集合tv中的元素,Sun为tvn对应的患者身体信息模型的第一病痛值,t'v为tv集合中患者身体 信息模型的第一病痛值与预设第一病痛值的差值在预设范围内的患 者身体信息模型所对应的患者身体信息模型构建时间的第二时间个 数集合,|t'v|为集合t'v中的元素个数,t'vm为集合t'v中的元素,Sum为t'vm对应的患者身体信息模型的第一病痛值,γ为预设的权重值;
基于第一病痛值与第二病痛值计算患者身体信息模型的健康值, 计算公式如下:
其中,Sk为患者身体信息模型的健康值。
本发明有益效果为:本发明提出了一种基于智能手表和VR眼镜 结合的智能诊疗及训练控制系统,通过智能手表和VR眼镜采集佩戴 者的基础身体数据,并将基础身体数据发送至服务器后台进行分析计 算,得到佩戴者的身体状况结果,并给出一系列相关的治疗措施及恢 复训练内容,实现基于智能手表和VR眼镜的线上治疗系统,并使得诊断者与佩戴者能够无接触的实时交互同时减少了去往诊疗过程中 的时间,扩充了智能手表与VR眼镜的实际用途,提高了诊疗效率。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分 地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的 目的和其他优点可通过在所写的说明书以及附图中所特别指出的结 构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描 述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部 分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限 制。在附图中:
图1为本发明实施例中一种基于智能手表和VR眼镜结合的智能 诊疗及训练控制系统的系统流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处 所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发 明。
本发明实施例提供了一种基于智能手表和VR眼镜结合的智能诊 疗及训练控制系统,包括:
数据采集模块,用于采集同时佩戴智能手表和VR眼镜的佩戴者 的基础身体数据;
第一数据处理模块,与数据采集模块连接,第一数据处理模块用 于根据数据采集模块采集的基础身体数据确定佩戴者的身体状况;
第二数据处理模块,与第一数据处理模块连接,第二数据处理模 块用于根据佩戴者的身体状况确定治疗措施和恢复训练内容;
数据显示模块,与第二数据处理模块连接,数据显示模块用于显 示治疗措施、恢复训练内容和部分基础身体数据;
其中,佩戴者的身体状况包括生理状况和心理状况;
第二数据处理模块包括服务器处理单元和人工处理单元;
上述技术方案的工作原理为:如附图1所示,数据采集模块,利 用智能手表和VR眼镜对智能手表和VR眼镜的佩戴者进行基础身体 数据采集,智能手表采集的数据为佩戴者手腕上能够采集到的数据, VR眼镜采集的数据为心理上的数据及生理上的数据,其中生理上的 数据的采集设备优选为生理反馈传感器,并将采集的基础身体数据通过服务器后台中的第一数据处理模块进行判断,确定当前智能手表和 VR眼镜的佩戴者的身体状况,其中,身体状况分为生理身体状况和 心理身体状况,第二数据处理模块包括服务器处理单元和人工处理单 元,服务器后台中的服务器处理单元根据当前智能手表和VR眼镜的佩戴者的身体状况根据服务器后台内置的身体状况恢复模型确定对 应的治疗措施和恢复训练内容,或利用服务器后台中的人工处理单元 对当前智能手表和VR眼镜的佩戴者的身体状况进行特制的治疗措施 和恢复训练内容,当检查完毕后,数据显示模块将治疗措施、恢复训练内容和部分基础身体数据分别显示到手机和VR眼镜上供佩戴者查 看;
上述技术方案的有益效果为:通过智能手表和VR眼镜采集佩戴 者的基础身体数据,并将基础身体数据发送至服务器后台进行分析计 算,得到佩戴者的身体状况结果,并给出一系列相关的治疗措施及恢 复训练内容,实现基于智能手表和VR眼镜的线上治疗系统,并使得 诊断者与佩戴者能够无接触的实时交互同时减少了去往诊疗过程中的时间,扩充了智能手表与VR眼镜的实际用途,提高了诊疗效率。
在一个实施例中,数据采集模块用于采集佩戴者的基础身体数 据,包括:
数据采集模块包括:
智能手表数据采集单元,用于采集智能手表检测的第一基础身体 数据;
VR眼镜数据采集单元,用于采集VR眼镜检测的第二基础身体数 据;
数据整合单元,用于根据第一基础身体数据和第二基础身体数据 确定佩戴者的基础身体数据;
其中,第一身体数据包括第一心跳数据、第一血压数据、第一温 度数据;
第二身体数据包括第二心跳数据、第二血压数据、第二温度数据、 瞳孔变化数据和精神状况数据;
基础身体数据包括第三心跳数据、第三血压数据、第三温度数据、 瞳孔变化数据和精神状况数据;
上述技术方案的工作原理为:数据采集模块包括智能手表数据采 集单元和VR眼镜数据采集单元,其中智能手表数据采集单元为利用 智能手表通过佩戴者手腕采集智能手表佩戴者的第一心跳数据、第一 血压数据和第一温度数据,VR眼镜数据采集单元为利用VR眼镜通过 构建虚拟场景和VR眼镜内置的生理反馈传感器采集VR眼镜佩戴者 的第二心跳数据、第二血压数据、第二温度数据、瞳孔变化数据和精 神状况数据,其中,采集瞳孔变化数据优选为VR眼镜内置眼球捕捉 仪,并将捕捉的眼球变化数据传输至服务器后台进行计算分析,得出瞳孔变化数据,将第一心跳数据和第二心跳数据求均值,所得均值便 为第三心跳数据,其中第三血压数据和第三温度数据的取得方式与第 三心跳数据一致;
上述技术方案的有益效果为:通过智能手表采集单元与VR眼镜 采集单元分别对佩戴者的基础身体数据进行采集,并将采集的数据取 均值,提高了采集数据的精准性。
在一个实施例中,VR眼镜佩戴者的精神状况数据通过如下步骤 获取:
步骤1:从预设的精神状况试题库中随机挑选预设精神状况试题, 采集VR眼镜佩戴者对预设精神状况试题的答题数据;
步骤2:根据答题数据,从预设的数据库中挑选相应的3D场景、 虚拟人物及人物剧情并播放;
步骤3:采集VR眼镜佩戴者在观看基于VR眼镜构建相应的3D 场景、虚拟人物及人物剧情时的面部变化数据及眼球运动数据;
步骤4:根据答题数据、面部变化数据、眼球运动数据,基于预 设精神状况模型,确定VR眼镜佩戴者的精神状况数据;
上述技术方案的工作原理为:利用VR眼镜的3D建模功能,从 预设的精神状况试题库中随机挑选预设精神状况试题,该预设好的精 神状况试题由服务器后台的精神状况试题题库按预设的选题方式自 主生成,保证每次的精神状况试题的多样性,当VR眼镜佩戴者完成 对应的精神状况试题后,VR眼镜根据精神状况试题每道题的得分情 况构建相应的3D场景、虚拟人物及人物剧情供佩戴者观看,当佩戴 者在观看时,VR眼镜采集单元自动捕捉佩戴者的面部变化数据以及眼球运动数据,眼球运动数据的捕捉是为了明确佩戴者是否在观看 VR眼镜构建的内容及观看的重点主要集中在何处,面部变化数据的 采集是为了判断佩戴者在观看到某场景时的面部反应,将答题数据、 佩戴者面部变化数据、佩戴者眼球运动数据作为服务器后台内置的预 设精神状况模型中,得出VR眼镜佩戴者的精神状况数据;
上述技术方案的有益效果为:通过对佩戴者的精神状况进行分 析,提高整个诊疗过程的精准度。
在一个实施例中,面部变化数据通过如下步骤获取:
步骤11:获取佩戴者在观看基于VR眼镜构建相应的3D场景、 虚拟人物及人物剧情时的每一帧面部图像;
步骤21:将每一帧面部图像标定初始面部变化点(xn,yn),基于 相邻相连原则将初始面部变化点(xn,yn)连接生成每一帧面部图像相 对应的初始面部变化图,其中,n为正整数;
步骤31:基于面部变化时两内眼角距离及两内眼角相连直线斜 率的不变的原则,将初始面部变化图中的初始面部变化点(xn,yn)进 行仿射映射的旋转平移变换,得到旋转平移变换后的最终面部变化点 (x'n,y'n),基于相邻相连原则将旋转平移变换后的最终面部变化点 (x'n,y'n)连接生成每一帧面部图像相对应的最终面部变化图,其中, 将初始面部变化点(xn,yn)经过仿射映射得到最终面部变化点(x'n,y'n) 的计算公式如下:
其中,(x'n,y'n)为旋转平移变换后的最终面部变化点的坐标,(xi,yi)为初始面部变化点(xn,yn)中左内眼角的坐标,(xj,yj)为初始 面部变化点(xn,yn)中右内眼角的坐标,i∈n,j∈n;
步骤41:将每一帧面部图像相对应的最终面部变化图与预设的 面部变化模型中的样本模型进行对比,确定面部变化数据;
上述技术方案的工作原理为:VR眼镜获取佩戴者在观看基于VR 眼镜构建相应的3D场景、虚拟人物及人物剧情时的每一帧面部图像, 通过VR眼镜内置的摄像头采集被VR眼镜遮挡住的面部图像,优选 在VR眼镜下方设置摄像头采集部分鼻子图像与嘴巴图像,并将采集 到的面部图像发送至服务器后台,服务器后台将每一帧面部图像都标 定n个初始面部变化点,初始面部变化点的坐标从(x1,y1)到(xn,yn), 其中,标记的地方优选为眉毛、眼睛、鼻子、嘴巴,将每个初始面部 变化点基于相邻相连的原则连接,即每个初始面部变化点将离自己最 近的两个点进行相连,形成每一帧面部图像相对应的初始面部变化 图,但由于面部图像采集时会因为角度问题出现偏差,所以生成的初始面部变化图需要进行仿射映射的旋转平移进行变换,其中,基于面 部变化时两只眼睛的内眼角之间的距离以及两只眼睛内眼角之间的 直线斜率不变的原则,通过算法计算出初始面部变化点经过旋转平移 变换后的最终面部变化点的坐标(x'n,y'n),并基于相近相连的原则将 所有最终面部变化点进行连接,生成每一帧面部图像相对应的最终面 部变化图,将得到的每一帧面部图像相对应的最终面部变化图与服务 器后台中内置的面部变化模型中的样本模型进行对比,确定当前最终面部变化图的表情,并经过一一对比,得到每一帧面部图像相对应的 表情,最终确定面部变化数据;
上述技术方案的有益效果为:通过对佩戴者每一帧面部图像进行 对应的表情分析,提高整体诊疗的精确性。
在一个实施例中,第一数据处理模块,基于预设的生理身体状况 模型,根据第三心跳数据、第三血压数据、第三温度数据、瞳孔变化 数据确定佩戴者的生理身体状况;
第一数据处理模块,基于预设的心理身体状况模型,根据瞳孔变 化数据、精神状况数据确定佩戴者的心理身体状况;
上述技术方案的工作原理为:服务器后台内置有生理身体状况模 型和心理身体状况模型,将服务器后台中第一数据处理模块获取到的 第三心跳数据、第三血压数据、第三温度数据、瞳孔变化数据作为生 理身体状况模型的基本参数,得到佩戴者的生理身体状况,将服务器 后台中第一数据处理模块获取到的瞳孔变化数据、精神状况数据作为心理身体状况模型的基本参数,得到佩戴者的心理身体状况;
上述技术方案的有益效果为:同时对佩戴者的心理和生理进行检 查,提高诊疗的全面性。
在一个实施例中,治疗措施包括:生理治疗措施、心理治疗措施;
恢复训练内容包括:生理恢复训练内容、心理恢复训练内容;
服务器处理单元,基于预设的生理身体状况恢复模型,根据佩戴 者的生理身体状况确定生理治疗措施和生理恢复训练内容;
服务器处理单元,基于预设的心理身体状况恢复模型,根据佩戴 者的心理身体状况确定心理治疗措施和心理恢复训练内容;
人工处理单元在智能手表和VR眼镜的佩戴者需要人工帮助或服 务器处理单元无法确定治疗措施和恢复训练内容时,为佩戴者提供人 工服务,人工处理单元对接的专家根据佩戴者的身体状况及与佩戴者 的交流内容确定治疗措施和恢复训练内容;
上述技术方案的工作原理为:服务器后台中内置的治疗措施和恢 复训练内容包括生理治疗措施、生理恢复训练内容、心理治疗措施、 心理恢复训练内容,将服务器后台中服务器处理单元确定的佩戴者的 生理身体状况作为服务器后台内置的生理身体状况恢复模型的基本参数,得到对应的生理治疗措施和生理恢复训练内容,将服务器后台 中服务器处理单元确定的佩戴者的心理身体状况作为服务器后台内 置的心理身体状况恢复模型的基本参数,得到对应的心理治疗措施和心理恢复训练内容,服务器后台中的人工处理单元则用于当智能手表 和VR眼镜的佩戴者对自身的检查状态需要更一步的了解或服务器处理单元无法确定治疗措施和恢复训练时根据佩戴者的身体状况及人 工与智能手表和VR眼镜的佩戴者的交流内容确定治疗措施和恢复训练内容;
上述技术方案的有益效果为:增加自动智能诊疗与人工诊疗模 式,提供诊断者与患者的交互功能,增加整体诊疗的精准性。
在一个实施例中,数据显示模块包括:
手机APP显示单元,用于显示治疗措施、恢复训练内容;
VR眼镜显示单元,用于显示治疗措施、恢复训练内容;
手机APP显示单元还用于显示部分基础身体数据,其中,部分基 础身体数据包括:第三心跳数据、第三血压数据和第三温度数据;
上述方案的工作原理为:数据显示模块包括手机APP显示单元与 VR眼镜显示单元,手机APP显示单元即将显示内容发送至手机对应 APP上,VR眼镜显示单元即将显示内容投放至VR眼镜中,其中,VR 眼镜显示的内容为治疗措施即恢复训练内容,手机APP显示的内容并 VR眼镜显示的内容多出第三心跳数据、第三血压数据和第三温度数 据;
上述方案的有益效果为:便于佩戴者更直观的查看自身身体状况 及治疗措施。
在一个实施例中,一种基于智能手表和VR眼镜结合的智能诊疗 及训练控制系统还包括:
虚拟训练模块,与第二数据处理模块连接;
虚拟训练模块用于根据恢复训练内容搭建相应的虚拟训练场景;
上述技术方案的工作原理:服务器后台中的虚拟训练模块用于根 据第二数据处理模块中提供的恢复训练内容,基于VR眼镜的3D构 建功能,直接构建该恢复训练内容需要的恢复训练场景,如心理患者 需要的鸟语花香场景、人与自然场景、人声鼎沸场景等,或生理患者 需要的公园跑步场景、公园太极场景等,使得佩戴者直接在VR眼镜模拟的场景中完成对恢复训练内容的运动;
上述技术方案的有益效果:足不出户体验各种场景的恢复训练运 动,提高佩戴者的积极性,提高整体诊疗的诊疗效果。
在一个实施例中,一种基于智能手表和VR眼镜结合的智能诊疗 及训练控制系统还包括:
身体档案模块,与数据采集模块连接;
数据采集模块,还用于采集每次采集基础身体数据时所对应的采 集时间;
身体档案模块执行包括如下操作:
根据基础身体数据和采集时间构建患者身体信息模型和与患者 身体信息模型一一对应的患者身体信息模型构建时间;
基于患者身体信息模型的相应模型参数和患者身体信息模型构 建时间计算患者身体信息模型的健康值;
根据患者身体信息模型、患者身体信息模型构建时间与患者身体 信息模型的健康值建立患者身体信息档案库;
上述技术方案的工作原理即有益效果为:身体档案模块与数据采 集模块连接,数据采集模块还用于采集每次采集基础身体数据时所对 应的采集时间,身体档案模块则执行包括如下操作,1、根据基础身 体数据和采集时间构建患者身体信息模型和与患者身体信息模型一 一对应的患者身体信息模型构建时间;2、基于患者身体信息模型的 相应模型参数和患者身体信息模型构建时间计算患者身体信息模型 的健康值;3、根据患者身体信息模型、患者身体信息模型构建时间 与患者身体信息模型的健康值建立患者身体信息档案库,使得佩戴者 可以在VR眼镜或智能手表中调出自己以往的身体数据与诊断结果, 并可以根据系统给出的健康值直观的感受自己以往的身体健康的变 化,有益于佩戴者更好的完成本系统所给出的恢复训练内容。
在一个实施例中,身体档案模块基于患者身体信息模型的相应模 型参数和患者身体信息模型构建时间计算患者身体信息模型的健康 值,包括:
基于患者身体信息模型的相应模型参数计算当前患者身体信息 模型的第一病痛值,计算公式如下:
其中,Su为第一病痛值,xv为所有相应模型参数和与其一一对应 的预设相应模型参数的差值在预设范围内的第一相应模型参数集合, |xv|为xv集合中的元素个数,xvj为xv集合中的元素,xp为所有相应模 型参数和与其一一对应的预设相应模型参数的差值不在预设范围内 的第二相应模型参数集合,|xp|为xp集合中的元素个数,xpi为xp集合 中的元素,xui为与xpi一一对应的预设相应模型参数,xyi为与xpi一一 对应的预设相应模型参数xui减去预设范围中的最大值所对应形成的 最小预设相应模型参数,α、β为预设的权重值,|xui-xpi|为xui与xpi差值的绝对值;
基于第一病痛值与患者身体信息模型构建时间计算患者身体信 息模型的第二病痛值,计算公式如下:
其中,St为第二病痛值,tv为患者身体信息模型构建时间的第一 时间个数集合,|tv|为集合tv中的元素个数,tvn为集合tv中的元素,Sun为tvn对应的患者身体信息模型的第一病痛值,t'v为tv集合中患者身体 信息模型的第一病痛值与预设第一病痛值的差值在预设范围内的患 者身体信息模型所对应的患者身体信息模型构建时间的第二时间个 数集合,|t'v|为集合t'v中的元素个数,t'vm为集合t'v中的元素,Sum为t'vm对应的患者身体信息模型的第一病痛值,γ为预设的权重值;
基于第一病痛值与第二病痛值计算患者身体信息模型的健康值, 计算公式如下:
其中,Sk为患者身体信息模型的健康值;
上述技术方案的工作原理及有益效果为:基于患者身体信息模型 的相应模型参数计算当前患者身体信息模型的第一病痛值,其中,相应模型参数优选选择包括心跳参数、血压参数、温度参数、瞳孔变化 参数以及精神状况参数,第一病痛值体现了佩戴者的身体模型的各个 参数与预设的身体状态健康的各个参数的差异度,基于第一病痛值与 患者身体信息模型构建时间计算患者身体信息模型的第二病痛值,第 二病痛值体现了佩戴者在各个时期身体的第一病痛值的变化差异度, 根据第一病痛值与第二病痛值计算出患者身体信息模型的健康值,健康值则体现了佩戴者以往的健康情况以及现在的健康情况的综合差 异度,更有益于使得佩戴者直观的了解自己现在的身体状况以及以前 的身体状况对后续身体状况的影响,使得佩戴者能更好的完成本系统 所给出的恢复训练内容。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不 脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于 本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些 改动和变型在内。
Claims (7)
1.一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统,其特征在于,包括:
数据采集模块,用于采集同时佩戴智能手表和VR眼镜的佩戴者的基础身体数据;
第一数据处理模块,与所述数据采集模块连接,所述第一数据处理模块用于根据所述数据采集模块采集的基础身体数据确定佩戴者的身体状况;
第二数据处理模块,与所述第一数据处理模块连接,所述第二数据处理模块用于根据所述佩戴者的身体状况确定治疗措施和恢复训练内容;
数据显示模块,与所述第二数据处理模块连接,所述数据显示模块用于显示治疗措施、恢复训练内容和部分基础身体数据;
其中,所述佩戴者的身体状况包括生理状况和心理状况;
所述第二数据处理模块包括服务器处理单元和人工处理单元;
所述数据采集模块包括:
智能手表数据采集单元,用于采集智能手表检测的第一基础身体数据;
VR眼镜数据采集单元,用于采集VR眼镜检测的第二基础身体数据;
数据整合单元,用于根据所述第一基础身体数据和所述第二基础身体数据确定佩戴者的基础身体数据;
其中,所述第一身体数据包括第一心跳数据、第一血压数据、第一温度数据;
所述第二身体数据包括第二心跳数据、第二血压数据、第二温度数据、瞳孔变化数据和精神状况数据;
所述基础身体数据包括第三心跳数据、第三血压数据、第三温度数据、瞳孔变化数据和精神状况数据;
VR眼镜佩戴者的精神状况数据通过如下步骤获取:
步骤1:从预设的精神状况试题库中随机挑选预设精神状况试题,采集VR眼镜佩戴者对预设精神状况试题的答题数据;
步骤2:根据所述答题数据,从预设的数据库中挑选相应的3D场景、虚拟人物及人物剧情并播放;
步骤3:采集VR眼镜佩戴者在观看所述基于VR眼镜构建相应的3D场景、虚拟人物及人物剧情时的面部变化数据及眼球运动数据;
步骤4:根据所述答题数据、面部变化数据、眼球运动数据,基于预设精神状况模型,确定VR眼镜佩戴者的精神状况数据;
所述面部变化数据通过如下步骤获取:
步骤11:获取所述佩戴者在观看所述基于VR眼镜构建相应的3D场景、虚拟人物及人物剧情时的每一帧面部图像;
步骤21:将所述每一帧面部图像标定初始面部变化点(xn,yn),基于相邻相连原则将初始面部变化点(xn,yn)连接生成每一帧面部图像相对应的初始面部变化图,其中,n为正整数;
步骤31:基于面部变化时两内眼角距离及两内眼角相连直线斜率的不变的原则,将所述初始面部变化图中的初始面部变化点(xn,yn)进行仿射映射的旋转平移变换,得到旋转平移变换后的最终面部变化点(x'n,y'n),基于相邻相连原则将旋转平移变换后的最终面部变化点(x'n,y'n)连接生成每一帧面部图像相对应的最终面部变化图,其中,将初始面部变化点(xn,yn)经过仿射映射得到最终面部变化点(x'n,y'n)的计算公式如下:
其中,(x'n,y'n)为旋转平移变换后的最终面部变化点的坐标,(xi,yi)为初始面部变化点(xn,yn)中左内眼角的坐标,(xj,yj)为初始面部变化点(xn,yn)中右内眼角的坐标,i∈n,j∈n;
步骤41:将所述每一帧面部图像相对应的最终面部变化图与预设的面部变化模型中的样本模型进行对比,确定面部变化数据。
2.根据权利要求1所述的一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统,其特征在于,
所述第一数据处理模块,基于预设的生理身体状况模型,根据所述第三心跳数据、所述第三血压数据、所述第三温度数据、所述瞳孔变化数据确定所述佩戴者的生理身体状况;
所述第一数据处理模块,基于预设的心理身体状况模型,根据所述瞳孔变化数据、精神状况数据确定所述佩戴者的心理身体状况。
3.根据权利要求1所述的一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统,其特征在于,
所述治疗措施包括:生理治疗措施、心理治疗措施;
所述恢复训练内容包括:生理恢复训练内容、心理恢复训练内容;
所述服务器处理单元,基于预设的生理身体状况恢复模型,根据佩戴者的生理身体状况确定生理治疗措施和生理恢复训练内容;
所述服务器处理单元,基于预设的心理身体状况恢复模型,根据佩戴者的心理身体状况确定心理治疗措施和心理恢复训练内容;
所述人工处理单元在智能手表和VR眼镜的佩戴者需要人工帮助或所述服务器处理单元无法确定治疗措施和恢复训练内容时,为所述佩戴者提供人工服务,所述人工处理单元对接的专家根据所述佩戴者的身体状况及与所述佩戴者的交流内容确定治疗措施和恢复训练内容。
4.根据权利要求1所述的一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统,其特征在于,
所述数据显示模块包括:
手机APP显示单元,用于显示所述治疗措施、恢复训练内容;
VR眼镜显示单元,用于显示所述治疗措施、恢复训练内容;
所述手机APP显示单元还用于显示部分基础身体数据,其中,所述部分基础身体数据包括:第三心跳数据、第三血压数据和第三温度数据。
5.根据权利要求1所述的一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统,其特征在于,还包括:
虚拟训练模块,与所述第二数据处理模块连接;
所述虚拟训练模块用于根据所述恢复训练内容搭建相应的虚拟训练场景。
6.根据权利要求1所述的一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统,其特征在于,还包括:
身体档案模块,与所述数据采集模块连接;
所述数据采集模块,还用于采集每次采集所述基础身体数据时所对应的采集时间;
所述身体档案模块执行包括如下操作:
根据所述基础身体数据和所述采集时间构建患者身体信息模型和与所述患者身体信息模型一一对应的患者身体信息模型构建时间;
基于所述患者身体信息模型的相应模型参数和所述患者身体信息模型构建时间计算患者身体信息模型的健康值;
根据所述患者身体信息模型、所述患者身体信息模型构建时间与所述患者身体信息模型的健康值建立患者身体信息档案库。
7.根据权利要求6所述的一种基于智能手表和VR眼镜结合的智能诊疗及训练控制系统,其特征在于,所述身体档案模块基于所述患者身体信息模型的相应模型参数和所述患者身体信息模型构建时间计算患者身体信息模型的健康值,包括:
基于所述患者身体信息模型的相应模型参数计算当前患者身体信息模型的第一病痛值,计算公式如下:
其中,Su为第一病痛值,xv为所有相应模型参数和与其一一对应的预设相应模型参数的差值在预设范围内的第一相应模型参数集合,|xv|为xv集合中的元素个数,xvj为xv集合中的元素,xp为所有相应模型参数和与其一一对应的预设相应模型参数的差值不在预设范围内的第二相应模型参数集合,|xp|为xp集合中的元素个数,xpi为xp集合中的元素,xui为与xpi一一对应的预设相应模型参数,xyi为与xpi一一对应的预设相应模型参数xui减去预设范围中的最大值所对应形成的最小预设相应模型参数,α、β为预设的权重值,|xui-xpi|为xui与xpi差值的绝对值;
基于所述第一病痛值与所述患者身体信息模型构建时间计算患者身体信息模型的第二病痛值,计算公式如下:
其中,St为第二病痛值,tv为患者身体信息模型构建时间的第一时间个数集合,|tv|为集合tv中的元素个数,tvn为集合tv中的元素,Sun为tvn对应的患者身体信息模型的第一病痛值,t'v为tv集合中患者身体信息模型的第一病痛值与预设第一病痛值的差值在预设范围内的患者身体信息模型所对应的患者身体信息模型构建时间的第二时间个数集合,|t'v|为集合t'v中的元素个数,t'vm为集合t'v中的元素,Sum为t'vm对应的患者身体信息模型的第一病痛值,γ为预设的权重值;
基于所述第一病痛值与所述第二病痛值计算所述患者身体信息模型的健康值,计算公式如下:
其中,Sk为患者身体信息模型的健康值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110357264.2A CN113314213B (zh) | 2021-04-01 | 2021-04-01 | 基于智能手表和vr眼镜结合的智能诊疗及训练控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110357264.2A CN113314213B (zh) | 2021-04-01 | 2021-04-01 | 基于智能手表和vr眼镜结合的智能诊疗及训练控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113314213A CN113314213A (zh) | 2021-08-27 |
CN113314213B true CN113314213B (zh) | 2024-02-23 |
Family
ID=77372060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110357264.2A Active CN113314213B (zh) | 2021-04-01 | 2021-04-01 | 基于智能手表和vr眼镜结合的智能诊疗及训练控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113314213B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060036497A (ko) * | 2004-10-25 | 2006-05-02 | 에스케이 텔레콤주식회사 | 시계와 이동 단말기가 연동된 건강 관리 방법 및 그 시스템 |
CN108388338A (zh) * | 2018-01-22 | 2018-08-10 | 广州慧玥文化传播有限公司 | 一种基于vr设备的控制方法及系统 |
CN109243605A (zh) * | 2018-09-20 | 2019-01-18 | 段新 | 一种基于人工智能的精神障碍诊断治疗系统 |
CN110558996A (zh) * | 2019-08-22 | 2019-12-13 | 赵艳 | 一种基于vr设备的远程心理治疗系统 |
-
2021
- 2021-04-01 CN CN202110357264.2A patent/CN113314213B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060036497A (ko) * | 2004-10-25 | 2006-05-02 | 에스케이 텔레콤주식회사 | 시계와 이동 단말기가 연동된 건강 관리 방법 및 그 시스템 |
CN108388338A (zh) * | 2018-01-22 | 2018-08-10 | 广州慧玥文化传播有限公司 | 一种基于vr设备的控制方法及系统 |
CN109243605A (zh) * | 2018-09-20 | 2019-01-18 | 段新 | 一种基于人工智能的精神障碍诊断治疗系统 |
CN110558996A (zh) * | 2019-08-22 | 2019-12-13 | 赵艳 | 一种基于vr设备的远程心理治疗系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113314213A (zh) | 2021-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1305767B1 (en) | Method for remote medical monitoring incorporating video processing | |
US20150327794A1 (en) | System and method for detecting and visualizing live kinetic and kinematic data for the musculoskeletal system | |
US10722165B1 (en) | Systems and methods for reaction measurement | |
JP7373788B2 (ja) | リハビリ支援装置、リハビリ支援システム及びリハビリ支援方法 | |
Nagalakshmi Vallabhaneni | The analysis of the impact of yoga on healthcare and conventional strategies for human pose recognition | |
CN112619109A (zh) | 基于ar技术的康复训练系统及方法 | |
CN112420141A (zh) | 一种中医健康评估系统及其应用 | |
CN113314213B (zh) | 基于智能手表和vr眼镜结合的智能诊疗及训练控制系统 | |
CN114712835B (zh) | 一种基于双目人体位姿识别的辅助训练系统 | |
CN115268531B (zh) | 一种智能浴缸的水流调温控制方法、装置、设备及存储介质 | |
KR20140132864A (ko) | 스트레스 변화에 따른 신체 및 심리 변화의 동영상 이용 간이 측정 방법 및 이를 이용한 힐링서비스 | |
Sprint et al. | Designing wearable sensor-based analytics for quantitative mobility assessment | |
CN115410707A (zh) | 一种膝关节骨性关节炎的远程诊疗及康复系统 | |
KR102412841B1 (ko) | 고령자 헬스케어를 위한 스마트 보행 시뮬레이터 | |
CN113870996A (zh) | 一种足部疾病健康分析方法 | |
WO2020161947A1 (ja) | 身体健康状態映像分析装置、方法並びにシステム | |
CN116153510B (zh) | 矫正镜控制方法、装置、设备、存储介质及智能矫正镜 | |
CN113397530B (zh) | 一种可进行膝关节功能评估的智能矫正系统和方法 | |
Gegenbauer | An interdisciplinary clinically-oriented evaluation framework for gait analysis after stroke | |
CN114984540B (zh) | 一种基于人工智能的健身锻炼效果评价分析管理系统 | |
Zhao et al. | Upper extremity kinematic parameters: reference ranges based on kinect V2 | |
CN108451496A (zh) | 检测脑心连通性的信息的方法及其系统 | |
WO2022249746A1 (ja) | 身体機能推定システム、身体機能推定方法、及び、プログラム | |
US20230335294A1 (en) | System and method for detecting and monitoring medical condition and impairment | |
Rodrigues | GaitGate-Towards a multi-scenario clinical gait characterization system for neurological diseases |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |