CN112684890A - 一种体检引导的方法、装置、存储介质及电子设备 - Google Patents
一种体检引导的方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112684890A CN112684890A CN202011608308.6A CN202011608308A CN112684890A CN 112684890 A CN112684890 A CN 112684890A CN 202011608308 A CN202011608308 A CN 202011608308A CN 112684890 A CN112684890 A CN 112684890A
- Authority
- CN
- China
- Prior art keywords
- physical examination
- information
- emotion
- action
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000009471 action Effects 0.000 claims abstract description 91
- 230000008451 emotion Effects 0.000 claims abstract description 87
- 230000036651 mood Effects 0.000 claims abstract description 11
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 14
- 230000005611 electricity Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 4
- 208000019901 Anxiety disease Diseases 0.000 abstract description 6
- 230000036506 anxiety Effects 0.000 abstract description 6
- 230000003190 augmentative effect Effects 0.000 abstract description 2
- 210000001508 eye Anatomy 0.000 description 35
- 239000008280 blood Substances 0.000 description 15
- 210000004369 blood Anatomy 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 150000002632 lipids Chemical class 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 7
- 210000003811 finger Anatomy 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000036772 blood pressure Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000003862 health status Effects 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010037660 Pyrexia Diseases 0.000 description 1
- 208000031975 Yang Deficiency Diseases 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 210000000106 sweat gland Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例涉及AR技术领域，公开了一种体检引导的方法，包括：接收来自AR可穿戴设备采集的眼部特征信息，以及来自移动终端设备采集的体态特征信息；基于眼部特征信息检测用户的情绪是否与预设情绪匹配，以及基于体态特征信息检测用户在目标体检项目中的体检动作是否规范；若情绪与预设情绪匹配，则生成与预设情绪相对应的安抚语音信息，以及将安抚语音信息发送给所述AR可穿戴设备；若体检动作不规范，则生成与目标体检项目相对应的AR示范动作信息，以及将AR示范动作信息推送给所述AR可穿戴设备。采用本申请实施例，可以有效引导用户正确且规范地完成目标体检项目，缓解用户可能出现的紧张或焦虑情绪。
Description
技术领域
本申请涉及AR技术领域，尤其涉及一种体检引导的方法、装置、存储介质及电子设备。
背景技术
随着移动终端设备的功能越来越全面，移动终端设备逐渐具备获取人们健康状况的功能，有效缓解人们在去医院进行体检时的排队难问题，以及使用户随时能掌握自身的健康问题。然而针对不同的体检项目，往往需要人们做出相对应的体检动作，例如检查人们的虹膜情况时需要人们睁开眼睛，测量血脂血压时需要人们将手指放在移动终端设备的感应区内。针对不同的体检项目，用户难以做出正确且规范的体检动作，尤其针对理解能力和反应能力较差的老人，如何正确且规范地完成体检项目，现有技术无法解决这一问题。
有鉴于此，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种体检引导的生成方法、装置、存储介质、电子设备和立体式停车系统。
发明内容
本申请实施例提供了一种体检引导的方法、装置、存储介质及电子设备，可以有效引导用户正确且规范地完成目标体检项目，缓解用户可能出现的紧张或焦虑情绪。所述技术方案如下：
第一方面，本申请提出一种体检引导的方法，其特征在于，所述方法包括：
接收来自AR可穿戴设备采集的眼部特征信息，以及来自移动终端设备采集的体态特征信息；
基于所述眼部特征信息检测用户的情绪是否与预设情绪匹配，以及基于所述体态特征信息检测所述用户在目标体检项目中的体检动作是否规范；
若所述情绪与所述预设情绪匹配，则生成与所述预设情绪相对应的安抚语音信息，以及将所述安抚语音信息发送给所述AR可穿戴设备；其中，所述安抚语音信息用于指示所述AR可穿戴设备播放安抚语音；
若所述体检动作不规范，则生成与所述目标体检项目相对应的AR示范动作信息，以及将所述AR示范动作信息推送给所述AR可穿戴设备；其中，所述AR示范动作信息用于指示所述AR可穿戴设备生成AR示范动作视频。
第二方面，本申请提出一种体检引导的装置，其特征在于，所述装置包括：
接收模块，接收来自AR可穿戴设备采集的眼部特征信息，以及来自移动终端设备采集的体态特征信息；
匹配模块，基于所述眼部特征信息检测用户的情绪是否与预设情绪匹配，以及基于所述体态特征信息检测所述用户在目标体检项目中的体检动作是否规范；
安抚模块，若所述情绪与所述预设情绪匹配，则生成与所述预设情绪相对应的安抚语音信息，以及将所述安抚语音信息发送给所述AR可穿戴设备；其中，所述安抚语音信息用于指示所述AR可穿戴设备播放安抚语音；
动作模块，若所述体检动作不规范，则生成与所述目标体检项目相对应的AR示范动作信息，以及将所述AR示范动作信息推送给所述AR可穿戴设备；其中，所述AR示范动作信息用于指示所述AR可穿戴设备生成AR示范动作视频。
第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。
第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：利用移动终端设备完成体检项目，通过AR可穿戴设备和云端服务器引导用户正确且规范地完成体检项目，利用AR技术提高体检引导的准确性和可靠性；以及对用户可能出现的焦虑或紧张情绪进行安抚，有效增加完成体检项目的成功率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种体检引导方法的结构示意图；
图2是本申请实施例提供的一种体检引导方法的流程示意图；
图3是本申请实施例提供的一种检测用户的情绪是否与至少一个预设情绪匹配的流程示意图；
图4是本申请实施例提供的一种检测用户在目标体检项目中的体检动作是否规范的流程示意图；
图5是本申请实施例提供的一种AR示范动作的结构示意图；
图6是本申请实施例提供的一种体检引导装置的结构示意图；
图7是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合具体的实施例对本申请进行详细说明。
如图1所示，为本申请实施例提供的一种体检引导方法的结构示意图，包括：服务器101、移动终端设备102、AR可穿戴设备103和用户104。
服务器101，可以包括存储器、处理器、通信单元以及存储控制器。存储器、处理器、通信单元以及存储控制器相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。其中，存储器可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其它非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的远程存储器，这些远程存储器可以通过网络连接至所云服务器。上述网络的实例可以包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。进一步地，通信单元将各种输入/输入装置耦合至处理器以及存储器，上述存储器内的软件程序以及模块还可包括操作系统，其可包括各种用于管理系统任务(例如内存管理、存储设备控制、电源管理等)的软件组件和/或驱动，并可与各种硬件或软件组件相互通讯，从而提供其它软件组件的运行环境。在本申请实施例中，服务器101为接收AR可穿戴设备103和移动终端设备102发送的信息，经过处理后再发送指令信息AR可穿戴设备103和移动终端设备102的处理装置。
移动终端设备(terminal device)102，包括但不限于移动台(Mobile Station，MS)、移动终端设备(Mobile Terminal)、移动电话(Mobile Telephone)、手机(handset)及便携设备(portable equipment)等，该终端设备可以经无线接入网(Radio AccessNetwork，RAN)与一个或多个核心网进行通信，例如，移动终端设备可以是移动电话(或称为“蜂窝”电话)、具有无线通信功能的计算机等，移动终端设备还可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置或设备。在本申请实施例中，移动终端设备102用于测量用户104的健康状态信息，健康状态信息为用户104当前的身体状态的信息，健康状态信息可包括：平和、阳虚、气虚、发烧、感冒、咽喉炎等。举例来说：利用摄像头采集用户的舌像信息，基于舌像信息判断用户的健康状态信息；利用血压血脂传感器采集用户的血压血脂信息，基于血压血脂的成分信息判断用户的健康状态信息。
增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。AR可穿戴设备103，可以理解为实现AR技术的可穿戴设备，例如：AR智能眼镜、AR智能头盔等。
如图2所所示，是本申请实施例提供的一种体检引导方法的流程示意图，包括下述步骤：
S101、接收来自AR可穿戴设备采集的眼部特征信息，以及来自移动终端设备采集的体态特征信息。
服务器101通过向AR可穿戴设备103推送第一采集指令，指示AR可穿戴设备103的图像采集单元采集用户104的眼部特征信息，通过向移动终端设备102推送第二采集指令，指示移动终端设备102的图像采集单元采集用户104的体态特征信息。
眼部特征信息，可以理解为包括瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑(也称为普尔钦斑)位置等信息。例如，AR可穿戴设备103采用眼球追踪(eye tracking)采集眼部特征信息。眼球追踪(eye tracking)，也可称为视线追踪技术，是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术。其中，视线可以理解为是一个三维矢量，在一个例子中，该三维矢量(即视线)可以是以用户头部的正中心为坐标原点、以头部正右侧为x轴的正半轴、头部正上方为y轴正半轴、以头部的正前方为z轴正半轴所构建的坐标系中的坐标表示。注视点可以理解为上述三维矢量(即视线)投影在某个平面上的二位坐标。目前最主流的眼球追踪方法称为瞳孔-角膜反射法(pupilcenter corneareflection technique，PCCR)，还可以包括不基于眼部图像的方法，例如基于接触/非接触式的传感器(例如电极、电容传感器)推算眼睛的运动。AR可穿戴设备103的图像采集单元可以是红外摄像设备、红外图像传感器、照相机或摄像机等。
体态特征信息，可以理解为用户104的身体或身体部位处于一种或多种状态中，例如，五指张开、睁开眼睛或张大嘴巴等。体态特性信息被移动终端设备102的图像采集单元进行采集，移动终端设备102的图像采集单元可以是红外摄像设备、红外图像传感器、照相机或摄像机等。
S102、基于眼部特征信息检测用户的情绪是否与预设情绪匹配。
预设情绪，可以理解为服务器101基于预设规则将用户的情绪分类成有限个，例如：高兴、愤怒、恐惧、惊奇、喜欢、厌恶等。
在一个实施例中，如图3所示，是本申请实施例提供的一种检测用户的情绪是否与至少一个预设情绪匹配的流程示意图，包括以下步骤：
S301、基于眼部特征信息，获取虹膜特征信息。
服务器101根据预置的虹膜图像获取模型从采集的眼部特征图像中截取得到对应的虹膜图像，其中，虹膜图像获取模型包括梯度计算公式计算及虹膜截取模板。虹膜图像获取模型即是用于从眼部特征图像中获取对应的虹膜图像的模型，梯度计算公式即是用于计算图像中任一像素点梯度值的计算公式，虹膜截取模板即是用于从眼部特征图像中获取对应虹膜图像的截取模板。
服务器101根据预置的虹膜特征提取模型从虹膜图像中提取得到虹膜特征信息。举例来说，虹膜特征提取公式可表示为:其中，(x0,y0)为虹膜叠加图像的中心点的坐标值，α、β及u0为公式中的参数值，具体的，α为虹膜特征提取公式的滤波有效宽度，β为虹膜特征提取公式的滤波有效长度，u0决定了公式中调制项的频率；j是虚数，也即是(x,y)为包含每一像素点的像素集合，G(x,y)为对像素集合所包含的像素点进行计算所得的计算值，G(x,y)中包含每一像素点的计算值，所得的计算值为一个包含实部及虚部的虚数；根据虚数转换规则对像素点的计算值进行转换得到包含每一像素点的特征值的虹膜特征信息。在其中一个实施例中，根据虚数转换规则对所计算得到的虚数进行转换，也即是将该虚数的极性进行量化得到一个2位二进制数，具体的，当计算值中的实部和虚部均为正时，特征值为11；当实部为正虚部为负时，特征值为10；当实部为负虚部为正时，特征值为01；当实部和虚部均为负时，特征值为00。根据上述规则对每一像素点的计算值进行转换即可得到每一像素点的特征值，也即是虹膜特征信息。
S302、基于虹膜特征信息，获取用户的情绪。
在执行此步骤之前，服务器101需要基于众多的实验用虹膜特征信息与预设情绪进行处理，构建出情绪与虹膜特性信息匹配模型。将每一情绪对应的多个预设虹膜特征信息，取虹膜特征信息的平均值作为与该情绪对应的分类特征信息，即可构建得到情绪与虹膜特性信息匹配模型，在该模型中预设情绪与虹膜特征信息唯一标定。例如，“紧张”这一情绪对应的虹膜特征信息为G1＝(11，11，01，11，00，00，01，……)。
服务器101计算虹膜特征信息与每一类别情绪的相似度，获取相似度最高的一个情绪作为与虹膜特征信息对应的用户情绪。具体的，相似度可通过P＝1-[(f1-g1)2+(f2-g2)2+…+(fn-gn)2]/(g1 2+g2 2+…+gn 2)计算得到，其中，虹膜特征信息为Gf＝(f1，f2，……，fn)，某一情绪类型的分类特征信息为Gg＝(g1，g2，……gn)。
S303、检测情绪是否与至少一个预设情绪匹配。
基于上述步骤S302，检测情绪与至少一个预设情绪匹配。例如，AR可穿戴设备103采集眼部特征信息并推送给服务器101；服务器101基于该眼部特征信息获取此时用户的情绪为“紧张”。
在另一个实施例中，基于眼部特征信息检测用户的情绪是否与预设情绪匹配，还包括：接收来自AR可穿戴设备采集的肤电变化信息；基于肤电变化信息和眼部特征信息，获取用户的情绪；用户的情绪是否与至少一个预设情绪匹配。举例来说，基于肤电变化信息获取用户的情绪的过程为：提取Bio Vid Emo_DB数据集中五种情感的肤电变化信息，将数据集分为训练集、验证集和测试集；提取肤电变化信息的时域、频域特征；通过深度信念网络训练肤电变化信息得到其高层特征；在DBN顶层连接SVM分类器，对DBN模型的权重和阈值进行反向微调；利用训练好的DBN-SVM网络计算测试集的高层特征；基于该高层特性与预设情绪匹配。
本申请一些实施例提供的技术方案带来的有益效果至少包括：不同情感状态下汗腺分泌的汗液会导致皮肤导电性的改变，利用AR可穿戴设备获取肤电变化信息具有便捷性和可靠性；利用肤电变化信息和眼部特征信息获取用户的情绪更可靠以及更客观。
S103、生成与预设情绪相对应的安抚语音信息，以及将安抚语音信息发送给AR可穿戴设备。
安抚语音信息可以理解为包括基于预设情绪针对性安抚的语音内容的语音信息。举例来说，针对用户的“紧张”情绪，安抚语音信息的语音内容包括但不限于“放轻松”、“很快就好了”等。
服务器101生成与预设情绪相对应的安抚语音信息，以及将安抚语音信息发送给AR可穿戴设备。其中，安抚语音信息用于指示AR可穿戴设备通过扬声单元播放安抚语音，扬声单元包括但不限于扬声器、语音处理单元、语音播放单元等。
本申请一些实施例提供的技术方案带来的有益效果至少包括：利用安抚语音对用户可能出现的紧张情绪进行安抚，避免用户在完成体检项目时处于焦虑从而导致体检失败，提高体检项目完成的成功率。
S104、基于体态特征信息检测用户在目标体检项目中的体检动作是否规范。
体态特征信息，可以理解为用户104的身体或身体部位处于一种或多种状态中，例如，五指张开、睁开眼睛、张大嘴巴、针对移动终端设备作为空间参考点的手的相对位置等。
目标体检项目，可以理解为基于选择指令在至少一个体检项目中选择的目标体检项目。例如，至少一个体检项目包括：血压检测、血脂检测、体脂检测、舌像检查等，目标体检项目为血脂检查。
体检动作，可以理解为用户接收到目标体检项目的要求后做出的针对性动作，例如，舌像检查要求用户对舌面对准移动终端设备的图像采集单元。
服务器101基于体态特征信息获取用户在一个目标体检项目中的体检动作。在一个申请实施例中，服务器101获取体态特征信息的方法包括：选择参考节点，获取人体骨骼节点相对于参考节点的空间位置；根据人体骨骼节点相对于参考节点的空间位置以及骨骼节点之间的相对位置判断人体体态特征信息。
本申请一些实施例提供的技术方案带来的有益效果至少包括：通过采集人体骨骼节点信息的方式对人体肢体进行识别以及空间定位，从而获取人体姿态特征、骨架位置等信息，通过获取到的信息数据合成体态特征信息，提高了数据采集的客观性和准确性。
如图4所示，是本申请实施例提供的一种检测用户在目标体检项目中的体检动作是否规范的流程示意图，包括以下步骤：
S401、基于选择指令在至少一个体检项目中获取目标体检项目。
选择指令来自AR可穿戴设备103或移动终端设备102。服务器101接收该选择指令，基于选择指令在在至少一个体检项目中获取目标体检项目。
S402、基于目标体检项目获取示范动作。
示范动作，可以理解为用于完成目标体检项目的体检动作。举例来说，血脂检测的示范动作是将大拇指的指腹置于移动终端设备102的血脂传感器上。
S403、检测用户的体检动作是否与示范动作相匹配。
在本申请实施例中，检测用户的体检动作是否与示范动作相匹配的步骤包括：基于目标体检项目，获取相对应的关键身体部位；基于关键身体部位获取示范动作；检测用户的体检动作是否与示范动作相匹配，若为否，则判断体检动作不规范。
S404、若为否，则判断体检动作不规范。
举例来说，目标检测项目是血脂检查，则示范动作是将大拇指的指腹置于移动终端设备102的血脂传感器上；服务器基于体态特征信息检测到用户的体检动作为将五指蜷缩在掌心，则判断体检动作不规范。
本申请一些实施例提供的技术方案带来的有益效果至少包括：通过采集人体骨骼节点信息的方式对人体肢体进行识别以及空间定位，从而获取人体姿态特征、骨架位置等信息，通过获取到的信息数据合成体态特征信息，提高了数据采集的客观性和准确性。
S105、生成与目标体检项目相对应的AR示范动作信息，以及将AR示范动作信息发送给AR可穿戴设备。
AR示范动作信息，可以理解为基于AR技术的包含有示范动作的信息，用于指示AR可穿戴设备生成AR示范动作视频。其中，AR示范动作视频可以理解为基于AR技术生成的包含有示范动作的视频。
举例来说，如图5所示，为本申请实施例提供的一种AR示范动作的结构示意图，包括移动终端设备102、真实的手601和AR虚拟手602；目标检测项目是血脂检查，则示范动作是将大拇指的指腹置于移动终端设备102的血脂传感器上；服务器101生成包括示范动作的AR示范动作信息，以及将AR示范动作信息推送给AR可穿戴设备103；AR可穿戴设备103接收该AR示范动作信息，基于该AR示范动作信息获取真实场景信息，该真实场景信息包括移动终端设备102和真实的手601；AR可穿戴设备103对真实场景和相机位置信息进行分析，AR示范动作信息基于生成虚拟景物：AR虚拟手602，并将AR虚拟手602置于移动终端设备102的血脂传感器上，基于上述内容合并后AR示范动作视频即图形系统首先根据相机的位置信息和真实场景中的定位标记来计算虚拟物体坐标到相机视平面的仿射变换，然后按照仿射变换矩阵在视平面上绘制虚拟物体，最后直接通过S-HMD现实或与真实场景的视频合并后；最后用户通过AR可穿戴设备103获取如图5所示的场景。
在一个实施例中，服务器101接收来自移动终端设备的体检完成指令；其中，体检完成指令由移动终端设备判断用户完成目标体检项目后推送；基于体检完成指令，向AR可穿戴设备发送引导完成信息；其中，引导完成指令用于指示AR可穿戴设备停止生成AR示范动作视频，以及播放完成语音。
举例来说，移动终端设备检测到用户的血脂数据已经上传，生成体检完成指令，以及将体检完成指令推送给服务器101；服务器101接收来自移动终端设备的体检完成指令，向AR可穿戴设备发送引导完成信息；AR可穿戴设备停止生成AR示范动作视频，以及播放完成语音，完成语音内容为：“您已成功完成血脂检测，请关闭检测页面”。
本申请一些实施例提供的技术方案带来的有益效果至少包括：利用移动终端设备完成体检项目，通过AR可穿戴设备和云端服务器引导用户正确且规范地完成体检项目，利用AR技术提高体检引导的准确性和可靠性；以及对用户可能出现的焦虑或紧张情绪进行安抚，有效增加完成体检项目的成功率。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图6，其示出了本申请一个示例性实施例提供的体检引导装置的结构示意图。该体检引导装置可以通过软件、硬件或者两者的结合实现成为装置的全部或一部分。该体检引导装置包括接收模块601、匹配模块602、安抚模块603、动作模块604。
接收模块601，接收来自AR可穿戴设备采集的眼部特征信息，以及来自移动终端设备采集的体态特征信息；
匹配模块602，基于所述眼部特征信息检测用户的情绪是否与预设情绪匹配，以及基于所述体态特征信息检测所述用户在目标体检项目中的体检动作是否规范；
安抚模块603，若所述情绪与所述预设情绪匹配，则生成与所述预设情绪相对应的安抚语音信息，以及将所述安抚语音信息发送给所述AR可穿戴设备；其中，所述安抚语音信息用于指示所述AR可穿戴设备播放安抚语音；
动作模块604，若所述体检动作不规范，则生成与所述目标体检项目相对应的AR示范动作信息，以及将所述AR示范动作信息推送给所述AR可穿戴设备；其中，所述AR示范动作信息用于指示所述AR可穿戴设备生成AR示范动作视频。
需要说明的是，上述实施例提供的体检引导装置在体检引导方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像来源追踪装置与图像来源追踪方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请一些实施例提供的技术方案带来的有益效果至少包括：利用移动终端设备完成体检项目，通过AR可穿戴设备和云端服务器引导用户正确且规范地完成体检项目，利用AR技术提高体检引导的准确性和可靠性；以及对用户可能出现的焦虑或紧张情绪进行安抚，有效增加完成体检项目的成功率。
本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述控制方法。
请参见图7，为本申请实施例提供了一种电子设备的结构示意图。如图7所示，所述电子设备7可以包括：至少一个处理器701，至少一个网络接口704，用户接口703，存储器705，至少一个通信总线702。
其中，通信总线702用于实现这些组件之间的连接通信。
其中，用户接口703可以包括显示屏(Display)、摄像头(Camera)，可选用户接口703还可以包括标准的有线接口、无线接口。
其中，网络接口704可以包括标准的有线接口、无线接口(如Wi-Fi接口)。
其中，处理器701可以包括一个或者多个处理核心。处理器701利用各种借口和线路连接整个终端700内的各个部分，通过运行或执行存储在存储器705内的指令、程序、代码集或指令集，以及调用存储在存储器705内的数据，执行终端500的各种功能和处理数据。可选的，处理器701可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器701可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器701中，单独通过一块芯片进行实现。
其中，存储器705可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。可选的，该存储器705包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器705可用于存储指令、程序、代码、代码集或指令集。存储器705可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器705可选的还可以是至少一个位于远离前述处理器701的存储装置。如图7所示，作为一种计算机存储介质的存储器705中可以包括操作系统、网络通信模块、用户接口模块以及驱动文件的加载应用程序。
在图7所示的电子设备700中，用户接口703主要用于为用户提供输入的接口，获取用户输入的数据；而处理器701可以用于调用存储器705中存储的驱动文件的加载应用程序，并具体执行以下操作：
接收来自AR可穿戴设备采集的眼部特征信息，以及来自移动终端设备采集的体态特征信息；
基于所述眼部特征信息检测用户的情绪是否与预设情绪匹配，以及基于所述体态特征信息检测所述用户在目标体检项目中的体检动作是否规范；
若所述情绪与所述预设情绪匹配，则生成与所述预设情绪相对应的安抚语音信息，以及将所述安抚语音信息发送给所述AR可穿戴设备；其中，所述安抚语音信息用于指示所述AR可穿戴设备播放安抚语音；
若所述体检动作不规范，则生成与所述目标体检项目相对应的AR示范动作信息，以及将所述AR示范动作信息推送给所述AR可穿戴设备；其中，所述AR示范动作信息用于指示所述AR可穿戴设备生成AR示范动作视频。
在一个申请实施例中，处理器701基于所述体态特征信息检测所述用户在目标体检项目中的体检动作是否规范，包括：
基于选择指令在至少一个体检项目中获取所述目标体检项目；
基于所述目标体检项目获取示范动作；其中，所述示范动作用于完成所述目标体检项目；
检测所述用户的体检动作是否与所述示范动作相匹配；
若为否，则判断所述体检动作不规范。
在一个申请实施例中，处理器701基于所述目标体检项目获取示范动作，包括：
基于所述目标体检项目，获取相对应的关键身体部位；
基于所述关键身体部位获取所述示范动作；
所述检测所述用户的体检动作是否与所述示范动作相匹配，包括：
基于所述体态特征信息，提取所述体态特征信息中包括的待确定关键身体部位信息；
检测所述待确定关键身体部位信息是否与所述关键身体部位信息相匹配；
若为否，则判断所述体检动作不规范。
在一个申请实施例中，所述选择指令来自所述AR可穿戴设备或所述移动终端设备。
在一个申请实施例中，处理器701基于所述眼部特征信息检测用户的情绪是否与至少一个预设情绪匹配，包括：
基于所述眼部特征信息，获取虹膜特征信息；
基于所述虹膜特征信息，获取所述用户的情绪；
检测所述情绪是否与所述至少一个预设情绪匹配。
在一个申请实施例中，处理器701基于所述眼部特征信息检测用户的情绪是否与预设情绪匹配，还包括：
接收来自所述AR可穿戴设备采集的肤电变化信息；
基于所述肤电变化信息和所述眼部特征信息，获取所述用户的情绪；
检测用户的情绪是否与所述至少一个预设情绪匹配。
在一个申请实施例中，处理器701还执行以下步骤：
接收来自所述移动终端设备的体检完成指令；其中，所述体检完成指令由所述移动终端设备判断所述用户完成所述目标体检项目后推送；
基于所述体检完成指令，向所述AR可穿戴设备发送引导完成信息；其中，所述引导完成指令用于指示所述AR可穿戴设备停止生成所述AR示范动作视频，以及播放完成语音。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (10)
1.一种体检引导的方法，其特征在于，所述方法包括：
接收来自AR可穿戴设备采集的眼部特征信息，以及来自移动终端设备采集的体态特征信息；
基于所述眼部特征信息检测用户的情绪是否与预设情绪匹配，以及基于所述体态特征信息检测所述用户在目标体检项目中的体检动作是否规范；
若所述情绪与所述预设情绪匹配，则生成与所述预设情绪相对应的安抚语音信息，以及将所述安抚语音信息发送给所述AR可穿戴设备；其中，所述安抚语音信息用于指示所述AR可穿戴设备播放安抚语音；
若所述体检动作不规范，则生成与所述目标体检项目相对应的AR示范动作信息，以及将所述AR示范动作信息推送给所述AR可穿戴设备；其中，所述AR示范动作信息用于指示所述AR可穿戴设备生成AR示范动作视频。
2.根据权利要求1所述体检引导的方法，其特征在于，所述基于所述体态特征信息检测所述用户在目标体检项目中的体检动作是否规范，包括：
基于选择指令在至少一个体检项目中获取所述目标体检项目；
基于所述目标体检项目获取示范动作；其中，所述示范动作用于完成所述目标体检项目；
检测所述用户的体检动作是否与所述示范动作相匹配；
若为否，则判断所述体检动作不规范。
3.根据权利要求2所述体检引导的方法，其特征在于，基于所述目标体检项目获取示范动作，包括：
基于所述目标体检项目，获取相对应的关键身体部位；
基于所述关键身体部位获取所述示范动作；
所述检测所述用户的体检动作是否与所述示范动作相匹配，包括：
基于所述体态特征信息，提取所述体态特征信息中包括的待确定关键身体部位信息；
检测所述待确定关键身体部位信息是否与所述关键身体部位信息相匹配；
若为否，则判断所述体检动作不规范。
4.根据权利要求1所述体检引导的方法，其特征在于，所述选择指令来自所述AR可穿戴设备或所述移动终端设备。
5.根据权利要求1所述体检引导的方法，其特征在于，基于所述眼部特征信息检测用户的情绪是否与至少一个预设情绪匹配，包括：
基于所述眼部特征信息，获取虹膜特征信息；
基于所述虹膜特征信息，获取所述用户的情绪；
检测所述情绪是否与所述至少一个预设情绪匹配。
6.根据权利要求1所述体检引导的方法，其特征在于，所述基于所述眼部特征信息检测用户的情绪是否与预设情绪匹配，还包括：
接收来自所述AR可穿戴设备采集的肤电变化信息；
基于所述肤电变化信息和所述眼部特征信息，获取所述用户的情绪；
检测用户的情绪是否与所述至少一个预设情绪匹配。
7.根据权利要求1所述体检引导的方法，其特征在于，还包括：
接收来自所述移动终端设备的体检完成指令；其中，所述体检完成指令由所述移动终端设备判断所述用户完成所述目标体检项目后推送；
基于所述体检完成指令，向所述AR可穿戴设备发送引导完成信息；其中，所述引导完成指令用于指示所述AR可穿戴设备停止生成所述AR示范动作视频，以及播放完成语音。
8.一种体检引导的装置，其特征在于，所述装置包括：
接收模块，接收来自AR可穿戴设备采集的眼部特征信息，以及来自移动终端设备采集的体态特征信息；
匹配模块，基于所述眼部特征信息检测用户的情绪是否与预设情绪匹配，以及基于所述体态特征信息检测所述用户在目标体检项目中的体检动作是否规范；
安抚模块，若所述情绪与所述预设情绪匹配，则生成与所述预设情绪相对应的安抚语音信息，以及将所述安抚语音信息发送给所述AR可穿戴设备；其中，所述安抚语音信息用于指示所述AR可穿戴设备播放安抚语音；
动作模块，若所述体检动作不规范，则生成与所述目标体检项目相对应的AR示范动作信息，以及将所述AR示范动作信息推送给所述AR可穿戴设备；其中，所述AR示范动作信息用于指示所述AR可穿戴设备生成AR示范动作视频。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～6任意一项的方法步骤。
10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～6任意一项的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011608308.6A CN112684890A (zh) | 2020-12-29 | 2020-12-29 | 一种体检引导的方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011608308.6A CN112684890A (zh) | 2020-12-29 | 2020-12-29 | 一种体检引导的方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112684890A true CN112684890A (zh) | 2021-04-20 |
Family
ID=75454905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011608308.6A Pending CN112684890A (zh) | 2020-12-29 | 2020-12-29 | 一种体检引导的方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112684890A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558453A (zh) * | 2024-01-12 | 2024-02-13 | 成都泰盟软件有限公司 | 一种基于大数据模型的ar体格检查辅助系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180116613A1 (en) * | 2015-05-20 | 2018-05-03 | Koninklijke Philips N.V. | Guiding system for positioning a patient for medical imaging |
| US20190239850A1 (en) * | 2018-02-06 | 2019-08-08 | Steven Philip Dalvin | Augmented/mixed reality system and method for the guidance of a medical exam |
| US20200197746A1 (en) * | 2017-08-18 | 2020-06-25 | Alyce Healthcare Inc. | Method for providing posture guide and apparatus thereof |
| CN111708939A (zh) * | 2020-05-29 | 2020-09-25 | 平安科技（深圳）有限公司 | 基于情绪识别的推送方法、装置、计算机设备及存储介质 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
-
2020
- 2020-12-29 CN CN202011608308.6A patent/CN112684890A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180116613A1 (en) * | 2015-05-20 | 2018-05-03 | Koninklijke Philips N.V. | Guiding system for positioning a patient for medical imaging |
| US20200197746A1 (en) * | 2017-08-18 | 2020-06-25 | Alyce Healthcare Inc. | Method for providing posture guide and apparatus thereof |
| US20190239850A1 (en) * | 2018-02-06 | 2019-08-08 | Steven Philip Dalvin | Augmented/mixed reality system and method for the guidance of a medical exam |
| CN111708939A (zh) * | 2020-05-29 | 2020-09-25 | 平安科技（深圳）有限公司 | 基于情绪识别的推送方法、装置、计算机设备及存储介质 |
| CN112120716A (zh) * | 2020-09-02 | 2020-12-25 | 中国人民解放军军事科学院国防科技创新研究院 | 一种可穿戴式多模态情绪状态监测装置 |
Non-Patent Citations (1)
| Title |
|---|
| 李雪莉 等, 陕西科学技术出版社 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558453A (zh) * | 2024-01-12 | 2024-02-13 | 成都泰盟软件有限公司 | 一种基于大数据模型的ar体格检查辅助系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110349081B (zh) | 图像的生成方法、装置、存储介质和电子设备 | |
| CN109432753B (zh) | 动作矫正方法、装置、存储介质及电子设备 | |
| CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| CN102789313B (zh) | 一种用户交互系统和方法 | |
| JP2019145108A (ja) | 顔に対応する３次元アバターを用いて顔の動きが反映された３ｄアバターを含むイメージを生成する電子装置 | |
| CN110968189B (zh) | 作为认知控制信号的瞳孔调制 | |
| KR20190038900A (ko) | 단어 흐름 주석 | |
| TW201814572A (zh) | 終端設備、智慧型手機、基於臉部識別的認證方法和系統 | |
| CN102779000B (zh) | 一种用户交互系统和方法 | |
| CN109600550A (zh) | 一种拍摄提示方法及终端设备 | |
| CN105518579A (zh) | 信息处理设备和信息处理方法 | |
| US10860104B2 (en) | Augmented reality controllers and related methods | |
| WO2021073743A1 (en) | Determining user input based on hand gestures and eye tracking | |
| CN109683703A (zh) | 一种显示控制方法、终端及计算机可读存储介质 | |
| WO2018214115A1 (zh) | 一种评价脸妆的方法及装置 | |
| CN109461124A (zh) | 一种图像处理方法及终端设备 | |
| CN106681509A (zh) | 界面操作的方法和系统 | |
| CN109819167A (zh) | 一种图像处理方法、装置和移动终端 | |
| CN108829239A (zh) | 终端的控制方法、装置及终端 | |
| CN108898058A (zh) | 心理活动的识别方法、智能领带及存储介质 | |
| Chen et al. | Lisee: A headphone that provides all-day assistance for blind and low-vision users to reach surrounding objects | |
| CN112684890A (zh) | 一种体检引导的方法、装置、存储介质及电子设备 | |
| WO2021169918A1 (zh) | 信息输出的方法、电子设备及介质 | |
| US11562271B2 (en) | Control method, terminal, and system using environmental feature data and biological feature data to display a current movement picture | |
| US20230256327A1 (en) | Visual guidance-based mobile game system and mobile game response method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210420 |
|
| RJ01 | Rejection of invention patent application after publication |