CN113359975A - 一种基于眼动交互技术的医护方法、系统和电子设备 - Google Patents
一种基于眼动交互技术的医护方法、系统和电子设备 Download PDFInfo
- Publication number
- CN113359975A CN113359975A CN202110548106.5A CN202110548106A CN113359975A CN 113359975 A CN113359975 A CN 113359975A CN 202110548106 A CN202110548106 A CN 202110548106A CN 113359975 A CN113359975 A CN 113359975A
- Authority
- CN
- China
- Prior art keywords
- information
- eye movement
- patient
- eye
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 120
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000003993 interaction Effects 0.000 title claims abstract description 30
- 238000005516 engineering process Methods 0.000 title claims abstract description 26
- 210000004279 orbit Anatomy 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 19
- 210000004087 cornea Anatomy 0.000 claims description 29
- 210000001747 pupil Anatomy 0.000 claims description 19
- 208000024891 symptom Diseases 0.000 claims description 10
- 230000001678 irradiating effect Effects 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 208000002193 Pain Diseases 0.000 description 3
- 241000287181 Sturnus vulgaris Species 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 208000003251 Pruritus Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010000087 Abdominal pain upper Diseases 0.000 description 1
- 206010019196 Head injury Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 206010061224 Limb discomfort Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 239000003651 drinking water Substances 0.000 description 1
- 235000020188 drinking water Nutrition 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及一种基于眼动交互技术的医护方法和系统，该方法包括：眼动追踪装置中的红外光源发出红外光照射病人的眼眶；眼动追踪模块通过摄像头采集病人眼眶中的亮点信息和角膜反射信息，并发送至头戴式显示设备的控制器；控制器根据亮点信息和角膜反射信息生成眼动数据，确定眼动数据对应在头戴式显示设备显示界面中的位置坐标，根据位置坐标生成控制指令；控制器基于控制指令生成病人的需求信息并发送至医护终端。通过本申请，解决了相关技术中ICU病人与医护人员的沟通效果较差的问题，ICU病人通过眼动即可实现与医护人员的沟通，较大的提升了两者间的沟通便捷性；另外，病人还可以通过该头戴式显示设备进行娱乐活动，也提升了病人的生存质量。
Description
技术领域
本申请涉及虚拟现实技术领域，特别是涉及一种基于眼动交互技术的医护方法、系统和电子设备。
背景技术
重症监护病房(Intensive Care Unit，简称为ICU)中的病人因为伤痛或其他特殊病因，往往无法行动和开口说话。导致无法向外界传达自身的需求，医护人员也无法获知病人的需求。
在相关技术中，由医护人员根据病人的潜在需求制作多个卡片，并将卡片一张一张的展示给病人，然后根据病人的反应来判断病人的需求。但是，如果卡片数量太多，对医护人员造成的负担较大，同时，这种方法沟通效率较为低下，通过医护人员一张一张的给病人查看并分析病人的反应，病人的不适和需求很难及时反馈。但是，如果卡片数量太少，很多病人的需求就没有办法准确表达出来。
目前针对相关技术中ICU病人与医护人员的沟通效果较差的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于眼动交互技术的医护方法、头戴式显示设备和系统，以至少解决相关技术中ICU病人与医护人员的沟通效果较差的问题。
第一方面，本申请实施例提供了一种基于眼动交互技术的医护方法，应用在头戴式显示设备上，该头戴式显示设备包括眼动追踪装置，所述方法包括：
所述眼动追踪装置中的红外光源发出红外光照射病人的眼眶；
所述眼动追踪模块通过摄像头采集所述病人眼眶中的亮点信息和角膜反射信息，并发送至所述头戴式显示设备的控制器，其中，所述亮点信息是所述病人的瞳孔在所述红外光源照射下相对于眼角膜形成的亮点，所述角膜反射信息是所述眼角膜在所述红外光照射下的反射信息；
所述控制器根据所述亮点信息和所述角膜反射信息生成眼动数据，确定所述眼动数据对应在所述头戴式显示设备显示界面中的位置坐标，根据所述位置坐标生成控制指令；
所述控制器基于所述控制指令生成所述病人的需求信息并发送至医护终端，所述医护终端以图像或者音效的形式呈现所述需求信息。
在其中一些实施例中，所述控制器根据所述亮点信息和所述角膜反射信息生成所述病人的眼动数据包括：
所述眼动追踪模块通过所述摄像头采集所述病人的眼眶图像，并对所述眼眶图像中的所述亮点信息和所述角膜反射信息进行标记；
基于标记之后的所述眼眶图像，获取其中所述瞳孔与所述角膜之间的角度并基于所述角度生成所述病人的视线向量；
所述控制器将所述视线向量映射至所述显示界面上生成所述眼动数据。
在其中一些实施例中，所述控制器根据所述位置坐标生成控制指令，基于所述控制指令生成所述病人的需求信息包括：
所述控制器指示所述显示界面显示卡片选择界面，其中，所述卡片选择界面包括多个卡片区域；
在所述卡片选择界面下获取所述眼动数据，并将所述眼动数据转换为所述位置坐标；
所述位置坐标位于所述卡片区域且连续存在第一预设时间段之后，所述控制器生成与所述卡片区域对应的控制指令，并输出所述控制指令对应的所述需求信息。
在其中一些实施例中，所述控制器根据所述位置坐标生成控制指令，基于所述控制指令生成所述病人的需求信息还包括：
所述控制器指示所述显示界面显示模糊选择界面，其中，所述模糊选择界面显示人体轮廓图，所述人体轮廓按照人体部位分割为多个分割区域；
所述控制器在所述模糊选择界面下获取所述眼动数据，在所述眼动数据对应的位置坐标位于所述分割区域的情况下，所述控制器指示所述显示界面放大所述分割区域；
所述控制器指示所述显示界面在所述分割区域附近显示多项症状选择信息，在所述眼动数据对应的位置坐标位于所述症状选择信息对应区域的情况下，所述控制器基于所述分割区域和所述症状选择信息生成所述控制指令，并输出所述控制指令对应的所述需求信息。
在其中一些实施例中，所述控制器根据所述位置坐标生成控制指令，基于所述控制指令生成所述病人的需求信息还包括：
所述控制器指示所述显示界面在预设位置长期显示紧急呼叫区域，在所述眼动数据对应的所述位置坐标位于所述紧急呼叫区域且连续存在第二预设时间段之后，所述控制器生成紧急呼叫信号类型的所述需求信息。
在其中一些实施例中，所述确定所述眼动数据对应在所述头戴式显示设备的显示界面的位置坐标，根据所述位置坐标生成控制指令包括：
所述控制器指示所述显示界面显示娱乐界面，在所述娱乐界面下获取病人的所述眼动数据；
所述控制器基于所述眼动数据对应的所述位置坐标，指示所述显示界面显示与所述位置坐标对应的娱乐界面；
在所述娱乐界面下获取病人的所述眼动数据，基于所述眼动数据对应的所述位置坐标生成所述娱乐界面下的所述控制指令。
第二方面，本申请实施例提供了一种基于眼动交互技术的医护系统，所述系统包括：头戴式显示设备和医护终端；
所述头戴式显示设备包括眼动追踪模块、控制模块和显示模块；
所述眼动追踪模块用于通过所述红外光源照射病人的眼眶；
所述眼动追踪模块或者用于通过摄像头采集所述病人眼眶中的亮点信息和角膜反射信息，并发送至所述头戴式显示设备的控制器，其中，所述亮点信息是所述病人的瞳孔在所述红外光源照射下相对于眼角膜形成的亮点，所述角膜反射信息是所述眼角膜在所述红外光照射下的反射信息；
所述显示模块用于根据所述控制模块的控制指令呈现显示界面；
所述控制模块用于根据所述亮点信息和所述角膜反射信息生成眼动数据，确定所述眼动数据对应在所述头戴式显示设备显示界面中的位置坐标，根据所述位置坐标生成控制指令；基于所述控制指令生成所述病人的需求信息并发送至医护终端；
所述医护终端用于以图像或者音效的形式呈现所述需求信息。
在其中一些实施例中，所述显示界面包括：主界面、卡片选择界面、模糊选择界面和娱乐界面。
第三方面，本申请实施例提供了一种基于眼动交互技术的头戴式显示设备，所述头戴式显示设备包括眼动追踪模块、控制模块和显示模块；
所述眼动追踪模块用于通过所述红外光源照射病人的眼眶；
所述眼动追踪模块或者用于通过摄像头采集所述病人眼眶中的亮点信息和角膜反射信息，并发送至所述头戴式显示设备的控制器，其中，所述亮点信息是所述病人的瞳孔在所述红外光源照射下相对于眼角膜形成的亮点，所述角膜反射信息是所述眼角膜在所述红外光照射下的反射信息；
所述显示模块用于根据所述控制模块的控制指令呈现显示界面；
所述控制模块用于根据所述亮点信息和所述角膜反射信息生成眼动数据，确定所述眼动数据对应在所述头戴式显示设备显示界面中的位置坐标，根据所述位置坐标生成控制指令；基于所述控制指令生成所述病人的需求信息并发送至医护终端，所述医护终端以图像或者音效的形式呈现所述需求信息。
在其中一些实施例中，所述眼动追踪模块还用于通过摄像头采集所述病人眼眶图像，并对所述眼眶图像中的所述亮点信息和所述角膜反射信息进行标记；基于所述标记之后的所述眼眶图像，获取其中所述瞳孔与所述角膜之间的角度并基于所述角度生成所述病人的视线向量；所述控制模块将所述视线向量映射至所述显示界面上生成眼动数据。
相比于相关技术，本申请实施例提供的一种基于眼动交互技术的医护方法和系统，通过眼动追踪装置发射红外光照射病人眼眶，在红外光照射情况下，采集病人瞳孔的亮点信息和角膜反射信息，并根据上述亮点信息和角膜反射信息获取病人的眼动数据；进一步的，根据该眼动数据生成控制指令，基于该控制指令操控该头戴式显示设备，并输出病人的需求信息。最后，医护终端接收该需求信息并以图像或者音效的方式对医护人员呈现该需求信息。通过本申请，解决了相关技术中ICU病人与医护人员的沟通效果较差的问题，病人使用眼动方式实现与医护人员的交互，为医护人员和病人之间的沟通提供了良好的便利性，提升了病人的生存质量。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种基于眼动交互技术的医护方法的应用环境示意图；
图2是根据本申请实施例的一种基于眼动交互技术的医护方法的流程图；
图3是根据本申请实施例的获取眼动数据的流程图；
图4是根据本申请实施例的卡片选择界面的示意图；
图5是根据本申请实施例的一种基于眼动交互技术的医护系统的结构框图；
图6是根据本申请实施例的一种基于眼动交互技术的头戴式显示设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所述技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请提供的一种基于眼动交互技术的医护方法，可以应用在如图1所示的应用环境中，图1是根据本申请实施例的一种基于眼动交互技术的医护方法的应用环境示意图。如图1所示，头戴式显示设备10与医护终端11通过网络进行通信。可选的，可以通过在ICU病房设置工作站来辅助该头戴式显示设备10与医护终端11的通信。对于一些手臂无法活动或者头部受伤的病人，医护人员通过机械手臂或者折臂支架等将头戴式显示设备10固定在病人的头部周围；对于手臂可以活动的病人，则可以由病人自己佩戴。进一步的，病人通过转动自己的眼球与头戴式显示设备10的信息交互，可以传达自己的需求以及进行一定的娱乐活动。其中，该需求可以是要喝水、冷热、肚子疼、小腿疼等；之后，头戴式显示设备10将该需求信息发送至医护终端11，由医护终端11以图像或音频的方式将该需求信息呈现给医护人员。从而实现了ICU病人基于眼动与医护人员的交互，提升了两者间沟通的效率。需要说明的是，本实施例中的头戴式显示设备10可以是VR设备，医护终端11可以是智能手机、平板电脑、台式电脑、笔记本电脑等。
本申请实施例提供了例如一种基于眼动交互技术的医护方法，图2是根据本申请实施例的一种基于眼动交互技术的医护方法的流程图，如图2所示，该流程图包括如下步骤：
S201，眼动追踪装置中的红外光源发出红外光照射病人的眼眶；其中，该眼动追踪装置设置在头戴式显示设备10上，另外，该眼动追踪装置中安装有一个红外装置，可以通过该红外装置在病人眼眶周围产生红外光源，并进一步的通过该红外光源发射红外光照射病人眼眶；
S202，眼动追踪模块通过摄像头采集病人眼眶中的亮点信息和角膜反射信息，并发送至头戴式显示设备10中的控制器，其中，该亮点信息是病人的瞳孔在红外光源照射下相对于眼角膜形成的亮点，角膜反射信息是眼角膜在红外光照射下的呈现的反射信息；需要说明的是，在红外光照射下，人体的瞳孔相对于周围的眼角膜会形成亮点，而角膜会因为视线的变化呈现不同的反射状态。另外，采集该亮点信息与角膜反射信息通常由高速捕捉的摄像机来实现，可选的，采集图像的过程具体包括：高速摄像机采集带有亮点信息以及角膜反射信息的眼框图像，并对眼眶图像中的瞳孔和角膜进行标记之后获取亮点信息和角膜反射信息；
S203，控制器根据亮点信息和角膜反射信息生成眼动数据，确定眼动数据对应在头戴式显示设备10显示界面中的位置坐标，根据位置坐标生成控制指令。在上述步骤S203中，已经获取到带有标记的眼眶图像，进一步的，结合算法通过角膜与瞳孔之间形成的角度来计算两者之间形成的视线向量，并进一步的计算出该视线向量对应在显示界面上的位置坐标；控制器在获取到病人视线对应的位置坐标之后，便可以根据该位置坐标生成操作头显设备显示界面的控制指令，例如，进入主菜单、播放音乐和发送需求等；
S204，控制器基于控制指令生成病人的需求信息并发送至医护终端11，医护终端11以图像或者音效的形式呈现需求信息。其中，病人通过眼动互动发送控制指令后，控制器跟据不同类型的控制指令，可以指示显示界面对病人提供卡片选择界面、模糊选择界面、紧急呼叫按钮以及娱乐界面等，并进一步的在上述多个界面下根据病人的眼动交互数据生成多种需求信息，例如，在卡片选择界面下，可以输出要喝水、要如厕、热冷等需求信息；在模糊选择界面下，则可以输出身体某个部位不舒服的信息；在娱乐界面下，可以使用头戴式显示设备10进行看电影、听音乐和玩游戏等娱乐活动。另外，该需求信息通过网络发送至医护终端11，医护人员通过该医护终端11了解病人的需求并进行相应的处理。
通过上述步骤S201至S204，相比较与相关技术中通过医护人员将写有各种需求的卡片展示给ICU病人，通过观察病人的反应来获取病人需求的方法。本申请实施例通过头戴式显示设备10获取病人的眼动数据，其中，头戴式显示设备10为病人提供多个显示界面，在各个显示界面下根据病人的眼动数据形成病人的需求信息并发送至医护终端11，医护终端11则以音频或者图像的形式将该需求信息呈现给医护人员，医护人员接收到该需求信息后进行相应的处理。从而实现病人通过眼动的方式与医护人员的信息交互。通过本申请实施例，解决了相关技术中ICU病人与医护人员的沟通效果较差的问题，ICU病人通过眼动即可实现与医护人员的沟通，较大的提升了两者间的沟通便捷性；另外，病人还可以通过该头戴式显示设备10进行娱乐活动，提升了病人的生存质量。
在其中一些实施例中，图3是根据本申请实施例的获取眼动数据的流程图，如图3所示，该流程包括如下步骤：
S301，眼动追踪模块通过摄像头采集病人眼眶图像，并对眼眶图像中的亮点信息和角膜反射信息进行标记；
S302，基于标记之后的眼眶图像，获取其中瞳孔与角膜之间的角度并基于该角度生成病人的视线向量；
S303，将视线向量映射至显示界面上生成眼动数据。
在其中一些实施例中，在病人通过眼动交互，基于头戴式显示设备10提供的主菜单界面进入需求选择界面之后，控制器根据位置坐标生成控制指令，基于控制指令生成病人的需求信息包括：
在病人通过眼动交互进入卡片选择界面的情况下，控制器指示显示界面显示卡片选择界面，图4是根据本申请实施例的卡片选择界面的示意图，如图4所示，卡片选择界面包括多个卡片区域，每个卡片区域反映一个需求信息。进一步的，头戴式显示设备10在卡片选择界面下获取眼动数据，并将眼动数据转换为位置坐标，确定位置坐标对应的卡片区域；当位置坐标在卡片区域中连续存在第一预设时间段之后，即相当于，病人连续盯住某个卡片区域经历第一预设时间段之后，即生成与卡片区域对应的控制指令，输出控制指令对应的需求信息并发送至医护终端11，医护终端11通过图像和语音播报的形式传达给医护人员；
在病人通过眼动交互进入模糊选择界面的情况下：控制器指示显示界面显示模糊选择界面，其中，模糊选择界面下显示一张人体轮廓图，该人体轮廓按照人体部位分割为手臂、头部、胸部、肚子、腿部、手掌和脚等多个分割区域；进一步的，头戴式显示设备10在模糊选择界面下获取眼动数据，在眼动数据对应的位置坐标位于分割区域的情况下，即相当于病人盯住人体轮廓图中某个人体部位时，控制器指示显示界面放大该人体部位(分割区域)。同时，控制器指示显示界面在分割区域周围显示例如疼、痒、不适、等多项症状选择信息，在眼动数据对应的位置坐标位于症状选择信息对应区域的情况下，即相当于病人盯住某个症状选择信息的情况下，头戴式显示根据分割区域和症状选择信息生成控制指令，并输出控制指令对应的需求信息。其中，该需求信息可以是头疼、腿部不适、脚痒等。可选的，头戴式显示设备10可以根据紧急程度对需求信息配置不同的级别标签。最后，上述需求信息被医护终端11接收并通过图像和语音播报的形式传达给医护人员。
在病人通过医护终端11进入娱乐界面的情况下：控制器指示显示界面显示娱乐界面，在娱乐界面下获取病人的眼动数据；控制器基于眼动数据对应的位置坐标，指示显示界面显示与位置坐标对应的娱乐界面，其中，该娱乐界面包括视频播放界面、音乐播放界面和游戏界面；在娱乐界面下获取病人的眼动数据，基于眼动数据的位置坐标生成娱乐界面下的控制指令。
在其中一些实施例中，针对于病人的一些紧急需求，通过上述卡片选择界面或者模糊选择界面来发送需求信息的响应速度普遍较慢。因此，在本实施例中，头戴式显示设备10的显示界面在预设位置长期显示紧急呼叫区域，在眼动数据对应的位置坐标位于紧急呼叫区域且连续存在第二预设时间段之后，即相当于病人在出现紧急情况时，只需连续盯住该紧急呼叫区域达第二预设时间段之后，头戴式显示设备10立即生成紧急呼叫信号类型的需求信息并将其发送至医护工作台，由医护工作台输出紧急响应信号。医护人员在接收到该紧急响应信号后立即处理病人紧急情况。需要说明的是，为防止病人误触发，上述第二预设时间段通常设置为较长的时间，例如5秒。另外，医护人员也可以通过医护终端11修改该第二预设时间段；上述医护工作台设置在医护人员的值班工位旁边，从而实现在出现紧急情况时，能够快速地将紧急信号发送给医护人员。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种基于眼动交互技术的医护系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的一种基于眼动交互技术的医护系统的结构框图，如图5所示，该系统包括：头戴式显示设备51和医护终端52；
其中，头戴式显示设备51包括眼动追踪模块、控制模块和显示模块；
眼动追踪模块用于在病人的眼眶周围构建红外光源，通过红外光源照射病人的眼眶；
眼动追踪模块或者用于通过摄像头采集病人眼眶中的亮点信息和角膜反射信息，并发送至控制模块，其中，该亮点信息是病人的瞳孔在红外光源照射下相对于病人的眼角膜形成的亮点，角膜反射信息是眼角膜在红外光照射下的反射信息；
显示模块用于根据控制模块的指令呈现显示界面，其中，显示界面包括：主界面、卡片选择界面、模糊选择界面和娱乐界面；
控制模块用于根据亮点信息和角膜反射信息生成眼动数据，确定眼动数据对应在显示界面的位置坐标，根据位置坐标生成控制指令；基于控制指令生成病人的需求信息并发送至医护终端52；
医护终端52用于以图像或者音效的形式呈现需求信息。
本实施例还提供了一种基于眼动交互技术的头戴式显示设备，图6是根据本申请实施例的一种基于眼动交互技术的头戴式显示设备的结构框图，如图6所示，该头戴式显示设备包括眼动追踪模块61、控制模块62和显示模块63；
眼动追踪模块61用于在病人的眼眶周围构建红外光源，通过红外光源照射病人的眼眶；
眼动追踪模块61或者用于通过摄像头采集病人眼眶中的亮点信息和角膜反射信息，并发送至控制模块62，其中，该亮点信息是病人的瞳孔在红外光源照射下相对于病人的眼角膜形成的亮点，角膜反射信息是眼角膜在红外光照射下的反射信息；
显示模块63用于根据控制模块62的指令呈现显示界面；
控制模块62用于根据亮点信息和角膜反射信息生成眼动数据，确定眼动数据对应在显示界面的位置坐标，根据位置坐标生成控制指令；基于控制指令生成病人的需求信息并发送至医护终端，医护终端以图像或者音效的形式呈现需求信息。
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于眼动交互技术的医护方法，其特征在于，应用在头戴式显示设备上，该头戴式显示设备包括眼动追踪装置，所述方法包括：
所述眼动追踪装置中的红外光源发出红外光照射病人的眼眶；
所述眼动追踪模块通过摄像头采集所述病人眼眶中的亮点信息和角膜反射信息，并发送至所述头戴式显示设备的控制器，其中，所述亮点信息是所述病人的瞳孔在所述红外光源照射下相对于眼角膜形成的亮点，所述角膜反射信息是所述眼角膜在所述红外光照射下的反射信息；
所述控制器根据所述亮点信息和所述角膜反射信息生成眼动数据，确定所述眼动数据对应在所述头戴式显示设备显示界面中的位置坐标，根据所述位置坐标生成控制指令；
所述控制器基于所述控制指令生成所述病人的需求信息并发送至医护终端，所述医护终端以图像或者音效的形式呈现所述需求信息。
2.根据权利要求1所述的方法，其特征在于，所述控制器根据所述亮点信息和所述角膜反射信息生成所述病人的眼动数据包括：
所述眼动追踪模块通过所述摄像头采集所述病人的眼眶图像，并对所述眼眶图像中的所述亮点信息和所述角膜反射信息进行标记；
基于标记之后的所述眼眶图像，获取其中所述瞳孔与所述眼角膜之间的角度并基于所述角度生成所述病人的视线向量；
所述控制器将所述视线向量映射至所述显示界面上生成所述眼动数据。
3.根据权利要求1所述的方法，其特征在于，所述控制器根据所述位置坐标生成控制指令，基于所述控制指令生成所述病人的需求信息包括：
所述控制器指示所述显示界面显示卡片选择界面，其中，所述卡片选择界面包括多个卡片区域；
在所述卡片选择界面下获取所述眼动数据，并将所述眼动数据转换为所述位置坐标；
所述位置坐标位于所述卡片区域中且连续存在第一预设时间段之后，所述控制器生成与所述卡片区域对应的控制指令，并输出所述控制指令对应的所述需求信息。
4.根据权利要求1所述的方法，其特征在于，所述控制器根据所述位置坐标生成控制指令，基于所述控制指令生成所述病人的需求信息还包括：
所述控制器指示所述显示界面显示模糊选择界面，其中，所述模糊选择界面显示人体轮廓图，所述人体轮廓按照人体部位分割为多个分割区域；
所述控制器在所述模糊选择界面下获取所述眼动数据，在所述眼动数据对应的位置坐标位于其中一个所述分割区域的情况下，所述控制器指示所述显示界面放大所述分割区域；
所述控制器指示所述显示界面在所述分割区域附近显示多项症状选择信息，在所述眼动数据对应的位置坐标位于所述症状选择信息对应区域的情况下，所述控制器基于所述分割区域和所述症状选择信息生成所述控制指令，并输出所述控制指令对应的所述需求信息。
5.根据权利要求1所述的方法，其特征在于，所述控制器根据所述位置坐标生成控制指令，基于所述控制指令生成所述病人的需求信息还包括：
所述控制器指示所述显示界面在预设位置长期显示紧急呼叫区域，在所述眼动数据对应的所述位置坐标位于所述紧急呼叫区域且连续存在第二预设时间段之后，所述控制器生成紧急呼叫信号类型的所述需求信息。
6.根据权利要求1所述的方法，其特征在于，所述确定所述眼动数据对应在所述头戴式显示设备的显示界面的位置坐标，根据所述位置坐标生成控制指令包括：
所述控制器指示所述显示界面显示娱乐选择界面，在所述娱乐选择界面下获取病人的所述眼动数据；
所述控制器基于所述眼动数据对应的所述位置坐标，指示所述显示界面显示与所述位置坐标对应的娱乐界面；
在所述娱乐界面下获取病人的所述眼动数据，基于所述眼动数据对应的所述位置坐标生成所述娱乐界面下的所述控制指令。
7.一种基于眼动交互技术的医护系统，其特征在于，所述系统包括：头戴式显示设备和医护终端；
所述头戴式显示设备包括眼动追踪模块、控制模块和显示模块；
所述眼动追踪模块用于通过所述红外光源照射病人的眼眶；
所述眼动追踪模块或者用于通过摄像头采集所述病人眼眶中的亮点信息和角膜反射信息，并发送至所述头戴式显示设备的控制器，其中，所述亮点信息是所述病人的瞳孔在所述红外光源照射下相对于眼角膜形成的亮点，所述角膜反射信息是所述眼角膜在所述红外光照射下的反射信息；
所述显示模块用于根据所述控制模块的控制指令呈现显示界面；
所述控制模块用于根据所述亮点信息和所述角膜反射信息生成眼动数据，确定所述眼动数据对应在所述头戴式显示设备显示界面中的位置坐标，根据所述位置坐标生成控制指令；基于所述控制指令生成所述病人的需求信息并发送至医护终端；
所述医护终端用于以图像或者音效的形式呈现所述需求信息。
8.根据权利要求7所述的系统，其特征在于，所述显示界面包括：主界面、卡片选择界面、模糊选择界面和娱乐界面。
9.一种基于眼动交互技术的头戴式显示设备，其特征在于，所述头戴式显示设备包括眼动追踪模块、控制模块和显示模块；
所述眼动追踪模块用于通过所述红外光源照射病人的眼眶；
所述眼动追踪模块或者用于通过摄像头采集所述病人眼眶中的亮点信息和角膜反射信息，并发送至所述头戴式显示设备的控制器，其中，所述亮点信息是所述病人的瞳孔在所述红外光源照射下相对于眼角膜形成的亮点，所述角膜反射信息是所述眼角膜在所述红外光照射下的反射信息；
所述显示模块用于根据所述控制模块的控制指令呈现显示界面；
所述控制模块用于根据所述亮点信息和所述角膜反射信息生成眼动数据，确定所述眼动数据对应在所述头戴式显示设备显示界面中的位置坐标，根据所述位置坐标生成控制指令；基于所述控制指令生成所述病人的需求信息并发送至医护终端，所述医护终端以图像或者音效的形式呈现所述需求信息。
10.根据权利要求9所述的头戴式显示设备，其特征在于，所述眼动追踪模块还用于通过摄像头采集所述病人眼眶图像，并对所述眼眶图像中的所述亮点信息和所述角膜反射信息进行标记；基于所述标记之后的所述眼眶图像，获取其中所述瞳孔与所述角膜之间的角度并基于所述角度生成所述病人的视线向量；所述控制模块将所述视线向量映射至所述显示界面上生成眼动数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110548106.5A CN113359975A (zh) | 2021-05-19 | 2021-05-19 | 一种基于眼动交互技术的医护方法、系统和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110548106.5A CN113359975A (zh) | 2021-05-19 | 2021-05-19 | 一种基于眼动交互技术的医护方法、系统和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113359975A true CN113359975A (zh) | 2021-09-07 |
Family
ID=77527045
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110548106.5A Pending CN113359975A (zh) | 2021-05-19 | 2021-05-19 | 一种基于眼动交互技术的医护方法、系统和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113359975A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930252A (zh) * | 2012-10-26 | 2013-02-13 | 广东百泰科技有限公司 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
| CN103838378A (zh) * | 2014-03-13 | 2014-06-04 | 广东石油化工学院 | 一种基于瞳孔识别定位的头戴式眼睛操控系统 |
| CN104090659A (zh) * | 2014-07-08 | 2014-10-08 | 金纯� | 基于人眼图像和视线追踪的操作指针指示控制设备 |
| CN206209594U (zh) * | 2016-08-29 | 2017-05-31 | 上海青研科技有限公司 | 一种基于多维坐标的眼球追踪方法的装置 |
| CN107247511A (zh) * | 2017-05-05 | 2017-10-13 | 浙江大学 | 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置 |
-
2021
- 2021-05-19 CN CN202110548106.5A patent/CN113359975A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102930252A (zh) * | 2012-10-26 | 2013-02-13 | 广东百泰科技有限公司 | 一种基于神经网络头部运动补偿的视线跟踪方法 |
| CN103838378A (zh) * | 2014-03-13 | 2014-06-04 | 广东石油化工学院 | 一种基于瞳孔识别定位的头戴式眼睛操控系统 |
| CN104090659A (zh) * | 2014-07-08 | 2014-10-08 | 金纯� | 基于人眼图像和视线追踪的操作指针指示控制设备 |
| CN206209594U (zh) * | 2016-08-29 | 2017-05-31 | 上海青研科技有限公司 | 一种基于多维坐标的眼球追踪方法的装置 |
| CN107247511A (zh) * | 2017-05-05 | 2017-10-13 | 浙江大学 | 一种基于虚拟现实中眼动捕捉的跨物体交互方法与装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220331050A1 (en) | Systems and methods for changing display overlay of surgical field view based on triggering events | |
| US20190239850A1 (en) | Augmented/mixed reality system and method for the guidance of a medical exam | |
| US10269180B2 (en) | Information processing apparatus and information processing method, display apparatus and display method, and information processing system | |
| US9916691B2 (en) | Head mounted display and control method for head mounted display | |
| CN103732297B (zh) | 增强现实活动范围的治疗系统及其操作方法 | |
| KR20190004088A (ko) | 생체신호연동 가상현실 교육 시스템 및 방법 | |
| EP3388921A1 (en) | Control device of head mounted display; operation method and operation program thereof; and image display system | |
| KR20230133940A (ko) | 증강 현실 및 가상 현실 안경류를 사용한 이미징 수정, 디스플레이 및 시각화 | |
| CN117251053A (zh) | 基于外部条件的可穿戴显示装置的自动控制 | |
| KR20180045278A (ko) | 생체신호연동 가상현실 인지재활 시스템 | |
| US20160148052A1 (en) | Information processing apparatus, information processing method, and information processing system | |
| JP2018519601A (ja) | アイフィードバックによるコミュニケーションを可能にするシステム及び方法 | |
| EP3090322A1 (en) | Systems and methods for gaze-based media selection and editing | |
| KR20180130834A (ko) | 운동 치료를 위한 동작 가이드 제공 방법 및 장치 | |
| US20230395250A1 (en) | Customization, troubleshooting, and wireless pairing techniques for surgical instruments | |
| CN104270623B (zh) | 一种显示方法及电子设备 | |
| CN105943327B (zh) | 具有防眩晕设备的视力锻炼保健系统 | |
| JP6611145B1 (ja) | 三人称視点ｖｒシステム及びその使用方法 | |
| TWI636768B (zh) | Surgical assist system | |
| CN113359975A (zh) | 一种基于眼动交互技术的医护方法、系统和电子设备 | |
| JP6668811B2 (ja) | 訓練装置、訓練方法、プログラム | |
| KR102202357B1 (ko) | 햅틱 디바이스의 자극 반응형 가상객체 증강 시스템 및 방법 | |
| CN111193830B (zh) | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 | |
| KR20230020246A (ko) | 인공지능 기반 모니터링을 통한 환자 케어 방법 및 시스템 | |
| CA3194439A1 (en) | Systems and methods for displaying augmented anatomical features |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210907 |