CN108279778A - 用户交互方法、装置以及系统 - Google Patents
用户交互方法、装置以及系统 Download PDFInfo
- Publication number
- CN108279778A CN108279778A CN201810145150.XA CN201810145150A CN108279778A CN 108279778 A CN108279778 A CN 108279778A CN 201810145150 A CN201810145150 A CN 201810145150A CN 108279778 A CN108279778 A CN 108279778A
- Authority
- CN
- China
- Prior art keywords
- target
- user
- interaction
- target user
- interaction options
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Abstract
公开一种用户交互方法,应用于医疗终端,包括:通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;确定所述视觉焦点是否落入所述若干交互选项的交互区域;当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互操作。
Description
技术领域
本说明书涉及计算机应用领域,尤其涉及一种用户交互方法、装置以及系统。
背景技术
在一些移动医疗的应用场景中,医疗服务机构通常会为入院的患者统一配发医疗终端,从而对于医疗服务机构而言,将可以以患者为中心,通过患者持有的医疗终端更便捷的面向患者提供各式各样的医疗服务,以及对患者进行更加高效的管理。
发明内容
本申请提出一种用户交互方法,应用于医疗终端,所述方法包括:
通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;
确定所述视觉焦点是否落入所述若干交互选项的交互区域;
当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互操作。
可选的,所述视觉焦点为所述目标用户在所述交互界面中的注视映射点;
所述通过搭载的摄像头对所述目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点,包括:
通过搭载的摄像头对所述目标用户进行目光检测,确定所述目标用户的目光注视方向以及所述目标用户的注视距离;
基于确定出的所述目标用户的目光注视方向以及所述注视距离,计算出所述目标用户在所述交互界面中的注视映射点。
可选的,所述确定所述视觉焦点是否落入所述若干交互选项对应的交互区域,包括:
获取所述视觉映射点的坐标;以及,
获取所述若干交互选项的交互区域对应的坐标范围;
确定所述视觉映射点的坐标是否落入所述若干交互选项的交互区域对应的坐标范围。
可选的,所述触发执行与所述目标交互选项对应的交互操作之前,还包括:
统计所述视觉焦点在所述目标交互选项的交互区域中的停留时长;
确定所述停留时长是否大于预设阈值;
如果所述停留时长达到预设阈值,则选中所述目标交互选项。
可选的,还包括:
通过所述交互界面输出所述目标交互选项被选中的交互提示。
可选的,所述触发执行与所述目标交互选项对应的交互操作,包括:
识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户;如果所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户,则触发执行与所述目标交互选项对应的交互操作。
可选的,所述识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户,包括:
通过搭载的摄像头采集所述目标用户的面部图像;
针对采集到的面部图像进行人脸识别,并基于人脸识别结果确定所述目标用户是否为,与持有所述医疗终端的用户对应的第三方责任用户。
可选的,所述识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户,包括:
检测所述目标用户持有的手持终端发出的红外信号,并识别检测到的红外信号对应的红外运动轨迹;
确定识别出的红外运动轨迹,是否匹配由持有所述医疗终端的用户对应的第三方责任用户预设的红外运动轨迹;
如果识别出的红外运动轨迹匹配所述预设的红外运动轨迹,确定所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户。
可选的,所述第三方责任用户包括,为持有所述医疗终端的患者指定的责任医护人员。
可选的,所述触发执行与所述目标交互选项对应的交互操作,包括以下中的任一:
触发执行与所述目标交互选项关联的交互事项;
跳转至所述目标交互选项关联的交互界面,通过所述交互界面输出所述目标交互选项所指示的目标信息;
跳转至所述目标交互选项关联的交互界面,获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
可选的,还包括:
如果所述目标交互选项关联了交互界面,将所述交互界面同步至所述目标用户持有的手持终端,在所述目标用户持有的手持终端上通过所述交互界面向所述目标用户输出所述目标交互选项所指示的目标信息;或者,由所述目标用户持有的手持终端获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
本申请还提出一种用户交互装置,应用于医疗终端,所述装置包括:
检测模块,通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;
确定模块,确定所述视觉焦点是否落入所述若干交互选项的交互区域;
执行模块,当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互操作。
可选的,所述视觉焦点为所述目标用户在所述交互界面中的注视映射点;
所述检测模块:
通过搭载的摄像头对所述目标用户进行目光检测,确定所述目标用户的目光注视方向以及所述目标用户的注视距离;
基于确定出的所述目标用户的目光注视方向以及所述注视距离,计算出所述目标用户在所述交互界面中的注视映射点。
可选的,所述确定模块:
获取所述视觉映射点的坐标;以及,
获取所述若干交互选项的交互区域对应的坐标范围;
确定所述视觉映射点的坐标是否落入所述若干交互选项的交互区域对应的坐标范围。
可选的,所述确定模块进一步:
在触发执行与所述目标交互选项对应的交互事项之前,统计所述视觉焦点在所述目标交互选项的交互区域中的停留时长;
确定所述停留时长是否大于预设阈值;
如果所述停留时长达到预设阈值,则选中所述目标交互选项。
可选的,所述确定模块进一步:
通过所述交互界面输出所述目标交互选项被选中的交互提示。
可选的,所述执行模块:
识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户;如果所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户,则触发执行与所述目标交互选项对应的交互操作。
可选的,所述执行模块:
通过搭载的摄像头采集所述目标用户的面部图像;
针对采集到的面部图像进行人脸识别,并基于人脸识别结果确定所述目标用户是否为,与持有所述医疗终端的用户对应的第三方责任用户。
可选的,所述执行模块:
检测所述目标用户持有的手持终端发出的红外信号,并识别检测到的红外信号对应的红外运动轨迹;
确定识别出的红外运动轨迹,是否匹配由持有所述医疗终端的用户对应的第三方责任用户预设的红外运动轨迹;
如果识别出的红外运动轨迹匹配所述预设的红外运动轨迹,确定所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户。
可选的,所述第三方责任用户包括,为持有所述医疗终端的患者指定的责任医护人员。
可选的,所述执行模块进一步执行以下中的任一:
触发执行与所述目标交互选项关联的交互事项;
跳转至所述目标交互选项关联的交互界面,通过所述交互界面输出所述目标交互选项所指示的目标信息;
跳转至所述目标交互选项关联的交互界面,获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
可选的,所述执行模块进一步:
如果所述目标交互选项关联了交互界面,将所述交互界面同步至所述目标用户持有的手持终端,在所述目标用户持有的持终端终端上通过所述交互界面向所述目标用户输出所述目标交互选项所指示的目标信息;或者,由所述目标用户持有的持终端终端获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
本申请还提出一种电子设备,包括:
处理器;
用于存储机器可执行指令的存储器;
其中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器被促使:
通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;
确定所述视觉焦点是否落入所述若干交互选项的交互区域;
当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互事项。
本说明书实施例所提供的技术方案,通过在医疗服务机构为入院患者配发的医疗终端上,实现基于目光检测的非接触式交互方式,一方面,可以实现更加自然的交互,降低交互复杂度;另一方面,可以实现在用户不与医疗终端进行接触的情况下完成交互,避免接触式交互造成的设备污染。
附图说明
图1是本说明书一实施例示出的一种相关技术中以条形码作为交互入口的交互界面的示意图;
图2是本说明书一实施例示出的一种用户交互方法的流程图;
图3是本说明书一实施例示出的一种在医疗终端上提供的交互界面的示意图;
图4是本说明书一实施例示出的一种由医护人员填写“医嘱暂停原因”的交互界面的示意图;
图5是本说明书一实施例示出的一种“导航菜单”的交互界面的示意图;
图6是本说明书一实施例示出的另一种“导航菜单”的交互界面的示意图;
图7是本说明书一实施例提供的承载一种用户交互装置的电子设备所涉及的硬件结构图;
图8是本说明书一实施例提供的一种所述用户交互装置的逻辑框图。
具体实施方式
在移动医疗的场景下,医护人员通常可以通过医疗服务机构为患者统一配发的医疗终端,来面向患者提供各式各样的医疗服务,以及对患者进行管理。
因此,对于医护人员而言,在日常的临床护理过程中,难免需要在患者持有的医疗终端上执行相应的交互操作,直接与患者持有的医疗终端进行交互。
而鉴于移动医疗场景的具体特点,医疗终端上所支持的交互方式,通常需要满足以下两方面的需求:
一方面,由于医疗终端上会涉及一些比较专业的医疗护理操作;比如,患者的生理指标录入、医嘱信息录入等;对于医疗终端而言,除了一些与面向患者提供的诸如娱乐、日常呼叫等基础的服务相关的交互操作以外,通常需要严格限制患者在医疗终端上的交互,对于一些比较专业的医疗护理操作,并不面向患者开放相关的交互权限。因此,医疗终端所支持的交互方式,要能够方便的对患者的交互权限进行限制。
另一方面,由于在医疗场景下,他人与设备直接进行接触,可能会造成设备的交叉污染;因此,医疗终端所支持的交互方式,需要体现出非接触式交互的特点。
基于以上两方面的需求,在相关技术中,通常是通过在交互界面中提供若干个交互选项,然后为每一个交互选项提供一个与之对应的图形码;比如,二维码或者条形码等。而医护人员需要与患者持有的医疗终端进行交互时,可以通过专用的扫描设备,扫描交互界面中与交互选项对应的图形码的方式,在该医疗终端上完成与该交互选项对应的交互操作。
例如,请参见图1,图1为示出的一种相关技术中以条形码作为交互入口的交互界面的示意图。
如图1所示,上述交互界面具体可以是患者持有的医疗终端上的导航菜单界面。
在该界面中可以预先提供诸如“患者信息”、“体征录入”、“入院评估单”、“医嘱执行”等交互操作对应的交互选项,同时每一个交互选项还可以提供一个与之对应的条形码。而医护人员需要在患者持有的医疗终端上完成相应的交互操作时,可以通过诸如“扫描枪”等扫描设备,扫描与相应的交互选项对应的条形码,然后将从条形码中解析出的信息上传至服务端,再由服务端向该医疗终端下发相应的交互指令,来触发在该医疗终端上完成相应的交互操作。比如,医护人员需要查看患者信息时,可以通过扫描设备扫描与“患者信息”交互选项对应的条形码,然后将从条形码中解析出的信息上传至服务端,再由服务端向该医疗终端下发相应的跳转至患者信息界面的指令,来触发医疗终端跳转至患者信息界面,向医护人员输出该患者的患者信息。
通过这种方式,一方面,由于医疗终端上这类以图形码作为交互入口的交互选项,需要通过医护人员持有的专用的扫描设备进行扫描来触发执行对应的交互操作;因此,可以有效的限制患者对这类交互选项的交互权限。比如,以图1为例,对于患者而言,由于并不持有专用的扫描设备,因此将不具有与“体征录入”、“医嘱执行”等比较专业的医疗护理操作相关的交互权限。
另一方面,由于以上的交互方式,是一种通过扫描设备扫描图形码的非接触式交互,因此可以有效的避免医护人员在与患者的医疗终端直接进行接触,而造成的交叉污染。
然而,以上示出的以图形码作为交互入口,通过扫描交互选项的图形码来触发执行对应的交互操作的交互方式,虽然在某种程度上,能够满足以上示出的两方面的交互需求,但由于在交互过程中,医护人员需要使用扫描设备扫描图形码,在操作上较为复杂。
而且,在整个交互过程中,扫描设备还需要与服务端进行通信,将从图形码中解析出的信息上传至服务端;以及,服务端还需要与被扫描的医疗终端进行通信,向该医疗终端下发相应的指令;因此,在实际应用中,可能会存在由于网络通信环境较差,而造成的交互延时问题。
有鉴于此,本申请提出一种不再以图形码作为各个交互选项的交互入口,而是通过在医疗终端中引入基于目光检测的非接触式交互方式。
在实现时,医疗终端仍然可以通过交互界面提供若干个交互选项,每一个交互选项可以分别对应一个预设大小的交互区域。
当目标用户与患者持有的医疗终端进行交互时,医疗终端可以通过搭载的摄像头对目标用户进行目光检测,确定该目标用户在上述交互界面中的视觉焦点,并确定该视觉焦点是否落入上述各个交互选项所在的交互区域。
如果上述视觉焦点落入任一目标交互选项的交互区域时,此时医疗终端可以立即触发执行与该目标交互区域对应的交互操作。
在以上技术方案中,通过在医疗服务机构为入院患者配发的医疗终端上,实现基于目光检测的非接触式交互方式,一方面,可以实现更加自然的交互,降低交互复杂度;另一方面,可以实现在用户不与医疗终端进行接触的情况下完成交互,避免接触式交互造成的设备污染。
下面通过具体实施例并结合具体的应用场景对本说明书进行描述。
请参考图2,图2是本说明书一实施例提供的一种用户交互方法,应用于医疗终端,执行以下步骤:
步骤202,通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;
步骤204,确定所述视觉焦点是否落入所述若干交互选项的交互区域;
步骤206,当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互操作。
上述医疗终端,可以包括搭载了用于进行目光检测的摄像头组件,能够面向患者提供医疗服务的任意形态的终端设备;
其中,上述医疗终端可以是由患者持有的便携式的移动终端;比如,智能手机,或者掌上电脑(Personal Digital Assistant,PDA);也可以是固定安装于患者所处的医疗环境内的非移动终端;比如,安装在患者病房中的床旁主机。
上述摄像头组件可以包括能够检测到被拍摄目标的深度信息的摄像头硬件;例如,在实际应用中,上述摄像头组件具体可以是支持目光检测功能的双目摄像头、深度摄像头、景深摄像头等摄像头硬件。
上述目标用户,具体可以包括需要在患者持有的医疗终端上完成相应的交互操作的第三方责任用户;例如,在移动医疗的场景下,上述目标用户具体可以是医疗服务机构为患者指定的责任医护人员。
上述交互界面,具体可以包括提供了与一些比较专业的医疗护理操作对应的交互选项的医护界面;例如,在移动医疗的场景下,上述交互界面具体可以是提供了一些与需要由为患者指定的责任医护人员来触发执行,并且需要严格限制患者的交互权限的交互操作相关的交互选项的医护界面。
请参见图3,图3为本申请示出的一种在患者持有的医疗终端上提供的交互界面的示意图。
如图3所示,在上述交互界面中可以提供若干与需要由医护人员来触发执行的交互操作对应的交互选项。对于每一个交互选项而言,可以不再提供一个与各交互选项对应的图形码作为交互入口,而是分别对应一个预设大小范围的目光交互区域,当医护人员的视觉焦点落入该目光交互区域,则可以选中对应的交互选项进而触发执行与该交互选项对应的交互操作。例如,如图3所示,每一个目光交互选项所在的矩形范围区域,即为该目光交互选项的有效交互区域。
其中,各交互选项对应的目光交互区域的范围大小,在本申请中不进行特别限定;
例如,在实际应用中,为了避免通过目光控制交互而造成的误操作的问题,可以将各个交互选项的目光交互区域设置为一个较大的区域范围,同时保持各个交互选项的目光交互区域之间没有交集,并且保持一定的距离(保持一定的距离是为了防止用户的视觉焦点同时落入两个目光交互区域的交叉区域,无法确定视觉焦点落入的交互区域)。
以下以上述目标用户为患者的责任医护人员为例,对责任医护人员通过目光控制在患者持有的医疗终端上触发执行相应的医护操作的过程进行详细描述。
在初始状态下,当患者入住后,医疗服务机构可以结合患者的具体病情,为患者指定责任医护人员,并将患者的身份信息与指定的责任医护人员的信息的对应关系,录入到上述服务端进行统一存储。
同时,对于入住的患者,可以基于自己的身份信息,自主的在配发的医疗终端上完成登录,或者在医护人员的协助下,在配发的医疗终端上完成登录。
而对于医护人员而言,在日常的临床护理过程中,如果需要在患者持有的医疗终端上执行相应的交互操作,此时患者可以采用传统的接触式的交互方式,与医疗终端进行交互,来触发该医疗终端输出相应的交互界面;例如,医护人员可以告知患者,需要在其持有的医疗终端上完成相应的医护操作,由患者通过诸如触摸等传统的接触式交互方式,手动的在医护终端上打开对应的交互界面。
当患者持有的医疗终端输出相应的交互界面后,此时医护人员可以通过注视患者持有的医疗终端上输出的交互界面上提供的该交互操作对应的交互选项的方式,在该医疗终端上触发执行与该交互选项对应的交互操作。
当然,在实际应用中,除了以上示出的由医护人员告知患者,由患者通过传统的接触式交互方式,打开上述交互界面的实施方式以外,医护人员也可以通过目光控制等非接触式的交互方式,来打开上述交互界面,在本申请中不进行特别限定。
当上述医疗终端输出相应的交互界面后,此时上述医疗终端可以立即启动搭载的摄像头组件,对医护人员进行目光检测,确定该医护人员在上述交互界面中的视觉焦点。
其中,上述视觉焦点,具体是指医护人员注视该交互界面时,医护人员的视线延伸到该交互界面,与该交互界面相交时形成的注视映射点。
在实现时,医疗终端首先可以通过搭载的摄像头组件对上述医护人员进行目光检测,确定出该医护人员的目光注视方向以及该医护人员的注视距离。上述注视距离,具体可以是指医护人员的双眼,与上述交互界面之间的水平距离,在实际应用中,上述注视距离可以用注视交互界面的医护人员的双眼与摄像头之间的距离来表示。
其中,摄像头组件检测医护人员的目光注视方向和医护人员的注视距离的具体过程,在本申请中不再进行详述,本领域技术人员在将本申请的技术方案付诸实现时,可以参考相关技术中的记载。
当摄像头组件确定出该医护人员的目光注视方向以及注视距离后,可以基于确定出的目光注视方向以及注视距离进一步计算出该医护人员在该交互界面中的注视映射点;
例如,摄像头组件可以基于医护人员的目光注视方向换算出医护人员的目光注视方向,与交互界面所形成的夹角角度,而后可以基于该夹角角度以及上述注视距离,进一步换算出当医护人员的视线延伸到交互界面,与该交互界面相交时的视觉映射点。
当医疗终端通过搭载的摄像头组件确定出医护人员在上述交互界面中的视觉映射点后,此时可以进一步确定该视觉映射点是否落入了上述交互界面中提供的若干交互选项所在的视觉交互区域。
在实现时,医疗终端可以获取上述视觉映射点的坐标,以及获取上述交互界面中各个交互选项的视觉交互区域所对应的坐标范围,然后可以将上述视觉映射点的坐标,依次与各个交互选项的视觉交互区域所对应的坐标范围进行匹配,来确定该视觉映射点是否落入了各个视觉交互区域所对应的坐标范围。
如果上述视觉映射点落入了任一目标交互区域所对应的坐标范围时,表明上述医护人员的视觉焦点落入了该目标交互区域,此时该目标交互区域对应的交互操作,为上述医护人员想要在上述医疗终端上触发执行的交互操作;在这种情况下,上述医疗终端可以在系统中触发执行与该目标交互选项对应的交互操作。
其中,在示出的一种实施方式中,为了避免医护人员的误操作,在触发执行与上述目标交互选项对应的交互操作之前,还可以进一步引入视觉焦点在交互区域的超时停留机制,来选中该目标交互区域。
在这种情况下,医疗终端可以预设一个停留时长阈值。当确定用户的视觉焦点落入了上述目标交互区域后,可以进一步统计视觉焦点在该目标交互区域中的停留时长,并确定该停留时长是否达到该停留时长阈值;如果该停留时长达到了该停留时长阈值,可以立即选中该目标交互区域,然后再触发执行与该目标交互区域对应的目标交互选项。当然,如果该停留时长未达到该停留时长阈值,此时医疗终端可以不对该医护人员对交互界面的注视行为进行响应。
在示出的另一种实施方式中,当系统选中了上述目标交互区域后,为了使医护人员可以直观的在上述交互界面中查看到当前“注视”的交互选项,还可以通过上述交互界面输出上述目标交互选项被选中的交互提示。
其中,上述交互提示的具体类型,在本申请中不进行具体限定;例如,在一种实现方式中,可以在上述目标交互选项所在的交互区域中,显示一个选中的标记。在另一种实现方式中,也可以将上述目标交互选项所在的交互区域高亮显示,或者以区域于其它交互选项的色彩进行显示,使得“注视”该交互界面的医护人员,可以直观的查看到被注视的目标交互选项。
在本申请中,医疗终端在触发执行与上述目标交互选项对应的交互操作时,还可以进一步识别上述医护人员是否为持有该医疗终端的患者的责任医护人员,来确认本次交互的发起者是否为持有该医疗终端的患者的责任医护人员;如果识别出上述医护人员为持有该医疗终端的患者的责任医护人员,则立即触发执行与该目标交互选项对应的交互操作;反之,如果上述医护人员并不是持有该医疗终端的患者的责任医护人员,此时医疗终端可以不对该医护人员对交互界面的注视行为进行响应。
其中,在本申请中,识别上述医护人员是否为与持有上述医疗终端的用患者的责任医护人员的身份识别过程,在本申请中不进行特别的限定。
在示出的一种实施方式中,上述医疗终端可以通过人脸识别来确认注视该交互界面的医护人员的身份。
在这种情况下,医疗终端可以通过搭载的摄像头组件,采集该医护人员的面部图像,并针对采集到的面部图像进行人脸识别;其中,医疗终端对采集到的该医护人员的面部图像进行人脸识别的详细实施过程,在本申请中不再进行详述,本领域技术人员在将本申请的技术方案付诸实现时,可以参考相关技术中的记载。
当完成人脸识别后,该医疗终端可以进一步基于人脸识别结果来确定该医护人员,是否为持有该医疗终端的患者的责任医护人员;
例如,由于服务端已经保存了该患者的身份信息与指定的责任医护人员的信息的对应关系,因此医疗终端可以在通过人脸识别识别出该医护人员的身份后,进一步将该医护人员的身份信息,与服务端保存的为该患者指定的责任医护人员的信息进行比对;如果识别出的该医护人员的身份信息,与服务端保存的责任医护人员的信息一致,此时可以确定该医护人员为该患者的责任医护人员。
在示出的一种实施方式中,上述医疗终端也可以通过与上述医护人员持有的手持终端进行交互,来确认注视该交互界面的医护人员的身份。其中,上述手持终端,可以包括面向医护人员提供医疗服务的任意形态的便携式的终端设备;比如,扫描枪、可穿戴设备等。
在这种情况下,上述手持终端可以搭载红外发射硬件,而上述医疗终端可以搭载红外检测硬件。并且,持有该医疗终端的患者的责任医护人员,还可以通过服务端预先设定一个能够代表自己身份的红外运动轨迹。当上述医疗终端需要识别该医护人员的身份时,可以通过搭载的红外检测硬件,检测上述手持终端通过搭载的红外发射硬件发出的红外信号,并识别检测到的红外信号对应的红外运动轨迹;然后,可以将检测到的红外运动轨迹与上述责任医护人员预先设定的能够代表自身身份的红外运动轨迹进行匹配;如果识别出的红外运动轨迹,与上述责任医护人员预先设定的红外运动轨迹匹配,则可以确定该责任医护人员为该患者的责任医护人员。
其中,需要说明的是,上述红外运动轨迹具体可以是医护人员使用手持终端,划出的一个特殊的符号、字符或者其它具有特殊形状的,能够唯一标识医护人员身份的图形标识。
在本申请中,当通过以上确定过程,最终确定出注视上述医疗终端的医护人员,为持有该医疗终端的患者对应的责任医护人员,此时该医疗终端可以立即在系统中触发执行与上述目标交互选项对应的交互操作。
在示出的一种实施方式中,与上述交互界面中的交互选项,通常可以包括以下几类:
第一类,未关联交互界面,仅直接关联了对应的交互事项的交互选项。
医疗终端在触发执行与这一类交互选项对应的交互操作时,将不涉及页面跳转操作,直接在系统中执行与该交互选项关联的交互事项即可。
其中,与该交互选项关联的交互事项的具体类型,可以涵盖在移动医疗场景下任意形式的交互事项,在本申请中不进行特别限定;
例如,请参见图4,图4为本申请示出的一种由医护人员填写“医嘱暂停原因”的交互界面。图4示出的交互界面中的交互选项,均为以上示出的第一类交互选项。在上述交互界面中,可以面向医护人员提供若干与“医嘱暂停原因”对应的交互选项。而这些交互选项可以分别关联一个对应的确认事项。当医护人员通过以上示出的目光控制过程,选中了任一交互选项时(图4示出的为选中“患者拒绝”交互选项),医疗终端可以立即在系统中执行与该交互选项对应的确认事项,将该交互选项指示的“医嘱暂停原因”(图4示出的为“患者拒绝”的医嘱暂停原因)提交至服务端即可。
第二类,关联了交互界面,需要通过该交互界面向医护人员输出该交互选项所指示的目标信息的交互选项。
医疗终端在触发执行与这一类交互选项对应的交互操作时,将会跳转到该交互选项关联的交互界面,通过该交互界面,向医护人员输出该交互选项所指示的目标信息。
其中,这一类交互选项所指示的目标信息,可以涵盖在移动医疗场景下,与患者相关的任意形式的信息,在本申请中不进行特别限定。
例如,请参见图5,图5为本申请示出的一种“导航菜单”交互界面。图5中示出的“患者信息”交互选项为以上示出的第二类交互选项。以图5示出的上述交互界面中提供的“患者信息”交互选项为例,该交互选项关联了患者信息查看页面,该交互选项所指示的目标信息为患者信息。当医护人员通过以上示出的目光控制过程,选中了该“患者信息”交互选项时,医疗终端可以立即跳转至该交互选项关联的患者信息查看页面,通过该页面向该医护人员输出显示该患者的相关信息。
第三类,关联了交互界面,需要医护人员通过该交互界面完成与患者相关的信息录入的交互选项。
医疗终端在触发执行与这一类交互选项对应的交互操作时,将会跳转到该交互选项关联的交互界面,提示医护人员在该交互界面录入与患者相关的信息。
其中,需要医护人员在这一类交互选项关联的交互界面中录入的信息,可以涵盖在移动医疗场景下,需要由医护人员录入的与患者相关的任意形式的信息,在本申请中不进行特别限定。
例如,请参见图6,图6为本申请示出的另一种“导航菜单”交互界面图5中示出的“体征录入”交互选项为以上示出的第三类交互选项。以图6示出的上述交互界面中提供的“体征录入”交互选项为例,该交互选项关联了体征录入页面,医护人员通过该交互界面录入的信息为患者的体征数据。当医护人员通过以上示出的目光控制过程,选中了该“体征录入”交互选项时,医疗终端可以立即跳转至该交互选项关联的体征录入页面,由医护人员在该界面中输入该患者的体征数据。
在本说明书中,当上述医疗终端在系统中触发执行与上述目标交互选项对应的交互操作时,首先可以确定该目标交互选项的具体类型。
如果该目标交互选项为以上示出的第一类交互选项,可以直接在系统中触发执行该交互选项关联的交互事项即可。
如果该目标交互选项为以上示出的第二类交互选项,则可以跳转至上述目标交互选项关联的交互界面,通过该交互界面输出上述目标交互选项所指示的目标信息。
如果该目标交互选项为以上示出的第三类交互选项,则可以跳转至上述目标交互选项关联的交互界面,获取上述医护人员在该交互界面中录入的信息,并将录入的信息上传至服务端。
当然,在实际应用中,如果上述目标交互选项关联了交互界面,也可以将该交互界面同步至该上述医护人员的手持终端进行显示;在这种情况下,可以通过在上述医护人员的手持终端上通过该交互界面向该医护人员输出该目标交互选项所指示的目标信息;或者,由该医护人员的手持终端来获取该医护人员在该交互界面中录入的信息,并将录入的信息上传至服务端。
通过以上实施例可知,通过在医疗服务机构为入院患者配发的医疗终端上,实现基于目光检测的非接触式交互方式,一方面,对于目标用户而言,由于不再需要通过诸如使用设备扫描图形码的方式完成交互,仅需要通过目光注视目标交互选项,就可以在患者持有的医疗终端上,触发执行与该目标交互选项对应的交互操作;因此,可以实现更加自然的交互,降低交互复杂度;
另一方面,对于目标用户而言,由于仍然不需要与患者持有的医疗终端进行任何形式的接触,因此仍然可以实现在不与医疗终端进行接触的情况下完成交互,可以避免接触式交互造成的设备污染。
与上述方法实施例相对应,本说明书还提供了一种用户交互装置的实施例。本说明书的用户交互装置的实施例可以应用在电子设备上。其中,该电子设备具体可以是由患者持有的医疗终端。
装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图7所示,为本说明书的用户交互装置所在电子设备的一种硬件结构图,除了图7所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
图8是本说明书一示例性实施例示出的一种用户交互装置的框图。
请参考图8,所述用户交互装置80可以应用在前述图7所示的电子设备中,包括有:检测模块801,确定模块802、和执行模块803。
检测模块801,通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;
确定模块802,确定所述视觉焦点是否落入所述若干交互选项的交互区域;
执行模块803,当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互操作。
在本实施例中,所述视觉焦点为所述目标用户在所述交互界面中的注视映射点;
所述检测模块801:
通过搭载的摄像头对所述目标用户进行目光检测,确定所述目标用户的目光注视方向以及所述目标用户的注视距离;
基于确定出的所述目标用户的目光注视方向以及所述注视距离,计算出所述目标用户在所述交互界面中的注视映射点。
在本实施例中,所述确定模块802:
获取所述视觉映射点的坐标;以及,
获取所述若干交互选项的交互区域对应的坐标范围;
确定所述视觉映射点的坐标是否落入所述若干交互选项的交互区域对应的坐标范围。
在本实施例中,所述确定模块802进一步:
在触发执行与所述目标交互选项对应的交互事项之前,统计所述视觉焦点在所述目标交互选项的交互区域中的停留时长;
确定所述停留时长是否大于预设阈值;
如果所述停留时长达到预设阈值,则选中所述目标交互选项。
在本实施例中,所述确定模块802进一步:
通过所述交互界面输出所述目标交互选项被选中的交互提示。
在本实施例中,所述执行模块803:
识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户;如果所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户,则触发执行与所述目标交互选项对应的交互操作。
在本实施例中,所述执行模块803:
通过搭载的摄像头采集所述目标用户的面部图像;
针对采集到的面部图像进行人脸识别,并基于人脸识别结果确定所述目标用户是否为,与持有所述医疗终端的用户对应的第三方责任用户。
在本实施例中,所述执行模块803:
检测所述目标用户持有的手持终端发出的红外信号,并识别检测到的红外信号对应的红外运动轨迹;
确定识别出的红外运动轨迹,是否匹配由持有所述医疗终端的用户对应的第三方责任用户预设的红外运动轨迹;
如果识别出的红外运动轨迹匹配所述预设的红外运动轨迹,确定所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户。
在本实施例中,所述第三方责任用户包括,为持有所述医疗终端的患者指定的责任医护人员。
在本实施例中,所述执行模块803进一步执行以下中的任一:
触发执行与所述目标交互选项关联的交互事项;
跳转至所述目标交互选项关联的交互界面,通过所述交互界面输出所述目标交互选项所指示的目标信息;
跳转至所述目标交互选项关联的交互界面,获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
在本实施例中,所述执行模块进一步:
如果所述目标交互选项关联了交互界面,将所述交互界面同步至所述目标用户持有的手持终端,在所述目标用户持有的持终端终端上通过所述交互界面向所述目标用户输出所述目标交互选项所指示的目标信息;或者,由所述目标用户持有的持终端终端获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
与上述方法实施例相对应,本说明书还提供了一种电子设备的实施例。该电子设备包括:处理器以及用于存储机器可执行指令的存储器;其中,处理器和存储器通常通过内部总线相互连接。在其他可能的实现方式中,所述设备还可能包括外部接口,以能够与其他设备或者部件进行通信。
在本实施例中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器被促使:
通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;
确定所述视觉焦点是否落入所述若干交互选项的交互区域;
当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互操作。
在本实施例中,所述视觉焦点为所述目标用户在所述交互界面中的注视映射点;
通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器还被促使:
通过搭载的摄像头对所述目标用户进行目光检测,确定所述目标用户的目光注视方向以及所述目标用户的注视距离;
基于确定出的所述目标用户的目光注视方向以及所述注视距离,计算出所述目标用户在所述交互界面中的注视映射点。
在本实施例中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器还被促使:
获取所述视觉映射点的坐标;以及,
获取所述若干交互选项的交互区域对应的坐标范围;
确定所述视觉映射点的坐标是否落入所述若干交互选项的交互区域对应的坐标范围。
在本实施例中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器还被促使:
在触发执行与所述目标交互选项对应的交互操作之前,统计所述视觉焦点在所述目标交互选项的交互区域中的停留时长;确定所述停留时长是否大于预设阈值;如果所述停留时长达到预设阈值,则选中所述目标交互选项。
在本实施例中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器还被促使:
通过所述交互界面输出所述目标交互选项被选中的交互提示。
在本实施例中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器还被促使:
识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户;如果所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户,则触发执行与所述目标交互选项对应的交互操作。
在本实施例中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器还被促使:
通过搭载的摄像头采集所述目标用户的面部图像;
针对采集到的面部图像进行人脸识别,并基于人脸识别结果确定所述目标用户是否为,与持有所述医疗终端的用户对应的第三方责任用户。
在本实施例中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器还被促使:
检测所述目标用户持有的手持终端发出的红外信号,并识别检测到的红外信号对应的红外运动轨迹;
确定识别出的红外运动轨迹,是否匹配由持有所述医疗终端的用户对应的第三方责任用户预设的红外运动轨迹;
如果识别出的红外运动轨迹匹配所述预设的红外运动轨迹,确定所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户。
在本实施例中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器还被促使执行以下中的任一:
触发执行与所述目标交互选项关联的交互事项;
跳转至所述目标交互选项关联的交互界面,通过所述交互界面输出所述目标交互选项所指示的目标信息;
跳转至所述目标交互选项关联的交互界面,获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
在本实施例中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器还被促使:
如果所述目标交互选项关联了交互界面,将所述交互界面同步至所述目标用户持有的手持终端,在所述目标用户持有的手持终端上通过所述交互界面向所述目标用户输出所述目标交互选项所指示的目标信息;或者,由所述目标用户持有的手持终端获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、系统、电子设备、非易失性计算机存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或模块,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本说明书实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本说明书实施例的保护范围。
Claims (23)
1.一种用户交互方法,其特征在于,应用于医疗终端,所述方法包括:
通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;
确定所述视觉焦点是否落入所述若干交互选项的交互区域;
当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互操作。
2.根据权利要求1所述的方法,其特征在于,所述视觉焦点为所述目标用户在所述交互界面中的注视映射点;
所述通过搭载的摄像头对所述目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点,包括:
通过搭载的摄像头对所述目标用户进行目光检测,确定所述目标用户的目光注视方向以及所述目标用户的注视距离;
基于确定出的所述目标用户的目光注视方向以及所述注视距离,计算出所述目标用户在所述交互界面中的注视映射点。
3.根据权利要求2所述的方法,其特征在于,所述确定所述视觉焦点是否落入所述若干交互选项对应的交互区域,包括:
获取所述视觉映射点的坐标;以及,
获取所述若干交互选项的交互区域对应的坐标范围;
确定所述视觉映射点的坐标是否落入所述若干交互选项的交互区域对应的坐标范围。
4.根据权利要求1所述的方法,其特征在于,所述触发执行与所述目标交互选项对应的交互操作之前,还包括:
统计所述视觉焦点在所述目标交互选项的交互区域中的停留时长;
确定所述停留时长是否大于预设阈值;
如果所述停留时长达到预设阈值,则选中所述目标交互选项。
5.根据权利要求4所述的方法,其特征在于,还包括:
通过所述交互界面输出所述目标交互选项被选中的交互提示。
6.根据权利要求1所述的方法,其特征在于,所述触发执行与所述目标交互选项对应的交互操作,包括:
识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户;如果所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户,则触发执行与所述目标交互选项对应的交互操作。
7.根据权利要求6所述的方法,其特征在于,所述识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户,包括:
通过搭载的摄像头采集所述目标用户的面部图像;
针对采集到的面部图像进行人脸识别,并基于人脸识别结果确定所述目标用户是否为,与持有所述医疗终端的用户对应的第三方责任用户。
8.根据权利要求6所述的方法,其特征在于,所述识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户,包括:
检测所述目标用户持有的手持终端发出的红外信号,并识别检测到的红外信号对应的红外运动轨迹;
确定识别出的红外运动轨迹,是否匹配由持有所述医疗终端的用户对应的第三方责任用户预设的红外运动轨迹;
如果识别出的红外运动轨迹匹配所述预设的红外运动轨迹,确定所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户。
9.根据权利要求7或8所述的方法,其特征在于,所述第三方责任用户包括,为持有所述医疗终端的患者指定的责任医护人员。
10.根据权利要求6所述的方法,其特征在于,所述触发执行与所述目标交互选项对应的交互操作,包括以下中的任一:
触发执行与所述目标交互选项关联的交互事项;
跳转至所述目标交互选项关联的交互界面,通过所述交互界面输出所述目标交互选项所指示的目标信息;
跳转至所述目标交互选项关联的交互界面,获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
11.根据权利要求10所述的方法,其特征在于,还包括:
如果所述目标交互选项关联了交互界面,将所述交互界面同步至所述目标用户持有的手持终端,在所述目标用户持有的手持终端上通过所述交互界面向所述目标用户输出所述目标交互选项所指示的目标信息;或者,由所述目标用户持有的手持终端获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
12.一种用户交互装置,其特征在于,应用于医疗终端,所述装置包括:
检测模块,通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;
确定模块,确定所述视觉焦点是否落入所述若干交互选项的交互区域;
执行模块,当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互操作。
13.根据权利要求12所述的装置,其特征在于,所述视觉焦点为所述目标用户在所述交互界面中的注视映射点;
所述检测模块:
通过搭载的摄像头对所述目标用户进行目光检测,确定所述目标用户的目光注视方向以及所述目标用户的注视距离;
基于确定出的所述目标用户的目光注视方向以及所述注视距离,计算出所述目标用户在所述交互界面中的注视映射点。
14.根据权利要求13所述的装置,其特征在于,所述确定模块:
获取所述视觉映射点的坐标;以及,
获取所述若干交互选项的交互区域对应的坐标范围;
确定所述视觉映射点的坐标是否落入所述若干交互选项的交互区域对应的坐标范围。
15.根据权利要求12所述的装置,其特征在于,所述确定模块进一步:
在触发执行与所述目标交互选项对应的交互事项之前,统计所述视觉焦点在所述目标交互选项的交互区域中的停留时长;
确定所述停留时长是否大于预设阈值;
如果所述停留时长达到预设阈值,则选中所述目标交互选项。
16.根据权利要求15所述的装置,其特征在于,所述确定模块进一步:
通过所述交互界面输出所述目标交互选项被选中的交互提示。
17.根据权利要求12所述的装置,其特征在于,所述执行模块:
识别所述目标用户是否为与持有所述医疗终端的用户对应的第三方责任用户;如果所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户,则触发执行与所述目标交互选项对应的交互操作。
18.根据权利要求17所述的装置,其特征在于,所述执行模块:
通过搭载的摄像头采集所述目标用户的面部图像;
针对采集到的面部图像进行人脸识别,并基于人脸识别结果确定所述目标用户是否为,与持有所述医疗终端的用户对应的第三方责任用户。
19.根据权利要求17所述的方法,其特征在于,所述执行模块:
检测所述目标用户持有的手持终端发出的红外信号,并识别检测到的红外信号对应的红外运动轨迹;
确定识别出的红外运动轨迹,是否匹配由持有所述医疗终端的用户对应的第三方责任用户预设的红外运动轨迹;
如果识别出的红外运动轨迹匹配所述预设的红外运动轨迹,确定所述目标用户为与持有所述医疗终端的用户对应的第三方责任用户。
20.根据权利要求18或19所述的装置,其特征在于,所述第三方责任用户包括,为持有所述医疗终端的患者指定的责任医护人员。
21.根据权利要求17所述的装置,其特征在于,所述执行模块进一步执行以下中的任一:
触发执行与所述目标交互选项关联的交互事项;
跳转至所述目标交互选项关联的交互界面,通过所述交互界面输出所述目标交互选项所指示的目标信息;
跳转至所述目标交互选项关联的交互界面,获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
22.根据权利要求21所述的装置,其特征在于,所述执行模块进一步:
如果所述目标交互选项关联了交互界面,将所述交互界面同步至所述目标用户持有的手持终端,在所述目标用户持有的持终端终端上通过所述交互界面向所述目标用户输出所述目标交互选项所指示的目标信息;或者,由所述目标用户持有的持终端终端获取所述目标用户在所述交互界面录入的信息,并将所述目标用户录入的信息上传至服务端。
23.一种电子设备,包括:
处理器;
用于存储机器可执行指令的存储器;
其中,通过读取并执行所述存储器存储的与用户交互的控制逻辑对应的机器可执行指令,所述处理器被促使:
通过搭载的摄像头对目标用户进行目光检测,确定所述目标用户在所述医疗终端的交互界面中的视觉焦点;其中,所述交互界面包括若干交互选项;
确定所述视觉焦点是否落入所述若干交互选项的交互区域;
当所述视觉焦点落入所述若干交互选项中任一目标交互选项的交互区域时,触发执行与所述目标交互选项对应的交互事项。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810145150.XA CN108279778A (zh) | 2018-02-12 | 2018-02-12 | 用户交互方法、装置以及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810145150.XA CN108279778A (zh) | 2018-02-12 | 2018-02-12 | 用户交互方法、装置以及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108279778A true CN108279778A (zh) | 2018-07-13 |
Family
ID=62808413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810145150.XA Withdrawn CN108279778A (zh) | 2018-02-12 | 2018-02-12 | 用户交互方法、装置以及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108279778A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109062409A (zh) * | 2018-07-27 | 2018-12-21 | 华勤通讯技术有限公司 | 客户端的控制方法及系统、移动终端 |
CN112286350A (zh) * | 2020-10-27 | 2021-01-29 | 珠海格力电器股份有限公司 | 设备控制方法及装置、电子设备、电子装置、处理器 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020105482A1 (en) * | 2000-05-26 | 2002-08-08 | Lemelson Jerome H. | System and methods for controlling automatic scrolling of information on a display or screen |
CN1423228A (zh) * | 2002-10-17 | 2003-06-11 | 南开大学 | 识别人眼注视方向的装置和方法及其应用 |
CN104506650A (zh) * | 2015-01-04 | 2015-04-08 | 华为技术有限公司 | 一种用户设备协同控制方法、用户设备以及通信系统 |
CN105335120A (zh) * | 2014-08-13 | 2016-02-17 | 中兴通讯股份有限公司 | 一种多屏输入/输出控制方法、设备及系统 |
CN105892642A (zh) * | 2015-12-31 | 2016-08-24 | 乐视移动智能信息技术(北京)有限公司 | 一种根据眼部动作对终端进行控制的方法及装置 |
CN106650392A (zh) * | 2016-11-11 | 2017-05-10 | 捷开通讯(深圳)有限公司 | Vr头戴设备及其解锁方法 |
-
2018
- 2018-02-12 CN CN201810145150.XA patent/CN108279778A/zh not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020105482A1 (en) * | 2000-05-26 | 2002-08-08 | Lemelson Jerome H. | System and methods for controlling automatic scrolling of information on a display or screen |
CN1423228A (zh) * | 2002-10-17 | 2003-06-11 | 南开大学 | 识别人眼注视方向的装置和方法及其应用 |
CN105335120A (zh) * | 2014-08-13 | 2016-02-17 | 中兴通讯股份有限公司 | 一种多屏输入/输出控制方法、设备及系统 |
CN104506650A (zh) * | 2015-01-04 | 2015-04-08 | 华为技术有限公司 | 一种用户设备协同控制方法、用户设备以及通信系统 |
CN105892642A (zh) * | 2015-12-31 | 2016-08-24 | 乐视移动智能信息技术(北京)有限公司 | 一种根据眼部动作对终端进行控制的方法及装置 |
CN106650392A (zh) * | 2016-11-11 | 2017-05-10 | 捷开通讯(深圳)有限公司 | Vr头戴设备及其解锁方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109062409A (zh) * | 2018-07-27 | 2018-12-21 | 华勤通讯技术有限公司 | 客户端的控制方法及系统、移动终端 |
CN112286350A (zh) * | 2020-10-27 | 2021-01-29 | 珠海格力电器股份有限公司 | 设备控制方法及装置、电子设备、电子装置、处理器 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11004554B2 (en) | Method and apparatus for identification | |
CN111414831A (zh) | 监测方法及系统、电子设备和存储介质 | |
CN104850769A (zh) | 操作执行方法及装置 | |
CN107666581A (zh) | 提供视频内容的方法和支持该方法的电子装置 | |
RU2635238C1 (ru) | Способ, устройство и терминал для воспроизведения музыки на основе фотоальбома с фотографиями лиц | |
JP2015528120A (ja) | 目のトラッキングに基づくディスプレイの一部の選択的強調 | |
CN104246660A (zh) | 用于基于隐式用户输入和行为的媒体的动态适应的系统和方法 | |
US20190333633A1 (en) | Medical device information providing system, medical device information providing method, and program | |
CN104850995A (zh) | 操作执行方法及装置 | |
KR101978299B1 (ko) | 콘텐츠 서비스 시스템에서의 콘텐츠 서비스를 위한 장치 | |
CN106326406B (zh) | 一种应用于电子终端的搜题方法及装置 | |
US20170330265A1 (en) | Method and Apparatus for Presenting Object Based on Biometric Feature | |
CN110458890A (zh) | 控制方法、装置、电子设备及存储介质 | |
CN107688385A (zh) | 一种控制方法及装置 | |
CN107038428A (zh) | 活体识别方法和装置 | |
CN108279778A (zh) | 用户交互方法、装置以及系统 | |
CN110969120B (zh) | 图像处理方法及装置、电子设备、可读存储介质 | |
TW202001597A (zh) | 情緒特徵擷取裝置及其方法 | |
CN105450851B (zh) | 虚拟来电的控制方法、控制装置及移动终端 | |
CN104461366A (zh) | 激活移动终端的操作状态的方法及装置 | |
CN105022571A (zh) | 一种指纹信息处理方法及系统 | |
CN106203042A (zh) | 确定指纹识别误操作的方法和装置 | |
US20170220847A1 (en) | Method and device for fingerprint recognition | |
CN113554046A (zh) | 图像处理方法和系统、存储介质及计算设备 | |
CN109298787A (zh) | 柔性人机交互装置和终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180713 |