CN114035673A - 超声眼动控制系统及方法 - Google Patents

Abstract

本申请提供的超声眼动控制系统及方法，包括：眼动采集设备、第一显示屏和超声诊断设备，超声诊断设备分别与眼动采集设备和所述第一显示屏连接；第一显示屏用于显示指令画面；眼动采集设备用于获取医生根据指令画面生成的眼动信息；超声诊断设备用于根据眼动信息对应的第一显示屏上像素点的位置坐标触发控制指令；控制指令用于指示超声诊断设备对患者进行疾病诊断操作。上述系统相比于传统超声控制系统需要通过手动控制轨迹球等控件或直接接触控制面板实现控制指令输出的方法，实现了无接触控制超声诊断设备进行自动疾病诊断，解放了医生的双手，从而增加了超声诊断设备使用时人机交互的灵活性和稳定性。

Description

超声眼动控制系统及方法

技术领域

本申请涉及控制系统技术领域，特别是涉及一种超声眼动控制系统及方法。

背景技术

眼动仪是一种追踪眼球轨迹的设备，被广泛应用于各种领域的控制系统中。尤其在医疗行业，越来越多的医生借助各种医疗诊断设备辅助实现对患者的疾病诊断。

例如，在超声临床诊断检查中，医生需要频繁的操作面板输出不同的控制指令，长期的高强度重复性动作导致医生易获得某些职业病。同时，在特殊的情况下，医生的双手都被占用，需要使用负荷更高的姿势来完成控制指令输出，或者医生与超声临床诊断设备存在一定距离，无法直接接触，需要医生进行移动，此时传统的超声控制系统无法满足上述应用场景需求。

因此，如何在超声临床诊断检查中简化设备的控制操作成为了亟待解决的技术问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够实现无接触自动输出控制指令的超声眼动控制系统及方法。

第一方面，一种超声眼动控制系统，所述系统包括：眼动采集设备、第一显示屏和超声诊断设备，所述超声诊断设备分别与所述眼动采集设备和所述第一显示屏连接；

所述第一显示屏，用于显示指令画面；

所述眼动采集设备，用于获取医生根据所述指令画面生成的眼动信息；所述超声诊断设备，用于根据所述眼动信息对应的第一显示屏上像素点的位置坐标触发控制指令；所述控制指令用于指示所述超声诊断设备对患者进行疾病诊断操作。

在其中一个实施例中，所述眼动采集设备包括旋转式眼动采集设备和/或头戴式眼动采集设备；所述旋转式眼动采集设备可进行多个自由度的旋转运动。

在其中一个实施例中，所述旋转式眼动采集设备包括：第一摄像头、第二摄像头和固定部件，所述固定部件设置于所述第一显示屏的正下方位置，所述第一摄像头和所述第二摄像头分别固定在所述固定部件的不同位置。

在其中一个实施例中，所述眼动采集设备还用于获取所述医生的当前位姿图像，所述超声诊断设备还用于根据所述当前位姿图像和标准位姿图像校准所述眼动采集设备。

在其中一个实施例中，所述头戴式眼动采集设备包括：采集模块、通信模块、电源模块、支撑部件和壳体；所述采集模块、所述通信模块、所述电源模块设置在所述壳体包裹的空间内；所述支撑部件与所述壳体连接。

在其中一个实施例中，所述头戴式眼动采集设备还包括：第二显示屏，所述第二显示屏设置于所述壳体上，且在使用时被滑动至所述医生的眼睛的正前方位置；所述第二显示屏用于同步显示所述第一显示屏上显示的指令画面。

在其中一个实施例中，所述系统还包括：支撑机械臂和位置传感器；所述位置传感器安装在所述支撑机械臂上。

在其中一个实施例中，所述系统还包括：控制键盘，所述控制键盘与所述超声诊断设备连接；所述控制键盘包括多个控制按钮，不同的所述控制按钮对应不同的所述控制指令；

所述超声诊断设备，还用于将所述控制键盘的界面图像作为所述指令画面上传至所述第一显示屏进行显示。

在其中一个实施例中，所述系统还包括：第三摄像头，所述第三摄像头设置于所述控制键盘的正上方位置；

所述第三摄像头，用于拍摄所述控制键盘，得到所述控制键盘的界面图像。

第二方面，一种超声眼动控制方法，该方法应用于第一方面所述的超声眼动控制系统，该方法包括：

所述第一显示屏用于显示指令画面；

所述眼动采集设备用于获取医生根据所述指令画面生成的眼动信息；

所述超声诊断设备用于根据所述眼动信息对应的第一显示屏上像素点的位置坐标触发控制指令；所述控制指令用于指示所述超声诊断设备对患者进行疾病诊断操作。

本申请提出的超声眼动控制系统及方法，通过捕捉医生的眼动信息，转换成为控制指令输出，进而控制超声诊断设备进行疾病诊断，相比于传统超声控制系统需要通过手动控制轨迹球等控件或直接接触控制面板实现控制指令输出的方法，本申请提供的超声眼动控制系统可实现无接触控制超声诊断设备进行自动疾病诊断，解放了医生的双手，从而增加了超声诊断设备使用时人机交互的灵活性和稳定性。

附图说明

图1为一个实施例中超声眼动控制系统的结构示意图；

图2为一个实施例中指令画面的示意图；

图3为一个实施例中旋转式眼动采集设备的结构示意图；

图4为一个实施例中超声眼动控制系统的结构示意图；

图5为一个实施例中超声眼动控制系统的结构示意图；

图6为一个实施例中头戴式眼动采集设备的结构示意图；

图7为一个实施例中头戴式眼动采集设备的结构示意图；

图8为一个实施例中超声眼动控制方法的流程示意图；

图9为一个实施例中超声眼动控制方法的流程示意图；

图10为一个实施例中超声眼动控制方法的流程示意图；

图11为图10实施例中S304的一种实现方式的流程示意图；

图12为一个实施例中校准眼动采集设备的方法的流程示意图；

图13为图12实施例中S403的一种实现方式的流程示意图；

图14为一个实施例中校准第一显示屏上各像素点的方法的流程示意图；

图15为一个实施例中校准眼动采集设备的方法的流程示意图；

图16为一个实施例中超声眼动控制方法的流程示意图；

图17为一个实施例中超声眼动控制方法的流程示意图；

图18为一个实施例中超声眼动控制方法的流程示意图；

眼动采集设备 10 第一显示屏 11；

超声诊断设备 12 支撑机械臂 13；

位置传感器 14 控制键盘 15；

第三摄像头 16；

第一摄像头 101 第二摄像头 102；

固定部件 103 采集模块 104；

通信模块 105 电源模块 106；

支撑部件 107 壳体 108；

第二显示屏 109。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参见图1，本申请提供一种超声眼动控制系统，该超声眼动控制系统包括：眼动采集设备10、第一显示屏11和超声诊断设备12，其中，超声诊断设备12分别与眼动采集设备10和第一显示屏11连接；第一显示屏11用于显示指令画面；眼动采集设备10用于获取医生根据指令画面生成的眼动信息；超声诊断设备12用于根据眼动信息对应的第一显示屏11上像素点的位置坐标触发控制指令；控制指令用于指示超声诊断设备12对患者进行疾病诊断操作。

其中，指令画面中包括多个用于控制超声诊断设备12执行相应操作的控制指令的显示界面，例如，图2所述的指令画面，其中包括控制指令1、控制指令2、控制指令3……等。比如控制指令1用于控制扫描患者的被诊断部位，控制指令2用于控制承载被扫描患者的床体进行水平移动，控制指令3用于获取扫描图像。需要说明的是，该指令画面可以是第一显示屏11上呈现的操作界面，也可以是超声诊断设备12的操作台面的画面。需要说明的是，指令画面可以由超声诊断设备12根据控制指令的类型预先绘制，也可以由超声诊断设备12根据相应的设备电子说明书预先获取，还可以由超声诊断设备12预先拍摄得到。眼动信息可以是人眼的凝视点的位置信息，也可以是人眼的瞳孔中心位置，还可以是人眼图像对应的影像数据。

上述眼动采集设备10可以是一种眼动仪，也可以是一种眼动追踪系统，用于记录人在处理视觉信息时的眼动轨迹特征。本实施例中的眼动采集设备10可以通过机器视觉和摄像头技术来追踪和记录眼球轨迹，具体的，眼动采集设备10可以包括一个摄像头，用于拍摄眼睛的影像数据，眼动采集设备10也可以包括多个摄像头，且每个摄像头用于拍摄不同的影像数据，例如，一个摄像头用于拍摄一个眼睛的影像数据，一个摄像头用于拍摄另一个眼睛的影像数据。

上述第一显示屏11可以是液晶、LED、CTR、LCD等不同类型的显示屏，此处不做限定。第一显示屏11可以是14寸、15寸、16寸……等中的任一尺寸，此处不做限定。上述超声诊断设备12可以是任何类型的超声设备，例如，超声成像设备、超声外科设备、超声诊断仪、超声治疗设备等。眼动采集设备10和超声诊断设备12之间可以进行无线连接，也可以进行有线连接。

本实施例中，在超声临床诊断检查中，超声诊断设备12可以先获取包含不同控制指令的按钮或控件的指令画面，再将指令画面传送至第一显示屏11进行显示。当医生需要输出控制指令时，医生可以将眼睛的光线投注在第一显示屏11上，此时，眼动采集设备10可以拍摄得到医生眼睛的影像数据，并通过分析该影像数据得到医生注视指令画面时的眼动信息，然后将眼动信息通过无线或有线的方式发送至超声诊断设备12，超声诊断设备12在接收到眼动信息后，可以先在第一显示屏11上找到与该眼动信息对应的像素点的位置坐标，再进一步的确定该像素点的位置坐标上对应的控制指令的类型，进而立即触发该类型的控制指令，之后，超声诊断设备12即可根据触发的控制指令指示的操作，对患者进行相应的疾病诊断操作。

上述实施例提出的超声眼动控制系统，通过捕捉医生的眼动信息，转换成为控制指令输出，进而控制超声诊断设备进行疾病诊断，相比于传统超声控制系统需要通过手动控制轨迹球等控件或直接接触控制面板实现控制指令输出的方法，本申请提供的超声眼动控制系统可实现无接触控制超声诊断设备进行自动疾病诊断，解放了医生的双手，从而增加了超声诊断设备使用时人机交互的灵活性和稳定性。

可选的，上述实施例中的眼动采集设备10包括旋转式眼动采集设备和/或头戴式眼动采集设备。当上述眼动采集设备10为旋转式眼动采集设备时，在一个实施例中，本申请提供了一种旋转式眼动采集设备，如图3所示，该旋转式眼动采集设备包括：第一摄像头101、第二摄像头102和固定部件103，固定部件103设置于第一显示屏11的正下方位置，第一摄像头101和第二摄像头102分别固定在固定部件103的不同位置。

其中，第一摄像头101的拍摄方向与医生一个眼睛的视平线处于同一水平线，第二摄像头102的拍摄方向与医生另一个眼睛的视平线处于同一水平线，固定部件103可进行多个自由度的旋转运动，使整个旋转式眼动采集设备10可进行多个自由度的旋转运动；其中，第一摄像头101用于拍摄医生一个眼睛的眼动图像；第二摄像头102用于拍摄医生另一个眼睛的眼动图像。

本实施例中，在超声临床诊断检查中，当医生需要输出控制指令时，医生可以将眼睛的光线投注在第一显示屏11上的控制指令所在位置，此时，旋转式眼动采集设备10可以启动第一摄像头101拍摄医生一个眼睛(例如，左眼)的眼动图像，也可以是眼动视频，同时启动第二摄像头102拍摄医生另一个眼睛(例如，右眼)的眼动图像，也可以是眼动视频。当旋转式眼动采集设备10得到医生的两个眼睛的眼动图像后，旋转式眼动采集设备10可以进一步的识别两个眼睛的眼动图像中的眼瞳孔中心位置，再相应的采用凝视点计算方法基于两个眼睛的眼瞳孔中心位置，计算得到医生的眼睛凝视点的位置坐标，即医生的眼动信息。旋转式眼动采集设备10在得到医生的眼睛凝视点的位置坐标时，即可将该眼睛凝视点的位置坐标传输至超声诊断设备12，以使超声诊断设备12可以根据眼睛凝视点的位置坐标得到医生的视线在第一显示屏10上的投注位置，进而根据视线投注位置得到控制指令在第一显示屏10上所在位置，进而相应的输出第一显示屏10上对应所在位置上的控制指令。

可选的，当旋转式眼动采集设备10得到医生的两个眼睛的眼动图像后，也可将两个眼睛的眼动图像对应的影像数据作为医生的眼动信息传输至超声诊断设备12，超声诊断设备12在得到医生的两个眼睛的眼动图像后，可以进一步的识别两个眼睛的眼动图像中的眼瞳孔中心位置，再相应的采用凝视点位置计算方法基于两个眼睛的眼瞳孔中心位置，计算得到医生的眼睛凝视点的位置坐标，接下来，超声诊断设备12可以基于眼睛凝视点的位置坐标得到医生的视线在第一显示屏10上的投注位置，进而根据视线投注位置得到控制指令在第一显示屏10上所在位置，进而相应的输出第一显示屏10上对应所在位置上的控制指令。需要说明的是，无论是旋转式眼动采集设备10还是超声诊断设备12对眼动图像进行识别时，均可以采用神经网络识别算法，也可以采用其它基于机器学习的识别算法，此处不做限定。

可选的，在一种应用场景中，当超声诊断设备12得到眼睛凝视点的位置坐标时，超声诊断设备12可以基于该眼睛凝视点的位置坐标确定医生眼睛运动的方位，例如，可以分为上、下、左、右等，且这不同的方位分别代表不同的控制指令的含义，例如，眼珠向上运动时，对应的控制指令为冻结指令，眼珠向下运动时，对应的控制指令为开始启动扫描指令等，眼珠运动方位与控制指令的类型之间的对应关系可以预先定义。当超声诊断设备12确定出医生眼睛运动的方位时，可以进一步的根据该方位确定具体要输出的控制指令的类型，进而输出相应类型的控制指令。在上述应用场景中，超声诊断设备12基于医生的眼动信息输出控制指令时，不需要医生将视线投注在第一显示屏11上，医生可以通过改变视线的不同方向即可输出对应不同类型的输出指令。上述这种方法无需医生面对第一显示屏11就能输出控制指令，可以更加灵活的输出控制指令。

特别说明的是，超声诊断设备12在进行诊断前(例如启动初始化设备的过程中)可以将固定部件103进行多个自由度的旋转(例如，水平方向上移动或垂直方向上移动)，使旋转式眼动采集设备11中的第一摄像头101的拍摄方向对准医生的一个眼睛，第二摄像头102的拍摄方向对准医生的另一个眼睛，相比于使用一个摄像头对医生两个眼睛拍摄的方法，使用两个摄像头针对性的拍摄可以提高后期识别图像的准确性，从而提高获取眼睛凝视点位置坐标的准确性，进而提高后期超声诊断设备输出控制指令的精准度。需要说明的是，第一摄像头101和第二摄像头102不仅可以拍摄眼睛图像，也可以根据实际应用需求拍摄其它图像。

上述实施例提出的旋转式眼动采集设备，通过摄像头采集医生眼睛的影像数据得到眼睛凝视点的位置坐标，进而使超声诊断设备可以基于眼睛凝视点的位置坐标确定输出控制指令。由于眼睛的影像数据可以准确的反映眼珠的运动信息，进而后期使用相应的图像识别方法即可准确的识别出眼睛凝视点的位置坐标，从而提高后期基于眼睛凝视点的位置坐标确定控制指令的准确性，进而提高了本申请提出的超声眼动控制系统输出控制指令的准确性和有效性。另外，上述旋转式眼动采集设备和超声诊断设备可以通过线缆进行连接，所以上述旋转式眼动采集设备可以获得电能，也可以将获取到的眼动信息传输至超声诊断设备，该旋转式眼动采集设备充分利用的第一显示屏，医生通过人眼凝视第一显示屏上对应控制指令控件，实现控制指令的输出，采用此种设备，既可以避免接触控制带来的问题，也解决了能源和通讯上的麻烦，使用的精度更高。

可选的，在实际应用中，在超声眼动控制系统中各设备完成安装后，并不能直接用于使用。由于每个用户的个性化特征和习惯不同，设备安装位置不同，用户使用习惯不同等，眼动采集设备10的使用对于每个用户而言需要进行校准。基于此，本实施例提供的眼动采集设备10还可以用于获取医生的当前位姿图像，对应的，超声诊断设备12还用于根据当前位姿图像和标准位姿图像校准眼动采集设备10。其中，标准位姿图像可以是超声诊断设备12预先根据用户的标准位姿拍摄的图像，为校准眼动采集设备10时使用的参考图像。

本实施例中，在超声眼动控制系统中各设备完成安装后，超声诊断设备12可以对眼动采集设备10进行校准，以便之后眼动采集设备10可以输出准确的眼动信息，从而使超声诊断设备12可以准确的输出控制指令。具体的校准过程包括：眼动采集设备10拍摄医生的当前位姿图像或当前位姿视频，并将当前位姿图像或当前位姿视频传输至超声诊断设备12，相应的，超声诊断设备12获取标准位姿图像，并通过转换矩阵运算，得到当前位姿图像与标准位姿图像之间的转换关系，并将该转换关系作为校准矩阵对眼动采集设备10输出的眼动信息进行校准，以使之后超声诊断设备12可以基于校准后的眼动信息输出控制指令，进而使本申请提出的超声眼动控制系统可以适用于任何用户，不会因用户的特征不同和习惯不同影响眼动信息获取的准确性。

参见图4，本申请提供一种超声眼动控制系统，超声眼动控制系统在图2实施例所述的超声眼动控制系统的基础上，还包括：支撑机械臂13和位置传感器14，其中，位置传感器14安装在支撑机械臂13上；支撑机械臂13用于支撑和移动第一显示屏11；位置传感器14用于在第一显示屏11移动时检测第一显示屏11的当前位置；超声诊断设备12还用于根据第一显示屏11的当前位置和标准位置校准所述第一显示屏11上像素点的位置坐标。其中，标准位置可以是超声诊断设备12预先根据第一显示屏11的初始位置确定，为校准第一显示屏11上各像素点的位置坐标时使用的参考位置。

在实际的超声诊断检查中，可以对超声诊断设备的第一显示屏11的位置进行调整，具体可以通过支撑机械臂13进行多自由度的调整，可以控制第一显示屏11上下、左右、前后移动，也可以进行一定角度的左右旋转。但是，如果在诊断过程中，或者在诊断之前，第一显示屏11的位置发生了变化，则眼动采集设备10输出的眼动信息对应的第一显示屏11上像素点的位置坐标就发生了改变，因此，在利用该超声眼动控制系统自动输出控制指令之前，还需要对第一显示屏11上各像素点的位置坐标进行校准，以提高后期输出控制指令的准确性。具体的校准过程包括：位置传感器14实时检测第一显示屏11的当前位置，并将该当前位置传输至超声诊断设备12，超声诊断设备12获取到当前位置，并通过转换矩阵运算，得到当前位置与标准位置之间的转换关系，并将该转换关系作为校准矩阵对第一显示屏11上各像素点的位置坐标进行校准，以使之后超声诊断设备12可以基于校准后的第一显示屏11上各像素点的位置坐标确定输出的控制指令。上述实施例通过多自由度支撑机械臂上安装的位置传感器实现第一显示屏位置变化的监控，对第一显示屏移动后造成的眼动控制误差进行了修正，进而使本申请提出的超声眼动控制系统可以在第一显示屏被移动的情况下，还可以准确的输出控制指令。

在实际应用中，当超声眼动控制系统中的各设备安装完成后，并不能直接用于使用。当超声诊断设备12获取到的眼动信息是医生的眼睛凝视点的位置坐标时，一般还需要对眼睛凝视点的位置坐标和显示屏上各像素点的位置坐标进行标定，得到准确的眼睛凝视点的位置坐标和显示屏上各像素点的位置坐标之间的对应关系。

基于此，在一个实施例中，上述超声诊断设备12还用于标定眼睛凝视点的位置坐标和显示屏上各像素点的位置坐标之间的对应关系，以提高后期输出控制指令的精准性。因此，本实施例中，在启动超声诊断设备12和眼动采集设备10时，超声诊断设备12的显示面板上先出现一个定位光标，即预设光标，再通过眼动采集设备10获取用户注视第一显示屏11上定位光标时的眼睛凝视点的初始位置坐标，并将定位光标对应像素点的标位置坐和眼睛凝视点的初始位置坐标一一进行对应，从而得到第一显示屏11上像素点的位置坐标与眼睛凝视点的位置坐标之间的转换关系，并进行存储，以便之后使用。本实施例在使用眼动采集设备输出控制指令前，对眼睛凝视点的位置坐标和第一显示屏上各像素点的位置坐标进行了重新标定，可以保证超声眼动控制设备输出控制指令的精确性。

参见图5，本申请提供了一种超声眼动控制系统，超声眼动控制系统在图1或图4实施例所述的超声眼动控制系统的基础上，还包括：控制键盘15，控制键盘15与超声诊断设备12连接；控制键盘15包括多个控制按钮，不同的控制按钮对应不同的控制指令；超声诊断设备12还用于将控制键盘15的界面图像作为指令画面上传至第一显示屏11进行显示。

可选的，超声眼动控制系统还包括：第三摄像头16，第三摄像头16设置于控制键盘15的正上方位置；第三摄像头16用于拍摄控制键盘15，得到控制键盘15的界面图像。

在实际应用中，上述第三摄像头16可以安装在支撑机械臂上(图5中所示)，也可以安装在眼动采集设备10上，还可以安装在系统的其它位置，只要第三摄像头16可以位于控制键盘15的正上方位置即可，以便可以拍摄到控制键盘15上所有控制按钮的界面图像。

在实际应用中，医生可以通过控制键盘15上的各种机械按钮输出控制指令，因此，本实施例提供的超声眼动控制系统还可以通过捕捉眼部运动输出控制键盘上各机械按钮对应的控制指令，基于该应用背景，眼动采集设备10可以启动其上的一个或多个摄像头对控制键盘15进行拍摄，得到控制键盘15上各按钮或控件的界面图像，并将该界面图像传输至超声诊断设备12，使超声诊断设备12将该界面图像作为指令画面同步到第一显示屏11上进行显示；可选的，超声诊断设备12也可以直接启动第三摄像头对控制键盘15进行拍摄，得到控制键盘15上各按钮或控件的界面图像。在使用中，超声诊断设备12可以对界面图像的尺寸进行调整或图像处理后再同步至第一显示屏11进行显示。可以理解的是，当眼动采集设备10为旋转式眼动采集设备时，旋转式眼动采集设备可以旋转至可以拍摄到控制键盘15上所有控制按钮的位置，以便能够获取到清晰的控制按钮或控件的界面画面。本实施例提供的超声眼动控制系统可以将原来由控制键盘输出的控制指令转换成由眼部运动输出的控制指令，采用此种设备，设备组成结构更加简单，也充分利用了显示屏，是对传统的超声诊断设备的交互控制方式的重要变革，当医生双手被占用或高的卫生要求下有重要意义。

在一个实施例中，本申请还提供一种头戴式眼动采集设备，如图6所示，该头戴式眼动采集设备包括：采集模块104、通信模块105、电源模块106、支撑部件107和壳体108；其中，采集模块104、通信模块105、电源模块106设置在壳体108包裹的空间内；支撑部件107与壳体108连接，用于将头戴式眼动采集设备10固定在医生的头部；采集模块104用于采集医生的眼动信息；通信模块105用于与超声诊断设备12进行通信连接；电源模块106用于为采集模块104和通信模块105提供电能。头戴式眼动采集设备10与超声诊断设备进行无线连接或有线连接。

上述采集模块104可以是摄像头，也可以是其它能够进行拍摄的装置，具体可以包括一个用于拍摄用户两个眼睛的摄像头，也可以包括用于拍摄用户左眼的摄像头和拍摄用户右眼的摄像头，从而获取得到用户两个眼睛的影像数据。

上述通信模块105可以是一种无线通讯模块，在使用时可以直接使用WIFI6模块基于WLAN无线局域网络来和超声诊断设备12建立通信连接，也可以采用蓝牙连接的方式和超声诊断设备10建立通信连接。可选的，上述通信模块105也可以是一种有线通信模块，通过线缆与超声诊断设备12进行通信连接。通信模块105用于将采集模块104获取到的用户两个眼睛的影像数据通过无线通道转发至超声诊断设备12。

上述壳体108将采集模块104、通讯模块105、电源模块106包裹在一个空间内。壳体108可以采用硅胶材料，提高用户佩戴的舒适度。上述壳体108的尺寸可以与用户的头部匹配，正合适用户佩戴。

上述电源模块106，可以给上述头戴式眼动采集设备10提供电能，可以是电池的方式提供电能，也可以是充电的方式提供电能。当电源模块106为电池时，电源模块106可以采用高容量高密度的锂电池，其具备快速充电的功能，且可以提供连续使用8小时的电量，也可以提供连续使用12小时的电量，使用时间可以根据具体使用情况确定，此处不限定。当电源模块106从外部获取电力时，电源模块106包括电源线接口，该接口可以连接220V常用电源充电使用。

本实施例所述的眼动采集设备10是一种头戴式眼动采集设备，即，医生在使用超声诊断设备12对患者进行疾病诊断的过程中，可以佩戴头戴式眼动采集设备10，使头戴式眼动采集设备可以实时采集眼睛的眼动信息，从而达到实时控制超声诊断设备12进行相应操作的目的。在具体使用头戴式眼动采集设备10时，头戴式眼动采集设备10包括支撑部件107，该支撑部件107可以为整个头戴式眼动采集设备提供支撑，且提供用户头戴的结构，例如，图6中的支撑部件107为头戴式环式结构，整体可以采用弹性材料，并且可以调整周长以适应不同头围的用户，支撑模块前端可以带有卡槽，可以和头戴式眼动采集设备10中的其它部分分离，比如采集模块104、通讯模块105、电源模块106、壳体108，便于拆卸和更换。为了减轻整体头戴式眼动采集设备10的重量，同时增加用户体验的舒适度，支撑部件107的材料可以采用PPS材料，作为一种新型高性能热塑性树脂，具有机械强度高、耐高温、热稳定性好、密度低等优点。

本实施例中，在超声临床诊断检查中，医生需要输出控制指令时，可以佩戴眼动采集设备10(如图6所示的设备)，具体在佩戴时，可以使用支撑部件107将眼动采集设备10固定在医生的头部和医生的眼睛正前方的预设距离处，使采集模块104可以正常拍摄到医生眼睛的图像，从而使采集模块104可以通过拍摄的图像得到医生的眼动信息，进而使超声诊断设备12基于医生的眼动信息输出控制指令，以控制超声诊断设备12执行相应的操作对患者进行疾病诊断。需要说明的是，图6中所示的佩戴式的眼动控制设备仅是示例说明，并不构成对具体结构的限定，只要眼动采集设备10能够固定在医生头部，以及能够正常采集到医生的眼睛运动信息即可。

参见图7，本申请提供一种头戴式眼动采集设备，该头戴式眼动采集设备在图6实施例所述的头戴式眼动采集设备的基础上，还包括：第二显示屏109，第二显示屏109设置于壳体108上，且在使用时可以被滑动至医生的眼睛的正前方位置；第二显示屏109用于同步显示第一显示屏11上显示的指令画面。

上述第二显示屏109可以是液晶、LED、CTR、LCD等不同类型的显示屏，此处不做限定。第二显示屏109可以是6寸、7寸、8寸……等中的任一尺寸，此处不做限定。第二显示屏109可以和壳体108通过滑动部件连接，使第二显示屏109在使用时可以自动滑动到医生的眼睛的正前方位置，具体滑动方向不限定，可以是上下滑动，也可以是左右滑动；在第二显示屏109不被使用时可以位于不妨碍医生观察壳体外部其它事物的位置，或者不被使用时，第二显示屏109上不显示任何内容，可以被当成眼镜或透明窗口使用，也不会方案医生观察壳体外部其它事物。

本实施例中，在超声临床诊断检查中，医生需要输出控制指令时，医生首先启动超声眼动控制系统中的各设备，相应的，超声诊断设备12启动后可以直接获取包括多个控制指令的指令画面，或者通过摄像头拍摄第一显示屏11的方式获取包括多个控制指令的指令画面，再进一步的将指令画面对应的影像数据发送至头戴式眼动采集设备10，头戴式眼动采集设备10中的通信模块105在接收到该指令画面的影像数据后将该影像数据对应的指令画面同步至第二显示屏109进行显示，以使医生在佩戴上头戴式眼动采集设备10后，可以将视线直接投射到第二显示屏109上以触发该第二显示屏109上显示的任何类型的控制指令，就不需要医生必须通过关注第一显示屏109上的指令画面才能触发控制指令，因为在平时的使用中，第一显示屏11的位置不会发生变化，因此，医生如果基于图1-图5实施例所述的系统对患者进行诊断时，医生需要在整个诊断过程中始终注视第一显示屏11，从而通过眼部运动输出控制指令，限定了医生的位置，极易容易使医生产生疲劳感，用户的舒适度不高。另外，通过头戴式眼动采集设备，可以让医生在任何位姿状态下都可以进行控制指令的输出，当医生面对患者，或者背对显示屏时任然可以满足控制指令输出要求。而且，头戴式眼动采集设备中，医生眼睛与第二显示屏的距离较近，医生可以很清楚的看到第二显示屏上各控制指令所在位置，因此，视线投注位置也比较准确，进而可以提高后期输出控制指令的准确性。

上述所有实施例涉及超声眼动控制系统的结构和功能的说明，下面实施例说明一种超声眼动控制方法，且该方法可以被应用上述任何实施例所述的超声眼动控制系统。

图8为一个实施例中超声眼动控制方法的流程示意图，如图8所示，该方法包括：

S101，第一显示屏显示指令画面。

S102，眼动采集设备获取医生根据指令画面生成的眼动信息。

S103，超声诊断设备根据眼动信息对应的第一显示屏上像素点的位置坐标触发控制指令；控制指令用于指示所述超声诊断设备对患者进行疾病诊断操作。

本实施例所述的超声眼动控制方法可以适用于前述图1实施例所述的超声眼动控制系统，具体实现方法请参见前述图1实施例中的说明，此处不赘述。

可选的，上述眼动采集设备包括旋转式眼动采集设备和/或头戴式眼动采集设备；所述旋转式眼动采集设备可进行多个自由度的旋转运动。

图9为一个实施例中超声眼动控制方法的流程示意图，如图9所示，该方法包括：

S201，第一显示屏显示指令画面。

S202，旋转式眼动采集设备上的第一摄像头拍摄医生一个眼睛的眼动图像，第二摄像头拍摄医生另一个眼睛的眼动图像。

S203，旋转式眼动采集设备对医生一个眼睛的眼动图像和医生另一个眼睛的眼动图像进行识别，得到医生的眼睛凝视点的位置坐标，并将该眼睛凝视点的位置坐标作为眼动信息传输至超声诊断设备。

S204，超声诊断设备根据眼动信息对应的第一显示屏上像素点的位置坐标触发控制指令。

本实施例所述的超声眼动控制方法可以适用于前述图3实施例所述的超声眼动控制系统，具体实现方法请参见前述图3实施例中对旋转式眼动采集设备的说明，此处不赘述。

图10为一个实施例中超声眼动控制方法的流程示意图，如图10所示，该方法包括：

S301，第一显示屏显示指令画面。

S302，旋转式眼动采集设备上的第一摄像头拍摄医生一个眼睛的眼动图像，第二摄像头拍摄医生另一个眼睛的眼动图像，并将两个拍摄图像传输至超声诊断设备。

S303，超声诊断设备对医生一个眼睛的眼动图像和医生另一个眼睛的眼动图像进行识别，得到医生的眼睛凝视点的位置坐标。

S304，超声诊断设备根据医生的眼睛凝视点的位置坐标对应的第一显示屏上像素点的位置坐标触发控制指令。

上述S304步骤，如图11所示，具体包括：

S3041，超声诊断设备根据预设的眼睛凝视点的位置坐标与像素点的位置坐标之间的转换关系，确定与医生的眼睛凝视点的位置坐标对应的第一显示屏上的像素点的位置坐标。

S3042，超声诊断设备根据与医生的眼睛凝视点的位置坐标对应的第一显示屏上的像素点的位置坐标，确定该第一显示屏上的像素点的位置坐标对应的控制指令，并触发该控制指令。

可选的，在实际应用中，在超声眼动控制系统中各设备完成安装后，并不能直接用于使用。由于每个用户的个性化特征和习惯不同，设备安装位置不同，用户使用习惯不同等，眼动采集设备的使用对于每个用户而言需要进行校准。基于此，本实施例还提供了一种校准眼动采集设备的方法，如图12所示，该方法包括：

S401，眼动采集设备获取医生的当前位姿图像，并将当前位姿图像传输至超声诊断设备。

S402，超声诊断设备获取标准位姿图像。

S403，超声诊断设备根据当前位姿图像和标准位姿图像，校准眼动采集设备。

本实施例所述的超声眼动控制方法可以适用于前述图3实施例所述的超声眼动控制系统，具体实现方法请参见前述图3实施例中对校准眼动采集设备的说明，此处不赘述。

可选的，上述S403步骤，如图13所示，包括：

S501，超声诊断设备通过转换矩阵运算，得到当前位姿图像与标准位姿图像之间的转换关系。

S502，超声诊断设备将当前位姿图像与标准位姿图像之间的转换关系作为校准矩阵对眼动采集设备输出的眼动信息进行校准。

本实施例所述的超声眼动控制方法可以适用于前述图3实施例所述的超声眼动控制系统，具体实现方法请参见前述图3实施例中对校准眼动采集设备的说明，此处不赘述。

可选的，在实际的超声诊断检查中，或者在诊断之前，超声诊断设备的第一显示屏的位置可能会发生变化，则眼动采集设备输出的眼动信息对应的第一显示屏上像素点的位置坐标就发生了改变，因此，在利用该超声眼动控制系统自动输出控制指令之前，还需要对第一显示屏上各像素点的位置坐标进行校准，以提高后期输出控制指令的准确性。所以，本申请还提供了一种校准第一显示屏上各像素点的位置坐标的方法，如图14所示，该方法包括：

S601，超声眼动控制系统中的位置传感器实时检测第一显示屏的当前位置，并将当前位置传输至超声诊断设备。

S602，超声诊断设备获取标准位置。

S603，超声诊断设备通过转换矩阵运算，得到当前位置与标准位置之间的转换关系，并将该转换关系作为校准矩阵对第一显示屏上各像素点的位置坐标进行校准。

本实施例所述的超声眼动控制方法可以适用于前述图4实施例所述的超声眼动控制系统，具体实现方法请参见前述图4实施例中对校准第一显示屏上各像素点的位置坐标的说明，此处不赘述。

本申请提供的超声眼动控制系统还包括控制键盘(如图5所示的结构)，基于该系统，本申请还提供了一种超声眼动控制方法，如图15所示，该方法包括：

S701，超声诊断设备获取控制键盘的界面图像。

S702，超声诊断设备将控制键盘的界面图像作为指令画面上传至第一显示屏进行显示。

S703，眼动采集设备获取医生根据指令画面生成的眼动信息。

S704，超声诊断设备根据眼动信息对应的第一显示屏上像素点的位置坐标触发控制指令。

可选的，当眼动采集设备为旋转式眼动采集设备时，上述S701的步骤具体包括：旋转式眼动采集设备旋转至能够拍摄到控制键盘上控制按钮的位置(例如，控制键盘正上方位置)，并启动其上的摄像头拍摄控制键盘的界面图像，以及将该界面图像传输至超声诊断设备。

可选的，当眼动采集设备为头戴式眼动采集设备时，上述S701的步骤具体包括：启动第三摄像头拍摄控制键盘，得到控制键盘的界面图像，其中第三摄像头可以被安装在超声眼动控制系统的支撑机械臂上。

本实施例所述的超声眼动控制方法可以适用于前述图5实施例所述的超声眼动控制系统，具体实现方法请参见前述图5实施例中的说明，此处不赘述。

在一个实施例中，本申请还提供一种头戴式眼动采集设备(如图6所示)，基于该类型的设备，相应的，本申请还提供了一种超声眼动控制方法，如图16所示，该方法包括：

S801，采集模块采集医生的眼动信息，并将眼动信息通过通信模块发送至超声诊断设备。

S802，超声诊断设备接收到眼动信息后，确定眼动信息对应的第一显示屏上像素点的位置坐标，并根据该位置坐标确定输出的控制指令，并触发控制指令。

本实施例所述的超声眼动控制方法可以适用于前述图6实施例所述的超声眼动控制系统，具体实现方法请参见前述图6实施例中的说明，此处不赘述。

在一个实施例中，本申请还提供了另一种头戴式眼动采集设备(如图7所示)，基于该类型的设备，相应的，本申请还提供了一种超声眼动控制方法，如图17所示，该方法包括：

S901，头戴式眼动采集设备接收超声诊断设备发送的第一显示屏上的指令画面对应的影像数据。

S902，头戴式眼动采集设备将指令画面同步到第二显示屏上进行显示。

S903，头戴式眼动采集设备获取医生基于第二显示屏上显示的指令画面得到的眼动信息，并将眼动信息发送至超声诊断设备。

S904，超声诊断设备根据眼动信息触发控制指令。

本实施例所述的超声眼动控制方法可以适用于前述图7实施例所述的超声眼动控制系统，具体实现方法请参见前述图7实施例中的说明，此处不赘述。

可选的，上述超声眼动控制方法，如图18所示，还可以包括：

S1001，头戴式眼动采集设备接收超声诊断设备发送的控制键盘的界面图像；该界面图像中包括多个控制按钮的显示界面。

S1002，头戴式眼动采集设备将界面图像同步到第二显示屏上进行显示。

S1003，头戴式眼动采集设备获取医生基于第二显示屏上显示的界面图像得到的眼动信息，并将眼动信息发送至超声诊断设备。

S1004，超声诊断设备根据眼动信息触发控制指令。

本实施例所述的超声眼动控制方法可以适用于前述图7实施例所述的眼动采集设备，以及带有控制键盘的超声眼动控制系统，具体实现方法请参见前述图6实施例中的说明，此处不赘述。

可选的，上述实施例分别提供了旋转式眼动采集设备和头戴式眼动采集设备，当医生方便面对显示屏执行相应的控制指令输出时，可以选择旋转式眼动采集设备，通过凝视显示屏上的控制指令所在位置自动输出控制指令；当医生不方便面对显示屏执行相应的控制指令输出时，可以选择佩戴头戴式眼动采集设备，通过凝视头戴式眼动采集设备上的显示屏的控制指令所在位置自动输出控制指令。所以，本申请还提供了可以自主切换采集模式的方法，即，在医生使用上述超声眼动控制系统执行相应的超声诊断之前，医生可以先设定相应的采集模式(使用旋转式眼动采集设备获取眼动信息还是使用头戴式眼动采集设备获取眼动信息)，再根据设定的采集模式启动相应的眼动采集设备执行后续的操作。在诊断过程中，医生还可以切换采集模式，即从当前使用的采集模式切换至另一种采集模式，比如，医生当前采用旋转式眼动采集设备获取眼动信息，当医生想要使用头戴式眼动采集设备获取眼动信息时，医生可以通过眼动输出控制指令的方式在第一显示屏上找到对应的切换采集模式指令，同时将视线投注在切换采集模式指令所在位置，则当前使用的旋转式眼动采集设备获取到当前医生的眼动信息，并将该眼动信息传输至超声诊断设备，超声诊断设备根据该眼动信息对应的第一显示屏上像素点的位置坐标触发该切换采集模式指令，将当前的旋转式眼动采集设备的采集模式切换至头戴式眼动采集设备的采集模式，具体启动与超声诊断设备连接的头戴式眼动采集设备，医生此时可以佩戴上头戴式眼动采集设备进行使用。

综上，本申请提供的超声眼动控制方法，实现了无接触超声诊断设备的控制，其通过眼动交互操作实现自动输出控制指令，在诊断过程中医生的双手被占用或者需要强卫生条件下，本申请提供的超声眼动控制方法更加能够节省医生的体力成本，且增加整个超声眼动控制系统的鲁棒性。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种超声眼动控制系统，其特征在于，所述系统包括：眼动采集设备、第一显示屏和超声诊断设备，所述超声诊断设备分别与所述眼动采集设备和所述第一显示屏连接；

所述第一显示屏，用于显示指令画面；

所述眼动采集设备，用于获取医生根据所述指令画面生成的眼动信息；

所述超声诊断设备，用于根据所述眼动信息对应的第一显示屏上像素点的位置坐标触发控制指令；所述控制指令用于指示所述超声诊断设备对患者进行疾病诊断操作。

2.根据权利要求1所述的系统，其特征在于，所述眼动采集设备包括旋转式眼动采集设备和/或头戴式眼动采集设备；所述旋转式眼动采集设备可进行多个自由度的旋转运动。

3.根据权利要求2所述的系统，其特征在于，所述旋转式眼动采集设备包括：第一摄像头、第二摄像头和固定部件，所述固定部件设置于所述第一显示屏的正下方位置，所述第一摄像头和所述第二摄像头分别固定在所述固定部件的不同位置。

4.根据权利要求1或3所述的系统，其特征在于，所述眼动采集设备还用于获取所述医生的当前位姿图像，所述超声诊断设备还用于根据所述当前位姿图像和标准位姿图像校准所述眼动采集设备。

5.根据权利要求1或3所述的系统，其特征在于，所述系统还包括：支撑机械臂和位置传感器；所述位置传感器安装在所述支撑机械臂上。

6.根据权利要求1或3所述的系统，其特征在于，所述系统还包括：控制键盘，所述控制键盘与所述超声诊断设备连接；所述控制键盘包括多个控制按钮，不同的所述控制按钮对应不同的所述控制指令；

所述超声诊断设备，还用于将所述控制键盘的界面图像作为所述指令画面上传至所述第一显示屏进行显示。

7.根据权利要求6所述的系统，其特征在于，所述系统还包括：第三摄像头，所述第三摄像头设置于所述控制键盘的正上方位置；

所述第三摄像头，用于拍摄所述控制键盘，得到所述控制键盘的界面图像。

8.根据权利要求2所述的系统，其特征在于，所述头戴式眼动采集设备包括：采集模块、通信模块、电源模块、支撑部件和壳体；所述采集模块、所述通信模块、所述电源模块设置在所述壳体包裹的空间内；所述支撑部件与所述壳体连接。

9.根据权利要求8所述的系统，其特征在于，所述头戴式眼动采集设备还包括：第二显示屏，所述第二显示屏设置于所述壳体上，且在使用时被滑动至所述医生的眼睛的正前方位置；所述第二显示屏用于同步显示所述第一显示屏上显示的指令画面。

10.一种超声眼动控制方法，其特征在于，所述方法应用于所述权利要求1-9任一项所述的超声眼动控制系统，所述超声眼动控制系统包括眼动采集设备、第一显示屏和超声诊断设备，所述方法包括：

所述第一显示屏显示指令画面；

所述眼动采集设备获取医生根据所述指令画面生成的眼动信息；

所述超声诊断设备根据所述眼动信息对应的第一显示屏上像素点的位置坐标触发控制指令；所述控制指令用于指示所述超声诊断设备对患者进行疾病诊断操作。

Images