CN104679226B - 非接触式医疗控制系统、方法及医疗设备 - Google Patents
非接触式医疗控制系统、方法及医疗设备 Download PDFInfo
- Publication number
- CN104679226B CN104679226B CN201310628212.XA CN201310628212A CN104679226B CN 104679226 B CN104679226 B CN 104679226B CN 201310628212 A CN201310628212 A CN 201310628212A CN 104679226 B CN104679226 B CN 104679226B
- Authority
- CN
- China
- Prior art keywords
- user
- visual
- image
- module
- instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000000007 visual effect Effects 0.000 claims abstract description 139
- 210000001508 eye Anatomy 0.000 claims description 61
- 230000008859 change Effects 0.000 claims description 28
- 210000001747 pupil Anatomy 0.000 claims description 27
- 239000011521 glass Substances 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 6
- 241000287181 Sturnus vulgaris Species 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 17
- 238000002059 diagnostic imaging Methods 0.000 abstract 1
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004081 narcotic agent Substances 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本申请公开了一种医疗控制系统，包括：一显示医疗影像及相应操作选项的显示屏幕，该系统还包括：一影像获取模块、一影像处理模块、一视觉定位模块、一视觉指令确定模块以及一执行模块。本申请还公开了一种医疗控制方法以及医疗设备。从上述方案中可以看出，实现在一些医疗控制过程采用视觉控制和/或语音控制的方式来代替传统的手动操作控制，缩短了控制过程的时间，使操作更加简便；并且由于无需由专门的人员进行手动操作，因此降低了人力成本。
Description
技术领域
本发明涉及医疗控制领域，特别是一种非接触式医疗控制系统、方法及医疗设备。
背景技术
目前，在医疗领域的一些手术中，如心脑血管手术以及CT影像下的各种介入手术等，需要尽量缩短整个手术的过程，以减少病人的痛苦，降低长时间手术中X射线、麻药或其它因素可能带给病人的伤害。
在上述手术过程中，通常需要借助一显示装置，以便对手术过程中的相关组织进行显像以形成医疗影像，如介入手术中可能需要实时显示目标组织的CT影像，以供医生根据该影像中的当前状态进行后续处理。在该过程中，有时需要对某些影像区域进行放大、缩小、左移、右移、上移、下移等操作，有时又可能需要回看之前的影像，有时可能又需要对当前某段影像或某个影像图片进行保存等处理。
由于手术过程中医生需要手持器械进行手术，因此目前对显示装置的这些操作通常都是由助手来做，这样一来，一方面由于助手需要首先理解医生的指令，继而才能根据医生指令进行相应操作，一定程度上延长了整个控制过程的时间，并且对于需要放大或缩小的影像区域有时也不容易表达清楚，使得操作不太方便；另一方面，由于还需要有专门的人员来操作该显示装置，因此增加了人力成本。
发明内容
有鉴于此，本发明一方面提出了两种非接触式医疗控制系统及方法，另一方面提出了一种医疗设备，用以缩短控制过程的时间，并降低人力成本。
根据本发明的一个方面，提供了一种医疗控制系统，包括：一显示医疗影像及相应操作选项的显示屏幕，该系统还包括：
一影像获取模块，用于在用户凝视所述显示屏幕时，摄取用户眼睛的视觉影像；
一影像处理模块，用于根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置，并识别用户视觉的姿态变化；
一视觉定位模块，用于根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置；
一视觉指令确定模块，用于根据所述用户视觉的姿态变化及预先确定的姿态变化与操作指令的对应关系，确定用户的操作指令；
一操作执行模块，用于在所述视觉定位模块确定的注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述视觉定位模块确定的注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作。
可选地，所述系统进一步包括：一语音指令确定模块，用于接收用户的语音指令，将所述语音指令转换为操作指令提供给所述操作执行模块。
可选地，所述影像处理模块根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置。或者，所述影像处理模块根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置。
在本发明一实施例中，所述影像获取模块和影像处理模块位于一眼镜装置上；所述视觉定位模块、视觉指令确定模块、操作执行模块和所述显示屏幕位于一显示装置上。或者，所述影像获取模块、影像处理模块、视觉定位模块、视觉指令确定模块、操作执行模块和所述显示屏幕均位于一显示装置上。
根据本发明另一方面，提供了一种一种医疗控制系统，包括：一显示医疗影像及相应操作选项的显示屏幕，该系统还包括：
一影像获取模块，用于在用户凝视所述显示屏幕时，摄取用户眼睛的视觉影像；
一影像处理模块，用于根据所述影像获取模块所提供的用户眼睛的视觉影像计算用户视觉的聚焦点位置；
一视觉定位模块，用于根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置；
一语音指令确定模块，用于接收用户的语音指令，将所述语音指令转换为操作指令提供给所述操作执行模块；
一操作执行模块，用于在所述视觉定位模块确定的注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述视觉定位模块确定的注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作。
可选地，所述影像处理模块根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置。或者，所述影像处理模块根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置。
根据本实施例，所述影像获取模块和影像处理模块位于一眼镜装置上；所述视觉定位模块、视觉指令确定模块、操作执行模块和所述显示屏幕位于一显示装置上。或者，所述影像获取模块、影像处理模块、视觉定位模块、视觉指令确定模块、操作执行模块和所述显示屏幕均位于一显示装置上。
根据本发明又一一种医疗控制方法，包括：
在用户凝视一显示医疗影像及相应操作选项的显示屏幕时，摄取用户眼睛的视觉影像；
根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置，并在存在用户视觉的姿态变化时，识别出用户视觉的姿态变化；
根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置；
在识别出用户视觉的姿态变化时，根据所述用户视觉的姿态变化及预先确定的姿态变化与操作指令的对应关系，确定用户的操作指令；
在所述注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作。
可选地，，所述在注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作之前，进一步包括：接收用户的语音指令，将所述语音指令转换为操作指令。
可选地，所述根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置包括：根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置。或者，根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置
根据本发明又一实施方式，一种医疗控制方法，包括：
在用户凝视一显示医疗影像及相应操作选项的显示屏幕时，摄取用户眼睛的视觉影像；
根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置；
根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置；
接收用户的语音指令，将所述语音指令转换为操作指令；
其中，在所述注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作。
根据本发明又一方面，所述根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置包括：根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置；或者，
根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置。
根据本发明又一方面，提供了一种医疗设备，包括上面任一种医疗控制系统。
从上述方案中可以看出，本发明中，通过计算用户视觉的聚焦点位置，从而可以判断用户在显示屏幕上的注视位置；通过识别用户视觉的姿态变化或接收用户的语音指令，来判断用户对所述注视位置的操作指令，从而实现在一些医疗控制过程采用视觉控制和/或语音控制的方式来代替传统的手动操作控制，缩短了控制过程的时间，使操作更加简便；并且由于无需由专门的人员进行手动操作，因此降低了人力成本。
附图说明
下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：
图1为本发明一个实施例中非接触式医疗控制系统的结构示意图。
图2为本发明一个实施例中非接触式医疗控制方法的流程示意图。
图3为本发明又一个实施例中非接触式医疗控制系统的结构示意图。
图4为本发明又一个实施例中非接触式医疗控制方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。
图1为本发明一个实施例中非接触式医疗控制系统的结构示意图。如图1所示，该系统可包括：一显示医疗影像及相应操作选项的显示屏幕11、一影像获取模块12、一影像处理模块13、一视觉定位模块14、一视觉指令确定模块15和一操作执行模块16。
其中，影像获取模块12用于在用户凝视所述显示屏幕11时，摄取用户眼睛的视觉影像。
本实施例中，该影像获取模块可以为一微型摄像头，或普通摄像头。
影像处理模块13用于根据所述影像获取模块12所提供的用户眼睛的视觉影像计算用户视觉的聚焦点位置，并识别用户视觉的姿态变化。
可以理解，当注视显示屏幕的不同位置时，眼睛的瞳孔的轴线方向及轴线间的夹角是不同的，因此，本实施例中，该影像处理模块13可根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，之后根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置。
此外，由于眼睛在注视一个目标物体时，该目标物体通常会在眼睛中成像，因此，本实施例中，该影像处理模块13也可根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置。
又或者，该影像处理模块13也可依据浦肯野现象(Purkinje’s phenomenon)，根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置。
在本发明的其它实施例中，影像处理模块13也可采用其它方法计算用户视觉的聚焦点位置。
此外，影像处理模块13可根据用户眼睛的视觉影像中眼睛及瞳孔的频繁姿态变化，确定用户视觉的姿态变化信息。例如，是否发生眨眼，以及瞳孔是否发生了快速移动等。
视觉定位模块14用于根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置。本实施例中，可预先确定显示屏幕上不同位置与视觉聚焦点位置区域的对应关系，并将所确定的对应关系进行存储；之后由视觉定位模块14根据影像处理模块13确定的视觉聚焦点位置及预先存储的显示屏幕上不同位置与视觉聚焦点位置区域的对应关系，确定用户在所述显示屏幕上的注视位置。
视觉指令确定模块15用于根据所述用户视觉的姿态变化及预先确定的姿态变化与操作指令的对应关系，确定用户的操作指令。
本实施例中，操作指令可包括针对医疗影像的“放大”、“缩小”、“上移”、“下移”、“左移”、“右移”等指令；以及针对操作选项的“执行该操作选项”等指令。相应地，针对不同操作指令可预先定义对应的视觉姿态变化，例如，针对“放大”指令可设置单次眨眼，针对“缩小”指令可设置连续双次眨眼，针对“上移”指令可设置快速向上旋转眼球，针对“下移”指令可设置快速向下旋转眼球，针对“左移”指令可设置快速向左旋转眼球，针对“右移”指令可设置快速向右旋转眼球等视觉姿态变化。针对“执行该操作选项”指令，可设置连续双次眨眼等视觉姿态变化。
本实施例中，操作选项可包括与医疗过程相关的任意操作选项，例如，“存储”、“上移”、“下移”、“左移”、“右移”、“返回”、“新建”等等。
操作执行模块16用于在视觉定位模块14确定的注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述视觉定位模块14确定的注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作。
此外，本实施例中，还可以如图1中的虚线部分所示，进一步包括一语音指令确定模块17，用于接收用户的语音指令，将所述语音指令转换为操作指令提供给操作执行模块16。本实施例中，该语音指令确定模块17可以包括一麦克装置。
例如，针对上述的不同操作指令可预先定义对应的语音，例如，针对“放大”指令可直接说“放大”，针对“缩小”指令可直接说“缩小”，针对“上移”指令可直接说“上移”，针对“下移”指令可直接说“下移”，针对“左移”指令可直接说“左移”，针对“右移”指令可直接说“右移”等视觉姿态变化。针对“执行该操作选项”指令，可直接说“执行”或“按下”等。
本实施例中，通过设置该语音指令确定模块17，医生可选择使用视觉指令或语音指令。例如，在眼睛疲劳而导致视觉指令的准确度降低时，可采用语音指令进行控制；或者，也可根据需要在视觉指令和语音指令之间任意选择；又或者，也可以同时采用视觉指令和语音指令，并当二者不同时，以语音指令为准等。这样一来，可进一步提高非接触式控制的准确性。
本实施例中，上述影像获取模块12和影像处理模块13可位于一眼镜装置上；上述视觉定位模块14、视觉指令确定模块15、操作执行模块16、语音指令确定模块17和显示屏幕11位于一显示装置上。或者，上述影像获取模块12、影像处理模块13、视觉定位模块14、视觉指令确定模块15、操作执行模块16、语音指令确定模块17和显示屏幕11可均位于一显示装置上。
图2为本发明一个实施例中非接触式医疗控制方法的流程示意图。如图2所示，该方法可包括如下流程：
步骤201，在用户凝视一显示医疗影像及相应操作选项的显示屏幕时，摄取用户眼睛的视觉影像。
本步骤中，可通过一微型摄像头或普通摄像头摄取用户眼睛的视觉影像。
步骤202，根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置，并在存在用户视觉的姿态变化时识别出用户视觉的姿态变化。
本步骤中，可根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置；或者，根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置；又或者，也可依据浦肯野现象，根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置。
此外，可根据用户眼睛的视觉影像中眼睛及瞳孔的频繁姿态变化，确定用户视觉的姿态变化信息。例如，是否发生眨眼，以及瞳孔是否发生了快速移动等。
步骤203，根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置。
步骤204，在识别出用户视觉的姿态变化时，根据所述用户视觉的姿态变化及预先确定的姿态变化与操作指令的对应关系，确定用户的操作指令。
步骤205，在所述注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作。
本实施例中，步骤205之前可进一步包括：接收用户的语音指令，将所述语音指令转换为操作指令。
上述过程中，步骤201和步骤202可由一设置有摄像头的眼镜装置执行，而步骤203至205可由一显示装置执行。或者，上述步骤201至步骤205可均由一显示装置执行。上述方法也可由图1所示非接触式医疗控制系统执行。相应地，各方法步骤中的具体操作也与图1所示系统中各功能模块的具体操作一致，此处不再一一赘述。
图3为本发明又一个实施例中非接触式医疗控制系统的结构示意图。如图3所示，该系统可包括：一显示医疗影像及相应操作选项的显示屏幕11、一影像获取模块12、一影像处理模块13、一视觉定位模块14、一语音指令确定模块17和一操作执行模块16。与图1所示系统的区别在于，图3所示系统中不包括视觉指令确定模块15。相应地，影像处理模块13也无需根据用户眼睛的视觉影像识别用户视觉的姿态变化。
其中，影像获取模块12用于在用户凝视所述显示屏幕11时，摄取用户眼睛的视觉影像。
本实施例中，该影像获取模块可以为一微型摄像头，或普通摄像头。
影像处理模块13用于根据所述影像获取模块12所提供的用户眼睛的视觉影像计算用户视觉的聚焦点位置。
同样，本实施例中，该影像处理模块13可根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，之后根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置；或者，也可根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置；又或者，也可依据浦肯野现象，根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置。此外，还可采用其它方法计算用户视觉的聚焦点位置。
视觉定位模块14用于根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置。本实施例中，可预先确定显示屏幕上不同位置与视觉聚焦点位置区域的对应关系，并将所确定的对应关系进行存储；之后由视觉定位模块14根据影像处理模块13确定的视觉聚焦点位置及预先存储的显示屏幕上不同位置与视觉聚焦点位置区域的对应关系，确定用户在所述显示屏幕上的注视位置。
语音指令确定模块17，用于接收用户的语音指令，将所述语音指令转换为操作指令提供给操作执行模块16。本实施例中，该语音指令确定模块17可以包括一麦克装置。
本实施例中，操作指令可包括针对医疗影像的“放大”、“缩小”、“上移”、“下移”、“左移”、“右移”等指令；以及针对操作选项的“执行该操作选项”等指令。
相应地，针对不同操作指令可预先定义对应的语音，例如，针对“放大”指令可直接说“放大”，针对“缩小”指令可直接说“缩小”，针对“上移”指令可直接说“上移”，针对“下移”指令可直接说“下移”，针对“左移”指令可直接说“左移”，针对“右移”指令可直接说“右移”等视觉姿态变化。针对“执行该操作选项”指令，可直接说“执行”或“按下”等。
本实施例中，操作选项可包括与医疗过程相关的任意操作选项，例如，“存储”、“上移”、“下移”、“左移”、“右移”、“返回”、“新建”等等。
操作执行模块16用于在视觉定位模块14确定的注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述视觉定位模块14确定的注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作。
本实施例中，上述影像获取模块12和影像处理模块13可位于一眼镜装置上；上述视觉定位模块14、语音指令确定模块17、操作执行模块16和显示屏幕11位于一显示装置上。或者，上述影像获取模块12、影像处理模块13、视觉定位模块14、语音指令确定模块17、操作执行模块16和显示屏幕11可均位于一显示装置上。
图4为本发明一个实施例中非接触式医疗控制方法的流程示意图。如图4所示，该方法可包括如下流程：
步骤401，在用户凝视一显示医疗影像及相应操作选项的显示屏幕时，摄取用户眼睛的视觉影像。
本步骤中，可通过一微型摄像头或普通摄像头摄取用户眼睛的视觉影像。
步骤402，根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置。
本步骤中，可根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置；或者，根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置；又或者，也可依据浦肯野现象，根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置。
步骤403，根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置。
步骤404，接收用户的语音指令，将所述语音指令转换为操作指令。
步骤405，在所述注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作。
上述过程中，步骤401和步骤402可由一设置有摄像头的眼镜装置执行，而步骤403至405可由一显示装置执行。或者，上述步骤401至步骤405可均由一显示装置执行。上述方法也可由图3所示非接触式医疗控制系统执行。相应地，各方法步骤中的具体操作也与图3所示系统中各功能模块的具体操作一致，此处不再一一赘述。
本发明实施例中还提出了一种医疗设备，其可包括图1或图3中任一具体实现形式的非接触式医疗控制系统。
本发明实施例中，由于一些医疗控制过程采用了视觉控制和/或语音控制的方式来代替传统的手动操作控制，因此缩短了控制过程的时间，使操作更加简便；并且由于无需由专门的人员进行手动操作，因此降低了人力成本。
本申请公开了一种医疗控制系统，包括：一显示医疗影像及相应操作选项的显示屏幕，该系统还包括：一影像获取模块、一影像处理模块、一视觉定位模块、一视觉指令确定模块以及一执行模块。本申请还公开了一种医疗控制方法以及医疗设备。从上述方案中可以看出，实现在一些医疗控制过程采用视觉控制和/或语音控制的方式来代替传统的手动操作控制，缩短了控制过程的时间，使操作更加简便；并且由于无需由专门的人员进行手动操作，因此降低了人力成本。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种医疗控制系统，包括：一显示医疗影像及相应操作选项的显示屏幕，该系统还包括：
一影像获取模块，用于在用户凝视所述显示屏幕时，摄取用户眼睛的视觉影像；
一影像处理模块，用于根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置，并识别用户视觉的姿态变化；
一视觉定位模块，用于根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置；
一视觉指令确定模块，用于根据所述用户视觉的姿态变化及预先确定的姿态变化与操作指令的对应关系，确定用户的操作指令；
一操作执行模块，用于在所述视觉定位模块确定的注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述视觉定位模块确定的注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作；
其中，所述影像获取模块和影像处理模块位于一眼镜装置上；所述视觉定位模块、视觉指令确定模块、操作执行模块和所述显示屏幕位于一显示装置上；
所述系统进一步包括：一语音指令确定模块，用于接收用户的语音指令，将所述语音指令转换为操作指令提供给所述操作执行模块；
所述影像处理模块根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置；或者，所述影像处理模块根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置。
2.一种医疗控制系统，包括：一显示医疗影像及相应操作选项的显示屏幕，该系统还包括：
一影像获取模块，用于在用户凝视所述显示屏幕时，摄取用户眼睛的视觉影像；
一影像处理模块，用于根据所述影像获取模块所提供的用户眼睛的视觉影像计算用户视觉的聚焦点位置；
一视觉定位模块，用于根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置；
一语音指令确定模块，用于接收用户的语音指令，将所述语音指令转换为操作指令提供给所述医疗控制系统所包括的一操作执行模块；
所述操作执行模块，用于在所述视觉定位模块确定的注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述视觉定位模块确定的注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作；
其中，所述影像获取模块和影像处理模块位于一眼镜装置上；所述视觉定位模块、视觉指令确定模块、操作执行模块和所述显示屏幕位于一显示装置上；
所述影像处理模块根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置；或者，所述影像处理模块根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置。
3.一种医疗控制方法，用于如权利要求1所述的医疗控制系统，包括：
在用户凝视一显示医疗影像及相应操作选项的显示屏幕时，摄取用户眼睛的视觉影像；
根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置，并在存在用户视觉的姿态变化时，识别出用户视觉的姿态变化；
根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置；
在识别出用户视觉的姿态变化时，根据所述用户视觉的姿态变化及预先确定的姿态变化与操作指令的对应关系，确定用户的操作指令；
接收用户的语音指令，将所述语音指令转换为操作指令
在所述注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作。
4.一种医疗控制方法，用于如权利要求2所述的医疗控制系统，包括：
在用户凝视一显示医疗影像及相应操作选项的显示屏幕时，摄取用户眼睛的视觉影像；
根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置；
根据所述视觉的聚焦点位置确定用户在所述显示屏幕上的注视位置；
接收用户的语音指令，将所述语音指令转换为操作指令；
在所述注视位置为操作选项时，根据所述操作指令，执行所述操作选项对应的操作；在所述注视位置为医疗影像时，以所述注视位置为基准点执行所述操作指令对应的操作；
所述根据所述用户眼睛的视觉影像计算用户视觉的聚焦点位置包括：
根据所述用户眼睛的视觉影像，计算用户两个瞳孔的轴线方向及轴线间夹角，根据所述两个瞳孔的轴线方向及轴线间夹角，计算得到用户视觉的聚焦点位置；或者，
根据所述用户眼睛的视觉影像中的物体成像，确定用户视觉的聚焦点位置。
5.一种医疗设备，包括如权利要求1至2中任一项所述的医疗控制系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310628212.XA CN104679226B (zh) | 2013-11-29 | 2013-11-29 | 非接触式医疗控制系统、方法及医疗设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310628212.XA CN104679226B (zh) | 2013-11-29 | 2013-11-29 | 非接触式医疗控制系统、方法及医疗设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104679226A CN104679226A (zh) | 2015-06-03 |
| CN104679226B true CN104679226B (zh) | 2019-06-25 |
Family
ID=53314425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310628212.XA Active CN104679226B (zh) | 2013-11-29 | 2013-11-29 | 非接触式医疗控制系统、方法及医疗设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104679226B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019111257A1 (en) * | 2017-12-07 | 2019-06-13 | Eyefree Assisting Communication Ltd. | Communication methods and systems |
| CN110368097A (zh) * | 2019-07-18 | 2019-10-25 | 上海联影医疗科技有限公司 | 一种医疗设备及其控制方法 |
| CN111759461A (zh) * | 2020-07-30 | 2020-10-13 | 上海交通大学医学院附属第九人民医院 | 一种基于眼动仪的眼眶内镜导航手术操作系统 |
| CN112149606A (zh) * | 2020-10-02 | 2020-12-29 | 深圳市中安视达科技有限公司 | 医用手术显微镜智能控制方法、系统及可读存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012082971A1 (en) * | 2010-12-16 | 2012-06-21 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
| CN102551655A (zh) * | 2010-12-13 | 2012-07-11 | 微软公司 | 3d凝视跟踪器 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7331929B2 (en) * | 2004-10-01 | 2008-02-19 | General Electric Company | Method and apparatus for surgical operating room information display gaze detection and user prioritization for control |
| WO2007107949A1 (en) * | 2006-03-23 | 2007-09-27 | Koninklijke Philips Electronics N.V. | Hotspots for eye track control of image manipulation |
| US8531394B2 (en) * | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglasses transceiver |
| CN102176191A (zh) * | 2011-03-23 | 2011-09-07 | 山东大学 | 一种基于视线跟踪的电视机操控方法 |
| US8911087B2 (en) * | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
| RU2608322C2 (ru) * | 2011-10-20 | 2017-01-17 | Конинклейке Филипс Н.В. | Голографические пользовательские интерфейсы для медицинских процедур |
| US10013053B2 (en) * | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
| CN102830797B (zh) * | 2012-07-26 | 2015-11-25 | 深圳先进技术研究院 | 一种基于视线判断的人机交互方法及系统 |
| CN102981616B (zh) * | 2012-11-06 | 2017-09-22 | 中兴通讯股份有限公司 | 增强现实中对象的识别方法及系统和计算机 |
| CN103336576B (zh) * | 2013-06-28 | 2016-12-28 | 广州爱九游信息技术有限公司 | 一种基于眼动追踪进行浏览器操作的方法及装置 |
-
2013
- 2013-11-29 CN CN201310628212.XA patent/CN104679226B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102551655A (zh) * | 2010-12-13 | 2012-07-11 | 微软公司 | 3d凝视跟踪器 |
| WO2012082971A1 (en) * | 2010-12-16 | 2012-06-21 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104679226A (zh) | 2015-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11977678B2 (en) | Robotic system providing user selectable actions associated with gaze tracking | |
| US11547520B2 (en) | Systems, methods, and computer-readable storage media for controlling aspects of a robotic surgical device and viewer adaptive stereoscopic display | |
| RU2740259C2 (ru) | Позиционирование датчика ультразвуковой визуализации | |
| JP6904254B2 (ja) | 手術用制御装置、手術用制御方法、およびプログラム | |
| US10492873B2 (en) | Medical spatial orientation system | |
| EP3265008B1 (en) | Surgical tool tracking to control surgical system | |
| WO2016092950A1 (ja) | 医療用眼鏡型表示装置、情報処理装置及び情報処理方法 | |
| WO2016056004A1 (en) | Head-mounted displaying of magnified images locked on an object of interest | |
| WO2017033516A1 (ja) | 読影支援装置及び方法 | |
| JP2022106849A5 (ja) | 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体 | |
| WO2017061293A1 (ja) | 手術システム、並びに、手術用制御装置および手術用制御方法 | |
| WO2016001868A1 (en) | A method for acquiring and processing images of an ocular fundus by means of a portable electronic device | |
| CN104679226B (zh) | 非接触式医疗控制系统、方法及医疗设备 | |
| JP2016036390A (ja) | 情報処理装置、焦点検出方法、および焦点検出プログラム | |
| JP5813309B2 (ja) | 撮影システム | |
| JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
| KR101374295B1 (ko) | 안과용 장치 | |
| JP6996883B2 (ja) | 医療用観察装置 | |
| US20240036643A1 (en) | Method for implementing a zooming function in an eye tracking system | |
| CN111193830B (zh) | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 | |
| CN114740966A (zh) | 多模态图像显示控制方法、系统及计算机设备 | |
| JP2012238088A (ja) | 画像選択表示方法および装置 | |
| CN111857342A (zh) | 一种基于医疗内窥镜的眼动追踪系统及方法 | |
| JP7345866B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| KR20170090877A (ko) | 인터랙티브 사용자 캘리브레이션 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |