CN211293895U - 多模态人机交互医疗图像操作装置 - Google Patents

Abstract

本实用新型公开了一种多模态人机交互医疗图像操作装置，与显示器连接，包括：装置本体、手势捕捉模块、语音捕捉模块和连接件，其中，所述手势捕捉模块用于捕捉用户的操作手势，所述手势捕捉模块安装在所述装置本体上；所述语音捕捉模块用于捕捉用户的语音指令，包括收音孔和麦克风阵列，所述收音孔分布设置在所述装置本体的表面，所述麦克风阵列安装在所述装置本体的内部；所述连接件安装在所述装置本体上，用于装置本体的安装或连接；通过手势捕捉的手势和语音捕捉模块捕捉的语音指令，对述显示器中显示的医疗图像进行操作控制。本实用新型可以使医生在无法解放双手的情况下进行操作，丰富了操作形式，提高工作效率，进而提高用户体验。

Description

多模态人机交互医疗图像操作装置

技术领域

本实用新型涉及医疗辅助设备技术领域，具体地，涉及一种多模态人机交互医疗图像操作装置。

背景技术

在医生进行手术时，通常需要间或进行CT图像操作来参考患者信息。但由于无菌的考虑，医生在手术时，若需要进行CT图像操作，则需要手术室外助理帮忙进行操作，效率低下，操作无法精准，延长手术时间和增加医护人员的疲劳程度。

针对这个问题，目前，国外一些实验室(THALMICLABS)研发了，通过3D手势来进行CT图像的浏览，翻页，选择，细节调整等等操作，其他类似概念的医疗图像操作装置，比如therapixel，Fluid，YScope等等。但是，上述操作装置均存在以下问题：

(1)无法彻底无菌接触：操作前后，用户仍然需要接触机器进行电源开关，因此无法真正做到操作前，中，后全部无菌操作。

(2)无接触操作形式/场景应用单一：目前已有操作装置的操作方式，仅允许医生在解放双手的情况下，在屏幕前用手势操作。

实用新型内容

鉴于以上问题，本实用新型的目的是提供一种多模态人机交互医疗图像操作装置，以解决现有装置无法彻底无菌接触和无接触操作形式单一等技术问题。

为了实现上述目的，本实用新型采用以下技术方案：

本实用新型所述多模态人机交互医疗图像操作装置，与显示器连接，包括：装置本体、手势捕捉模块、语音捕捉模块和连接件，其中，所述手势捕捉模块用于捕捉用户的操作手势，所述手势捕捉模块安装在所述装置本体上；所述语音捕捉模块用于捕捉用户的语音指令，包括收音孔和麦克风阵列，所述收音孔分布设置在所述装置本体的表面，所述麦克风阵列安装在所述装置本体的内部；所述连接件安装在所述装置本体上，用于所述装置本体的安装或连接；通过所述手势捕捉模块捕捉的手势和所述语音捕捉模块捕捉的语音指令，对所述显示器中显示的医疗图像进行操作控制。

优选地，所述收音孔呈条纹状，分布在装置本体的表面。

优选地，所述手势捕捉模块为体感控制器。

优选地，所述连接件包括连接转轴和相向设置的一对连接块，所述连接块的一端与所述装置本体连接，所述连接块的另一端为自由端，所述连接转轴的两个端部各连接在一个连接块上。

优选地，所述手势捕捉模块与所述连接转轴平行设置，所述收音孔与所述连接转轴垂直设置。

优选地，所述医疗图像操作装置还包括支架，所述支架通过所述连接件与所述装置本体连接，用于支撑所述装置本体。

优选地，所述支架包括支架底座、支撑杆和支架连接杆，所述支撑杆的一端安装在所述支架底座上，所述支撑杆的另一端与所述支架连接杆连接，所述支架连接杆的一端与所述支撑杆连接，所述支架连接杆的另一端与所述连接件连接。

优选地，所述支撑杆为伸缩杆。

优选地，所述支架连接杆包括第一连接部、第二连接部和第三连接部，所述第一连接部与所述支撑杆固定连接，所述第二连接部的两端分别连接所述第一连接部和所述第三连接部，所述第二连接部相对于所述第一连接部可转动，所述第三连接部与所述连接件连接，且相对于所述第二连接部可转动。

优选地，所述装置本体通过所述连接件相对于所述第三连接部可转动，且所述装置本体的转动轴线与所述第二连接部、所述第三连接部的转动轴线相互垂直。

与现有技术相比，本实用新型具有以下优点和有益效果：

本实用新型所述多模态人机交互医疗图像操作装置，通过手势捕捉模块捕捉的手势和所述语音捕捉模块捕捉的语音指令对医疗图像进行操作控制，可实现在手势和语音指令等多模态下进行人机交互，实现了手术前、中、后对医疗图像进行彻底的无菌操作，并且，可以使得医生在无法解放双手的情况下进行操作，而不仅仅是在解放双手的情况下在屏幕前操作，丰富了操作形式，提高工作效率，进而提高用户体验。

本实用新型通过装置本体与支架的连接，实现了对操作距离和角度的调整，且便于医疗图像操作装置的灵活移动，可适用于任何手术室场景使用。

附图说明

图1是本实用新型所述多模态人机交互医疗图像操作装置的结构示意图；

图2是本实用新型所述多模态人机交互医疗图像操作装置的左视示意图；

图3是本实用新型所述多模态人机交互医疗图像操作装置的后视示意图；

图4是本实用新型中支架的结构示意图。

具体实施方式

下面将参考附图来描述本实用新型所述的实施例。本领域的普通技术人员可以认识到，在不偏离本实用新型的精神和范围的情况下，可以用各种不同的方式或其组合对所描述的实施例进行修正。因此，附图和描述在本质上是说明性的，而不是用于限制权利要求的保护范围。此外，在本说明书中，附图未按比例画出，并且相同的附图标记表示相同的部分。

本实用新型所述多模态人机交互医疗图像操作装置与显示器连接，用于对显示器中显示的图像进行操作控制，尤其适用于医疗领域，对显示的医疗图像进行操作控制。其中，操作控制包括但不限于对图像的浏览、放大、缩小和对其中的某一张或多张图像进行选择等操作。所述显示器也可以称为显示屏或显示单元。在一些实施例中显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(Organic Light-EmittingDiode，OLED)触摸器等。显示器用于显示待操作的图形，包括但不限于医疗图像。

图1是本实用新型所述多模态人机交互医疗图像操作装置的主视示意图，图2是本实用新型所述多模态人机交互医疗图像操作装置的左视示意图，图3是本实用新型所述多模态人机交互医疗图像操作装置的后视示意图，如图1～图3所示，本实用新型所述多模态人机交互医疗图像操作装置，包括：装置本体4、手势捕捉模块1、语音捕捉模块2和连接件3，所述手势捕捉模块1、所述语音捕捉模块2和所述连接件3均安装在所述装置本体4上。

所述手势捕捉模块1用于捕捉用户的操作手势，所述手势捕捉模块1安装在所述装置本体4上。其中，用户的操作手势可以自定义，通过捕捉到的操作手势，控制显示器中显示的图像进行一系列的操作(包括浏览、放大和缩小等)，例如，根据用户手指做出的左滑或右滑的动作，进行上一张图像、下一张图像的切换；根据用户的手指做出的抓起或张开等动作，进行图像的缩放等。手势捕捉模块1可以是体感控制器，优选为Leap motion硬件，Leapmotion安装在装置本体4上，且表面与装置本体4表面平齐。

所述语音捕捉模块2用于捕捉用户的语音指令，包括收音孔和麦克风阵列，所述收音孔分布设置在所述装置本体4的表面，所述麦克风阵列安装在所述装置本体4的内部，通过收音孔和麦克风阵列硬件进行语音捕捉。其中，用户可以对语音指令进行自定义，语音指令包括放大、缩小、选择第一组图等，也可以通过语音指令进行显示器中屏幕亮度、灰度等的调整。收音孔优选为条纹状收音孔，相比于点状收音孔，条纹状收音孔更加方便收音，并且，条纹律动形态，形似音波律动，具有语音功能的暗喻。具体地，条纹状收音孔在装置本体4表面的分布，根据麦克风阵列布局确定。

本实用新型中，不仅可以通过语音指令控制图像操作，而且，可以通过语音指令开启所述医疗图形操作装置。例如，当用户说“您好，小雅”时(用户可以自定义该命令)，可以唤醒该装置，且同时唤醒语音捕捉模块2，进而可以通过语音指令和操作手势进行图像操作，从而保证手术前、中、后的无菌操作。

需要说明的是，本实用新型中，手势捕捉模块1和语音捕捉模块2可以同时工作，也可以单独工作，也就是说，用户可以通过语音指令唤醒整个装置开始工作之后，可以选择通过手势捕捉模块1捕捉操作手势进行图像操作，也可以选择通过语音捕捉模块2捕捉语音指令进行图像操作，两者可以同时或者交叉进行，更加方便用户对医疗图像的操作控制。

所述连接件3安装在所述装置本体4上，用作所述装置本体4的安装或连接。所述连接件3用于装置本体4的安装连接，例如，可以通过连接件3将装置本体4安装在某个桌面或台面上，或者安装在某个可以移动的杆件上等等。

在一个可选实施例中，所述连接件3包括连接转轴32和相向设置的一对连接块31，所述连接块31的一端与所述装置本体4连接，所述连接块31的另一端为自由端，所述连接转轴32的两个端部各连接在一个连接块31上，通过连接转轴32使得所述装置本体4可以相对于其他部件(上述桌面或可移动杆件等)转动。连接块31可以与装置本体4可拆卸式连接，也可以与装置本体一体成型设置，连接块31的位置与收音孔的分布位置互不干涉。

进一步地，优选地，所述手势捕捉模块1与所述连接转轴32平行设置，所述收音孔与所述连接转轴32垂直设置。如图1所示，所述手势捕捉模块1的长度方向与所述条纹状收音孔的条纹长度方向相互垂直。

在一个实施例中，连接转轴32的轴线方向的长度为78mm，装置本体4的长度为160mm，宽度为122mm，高度为32mm。

在一个可选实施例中，所述医疗图像操作装置还包括支架10，所述支架10通过所述连接件3与所述装置本体4连接，用于支撑所述装置本体4。所述医疗图像操作装置通过所述支架10进行位置移动，并且，可以通过支架10使得该装置适用于不同的手术室场景。

图4是本实用新型中支架的结构示意图，如图4所示，所述支架10包括支架底座5、支撑杆6和支架连接杆，所述支撑杆6的一端安装在所述支架底座5上，所述支撑杆6的另一端与所述支架连接杆连接，所述支架连接杆的一端与所述支撑杆6连接，所述支架连接杆的另一端与所述连接件3连接。所述支撑杆6优选与所述支架底座5垂直设置。所述支撑杆6优选为伸缩杆，以便于调整所述装置本体4以及其上的安装部件的整体高度。所述支架底座5可以是固定块的形式，所述支撑杆6插在所述固定块中，所述支架底座5的下表面可以安装多个滚轮，以便于医疗图像操作装置的灵活移动。

在一个可选的实施例中，所述支架连接杆包括第一连接部71、第二连接部72和第三连接部73，所述第一连接部71与所述支撑杆6固定连接，所述第二连接部72的两端分别连接所述第一连接部71和所述第三连接部73，所述第二连接部72相对于所述第一连接部71可转动，所述第三连接部73与所述连接件3连接，且相对于所述第二连接部72可转动。通过第二连接部72和第三连接部73的转动，带动与之连接的装置本体4上语音捕捉模块2和手势捕捉模块1的转动，便于调整两者的操作角度，更好地捕捉用户的操作手势和语音指令等。优选地，第二连接部72的转动轴线与第三连接部73的转动轴线相互平行，且与支撑杆6的轴线平行。

进一步地，所述装置本体4通过所述连接件3相对于所述第三连接部73可转动，且所述装置本体4的转动轴线与所述第二连接部72、所述第三连接部73的转动轴线相互垂直。

在一个实施例中，第一连接部71包括第一连接块711和第二连接块712，所述第一连接块711呈中空，套在支撑杆6上固定，所述第二连接块712中安装有转动轴，所述转动轴连接所述第一连接部71和所述第二连接部72，使得所述第二连接部72相对于所述第一连接部71可转动。所述第二连接部72的两端均设置有转动轴的安装孔，第三连接部73与第二连接部72同样可以通过转动轴连接，使得第三连接部73相对于所述第二连接部72可转动。为了便于调整操作距离，所述支撑杆6也可以设置为可伸缩形式。

需要说明的是，第一连接块711和第二连接块712的结构可以相同或不同，第一连接块711的中空孔径根据支撑杆6的杆径确定，第二连接块712中的开孔根据转动轴的轴径确定。

本实用新型适应于手术室场景的全程无菌自主操作，效率显著，通过综合语音控制和手势控制，对医疗图像进行无菌无接触操作。

本实用新型可以与手术室应用的可移动与固定支架进行自由安装，调整使用角度和高度，可以在医疗屏幕前，或手术床旁进行自由操作。

本实用新型可以适用于3D模型操作，通过显示器中提供的3D模型，通过捕捉到的语音或手势进行3D模型操作，方便医生在手术中观察到2D图像无法涉及的死角，结合手术台附近近距离3D手势操作，极大程度上便利了医生在手术中对患者生理结构透彻了解的需要。

以上所述仅为本实用新型的优选实施例，并不用于限制本实用新型，对于本领域的技术人员来说，本实用新型可以有各种更改和变化。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (10)

1.一种多模态人机交互医疗图像操作装置，与显示器连接，其特征在于，所述医疗图像操作装置包括：装置本体、手势捕捉模块、语音捕捉模块和连接件，

其中，所述手势捕捉模块用于捕捉用户的操作手势，所述手势捕捉模块安装在所述装置本体上；

所述语音捕捉模块用于捕捉用户的语音指令，包括收音孔和麦克风阵列，所述收音孔分布设置在所述装置本体的表面，所述麦克风阵列安装在所述装置本体的内部；

所述连接件安装在所述装置本体上，用于所述装置本体的安装或连接；

通过所述手势捕捉模块捕捉的手势和所述语音捕捉模块捕捉的语音指令，对所述显示器中显示的医疗图像进行操作控制。

2.根据权利要求1所述的多模态人机交互医疗图像操作装置，其特征在于，所述收音孔呈条纹状。

3.根据权利要求1所述的多模态人机交互医疗图像操作装置，其特征在于，所述手势捕捉模块为体感控制器。

4.根据权利要求1所述的多模态人机交互医疗图像操作装置，其特征在于，所述连接件包括连接转轴和相向设置的一对连接块，所述连接块的一端与所述装置本体连接，所述连接块的另一端为自由端，所述连接转轴的两个端部各连接在一个连接块上。

5.根据权利要求4所述的多模态人机交互医疗图像操作装置，其特征在于，

所述手势捕捉模块与所述连接转轴平行设置，所述收音孔与所述连接转轴垂直设置。

6.根据权利要求1所述的多模态人机交互医疗图像操作装置，其特征在于，所述医疗图像操作装置还包括支架，所述支架通过所述连接件与所述装置本体连接，用于支撑所述装置本体。

7.根据权利要求6所述的多模态人机交互医疗图像操作装置，其特征在于，所述支架包括支架底座、支撑杆和支架连接杆，所述支撑杆的一端安装在所述支架底座上，所述支撑杆的另一端与所述支架连接杆连接，所述支架连接杆的一端与所述支撑杆连接，所述支架连接杆的另一端与所述连接件连接。

8.根据权利要求7所述的多模态人机交互医疗图像操作装置，其特征在于，所述支撑杆为伸缩杆。

9.根据权利要求7或8所述的多模态人机交互医疗图像操作装置，其特征在于，所述支架连接杆包括第一连接部、第二连接部和第三连接部，所述第一连接部与所述支撑杆固定连接，所述第二连接部的两端分别连接所述第一连接部和所述第三连接部，所述第二连接部相对于所述第一连接部可转动，所述第三连接部与所述连接件连接，且相对于所述第二连接部可转动。

10.根据权利要求9所述的多模态人机交互医疗图像操作装置，其特征在于，所述装置本体通过所述连接件相对于所述第三连接部可转动，且所述装置本体的转动轴线与所述第二连接部、所述第三连接部的转动轴线相互垂直。

Images