CN108170259A - 医疗系统辅助处理设备、医疗系统及辅助处理方法 - Google Patents
医疗系统辅助处理设备、医疗系统及辅助处理方法 Download PDFInfo
- Publication number
- CN108170259A CN108170259A CN201611114237.8A CN201611114237A CN108170259A CN 108170259 A CN108170259 A CN 108170259A CN 201611114237 A CN201611114237 A CN 201611114237A CN 108170259 A CN108170259 A CN 108170259A
- Authority
- CN
- China
- Prior art keywords
- gesture
- image
- medical
- medical system
- virtual image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提出了一种医疗系统辅助处理设备、医疗系统及辅助处理方法。其中，医疗系统辅助处理设备用于一医疗系统，包括：通信模块，用于接收来自医疗系统的影像中心的静态或动态医学影像、和/或来自医疗系统的医疗设备的静态或动态医学影像；和显示处理模块，具有透明屏幕，通过所述透明屏幕能够观察现实场景；并且通过所述透明屏幕对所述通信模块获取的静态医学影像和/或动态医学影像进行虚拟成像，并将得到的各虚拟图像叠加在所述现实场景的各设定位置区域。本发明中的技术方案能够缩短医疗过程的时间。
Description
技术领域
本发明涉及医疗控制领域，特别是一种医疗系统辅助处理设备、医疗系统及辅助处理方法。
背景技术
目前，在医疗领域的一些应用中，如内窥镜检查、内窥镜手术、X光透视检查、心脑血管手术以及CT影像下的各种介入手术等，通常需要借助显示装置，以便对手术过程中的相关组织进行显像以形成医学影像，如内窥镜检查中可能需要实时显示内窥镜视野图，以便医生能够根据该图像确定检查结果；又如介入手术中可能需要实时显示目标组织的CT影像，以供医生根据该影像中的当前状态进行后续处理。在上述过程中，有时需要对某些影像区域进行放大、缩小、左移、右移、上移、下移等操作，有时又可能需要回看之前的影像，有时还可能需要对当前某段影像或某个影像图片进行保存等处理。另外，有时需要对医疗设备进行控制。
也就是说，在检查或手术过程中，医生可能需要不时的转头在患者和不同显示装置以及操作台之间进行视觉切换和操作控制，或者在同一显示设备上进行不同影像的切换控制，这一定程度上延长了检查和手术的时间；此外，对于操作台或对影像的操作有时需要由助手完成，而助手需要首先理解医生的指令，继而才能根据医生指令进行相应操作，这在一定程度上也延长了整个手术的时间，并且对于需要放大或缩小的影像区域有时也不容易表达清楚，使得操作不太方便。
发明内容
有鉴于此，本发明一方面提出了一种用于医疗系统的医疗系统辅助处理设备及医疗系统，另一方面提出了一种医疗系统辅助处理方法，用以缩短医疗过程的时间。
本发明提出的一种医疗系统辅助处理设备，应用于一医疗系统，所述医疗系统辅助处理设备包括：通信模块，用于接收来自所述医疗系统的影像中心的静态或动态医学影像和/或来自所述医疗系统的医疗设备的静态或动态医学影像；以及显示处理模块，具有透明屏幕，通过所述透明屏幕能够观察现实场景；并且通过所述透明屏幕对所述通信模块获取的静态医学影像和/或动态医学影像进行虚拟成像并将得到的各虚拟图像叠加在所述现实场景的各设定位置区域。
在一个实施方式中，进一步包括：手势识别模块，用于接收一摄像头采集的操作人员的手势视频图像，根据视频图像识别操作人员的手势及所述手势对应的虚拟图像上的位置，根据所述手势对应的虚拟图像上的位置以及预先存储的手势与手势代码之间的对应关系，输出目标位置信息和手势代码信息；其中，所述手势代码包括对应影像处理操作的手势代码；并且所述显示处理模块用于根据所述目标位置信息确定目标操作对象为医学影像时，根据所述手势代码信息对所述医学影像的虚拟图像执行所述手势代码对应的影像处理操作，并在所述现实场景中叠加显示经处理的虚拟图像。
在一个实施方式中，所述通信模块进一步用于对所述通信模块获取的医疗设备的操作界面信息进行虚拟成像，将得到的操作界面虚拟图像叠加在所述现实场景的设定区域内；当根据所述目标位置信息确定目标操作对象为医疗设备的操作界面时，根据所述手势代码信息向所述通信模块返回针对所述医疗设备的操作指令。
在一个实施方式中，进一步包括：所述摄像头，用于采集操作人员的当前手势视频图像，将所述视频图像提供给所述手势识别模块。
在一个实施方式中，所述医疗系统辅助处理设备为头戴式设备。
在一个实施方式中，所述医疗设备为：内窥镜检查设备、X光成像设备或超声波装置。
本发明提出的一种医疗系统，包括：上述的医疗系统辅助处理设备。
本发明提出的一种医疗系统辅助处理方法，包括：接收来自影像中心的静态或动态医学影像和/或来自医疗设备的静态或动态医学影像；通过一透明屏幕对所述静态医学影像和/或动态医学影像进行虚拟成像，其中，透过所述透明屏幕能够观察现实场景，并且将所述虚拟成像得到的虚拟图像叠加在所述现实场景的各设定位置区域。
在一个实施方式中，进一步包括：接收一摄像头采集的操作人员的手势视频图像，根据视频图像识别操作人员的手势及所述手势对应的虚拟图像上的位置，根据所述手势对应的虚拟图像上的位置以及预先存储的手势与手势代码之间的对应关系，确定目标位置信息和手势代码信息；其中，所述手势代码包括对应影像处理操作的手势代码；根据所述目标位置信息确定目标操作对象为医学影像时，根据所述手势代码信息对所述医学影像的虚拟图像执行所述手势代码对应的影像处理操作，并在所述现实场景中显示经处理的虚拟图像。
在一个实施方式中，进一步包括：获取一医疗设备的操作界面信息；对所述医疗设备的操作界面信息进行虚拟成像，将得到的操作界面虚拟图像叠加在所述现实场景的设定区域内；接收一摄像头采集的操作人员的手势视频图像，根据视频图像识别操作人员的手势及所述手势对应的虚拟图像上的位置，根据所述手势对应的虚拟图像上的位置以及预先存储的手势与手势代码之间的对应关系，确定目标位置信息和手势代码信息；其中，所述手势代码包括控制所述医疗设备的手势代码；根据所述目标位置信息确定目标操作对象为医疗设备的操作界面时，根据所述手势代码信息向所述医疗设备发送针对所述医疗设备的操作指令。
在一个实施方式中，所述控制所述医疗设备的手势代码包括：配置及调整所述医疗设备的曝光参数的手势代码。
从上述方案中可以看出，由于本发明实施例中采用虚拟现实增强技术，将来自影像中心和/或医疗设备的静态医学影像和/或动态医学影像分区域叠加在人眼所见的现实场景的设定位置区域，从而具备了将现实手术场景、实时内窥镜和/或X光动态影像、以及术前所做医学检查等图像同时显示于用户的视野中的能力，可以使得操作人员无需转头便可以随时在各种影像与现实场景中进行切换，缩短了检查或手术等医疗过程的时间，提高了医疗效率，并方便了手术的操作。
此外，通过获取操作人员的手势视频图像以识别操作人员的当前手势及所述当前手势所在的虚拟屏幕位置，可确定目标操作对象和手势对应的手势代码，进而可对目标操作对象执行手势代码对应的操作，从而可方便地实现无接触的医疗系统控制，进一步缩短了检查或手术等医疗过程的时间，提高了医疗效率。
进一步地，通过将医疗设备的操作界面信息叠加显示在现实场景上，使得操作人员无需抬头、低头、转头或移位，便可方便的实现对医疗设备的控制，又进一步缩短了检查或手术等医疗过程的时间，提高了医疗效率。
附图说明
下面将通过参照附图详细描述本发明的优选实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：
图1为本发明实施例中一种医疗系统的组成示意图。
图2为本发明实施例中的一种医疗系统辅助处理设备的示例性结构图。
图3为本发明实施例中的一种医疗系统辅助处理方法的示例性流程图。
其中，附图标记如下：
| 标号 | 含义 |
| 1 | 医疗系统 |
| 10 | 医疗系统辅助处理设备 |
| 11 | 通信模块 |
| 12 | 显示处理模块 |
| 13 | 摄像头 |
| 14 | 手势识别模块 |
| 20 | 医疗设备 |
| 30 | 影像中心 |
| 301-304 | 步骤 |
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下举实施例对本发明进一步详细说明。
图1为本发明实施例中一种医疗系统的组成示意图。如图1所示，该医疗系统1包括：一医疗系统辅助处理设备10、一医疗设备20和一影像中心30。
其中，所述医疗系统辅助处理设备10用于设置在人眼前方，所述医疗系统辅助处理设备10分别与所述医疗设备20和影像中心30实现有线或无线的通信连接，用于接收来自影像中心30的静态医学影像、和/或来自医疗设备20的静态或动态医学影像；并通过一透明屏幕对所述静态医学影像和/或动态医学影像进行虚拟成像，并且透过所述透明屏幕能够观察现实场景，例如人眼可透过所述透明屏幕看到对当前患者进行检查或手术的现实场景；所述虚拟成像得到的虚拟图像在不影响观察所述现实场景中的目标对象的情况下叠加在所述现实场景的各设定位置区域，即分区域叠加在人眼所见的现实场景的设定位置区域，但其应不影响人眼对目标对象的观察，如不影响医生对当前患者进行检查或手术的操作过程。具体实现时，该医疗系统辅助处理设备10可以为各种头戴式设备，例如能够佩戴在头部的类眼镜装置或头盔式显示装置，或者也可以为固设在人眼前方的带有透明区域的其他形式的显示装置。
本文中出现的“虚拟成像”是指将多种影像信息呈现于真实的场景之中，即将获取的图像或影像透过光学成像装置叠加/叠置到真实场景之中，即混合显示技术。本领域的技术人员容易理解的是，“全息投影”、“增强现实”等成像技术均落入本发明的保护范围。
医疗设备20可以为内窥镜检测装置、X光成像装置或超声波装置等，用于生成静态或实时的动态医学影像。
所述影像中心30可以为影像数据库，用于存储预先获取的各种静态和动态的医学影像，包括术前检查的医学影像等。
具体实现中，医疗系统辅助处理设备10可有多种内部实现结构。例如，图2示出了本发明实施例中的一种医疗系统辅助处理设备的结构示意图。如图2中的实线部分所示，该医疗系统辅助处理设备10可包括：通信模块11和显示处理模块12。
其中，通信模块11用于接收来自影像中心30的静态或动态医学影像、和/或来自医疗设备20的静态或动态医学影像。这里的静态或动态医学影像可以是针对当前患者提取的，如当前患者的术前检查的医学影像和手术中实时生成的医学影像。其中，静态或动态医学影像的格式可以为各种标准格式，如DICOM、JPEG、MPEG4等格式。
具体传输时，所述静态或动态医学影像可以进行加密之后再传输至所述通信模块11，相应地，所述通信模块11可对所述静态或动态医学影像进行解密之后传输给所述显示处理模块12，以提高数据传输的安全性。
显示处理模块12具有一透明屏幕，用于使人眼通过所述透明屏幕观察对当前患者进行检查或手术的现实场景；并且通过所述透明屏幕对所述通信模块11获取的静态医学影像和/或动态医学影像在人眼前方(如人眼前方的空间或者透明屏幕上的适当位置)进行虚拟成像，以将得到的各虚拟图像在不影响观察所述现实场景中的目标对象的情况下叠加在所述现实场景的各设定位置区域，即分区域的叠加在人眼所见的所述现实场景的设定位置区域。
通过将所述静态医学影像和/或动态医学影像分区域叠加在人眼所见的现实场景的设定位置区域，可以使得操作人员无需抬头、低头或左、右转头便可以随时在各种影像与现实场景中进行切换，缩短了检查或手术等医疗过程的时间，提高了检查或手术等的效率。例如，如果静态医学影像包括术前所做医学检查等图像，动态医学影像包括实时内窥镜和/或X光动态影像和/或磁共振动态影像，则本实施例中的方案便具备了将现实手术场景、实时内窥镜和/或X光动态影像、以及术前所做医学检查等图像同时显示于用户的视野中的能力。
此外，本实施例中的医疗系统辅助处理设备10还可以提供对影像的操作处理，如“放大”、“缩小”、“上移”、“下移”、“左移”、“右移”、“顺时针旋转”、“逆时针旋转”、以及“视图切换”、“打开”、“关闭”和“视图定位”等操作。相应地，本实施例中的医疗系统辅助处理设备10还可如图2中的虚线部分所示，进一步包括摄像头13和手势识别模块14。
其中，摄像头13用于采集操作人员的当前手势视频图像，将所述视频图像提供给所述手势识别模块14。
手势识别模块14用于接收所述摄像头13采集的操作人员的手势视频图像(如当前手势视频图像)，根据视频图像识别操作人员的手势及所述手势对应的虚拟图像上的位置，根据所述手势对应的虚拟图像上的位置以及预先存储的手势与手势代码之间的对应关系，输出目标位置信息和手势代码信息；其中，所述手势代码包括对应影像处理操作的手势代码，如对应医学影像的“放大”、“缩小”、“上移”、“下移”、“左移”、“右移”、“顺时针旋转”、“逆时针旋转”、以及“视图切换”、“打开”、“关闭”和“视图定位”的手势代码等。
相应地，显示处理模块12可用于根据所述目标位置信息确定目标操作对象为医学影像时，根据所述手势代码信息对所述医学影像的虚拟图像执行所述手势代码对应的影像处理操作，并在现实场景中叠加显示经处理的虚拟图像。
进一步地，本实施例中的医疗系统辅助处理设备10还可以提供对医疗设备20的操作控制，如曝光参数配置、调整等。其中，曝光参数可包括扫描时间和剂量等。
相应地，本实施例中的医疗系统辅助处理设备10中的通信模块11可进一步用于获取医疗设备20的操作界面信息，将所述操作界面信息提供给所述显示处理模块12，并将所述显示处理模块12返回的针对所述医疗设备20的操作指令发送给所述医疗设备20。显示处理模块12进一步用于对所述通信模块11获取的医疗设备的操作界面信息进行虚拟成像，将得到的操作界面虚拟图像叠加在所述现实场景的设定区域内。手势识别模块14获取的手势代码中可进一步包括控制所述医疗设备的手势代码。例如，配置及调整所述医疗设备的曝光参数的手势代码。当显示处理模块12根据所述目标位置信息确定目标操作对象为医疗设备20的操作界面时，根据所述手势代码信息向所述通信模块11返回针对所述医疗设备20的操作指令。
具体实现时，有些医疗系统辅助处理设备10也可以不自带摄像头13，此时，摄像头13可由外部摄像头代替。并且，在医疗系统辅助处理设备10自带摄像头13的实施例中，该摄像头13可以为集成在所述医疗系统辅助处理设备10内的内置摄像头，也可以为通过连接接口连接到所述医疗系统辅助处理设备10、但仍作为医疗系统辅助处理设备10的一部分而一并出售或使用的外接摄像头。同理，手势识别模块14可以为集成在所述医疗系统辅助处理设备10内的插件或应用程序，也可以为通过连接接口连接到所述医疗系统辅助处理设备10的手势识别装置。
以上对本发明实施例中的医疗系统及医疗系统辅助处理设备进行了详细描述，下面再对本发明实施例中的医疗系统辅助处理方法进行详细描述，该方法可以在前述的医学系统及医疗系统辅助处理设备上实施。
图3为本发明实施例中的一种医疗系统辅助处理方法的示例性流程图。如图3中的实线部分所示，该方法可包括如下处理。
步骤301，接收来自影像中心的静态或动态医学影像和/或来自医疗设备的静态或动态医学影像。所述静态或动态医学影像可以进行加密之后再进行传输，相应地，本步骤中可对所述加密后的静态或动态医学影像进行解密，以提高数据传输的安全性。
步骤302，通过一透明屏幕对所述静态医学影像和/或动态医学影像在人眼前方进行虚拟成像，并且使人眼透过所述透明屏幕能够观察对当前患者进行检查或手术的现实场景；将所述虚拟成像得到的虚拟图像在不影响观察所述现实场景中的目标对象的情况下叠加在所述现实场景的各设定位置区域，即分区域叠加在人眼所见的所述现实场景的设定位置区域。
例如，如果静态医学影像包括术前所做医学检查等图像，动态医学影像包括实时内窥镜和/或X光动态影像，则本实施例中的方法便具备了将现实手术场景、实时内窥镜和/或X光动态影像、以及术前所做医学检查等图像同时显示于用户的视野中的能力，可以使得操作人员无需转头便可以随时在各种影像与现实场景中进行切换，缩短了检查或手术等医疗过程的时间，提高了检查或手术等的医疗效率。
与图1所示医疗系统和图2所示医疗系统辅助处理设备一致，本实施例中的方法也可以提供对影像的操作处理，即可进一步如图3中的虚线部分所示包括：
步骤303，接收一摄像头采集的操作人员的手势视频图像，根据所述视频图像识别操作人员的手势及所述手势对应的虚拟图像上的位置，根据所述手势对应的虚拟图像上的位置以及预先存储的手势与手势代码之间的对应关系，确定目标位置信息和手势代码信息；其中，所述手势代码包括：对应影像处理操作的手势代码。对应医学影像的“放大”、“缩小”、“上移”、“下移”、“左移”、“右移”、“顺时针旋转”、“逆时针旋转”、以及“视图切换”、“打开”、“关闭”和“视图定位”的手势代码中的任意一个或任意组合。
步骤304，根据所述目标位置信息确定目标操作对象为医学影像时，根据所述手势代码信息对所述医学影像的虚拟成像执行所述手势代码对应的影像处理操作，并在现实场景中叠加显示经处理的虚拟图像。
此外，本实施例中的方法还可以提供对医疗设备的操作控制，即本实施例中的方法可进一步包括：获取一医疗设备的操作界面信息；对所述医疗设备的操作界面信息进行虚拟成像，将得到的操作界面虚拟图像叠加在所述现实场景的设定区域内；接收一摄像头采集的操作人员的手势视频图像，根据所述视频图像识别操作人员的手势及所述手势对应的虚拟图像上的位置，根据所述手势对应的虚拟图像上的位置以及预先存储的手势与手势代码之间的对应关系，确定目标位置信息和手势代码信息；其中，所述手势代码可包括：控制所述医疗设备的手势代码；如配置、调整曝光参数等的手势代码。其中，曝光参数可包括扫描时间和剂量等。根据所述目标位置信息确定目标操作对象为医疗设备的操作界面时，根据所述手势代码信息向所述医疗设备发送针对所述医疗设备的操作指令。
从上述方案中可以看出，由于本发明实施例中采用虚拟现实增强技术，将来自影像中心和/或医疗设备的静态医学影像和/或动态医学影像分区域叠加在人眼所见的现实场景的设定位置区域，从而具备了将现实手术场景、实时内窥镜和/或X光动态影像、以及术前所做医学检查等图像同时显示于用户的视野中的能力，可以使得操作人员无需抬头、低头或左右转头便可以随时在各种影像与现实场景中进行切换，缩短了检查或手术等医疗过程的时间，提高了医疗效率。
此外，通过获取操作人员的手势视频图像以识别操作人员的当前手势及所述当前手势所在的虚拟屏幕位置，可确定目标操作对象和手势对应的手势代码，进而可对目标操作对象执行手势代码对应的操作，从而可方便的实现无接触的医疗系统控制，从而进一步缩短了检查或手术等医疗过程的时间，提高了医疗效率。
进一步地，还通过将医疗设备的操作界面信息叠加显示在现实场景上，使得操作人员无需转头或移位，便可方便的实现对医疗设备的控制，又进一步缩短了检查或手术等医疗过程的时间，提高了医疗效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (11)
1.一种医疗系统辅助处理设备，其特征在于，用于一医疗系统(1)，所述医疗系统辅助处理设备(10)包括：
通信模块(11)，用于接收来自所述医疗系统(1)的影像中心(30)的静态或动态医学影像和/或来自所述医疗系统(1)的医疗设备(20)的静态或动态医学影像；以及
显示处理模块(12)，具有透明屏幕，通过所述透明屏幕能够观察现实场景；并且通过所述透明屏幕对所述通信模块(11)获取的静态医学影像和/或动态医学影像进行虚拟成像并将得到的各虚拟图像叠加在所述现实场景的各设定位置区域。
2.根据权利要求1所述的医疗系统辅助处理设备，其特征在于，进一步包括：
手势识别模块(14)，用于接收一摄像头(13)采集的操作人员的手势视频图像，根据视频图像识别操作人员的手势及所述手势对应的虚拟图像上的位置，根据所述手势对应的虚拟图像上的位置以及预先存储的手势与手势代码之间的对应关系，输出目标位置信息和手势代码信息；其中，所述手势代码包括对应影像处理操作的手势代码；并且
其中，所述显示处理模块(12)用于根据所述目标位置信息确定目标操作对象为医学影像时，根据所述手势代码信息对所述医学影像的虚拟图像执行所述手势代码对应的影像处理操作，并在所述现实场景中叠加显示经处理的虚拟图像。
3.根据权利要求2所述的医疗系统辅助处理设备，其特征在于，
所述通信模块(11)进一步用于获取医疗设备的操作界面信息并将所述操作界面信息提供给所述显示处理模块(12)，并将所述显示处理模块(12)返回的针对所述医疗设备(20)的操作指令发送给所述医疗设备(20)；
所述手势代码进一步包括控制所述医疗设备的手势代码；
所述显示处理模块(12)进一步用于对所述通信模块(11)获取的医疗设备(20)的操作界面信息进行虚拟成像，将得到的操作界面虚拟图像叠加在所述现实场景的设定区域内；当根据所述目标位置信息确定目标操作对象为医疗设备(20)的操作界面时，根据所述手势代码信息向所述通信模块(11)返回针对所述医疗设备的操作指令。
4.根据权利要求2或3所述的医疗系统辅助处理设备，其特征在于，进一步包括：所述摄像头(13)，用于采集操作人员的当前手势视频图像，将所述视频图像提供给所述手势识别模块(14)。
5.根据权利要求1至3中任一项所述的医疗系统辅助处理设备，其特征在于，所述医疗系统辅助处理设备(10)为头戴式设备。
6.根据权利要求1至3中任一项所述的医疗系统辅助处理设备，其特征在于，所述医疗设备(20)为内窥镜检查设备、X光成像设备或超声波装置。
7.一种医疗系统，其特征在于，包括：如权利要求1至6中任一项所述的医疗系统辅助处理设备(10)。
8.一种医疗系统辅助处理方法，其特征在于，包括：
接收来自影像中心的静态或动态医学影像和/或来自医疗设备的静态或动态医学影像；
通过一透明屏幕对所述静态医学影像和/或动态医学影像进行虚拟成像；
其中，透过所述透明屏幕能够观察现实场景，并且将所述虚拟成像得到的虚拟图像叠加在所述现实场景的各设定位置区域。
9.根据权利要求8所述的医疗系统辅助处理方法，其特征在于，进一步包括：
接收一摄像头采集的操作人员的手势视频图像，根据视频图像识别操作人员的手势及所述手势对应的虚拟图像上的位置，根据所述手势对应的虚拟图像上的位置以及预先存储的手势与手势代码之间的对应关系，确定目标位置信息和手势代码信息；其中，所述手势代码包括对应影像处理操作的手势代码；
根据所述目标位置信息确定目标操作对象为医学影像时，根据所述手势代码信息对所述医学影像的虚拟图像执行所述手势代码对应的影像处理操作，并在所述现实场景中显示经处理的虚拟图像。
10.根据权利要求8所述的医疗系统辅助处理方法，其特征在于，进一步包括：
获取一医疗设备的操作界面信息；
对所述医疗设备的操作界面信息进行虚拟成像，将得到的操作界面虚拟图像叠加在所述现实场景的设定区域内；
接收一摄像头采集的操作人员的手势视频图像，根据视频图像识别操作人员的手势及所述手势对应的虚拟图像上的位置，根据所述手势对应的虚拟图像上的位置以及预先存储的手势与手势代码之间的对应关系，确定目标位置信息和手势代码信息；其中，所述手势代码包括控制所述医疗设备的手势代码；
根据所述目标位置信息确定目标操作对象为医疗设备的操作界面时，根据所述手势代码信息向所述医疗设备发送针对所述医疗设备的操作指令。
11.根据权利要求10所述的医疗系统辅助处理方法，其特征在于，所述控制所述医疗设备的手势代码包括：配置及调整所述医疗设备的曝光参数的手势代码。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611114237.8A CN108170259A (zh) | 2016-12-07 | 2016-12-07 | 医疗系统辅助处理设备、医疗系统及辅助处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611114237.8A CN108170259A (zh) | 2016-12-07 | 2016-12-07 | 医疗系统辅助处理设备、医疗系统及辅助处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108170259A true CN108170259A (zh) | 2018-06-15 |
Family
ID=62526409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611114237.8A Pending CN108170259A (zh) | 2016-12-07 | 2016-12-07 | 医疗系统辅助处理设备、医疗系统及辅助处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108170259A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920519A (zh) * | 2019-02-20 | 2019-06-21 | 东软医疗系统股份有限公司 | 处理影像数据的方法、装置及设备 |
| CN113081268A (zh) * | 2021-03-31 | 2021-07-09 | 上海电气集团股份有限公司 | 基于AR和IoT的手术引导系统 |
| CN113693738A (zh) * | 2021-08-27 | 2021-11-26 | 南京长城智慧医疗科技有限公司 | 一种基于智能显示的手术系统 |
| WO2022135604A1 (zh) * | 2020-12-25 | 2022-06-30 | 深圳迈瑞生物医疗电子股份有限公司 | 医疗信息显示系统及医疗系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104055478A (zh) * | 2014-07-08 | 2014-09-24 | 金纯� | 基于视线追踪控制的医用内窥镜操控系统 |
| CN104808795A (zh) * | 2015-04-29 | 2015-07-29 | 王子川 | 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 |
-
2016
- 2016-12-07 CN CN201611114237.8A patent/CN108170259A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104055478A (zh) * | 2014-07-08 | 2014-09-24 | 金纯� | 基于视线追踪控制的医用内窥镜操控系统 |
| CN104808795A (zh) * | 2015-04-29 | 2015-07-29 | 王子川 | 一种增强现实眼镜的手势识别方法及增强现实眼镜系统 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109920519A (zh) * | 2019-02-20 | 2019-06-21 | 东软医疗系统股份有限公司 | 处理影像数据的方法、装置及设备 |
| WO2022135604A1 (zh) * | 2020-12-25 | 2022-06-30 | 深圳迈瑞生物医疗电子股份有限公司 | 医疗信息显示系统及医疗系统 |
| CN113081268A (zh) * | 2021-03-31 | 2021-07-09 | 上海电气集团股份有限公司 | 基于AR和IoT的手术引导系统 |
| CN113693738A (zh) * | 2021-08-27 | 2021-11-26 | 南京长城智慧医疗科技有限公司 | 一种基于智能显示的手术系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102455774B1 (ko) | 수술 중 이동에 의해서 영향을 받는 내부 기관의 해부학적 부분의 수술에서 보조를 제공하기 위한 수술 보조 장치 | |
| CN105193503B (zh) | 增强的手术实践环境系统 | |
| US9925017B2 (en) | Medical navigation image output comprising virtual primary images and actual secondary images | |
| US10485614B2 (en) | Augmented reality system and method for implementing augmented reality for dental surgery | |
| KR102458587B1 (ko) | 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법 | |
| US10849709B2 (en) | Systems and methods for removing occluding objects in surgical images and/or video | |
| EP3411818B1 (en) | System for image processing to generate three-dimensional (3d) view of an anatomical portion | |
| CN108170259A (zh) | 医疗系统辅助处理设备、医疗系统及辅助处理方法 | |
| US20150077528A1 (en) | Surgical navigation system and method | |
| CN109464194A (zh) | 医学图像的显示方法、装置、医学设备及计算机存储介质 | |
| JP5984235B2 (ja) | 画像処理システム、装置、方法及び医用画像診断装置 | |
| KR20160007700A (ko) | 레이저 수술 유도 장치 및 방법, 이를 수행하기 위한 기록 매체 | |
| EP3733047A1 (en) | Surgical system, image processing device, and image processing method | |
| CN106344151A (zh) | 一种手术定位方法及系统 | |
| CN110573107B (zh) | 医疗系统和相关方法 | |
| CN110638525A (zh) | 整合扩增实境的手术导航方法及系统 | |
| CN113476142B (zh) | 手术器械夹持力自适应控制系统及控制方法和手术机器人 | |
| US10631948B2 (en) | Image alignment device, method, and program | |
| CN111053598A (zh) | 一种基于投影仪的增强现实系统平台 | |
| CN111193830B (zh) | 一种基于智能手机的便携式增强现实医学图像观察辅助设备 | |
| JP2021536605A (ja) | 検査又は介入処置中の拡張現実ユーザガイダンス | |
| CN111631814B (zh) | 术中血管立体定位导航系统及方法 | |
| CN110446473A (zh) | 医疗观察设备和控制方法 | |
| JPS6357030A (ja) | 医用画像診断装置 | |
| CN111227954A (zh) | 用于医学图像的远程可视化的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180615 |
|
| RJ01 | Rejection of invention patent application after publication |